稀疏編碼

稀疏編碼算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數據。稀疏編碼算法的目的就是找到一組基向量 ，使得我們能將輸入向量表示為這些基向量的線性組合。

基本介紹

• 中文名：稀疏編碼
• 外文名：Sparse Coding
• 領域：人工智慧
• 優點：編碼存儲能力大,有聯想記憶能力
• 類別：無監督學習

起源

人眼視覺感知機理的研究表明,人眼視覺系統(Human Visual System, HVS)可看成是一種合理而高效的圖像處理系統.在人眼視覺系統中,從視網膜到大腦皮層存在一系列細胞,以“感受野”模式描述.感受野是視覺系統信息處理的基本結構和功能單元,是視網膜上可引起或調製視覺細胞回響的區域.它們被視網膜上相應區域的光感受細胞所激活,對時空信息進行處理.神經生理研究已表明:在初級視覺皮層(Primary Visual Cortex)下細胞的感受野具有顯著的方向敏感性,單個神經元僅對處於其感受野中的刺激做出反應,即單個神經元僅對某一頻段的信息呈現較強的反映,如特定方向的邊緣、線段、條紋等圖像特徵,其空間感受野被描述為具有局部性、方向性和帶通特性的信號編碼濾波器.而每個神經元對這些刺激的表達則採用了稀疏編碼(Sparse Coding, SC)原則,將圖像在邊緣、端點、條紋等方面的特性以稀疏編碼的形式進行描述.從數學的角度來說,稀疏編碼是一種多維數據描述方法,數據經稀疏編碼後僅有少數分量同時處於明顯激活狀態,這大致等價於編碼後的分量呈現超高斯分布.在實際套用中,稀疏編碼有如下幾個優點:編碼方案存儲能力大,具有聯想記憶能力,並且計算簡便;使自然信號的結構更加清晰;編碼方案既符合生物進化普遍的能量最小經濟策略,又滿足電生理實驗的結論。

研究歷史

1959年,David Hubel和Toresten Wiesel通過對貓的視覺條紋皮層簡單細胞感受野的研究得出一個結論:主視皮層V1區神經元的感受野能對視覺感知信息產生一種“稀疏表示”。

1961年,H.B.Barlow基於這一知識提出了“利用感知數據的冗餘”進行編碼的理論。

1969年,D.J.Willshaw和O.P.Buneman等人提出了基於Hebbian 學習的局部學習規則的稀疏表示模型.這種稀疏表示可以使模型之間有更少的衝突,從而使記憶能力最大化.Willshaw模型的提出表明了稀疏表示非常有利於學習神經網路中的聯想。

1972年,Barlow推論出在稀疏性(Sparsity)和自然環境的統計特性之間必然存在某種聯繫.隨後,有許多計算方法被提出來論證這個推論,這些方法都成功地表明了稀疏表示可以體現出在大腦中出現的自然環境的統計特性。

1987年,Field提出主視皮層V1區簡單細胞的感受野非常適於學習視網膜成像的圖像結構,因為它們可以產生圖像的稀疏表示.基於這個結論,1988年,Michison明確提出了神經稀疏編碼的概念,然後由牛津大學的E.T.Roll 等人正式引用.隨後對靈長目動物視覺皮層和貓視覺皮層的電生理的實驗報告,也進一步證實了視覺皮層複雜刺激的表達是採用稀疏編碼原則的。

1989年,Field提出了稀疏分散式編碼(Sparse Distributed Coding)方法.這種編碼方法並不減少輸入數據的維數,而是使回響於任一特殊輸入信息的神經細胞數目被減少,信號的稀疏編碼存在於細胞回響分布的四階矩(即峭度Kurtosis)中。

1996年,Olshausen和Field在Nature雜誌上發表了一篇重要論文指出,自然圖像經過稀疏編碼後得到的基函式類似於V1區簡單細胞感受野的反應特性.這種稀疏編碼模型提取的基函式首次成功地模擬了V1區簡單細胞感受野的三個回響特性:空間域的局部性、時域和頻域的方向性和選擇性.考慮到基函式的超完備性(基函式維數大於輸出神經元的個數),Olshausen 和Field在1997年又提出了一種超完備基的稀疏編碼算法,利用基函式和係數的機率密度模型成功地建模了V1區簡單細胞感受野。

1997年,Bell和Sejnowski 等人把多維獨立分量分析(Independent Component Analysis, ICA)用於自然圖像數據分析,並且得出一個重要結論:ICA實際上就是一種特殊的稀疏編碼方法。

21世紀以來,國外從事稀疏編碼研究的人員又提出了許多新的稀疏編碼算法,湧現出了大量的稀疏編碼方面的論文,國內研究者在稀疏編碼算法和套用方面也作了一些工作],但遠遠落後於國外研究者所取得的成果。

原理

假設有一組基向量 ，將輸入向量 表示為這些基向量的線性組合：

雖然形如主成分分析技術（PCA）能使我們方便地找到一組“完備”基向量，但是這裡我們想要做的是找到一組'''“超完備”'''基向量來表示輸入向量 （也就是說，k > n）。超完備基的好處是它們能更有效地找出隱含在輸入數據內部的結構與模式。然而，對於超完備基來說，係數不再由輸入向量單獨確定。因此，在稀疏編碼算法中，我們另加了一個評判標準'''“稀疏性”'''來解決因超完備而導致的退化（degeneracy）問題。

這裡，我們把“稀疏性”定義為：只有很少的幾個非零元素或只有很少的幾個遠大於零的元素。要求係數 是稀疏的意思就是說：對於一組輸入向量，我們只想有儘可能少的幾個係數遠大於零。選擇使用具有稀疏性的分量來表示我們的輸入數據是有原因的，因為絕大多數的感官數據，比如自然圖像，可以被表示成少量基本元素的疊加，在圖像中這些基本元素可以是面或者線。同時，比如與初級視覺皮層的類比過程也因此得到了提升。

我們把有m個輸入向量的稀疏編碼代價函式定義為：

此處 是一個稀疏代價函式，由它來對遠大於零的 進行“懲罰”。我們可以把稀疏編碼目標函式的第一項解釋為一個重構項，這一項迫使稀疏編碼算法能為輸入向量 提供一個高擬合度的線性表達式，而公式第二項即“稀疏懲罰”項，它使 的表達式變得“稀疏”。常量 是一個變換量，由它來控制這兩項式子的相對重要性。

雖然“稀疏性”的最直接測度標準是 " " 範式( )，但這是不可微的，而且通常很難進行最佳化。在實際中，稀疏代價函式 的普遍選擇是 範式代價函式 及對數代價函式 。

此外，很有可能因為減小或增加至很大的常量，使得稀疏懲罰變得非常小。為防止此類事件發生，我們將限制要小於某常量C。包含了限制條件的稀疏編碼代價函式的完整形式如下：

稀疏編碼的套用

近年來,許多神經生理學家在視覺系統上已展開了全面深入的研究,並且取得了一些有重要意義的研究成果.這就使得在工程上利用計算機來模擬視覺系統成為可能.基於這一認識,利用已有的生物學科研成果,聯繫信號處理、計算理論以及資訊理論知識,通過對視覺系統進行計算機建模,使計算機能在一定程度上模擬人的視覺系統,以解決人工智慧在圖像處理領域中碰到的難題.神經稀疏編碼算法正是這樣一種建模視覺系統的人工神經網路方法。這種算法編碼方式的實現僅依靠自然環境的統計特性,並不依賴於輸入數據的性質,因而是一種自適應的圖像統計方法。

稀疏編碼SC方法在盲源信號分離、語音信號處理、自然圖像特徵提取、自然圖像去噪以及模式識別等方面已經取得許多研究成果,具有重要的實用價值,是當前學術界的一個研究熱點.進一步研究稀疏編碼技術,不僅會積極地促進圖像信號處理、神經網路等技術的研究,而且也將會對相關領域新技術的發展起到一定的促進作用。