稀疏編碼算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數據。稀疏編碼算法的目的就是找到一組基向量 ，使得我們能將輸入向量表示為這些基向量的線性組合。
基本介紹
- 中文名：稀疏編碼
- 外文名：Sparse Coding
- 領域：人工智慧
- 優點：編碼存儲能力大,有聯想記憶能力
- 類別：無監督學習
起源,研究歷史,原理,稀疏編碼的套用,
起源
人眼視覺感知機理的研究表明,人眼視覺系統(Human Visual System, HVS)可看成是一種合理而高效的圖像處理系統.在人眼視覺系統中,從視網膜到大腦皮層存在一系列細胞,以“感受野”模式描述.感受野是視覺系統信息處理的基本結構和功能單元,是視網膜上可引起或調製視覺細胞回響的區域.它們被視網膜上相應區域的光感受細胞所激活,對時空信息進行處理.神經生理研究已表明:在初級視覺皮層(Primary Visual Cortex)下細胞的感受野具有顯著的方向敏感性,單個神經元僅對處於其感受野中的刺激做出反應,即單個神經元僅對某一頻段的信息呈現較強的反映,如特定方向的邊緣、線段、條紋等圖像特徵,其空間感受野被描述為具有局部性、方向性和帶通特性的信號編碼濾波器.而每個神經元對這些刺激的表達則採用了稀疏編碼(Sparse Coding, SC)原則,將圖像在邊緣、端點、條紋等方面的特性以稀疏編碼的形式進行描述.從數學的角度來說,稀疏編碼是一種多維數據描述方法,數據經稀疏編碼後僅有少數分量同時處於明顯激活狀態,這大致等價於編碼後的分量呈現超高斯分布.在實際套用中,稀疏編碼有如下幾個優點:編碼方案存儲能力大,具有聯想記憶能力,並且計算簡便;使自然信號的結構更加清晰;編碼方案既符合生物進化普遍的能量最小經濟策略,又滿足電生理實驗的結論。
研究歷史
1961年,H.B.Barlow基於這一知識提出了“利用感知數據的冗餘”進行編碼的理論。
1969年,D.J.Willshaw和O.P.Buneman等人提出了基於Hebbian 學習的局部學習規則的稀疏表示模型.這種稀疏表示可以使模型之間有更少的衝突,從而使記憶能力最大化.Willshaw模型的提出表明了稀疏表示非常有利於學習神經網路中的聯想。
1972年,Barlow推論出在稀疏性(Sparsity)和自然環境的統計特性之間必然存在某種聯繫.隨後,有許多計算方法被提出來論證這個推論,這些方法都成功地表明了稀疏表示可以體現出在大腦中出現的自然環境的統計特性。
1996年,Olshausen和Field在Nature雜誌上發表了一篇重要論文指出,自然圖像經過稀疏編碼後得到的基函式類似於V1區簡單細胞感受野的反應特性.這種稀疏編碼模型提取的基函式首次成功地模擬了V1區簡單細胞感受野的三個回響特性:空間域的局部性、時域和頻域的方向性和選擇性.考慮到基函式的超完備性(基函式維數大於輸出神經元的個數),Olshausen 和Field在1997年又提出了一種超完備基的稀疏編碼算法,利用基函式和係數的機率密度模型成功地建模了V1區簡單細胞感受野。
1997年,Bell和Sejnowski 等人把多維獨立分量分析(Independent Component Analysis, ICA)用於自然圖像數據分析,並且得出一個重要結論:ICA實際上就是一種特殊的稀疏編碼方法。
21世紀以來,國外從事稀疏編碼研究的人員又提出了許多新的稀疏編碼算法,湧現出了大量的稀疏編碼方面的論文,國內研究者在稀疏編碼算法和套用方面也作了一些工作],但遠遠落後於國外研究者所取得的成果。
原理
假設有一組基向量
，將輸入向量
表示為這些基向量的線性組合：
雖然形如主成分分析技術（PCA）能使我們方便地找到一組“完備”基向量，但是這裡我們想要做的是找到一組'''“超完備”'''基向量來表示輸入向量
（也就是說，k > n）。超完備基的好處是它們能更有效地找出隱含在輸入數據內部的結構與模式。然而，對於超完備基來說，係數
不再由輸入向量單獨確定。因此，在稀疏編碼算法中，我們另加了一個評判標準'''“稀疏性”'''來解決因超完備而導致的退化（degeneracy）問題。
這裡，我們把“稀疏性”定義為：只有很少的幾個非零元素或只有很少的幾個遠大於零的元素。要求係數 是稀疏的意思就是說：對於一組輸入向量，我們只想有儘可能少的幾個係數遠大於零。選擇使用具有稀疏性的分量來表示我們的輸入數據是有原因的，因為絕大多數的感官數據，比如自然圖像，可以被表示成少量基本元素的疊加，在圖像中這些基本元素可以是面或者線。同時，比如與初級視覺皮層的類比過程也因此得到了提升。
我們把有m個輸入向量的稀疏編碼代價函式定義為：
此處
是一個稀疏代價函式，由它來對遠大於零的 進行“懲罰”。我們可以把稀疏編碼目標函式的第一項解釋為一個重構項，這一項迫使稀疏編碼算法能為輸入向量 提供一個高擬合度的線性表達式，而公式第二項即“稀疏懲罰”項，它使 的表達式變得“稀疏”。常量
是一個變換量，由它來控制這兩項式子的相對重要性。
雖然“稀疏性”的最直接測度標準是 "
" 範式(
)，但這是不可微的，而且通常很難進行最佳化。在實際中，稀疏代價函式 的普遍選擇是
範式代價函式
及對數代價函式
。
此外，很有可能因為減小或增加至很大的常量，使得稀疏懲罰變得非常小。為防止此類事件發生，我們將限制
要小於某常量C。包含了限制條件的稀疏編碼代價函式的完整形式如下：
