基於稀疏編碼模型的深層學習神經網路

《基於稀疏編碼模型的深層學習神經網路》是依託清華大學，由胡曉林擔任項目負責人的面上項目。

基本介紹

• 中文名：基於稀疏編碼模型的深層學習神經網路
• 依託單位：清華大學
• 項目負責人：胡曉林
• 項目類別：面上項目

項目摘要

深層學習和稀疏編碼在解釋大腦的工作機理、挖掘數據的結構信息、抽取用於模式識別的特徵等方面發揮著重要作用。目前二者的結合備受關注，但結合方式主要是在現有的深層學習網路基礎上進行修改，增加稀疏性約束。這種方式雖然簡單直接，但無法克服現有深層學習網路學習過程慢、參數調整複雜的固有缺陷。本項目從另一個角度出發，提出直接以稀疏編碼模型為基礎構建深層學習網路。擬研究的稀疏編碼模型包括單層和雙層模型，構建的深層學習網路將既有基於單層模型的，又有基於雙層模型的，還有基於單、雙層模型混合的。一方面，通過理論分析建立基於稀疏編碼模型的深層學習網路的理論基礎，另一方面，通過實驗對比發明一系列適合實際套用問題的深層學習網路。鑒於稀疏編碼模型簡潔的結構和良好的算法性能，它們與深層學習網路結合的這種方式不僅更加自然，還有助於克服現有深層學習網路的上述固有缺陷，並有望在計算神經科學領域和模式識別相關領域中發揮重要作用。

結題摘要

近年來，作為機器學習的一個重要分支，深度學習（或稱深層學習）方面的研究得到了學術界和工業界的廣泛關注。而稀疏編碼是機器學習的另一個重要分支。二者都起源於神經科學，與神經科學有著緊密的聯繫。本項目圍繞深度學習和稀疏編碼做了大量工作。一方面提出了一些有效的模型求解計算機視覺、語音處理等方面的工程問題，另一方面研究了視覺皮層的編碼原理。同時，通過借鑑一些其他的神經科學的成果，本項目還研究了一些新的深度學習模型。最後，為了更深入的理解腦的信息處理的機制，研發更有效地深度學習模型，本項目還開展了兩項功能性核磁共振成像（fRMI）的研究。具體包括以下五個方面的內容。 （1）基於稀疏編碼的深度學習及其在計算機視覺和大腦視聽覺系統建模方面的套用。 （2）稀疏編碼在計算機視覺和機器學習中的套用。 （3）基於反饋連結的深度學習模型及其在計算機視覺方面的套用。 （4）其他用於圖像顯著性檢測和人臉識別的計算機視覺算法。 （5）基於fMRI的聽覺系統信息處理機制。 這些研究得到了很多成果，可總結為兩點。一是通過結合稀疏編碼、反饋連線等腦科學的知識，有效地提高了深度學習模型對數據建模的能力；二是以深度學習和fMRI為工具，揭示了視聽覺系統的一些工作機理。這些研究的科學意義在於表明腦科學與深度學習的結合能有效推動各自領域的發展。 在本項目資助下，項目組在國內外重要學術刊物、會議上發表論文26篇論文（含錄用），其中14篇SCI期刊論文（包括IEEE Transactions 3篇，Neural Computation 1篇，PLOS ONE 1篇，Pattern Recognition 1篇），12篇國際會議論文（包括CVPR 2篇，NIPS 1篇，ICML 1篇），並申請國家發明專利1項，遠超預期目標。 在本項目資助下，項目組在多項國內外模式識別競賽中獲得好成績，表明我們的成果具有良好的套用推廣價值，有可能在智慧型車、數字地圖、腦機接口等領域得到廣泛套用。