面向特徵提取的主流形理論與算法研究

《面向特徵提取的主流形理論與算法研究》是依託南京理工大學，由孫明明擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：面向特徵提取的主流形理論與算法研究
• 項目類別：青年科學基金項目
• 項目負責人：孫明明
• 依託單位：南京理工大學

項目摘要

本課題面向非線性特徵提取這一前沿課題，著重考察基於主流形的特徵提取器的魯棒性問題，提出魯棒主流形的概念。魯棒主流形具有光滑的切空間，避免了譜嵌入方法對流形結構的估計穩定性差的問題；並通過在最小化量化誤差過程中保持樣本之間的關係在特徵集合中不變，保證特徵提取器的魯棒性，克服了傳統主流形方法特徵提取器魯棒性差的問題。本課題首先建立魯棒主流形的理論模型，研究其理論性質；其次研究魯棒主流形的學習模型的構造，學習速率等問題，並研究模型參數的最佳化算法；然後，本課題通過稀疏化魯棒主流形來控制其小樣本時的推廣性；最後，本課題將面向可視化、圖像流形參數估計、面向鑑別的特徵提取等任務，在高維小樣本、高噪聲、高曲率數據上驗證該理論與算法的有效性。本課題的目的是通過對魯棒主流形理論與算法的研究，建立具有魯棒性的有效非線性特徵提取器。

結題摘要

本項目以傳統主要流形學習算法存在的切空間不連續、推廣性能差為背景，以提出新的流形模型以及學習算法基本研究思路，重點在三個方向進行了研究：（1）新型的主流形建模；（2）基於深層神經網路的流形建模；（3）傳統譜嵌入流形學習方法的發展。在主流形建模方面，我們提出了支撐映射流形的數學模型，並驗證了該模型可以通過下降算法進行最佳化，是主流形學習的一個新的理論成果。在基於深層神經網路的流形建模方面，我們首先面向非監督特徵提取任務，提出了融合淺層學習機器先驗信息的深層學習模型；在所提出的框架下，藉助LLE等淺層模型學習到的先驗知識的指引，深層學習模型取得了遠好於傳統深層置信網路的效果，表明本項研究可以起到彌合淺層和深層學習之間鴻溝的作用，具有較大的價值和意義；其次，我們面向監督鑑別特徵提取任務，提出了深層Fisher映射的概念；深層Fisher映射使用重構誤差作為正則項，避免了深層學習機制強大的逼近能力導致的過學習；與其他研究相比，我們在小樣本問題，以及充分最佳化模型的基礎上研究深層Fisher模型的表現，對於深層學習的研究具有獨特的價值。在傳統譜嵌入流形學習方面，本項目在該領域進行了若干有益的探索，包括稀疏正則化，特徵空間構建，以及樣本關係建模方面；這些探索極大地豐富了流形學習的外延。通過以上研究，本項目取得了一系列理論成果 。部分研究成果已經發表，其中在IEEE Transactions 上發表論文4篇。其他重要理論成果正在積極整理髮表過程中。