基於深度學習的異構數據低維非線性表示

《基於深度學習的異構數據低維非線性表示》是依託西安交通大學，由張講社擔任項目負責人的重大研究計畫。

基本介紹

• 中文名：基於深度學習的異構數據低維非線性表示
• 項目類別：重大研究計畫
• 項目負責人：張講社
• 依託單位：西安交通大學

中文摘要

異構數據的規模和維數隨著感知技術和多媒體技術的發展正在快速地增長，其屬性的互異性和維數的超高性使得直接利用數據去發現結構和模式困難重重，解決這一問題的有效途徑便是數據的低維表示（即維數約減）。傳統的維數約減方法不能有效地用於異構數據的維數約化，且其發現的結構也只是一些“淺表”結構。深度學習方法是一種新型的維數約減方法，它以多層網的方式給出了由多層非線性函式經疊加、複合而得到的低維高階非線性表示。但當這一方法用於異構數據維數約減時，其模型仍不夠靈活，數據的本徵維數也難以確定，算法的效率仍需進一步提高。本項目在模型上引入低維異構非線性表示，算法上提出基於“最小脈衝回響次數”的稀疏化代價函式，研究基於“最小脈衝回響次數”的數據低維表示及維數確定，研究求解與任務有關的數據維數約減問題，設計高維異構數據的低維異構高度非線性表示的高效深度學習方法。所獲結果有望擴展和深化維數約減方法的套用。

結題摘要

本項目主要研究複雜異構數據低維高度非線性表示的深度學習方法，設計高效的基於多層結構的學習算法，並探討所獲方法在地理、遙感以及醫學等領域數據降維和可視化方面的套用。所取得的主要成果集中在下述幾個方面：深度學習算法的研究，特徵選擇、提取與降維，以及相關方法在遙感圖像處理和人臉、手寫體識別等方面的套用。 在深度學習算法的研究方面，基於“最小脈衝回響次數”的稀疏代價函式，提出了一種新的稀疏RBM模型LogSumRBM，提高了RBM的數據表示能力；提出了一種對變換具有不變性的分類RBM算法，達到了較高的分類精度；建立了基於率失真理論的深度信念網模型，極大地減少了編碼中的信息率、提取了更抽象的特徵，並學到了更具判別能力的表示；提出了一種堆疊的無監督的極端學習機算法，能更高效地提取出更有意義的特徵；探討了利用受限波爾茲曼機RBM來輔助構建集成分類器的方法，得出了一些有指導性的結論；提出了基於等能量跳轉的並行回火算法，克服了目前常用的並行回火算法在使用不合適的輔助分布時會引起極低的狀態交換率的缺陷。 在特徵選擇、提取與降維技術的研究方面，提出了一種基於奇異值分解的降維方法，新方法簡單且有效；利用boosting算法的思想，基於遺傳算法，提出了一種新的構建變數選擇集成的方法，達到了更高的變數選擇精度；在並行遺傳算法PGA算法的基礎上，提出了一種新的算法RandGA，能更好地檢測出真正重要的自變數。 在相關方法在遙感圖像處理的套用方面，基於引導濾波，我們提出了兩種新穎的全色銳化方法以減少多光譜和全色圖像的冗餘細節信息，有效改進了全景銳化效果；基於多光譜圖像融合的自適應的強度、色度和飽和度方法(AHIS)，提出了一種改進的IAIHS算法，可以更充分地利用每一個多光譜圖像的空間信息，並保證融合後所得圖像的光譜質量；將壓縮感知理論用於高光譜圖像的端元提取，增強了光譜解混效果。在人臉識別的研究方面，利用低秩分解方法，提出了一種新的表示人臉的模型框架，可學到更具判別能力的表示。 本項目的研究截至目前共發表相關期刊論文19篇，其中SCI檢索15篇。