《基於矩陣低秩近似的大規模核/度量學習研究》是依託西安電子科技大學，由周水生擔任項目負責人的面上項目。
基本介紹
- 中文名：基於矩陣低秩近似的大規模核/度量學習研究
- 項目類別：面上項目
- 項目負責人：周水生
- 依託單位：西安電子科技大學
中文摘要,結題摘要,
中文摘要
基於數據的機器學習是現代智慧型化技術的一個重要方面，其中核函式模型選擇是一個難點問題，核學習和度量學習是研究核函式的度量特性、解決此問題的熱點方法。合適的模型和高效的算法是其廣泛套用的前提，本項目結合該領域國內外的新進展，採用核矩陣的低秩近似，降低(多)核/度量學習的計算、存儲複雜度，給出適合大規模問題的快速算法，並解決近似過程中所涉及到的理論問題。首先從最佳化的角度研究非凸的秩約束半定規劃問題及其凸近似模型，上分析不同的正則化方法、不同的低秩近似誤差及其導致的模型間接誤差；其次研究核學習和度量學習的統一半定規劃模型，揭示核學習的度量特徵，結合矩陣低秩近似，給出複雜度更低的快速算法；最後基於新的最佳化技術和核矩陣低秩分解，選擇合適的光滑函式，利用光滑、半光滑化極大極小問題的快速求解算法，研究適於大規模多核學習的快速算法。項目具的創新性和前沿性，其研究成果將大大推動核/度量學習更為廣泛的套用。
結題摘要
本項目在國家自然科學基金的資助下，以研究大規模矩陣的低秩近似為主要思路，以設計相關高效算法為主要目標，按照資助計畫書展開了系統的研究，在大規模支持向量機學習算法、核PCA、光滑/半光滑方法、廣義矩陣低秩近似、非負矩陣分解等領域取得了一系列的研究成果。主要研究成果總結包括：(1)採用疊代Cholesky方法研究核矩陣的低秩近似，降低核學習的計算、存儲複雜度，並結合套用廣泛的最小二乘支持向量機(LSSVM)模型，給出適合大規模問題的快速算法，研究並解決了近似過程中所涉及到的理論問題，取得了顯著的效果；並進一步套用於大規模訓練數據的核PCA以及核2DPCA，就其在人臉檢測、特徵提取等領域的套用進行了實驗，取得了滿意的效果。(2)從最佳化的角度研究了不同正則化方法、不同的低秩近似方法、不同的光滑化方法下的支持向量機模型的差異，並就相應的快速算法進行了大量的數值比較實驗。(3)研究並給出了一種大規模人臉檢測的廣義低秩近似的非疊代快速算法。(4)在非負矩陣分解的算法方面，研究了一種新的秩二修正算法、提出新的的兩點步長Barzilai-Borwein(BB)梯度算法、非單調投影梯度算法和二次正則投影BB算法等，這些算法都優於已有的相關算法。(5)項目組部分成員也深入研究了課題進展過程中導出的其它最佳化問題，取得了豐碩的成果，如求解NCP問題的半光滑Newton算法、對稱錐、線性互補、半定規劃等高效算法。(6)研究了克服噪聲影響的基於非凸損失函式的相關學習問題，並結合核矩陣的低秩近似，提出具有稀疏性的適合大規模數據訓練的高效快速算法，該思路能有效應對大數據時代有關領域的嚴峻挑戰，是課題組下一個階段的主要研究方向。 在項目資助期間，課題組發表或錄用與項目相關論文43篇，其中SCI收錄23篇，EI收錄34篇，其餘發表在國家核心期刊上。其中有標註基金資助共33篇(SCI收錄19篇，EI收錄24篇)。獲得授權專利3項。超額完成資助計畫書預期目標。
