《基於不確定先驗知識的支持向量機理論與算法研究》是依託哈爾濱理工大學，由劉鳳秋擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於不確定先驗知識的支持向量機理論與算法研究
- 項目類別：青年科學基金項目
- 項目負責人：劉鳳秋
- 依託單位：哈爾濱理工大學
項目摘要,結題摘要,
項目摘要
在機器學習領域，通過將先驗知識結合到支持向量機以提高泛化能力是近來研究的熱點。但是利用雙重不確定先驗知識設計核函式及所相關的非凸最佳化問題的求解鮮有關注。本項目以具有模糊-隨機先驗知識的學習問題為研究對象，對支持向量機理論與算法進行研究。以再生核Krein空間、不確定性、微分包含以及統計學習的相關理論為工具，圍繞模糊-隨機先驗知識設計核函式開展以下三個方面的研究。（1）在Krein空間框架下，利用學習問題的模糊-隨機先驗知識設計核函式；（2）針對不定核支持向量機導出的非凸最佳化問題設計神經網路最佳化算法；（3）模糊-隨機先驗知識的支持向量機理論與算法的分析與驗證的研究。理論上，為不確定先驗知識設計核函式提供新的框架。套用上，為不確定先驗知識支持向量機提供經驗泛化誤差界的新估計；給出求解不定核支持向量機非凸最佳化問題的高效的神經網路算法，為基於不確定先驗知識的支持向量機套用提供保障。
結題摘要
支持向量機(Support Vector Machine, SVM) 是機器學習領域中一種最先套用核函式理論的統計學習算法。No Free Lunch 定理表明，即使經驗誤分率很低、訓練集合規模很大，算法在訓練集合上表現很好，算法也未必能夠有效推廣到測試集，學習算法的泛化能力依賴先驗知識。因此，先驗知識與SVM的結合成為近年來機器學習領域研究熱點之一。 進行了以下三個方面的研究：（1）在Krein空間框架下，利用學習問題的Takagi-Sugeno模糊規則先驗知識設計核函式；（2）針對不定核支持向量機導出的非凸最佳化問題設計神經網路最佳化算法；（3）模糊-隨機先驗知識的支持向量機理論與算法的分析與驗證的研究。 獲得了以下有意義的研究結果：（1）針對二類分類問題、回歸問題中的Takagi-Sugeno模糊規則形式先驗知識，設計模糊隸屬核函式，討論判定核函式的正定性，分析相應的支持向量機泛化能力，驗證Takagi-Sugeno模糊規則先驗知識的有效性；（2）設計了次梯度神經網路（Subgradient Neural Network，SGNN）算法，證明SGNN解的存在性、唯一性以及有限時間收斂到可行域，並給出有限時間的估計不等式。證明SGNN解與slow解的一致性，利用Lojasiewicz指數，計算SGNN解的收斂速率。（3）針對支持向量機導出的二次規劃問題，設計離散神經網路算法，證明離散神經網路全局指數收斂；（4）套用理論結果和算法，說明上述結果的可行性，驗證所構造的算法對求解這些最佳化問題的有效性。 本項目的完成為支持向量算法的套用提供理論支持，是對支持向量機理論與算法研究的豐富和發展。
