《機器學習算法的margin理論》是依託北京大學，由林通擔任負責人的面上項目。
基本介紹
- 中文名：機器學習算法的margin理論
- 項目負責人：林通
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
從計算生物學到搜尋引擎，機器學習算法已經成為計算機科學中占據主導地位、並且無處不在的強大工具。統計學習理論不但能對現有學習算法的性質提供理論分析，也能用於推導新的或者改進的學習算法。從神經網路、支撐向量機(SVM)到boosting，margin理論都起到了關鍵性的作用。因此本項目擬從如下三個方面，對margin理論進行深入研究：(1) 基於margin分布的boosting泛化界，(2) PAC-貝葉斯框架下線性分類器（如SVM）的margin界，(3) 主動學習算法中margin對標籤複雜度的作用。本項目將以margin理論為研究主線，緊密聯繫多種學習算法，並通過實驗來驗證理論的正確性，力爭在統計學習理論方面取得突破與創新。
結題摘要
Margin理論在機器學習中占據了重要地位，例如神經網路、支撐向量機SVM、和boosting都需要利用margin理論來給予解釋。該項目的主要研究內容是：（1）基於margin分布的boosting泛化界；（2）PAC-貝葉斯框架下的線性分類器如SVM的margin上界；（3）主動學習算法中margin對標籤複雜度的作用。根據研究學術前沿動態變化，我們對研究內容做了適當調整，取得重要結果如下：（1）在SVM的margin上界方面，我們提出了基於歐拉彈性桿的幾何正則項，給出了求解算法，並理論證明了該算法的Bayes統計相合性。（2）在流形學習上，我們提出了保持局部正交性的對齊方法LOPA。（3）在疾病診斷和基因關聯檢驗的套用方面，我們利用以margin為基礎的機器學習算法，得到了較好的實驗結果。
