《學習理論中基於核函式的正則化算法的研究》是依託濟南大學，由孫紅衛擔任項目負責人的面上項目。
基本介紹
- 中文名：學習理論中基於核函式的正則化算法的研究
- 項目類別：面上項目
- 項目負責人：孫紅衛
- 依託單位：濟南大學
項目摘要,結題摘要,
項目摘要
正則化算法是統計學習理論的主要研究領域之一，本項目緊緊圍繞正則化算法的核心問題，開展如下三個方面的研究。（1）研究基於弱相關抽樣的正則化學習算法的誤差及學習速率估計，包括研究強混合條件下的Online算法的誤差與學習速率，建立基於弱相關抽樣的Bernstain不等式，從而對基於強混合序列抽樣的正則化最小二乘算法，改進現有的誤差與學習速率的估計結果；（2）研究係數正則化算法， 包括基於係數p-範數作為正則項的係數正則化算法的誤差估計與學習速率，積分運算元方法的套用與改進， 當取係數的1-範數作為正則項時，建立有關其最佳化解的稀疏性理論；（3）研究梯度學習算法，利用覆蓋數的方法建立依容量相關的誤差估計與學習速率， 研究結合梯度的積分運算元 的性質，用積分運算元的方法得到依容量無關的誤差估計與學習速率。上述研究的實現為正則化算法提供了理論保證，因此具有重要的理論意義。
結題摘要
正則化學習算法是統計學習理論的主要研究領域之一，本項目緊緊圍繞正則化學習算法的核心問題，完成了如下幾個方面的研究工作。（1）研究基於弱相關抽樣的正則化學習算法的誤差及學習速率估計，包括證明基於非同分布和強混合抽樣過程的正則化算法的一致性， 通過引入核函式相應的條件， 成功得到基於強混合抽樣過程與非正定核的係數正則化算法的誤差界與學習速率的估計，同時提高了基於非正定核的學習速率的估計結果； （2）研究係數正則化算法，通過引入一種step-stone技巧，研究了取係數的1-範數作為正則項的係數正則化算法的誤差估計與學習速率，並且給出其最佳化解稀疏性的一種表示，進一步研究了基於係數p-範數作為正則項的係數正則化算法的漸進收斂性； （3）研究了基於核正則化的典型相關分析（CCA）的誤差分析與收斂速率，這裡克服的主要困難是逼近條件的確定以及運算元逼近的估計，進一步研究了基於核正則化的條件CCA學習的收斂速率； （4）此外，我們研究了梯度學習算法、 譜正則化算法、 基於無界抽樣的正則化算法的一致性， 研究了多核正則化算法最佳化解的存在性。上述研究成果豐富了正則化學習算法的理論基礎，具有重要的理論與實際意義。
