學習理論中相似度量學習及相關課題的研究

《學習理論中相似度量學習及相關課題的研究》是依託浙江大學，由郭正初擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：學習理論中相似度量學習及相關課題的研究
• 依託單位：浙江大學
• 項目負責人：郭正初
• 項目類別：青年科學基金項目

項目摘要

在學習理論的標準框架中，損失函式一般是基於單個樣本的。基於單樣本損失函式的學習算法在學習理論中已有廣泛的研究，本項目將利用逼近論的方法對基於雙樣本損失函式的學習算法進行深入研究，主要考慮排序型線上學習算法和相似度量學習算法。隨著大數據時代的到來，線上算法因其低計算量而受到越來越多人的關注，本項目首先將研究排序型線上學習算法，對算法的相容性和學習率進行分析。其次，在機器學習中，選擇一個合適的度量對學習任務有很重要的作用。目前有關相似度量學習的理論研究僅限於算法的泛化能力方面。本項目旨在完善相似度量學習的理論框架，即給出算法完整的誤差分析，包括樣本誤差和逼近誤差的估計。最後，因在現實套用中，數據中的非線性結構往往不能用線性度量來刻畫，本項目擬利用經驗特徵對線性度量非線性化，並進一步研究相似度量學習與目標任務之間的理論聯繫。

結題摘要

在機器學習中，選擇一個合適的度量對學習任務有著至關重要的作用。本項目首先研究了相似度量學習算法的泛化能力，提出了一種新的分析方法能估計帶一般正則化項的相似度量學習算法的泛化界，並進一步研究相似度量學習與目標任務之間的理論聯繫。另外，分析和處理來自科技各個領域的大數據是一個重要且具有挑戰性的課題。分散式學習和線上學習是處理大數據的強有力工具並成為學習理論中熱點課題。本項目的另一個研究內容主要是對分散式學習和排序型線上學習這兩類算法進行理論分析。我們首先研究了再生核希爾伯特空間中各種正則化方法所產生的分散式學習算法，包括譜算法、係數正則化算法、最小二乘正則化偏差修正算法和多罰學習算法（包含流形正則化學習算法）等，用基於積分運算元的新工具以及逼近論思想給出誤差界和最優學習率。最後，我們研究了基於雙樣本損失函式的排序型線上學習算法。本項目的研究為算法在實際套用中的表現提供了理論依據並為設計新的算法提供線索。