基於非獨立同分布樣本的統計學習理論研究與套用

《基於非獨立同分布樣本的統計學習理論研究與套用》是依託大連理工大學,由張超擔任項目負責人的面上項目。

基本介紹

• 中文名：基於非獨立同分布樣本的統計學習理論研究與套用
• 依託單位：大連理工大學
• 項目類別：面上項目
• 項目負責人：張超

項目摘要

經典的統計學習理論結果大多是基於樣本獨立同分布假設的，然而此假設在很多實際問題中無法滿足，例如：信道估計、時間序列預測和泛函式據分析等。儘管已有諸多非獨立同分布學習模型被套用到實際問題中，但是對這類學習模型的理論分析還相對薄弱。本項目擬將經典的統計學理論結果推廣到非獨立同分布學習問題中去。考慮到非獨立同分布學習過程的複雜性，我們將研究幾種基於代表性隨機過程的學習過程，其中包括：near-epoch dependence、L1-mixingale、Markov過程和高斯過程等。對於每一種學習過程，我們將得到適用於該學習過程的偏差不等式和對稱不等式並求得泛化界，進而分析此學習過程的一致性和收斂率。我們還將研究由時間泛函構成的函式類複雜度的性質以及非獨立同分布學習模型的可學習性等。並以得到的理論結果為基礎，我們將歸納出非獨立同分布學習問題的共性並對已有的算法模型進行改進。

結題摘要

經典的統計學習理論結果主要是建立在樣本獨立同分布假設之上的，然而獨立同分布假設在很多實際問題中是無法被滿足的，例如:信道估計、時間序列預測和泛函式據分析等。儘管許多已經有很多模型被用於解決非獨立同分布問題，但是其相應的理論分析還處於亟待解決的階段。在本項目的資助之下，我們對基於非獨立同分布樣本的機器學習算法的泛化性進行了研究，給出了具有廣泛意義的非獨立同分布樣本學習問題的泛化界。此外，我們還對多任務學習和臨近風險最小化原則的泛化性進行了研究。在套用方面，我們結合RNN模型對時間序列進行分析，對盾構機的關鍵運行數據進行了準確的實時預測。隨機矩陣理論是目前新的研究熱點，其已經被廣泛的套用於機器學習、量子計算等領域。但是現有的隨機矩陣結果大多是與矩陣的維數相關的，因此這些結果並不適用於高維或是無窮維矩陣情形。在本項目的資助之下，我們還給出了與矩陣維數無關的的隨機矩陣集中不等式，這是對先有隨機矩陣結果的重要補充。此外我們還對隨機矩陣理論在最佳化問題上的套用進行了研究，並給出了新的Bennett不等式的近似形式。