《機器學習核方法模型選擇與組合的核矩陣近似分析方法》是依託天津大學，由廖士中擔任項目負責人的面上項目。
基本介紹
- 中文名：機器學習核方法模型選擇與組合的核矩陣近似分析方法
- 項目類別：面上項目
- 項目負責人：廖士中
- 依託單位：天津大學
項目摘要,結題摘要,
項目摘要
如何避免欠擬合與過擬合，提高泛化性，是機器學習核方法理論研究和實際套用的重要問題，也是核方法模型選擇與組合的基本問題。現有核方法研究沒有給出機器學習本質意義的且計算高效的模型選擇與組合方法，往往採用在核模型構造後利用測試數據或驗證數據來最佳化模型參數的實驗方法。本項目研究核方法模型選擇與組合的核矩陣近似分析方法。首先，顯式地構造稠密且計算高效的再生核希爾伯特空間(RKHS)和核矩陣空間，在此基礎上細化積分運算元譜與核矩陣譜的對應關係，給出從樣本結構和運算元-矩陣譜關係反演核矩陣的方法，分析核方法穩定性與核模型泛化性的關係。然後，推導並分析核矩陣近似誤差與核方法穩定性的關係，進而定製出核方法模型選擇與組合的評價準則。最後，設計核矩陣和評價準則高效的計算算法。該項目探索核矩陣近似計算與核方法泛化性之間的關係，發展核方法的核矩陣近似計算理論，並給出適用於大規模樣本的核方法學習方法和評價方法。
結題摘要
如何避免欠擬合與過擬合，提高泛化性，是機器學習核方法理論研究和實際套用的重要問題，也是核方法模型選擇與組合的基本問題。現有核方法研究沒有給出機器學習本質意義的且計算高效的模型選擇與組合方法，往往採用在核模型構造後利用測試數據或驗證數據來最佳化模型參數的實驗方法。本項目研究核方法模型選擇與組合的核矩陣近似分析方法。主要工作包括：(1) 顯式構造稠密且計算高效的假設空間。提出隨機循環特徵映射空間、隨機循環矩陣空間、框架核再生核希爾伯特空間(RKHS)和近似高斯RKHS，具有高效的計算效率和一致的理論解釋。(2) 奠基核方法模型選擇與組合基本理論。提出涉及核矩陣、運算元、穩定性的譜穩定性學習理論；提出核方法模型選擇近似理論，定義近似一致性的概念，證明近似與精確準則的強近似一致性，並證明Nystrom方法、改進的Nystrom方法和多層循環矩陣近似方法的近似一致性；提出基於正則化路徑的支持向量機模型組合的三步法，利用支持向量機正則化路徑分段線性性質構建初始模型集，套用廣義平均交叉驗證方法和修剪策略獲得候選模型集，在測試或預測階段，套用最小近鄰法確定輸入敏感的最終組合模型集，實現貝葉斯組合預測。(3) 設計核方法模型選擇與組合的高效算法。基於核矩陣近似算法和正則化路徑算法，提出線性時間複雜性支持向量機近似模型選擇算法，並基於多層循環矩陣近似和Nystrom近似，提出對數線性時間複雜性的最小二乘支持向量機的近似模型選擇方法，並提出了大規模支持向量機多參數同時調節方法，在同一最佳化過程中實現模型選擇和學習器訓練；基於Bouligand影響函式，給出交叉逼近理論，提出一種高效的交叉驗證近似方法。
