統計學習理論中的分位數回歸和MEE算法

《統計學習理論中的分位數回歸和MEE算法》是依託武漢大學，由胡婷擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：統計學習理論中的分位數回歸和MEE算法
• 項目類別：青年科學基金項目
• 項目負責人：胡婷
• 依託單位：武漢大學

項目摘要

最小二乘方法在統計學習理論的回歸分析中已有很廣泛的研究，本項目將利用逼近論方法，採用經驗風險最小化準則考慮學習理論中的分位數回歸與最小殘差熵(MEE)方法。為使算法具有稀疏性，我們將線上算法與帶閾值的分位數回歸問題結合，分析算法的學習能力。同時，我們通過噪聲條件和比較原則，導出空間分位數和無界分位數情況下的算法誤差。在MEE算法中，我們首先會在大尺度參數下，證明算法的一致性，並給出算法的收斂速度。接下來我們通過逼近論的方法，分析MEE算法在尺度參數變小時的漸近性質。最後我們用誤差分解的方法討論再生核希爾伯特空間中正則化MEE算法的學習速率。

結題摘要

本項目主要針對統計理論中的分位數回歸以及資訊理論中的熵算法進行研究。分位數回歸比經典最小二乘法更能表現出輸出空間和輸入空間之間的關係，在處理方差異常或重尾分布有顯著優勢，使算法具有穩定性。線上分位數回歸算法將線上算法和分位數的損失函式結合，從支持向量機的角度考慮算法在學習過程中的誤差和學習速度，通過調整參數提高算法的有效性。最小誤差熵考慮了誤差的所有階數，使算法不再局限高斯噪聲，比最小二乘算法適用更廣。我們在不同尺度參數下考慮算法的表現。在大尺度參數下，最小誤差熵算法與回歸分析緊密相關，我們在經驗風險最小化原則下研究了其與回歸函式的的誤差。進一步，我們考慮了在尺度參數充分小的情況下，算法的一致性。