基本介紹
- 中文名:統計學習理論
- 外文名:statistical learning theory
- 提出者:萬普尼克
- 屬性:一套機器學習理論
- 作用:歸納學習
損失函式,VC維,理論研究,機器學習,
損失函式
期望風險, 經驗風險, 結構風險。
VC維
統計學習理論從一些觀測(訓練)樣本出發,從而試圖得到一些目前不能通過原理進行分析得到的規律,並利用這些規律來分析客觀對象,從而可以利用規律來對未來的數據進行較為準確的預測。例如,對全國未來幾年人口數量進行預測,就需要先採集到過去幾年甚至幾十年的人口數據,並對其變化規律做出統計學方面的分析和歸納,從而得到一個總體的預測模型,這樣就可以對未來幾年的人口總體走勢作一個大概的估計和預測。
顯然,這裡採集到的過去人口的數據越準確,年份越長,分析歸納得到的統計規律就越準確,對未來人口預測就越接近真實水平。另外,如果只採集到了過去幾年的人口數據,那么,這樣得到的統計模型無論如何也是不夠完美的。
理論研究
所以,不難發現,統計學習理論主要是研究以下三個問題:
① 學習的統計性能:通過有限樣本能否學習得到其中的一些規律?
② 學習算法的收斂性:學習過程是否收斂?收斂的速度如何?
③ 學習過程的複雜性:學習器的複雜性、樣本的複雜性、計算的複雜性如何?
如今,統計學習理論在模式分類、回歸分析、機率密度估計方面發揮著越來越重要的作用。
機器學習
統計模式識別問題可以看做基於機器學習的一個特例。而基於機器學習的方法是現代智慧型技術中十分重要的一個方面,主要研究如何從一些樣本出發得出目前不能通過原理分析得到的規律,利用這些規律去分析客觀對象,對未來數據或無法觀測的數據進行預測。