提升方法

提升方法是一種常用的統計學習方法，套用廣泛且有效。在分類問題中，它通過改變訓練樣本的權重，學習多個分類器，並將這些分類器進行線性組合，提高分類的性能。提升方法是一種可以用來減小監督式學習中偏差的機器學習元算法。

解決的問題是Kearns提出的一個“弱學習者”的集合能否生成一個“強學習者”？ 弱學習者一般是指一個分類器，它的結果只比隨機分類器好一點點。強學習者指分類器的結果非常接近真值。

對於一個複雜任務，提升方法將多個專家的判斷進行適當綜合得出的判斷，比其中任何一個專家單獨判斷更好。提升方法需要回答兩個問題：一是在每一輪如何改變訓練數據的權值或機率分布；二是如何將弱分類器組合成一個強分類器。