自助法

在統計學中，自助法（Bootstrap Method，Bootstrapping或自助抽樣法）是一種從給定訓練集中有放回的均勻抽樣，也就是說，每當選中一個樣本，它等可能地被再次選中並被再次添加到訓練集中。自助法由Bradley Efron於1979年在《Annals of Statistics》上發表。當樣本來自總體，能以常態分配來描述，其抽樣分布(Sampling Distribution)為常態分配(The Normal Distribution)；但當樣本來自的總體無法以常態分配來描述，則以漸進分析法、自助法等來分析。採用隨機可置換抽樣(random sampling with replacement)。對於小數據集，自助法效果很好。

基本介紹

• 中文名：自助法
• 外文名：Bootstrap Sampling

.632自助法

最常用的一種是.632自助法，假設給定的數據集包含d個樣本。該數據集有放回地抽樣d次，產生d個樣本的訓練集。這樣原數據樣本中的某些樣本很可能在該樣本集中出現多次。沒有進入該訓練集的樣本最終形成檢驗集（測試集）。 顯然每個樣本被選中的機率是1/d，因此未被選中的機率就是(1-1/d)，這樣一個樣本在訓練集中沒出現的機率就是d次都未被選中的機率，即(1-1/d)。當d趨於無窮大時，這一機率就將趨近於1/e=0.368，所以留在訓練集中的樣本大概就占原來數據集的63.2%。

Bootstrap自助法

最常用的一種Bootstrap自助法，假設給定的數據集包含d個樣本。該數據集有放回地抽樣m次，產生m個樣本的訓練集。這樣原數據樣本中的某些樣本很可能在該樣本集中出現多次。沒有進入該訓練集的樣本最終形成檢驗集（測試集）。 顯然每個樣本被選中的機率是1/m，因此未被選中的機率就是(1-1/m)，這樣一個樣本在訓練集中沒出現的機率就是m次都未被選中的機率，即(1-1/m)^m。當m趨於無窮大時，這一機率就將趨近於e^-1=0.368，所以留在訓練集中的樣本大概就占原來數據集的63.2%。

例如：人工樣本為1，2，3；只有三個樣本，則可以從隨機變數X，分布為P(X=k)=1/3, k=1,2,3; 這樣的經驗分布中用計算機根據上述分布自動產生樣本，如產生5個樣本：1 2 3 2 1；也可以是：3 3 2 1 1

自助法在數據集較小、難以有效劃分訓練集和測試集時很有用；此外，自助法能從初始數據集中產生多個不同的訓練集，這對集成學習等方法有很大的好處。然而，自助法產生的數據集改變了初始數據集的分布，這會引入估計偏差。因此，在初始數據量足夠時，留出法和交叉驗證法更常用一些。