經驗貝葉斯方法

當先驗分布未知時，利用歷史樣本來估計先驗分布，並確定貝葉斯決策函式，這樣的方法稱為經驗貝葉斯方法。一個決策函式，它不僅利用當前樣本，還利用歷史本來確定先驗分布，稱這樣的決策函式為經驗貝葉斯決策函式。

基本介紹

• 中文名：經驗貝葉斯方法
• 外文名：empirical Bayes method
• 適用範圍：數理科學

定義

當先驗分布未知時，利用歷史樣本來估計先驗分布，並確定貝葉斯決策函式，這樣的方法稱為經驗貝葉斯方法。一個決策函式，它不僅利用當前樣本，還利用歷史本來確定先驗分布，稱這樣的決策函式為經驗貝葉斯決策函式。

分類

經驗貝葉斯方法通常可分為參數經驗貝葉斯方法和非參數經驗貝葉斯方法兩種。

設樣本的條件密度為 ，參數 的先驗分布 未知。記樣本的邊緣密度為

則 也未知。

若假設 的先驗分布屬於一己知的參數族，記為 ，則樣本的邊緣密度可寫為 。那么，基於獨立同分布 的歷史樣本 ，利用經典統計方法可以給出λ 的估計 ，進而得到先驗分布的估計 ，並以其貝葉斯解為經驗貝葉斯決策函式。這種方法稱為參數經驗貝葉斯方法。

若決策問題的貝葉斯解可以表示為 ，其中 和 是已知的函式，則可以用服從 的獨立樣本來估計 ，進而估計貝葉斯解 並作為決策問題的經驗貝葉斯決策函式。這種方法稱為非參數經驗貝葉斯方法。

經驗貝葉斯方法的關鍵是要有歷史樣本。

貝葉斯定理

貝葉斯定理是關於隨機事件A和B的條件機率和邊緣機率的一則定理。，其中P(A|B)是在B發生的情況下A發生的可能性。

在貝葉斯定理中，每個名詞都有約定俗成的名稱：

P(A)是A的先驗機率或邊緣機率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。

P(A|B)是已知B發生後A的條件機率，也由於得自B的取值而被稱作A的後驗機率。

P(B|A)是已知A發生後B的條件機率，也由於得自A的取值而被稱作B的後驗機率。

P(B)是B的先驗機率或邊緣機率，也作標準化常量（normalized constant）.

按這些術語，Bayes定理可表述為：

後驗機率 = (相似度*先驗機率)/標準化常量

也就是說，後驗機率與先驗機率和相似度的乘積成正比。

另外，比例P(B|A)/P(B)也有時被稱作標準相似度（standardised likelihood），Bayes定理可表述為：

後驗機率 = 標準相似度*先驗機率