層次貝葉斯模型

層次貝葉斯模型是具有結構化層次的統計模型。它可以用來為複雜的統計問題建立層次模型從而避免參數過多導致的過擬合問題。

基本介紹

• 中文名：層次貝葉斯模型
• 外文名：Bayesian hierarchical modeling
• 套用學科：統計

概念

層次貝葉斯模型是一個統計模型，用來為具有不同水平的問題進行建模，通過貝葉斯方法估計後驗分布的參數。

推斷過程

我們對層次貝葉斯推斷的策略與一般的多參數問題一樣，但由於在實際中層次模型的參數很多，所以比較困難。在實際中，我們很難畫出聯合後驗機率分布的圖形。但是，我們可以使用近似的基於仿真的方法。運用層次貝葉斯模型主要需要計算所有參數在已知觀測量下的條件後驗機率，其推導過程主要包含三個步驟：

1. 寫出聯合後驗密度，p(θ, φ|y)，其非正規化的形式是超先驗分布p(φ)、總體分布p(θ|φ)和似然函式p(y|θ)的乘積。
   
2. 在給定超參數φ的情況下，確定θ的條件後驗密度，固定觀測值y的情況下，它是φ的函式，p(θ|φ, y)。
   
3. 使用貝葉斯分析範例估計φ。也就是要獲取邊緣後驗分布，p(φ|y)。
   

套用

很多統計模型都有多個參數，這些參數也可以通過某種方式變成具有結構的問題，意味著這些參數的聯合機率模型應當反應出它們之間的依賴關係。舉個例子說，在研究心臟病治療效果的時候，醫院 j 的病人的存活率為θj，那么我們估計θj應當是相互聯繫的。我們可以看到使用先驗分布，把θj當作一個總體分布的樣本是很自然的事情。這樣的套用有一個很關鍵的點是，觀測數據，yij，其中 i 表示組的索引，j 表示單元的索引，可以用來估計θj的總體分布，即便θj並不是觀測的。這樣的問題使用層次模型是很自然的事情，其中觀測的結果是在某些參數下的條件模型，這些參數稱為超參數。這樣的層次模型可以幫助我們理解多參數問題，並且在尋找計算策略時提供重要幫助。
實際中，簡單的非層次模型可能並不適合層次數據：在很少的參數情況下，它們並不能準確適配大規模數據集，然而，過多的參數則可能導致過擬合的問題。相反，層次模型有足夠的參數來擬合數據，同時使用總體分布將參數的依賴結構化，從而避免過擬合問題。