貝葉斯推斷

貝葉斯推斷(英語:Bayesian inference)是推論統計的一種方法。這種方法使用貝葉斯定理,在有更多證據信息時,更新特定假設機率。貝葉斯推斷是統計學(特別是數理統計學)中很重要的技巧之一。貝葉斯更新(Bayesian updating)在序列分析中格外的重要。貝葉斯推斷套用在許多的領域中,包括科學工程學哲學醫學體育運動法律等。在決策論的哲學中,貝葉斯推斷和主觀機率有密切關係,常常稱為貝葉斯機率

貝葉斯定理是由統計學家托馬斯·貝斯(Thomas Bayes)根據許多特例推導而成,後來被許多研究者推廣為一普遍的定理

基本介紹

  • 中文名:貝葉斯推斷
  • 外文名:BAYESIAN INFERENCE
  • 別稱:貝葉斯推理
  • 提出者:托瑪斯·貝葉斯
  • 套用學科:統計學
貝葉斯定理的簡介,正式的介紹貝葉斯推斷,非正式的介紹貝葉斯推斷,貝葉斯推斷的描述,定義,貝葉斯推斷,套用,電腦套用,歷史,

貝葉斯定理的簡介

正式的介紹貝葉斯推斷

貝葉斯推斷將後驗機率(考慮相關證據或數據後,某一事件的條件機率)推導為二個前件先驗機率(考慮相關證據或數據前,某一事件不確定性的機率)及似然函式(由機率模型推導而得)的結果。貝葉斯推斷根據貝葉斯定理計算後驗機率:
其中
表示將某事件成立作為條件(因此
表示“假定B成立的A”)
H表示假說,其機率可能會受實驗數據(以下會稱為證據)影響。一般來說會有許多互相矛盾的假說,任務是要確認哪一個假說可能性最高。
E表示證據。證據對應新的數據,也就是還沒用來計算先驗機率的數據。
P(H),先驗機率,是觀察到數據E(目前證據)之前,假說H的機率。
後驗機率,是在給定證據 E之後,假說 H的機率,是希望求得的資訊,也就是在有目前證據時,假說H的機率。
是假定H成立時,觀察到 E的機率。在H不變時,這是E的函式,也是似然函式,指出在給定假設下假說和證據的相容程度。似然函式是證據E的函式,而後驗機率是假說H的函式。
P(E)有時會稱為邊緣似然率。此係數對所有可能的假說都是定值,因此在判斷不同假說的相對機率時,不會用到這個係數中。
貝葉斯定理也可以寫成下式:

非正式的介紹貝葉斯推斷

貝葉斯推斷最關鍵的點是可以利用貝斯定理結合新的證據及以前的先驗機率,來得到新的機率(這和頻率論推論相反,頻率論推論只考慮證據,不考慮先驗機率)。
而且貝葉斯推斷可以疊代使用:在觀察一些證據後得到的後設機率可以當作新的先驗機率,再根據新的證據得到新的後設機率。因此貝斯定理可以套用在許多不同的證據上,不論這些證據是一起出現或是不同時出現都可以,這個程式稱為貝斯更新(Bayesian updating)。

貝葉斯推斷的描述

定義

x是數據點,可能是一個有許多數值形成的向量
是數據點分布的參數,也就是說
。這也有可能是參數形成的向量。
是參數的超參數,也就是說
。這也有可能是超參數形成的向量。
,由觀測到的n個數據點組成的一組數據,
,需預測分布的新數據點。

貝葉斯推斷

先驗分布是在觀測資料前的參數分布
先驗分布可能不容易確認,此時可以用傑佛里斯事前分配在更新較新的觀測值時,先獲得後驗分布。
取樣分布是以觀測資料的條件,其參數的分布
。這也稱為似然函式,尤其是視為是參數的函式時,有時會寫成
邊緣似然率(有時也稱為證據)是觀測資料在參數上的邊緣分布
後驗分布是考慮觀測資料後的參數分布。可以由貝斯法則確認,也是貝葉斯推斷的核心:
若用文字表示,即為“後驗和先驗及似然率的乘積成正比”,有時也會寫成“後驗 = 先驗 × 似然率,在有證據的情形下”。

套用

電腦套用

貝葉斯推斷有在人工智慧專家系統上套用。自1950年代後期開始,貝葉斯推斷技巧就是電腦模式識別技術中的基礎。現在也越來越多將貝葉斯推斷和以模擬為基礎的蒙地卡羅方法合併使用的套用,因為一些模雜的模型無法用貝葉斯分析得到解析解,因圖模式結構可以配合一些快速的模擬方式(例如吉布斯抽樣或是其他Metropolis–Hastings算法)。因為上述理由,貝葉斯推斷在系統發生學研究社群中來越受到重視,許多的套用可以用同時估測許多人口和進化參數。

歷史

“貝葉斯”是指托馬斯·貝葉斯(1702–1761),他證明了一個特例(現在知道是貝葉斯定理的特例),不過皮埃爾-西蒙·拉普拉斯(1749–1827)推導了此定理的一般版本,套用在天體力學、醫療統計學、可靠度法學上。早期的貝葉斯推斷是用拉普拉斯不充分理由原則所得的均勻先驗,稱為逆向機率(因為是由觀測值倒推參數的歸納推理,或是從結果倒推到原因)。在1920年代以後,逆向機率很大程度的被另一群稱為頻率論統計的方式取代。
二十世紀時,拉普拉斯的概念往下分支為二派,開始出現主觀貝葉斯方法及客觀貝葉斯方法。客觀貝葉斯方法(或是不提供信息的貝葉斯方法)中,統計分析只依照假設的模型、分析的資料以及給定先驗分布的方式(不同的客觀貝葉斯方法會有不同給定先驗分布的方式)。主觀貝葉斯方法(或是提供信息的貝葉斯方法)中,先驗的規格依信念(也是分析希望要呈現的主張)而定,信念可以由專家整理資訊後總結產生,也可以根據以往的研究等。
1980年代發現了馬爾科夫蒙特卡洛方法,讓貝葉斯方法的研究及套用有大幅的發展,除去了許多運算上的問題,也有越來越多人願意參與非標準的複雜問題。不過雖然貝葉斯方法的研究仍在成長,大部分大學本科的教學仍是以頻率論統計為基礎。不過貝葉斯方法也廣為許多領域接受及套用,例如在機器學習的領域中。

相關詞條

熱門詞條

聯絡我們