貝葉斯估計（Bayesian estimation）是利用貝葉斯定理結合新的證據及以前的先驗機率，來得到新的機率。它提供了一種計算假設機率的方法，基於假設的先驗機率、給定假設下觀察到不同數據的機率以及觀察到的數據本身。
基本介紹
- 中文名：貝葉斯估計
- 外文名：Bayesian estimation
- 定義：給定數據時確定假設空間最佳假設
- 分類：一種計算假設機率的方法
- 領域：機率論
- 套用：機器學習;人工智慧;模式識別
簡介,定義,1.參數,2.定義描述,歷史,套用,舉例,相關知識,
簡介
貝葉斯估計將後驗機率（考慮相關證據或數據後，某一事件的條件機率）推導為二個前、先驗機率（考慮相關證據或數據前，某一事件不確定性的機率）及似然函式（由機率模型推導而得）的結果。貝葉斯推斷根據貝葉斯定理計算後驗機率：
其中，
1)
表示將某事件成立作為條件（因此
表示假定B成立的A）
2)
表示假說，其機率可能會受實驗數據（以下會稱為證據）影響。一般來說會有許多互相矛盾的
假說，任務是要確認哪一個假說可能性最高。
3)
表示證據。證據對應新的數據，也就是還沒用來計算先驗機率的數據。
7)
有時會稱為邊緣似然率。此係數對所有可能的假說都是定值，因此在判斷不同假說的相對機率時，不會用到這個係數中。
針對不同的 數值，只有
和
（都在分子）會影響
的數值。假說的後驗機率和其先驗機率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。
貝葉斯定理也可以寫成下式：
貝葉斯估計最關鍵的點是可以利用貝斯定理結合新的證據及以前的先驗機率，來得到新的機率（這和頻率論推論相反，頻率論推論只考慮證據，不考慮先驗機率）。
而且貝葉斯估計可以疊代使用：在觀察一些證據後得到的後設機率可以當作新的先驗機率，再根據新的證據得到新的後設機率。因此貝斯定理可以套用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程式稱為貝葉斯更新（Bayesian updating）。
定義
1.參數
1)
是數據點，可能是一個有許多數值形成的向量。
4)
，由觀測到的
個數據點組成的一組數據，
5) 
，需預測分布的新數據點。
2.定義描述
1）先驗分布是在觀測資料前的參數分布
；
2）先驗分布可能不容易確認，此時可以用傑佛里斯事前分配在更新較新的觀測值時，先獲得後驗分布；
4）邊緣似然率（有時也稱為證據）是觀測資料在參數上的邊緣分布
；
歷史
貝葉斯是指托馬斯·貝葉斯（1702–1761），他證明了一個特例（現在知道是貝葉斯定理的特例），不過皮埃爾-西蒙·拉普拉斯（1749–1827）推導了此定理的一般版本，套用在天體力學、醫療統計學、可靠度及法學上。早期的貝葉斯推斷是用拉普拉斯不充分理由原則所得的均勻先驗，稱為逆向機率（因為是由觀測值倒推參數的歸納推理，或是從結果倒推到原因）。在1920年代以後，逆向機率很大程度的被另一群稱為頻率論統計的方式取代。
二十世紀時，拉普拉斯的概念往下分支為二派，開始出現主觀貝葉斯方法及客觀貝葉斯方法。客觀貝葉斯方法（或是不提供信息的貝葉斯方法）中，統計分析只依照假設的模型、分析的資料以及給定先驗分布的方式（不同的客觀貝葉斯方法會有不同給定先驗分布的方式）。主觀貝葉斯方法（或是提供信息的貝葉斯方法）中，先驗的規格依信念（也是分析希望要呈現的主張）而定，信念可以由專家整理資訊後總結產生，也可以根據以往的研究等。
1980年代發現了馬爾科夫蒙特卡洛方法，讓貝葉斯方法的研究及套用有大幅的發展，除去了許多運算上的問題，也有越來越多人願意參與非標準的複雜問題。不過雖然貝葉斯方法的研究仍在成長，大部分大學本科的教學仍是以頻率論統計為基礎。不過貝葉斯方法也廣為許多領域接受及套用，例如在機器學習的領域中。
套用
貝葉斯估計有在人工智慧及專家系統上套用廣泛。自1950年代後期開始，貝葉斯估計技巧就是電腦模式識別技術中的基礎。現在也越來越多將貝葉斯估計和以模擬為基礎的蒙地卡羅方法合併使用的套用，因為一些模雜的模型無法用貝葉斯分析得到解析解，因圖模式結構可以配合一些快速的模擬方式（例如吉布斯抽樣或是其他Metropolis–Hastings算法）。因為上述理由，貝葉斯推斷在系統發生學研究社群中來越受到重視，許多的套用可以用同時估測許多人口和進化參數。
舉例
例.一個醫療診斷問題有兩個可選的假設：病人有癌症、病人無癌症可用數據來自化驗結果：正+和負-。有先驗知識：在所有人口中，患病率是0.008，對確實有病的患者的化驗準確率為98%，對確實無病的患者的化驗準確率為97% 。總結如下：
P(cancer)=0.008，P(nocancer)=0.992， P(+|cancer)=0.98，
P(-|cancer)=0.02，P(+|noncancer)=0.03，P(-|noncancer)=0.97。
問題：假定有一個新病人，化驗結果為正，是否應將病人斷定為有癌症？求後驗機率P(cancer|+)和P(noncancer|+)。
因此極大後驗假設計算如下：
P(+|cancer)P(cancer)=0.0078，P(+|noncancer)P(noncancer)=0.0298。
確切的後驗機率可將上面的結果歸一化以使它們的和為1：
P(canner|+)=0.0078/(0.0078+0.0298)=0.21，P(noncancer|+)=0.79。
