極大似然法

極大似然法(the method of maximum likelihood)就是在參數θ的可能取值範圍內，選取使L(θ)達到最大的參數值θ，作為參數θ的估計值。

基本介紹

• 中文名：極大似然法
• 外文名：the method of maximum likelihood
• 性質：科學
• 類別：數學
• 套用：參數估計
• 相關：極大似然法估計

概念與定義

設總體X是離散型隨機變數，其機率函式為p(x, θ)，其中θ是未知參數。設X₁,X₂,…,Xn為取自總體X的樣本，則可求出X₁,X₂,…,Xn的聯合機率函式。如果樣本取值x₁,x₂,...,x_n，則事件(X₁₌x₁,X₂₌x₂,…,X_n=x_n)發生的機率是為可求，這一機率值隨θ的值的變化而變化，從直觀上來看，既然樣本值x₁,x₂,...,x_n已經出現，它們出現的機率相對來說應比較大，應使其機率取比較大的值。極大似然法就是在參數θ的可能取值範圍內，選取使L(θ)達到最大的參數值θ，作為參數θ的估計值。即取θ，使得L(θ)=L(x₁,x₂,...,x_n; θ)=max(x₁,x₂,...,x_n; θ)。

因此，求參數θ的極大似然估計值得問題就是求似然函式L(θ)最大值問題。通過解方程dL(θ)/dθ=0來得到，因為lnL(θ)和L(θ)的增減性相同，所以它們在θ的同一值處取得最大值，稱lnL(θ)為對數似然函式，可以通過求解對數似然函式的最大值來得到極大似然解。

求解步驟

（1）由總體分布導出樣本的聯合機率密度函式；

（2）把樣本聯合機率密度函式中自變數看成已知常數，而把參數θ看作自變數，得到似然函式L(θ)；

（3）求似然函式的最大值點（常轉化為求對數似然函式的最大值點）；

（4）在最大值點的表達式中，用樣本值代入即得到參數的極大似然估計值。

相關

（1）矩估計與極大似然估計

對總體參數的估計分兩種——點估計和區間估計。

在點估計里，我們介紹兩種求估計量的方法：矩估計法和極大似然估計法。

從矩估計法公式我們得到，對正態總體N(μ, σ²)，未知參數μ、σ²的矩估計與μ,、σ²的極大似然估計是相同的。一般地，在相當多的情況下，矩估計與極大似然估計是一致的，但也確有許多情形，矩估計法和極大似然估計法給出的估計是不同的。誰優誰劣？我們可以用估計量的優劣標準進行評價。除此之外，亦可以根據問題的實際意義進行判定。

（2）最大似然估計的原理
給定一個機率分布D ，假定其機率密度函式（連續分布）或機率聚集函式（離散分布）為f_D，以及一個分布參數θ ，我們可以從這個分布中抽出一個具有n 個值的採樣 ，通過利用f_D，我們就能計算出其機率： 但是，我們可能不知道θ 的值，儘管我們知道這些採樣數據來自於分布D 。那么我們如何才能估計出θ 呢？一個自然的想法是從這個分布中抽出一個具有n 個值的採樣X₁,X₂,…,Xn，然後用這些採樣數據來估計θ 。一旦我們獲得 ，我們就能從中找到一個關於θ 的估計。最大似然估計會尋找關於 θ 的最可能的值（即，在所有可能的θ 取值中，尋找一個值使這個採樣的“可能性”最大化）。

套用

對參數估計來說，預報誤差法、極大似然估計法適用範圍均較為廣泛，他們不僅適用於線性模型，也適用於非線性模型，是處理殘差序列相關情況下的另一類辨識方法。