極大似然法(the method of maximum likelihood)就是在參數θ的可能取值範圍內，選取使L(θ)達到最大的參數值θ，作為參數θ的估計值。
基本介紹
- 中文名：極大似然法
- 外文名：the method of maximum likelihood
- 性質：科學
- 類別：數學
- 套用：參數估計
- 相關：極大似然法估計
概念與定義,求解步驟,相關,套用,
概念與定義
設總體X是離散型隨機變數，其機率函式為p(x, θ)，其中θ是未知參數。設X1,X2,…,Xn為取自總體X的樣本，則可求出X1,X2,…,Xn的聯合機率函式。如果樣本取值x1,x2,...,xn，則事件(X1=x1,X2=x2,…,Xn=xn)發生的機率是為可求，這一機率值隨θ的值的變化而變化，從直觀上來看，既然樣本值x1,x2,...,xn已經出現，它們出現的機率相對來說應比較大，應使其機率取比較大的值。極大似然法就是在參數θ的可能取值範圍內，選取使L(θ)達到最大的參數值θ，作為參數θ的估計值。即取θ，使得L(θ)=L(x1,x2,...,xn; θ)=max(x1,x2,...,xn; θ)。
因此，求參數θ的極大似然估計值得問題就是求似然函式L(θ)最大值問題。通過解方程dL(θ)/dθ=0來得到，因為lnL(θ)和L(θ)的增減性相同，所以它們在θ的同一值處取得最大值，稱lnL(θ)為對數似然函式，可以通過求解對數似然函式的最大值來得到極大似然解。
求解步驟
（1）由總體分布導出樣本的聯合機率密度函式；
（2）把樣本聯合機率密度函式中自變數看成已知常數，而把參數θ看作自變數，得到似然函式L(θ)；
（3）求似然函式的最大值點（常轉化為求對數似然函式的最大值點）；
（4）在最大值點的表達式中，用樣本值代入即得到參數的極大似然估計值。
相關
（1）矩估計與極大似然估計
對總體參數的估計分兩種——點估計和區間估計。
從矩估計法公式我們得到，對正態總體N(μ, σ2)，未知參數μ、σ2的矩估計與μ,、σ2的極大似然估計是相同的。一般地，在相當多的情況下，矩估計與極大似然估計是一致的，但也確有許多情形，矩估計法和極大似然估計法給出的估計是不同的。誰優誰劣？我們可以用估計量的優劣標準進行評價。除此之外，亦可以根據問題的實際意義進行判定。
（2）最大似然估計的原理
給定一個機率分布D ，假定其機率密度函式（連續分布）或機率聚集函式（離散分布）為fD，以及一個分布參數θ ，我們可以從這個分布中抽出一個具有n 個值的採樣 ，通過利用fD，我們就能計算出其機率： 但是，我們可能不知道θ 的值，儘管我們知道這些採樣數據來自於分布D 。那么我們如何才能估計出θ 呢？一個自然的想法是從這個分布中抽出一個具有n 個值的採樣X1,X2,…,Xn，然後用這些採樣數據來估計θ 。一旦我們獲得 ，我們就能從中找到一個關於θ 的估計。最大似然估計會尋找關於 θ 的最可能的值（即，在所有可能的θ 取值中，尋找一個值使這個採樣的“可能性”最大化）。
給定一個機率分布D ，假定其機率密度函式（連續分布）或機率聚集函式（離散分布）為fD，以及一個分布參數θ ，我們可以從這個分布中抽出一個具有n 個值的採樣 ，通過利用fD，我們就能計算出其機率： 但是，我們可能不知道θ 的值，儘管我們知道這些採樣數據來自於分布D 。那么我們如何才能估計出θ 呢？一個自然的想法是從這個分布中抽出一個具有n 個值的採樣X1,X2,…,Xn，然後用這些採樣數據來估計θ 。一旦我們獲得 ，我們就能從中找到一個關於θ 的估計。最大似然估計會尋找關於 θ 的最可能的值（即，在所有可能的θ 取值中，尋找一個值使這個採樣的“可能性”最大化）。
套用
對參數估計來說，預報誤差法、極大似然估計法適用範圍均較為廣泛，他們不僅適用於線性模型，也適用於非線性模型，是處理殘差序列相關情況下的另一類辨識方法。
