統計學習是智慧型體利用統計學的方法進行學習。機器學習(Machine Learning)的算法大多建立在數理統計和機率論的基礎上，其中最大似然參數學習就是統計學習中的一種主要參數學習算法，是利用統計學的極大似然估計的方法確定要學習的參數。
基本介紹
- 中文名：最大似然參數學習
- 外文名：Maximum Likelihood Parameter Learning
- 關鍵字：機器學習 最大似然估計 參數學習
最大似然估計法,最大似然估計參數學習,套用分析 - EM算法,EM算法推導,
在人工智慧領域中，智慧型體可以通過機率理論以及決策理論來處理不確定性問題，但是首先它們必須根據經驗學習關於世界的機率理論。機器學習的過程就是從樣本空間尋找擬合函式的過程。擬合函式的形式多種多樣，當一個擬合函式的基本模型定下後，就需要通過樣本空間的大量樣本來調整擬合函式模型的一些參數定形，主要包括參數學習算法，使之能夠進行更加準確的擬合。
首先可以定義幾個符號用於參數學習算法的推導及套用：
1. θ為參數向量（θ0，θ1，θ2，…，θn)，用來定形我們選擇的模型。
2. y為函式輸出
3. x為函式輸入向量
最大似然估計法
對於未知的機率密度函式，需要用已知的數據估計潛在的機率密度函式。最大似然估計法（the Principle of Maximum Likelihood ）由高斯和費希爾先後提出，是被使用最廣泛的一種參數估計方法，該方法建立的依據是直觀的最大似然原理。極大似然原理是樣本所展現的狀態便是所有可能狀態中出現機率最大的狀態。
假設一個試驗有若干個可能結果A1，A2，A3，…，An，若一次實驗的結果是Ai發生，則自然認為Ai在所有可能結果中發生的機率最大，當總體X的未知參數θ待估時，套用這一原理，對X的樣本（X1，X2，…，Xn）做一次觀測實驗，得到樣本觀察值（x1，x2，…，xn）為此一次試驗結果，那么參數θ的估計值應該取為使得這一結果發生的機率為最大才合理，這就是最大似然估計法的基本思想。
最大似然估計參數學習
已知某個隨機樣本滿足某種機率分布，但是其中具體的參數未知，參數估計就是通過若干次試驗，觀察其結果，利用結果推出參數的大概值。最大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的機率最大，因此不會再去選擇其他小機率的樣本，所以就將此參數作為估計的真實值。
最大似然參數學習方法的步驟如下：
1. 寫出數據的似然表達式，它是待學習參數的一個函式。
2. 對每個參數的對數似然進行求導。
3. 找到滿足導數為0的對應參數值。
套用分析 - EM算法
機器學習參數學習的思想為，假設估計兩個參數A、B，初始狀態下二者均未知，默認條件為若知道A的信息則可以得到B的信息，反之也成立。可考慮首先賦予A某種初值，以此得到B的估計值，再從B的當前值出發，重新估計A的取值，並將這個過程一直持續到收斂為止。
利用最大似然算法估計未知機率分布函式的參數，機器學習算法中的EM（Expectation Maximization）是非常有效的方法。由於機率分布函式的隱含變數未知，可以先給這個分布設定一個初始值，然後求這個隱含變數的期望，當成是這個隱含變數的已知值，接下來就可以用最大似然求解那個分布的參數。這個參數比隨機的參數更能表達真實的分布，再通過這個參數確定的分布去求這個隱含變數的期望，再最大化，就能得到另一個更優的參數。
EM算法推導
期望最大算法是一種從不完全數據或有數據丟失的數據集（存在隱含變數）中求解機率模型參數的最大似然估計方法。
EM的算法流程為初始化分布參數θ。
EM方法需要重複以下步驟直到收斂：
步驟1：根據參數初始值或上一次疊代的模型參數來計算出隱性變數的後驗機率，其實就是隱性變數的期望。作為隱藏變數的現估計值：
步驟2：將似然函式最大化以獲得新的參數值：
通過不斷的疊代及可以得到使似然函式L(θ)最大化的參數θ了。由於下界不斷提高，所以極大似然估計單調增加，那么最終會到達最大似然估計的最大值。
