最小均方算法，簡稱LMS算法，是一種最陡下降算法的改進算法， 是在維納濾波理論上運用速下降法後的最佳化延伸，最早是由 Widrow 和 Hoff 提出來的。 該算法不需要已知輸入信號和期望信號的統計特徵，“當前時刻”的權係數是通過“上一 時刻”權係數再加上一個負均方誤差梯度的比例項求得。 其具有計算複雜程度低、在信號為平穩信號的環境中收斂性好、其期望值無偏地收斂到維納解和利用有限精度實現算法時的平穩性等特性，使LMS算法成為自適應算法中穩定性最好、套用最廣的算法。
基本介紹
算法思想,算法導出,基本原理,性能分析,
算法思想
主要在增加很少運算量的情況下能夠加速其收斂速度，這樣在自適應均衡的時候就可以很快的跟蹤到信道的參數，減少了訓練序列的傳送時間，從而提高了信道的利用率。
算法導出
1955-1966 期間，美國史丹福大學的Widrow 和Hoff在為美國通用公司研製天線的過程中，提出了基本Least Mean Square Algorithm，即所謂LMS算法。LMS算法的準則是使均方誤差達到最小，即期望信號與濾波器實際輸出之差的平方的期望值
達到最小，並且依據這個準則來修改權係數向量W（n），這被稱為MSE準則。Widrow 和Hoff提出了求解Wopt的近似方法，習慣上稱為Widrow-HoffLMS算法。
基本原理
根據小均方誤差準則以及均方誤差曲面，自然的我們會想到沿每一時刻均方誤差的陡下降在權向量面上的投影方向更新，也就是通過目標函式ξ（k）的反梯度向量來反覆疊代更新。由於均方誤差性能曲面只有一個極小值，只要收斂步長選擇恰當，不管初始權向量在哪，後都可以收斂到誤差曲面的小點，或者是在它的一個鄰域內。這種沿目標函式梯度反方向來解決小化問題的方法，我們一般稱為速下降法，表達式如下：
基於隨機梯度算法的小均方自適應濾波算法的完整表達式如下：
LMS自適應算法是一種特殊的梯度估計，不必重複使用數據，也不必對相關矩陣和互相關矩陣進行運算，只需要在每次疊代時利用輸入向量和期望回響，結構簡單，易於實現。雖然LMS收斂速度較慢，但在解決許多實際中的信號處理問題，LMS算法是仍然是好的選擇。
性能分析
隨機梯度LMS算法的性能前人有過大量研究，按照前一章所提到的自適應濾波性能指標，假設輸入信號和期望信號具有聯合平穩性，詳細討論基於橫向FIR結構的濾波器的標準LMS算法的四個性能：
- 收斂性；
- 收斂速度；
- 穩態誤差；
- 計算複雜度。
只有在輸入信號具有嚴格穩定的統計特性時，權向量的優解是不變的。否則，將會隨著統計特性的變化而變化。自適應算法則能夠通過不斷的調整濾波器權向量，使權向量接近優解。因此，自適應算法在平穩條件下的性能表現可以認為是非平穩條件下的一種特殊情況。如果在平穩條件下，自適應算法能夠快速，平穩的逼近權向量的優值，那么在非平穩條件下，該算法也能很好的逼近時變的權向量優解。
影響性能的因素
經過對LMS算法的性能分析，可知衡量其性能的指標主要有收斂速度，穩態誤差和計算複雜度等。因此在設計自適應濾波器時就必須考慮自適應濾波算法是否能夠具有快速的收斂速度，較低的穩態誤差與計算複雜度，但是這些指標之間常常存在著矛盾的。例如，收斂速度和穩態誤差是成反比，有些改進算法的優異性能也通常相對的增加計算複雜度。因此我們需要在這些參數中尋找一個平衡，大程度的提高算法的性能。影響自適應算法性能參數，主要有步長因子，濾波器階數和濾波器權係數的初始值。
