基本介紹
- 中文名：線性最小二乘估計
- 外文名：linear least squares estimate
- 類別：估計算法
- 提出時間：1794年
- 提出人：德國數學家C.F.高斯
概述,線性動態模型,估計準則,
概述
線性最小二乘估計
linear least squares estimate
以誤差的平方和最小為準則根據觀測數據估計線性模型中未知參數的一種基本參數估計方法。1794年德國數學家C.F.高斯在解決行星軌道猜測問題時首先提出最小二乘法。它的基本思路是選擇估計量使模型（包括靜態或動態的，線性或非線性的）輸出與實測輸出之差的平方和達到最小。這種求誤差平方和的方式可以避免正負誤差相抵，而且便於數學處理（例如用誤差的絕對值就不便於處理）。線性最小二乘法是套用最廣泛的參數估計方法，它在理論研究和工程套用中都具有重要的作用，同時它又是許多其他更複雜方法的基礎。線性最小二乘法是最小二乘法最簡單的一種情況，即模型對所考察的參數是線性的。
線性動態模型
=+式中數據向量=[，,…,，，,…，]；參數向量=[-1,-2,…,-,1,2,…,]；為誤差；為模型階數；為數據長度（≥2）。
估計準則
[512-01]使 為最小的參數估計，稱為模型的線性最小二乘估計，用符號LS表示。可以得出
LS=()式中矩陣=[,,…,]；向量=[,，…,]。
LS是數據的線性函式，因此稱為線性最小二乘估計。它的突出優點是：對於任何一組數據，只要LS存在，不要求了解誤差序列{}的統計特性，便能按照求出LS；算法很簡單。
LS存在的條件是矩陣()滿秩,這要求{}為階持續激勵輸入。
當誤差序列{}是零均值的白噪聲,並對輸入、輸出功率加以適當的限制時，LS是漸近無偏的強一致性估計,即當N →∞時,[512-02]。但是對於有限的數據,上述結論不能成立,而且通常誤差{}也不是白噪聲,故一般情況下LS是有偏估計，這是它的缺點。為了克服這個缺點，可以採用其他改進的估計算法，例如廣義最小二乘估計、輔助變數估計和極大似然估計等。
上述單輸入單輸出系統的線性最小二乘估計算法還可推廣到多輸入多輸出系統，並且有相應的遞推估計算法。
