最小二乘法

最小二乘法是一種在誤差估計、不確定度、系統辨識及預測、預報等數據處理諸多學科領域得到廣泛套用的數學工具。

基本介紹

• 中文名：最小二乘法 
• 外文名：ordinary least squares 
• 別名：最小平方法 
• 提出者：馬里·勒讓德 
• 提出時間：1806年 
• 適用領域：曲線擬合 

歷史

1801年，義大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。只有時年24歲的高斯所計算的穀神星的軌道，被奧地利天文學家海因里希·奧爾伯斯的觀測所證實，使天文界從此可以預測到穀神星的精確位置。同樣的方法也產生了哈雷彗星等很多天文學成果。高斯使用的方法就是最小二乘法，該方法發表於1809年他的著作《天體運動論》中。其實法國科學家勒讓德於1806年獨立發明“最小二乘法”，但因不為世人所知而默默無聞。

1829年，高斯提供了最小二乘法的最佳化效果強於其他方法的證明。

定義

最小二乘法（又稱最小平方法）是一種數學最佳化技術。它通過最小化誤差的平方和尋找數據的最佳函式匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

最小二乘法還可用於曲線擬合，其他一些最佳化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

基本思路

最小二乘法是解決曲線擬合問題最常用的方法。其基本思路是：令

其中， 是事先選定的一組線性無關的函式， 是待定係數 ，擬合準則是使 與 的距離 的平方和最小，稱為最小二乘準則。

基本原理

設(x,y)是一對觀測量，且 滿足以下的理論函式：

其中 為待定參數。

為了尋找函式 的參數 的最優估計值，對於給定 組（通常 ）觀測數據 ，求解目標函式

取最小值的參數 。求解的這類問題稱為最小二乘問題，求解該問題的方法的幾何語言稱為最小二乘擬合。

對於無約束最最佳化問題，最小二乘法的一般形式為：

其中稱為殘差函式。當是的線性函式時，稱為線性最小二乘問題，否則稱為非線性最小二乘問題。

最小二乘最佳化問題

在無約束最最佳化問題中，有些重要的特殊情形，比如目標函式由若干個函式的平方和構成，這類函式一般可以寫成：

其中 ，通常要求m≥n，我們把極小化這類函式的問題：

稱為最小二乘最佳化問題。最小二乘最佳化是一類比較特殊的最佳化問題。

最小二乘估計量的特性

根據樣本數據，採用最小二乘估計式可以得到簡單線性回歸模型參數的估計量。但是估計量參數與總體真實參數的接近程度如何，是否存在更好的其它估計式，這就涉及到最小二乘估計式或估計量的最小方差（或最佳）（Best）性、線性（Linear）及無偏（ Unbiased）性，簡稱為BLU特性。這就是廣泛套用普通最小二乘法估計經濟計量模型的主要原因。下面證明普通最小二乘估計量具有上述三特性。

1、線性特性

所謂線性特性，是指估計量分別是樣本觀測值的線性函式，亦即估計量和觀測值的線性組合。

2、無偏性

無偏性，是指參數估計量的期望值分別等於總體真實參數。

3、最小方差性

所謂最小方差性，是指估計量與用其它方法求得的估計量比較，其方差最小，即最佳。最小方差性又稱有效性。這一性質就是著名的高斯一馬爾可夫（ Gauss-Markov）定理。這個定理闡明了普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比，它是最佳的。