M估計

M 估計是基於最小二乘估計發展起來的一種抗差估計(Robust Estimation)方法。

基本介紹

• 中文名：M 估計
• 外文名：M estimate
• 本質：估計方法

M估計的發展

理論研究和實踐經驗表明高斯一馬爾可夫模型的最小二乘估計,存在不足不穩健,也就是粗差發生時,參數的最小二乘估計不可靠,與其真值偏離太遠。誤差分布不是常態分配時,最小二乘估計不是最優估計。針對問題,最小二乘法的創立者之一,法國科學家勒讓得指出,在使用最小二乘法時,要注意那些大的偏離值粗差可見,粗差問題不是現代才注意到,但其系統研究卻是始於世紀年代,並被定義為估計,年發表的論文“位置參數的穩健估計”是其標誌。在年,他將此方法用於一般的多元線性模型,自那以後,這個領域不僅受到統計學家的重視,更受到套用工作者的重視和歡迎,在測繪科學也不例外,幾十年來,理論和套用上產生了一批重要成果並且對問題當誤差不是常態分配時,在估計中可以找到優於最小二乘法的估計。

儘管估計的初衷是為了解決最小二乘法的不穩健問題,但從它的發展來看永遠超越了它最初的目的,實際上它是包括了穩健估計、最小二乘估計在內的一個廣義的估計類。

M估計的極值法定義

對獨立同分布等精度模型

選定一個定義於一維歐氏空間R的實函式,令

式中是設計矩陣的行向量:X又是極值解這種估計就稱為M估計,是Huber於1964年在發表的論文“位置參數的穩健估計”中引進的位置參數模型就是上式中只有一個未知參數、設計矩陣,A=（1,1...1）的情況。1973年,Huber進一步將這種估計拓展到獨立同分布等精度的線性函式模型。套用中,我們常常面臨獨立同分布不等精度模型,由此拓展上式為

式中P是相應觀測量或觀測誤差的權。

Huber引入估計的動機是追求參數估計的穩健性,這是最小二乘估計所缺乏的。但要注意到,穩健性只是參數估計的一個性質,這個性質與最優性不同,我們不能說愈穩健就愈好。對基於常態分配的參數估計,過於強調穩健性會導致效率損失。