高斯馬爾科夫定理

高斯馬爾科夫定理是指在給定經典線性回歸模型的假定下，最小二乘估計量，在無偏線性估計一類中，有最小方差，就是說，它們是BLUE(best linear unbiased estimator)。

基本介紹

• 中文名：高斯馬爾科夫定理
• 外文名：best linear unbiased estimator
• 相關學科：統計學
• 條件：不相關性

高斯馬爾可夫定理

在統計學中，高斯-馬爾可夫定理(Gauss-Markov Theorem)陳述的是：在線性回歸模型中，如果誤差滿足零均值、同方差且互不相關，則回歸係數的最佳線性無偏估計(BLUE, Best Linear unbiased estimator)就是普通最小二乘法估計。

• 這裡最佳的意思是指相較於其他估計量有更小方差的估計量，同時把對估計量的尋找限制在所有可能的線性無偏估計量中。
  
• 值得注意的是這裡不需要假定誤差滿足獨立同分布(iid)或常態分配，而僅需要滿足零均值、不相關及同方差這三個稍弱的條件。
  

表述

簡單（一元）線性回歸模型[

對於簡單（一元）線性回歸模型，

其中 和 是非隨機但不能觀測到的參數， 是非隨機且可觀測到的一般變數， 是不可觀測的隨機變數，或稱為隨機誤差或噪音，因此 是可觀測的隨機變數。

高斯-馬爾可夫定理的假設條件是：

， （零均值），

， （同方差），

， （不相關）。

則對 和 的最佳線性無偏估計為，

多元線性回歸模型

對於多元線性回歸模型，

使用矩陣形式，線性回歸模型可簡化記為，其中採用了以下記號：

(觀測值向量，Vector of Responses),

(設計矩陣，Design Matrix),

(參數向量，Vector of Parameters),

(隨機誤差向量，Vectors of Error)。

高斯-馬爾可夫定理的假設條件是：

，（零均值），

，（同方差且不相關），其中為n階單位矩陣(Identity Matrix)。

則對的最佳線性無偏估計為

證明

首先，注意的是這裡數據是而非，我們希望找到對於的線性估計量，記作

其中，，和分別是，，和矩陣。

根據零均值假設所得，

其次，我們同時限制尋找的估計量為無偏的估計量，即要求，因此有

（零矩陣），