嶺跡法

有偏估計最小二乘估計法回歸係數最小二乘法

基本介紹

• 中文名：
• 外文名：
• 所屬學科：
• 相關概念：

基本介紹

嶺估計

復共線性關係線性模型

回歸係數

多重共線性最小二乘法估計量

均方誤差方差

嶺跡法

圖1（a）

圖1（b）

圖1（c）

圖1（d）

圖1（e）

嶺回歸

嶺回歸

4) 在圖1(d)中， 和 都很不穩定，但其和卻大體穩定。這種情況往往發生在自變數 和 的相關性很大的場合，即在 和 之間存在多重共線性的情形，從選擇自變數的角度，兩者只保存一個就夠了。這種情況可以解釋某些回歸係數估計的符號不合理的情形，從實際觀點看， 和 不應有相反符號。

5) 從全局看，嶺跡分析可用來估計在某一具體問題中最小二乘估計是否適用，把所有回歸係數的嶺跡都繪製在一張圖上，如果這些曲線比較穩定，如圖1(e)所示，利用最小二乘估計會有一定的把握。

利用嶺跡法可以確定k，一般確定k需要遵循下面幾個原則：

1) 回歸方程各回歸係數的嶺估計基本穩定；

2) 用普通最小二乘法估計時，正負號表現出不合理的回歸係數，而利用嶺估計其符號變得合理，即嶺估計方法的使用改善了回歸方程參數估計的效果；

3) 回歸係數沒有出現不合理的符號；

4)估計量的精度沒有降低太多，即殘差項的平方和增大得不太多。

其他k值確定方法

下面僅針對嶺估計方法，介紹幾種常用的k值確定方法。

方差擴大因子法

在識別多重共線性時，我們了解了方差擴大因子的概念，其可以用於度量多重共線性關係的嚴重程度，一般，當方差擴大因子>10時，模型的多重共線性關係就嚴重影響到估計量的質量。如果計算 的協方差，得

則此式中矩陣 的對角元素 就是嶺估計的方差擴大因子。不難看出， 隨著k的增大而減少。套用方差擴大因子選擇k的經驗做法是，選擇使所有方差擴大因子 的k，這樣的k會使得嶺估計 相對穩定。

此外，還可以根據Hoerl、Kernard和Baldwin(1975)提出的方法取k的固定值。具體確定方法如下：對於標準化的回歸模型

k的計算公式是

其中， 為 時回歸模型參數的最小二乘估計， 為回歸方程的殘差均方。

疊代法

疊代法是將上面計算的k的固定取值作為k的初始值，記為 ，然後建立回歸方程，估計回歸方程的參數，並計算新的k，即 ：

按同樣的方法，用 計算 ，重複這一過程，直到 的前後兩個估計值之間的差異不是很明顯為止。