高斯—牛頓疊代法

高斯一牛頓疊代法(Gauss-Newton iteration method)是非線性回歸模型中求回歸參數進行最小二乘的一種疊代方法，該法使用泰勒級數展開式去近似地代替非線性回歸模型，然後通過多次疊代，多次修正回歸係數，使回歸係數不斷逼近非線性回歸模型的最佳回歸係數，最後使原模型的殘差平方和達到最小。其直觀思想是先選取一個參數向量的參數值β，若函式f_t(X_t，β)在β₀附近有連續二階偏導數，則在β₀的鄰域內可近似地將f_t(X_t，β)看作是線性，因而可近似地用線性最小二乘法求解。

基本介紹

• 中文名：高斯—牛頓疊代法
• 外文名：Gauss-Newton iteration method
• 別稱：高斯—牛頓法、泰勒級數展開法
• 所屬學科：數學
• 相關概念：泰勒級數展開式，殘差平方和等

基本思想

高斯-牛頓疊代法的基本思想是，使用泰勒級數展開式去近似地代替非線性回歸模型，然後通過多次疊代，多次修正回歸係數，使回歸係數不斷通過通近非線性回歸模型的最佳回歸係數，最後使原模型的殘差平方和達到最小。

一般步驟

高斯-牛頓法的一般步驟如下所示。

(1) 初始值的選擇。其方法有三種：

一是根據以往的經驗選定初始值；

二是用分段法求出初始值；

三是對於可線性化的非線性回歸模型，通過線性變換，然後施行最小平方法求出初始值。

(2)泰勒級數展開式。設非線性回歸模型為

其中: r為待估計回歸係數，誤差項。

設為待估回歸係數的初始值，將式(1)在g點附近作泰勒展開，並略去非線性回歸模型的二階及二階以上的偏導數項，得

將式(2)代人式(1)，則

移項，有

令

則

用矩陣形式表示，上式則為

其中

(3)估計修正因子。用最小平方法對式(3)估計修正

則

設為第一個疊代值，則。

(4)精確度的檢驗。設殘差平方和為

其中，s內重夏疊代次數。對於給定的允許誤差率K，當時，否則，對式(4) 作下一次疊代。

(5)重複疊代。重複式(4)，當重複疊代s次吋，則有

修正因子，第(s+1)次疊代值。