基本介紹
- 中文名:高斯—牛頓疊代法
- 外文名:Gauss-Newton iteration method
- 別稱:高斯—牛頓法、泰勒級數展開法
- 所屬學科:數學
- 相關概念:泰勒級數展開式,殘差平方和等
基本思想,一般步驟,
基本思想
高斯-牛頓疊代法的基本思想是,使用泰勒級數展開式去近似地代替非線性回歸模型,然後通過多次疊代,多次修正回歸係數,使回歸係數不斷通過通近非線性回歸模型的最佳回歸係數,最後使原模型的殘差平方和達到最小。
一般步驟
高斯-牛頓法的一般步驟如下所示。
(1) 初始值的選擇。其方法有三種:
一是根據以往的經驗選定初始值;
二是用分段法求出初始值;
三是對於可線性化的非線性回歸模型,通過線性變換,然後施行最小平方法求出初始值。
(2)泰勒級數展開式。設非線性回歸模型為
其中: r為待估計回歸係數,誤差項。
設為待估回歸係數的初始值,將式(1)在g點附近作泰勒展開,並略去非線性回歸模型的二階及二階以上的偏導數項,得
將式(2)代人式(1),則
移項,有
令
則
用矩陣形式表示,上式則為
其中
(3)估計修正因子。用最小平方法對式(3)估計修正
則
設為第一個疊代值,則。
(4)精確度的檢驗。設殘差平方和為
其中,s內重夏疊代次數。對於給定的允許誤差率K,當時,否則,對式(4) 作下一次疊代。
(5)重複疊代。重複式(4),當重複疊代s次吋,則有
修正因子,第(s+1)次疊代值。