高斯牛頓法

高斯牛頓法

高斯—牛頓疊代法的基本思想是使用泰勒級數展開式去近似地代替非線性回歸模型,然後通過多次疊代,多次修正回歸係數,使回歸係數不斷逼近非線性回歸模型的最佳回歸係數,最後使原模型的殘差平方和達到最小。

基本介紹

  • 中文名:高斯牛頓法
  • 外文名:Gauss-Newton method
高斯—牛頓法的一般步驟為:
(1)初始值的選擇。其方法有三種,一是根據以往的經驗選定初始值;二是用分段法求出初始值;三是對於可線性化的非線性回歸模型,通過線性變換,然後施行最小平方法求出初始值。
(2)泰勒級數展開式。設非線性回歸模型為:
i=1,2,…,n (3-68)
其中r為待估回歸係數,誤差項 ~N(0, ),設:
,為待估回歸係數的初始值,將(3-68)式在g點附近作泰勒展開,並略去非線性回歸模型的二階及二階以上的偏導數項,得
(3-69)
將(3-69)式代入(3-68)式,則
令:
則: i=1,2,…,n
用矩陣形式表示,上式則為: (3-70)
其中:
(3)估計修正因子。用最小平方法對(3-70)式估計修正因子B,
則: (3-71)
設g為第一次疊代值,則:
(4)精確度的檢驗。設殘差平方和為:
,S為重複疊代次數,對於給定的允許誤差率K,當時,則停止疊代;否則,對(3-71)式作下一次疊代。
(5)重複疊代。重複(3-71)式,當重複疊代S次時,則有:
修正因子:
第(S+1)次疊代值:
四、套用舉例
設12個同類企業的月產量與單位成本的資料如下表:
表3-9 間接代換法計算表
企業編號
單位產品成本(元)
月產量
1
2
3
4
5
6
7
8
9
10
11
12
160
151
114
128
85
91
75
76
66
60
61
60
10
16
20
25
31
36
40
45
51
56
60
65
(註:資料來源《社會經濟統計學原理教科書》第435頁)
試配合適當的回歸模型分析月產量與單位產品成本之間的關係。
解:(1)回歸模型與初始值的選擇。根據資料散點圖的識別,本數據應配合指數模型
對指數模型兩邊取對數,化指數模型為線性回歸模型,然後施行最小平方法求出初始值。即:
則上述指數模型變為:
對分別求反對數,得,帶入原模型,
得回歸模型:
高斯—牛頓疊代法
初始回歸模型
殘差平方和:
(2)泰勒級數展開式。先對指數模型 中的a和b分別求偏導數
然後用泰勒級數展開指數模型,移項整理得(註:參見(3-69)、(3-70)式):
160-150.5866 0.82545 1535.0316
151-134.2148 0.73571 2189.0282
114-124.3015 0.68137 2534.1796
128-112.9332 0.61905 2878.0110
85-100.6550 0.55175 3180.7400 a
91- 91.4493 = 0.50128 3355.9387
75- 84.6948 0.46246 3453.4052
76- 76.9488 0.42180 3529.7593 b
66- 68.5829 0.37594 3565.4701
60- 62.3104 0.34156 3556.9658
61- 57.7081 0.31633 3529.5468
60-52.4302 0.28740 3473.9702
(3-72)
(3)估計修正因子。解(3-72)式矩陣,得:
a 12.09660288
=
b -0.00180342
第一次疊代值:
a1 a0 a 194.5266
= + =
b1 b0 b 0.9792
第一次疊代回歸模型
(4)精確度的檢驗。殘差平方和:
給定誤差率K=10,則:
作下一次疊代。
(5)重複疊代。
將 a1 代入(3-71)式作第二次疊代。得估計修正因子:
b1
a 0.647654043
=
b -0.000066948
第二次疊代值:
a2 a1 a 195.1743
= + =
b2 b1 b 0.9791
第二次疊代回歸模型
殘差平方和:
誤差率:
誤差率達到要求,停止疊代。表3-10計算結果比較
最小平方法
一次疊代
二次疊代
回歸係數a
182.43
194.5266
195.1743
回歸係數b
0.981
0.9792
0.9791
殘差平方和SS R
1124.1526
999.4077
999.1241
誤 差 率 %
12.482
0.028
相關指數R
0.95937
0.96396
0.96397
從上表可看出:高斯—牛頓疊代法具有收斂快,精確度高的優點,二次疊代就使精確度高達99.97%,相關指數也明顯提高。理論上可以證明高斯—牛頓疊代法經過數次疊代後,估計回歸係數將逼近最佳的待估回歸係數,使殘差平方和達到最小,從而明顯地克服了最小平方法的不足。其缺陷是計算量較大,但隨著電子計算機的日益普及,這點計算就顯得微不足道了。

相關詞條

熱門詞條

聯絡我們