高斯—牛頓法的一般步驟為:
(1)初始值的選擇。其方法有三種,一是根據以往的經驗選定初始值;二是用分段法求出初始值;三是對於可
線性化的非線性回歸模型,通過
線性變換,然後施行最小平方法求出初始值。
(2)泰勒級數展開式。設非線性回歸模型為:
i=1,2,…,n (3-68)
其中r為待估回歸係數,誤差項 ~N(0, ),設:
,為待估
回歸係數的初始值,將(3-68)式在g點附近作泰勒展開,並略去
非線性回歸模型的二階及二階以上的偏導數項,得
(3-69)
將(3-69)式代入(3-68)式,則
令:
則: i=1,2,…,n
用矩陣形式表示,上式則為: (3-70)
其中:
(3)估計修正因子。用最小平方法對(3-70)式估計修正因子B,
則: (3-71)
設g為第一次疊代值,則:
,S為重複疊代次數,對於給定的
允許誤差率K,當時,則停止疊代;否則,對(3-71)式作下一次疊代。
(5)重複疊代。重複(3-71)式,當重複疊代S次時,則有:
修正因子:
第(S+1)次疊代值:
四、套用舉例
設12個同類企業的月產量與單位成本的資料如下表:
表3-9 間接代換法計算表
企業編號 | 單位產品成本(元) | 月產量 |
1 2 3 4 5 6 7 8 9 10 11 12 | 160 151 114 128 85 91 75 76 66 60 61 60 | 10 16 20 25 31 36 40 45 51 56 60 65 |
(註:資料來源《社會經濟統計學原理教科書》第435頁)
試配合適當的
回歸模型分析月產量與單位產品成本之間的關係。
解:(1)回歸模型與初始值的選擇。根據資料
散點圖的識別,本數據應配合
指數模型:
對指數模型兩邊取
對數,化指數模型為線性回歸模型,然後施行最小平方法求出初始值。即:
則上述指數模型變為:
得回歸模型:
高斯—牛頓疊代法
殘差平方和:
然後用泰勒級數展開指數模型,
移項整理得(註:參見(3-69)、(3-70)式):
160-150.5866 0.82545 1535.0316
151-134.2148 0.73571 2189.0282
114-124.3015 0.68137 2534.1796
128-112.9332 0.61905 2878.0110
85-100.6550 0.55175 3180.7400 a
91- 91.4493 = 0.50128 3355.9387
75- 84.6948 0.46246 3453.4052
76- 76.9488 0.42180 3529.7593 b
66- 68.5829 0.37594 3565.4701
60- 62.3104 0.34156 3556.9658
61- 57.7081 0.31633 3529.5468
60-52.4302 0.28740 3473.9702
(3-72)
(3)估計修正因子。解(3-72)式矩陣,得:
a 12.09660288
=
b -0.00180342
第一次疊代值:
a1 a0 a 194.5266
= + =
b1 b0 b 0.9792
(4)精確度的檢驗。殘差平方和:
給定誤差率K=10,則:
作下一次疊代。
(5)重複疊代。
將 a1 代入(3-71)式作第二次疊代。得估計修正因子:
b1
a 0.647654043
=
b -0.000066948
第二次疊代值:
a2 a1 a 195.1743
= + =
b2 b1 b 0.9791
殘差平方和:
誤差率:
誤差率達到要求,停止疊代。表3-10計算結果比較
| 最小平方法 | 一次疊代 | 二次疊代 |
回歸係數a | 182.43 | 194.5266 | 195.1743 |
回歸係數b | 0.981 | 0.9792 | 0.9791 |
殘差平方和SS R | 1124.1526 | 999.4077 | 999.1241 |
誤 差 率 % | — | 12.482 | 0.028 |
相關指數R | 0.95937 | 0.96396 | 0.96397 |
從上表可看出:高斯—
牛頓疊代法具有收斂快,精確度高的優點,二次疊代就使精確度高達99.97%,相關指數也明顯提高。理論上可以證明高斯—牛頓疊代法經過數次疊代後,估計
回歸係數將逼近最佳的待估回歸係數,使
殘差平方和達到最小,從而明顯地克服了最小平方法的不足。其缺陷是計算量較大,但隨著電子計算機的日益普及,這點計算就顯得微不足道了。