牛頓方向

牛頓方向(Newton direction)是求解無約束最最佳化問題中的一個概念，指向二次函式最優點的方向，對於Rⁿ上的非二次函式f，設f在Rⁿ中二次連續可微，點x^k⊂Rⁿ，▽f(x^k)是f在x^k處的梯度，H(x^k)是f在x^k處的黑塞矩陣，則f在x^k處的牛頓方向是-H(x^k)^-1▽f(x^k)。

基本介紹

• 中文名：牛頓方向
• 外文名：Newton direction
• 所屬學科：數學
• 簡介：解無約束最最佳化問題中的一個概念

基本介紹

考慮目標函式f在點處的二次逼近式

假設Hesse陣

正定。

由於正定，函式Q的穩定點是Q(x)的最小點。為求此最小，令

即可解得

可知從點出發沿搜尋方向，即

並取步長即可得Q(x)的最小點。通常，把方向‘稱為從點出發的牛頓方向。從一初始點開始，每一輪從當前疊代點出發，沿牛頓方向並取步長為1的求解方法，稱為牛頓法。

相關分析

設

在點處具有二階連續偏導數，且在點處的黑塞矩陣定，是的一個極小點的第k輪估計值。

將在處作二階泰勒展開：

又記

注意到是比高階的無窮小量，故有

下面來求Q(x)的平穩點：

記

其中c為數，b為向量，A為矩陣，將(3)式代入(2)式，則

且

令，記為Q(x)的平穩點，則有

或

將(3)式代入上式，有

記

代人(7)式有

稱由(8)式決定的搜尋方向為牛頓方向。

牛頓方向的幾何意義

下面來分析的幾何意義。

因為Q(x)是一個二次函式，且有

是一個正定矩陣，因此Q(x)是凸函式，則其平穩點即是全局極小點，即是Q(x)的極小點，由(9)式：

(10)式表明了由(8)式確定的方向實質上是由指向的方向，即由的第k輪極小點估計值指向近似二次函式Q(x)的極小點的方向。

由(8)式確定的搜尋方向，及由(9)式確定的下一個疊代點，是牛頓法算法的主要內容，由(9)式可看出，牛頓法實際上已規定步長因子為1。