BP神經網路算法

BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網路，是目前套用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關係，而無需事前揭示描述這種映射關係的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。

基本介紹

• 中文名：BP神經網路算法
• 外文名：Back Propagation
• 提出時間：1986年
• 提出者：Rumelhart

摘 要

BP神經網路算法是在BP神經網路現有算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問題，且更易理解。

關鍵字

BP算法

人工神經網路（artificial neural networks, ANN）系統是20世紀40年代後出現的，它是由眾多的神經元可調的連線權值連線而成，具有大規模並行處理、分散式信息存儲、良好的自組織自學習能力等特點，在信息處理、模式識別、智慧型控制及系統建模等領域得到越來越廣泛的套用。尤其誤差反向傳播算法（Error Back－propagation Training，簡稱BP網路）可以逼近任意連續函式，具有很強的非線性映射能力，而且網路的中間層數、各層的處理單元數及網路的學習係數等參數可根據具體情況設定，靈活性很大，所以它在許多套用領域中起到重要作用。為了解決BP神經網路收斂速度慢、不能保證收斂到全局最點，網路的中間層及它的單元數選取無理論指導及網路學習和記憶的不穩定性等缺陷，提出了許多改進算法。

傳統的BP算法簡述

BP算法是一種有監督式的學習算法，其主要思想是：輸入學習樣本，使用反向傳播算法對網路的權值和偏差進行反覆的調整訓練，使輸出的向量與期望向量儘可能地接近，當網路輸出層的誤差平方和小於指定的誤差時訓練完成，保存網路的權值和偏差。具體步驟如下：

（1）初始化，隨機給定各連線權[w],[v]及閾值θi，rt。

（2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出

bj=f（■wijai-θj） ct=f（■vjtbj－rt）

式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連線權；vjt為隱層至輸出層的連線權。

dtk=（ytk－ct）ct（1－ct） ejk=[■dtvjt] bj（1－bj）

（3）選取下一個輸入模式對返回第2步反覆訓練直到網路設輸出誤差達到要求結束訓練。

傳統的BP算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性最佳化問題，並通過負梯度下降算法，利用疊代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的算法，即高斯消元法。

改進的BP網路算法

2．1 改進算法概述

此前有人提出：任意選定一組自由權，通過對傳遞函式建立線性方程組，解得待求權。本文在此基礎上將給定的目標輸出直接作為線性方程等式代數和來建立線性方程組，不再通過對傳遞函式求逆來計算神經元的淨輸出，簡化了運算步驟。沒有採用誤差反饋原理，因此用此法訓練出來的神經網路結果與傳統算法是等效的。其基本思想是：由所給的輸入、輸出模式對通過作用於神經網路來建立線性方程組，運用高斯消元法解線性方程組來求得未知權值，而未採用傳統BP網路的非線性函式誤差反饋尋優的思想。

2．2 改進算法的具體步驟

對給定的樣本模式對，隨機選定一組自由權，作為輸出層和隱含層之間固定權值，通過傳遞函式計算隱層的實際輸出，再將輸出層與隱層間的權值作為待求量，直接將目標輸出作為等式的右邊建立方程組來求解。

現定義如下符號（見圖1）：x （p）輸入層的輸入矢量；y （p）輸入層輸入為x （p）時輸出層的實際輸出矢量；t （p）目標輸出矢量；n，m，r分別為輸入層、隱層和輸出層神經元個數；W為隱層與輸入層間的權矩陣；V為輸出層與隱層間的權矩陣。具體步驟如下：

（1）隨機給定隱層和輸入層間神經元的初始權值wij。

（2）由給定的樣本輸入xi（p）計算出隱層的實際輸出aj（p）。為方便起見將圖1網路中的閾值寫入連線權中去，令：隱層閾值θj=wnj，x（n）=－1，則：

aj（p）=f（■wijxi（p）） （j=1，2…m－1）。

（3）計算輸出層與隱層間的權值vjr。以輸出層的第r個神經元為對象，由給定的輸出目標值tr（p）作為等式的多項式值建立方程，用線性方程組表示為：

a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 簡寫為： Av=T

為了使該方程組有唯一解，方程矩陣A為非奇異矩陣，其秩等於其增廣矩陣的秩，即：r（A）=r（A┊B），且方程的個數等於未知數的個數，故取m=p，此時方程組的唯一解為： Vr=[v0r，v2r，…vmr]（r=0，1，2…m－1）

（4）重複第三步就可以求出輸出層m個神經元的權值，以求的輸出層的權矩陣加上隨機固定的隱層與輸入層的權值就等於神經網路最後訓練的權矩陣。

計算機運算實例

現以神經網路最簡單的XOR問題用VC編程運算進行比較（取神經網路結構為2－4－1型），傳統算法和改進BP算法的誤差（取動量因子α=0．001 5，步長η=1．653）