誤差逆傳播算法（backpropagation BP算法）是迄今最成功的的神經網路算法。顯示任務中使用神經網路時，大多是在使用BP算法進行訓練。不僅適用於多層前饋神經網路，還可以用於其他類型的神經網路，訓練遞歸。
基本介紹
- 中文名：誤差逆傳播算法
- 套用領域：深度學習
算法總結,累計誤差逆傳播算法,全局最小和局部極小的解決方法,其他常見神經網路,
算法總結
先將輸入實例提供給輸入層神經元，然後逐層將信號前傳，直到產生輸出層的結果；
然後計算輸出層的誤差，再將誤差逆向傳播至隱層神經元；
最後根據隱層神經元的誤差來對連線權和閾值進行調整，該疊代過程循環進行，直到達到某些停止條件位置（如訓練誤差已達到一個很小的值）。
累計誤差逆傳播算法
如果推導出基於累積誤差最小化的更新規則，就得到了累積誤差逆傳播算法。
與標準的BP算法每次更新只針對單個樣例，參數更新的非常頻繁，往往需進行更多次疊代。但是累積BP算法直接針對累積誤差最小化，它在讀取整個訓練集一遍後才對參數進行更新，其參數更新頻率低，但是在很多任務中，累積誤差下降到一定程度後，進一步下降變得很緩慢。這是標準BP會更好，尤其參數非常大時。
全局最小和局部極小的解決方法
目前主要有三種方式解決這個問題，
1）對參數分組初始化多個神經網路；
2）使用模擬退火技術；
3）使用隨機梯度下降。
其他常見神經網路
- RBF網路
- ART網路
- SOM網路
- 級聯相關網路
- Elman網路
- Boltzmann機
