反響傳播

反響傳播指的是從最後一層反饋到第一層，並被用來計算誤差相對於網路中每個單元權重的導數。

基本介紹

• 中文名：反響傳播
• 套用領域：深度學習、數學

簡介

在實際操作中，這只是簡單地將兩個梯度數值相乘。反響傳播從尾部開始，根據鏈式法則遞歸地向前計算梯度。

反響傳播從從最上層的節點f開始，初始值為1，以層為單位進行處理。節點接受f傳送的1並乘以該節點的偏導值-4等於-4，節點z接受f傳送的1並乘以該節點的偏導值3等於3，至此第二層完畢，求出各節點總偏導值並繼續向下一層傳送。節點q向x傳送-4並乘以偏導值1等於-4，節點q向y傳送-4並乘以偏導值1等於-4，至此第三層完畢，節點x，y的偏導值都為-4，即頂點f對x,y的偏導數均為-4。

本質

反響傳播的本質只是對鏈式法則的巧妙運用。鏈式法則是在本科課程中導數的一個基本屬性。它指出，假設有三個函式f、g和h，其中f是g的函式，g是h的函式，那么f相對於h的導數等於f相對於g的導數和g相對於h的導數的乘積。

原理

我們使用最簡單的神經網路來說明。這個網路只有3層，分別是藍色的輸入層、綠色的隱藏層和紅色的輸出層。上一層中的每個單元都連線到下一層中的每個單元，而且每個連線都具有一個權重，當某個單元向另一個單元傳遞信息時，會乘以該連線的權重得到更新信息。某個單元會把連線到它的上一層所有單元的輸入值相加，並對這個總和執行Logistic函式並向下一層網路傳遞該值。

為了計算總誤差，我們使用了訓練集中的所有樣本，並對紅色輸出層中的每個單元計算該單元預測值與真實輸出間的平方誤差。對每個樣本分別計算並求和，得到總誤差。

由於g為網路的預測值，取決於網路的權重，可以看到總誤差會隨權重變化而變化，網路的訓練目標就是找到一組誤差最小的權重。