正向傳播算法,也叫前向傳播算法,顧名思義,是由前往後進行的一個算法。
基本介紹
- 中文名:正向傳播算法
- 外文名:Forward propagation algorithm
介紹,DNN前向傳播算法,
介紹
最開始,我們會初始化一組 的取值,並且選定一個激活函式,為了後面的方便,我們假設選定sigmoid函式作為激活函式,其函式形式為:
並且它的導數為 。
有了聯結權重 和激活函式 之後,就可以由前往後計算,依次算出所有的 值, 值,最終算出輸出層的 值。這就是前向傳播算法。
DNN前向傳播算法
有了上一節的數學推導,DNN的前向傳播算法也就不難了。所謂的DNN的前向傳播算法也就是利用我們的若干個權重係數矩陣 ,偏倚向量 來和輸入值向量 。進行一系列線性運算和激活運算,從輸入層開始,一層層的向後計算,一直到運算到輸出層,得到輸出結果為值。
輸入: 總層數 ,所有隱藏層和輸出層對應的矩陣 ,偏倚向量 ,輸入值向量 .
輸出:輸出層的輸出
1) 初始化
2) for to , 計算: ,最後的結果即為輸出 。