正向傳播算法

正向傳播算法，也叫前向傳播算法，顧名思義，是由前往後進行的一個算法。

基本介紹

• 中文名：正向傳播算法
• 外文名：Forward propagation algorithm

介紹

最開始，我們會初始化一組 的取值，並且選定一個激活函式，為了後面的方便，我們假設選定sigmoid函式作為激活函式，其函式形式為：

並且它的導數為 。

  有了聯結權重 和激活函式 之後，就可以由前往後計算，依次算出所有的 值， 值，最終算出輸出層的 值。這就是前向傳播算法。

DNN前向傳播算法

有了上一節的數學推導，DNN的前向傳播算法也就不難了。所謂的DNN的前向傳播算法也就是利用我們的若干個權重係數矩陣 ,偏倚向量 來和輸入值向量 。進行一系列線性運算和激活運算，從輸入層開始，一層層的向後計算，一直到運算到輸出層，得到輸出結果為止。

輸入: 總層數 ，所有隱藏層和輸出層對應的矩陣 ,偏倚向量 ，輸入值向量 .

輸出：輸出層的輸出

1） 初始化

2) for to , 計算： ，最後的結果即為輸出 。