正向傳播算法,也叫前向傳播算法,顧名思義,是由前往後進行的一個算法。
基本介紹
- 中文名:正向傳播算法
- 外文名:Forward propagation algorithm
介紹,DNN前向傳播算法,
介紹
最開始,我們會初始化一組
的取值,並且選定一個激活函式,為了後面的方便,我們假設選定sigmoid函式作為激活函式,其函式形式為:
![](/img/7/1da/425c8748556ccc161c4796d16f6d.jpg)
![](/img/d/d21/03954a789c328f727af92c5a1edd.jpg)
![](/img/b/370/8e8956b949b81bb75b8a18bb4796.jpg)
有了聯結權重
和激活函式
之後,就可以由前往後計算,依次算出所有的
值,
值,最終算出輸出層的
值。這就是前向傳播算法。
![](/img/7/1da/425c8748556ccc161c4796d16f6d.jpg)
![](/img/e/dbb/eca856fbda8da7fe86ab4fafd7c3.jpg)
![](/img/a/982/9d83d99b8cbad2ae687e53cd7156.jpg)
![](/img/3/8d0/cce7d9d8b4f756f1b9355528c0fc.jpg)
![](/img/e/27c/33b8f02c7a04152176b0a885a04b.jpg)
DNN前向傳播算法
有了上一節的數學推導,DNN的前向傳播算法也就不難了。所謂的DNN的前向傳播算法也就是利用我們的若干個權重係數矩陣
,偏倚向量
來和輸入值向量
。進行一系列線性運算和激活運算,從輸入層開始,一層層的向後計算,一直到運算到輸出層,得到輸出結果為值。
![](/img/7/046/b03c38e759a70279d78c93296bd0.jpg)
![](/img/a/cbf/fc5b02658291f4dd24e4b59105c1.jpg)
![](/img/c/f4f/ba3fd676fa0ffe8035f9ffec921e.jpg)
輸入: 總層數
,所有隱藏層和輸出層對應的矩陣
,偏倚向量
,輸入值向量
.
![](/img/1/5a5/ebc6b2663d45432fcdfaa58bcc9f.jpg)
![](/img/7/046/b03c38e759a70279d78c93296bd0.jpg)
![](/img/a/cbf/fc5b02658291f4dd24e4b59105c1.jpg)
![](/img/c/f4f/ba3fd676fa0ffe8035f9ffec921e.jpg)
輸出:輸出層的輸出![](/img/b/4d8/95c9a81b511078093fd7af3503f5.jpg)
![](/img/b/4d8/95c9a81b511078093fd7af3503f5.jpg)
1) 初始化![](/img/6/cbc/b9015de2a95052de58000af39d1e.jpg)
![](/img/6/cbc/b9015de2a95052de58000af39d1e.jpg)
2) for
to
, 計算:
,最後的結果即為輸出
。
![](/img/3/77a/065c316592b828e0d514f8dcd8ce.jpg)
![](/img/8/0cb/eac5b6f82617df8ac0d20042496e.jpg)
![](/img/f/83a/4f594e2aadcc3ddbd8ebb8166a91.jpg)
![](/img/b/4d8/95c9a81b511078093fd7af3503f5.jpg)