批標準化（Batch Normalization,BN），又叫批量歸一化，是一種用於改善人工神經網路的性能和穩定性的技術。 這是一種為神經網路中的任何層提供零均值/單位方差輸入的技術。批量標準化在2015年的論文中引入。它用於通過調整和縮放激活來規範化輸入層。
基本介紹
- 中文名：批標準化
- 外文名：Batch normalization
背景,使用方法,優點,使用方法,
背景
批標準化（Batch Normalization ）簡稱BN算法，是為了克服神經網路層數加深導致難以訓練而誕生的一個算法。根據ICS理論，當訓練集的樣本數據和目標樣本集分布不一致的時候，訓練得到的模型無法很好的泛化。
而在神經網路中，每一層的輸入在經過層內操作之後必然會導致與原來對應的輸入信號分布不同，並且前層神經網路的增加會被後面的神經網路不斷的累積放大。這個問題的一個解決思路就是根據訓練樣本與目標樣本的比例對訓練樣本進行一個矯正，而BN算法（批標準化）則可以用來規範化某些層或者所有層的輸入，從而固定每層輸入信號的均值與方差。
使用方法
批標準化一般用在非線性映射（激活函式）之前，對y= Wx + b進行規範化，是結果(輸出信號的各個維度)的均值都為0,方差為1,讓每一層的輸入有一個穩定的分布會有利於網路的訓練。
在神經網路收斂過慢或者梯度爆炸時的那個無法訓練的情況下都可以嘗試。
優點
- 減少了參數的人為選擇，可以取消dropout和L2正則項參數,或者採取更小的L2正則項約束參數。
- 減少了對學習率的要求。
- 可以不再使用局部回響歸一化了，BN本身就是歸一化網路(局部回響歸一化-AlexNet)。
- 更破壞原來的數據分布,一定程度上緩解過擬合。
使用方法
批標準化一般用在非線性映射（激活函式）之前，對y= Wx + b進行規範化，是結果(輸出信號的各個維度)的均值都為0,方差為1,讓每一層的輸入有一個穩定的分布會有利於網路的訓練。
在神經網路收斂過慢或者梯度爆炸時的那個無法訓練的情況下都可以嘗試。
批准標化指的是批數據, 把數據分成小批小批進行隨機梯度下降. 而且在每批數據進行前向傳遞的時候, 對每一層都進行標化的處理。
