隨機池化

隨機池化（Stochastic Pooling）可以看作在一個池化視窗內對特徵圖數值進行歸一化， 按照特徵圖歸一化後的機率值大小隨機採樣選擇，即元素值大的被選中的機率也大。

基本介紹

• 中文名：隨機池化
• 外文名：Stochastic Pooling

介紹

我們首先通過歸一化區域內的激活來計算每個區域j的機率p：

然後，我們從基於p的多項式分布中抽取一個在區域內選擇一個位置 .然後，合併的激活僅僅是 : where 。

該過程如圖1所示。每個訓練實例的每個層中的每個池區的樣本被相互獨立地繪製。 當通過網路向後傳播時，這個相同的選定位置l用於將梯度引導回池區，類似於具有最大池的後向傳播。

隨機池化示例說明

隨機池化的優點

隨機池化方法是對局部接受域採樣點按照其值大小賦予機率值，再根據機率值大小隨機選擇，該池化
方法確保了特徵面中不是最大激勵的神經元也能夠被利用到， 隨機池化具有最大池化的優點（消除非極大值，降低了上層的計算複雜度），同時由於隨機性它能夠避免過擬合。