APReLU激活函式

APReLU激活函式是一種非線性激活函式，通過一個小型的子網路，獲得一組權值係數，並且將這組權值係數作為參數化ReLU的參數。

相較於普通的激活函式，APReLU激活函式允許每個樣本都有著自己獨特的非線性變換。

基本介紹

• 中文名：APReLU激活函式
• 外文名：Adaptively Parametric Rectifier Linear Unit
• 所屬學科：計算機科學
• 提出者：Minghang Zhao 
• 特性：動態ReLU激活函式

定義

自適應參數化ReLU是一種新型激活函式，通過一個小型的子網路，獲得一組權值係數，並且將這組權值係數作為參數化ReLU的參數。

自適應參數化ReLU激活函式

原理

在APReLU激活函式中，其非線性變換的函式形式是和參數化ReLU激活函式一模一樣的。其差別在於，APReLU激活函數裡對負數特徵的權重係數，是通過一個小型全連線網路學習得到的。

特點介紹

當人工神經網路採用APReLU激活函式時，每個樣本都可以有自己獨特的權重係數，即獨特的非線性變換。

同時，APReLU激活函式的輸入特徵圖和輸出特徵圖有著相同的尺寸，這意味著APReLU可以被輕易地嵌入到現有的深度學習算法之中。

套用

模式識別。