去噪自編碼器（denoising autoencoder，DAE）是一類接受損壞數據作為輸入，並訓練來預測原始未被損壞數據作為輸入的自編碼器。
基本介紹
- 中文名：去噪自編碼器
- 外文名：denoising autoencoder，DAE
簡介,原理,
簡介
自編碼器(Autoencoder)的學習只是簡單地保留原始輸入數據的信息，並不能確保獲得一種有用的特徵表示。因為自編碼器可能僅僅簡單地拷貝原始輸入，或者簡單地選取能夠稍微改變重構誤差，卻不包含特別有用信息的特徵。為了避免上述情況，並且能夠學習更好的特徵表示，需要給數據表示一定的約束。去噪自編碼器可以通過重構含有噪聲的輸入數據來解決該問題。
去噪自編碼器所要實現的功能就是學習疊加噪聲的原始數據，而它學習到的特徵與從未疊加噪聲的數據學到的特徵幾乎一樣，但去噪自編碼器從疊加噪聲的輸入中學習得到的特徵更具魯棒性，並且可以避免自編碼器遇到的上述問題，簡單地學習相同的特徵值。
原理
去噪自編碼器（DAE）的訓練過程如圖1所示。我們引入一個損壞過程
，這個條件代表給定數據樣本x產生損壞樣本
機率。
圖1
去噪自動編碼被訓練為從損壞的版本重構乾淨數據點
。這可以通過最小化損失
實現，其中是樣本經過損壞過程後得到的損壞版本。通常分布
是因子的分布（平局參數由前饋網路g給出）。
自編碼器根據以下過程，從訓練數據對
中學習重構分布（reconstruction distribution）
:
1.從訓練集中采一個訓練樣本x。
2.從
采一個損壞樣本。
3.將作為訓練樣本來估計自編碼器的重構分布
。
通常我們可以簡單地對負對數似然
進行基於梯度法（如小批量梯度下降法）的近似最小化。只要編碼器是確定性的，去噪自編碼器就是一個前饋網路，並且可以使用與其他前饋網路完全相同的方式進行訓練。
因此我們可以認為DAE是一下期望下進行隨機梯度下降：
其中
是訓練數據的分布
