去噪自編碼器

去噪自編碼器（denoising autoencoder，DAE）是一類接受損壞數據作為輸入，並訓練來預測原始未被損壞數據作為輸入的自編碼器。

基本介紹

• 中文名：去噪自編碼器
• 外文名：denoising autoencoder，DAE

簡介

自編碼器(Autoencoder)的學習只是簡單地保留原始輸入數據的信息，並不能確保獲得一種有用的特徵表示。因為自編碼器可能僅僅簡單地拷貝原始輸入，或者簡單地選取能夠稍微改變重構誤差，卻不包含特別有用信息的特徵。為了避免上述情況，並且能夠學習更好的特徵表示，需要給數據表示一定的約束。去噪自編碼器可以通過重構含有噪聲的輸入數據來解決該問題。

去噪自編碼器所要實現的功能就是學習疊加噪聲的原始數據，而它學習到的特徵與從未疊加噪聲的數據學到的特徵幾乎一樣，但去噪自編碼器從疊加噪聲的輸入中學習得到的特徵更具魯棒性，並且可以避免自編碼器遇到的上述問題，簡單地學習相同的特徵值。

原理

去噪自編碼器（DAE）的訓練過程如圖所示。我們引入一個損壞過程，這個條件代表給定數據樣本x產生損壞樣本機率。

去噪自動編碼代價函式的計算圖

去噪自動編碼被訓練為從損壞的版本重構乾淨數據點。這可以通過最小化損失實現，其中是樣本經過損壞過程後得到的損壞版本。通常分布是因子的分布（平局參數由前饋網路g給出）。

自編碼器根據以下過程，從訓練數據對中學習重構分布（reconstruction distribution）:

1.從訓練集中采一個訓練樣本x。

2.從采一個損壞樣本。

3.將作為訓練樣本來估計自編碼器的重構分布。

通常我們可以簡單地對負對數似然 進行基於梯度法（如小批量梯度下降法）的近似最小化。只要編碼器是確定性的，去噪自編碼器就是一個前饋網路，並且可以使用與其他前饋網路完全相同的方式進行訓練。

因此我們可以認為DAE是一下期望下進行隨機梯度下降：

其中是訓練數據的分布