自編碼器（autoencoder, AE）是一類在半監督學習和非監督學習中使用的人工神經網路（Artificial Neural Networks, ANNs），其功能是通過將輸入信息作為學習目標，對輸入信息進行表征學習（representation learning）。
自編碼器包含編碼器（encoder）和解碼器（decoder）兩部分。按學習範式，自編碼器可以被分為收縮自編碼器（undercomplete autoencoder）、正則自編碼器（regularized autoencoder）和變分自編碼器（Variational AutoEncoder, VAE），其中前兩者是判別模型、後者是生成模型。按構築類型，自編碼器可以是前饋結構或遞歸結構的神經網路。
自編碼器具有一般意義上表征學習算法的功能，被套用於降維（dimensionality reduction）和異常值檢測（anomaly detection）。包含卷積層構築的自編碼器可被套用於計算機視覺問題，包括圖像降噪（image denoising）、神經風格遷移（neural style transfer）等。
基本介紹
- 中文名：自編碼器
- 外文名：autoencoder, AE
- 類型：機器學習算法，神經網路算法
- 提出者：Yann LeCun
- 提出時間：1987年
- 學科：人工智慧
- 套用：降維，降噪，異常值檢測
歷史,算法,
歷史
自編碼器在其研究早期是為解決表征學習中的“編碼器問題（encoder problem）”，即基於神經網路的降維問題而提出的聯結主義模型的學習算法。1985年，David H. Ackley、Geoffrey E. Hinton和Terrence J. Sejnowski在玻爾茲曼機上對自編碼器算法進行了首次嘗試，並通過模型權重對其表征學習能力進行了討論。在1986年反向傳播算法（Back-Propagation, BP）被正式提出後，自編碼器算法作為BP的實現之一，即“自監督的反向傳播（Self-supervised BP）”得到了研究，並在1987年被Jeffrey L. Elman和David Zipser用於語音數據的表征學習試驗。自編碼器作為一類神經網路結構（包含編碼器和解碼器兩部分）的正式提出，來自1987年Yann LeCun發表的研究。LeCun (1987)使用多層感知器（Multi-Layer Perceptron, MLP）構建了包含編碼器和解碼器的神經網路，並將其用於數據降噪。此外，在同一時期，Bourlard and Kamp (1988)使用MLP自編碼器對數據降維進行的研究也得到了關注。1994年，Hinton和Richard S. Zemel通過提出“最小描述長度原理（Minimum Description Length principle, MDL）”構建了第一個基於自編碼器的生成模型。
算法
