棧式自編碼

為了進一步提高利用遙感圖像進行水體提取的準確率和自動化程度，提出一種基於棧式自編碼(SAE)深度神經網路的水體提取方法。通過堆疊稀疏自編碼器構建深度網路模型，使用逐層貪婪訓練法依次訓練每層網路，從像素層面無監督學習特徵，避免傳統神經網路等方法需進行人工特徵分析與選取的問題。

基本介紹

• 中文名：棧式自編碼
• 外文名：Stacked Autoencoder
• 縮寫：SAE

介紹

近年來，深度學習受到廣泛關注，並逐漸成為網際網路大數據和人工智慧的一個熱潮，深度神經網路採用模擬人腦的多層結構，對輸入數據逐級進行從底層到高層的特徵提取，最終形成適合模式分類的較理想特徵。深度學習的發展為遙感圖像分類提供了新思路。呂啟等利用深度信念網路(DeepBelief Network，DBN)來進行遙感圖像分類。本文採用深度學習中常用的棧式自編碼(Stacked Autoencoder, SAE)無監督學習算法構建深度網路模型，利用經過預處理的遙感圖像數據逐級無監督訓練每層網路，並最終利用softmax分類器進行分類。

棧式自編碼模型

稀疏自編碼

自編碼神經網路是一種無監督學習算法，其網路的輸出值與輸入值相同。傳統的自編碼神經網路共分為三層，分別為輸入層、隱藏層和輸出層，如果隱藏層神經元的節點數少於輸入和輸出層，則迫使自編碼神經網路去學習輸入數據的壓縮表示。如果網路的輸入是完全隨機的，那個這一壓縮表示會非常難學習，但是對於隱含著一些特定的結構的輸入數據，比如某些輸入特徵是彼此相關的，那么這一算法就可以發現輸入數據中的這些相關性，並學習出輸入數據的低維表示，也即從原始輸入中學習到的特徵。下圖是一個自編碼神經網路的示例。

自編碼神經網路

softmax分類器

softmax 回歸模型是 logistic 回歸模型的一種拓展形式，可以用來解決多分類問題，是一種監督學習算法，本文採用softmax 回歸構建分類器來對 SAE 學習到的特徵進行分類。

SAE模型

SAE 神經網路是一個由多層稀疏自編碼器組成的神經網路，本文將多個稀疏自編碼器與 softmax 分類器結合，構建一個包含多隱藏層與一個最終 softmax 分類器的 SAE 網路，其訓練步驟如下：

Step1 將原始數據作為 SAE 的輸入，訓練第一個隱藏層的網路參數，並用訓練好的參數算出第一個隱藏層的輸出；

Step2 把上一層網路的輸出作為其下一層網路的輸入，用同樣的方法訓練該層網路的參數；重複這一步驟，直到訓練完最後一個隱藏層；

Step3 將 Step2 中的輸出作為 softmax 分類器的輸入，結合原始數據的標籤來訓練 softmax 分類器的網路參數；

Step4 計算整個網路(包括所有隱藏層和一個 softmax 分類器)的代價函式，以及該網路對每個參數的偏導函式值；

Step5 用 Step1，Step2 和 Step3 的網路參數作為整個深度網路的初始化參數值，然後用最佳化算法疊代求出代價函式最小值附近的參數值，並作為整個網路最後的最優參數值。

SAE 採用的是無監督學習特徵的方式，而 softmax 是一種監督式的學習算法，二者結合構建的 SAE 模型結合了無監督與有監督的優點，能夠對遙感圖像進行有效的分類，進而得到所需要的水體信息。