棧式自編碼

棧式自編碼

為了進一步提高利用遙感圖像進行水體提取的準確率和自動化程度,提出一種基於棧式自編碼(SAE)深度神經網路的水體提取方法。通過堆疊稀疏自編碼器構建深度網路模型,使用逐層貪婪訓練法依次訓練每層網路,從像素層面無監督學習特徵,避免傳統神經網路等方法需進行人工特徵分析與選取的問題。

基本介紹

  • 中文名:棧式自編碼
  • 外文名:Stacked Autoencoder
  • 縮寫:SAE
介紹,棧式自編碼模型,稀疏自編碼,softmax分類器,SAE模型,

介紹

近年來,深度學習受到廣泛關注,並逐漸成為網際網路大數據和人工智慧的一個熱潮,深度神經網路採用模擬人腦的多層結構,對輸入數據逐級進行從底層到高層的特徵提取,最終形成適合模式分類的較理想特徵。深度學習的發展為遙感圖像分類提供了新思路。呂啟等利用深度信念網路(DeepBelief Network,DBN)來進行遙感圖像分類。本文採用深度學習中常用的棧式自編碼(Stacked Autoencoder, SAE)無監督學習算法構建深度網路模型,利用經過預處理的遙感圖像數據逐級無監督訓練每層網路,並最終利用softmax分類器進行分類。

棧式自編碼模型

稀疏自編碼

自編碼神經網路是一種無監督學習算法,其網路的輸出值與輸入值相同。傳統的自編碼神經網路共分為三層,分別為輸入層、隱藏層和輸出層,如果隱藏層神經元的節點數少於輸入和輸出層,則迫使自編碼神經網路去學習輸入數據的壓縮表示。如果網路的輸入是完全隨機的,那個這一壓縮表示會非常難學習,但是對於隱含著一些特定的結構的輸入數據,比如某些輸入特徵是彼此相關的,那么這一算法就可以發現輸入數據中的這些相關性,並學習出輸入數據的低維表示,也即從原始輸入中學習到的特徵。圖1是一個自編碼神經網路的示例。

softmax分類器

棧式自編碼
softmax 回歸模型是 logistic 回歸模型的一種拓展形式,可以用來解決多分類問題,是一種監督學習算法,本文採用softmax 回歸構建分類器來對 SAE 學習到的特徵進行分類。

SAE模型

SAE 神經網路是一個由多層稀疏自編碼器組成的神經網路,本文將多個稀疏自編碼器與 softmax 分類器結合,構建一個包含多隱藏層與一個最終 softmax 分類器的 SAE 網路,其訓練步驟如下:
Step1 將原始數據作為 SAE 的輸入,訓練第一個隱藏層的網路參數,並用訓練好的參數算出第一個隱藏層的輸出;
Step2 把上一層網路的輸出作為其下一層網路的輸入,用同樣的方法訓練該層網路的參數;重複這一步驟,直到訓練完最後一個隱藏層;
Step3 將 Step2 中的輸出作為 softmax 分類器的輸入,結合原始數據的標籤來訓練 softmax 分類器的網路參數;
Step4 計算整個網路(包括所有隱藏層和一個 softmax 分類器)的代價函式,以及該網路對每個參數的偏導函式值;
Step5 用 Step1,Step2 和 Step3 的網路參數作為整個深度網路的初始化參數值,然後用最佳化算法疊代求出代價函式最小值附近的參數值,並作為整個網路最後的最優參數值。
SAE 採用的是無監督學習特徵的方式,而 softmax 是一種監督式的學習算法,二者結合構建的 SAE 模型結合了無監督與有監督的優點,能夠對遙感圖像進行有效的分類,進而得到所需要的水體信息。

相關詞條

熱門詞條

聯絡我們