無監督預訓練

無監督預訓練是用來訓練的數據不包含輸出目標，需要學習算法自動學習到一些有價值的信息。

無監督學習在深度神經網路的復興上起到了關鍵的、歷史性的作用，它使研究者首次可以訓練不含諸如卷積或者循環這類特殊結構的深度監督網路。我們將這一過程稱為無監督預訓練，或者更精確地，貪心逐層無監督預訓練。此過程是一個任務（無監督學習，嘗試獲取輸入分布的形狀）的表示如何有助於另一個任務（具有相同輸入域的監督學習）的典型示例。

基本介紹

• 中文名：無監督預訓練
• 別名：無監督學習

無監督訓練中使用的算法

1. 聚類：K均值、混合模型、等級聚類。
2. 神經網路：自動編碼、深信念網、 Hebbian學習、生成敵對網路、自組織映射。

無監督學習的一種統計方法是時刻的方法。在矩的方法中，模型中的未知參數（感興趣的）與一個或多個隨機變數的矩相關，因此，這些未知參數可以在給定矩的情況下被估計。這些時刻通常是根據經驗估計的。基本時刻是一階和二階時刻。對於隨機向量，一階矩是平均向量，二階矩是協方差矩陣（當均值為零時）。通常使用張量來表示更高階的矩，所述張量是作為多維陣列將矩陣推廣到更高階的張量。

特別是，矩的方法被證明是有效的學習潛變數模型的參數。潛變數模型是統計模型，除觀測變數外，還存在一組未觀測到的潛變數。機器學習中潛在變數模型的一個非常實用的例子是主題建模，它是一種基於文檔主題（潛在變數）在文檔中生成單詞（觀察變數）的統計模型。在主題建模中，當文檔主題發生變化時，根據不同的統計參數生成文檔中的文字。它表明，矩的方法（張量分解技術）在一些假設下一致地恢復大類潛變數模型的參數。

在神經網路中

在自然神經網路和人工神經網路的研究中，無監督學習的經典例子歸納為唐納德赫伯的原理，即將電線連線在一起的神經元。在Hebbian學習中，無論錯誤如何，連線都被加強，但完全是兩個神經元之間動作電位之間巧合的函式。修改突觸權重的類似版本考慮動作電位之間的時間（尖峰時間相關可塑性或STDP）。假設Hebbian學習是一系列認知功能的基礎，如模式識別和體驗式學習。

在神經網路模型中，自組織映射（SOM）和自適應共振理論（ART）常用於無監督學習算法。SOM是一個地形組織，其中地圖中的附近位置表示具有類似屬性的輸入。ART模型允許簇的數量隨著問題大小而變化，並且允許用戶通過稱為警戒參數的用戶定義的常量來控制相同簇的成員之間的相似程度。ART網路也用於許多模式識別任務，如自動目標識別和地震信號處理。ART的第一個版本是由Carpenter和Grossberg(1988)開發的“ART1”。