受限玻爾茲曼機(RBM）是一種生成性隨機人工神經網路，可以學習其輸入集合的機率分布。
基本介紹
- 中文名：局限型波茲曼模型
- 外文名：restricted Boltzmann machine
RBM最初是由Paul Smolensky在1986年發明的，並且在Geoffrey Hinton和合作者在2000年代中期為他們發明了快速學習算法之後上升到了突出地位。 RBM已經在降維，分類，協同過濾，特徵學習和主題建模他們可以在監督或無人監督的方式，根據任務進行訓練。
顧名思義，RBM是Boltzmann機器的變體，其限制是它們的神經元必須形成二分圖：來自兩組單元中的每一組的一對節點（通常稱為“可見”和“隱藏”單元）可以在它們之間具有對稱連線;並且組內的節點之間沒有連線。相比之下，“無限制”玻爾茲曼機器可以具有隱藏單元之間的連線。這種限制允許比一般類別的玻爾茲曼機器可用的更有效的訓練算法，特別是基於梯度的對比度發散算法。
受限玻爾茲曼機器也可用於深度學習網路。特別是，深層信念網路可以通過“堆疊”RBM和任選地微調具有梯度下降和反向傳播的所得深網路來形成。
假設有一個二部圖，每一層的節點之間沒有連結，一層是可視層，即輸入數據層（v)，一層是隱藏層(h)，如果假設所有的節點都是隨機二值變數節點（只能取0或者1值），同時假設全機率分布p(v,h)滿足Boltzmann 分布，我們稱這個模型是Restricted BoltzmannMachine (RBM)。
下面我們來看看為什麼它是Deep Learning方法。首先，這個模型因為是二部圖，所以在已知v的情況下，所有的隱藏節點之間是條件獨立的（因為節點之間不存在連線），即p(h|v)=p(h1|v)…p(hn|v)。同理，在已知隱藏層h的情況下，所有的可視節點都是條件獨立的。同時又由於所有的v和h滿足Boltzmann 分布，因此，當輸入v的時候，通過p(h|v) 可以得到隱藏層h，而得到隱藏層h之後，通過p(v|h)又能得到可視層，通過調整參數，我們就是要使得從隱藏層得到的可視層v1與原來的可視層v如果一樣，那么得到的隱藏層就是可視層另外一種表達，因此隱藏層可以作為可視層輸入數據的特徵，所以它就是一種Deep Learning方法。
如何訓練呢？也就是可視層節點和隱節點間的權值怎么確定呢？我們需要做一些數學分析。也就是模型了。
聯合組態（jointconfiguration）的能量可以表示為：
而某個組態的聯合機率分布可以通過Boltzmann 分布（和這個組態的能量）來確定：
因為隱藏節點之間是條件獨立的（因為節點之間不存在連線），即：
然後我們可以比較容易（對上式進行因子分解Factorizes）得到在給定可視層v的基礎上，隱層第j個節點為1或者為0的機率：
同理，在給定隱層h的基礎上，可視層第i個節點為1或者為0的機率也可以容易得到：
給定一個滿足獨立同分布的樣本集：D={v,v,…,v}，我們需要學習參數θ={W,a,b}。
我們最大化以下對數似然函式（最大似然估計：對於某個機率模型，我們需要選擇一個參數，讓我們當前的觀測樣本的機率最大）：
也就是對最大對數似然函式求導，就可以得到L最大時對應的參數W了。
如果，我們把隱藏層的層數增加，我們可以得到Deep Boltzmann Machine(DBM)；如果我們在靠近可視層的部分使用貝葉斯信念網路（即有向圖模型，當然這裡依然限制層中節點之間沒有連結），而在最遠離可視層的部分使用Restricted Boltzmann Machine，我們可以得到DeepBelief Net（DBN）
