Hopfield神經網路是一種遞歸神經網路，由約翰·霍普菲爾德在1982年發明。
基本介紹
- 中文名：浩斯菲爾德網路
- 外文名：hopfield神經網路
- 發明人：約翰·霍普菲爾德
- 發明時間：1982年
- 屬性：遞歸神經網路
簡介,構造,套用,參見,
簡介
Hopfield神經網路是一種遞歸神經網路，由約翰·霍普菲爾德在1982年發明。Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfield網路也提供了模擬人類記憶的模型。
離散Hopfield網路是一個單層網路，有n個神經元節點，每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處於一種可能的狀態（1或－1），即當該神經元所受的刺激超過其閥值時，神經元就處於一種狀態（比如1），否則神經元就始終處於另一狀態（比如 －1）。 整個網路有兩種工作方式：即異步方式和同步方式。
構造
Hopfield網路的單元是二元的（binary），即這些單元只能接受兩個不同的值，並且值取決於輸入的大小是否達到閾值。Hopfield網路通常接受值為-1或1，也可以是0或者1。輸入是由sigmoid函式處理得到的。 sigmoid函式定義為：
用於將輸入化簡為兩個極值。
每一對Hopfiled網路的單元i和j間都有一對以一定權重（weight）的連線{\displaystyle w_{ij}}。因此，Hopfiled網路可被描述為一個完整的無向圖G=<V,f>，其中V是人工神經元集合。
Hopfiled網路的連線有以下特徵：
權重對稱的要求是一個重要特徵，因為它保證了能量方程（稱向函式某一點收斂的過程為勢能轉化為能量）在神經元激活時單調遞減，而不對稱的權重可能導致周期性的遞增或者噪聲。然而，Hopfiled網路也證明噪聲過程會被局限在很小的範圍，並且並不影響網路的最終性能。
套用
聯想記憶功能是離散Hopfield網路的一個重要套用範圍。要想實現聯想記憶，反饋網路必須具有兩個基本條件：
① 網路能收斂到穩定的平衡狀態，並以其作為樣本的記憶信息；
② 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。 離散Hopfield網路實現聯想記憶的過程分為兩個階段：學習記憶階段和聯想回憶階段。在學習記憶階段中，設計者通過某一設計方法確定一組合適的權值，使網路記憶期望的穩定平衡點。聯想回憶階段則是網路的工作過程。
離散Hopfield網路用於聯想記憶有兩個突出的特點：即記憶是分散式的，而聯想是動態的。 離散Hopfield網路局限性，主要表現在以下幾點：
① 記憶容量的有限性；
② 偽穩定點的聯想與記憶；
③ 當記憶樣本較接近時，網路不能始終回憶出正確的記憶等。另外網路的平衡穩定點並不可以任意設定的，也沒有一個通用的方式來事先知道平衡穩定點。
參見
- 玻爾茲曼機– 像一個Hopfield網路，可採用退火吉布斯抽樣代替梯度下降
