人工神經網路

人工神經網路（Artificial Neural Networks, ANN），一種模範動物神經網路行為特徵，進行分散式並行信息處理的算法數學模型。這種網路依靠系統的複雜程度，通過調整內部大量節點之間相互連線的關係，從而達到處理信息的目的。

基本介紹

• 中文名：人工神經網路
• 外文名：Artificial Neural Networks
• 縮寫：ANN
• 屬性：算法數學模型

基本介紹

人工神經網路具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入－輸出數據，分析掌握兩者之間潛在的規律，最終根據這些規律，用新的輸入數據來推算輸出結果，這種學習分析的過程被稱為“訓練”。（引自《環球科學》2007年第一期《神經語言：老鼠鬍鬚下的秘密》）

概念

由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。

四個基本特徵

（1）非線性

非線性關係是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關係。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性

一個神經網路通常由多個神經元廣泛連線而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連線所決定。通過單元之間的大量連線模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

（3）非常定性

人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用疊代過程描寫動力系統的演化過程。

（4）非凸性

一個系統的演化方向，在一定條件下將取決於某個特定的狀態函式。例如能量函式，它的極值相應於系統比較穩定的狀態。非凸性是指這種函式有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。

人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連線權值反映了單元間的連線強度，信息的表示和處理體現在網路處理單元的連線關係中。人工神經網路是一種非程式化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分散式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智慧、計算機科學等多個領域的交叉學科。

人工神經網路是並行分散式系統，採用了與傳統人工智慧和信息處理技術完全不同的機理，克服了傳統的基於邏輯符號的人工智慧在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。

歷史沿革

1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網路和數學模型，稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網路結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網路研究的時代。1949年，心理學家提出了突觸聯繫強度可變的構想。60年代，人工神經網路的到了進一步發展，更完善的神經網路模型被提出，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網路系統的功能及局限後，於1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網路的研究，加之當時串列計算機和人工智慧所取得的成就，掩蓋了發展新型計算機和人工智慧新途徑的必要性和迫切性，使人工神經網路的研究處於低潮。在此期間，一些人工神經網路的研究者仍然致力於這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網路，同時進行了神經網路數學理論的研究。以上研究為神經網路的研究和發展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經格線模型，引入了“計算能量”概念，給出了網路穩定性判斷。 1984年，他又提出了連續時間Hopfield神經網路模型，為神經計算機的研究做了開拓性的工作，開創了神經網路用於聯想記憶和最佳化計算的新途徑，有力地推動了神經網路的研究，1985年，又有學者提出了波耳茲曼模型，在學習中採用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。1986年進行認知微觀結構地研究，提出了並行分布處理的理論。人工神經網路的研究受到了各個已開發國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變為全球行為。在日本的“真實世界計算（RWC）”項目中，人工智慧的研究成了一個重要的組成部分。

基本內容

人工神經網路模型主要考慮網路連線的拓撲結構、神經元的特徵、學習規則等。目前，已有近40種神經網路模型，其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。根據連線的拓撲結構，神經網路模型可以分為：

（1）前向網路

網路中各個神經元接受前一級的輸入，並輸出到下一級，網路中沒有反饋，可以用一個有向無環路圖表示。這種網路實現信號從輸入空間到輸出空間的變換，它的信息處理能力來自於簡單非線性函式的多次複合。網路結構簡單，易於實現。反傳網路是一種典型的前向網路。

（2）反饋網路

網路內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網路的信息處理是狀態的變換，可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關係。Hopfield網路、波耳茲曼機均屬於這種類型。

學習是神經網路研究的一個重要內容，它的適應性是通過學習實現的。根據環境的變化，對權值進行調整，改善系統的行為。由Hebb提出的Hebb學習規則為神經網路的學習算法奠定了基礎。Hebb規則認為學習過程最終發生在神經元之間的突觸部位，突觸的聯繫強度隨著突觸前後神經元的活動而變化。在此基礎上，人們提出了各種學習規則和算法，以適應不同網路模型的需要。有效的學習算法，使得神經網路能夠通過連線權值的調整，構造客觀世界的內在表示，形成具有特色的信息處理方法，信息存儲和處理體現在網路的連線中。

根據學習環境不同，神經網路的學習方式可分為監督學習和非監督學習。在監督學習中，將訓練樣本的數據加到網路輸入端，同時將相應的期望輸出與網路輸出相比較，得到誤差信號，以此控制權值連線強度的調整，經多次訓練後收斂到一個確定的權值。當樣本情況發生變化時，經學習可以修改權值以適應新的環境。使用監督學習的神經網路模型有反傳網路、感知器等。非監督學習時，事先不給定標準樣本，直接將網路置於環境之中，學習階段與工作階段成為一體。此時，學習規律的變化服從連線權值的演變方程。非監督學習最簡單的例子是Hebb學習規則。競爭學習規則是一個更複雜的非監督學習的例子，它是根據已建立的聚類進行權值調整。自組織映射、適應諧振理論網路等都是與競爭學習有關的典型模型。

研究神經網路的非線性動力學性質，主要採用動力學系統理論、非線性規劃理論和統計理論，來分析神經網路的演化過程和吸引子的性質，探索神經網路的協同行為和集體計算功能，了解神經信息處理機制。為了探討神經網路在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發揮作用。混沌是一個相當難以精確定義的數學概念。一般而言，“混沌”是指由確定性方程描述的動力學系統中表現出的非確定性行為，或稱之為確定的隨機性。“確定性”是因為它由內在的原因而不是外來的噪聲或干擾所產生，而“隨機性”是指其不規則的、不能預測的行為，只可能用統計的方法描述。混沌動力學系統的主要特徵是其狀態對初始條件的靈敏依賴性，混沌反映其內在的隨機性。混沌理論是指描述具有混沌行為的非線性動力學系統的基本理論、概念、方法，它把動力學系統的複雜行為理解為其自身與其在同外界進行物質、能量和信息交換過程中內在的有結構的行為，而不是外來的和偶然的行為，混沌狀態是一種定態。混沌動力學系統的定態包括：靜止、平穩量、周期性、準同期性和混沌解。混沌軌線是整體上穩定與局部不穩定相結合的結果，稱之為奇異吸引子。一個奇異吸引子有如下一些特徵：（1）奇異吸引子是一個吸引子，但它既不是不動點，也不是周期解；（2）奇異吸引子是不可分割的，即不能分為兩個以及兩個以上的吸引子；（3）它對初始值十分敏感，不同的初始值會導致極不相同的行為。

發展趨勢

人工神經網路特有的非線性適應性信息處理能力，克服了傳統人工智慧方法對於直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智慧型控制、組合最佳化、預測等領域得到成功套用。人工神經網路與其它傳統方法相結合，將推動人工智慧和信息處理技術不斷發展。近年來，人工神經網路正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳算法、進化機制等結合，形成計算智慧型，成為人工智慧的一個重要方向，將在實際套用中得到發展。將信息幾何套用於人工神經網路的研究，為人工神經網路的理論研究開闢了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網路的發展提供了良好條件。