反饋網路

反饋網路

反饋網路(Recurrent Network),又稱自聯想記憶網路,其目的是為了設計一個網路,儲存一組平衡點,使得當給網路一組初始值時,網路通過自行運行而最終收斂到這個設計的平衡點上。

基本介紹

  • 中文名:反饋網路
  • 外文名:Recurrent Network
  • 定    義:網路通過自行運行而最終收斂
  • 套用學科:自動化術語
  • 縮寫:RN
  • 工作方式:異步方式、同步方式
概念,定義,網路結構形式,工作原理,

概念

定義

反饋網路(Recurrent Network),又稱自聯想記憶網路,其目的是為了設計一個網路,儲存一組平衡點,使得當給網路一組初始值時,網路通過自行運行而最終收斂到這個設計的平衡點上。
1982年,物理學家霍普菲爾德(J.Hopfield)發表了一篇對人工神經網路研究頗有影響的論文。
反饋網路能夠表現出非線性動力學系統的動態特性。它所具有的主要特性為以下兩點:
第一、網路系統具有若干個穩定狀態。當網路從某一初始狀態開始運動,網路系統總可以收斂到某一個穩定的平衡狀態;
第二,系統穩定的平衡狀態可以通過設計網路的權值而被存儲到網路中。

網路結構形式

Hopfield網路是單層對稱全反饋網路,根據激活函式選取的不同,可分為離散型和連續性兩種(DHNN,CHNN)。
DHNN:激活函式f(·)是一個二值型的硬函式,即ai=sgn(ni),i=l, 2, … r,主要用於聯想記憶;
CHNN: 激活函式f(·)為一個連續單調上升的有界函式,主要用於最佳化計算。
圖1圖1
圖2圖2

工作原理

非線性系統狀態演變的形式
設狀態矢量N=[n1, n2, …,nr],網路的輸出矢量為A=[a1,a2…,ar] ,
在一個r維狀態空間上,可以用一條軌跡來描述狀態變化情況。
從初始值N(t0)出發, N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),這些在空間上的點組成的確定軌跡,是演化過程中所有可能狀態的集合,我們稱這個狀態空間為相空間。
對於DHNN,因為N(t)中每個值只可能為±1,或{0,1},對於確定的權值wij,其軌跡是跳躍的階梯式,如圖中A所示。
對於CHNN,因為f(·)是連續的,因而,其軌跡也是連續的。如圖3的B、C所示。
圖3圖3
在Hopfield網路中,由於反饋的存在,對於不同的連線權值wij和輸入Pj(i, j=1, 2, … r),反饋網路狀態軌跡可能出現以下幾種情況:(1)漸進穩定;(2)極限環;(3)混沌現象;(4)狀態軌跡發散;
(1)狀態軌跡為穩定點
狀態軌跡從系統在t0時狀態的初值N(t0)開始,經過一定的時間t(t>0)後,到達N(t0+t)。如果N(t0+t+Δt)=N(t0+t),Δt>0,則狀態N(t0+t)稱為網路的穩定點,或平衡點。
即反饋網路從任一初始態P(0)開始運動,若存在某一有限時刻t,從t以後的網路狀態不再發生變化:P(t+Δt)= P(t),Δt>0,則稱該網路是穩定的。
處於穩定時的網路狀態叫做穩定狀態,又稱為定吸引子。
在一個反饋網路中,存在很多穩定點,根據不同情況,這些穩定點可以分為:
1)漸近穩定點:如果在穩定點Ne周圍的N(σ)區域內,從任一個初始狀態N(t0)出發的每個運動,當t→∞時都收斂於Ne,則稱Ne為漸近穩定點。
2)不穩定平衡點Nen:在某些特定的軌跡演化過程中,網路能夠到達穩定點Nen,但對於其它方向上的任意一個小的區域N(σ),不管N(σ)取多么小,其軌跡在時間t以後總是偏離Nen;
3)網路的解:如果網路最後穩定到設計人員期望的穩定點,且該穩定點又是漸近穩定點,那么這個點稱為網路的解;
4)網路的偽穩定點:網路最終穩定到一個漸近穩定點上,但這個穩定點不是網路設計所要求的解,這個穩定點為偽穩定點。
(2)狀態軌跡為極限環
如果在某些參數的情況下,狀態N(t)的軌跡是一個圓,或一個環,狀態N(t)沿著環重複旋轉,永不停止,此時的輸出A(t)也出現周期變化,即出現振盪,如圖6.4中C的軌跡即是極限環出現的情形。
對於DHNN,軌跡變化可能在兩種狀態下來回跳動,其極限環為2。如果在r種狀態下循環變化,稱其極限環為r。
(3)混沌現象
如果狀態N(t)的軌跡在某個確定的範圍內運動,但既不重複,又不能停下來,狀態變化為無窮多個,而軌跡也不能發散到無窮遠,這種現象稱為混沌(chaos)。
在出現混沌的情況下,系統輸出變化為無窮多個,並且隨時間推移不能趨向穩定,但又不發散。
(4) 狀態軌跡發散
如果狀態N(t)的軌跡隨時間一直延伸到無窮遠,此時狀態發散,系統的輸出也發散。
在人工神經網路中,由於輸入、輸出激活函式上一個有界函式,雖然狀態N(t)是發散的,但其輸出A(t)還是穩定的,而A(t)的穩定反過來又限制了狀態的發散。
一般非線性人工神經網路中發散現象是不會發生的,除非神經元的輸入輸出激活函式是線性的。
Hopfield網路的穩定性可用能量函式進行分析。目前,人工神經網路常利用漸進穩定點來解決某些問題。例如,如果把系統的穩定點視為一個記憶的話,那么從初態朝這個穩定點的演變過程就是尋找記憶的過程。初態可以認為是給定的有關記憶的部分信息。如果把系統的穩定點視為一個能量函式的極小點,把能量函式視為一個最佳化問題的目標函式,那么從初態朝這個穩定點的演變過程就是一個求該最佳化問題的過程。這樣的優點在於它的解並不需要真的去計算,而只要構成這種反饋網路,適當的設計其連線值和輸入就可達到目的。
離散型的 Hopfield神經網路
網路結構及I/O關係
圖4圖4
圖5圖5
兩種工作方式
DHNN主要有以下兩種工作方式:
(1)串列工作方式 在某一時刻只有一個神經元按照上式改變狀態,而其它神經元的輸出不變。這一變化的神經元可以按照隨機的方式或預定的順序來選擇。
這種更新方式的特點是:
實現上容易,每個神經元有自己的狀態更新時刻,不需要同步機制; 功能上的串列狀態更新可以限制網路的輸出狀態,避免不同穩態等機率的出現;
異步狀態更新更接近實際的生物神經系統的表現。
(2)並行工作方式 在某一時刻有N個神經元按照上式改變狀態,而其它的神經元的輸出不變。變化的這一組神經元可以按照隨機方式或某種規則來選擇。當N=n時,稱為全並行方式。對於權值設計要求較高。
DHNN的穩定性與吸引子
網路達到穩定時的狀態,稱為網路的吸引子。非線性系統的穩定點。
Hopfield網路自提出後,被認為是一種最典型的全反饋網路,可以看作一種非線性的動力學系統 。 網路狀態的變化,是一種在超立方體中的自由運動狀態,1892年, Lyapunov(李雅普諾夫)提出了關於穩定性概念的基本理論,並被稱為Lyapunov定理。
關於吸引子的吸引域:
1,弱吸引域定義:若Xa是吸引子,對於異步方式,若存在一個調整次序,使網路可以從狀態X演變到Xa,則稱X弱吸引到Xa;若有某些X弱吸引到Xa ,則稱這些X的集合為Xa的弱吸引域。
2,強吸引域定義:若Xa是吸引子,對於任意調整次序,網路都可以從狀態X演變到Xa,則稱X強吸引到Xa;若有某些X強吸引到Xa ,則稱這些X的集合為Xa的強吸引域。
吸引子的數量代表聯想網路的記憶容量。是指網路在一定的聯想出錯機率容許下,存儲互不干擾的吸引子的數量。
吸引子的數量與吸引域有關,吸引域大的網路聯想能力強,容錯性好,但吸引子的數量就受到限制。
DHNN網路設計
吸引子的分布是由網路的權值和閾值決定的,設計吸引子的核心就是如何設計一組合適的權值。為了使設計的權值滿足要求,權值矩陣應符合下述要求:
(1)為了保證異步方式工作時網路收斂,W應為對稱陣;
(2)為了保證同步工作方式時網路收斂,W應為非負定對稱陣;
(3)保證給定的樣本是網路的吸引子,並且要有一定的吸引域。
連續性的Hopfield網路
CHNN是在DHNN的基礎上提出的,它的原理和DHNN相似。由於CHNN是以模擬量作為網路的輸入輸出量,各神經元採用並行方式工作,所以它在信息處理的並行性、聯想性、實時性、分布存儲、協同性等方面比DHNN更接近於生物神經網路。我們將從以下幾點來討論CHNN。
1、網路模型
2、CHNN方程的解及穩定性分析
3、關於Hopfield能量函式的幾點說明
4、關於CHNN的幾點結論
網路模型
圖6圖6
圖7圖7
CHNN方程的解及穩定性分析
圖8圖8
關於Hopfield能量函式的 幾點說明
當對反饋網路套用能量函式後,從任一初始狀態開始,因為在每次疊代後都能滿足E≤0,所以網路的能量將會越來越小,最後趨於穩定點E=0。
Hopfield能量函式的物理意義是:在那些漸進穩定點的吸引域內,離吸引點越遠的狀態,所具有的能量越大,由於能量函式的單調下降特性,保證狀態的運動方向能從遠離吸引點處,不斷地趨於吸引點,直到達到穩定點。
幾點說明:
1)能量函式為反饋網路的重要概念。根據能量函式可以方便的判斷系統的穩定性;
2)能量函式與李雅普諾夫函式的區別在於:李氏被限定在大於零的範圍內,且要求在零點值為零;
3)Hopfield選擇的能量函式,只是保證系統穩定和漸進穩定的充分條件,而不是必要條件,其能量函式也不是唯一的。
關於CHNN的幾點結論
1)具有良好的收斂性;
2)具有有限個平衡點;
3)如果平衡點是穩定的,那么它也一定是漸進穩定的;
4)漸進穩定平衡點為其能量函式的局部極小點;
5)能將任意一組希望存儲的正交化矢量綜合為網路的漸進平衡點;
6)網路以大規模、非線性、連續時間並行方式處理信息,其計算時間就是網路趨於平衡點的時間。

相關詞條

熱門詞條

聯絡我們