基本介紹
- 中文名：自適應共振理論
- 外文名：Adaptive Resonance Theory
- 簡稱：ART
- 提出者：S．Grossberg和A．Carpenet
- 提出時間：1976年
- 版本：ART1、ART2、ART3
背景,簡介,優點,ART1,監視子系統,決策子系統,增益控制,ART2,
背景
人類智慧型的特性之一是能在不忘記以前學習過的事物的基礎上繼續學習新事物。這項特性是目前多數類神經網路模型所欠缺的，這些類神經網路模型(例如反向傳播類神經網路)一般都需要事先準備好的訓練模式集進行訓練。當訓練完畢之後，神經元之間的“連線強度”就確定了，除非再有新的訓練動作發生，否則這些連線強度不會再有任何改變。當有新模式出現時，這些類神經網路模型只能由用戶將新模式加到訓練模式中，形成新的訓練模式集，然後重新訓練所有神經元間的連線強度，也就是舊有的知識必須重新訓練一遍。這些類神經網路模型，只有記憶而沒有智慧型，沒有辨識新事件出現的能力，也沒有自我學習擴充記憶的能力。為了試圖解決這些問題，Grossberg 等人模仿人的視覺與記憶的互動運作，提出所謂自適應共振理論。
簡介
Grossberg 等人模仿人的視覺與記憶的互動作用，提出了所謂自適應共振理論，以解決神經網路學習的穩定性/可塑性兩難問題。在這裡，所謂穩定性是指當新事物輸入時，舊事物的特徵應適當地保留；可塑性是指當新事物輸入時，網路應迅速地學習。ART 不像其它人工神經網路模型，分為學習階段及測試階段，需事先準備好訓練模式集及測試模式集，ART 時時處於學習狀態和測試狀態，即是說它無需訓練。
ART 有很多版本，ART1 是最早的版本，由 Carpenter 和 Grossberg 於 1987 年提出，ART1 含有並行架構的主-從式算法，在算法的激活及匹配函式中運用了集合運算，主要處理只含 0 與 1 的影像（即黑白）識別問題。ART2 可以處理灰度（即模擬值）輸入。ART3 具有多級搜尋架構，它融合了前兩種結構的功能並將兩層神經網路擴展為任意多層的神經元網路。由於 ART3 在神經元的運行模型中納入了神經元的生物電化學反應機制，因而其功能和能力得到了進一步擴展。
優點
Grossberg所提出的ART理論模型有如下一些主要優點：
1．可以進行實時學習，能適應非平穩的環境。
2．對於已經學習過的對象具有穩定的快速識別能力；同時，亦能迅速適應未學習的新對象。
3．具有自歸一能力，根據某些特徵在全體中所占的比例，有時作為關鍵特徵，有時當作噪聲處理。
4．不需要預先知道樣本結果，是無監督學習；如果對環境作出錯誤反映則自動提高“警覺性”，迅速識別對象。
5．容量不受輸入通道數的限制，存儲對象也不要是正交的。
ART1
ART1 的基本架構如圖 1所示，它包含三部分：監視子系統、決策子系統和增益控制 。
圖1 ART1 基本架構
監視子系統
ART1 監視子系統中，接收模式輸入的一層叫 F1 層，它模擬視網膜神經細胞，其神經元均為以瞬時記憶運行的 Shunting 模型，每一神經元相當於影像的一個像素 ，其外界輸入I 表示接收影像的所有像素形成的矢量，輸出S表示經處理（或者說濾波）後的影像的像素矢量。輸出影像S經 F1 到識別層 F2 的“連線”
進行辨識分類，激發 F2 層中某個神經元（F2 的每一個神經元代表一個聚類）。F2 層可視為腦神經細胞，具有 On-Center/Off-Surround 功能並以瞬時記憶運行的 Shunting 模型建模，運行結果導致只有某一神經元受到剌激，然後經 F2 到 F1 的“連線”
聯想起一影像，反饋到模擬視網膜神經細胞的接收層 F1。F1 到 F2 的“連線”以 Instar 的方式學習，F2 到 F1 的“連線”以 Outstar 方式學習，這些連線權是 ART1 長時記憶存放的地方。
決策子系統
決策子系統的作用在於判別回憶的影像是否足夠好。當回憶的影像和接收的影像足夠吻合時，F1 到 F2 及 F2 到 F1 的“連線”及會同時進行更新，這就是 ART名稱中“共振”的由來。若回憶影像與接收影像比對不吻合時，決策子系統會發出復位信號到 F2，將己獲勝的神經元標記起來，然後再尋找其他神經元看回憶影像與接收影像比對是否吻合。若在所有已學習過的神經元中，無法得到一個和接收影像足夠接近的回憶影像時，ART 也會進入共振狀態，由剩下的未學習過的任一神經元贏得 F2 層的比較，而將當前接收的影像當成一個新記憶，並記在這個獲勝的神經元中。
增益控制
增益控制的作用是讓 F1 分辨出當前輸入是由那個方向而來，以便作出適當的回應。因此增益控制發出到所有神經元的信號都是一樣的，它稱之為非特異信號。
ART2
ART1 要求輸入必須是二進制模式，顯然，這是一種缺陷。因為在實際環境中，輸入系統的信息，大多不能僅用 0 與 1 表示，絕大多數的事件是處於對與錯、有與無、白和黑之間的灰度區域，因此一個模型若要能滿足實際要求，除了 0 與 1 之外，還必須能處理 0 與 1 之間的連續數值。為了繼續保持 ART1 的特性與優點，並擴展套用範圍，ART2 也就應運而生了。
圖2 ART2 架構
ART1 與 ART2 具有相似的架構（如圖 2 所示），但ART2 為了能處理灰度模式，在 F1 上增加了幾個處理單元以及幾個增益控制單元，使得 ART2 的 F1 變得比 ART1 上的複雜，ART2 的 F2 層，運行方式與 ART1 的完全一樣，決策子系統也和 ART1 的做相同的工作。
F1 層包含六個子層（ w 、 x 、 u 、 v 、 p 及 q ）及三個增益控制單元（圖中實心黑點），決策子系統有一個子層及一個增益控制，w 、x、u、v、p、q及r具有與輸入模式矢量元素數目相同的神經元，F1 中每一子層上的神經元只與和它相連結子層或r 上相同位置的神經元連結，子層內及子層間不同位置的神經元沒有連結。F1 與F2 之間採用完全內部連結，即 F1 的輸出子層 p 上的每一個神經元與 F2 上的所有神經元間都有連結，而 F2 反饋到p的連結也採用完全內部連結方式。
