構造算法大致可以分為三類：理論收斂法、啟發式最優算法、數據驅動法，但各類之間有時會有交叉。
基本介紹
- 中文名：構造算法
- 外文名：construction algorithm
- 分類：理論收斂、啟發式最優、數據驅動
- 系統：計算機
- 算法特徵：算法之間會有交叉
- 套用學科：計算機原理
理論收斂法,啟發式最優算法,數據驅動法,
理論收斂法
理論收斂法常用於布爾型網路，網路訓練的方法是在現有結構的基礎上，通過調整網路輸出，使錯誤率達到最小。網路輸出值的調整可以採用增加節點或隱層的手段，使正確類樣本點數量增加，重複運算直至問題解決。Frean提出了一種簡單的遞歸法規，改進感知器算法。當樣本點足夠多時，可對各單一輸出進行訓練，使它們達到正確類。然後創建兩個子節點，可分別向父節點提供正、負輸入。由於採用了線性閾值節點，則所有的非正確類樣本點均可由這兩個節點調整。繼續產生更多的子節點，直到所有的樣本均被正確分類。
啟發式最優算法
啟發式最優算法與理論收斂法相似，它們均需要訓練網路，使其錯誤率達到最小，同時增添新的節點以進一步減小誤差。它們之間的主要區別是，啟發式最優算法適用於具有連續值的網路，因此，不斷地增加新節點數未必能保證網路性能更優。Cascade—Correlation學習算法(CC)就屬於這種構造方法。
它有兩個重要特點：
1、一旦隱節點被添加到網路中後，就不再改變；
2、結構學習算法創建新的隱節點。每添加一個新的隱節點，都會最大化輸出與新節點之間的相關程度，並消去餘下的錯誤信號。
CC結構算法的實現步驟為：
(1)從一個僅含輸入輸出層的小網路開始。輸入輸出層間進行全連線，含可調權重。同時還包含偏好節點，設為常量1。考慮到輸出為實數，因而採用線性輸出節點。
(2)採用快速傳播的學習算法．訓練所有指向輸出層的連線，直至網路錯誤率不再改變時停止訓練。
(3)如果訓練後的網路滿足規定精度，計算停止。此時，由於網路中沒有隱層，因而處理的問題實質上是線性問題。
Cascade—Correlation方法其實可以用於檢測待處理問題是否確實是非線性問題。用神經控制器去解決線性或可線性化的問題並無益處。如果用神經網路來解決線性問題，反而會延長計算時間，降低控制器性能。
(4)如果訓練後的網路性能並不令人滿意，也就是說，待處理問題是非線性的，則挑選新節點。將待選節點與所有輸入節點及已存在的隱節點進行連線，但與輸出節點不進行連線。
(5)最大化待選節點間的相關程度，通過對所有到待選節點的連線進行訓練，消除網路新增的錯誤。當相關性無法再提高時，停止訓練。
(6)選擇具有最大相關性的待選節點作為新增節點，將其作為隱節點添加進網路中，建立新節點與所有輸出節點之間的連線。返回到步驟(2)。
數據驅動法
數據驅動法是基於統計原理和神經網路技術的模式識別方法。它直接利用樣本數據來識別參數或是決定系統處理下一步驟。
這類構造算法是最含糊的一類。但也是極有發展潛力的一類，數據驅動算法可以根據外部環境的變化來調整自己的結構，這點類似於自適應學習控制。網路誤差函式由網路所在的環境所決定，在數據驅動算法中，首先估計與實際任務相符的表現結構，考慮到偏差/方差兩難現象，力圖事先獲得更多有關目標的信息，“目標”指過程輔助函式，即控制器。
