加盧什金將神經網路的連線方式歸納為前饋、跨層、側向、反饋等四種,其中,前饋連線是最基本的連線方式,它普遍存在於其餘三種連線方式中;而有側向連線的網路總可以轉化為有跨層連線和反饋連線的網路;反饋連線網路可以理解為連線權值為負的前饋連線和跨層連線網路。因此,任何連線方式的神經網路總可以歸結為跨層連線網路。
基本介紹
- 中文名：跨層連線
- 外文名：Across the layer connection
- 所屬領域：人工智慧
跨層連線的改進 BP 算法及其套用,跨層連線神經網路,有方向的均方誤差,仿真實驗,
跨層連線的改進 BP 算法及其套用
人工神經網路是研究變數與結果之間映射關係的有力工具。其中,傳統的誤差反向傳播算法(簡稱BP算法)可以通過對簡單的非線性函式進行複合實現高度非線性映射來學習系統的特性,且對任一給定的函式f,總存在一個單隱層網路可以無限逼近它,將其用於擬合難建模的複雜非線性系統的實踐亦表明它是一種描述複雜非線性系統的有效方法。然而,傳統BP算法存在一些缺陷:
(1)網路訓練效率不高,容易出現過擬合現象,從而造成網路性能脆弱,容錯性下降,泛化能力差。
(2)學習速度緩慢,網路收斂性差,容易出現一個長時間的誤差平坦區,即出現平台現象。產生這一瓶頸的原因是:BP神經網路的信息處理能力不僅取決於神經元之間的連線強度,而且與網路的拓撲結構有關。典型的BP網路是一個冗餘結構,它的結構及隱層節點數的確定常常有人為的主觀性,而且一旦在人工決定之後,不能在學習過程中自主變更。本文將加盧什金的跨層連線方式引入傳統BP算法,有助於最佳化神經網路結構,同時,對常用性能指標均方誤差進行改進,在此基礎上提出了一種改進的BP算法,該算法在茶葉產品設計參數指標關係建模中取得了很好的效果。
跨層連線神經網路
在跨層連線神經網路中,各層神經元之間是可以任意連通的,而不僅是只有相鄰層的神經元才能連通。
有跨層連線的多層網路結構,比通常的順序連線網路更具優越性。
1.XOR問題
XOR(異或)問題在神經網路研究中經常用來作為檢驗網路性能的例子。眾所周知,只有一個隱元的傳統S-型網路不能解決XOR問題。但是,如果採用有跨層連線的多層前饋神經網路,那么只用一個隱元就能解決這個問題。傳統的多層前饋神經網路至少需要兩個隱元才能解決XOR問題。設訓練精度為1e-10,隱層和輸出層激活函式為常規的S-型激活函式,儘管有跨層連線的多層前饋神經網路只採用一個隱元,但收斂性能明顯優於傳統網路,且具有更好的穩定性。
有方向的均方誤差
考察一個神經網路的性能主要有兩個指標:擬合能力(Fitting)和泛化能力(generalization)。擬合能力F指人工神經網路在樣本上的逼近能力,泛化能力G描述了人工神經網路在整個輸入和輸出空間上的逼近能力。
均方誤差(Mean Square Error,MSE)是反映真實值與實驗值之間誤差程度的常用指標,在傳統BP算法中一般採用均方誤差來判斷網路的逼近能力,matlab工具箱中也將其作為預設誤差函式。
但是,在制茶工藝參數關係研究中,用神經網路模型試圖獲得參數實驗值向真實值的理想逼近是非常困難的,我們更注重實驗結果曲線與實際情況的相似程度。實驗一的預測曲線比實驗二更加符合實際情況接近真實值,但若根據均方差計算,實驗一的均方差為2.25,實驗二的均方差為2,反而會得出實驗二比實驗一預測更準的結論。因此,採用均方誤差作為神經網路逼近能力的指標是不全面的。
現有改進BP算法均在傳統的順序連線網路基礎上發展而來。 考慮到跨層連線在網路結構最佳化上的作用, 我們將跨層連線引入到傳統BP算法。
(1)工作信號正向傳播
輸入信號從輸入層經隱層單元,傳向輸出層,在輸出端產生輸出信號,這是工作信號的正向傳播。在信號向前傳遞的過程中網路的權值是固定不變的,與傳統BP算法不同,每一層神經元的狀態不僅只影響下一層神經元的狀態,還影響與其有跨層連線的神經元的狀態。如果在輸出層不能得到期望的輸出,則轉入誤差信號反向傳播。
(2)誤差信號反向傳播
網路的實際輸出與期望輸出之間的差值
即為誤差信號,誤差信號由輸出端開始逐漸向回傳播,這是誤差信號的反向傳播。在誤差信號反向傳播過程中,網路的權值由誤差反饋進行調節。通過權值的不斷修正使網路的實際輸出更接近期望輸出。
仿真實驗
受茶葉自身特點影響,在加工過程中,茶葉對空氣溫度很敏感。以殺青的過程為例,茶葉殺青的最佳溫度條件為200-260℃。而原來操作過程中,鍋底發紅一巴掌以上範圍即接入鮮葉。過去這樣加工的茶葉,表現出殺青不足,條紋不均,斷條多,白毫少,葉底不均,顏色暗,焦點多,殺青葉有焦邊現象,從而影響茶葉成品的質量。因此,必須對茶葉再進行揉和捻的工藝處理,通過揉捻保證茶葉形狀一致,從而提高茶葉質量。通常國內外大都採用這種工藝,因此,建立相關工藝參數與出口葉片形狀之間的映射關係,有助於提高揉捻質量。然而,茶葉平捻機內部工作機理十分複雜,還沒有一個用數字表達式精確描述其內部特徵的數字模型,來供實際生產過程控制。本文採用改進BP算法對歷史工藝數據進行訓練,建立茶葉二次揉捻工藝的參數指標關係模型,試圖發現入口工藝參數、設備控制參數與出口質量指標之間的非線性映射關係。同時,也從實踐角度證明改進BP算法的有效性。
選取某茶廠2005年7月21日-2006年6月30日期間特色工藝茶葉二次揉捻工藝實驗採集的數據進行研究,共有100組樣本(見表2)。每組樣本是在不同工藝條件進行工藝實驗而獲得的7維目標特徵向量,前80組作為訓練集,後20組作為測試集。其中,
,
,
,
為設備控制參數,
,
為入口工藝參數,y為出口質量指標。
表2表4給出了兩種情況下對20組測試樣本進行預測的結果。
表4實驗結果表明,改進BP算法在訓練時間、疊代步數和預測效果方面,都遠遠優於傳統BP算法。
傳統BP算法在建立茶葉產品設計參數指標關係模型時表現不盡如人意。通過對神經網路連線方式、性能指標的改進,提出了改進BP算法,仿真實驗表明,採用該算法建立的茶葉產品設計參數指標關係模型,能較好地反應兩者之間的非線性映射關係。
