前饋神經網路

前饋神經網路，是一種最簡單的神經網路，各神經元分層排列，每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層，各層間沒有反饋。是套用最廣泛、發展最迅速的人工神經網路之一。研究從20世紀60年代開始，理論研究和實際套用達到了很高的水平。

基本介紹

• 中文名：前饋神經網路
• 外文名：feedforward neural network
• 簡稱：前饋網路
• 釋義：人工神經網路的一種
• 結構設計：直接定型法、修剪法和生長法
• 研究始於：20世紀60年代

簡介

前饋神經網路（feedforward neural network，FNN），簡稱前饋網路，是人工神經網路的一種。前饋神經網路採用一種單向多層結構。其中每一層包含若干個神經元。在此種神經網路中，各神經元可以接收前一層神經元的信號，並產生輸出到下一層。第0層叫輸入層，最後一層叫輸出層，其他中間層叫做隱含層（或隱藏層、隱層）。隱層可以是一層。也可以是多層。

整個網路中無反饋，信號從輸入層向輸出層單向傳播，可用一個有向無環圖表示。

一個典型的多層前饋神經網路如圖1所示。

圖1多層前饋神經網路示例

結構設計

對於前饋神經網路結構設計，通常採用的方法有3類：直接定型法、修剪法和生長法。

直接定型法設計一個實際網路對修剪法設定初始網路有很好的指導意義；修剪法由於要求從一個足夠大的初始網路開始，注定了修剪過程將是漫長而複雜的，更為不幸的是，BP訓練只是最速下降最佳化過程，它不能保證對於超大初始網路一定能收斂到全局最小或是足夠好的局部最小。因此，修剪法並不總是有效的，生長法似乎更符合人的認識事物、積累知識的過程，具有自組織的特點，則生長法可能更有前途，更有發展潛力。

分類

單層前饋神經網路

單層前饋神經網路是最簡單的一種人工神經網路，其只包含一個輸出層，輸出層上節點的值（輸出值）通過輸入值乘以權重值直接得到。取出其中一個元進行討論，其輸入到輸出的變換關係為

上式中， 是輸入特徵向量， 是 到 的連線權，輸出量 是按照不同特徵的分類結果。

多層前饋神經網路

多層前饋神經網路有一個輸入層，中間有一個或多個隱含層，有一個輸出層。多層感知器網路中的輸入與輸出變換關係為

這時每一層相當於一個單層前饋神經網路，如對第層，它形成一個維的超平面。它對於該層的輸入模式進行線性分類，但是由於多層的組合，最終可以實現對輸入模式的較複雜的分類。

特點

前饋神經網路結構簡單，套用廣泛，能夠以任意精度逼近任意連續函式及平方可積函式．而且可以精確實現任意有限訓練樣本集。從系統的觀點看，前饋網路是一種靜態非線性映射．通過簡單非線性處理單元的複合映射，可獲得複雜的非線性處理能力。從計算的觀點看．缺乏豐富的動力學行為。大部分前饋網路都是學習網路，其分類能力和模式識別能力一般都強於反饋網路。

常見前饋神經網路

感知器網路

感知器（又叫感知機）是最簡單的前饋網路，它主要用於模式分類，也可用在基於模式分類的學習控制和多模態控制中。感知器網路可分為單層感知器網路和多層感知器網路。

BP網路

BP網路是指連線權調整採用了反向傳播（Back Propagation）學習算法的前饋網路。與感知器不同之處在於，BP網路的神經元變換函式採用了S形函式（Sigmoid函式），因此輸出量是0~1之間的連續量，可實現從輸入到輸出的任意的非線性映射。

RBF網路

RBF網路是指隱含層神經元由RBF神經元組成的前饋網路。RBF神經元是指神經元的變換函式為RBF（Radial Basis Function，徑向基函式）的神經元。典型的RBF網路由三層組成：一個輸入層，一個或多個由RBF神經元組成的RBF層（隱含層），一個由線性神經元組成的輸出層。