基本介紹
- 中文名：回聲狀態網路
- 外文名：echo state networks
- 簡稱：ESN
ESN網路是隱藏層具有稀疏連線（通常為1%的連通性）的RNN（循環神經元網路）。隱藏層的神經元是的連通性和權重值是固定的和隨機分配的。可以通過學習輸出層的權重使得網路可以（重新）產生特定的時間模式。該網路的主要的興趣點在於儘管行為是非線性的，但是在訓練期間修改的唯一的權重是將隱藏神經元連線到輸出層神經元的突觸。因此，誤差函式相對於參數向量是二次的，並且很容易與線性系統區分出來。
或者可以考慮輸出層的非參數貝葉斯公式，其中：（i）對輸出權重施加先驗分布；並且（ii）對於給定的訓練集，輸出權重在預測生成的上下文中被邊緣化。這個想法已經在中通過高斯先驗分布來證明，從而獲得具有ESN驅動的核函式的高斯過程模型。在幾個基準測試中，可以證明這樣的解決方案在具有可訓練（有限）的權重集的ESN中有更優的表現。
ESN的一些公開可用的實現有：（i）aureservoir：用於綁定python/numpy的各種回聲狀態網路的高效C++庫；（ii）Matlab代碼：回聲狀態網路的有效Matlab代碼。
