《前饋神經網路的結構稀疏化設計與分析》是依託大連理工大學,由吳微擔任項目負責人的面上項目。
基本介紹
- 中文名：前饋神經網路的結構稀疏化設計與分析
- 依託單位：大連理工大學
- 項目類別：面上項目
- 項目負責人：吳微
項目摘要,結題摘要,
項目摘要
在保證適當學習精度前提下，神經網路的權值連線以及神經元應該儘可能少（結構稀疏化），從而降低成本，提高穩健性和推廣精度。本項目用正則化方法研究前饋神經網路的結構稀疏化，有以下幾個要點：1、傳統的神經網路正則化通過懲罰冗餘權值連線達到權值稀疏化；我們主張通過懲罰冗餘單元而達到效率更高的單元稀疏化。2、除了傳統的用於稀疏化的L1正則化之外，我們還採用近幾年流行的L1/2正則化。為了解決L1/2正則化運算元不光滑，容易導致疊代過程震盪這一問題，我們試圖在不光滑點的一個小鄰域內採用磨光技巧，構造一種光滑化L1/2正則化運算元，以期達到比L1正則化更高的稀疏化效率。3、我們首倡研究輸入層單元稀疏化，不但作為整個網路結構稀疏化的一部分，更使得神經網路成為非線性壓縮感知的一個可行工具。4、用於多分類問題時，我們首倡輸出層單元採用二進制方式，代替傳統的亮燈方式，簡單高效地減少輸出單元。
結題摘要
本項目利用正則化方法研究前饋神經網路的結構稀疏化，發表23篇期刊論文。其中SCI論文18篇，EI論文2篇，核心期刊論文3篇。取得以下主要成果：1. 針對BP神經網路的L1/2正則化學習算法，完成7篇論文。2. 用於高階、區間、模糊、脈衝、ELM神經網路、模糊粗糙等幾類特殊的神經網路的學習算法，發表論文9篇。3. 其他智慧型計算方法，發表論文7篇。
