《前饋神經網路學習算法的設計與分析》是依託大連理工大學,由吳微擔任項目負責人的面上項目。
基本介紹
- 中文名：前饋神經網路學習算法的設計與分析
- 依託單位：大連理工大學
- 項目類別：面上項目
- 項目負責人：吳微
項目摘要,結題摘要,
項目摘要
人工神經網路已經成功套用於眾多領域，但是其學習算法速度慢、精度低的缺點是制約其進一步發展的一個瓶頸。本項目繼續前三個國家自然科學基金的工作，致力於快速有效的神經網路學習算法的構造與分析，包括以下重點內容：繼續研究神經網路線上梯度法這種最簡單的隨機型學習方法在某些情況下的確定型收斂性；推廣細化我們已得到的模糊神經元閾值在某些情況下可以去掉這一有趣結果，並開始研究一般情況下閾值不能去掉時的最優初值選擇問題，以小代價加快模糊神經網路學習速度；將信息處理理論中新興的L-1/2正則化方法與近來流行的極端學習機神經網路相結合，從權值修剪角度解決極端學習機隱單元個數選擇這個關鍵問題；提出脈衝神經網路運行新機制，即除了利用原有的脈衝激發時間信息(反應函式x(t)達到閾值時所需時間)之外，還要利用脈衝的激發強度信息（x(t)達到閾值時的導數值），希望在改善脈衝神經網路映射能力和學習速度方面取得突破性進展。
結題摘要
本項目致力於快速有效的神經網路學習算法的構造與分析，以及相關智慧型計算與生物信息計算研究。四年來共發表SCI檢索論文20篇，EI檢索論文8篇（不包括SCI和EI雙重檢索論文）。具體內容分為以下四個方面。 一、 繼續研究神經網路線上梯度法這種最簡單的隨機型學習方法在某些情況下的確定型收斂性，發表SCI檢索論文7篇。我們在前兩個自然科學面上基金中，一直在研究這一課題。截止本項目完成，我們在這方面的工作涵括了各種主要的前向神經網路學習方法，可以說基本上告一段落。 二、 我們將信息處理理論中新興的L-1/2正則化方法用於神經網路，在確定神經網路權值的最佳化學習過程中，同時解決神經網路結構稀疏化問題，即在保證學習精度前提下儘可能用更少的權值和單元。發表SCI檢索論文5篇。並且，我們將本項目申請書中提到的隱層權值稀疏化問題推而廣之，進而考慮輸入層和輸出層權值與單元的稀疏化問題，申請到了下一個自然科學基金面上項目。 三、 提出脈衝神經網路運行新機制，即除了利用原有的脈衝激發時間信息(反應函式x(t)達到閾值時所需時間)之外，還要利用脈衝的激發強度信息（x(t)達到閾值時的導數值），在改善脈衝神經網路映射能力和學習速度方面取得突破性進展。發表SCI檢索論文2篇。由於在傳統的脈衝神經網路中加入導數項，大大提高了網路精度。另外，我們從數學上證明，在脈衝神經網路學習算法中用到的被已有文獻當作近似公式使用的一個轉換公式實際上是嚴格成立的。 四、 除了上述關於神經網路學習算法與結構稀疏化研究之外，我們還進行了智慧型計算以及生物信息計算方面一些課題的研究。發表SCI檢索論文6篇。其中有兩個工作似乎分量稍重一些。一個是在生物信息計算中，我們利用二階差商的變化確定最佳模式長度，解決了同時確定最佳模式與最佳模式長度的問題。另一個是我們將粒子群算法解釋為一種一階常微分方程的差分解。而以前的研究是將其解釋為一個二階常微分方程的差分解。我們的解釋更易於理解，並且更易於據此構造更多的粒子群算法。
