《神經網路學習算法收斂性研究》是依託大連理工大學,由吳微擔任醒目負責人的面上項目。
基本介紹
- 中文名：神經網路學習算法收斂性研究
- 依託單位：大連理工大學
- 項目類別：面上項目
- 項目負責人：吳微
- 負責人職稱：教授
- 批准號：10871220
- 申請代碼：A0502
- 研究期限：2009-01-01 至 2011-12-31
- 支持經費：26（萬元）
項目摘要
本項目繼續前兩個國家自然科學基金的工作，深入研究神經網路線上梯度法這種隨機型學習方法在某些情況下的確定型收斂性結果，這對於一般情況下得到的機率型收斂性結果是有益的補充，有助於更全面更深刻地理解和套用線上梯度法。具體任務包括：改進已有的確定型收斂性結果中的步長條件；對高階神經網路設計更為精巧和有效的學習方法，例如在誤差函式中加上對小權值的一種懲罰項，從而加快學習初期的收斂速度；用高階神經網路高效率地實現布爾函式；利用我們已經證明的模糊神經元的閾值在用於分類時可能是多餘的這一有趣事實，研究模糊神經網路和普通神經網路的區別與特點；研究在過程神經網路的誤差函式中部分地去掉反饋項的影響；考慮神經網路學習過程收斂性與學習完畢後推廣能力之間的關係；考察其它梯度型或類梯度型學習算法；給出參數的選擇、加速收斂策略的設計等實用信息；總結提高我們的一些結果，使之納入到更一般的機器學習理論框架中去。
