《復值神經網路及其學習算法研究》是依託東北師範大學，由徐東坡擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：復值神經網路及其學習算法研究
- 項目類別：青年科學基金項目
- 項目負責人：徐東坡
- 依託單位：東北師範大學
項目摘要,結題摘要,
項目摘要
復值神經網路由於其映射能力強和適應性好的特點,受到學術界的廣泛關注。但是復值神經網路面臨一些本質性的問題，例如復激活函式的選取標準尚不明確，傳統代價函式無復導數，學習算法過於複雜，以及算法缺乏收斂性分析等，從而限制了復值神經網路的有效套用。為此，本課題擬開展如下研究：（1）設計一種幾乎處處有界復可微的復激活函式，使得網路參數陷入其奇點處的機率為零。（2）基於CR 微分運算元理論，採用廣義復導數方法刻畫分離復梯度學習算法，降低算法表述的複雜度，為系統地研究廣義復梯度類學習算法的收斂性奠定基礎。（3）引入正則化方法對網路權值進行懲罰，解決具有復解析激活函式的全復梯度學習算法中的奇點問題，進而研究這種全復梯度類學習算法的收斂性。（4）根據多值神經元的幾何特徵，對多值神經元函式做旋轉變換，發現一種新型多值神經元，針對其特點設計一種幅角誤差代價函式，利用CR微分運算元理論推導其學習算法以及研究算法的收斂性。
結題摘要
複數信號（雷達、聲吶以及地震信號）普通存在於實際套用問題中。為了在複數域上直接處理這類信號，復值神經網路應運而生，然而復值神經網路面臨一些新的困難與挑戰，直接將實值神經網路的學習算法推廣到複數域是不可行的。為此，本項目主要開展了如下的研究：（1）基於CR微分運算元理論，在統一框架下推導了具有解析以及非解析激活函式復值神經網路的復梯度類學習算法，並且對這種算法進行了收斂性分析；（2） 通過旋轉多值神經元的激活函式，我們提出了一種新型多值神經元，解決了原有多值神經元在二可分情況的不收斂問題，並且證明了這種新型多值神經元誤差修正學習算法的有限步收斂性；（3） 提出了超複數（四元數）函式的HR微分運算元理論，並將其套用於四元數神經網路的學習算法設計與分析中。本項目的主要貢獻是建立了一套適用於復值神經網路學習算法收斂性分析的理論，使得眾多復梯度學習算法的收斂性問題能夠在我們的理論框架下進行研究。本項目還解決了超複數（四元數）函式過於苛刻的可微條件，這為四元數神經網路學習算法的研究奠定了理論基礎。
