循環神經網路多模態深度模型聯想記憶功能研究

《循環神經網路多模態深度模型聯想記憶功能研究》是依託中國人民大學，由楊剛擔任項目負責人的面上項目。

基本介紹

• 中文名：循環神經網路多模態深度模型聯想記憶功能研究
• 項目類別：面上項目
• 項目負責人：楊剛
• 依託單位：中國人民大學

項目摘要

循環神經網路深度模型在模擬人腦聯想記憶功能方面具有重要的科學研究意義。當前深度學習已有效地模擬了人腦區域化分層學習的特點，而循環神經網路深度模型研究方興未艾，仍有大量問題亟待解決。本課題擬從深度模型模擬人腦聯想記憶功能的新角度，研究循環神經網路多模態深度模型及其特性。首先，通過將高效的循環神經網路嵌入到深度學習模型，研究面向聯想記憶功能的深度循環神經網路的模型構建和結構最佳化，並通過引入循環神經網路混沌動態，研究深度循環神經網路的混沌特性和混沌控制，形成多模態下深度循環神經網路的特性對比分析；其次，通過拓展閾限定、貪心分層無監督學習、群智慧型和演化算法融合等方法，微調網路權值，最佳化提升深度循環神經網路的聯想記憶功能，並展開此模型在視頻圖像分類問題中的套用研究。本課題從研究人工神經網路模型結構和特點的角度探索人腦聯想記憶機理，將為類腦的信息檢索提供方法和套用支持。

結題摘要

利用人工神經網路實現類似人腦的聯想記憶功能，是實現人工智慧的重要方法，已經在多個領域展現出廣闊的套用前景和重要的研究價值。深度神經網路已在多個領域取得突破，但其聯想記憶功能的研究尚存欠缺。深度循環神經網路及其聯想記憶功能的深入研究，是當前需求迫切的研究課題，將為人工智慧和多媒體領域帶來突破性的成果。本課題利用深度模型模擬人腦聯想記憶功能，通過圖像和文本的多模態結合、動態特性的收斂控制和特徵空間的映射指導，取得了零樣本學習問題上多項突出成果。首先，利用深度模型聯想記憶功能，在特徵層次上組合構造未見類樣例特徵，實現不同類別的樣例轉化，將無監督零樣本分類轉化為有監督分類，獲得優異的零樣本分類結果，為解決跨類別樣本數據缺失的分類問題提供了一條有效途徑；其次，融合圖像和文本，研究多模態和跨模態的映射，形成文本屬性指導的跨類別多層映射網路，實現了網路動態的有效控制，為深度模型的控制和套用提供新思路；最後，將非相似表示引入零樣本學習問題，提出了利用非相似表示指導網路收斂的深度模型構建的思路和方法，增強了深度模型的收斂控制，為圖像分類研究引入新的啟發和思路。另外，項目組以本課題提出的深度神經網路模型和其聯想記憶的樣例構造方法，參加了國際頂級會議的算法競賽和國際評測，取得了多項評價排名第一的優異成績，充分體現了模型和算法處於國際領先地位。本課題從網路結構、動態控制和模型套用的角度，構建了適應視頻圖像的零樣本學習問題的深度神經網路模型，探索了在圖像和文本的多模態下人腦的聯想記憶機理，揭示了視覺特徵與屬性特徵存在的強映射關係，提出了有效的跨模態特徵映射模型和方法，為實現類似人腦的信息檢索功能提供了強有力的理論和方法支持，將在圖像檢索、圖像分類和圖像生成等實際問題上，產生巨大的研究價值和經濟價值。