圖文混合跨媒體知識單元的模糊分類方法研究

《圖文混合跨媒體知識單元的模糊分類方法研究》是依託西安交通大學，由羅敏楠擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：圖文混合跨媒體知識單元的模糊分類方法研究
• 項目類別：青年科學基金項目
• 項目負責人：羅敏楠
• 依託單位：西安交通大學

中文摘要

圖文混合跨媒體知識單元的主題模糊不確定性對知識的快速有效獲取提出了挑戰。本項目針對圖文混合跨媒體知識單元特徵稀疏、模態異構及主題模糊不確定等問題，研究開放知識資源中圖像文本兩種模態數據共存的複雜多媒體知識單元模糊分類問題。擬解決的關鍵問題包括：一、針對圖文混合跨媒體知識單元特徵稀疏性，分別研究圖像、文本知識單元的抽取和特徵構建問題。二、挖掘圖文混合跨媒體知識單元之間學習依賴關係及語義相關圖像-文本知識單元之間認知輔助關係，為圖文混合跨媒體知識單元一致性表示和分類提供支持。三、提出基於學習依賴關係的圖文混合跨媒體知識單元一致性表達模型；並在此基礎上，研究圖文混合跨媒體知識單元多主題模糊分類問題。本項目一方面有助於豐富和完善圖文混合跨媒體知識單元研究的理論與方法，另一方面有助於克服現有知識單元模態單一問題，為構建新型跨媒體知識管理和服務平台提供理論和技術支持。

結題摘要

用於描述特定問題域中具有相對獨立性和完整性的概念、算法和定理等的知識單元往往以文本、圖片和視頻等多種媒體表達形式分散在各類開放知識源中。圖文混合跨媒體知識單元的主題模糊不確定性對知識的快速有效獲取提出了挑戰。本項目圍繞“單模態特徵抽取—跨模態關聯挖掘—跨模態分類檢索”的研究思路展開研究，取得了以下關鍵成果：（1）分別針對文本、圖片形式知識單元提出相應的特徵抽取和語義識別方法，模型魯棒性強，算法複雜度低，有效的緩解了知識單元特徵稀疏問題和“維數災難”問題；（2）提出了基於主題關聯模型的非機率跨模態知識單元關聯挖掘方法，實現了同語義不同模態知識單元的關聯預測；（3）借鑑人類從易到難的認知規律，提出了基於自步學習理論的非線性跨媒體一致性表達和檢索方法；（4）開發了知識單元檢索原型系統，並面向E-learning進行實證測試與驗證。本項目的研究成果有助於豐富和完善圖文混合跨媒體知識單元研究的理論與方法，為構建新型跨媒體知識管理和服務平台提供理論和技術支持。