《由概念驅動的多模態多媒體信息融合技術》是依託四川大學，由魏驍勇擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：由概念驅動的多模態多媒體信息融合技術
- 項目類別：青年科學基金項目
- 項目負責人：魏驍勇
- 依託單位：四川大學
項目摘要,結題摘要,
項目摘要
本項目針對多媒體的多源特性，提出一種新穎的、由概念驅動的多媒體信息融合方法，充分利用模態間信息互補優勢，對多媒體信息進行在語義層的挖掘和檢索。為解決查詢空間與模態權重空間之間的不可直接映射問題，該方法構建一個概念空間作為映射的橋樑。該概念空間是能綜合表達用戶查詢所包含的語義、視覺和上下文信息的一個最緊緻概念集合張成的向量空間。該空間可以對查詢信息進行向量化，從而為後繼的信息挖掘和分析算法提供規範和量化的基礎。同時，由於概念集可提前預知，概念空間與模態權重空間的映射關係也可以預先學習或估計。利用這些預學習的知識，該方法使用模糊綜合評價的方法將向量化後的用戶查詢動態地、自適應地映射到模態權重空間，從而解決查詢空間到權重空間的映射難題，同時完成對多模態數據的有機整合。本項目研究成果將成為多模態融合技術一個新的分支，為網路信息的高層認知提供基礎算法，並為視頻的檢索、不良信息過濾等套用提供理論基礎。
結題摘要
本項目提出了一種新穎的、由概念驅動的多媒體信息融合方法。該方法充分利用模態間信息互補優勢，動態地根據用戶給定查詢中的語義內容給各模態分配合理的融合權重，從而對多媒體信息進行語義層的精確檢索。該方法在大規模視頻數據集的表現達到或超過國際同類方法的水平。項目組按原計畫開展了研究，並獲得了達到或超出預期的研究成果，發表論文6篇，全部為多媒體方向的頂級國際期刊和國際會議，並申請專利6項。項目組積極參與國際交流，邀請本方向國內外知名專家來訪6人次，項目組成員受邀赴國(境)外交流19人次，並與加拿大渥太華大學、芬蘭坦佩雷大學、香港城市大學、中科院自動化所的相關實驗室建立了長期的合作關係。
