《協同視覺語義理解和社會媒體分析的關鍵技術研究》是依託電子科技大學,由楊陽擔任醒目負責人的面上項目。
基本介紹
- 中文名：協同視覺語義理解和社會媒體分析的關鍵技術研究
- 依託單位：電子科技大學
- 項目類別：面上項目
- 項目負責人：楊陽
項目摘要,結題摘要,
項目摘要
大規模媒體數據（如視覺數據、社會媒體數據等）為多媒體和新興社會媒體領域提供了嶄新的研究機遇，其中如何有效協同視覺語義理解和社會媒體分析仍亟待解決，其實現會為下一代大規模視覺搜尋提供關鍵的技術支撐。本項目將針對此重要課題展開研究，擬深入探索視覺語義理解和社會媒體分析相互融合的關鍵技術，主要包括如下三方面研究內容：(1)基於異構遷移學習的跨媒體信息融合和知識傳遞；(2)利用豐富且帶噪的社會媒體數據協助實現魯棒視覺語義理解；和(3)利用視覺內容理解技術增強社會媒體環境中事件分析。上述三個研究點互為耦合且相互增強，為視覺語義理解和社會媒體分析的協同同時提供理論基礎支持和實際套用驗證。本項目擬輸出一系列多媒體和社會媒體協同分析的關鍵技術，為語義理解、事件分析等套用奠定理論基礎，並促進媒體大數據在跨相關學科中的套用。
結題摘要
大規模媒體數據（如視覺數據、社會媒體數據等）為多媒體和新興社會媒體領域提供了嶄新的研究機遇，其中如何有效協同視覺語義理解和社會媒體分析仍亟待解決，其實現會為下一代大規模視覺搜尋提供關鍵的技術支撐。本項目針對此重要課題展開研究，根據申請書計畫深入探索視覺語義理解和社會媒體分析相互融合的關鍵技術，主要包括如下三方面研究內容：(1) 基於異構遷移學習的跨媒體信息融合和知識傳遞；(2)利用豐富且帶噪的社會媒體數據協助實現魯棒視覺語義理解；和(3)利用視覺內容理解技術增強社會媒體環境中事件分析。上述三個研究點互為耦合且相互增強，為視覺語義理解和社會媒體分析的協同同時提供理論基礎支持和實際套用驗證。此外，本項目還根據需要對“視覺數據自然語言描述生成”和“視覺問答”這兩個高層套用進行了擴展研究，為計算機處理跨媒體數據以及信息融合和知識傳遞、縮小人與機器之間的語義鴻溝提供了基礎，促進了項目的理論和套用研究。 基於上述研究成果，發表學術論文62篇，包括IEEE Trans.和CCF A類論文36篇（IEEE TIP，TCYB，TMM，CVPR，ACM MM，AAAI等），部分工作被評為ESI高被引或最佳論文獎。申請發明專利3項。在國際測評上，項目組參加了2018之江杯全球人工智慧大賽視頻識別和問答競賽並獲得了二等獎。在套用推廣上，基於本項目的研究，研發了基於食品行業多源大數據的融合分析及可視化系統。該系統基於食品安全及生態領域多源數據，打造餐飲透明廚房食品安全行為智慧型分析套用平台，成功套用到貴州省食品安全檢測套用工程技術研究中心有限公司、貴州省分析測試研究院等單位。
