網路異構媒體中圖像與文本間的語義相關性建模研究

《網路異構媒體中圖像與文本間的語義相關性建模研究》是依託西安交通大學，由杜友田擔任項目負責人的面上項目。

基本介紹

• 中文名：網路異構媒體中圖像與文本間的語義相關性建模研究
• 項目類別：面上項目
• 項目負責人：杜友田
• 依託單位：西安交通大學

中文摘要

針對網路多源異構數據高層語義相關、底層特徵異構的特點，以及由此帶來的網路跨媒體檢索、網路圖像標註、多媒體社會網路等領域的挑戰，研究其中的關鍵基礎問題- - 網路多源異構數據的語義相關性建模。本項目以網際網路上最廣泛的文本和圖像數據為研究對象，結合異構數據本身特徵和其社會互動屬性研究適合於語義相關性分析的數據表示方法；挖掘兩類異構數據統一的語義基元，在此基礎上基於混合圖結構建立語義相關性模型並計算相關性距離度量；為了更好地使模型適應於網路異構數據分布隨時間的動態變化，本項目進一步研究語義相關性模型的線上動態更新。項目研究目標是致力於深入研究和突破語義相關性分析中的創新性研究問題與方法，構建一套網路圖像與文本兩類異構數據的語義相關性建模理論與方法，為跨媒體檢索、網路圖像標註及多媒體社會網路等問題奠定關鍵理論基礎，為網路媒體高效利用與智慧型服務、數字內容生成與服務產業等國家重大需求提供重要技術支撐。

結題摘要

針對網路多源異構數據高層語義相關、底層特徵異構的特點，以及由此帶來的網路跨媒體檢索、網路圖像標註、多媒體社會網路等領域的挑戰，研究其中的關鍵基礎問題——網路多源異構數據的語義相關性建模。本項目以網際網路上最廣泛的文本和圖像數據為主要研究對象，結合異構數據本身特徵和其社會互動屬性研究適合於語義相關性分析的數據表示方法；挖掘兩類異構數據統一的語義基元，在此基礎上基於混合圖結構建立語義相關性模型並計算相關性距離度量；為了更好地使模型適應於網路異構數據分布隨時間的動態變化，本項目研究了語義相關性模型的線上動態更新；為了驗證研究方案，項目組還構建相關的測試平台，用來測試、評估和改進研究方法和結果。項目組圍繞網路異構數據的特徵表達、關聯建模等研究點主要取得了如下工作結果：提出了文本特徵表達及知識提取方法、基於深度學習的圖像表示方法以及音頻的特徵分析，研究了文本模態中的社會屬性包括社區檢測、信息傳播規律等；提出了基於互信息的相似性度量方法、3種跨模態關聯模型、異構語義基元的挖掘方法，以及在模型更新方面進行了研究構建了跨媒體檢索分析研究平台；針對以上研究方案和結果進行測試與分析。項目組發表論文13篇，申請專利4項，培養博士後、博碩研究生共10名，參與國際交流5次。項目組深入研究了語義相關性分析中的創新性研究問題與方法，構建了網路圖像與文本兩類異構數據的語義相關性建模的相關理論與方法，為跨媒體檢索、網路圖像標註及多媒體社會網路等問題奠定關鍵理論基礎和技術支撐，為網路媒體高效利用與智慧型服務、數字內容生成與服務產業等國家重大需求提供重要技術支撐。