基於社會媒體信息挖掘的圖像語義理解關鍵技術研究

《基於社會媒體信息挖掘的圖像語義理解關鍵技術研究》是依託南京理工大學，由唐金輝擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於社會媒體信息挖掘的圖像語義理解關鍵技術研究
• 項目類別：青年科學基金項目
• 項目負責人：唐金輝
• 依託單位：南京理工大學

項目摘要

近年來社會媒體(social media)蓬勃發展，網路上存在著不計其數的用戶上傳的各類圖像及其語義標籤(tag)。針對如何有效的利用這些數據幫助計算機自動標註無標籤圖像的問題，本項目致力於研究基於社會媒體信息挖掘的圖像語義內容理解中的關鍵技術。本課題擬通過分析視覺、標籤、用戶等信息的相關性去除和抑制社會網路圖像的標籤噪聲，使用改善後的標籤作為訓練標籤，解決目前大規模圖像標註中訓練數據不足的問題；並通過研究符合視覺感知的特徵表示方法、適應媒體特性的機器學習方法、多模態全局和局部特徵的統一融合框架、高效的用戶反饋機制等，解決語義鴻溝嚴重影響圖像標註性能的問題。本課題預期發表8篇以上高質量的學術論文，申請2項以上專利，並研製開發一個百萬量級的網路圖像搜尋示範系統。本項目的實施，將對圖像語義理解和社會媒體挖掘的基礎理論與技術的研究起到重要的推動作用。

結題摘要

隨著數字圖像採集設備的普及，網際網路和多媒體技術的發展, 網路上存在著不計其數的用戶上傳的各類圖像及其語義標籤(tag),這些圖像數據量呈爆炸式增長。如何有效的利用這些數據幫助計算機自動標註無標籤圖像，已成為一個廣泛研究的課題。本項目主要研究了基於社會媒體信息挖掘的圖像語義內容理解中的關鍵技術，包括圖像的特徵表示方法、適應媒體特性的機器學習方法、多模態特徵融合框架、用戶反饋機制等。針對這些問題，我們提出了多種新方法，通過分析視覺、標籤、用戶等信息的相關性去除和抑制社會網路圖像的標籤噪聲，使用改善後的標籤作為訓練標籤，解決目前大規模圖像標註中訓練數據不足的問題。在實驗中，對比於其它方法，這些方法取得了更好的性能。相關研究成果在國際期刊和國際會議上共發表/錄用21篇論文，其中包括高水平國際期刊IEEE TIP、IEEE TKDE、IEEE TMM、ACM TIST、CVIU以及高水平的國際會議IEEE CVPR、ACM MM等。網際網路多媒體研究屬於新興領域，我們重點地解決了基於網際網路搜尋的圖像標註技術研究的若干問題，對圖像語義理解和社會媒體挖掘的基礎理論與技術的研究起到重要的推動作用。