基於上下文信息的社交網路圖像分析與理解

《基於上下文信息的社交網路圖像分析與理解》是依託南京理工大學，由李澤超擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於上下文信息的社交網路圖像分析與理解
• 項目類別：青年科學基金項目
• 項目負責人：李澤超
• 依託單位：南京理工大學

項目摘要

隨著社交媒體的發展和流行，圖像分享網站上存在海量的用戶上傳圖像以及對應的標籤、標題、描述、相冊、地點等豐富的上下文信息；這些數據有助於圖像分析與理解任務。而大多數現有工作未充分考慮這些上下文信息以及它們內部或者之間的同構/異構關係。基於此，本課題將以具有豐富上下文信息的社交網路圖像為研究對象，研究社交網路圖像分析與理解的相關問題，重點關注社交網路圖像特徵表示、社交網路圖像標註、以及個性化標籤推薦等方面的關鍵技術。本課題擬通過分析圖像視覺內容、語義標籤，利用高層語義指導圖像的特徵學習，為圖像學習一個具有語義信息的特徵表示，在一定程度上緩解“語義鴻溝”的影響；綜合分析圖像視覺內容和標籤、用戶等上下文信息以及它們內部或者之間的同構/異構關係，提高社交網路圖像的標籤質量與數量，以及為用戶推薦個性化的標籤，降低用戶標註代價。本課題的實施，能夠為圖像的管理和檢索提供一定的理論和技術支持。

結題摘要

圖像分享網站上存在海量的用戶上傳圖像以及對應的標籤、標題、描述、相冊、地點等豐富的上下文信息；這些數據有助於圖像分析與理解任務。基於此，本課題以具有豐富上下文信息的社交網路圖像為研究對象，通過分析圖像視覺內容、語義標籤等信息，利用高層語義指導圖像的特徵學習，提出了多種圖像特徵學習方法，為圖像學習到具有語義信息的特徵表示；通過綜合分析圖像視覺內容和標籤、用戶等上下文信息以及它們內部或者之間的同構/異構關係，提出了潛在因子分解方法，如深度矩陣分解方法和張量分解方法，提高社交網路圖像的標籤質量，並能夠為用戶分享的新圖像推薦個性化標籤，降低了用戶標註代價。經過項目的執行，本項目研究成果出版英文專著一部；在高水平國際期刊和國際頂級學術會議上發表論文30篇，其中ACM/IEEE Transactions論文12篇，CCF A類國際學術會議論文4篇，其中一篇國際會議學術論文獲得IEEE MMSP 2015 Top 10%論文獎；申請發明專利和軟體著作權5項；設計一套圖像標註與標籤推薦驗證系統。項目負責人獲批了江蘇省自然科學基金傑出青年基金，入選了中國科協青年人才托舉工程和江蘇省雙創團隊核心成員，獲得了江蘇省計算機學會青年科技獎。項目參與人員舒祥波博士獲得了中國人工智慧學會優秀博士論文獎和江蘇省優秀博士論文獎。