《大規模Web共享圖像的關聯分析和主題檢索》是依託浙江大學，由魯偉明擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：大規模Web共享圖像的關聯分析和主題檢索
- 依託單位：浙江大學
- 項目負責人：魯偉明
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
隨著網際網路用戶、圖像以及評論和標籤等數據的日益增長，主題檢索成為網際網路中Web共享圖像的高級檢索方式。然而，多模態異構特徵構成的Web共享圖像特徵具有噪聲，且帶有複雜的高階和時序關聯，這給Web共享圖像的關聯分析和主題檢索帶來了諸多挑戰。本項目的研究思路是：在超圖模型的基礎上，研究基於混合學習模型的特徵去噪方法和異構超邊權重的自適應學習方法，使之能更有效表達Web共享圖像；研究基於分散式超圖仿射傳播算法的主題發現和基於超圖隨機行走模型的主題表示方法，並研究主題相關度計算方法和進化聚類算法以挖掘主題間的時空關聯關係，形成主題時空網路；研究能蘊含圖像、文本和用戶信息等多模態異構媒體對象及相互間高階關聯關係的跨媒體索引和跨媒體查詢表達方法。.基於上述理論研究成果，開發一個原型系統，研究中形成的理論成果在國內外重要學術期刊和會議上發表，形成的核心算法將申請國家發明專利。
結題摘要
Web共享圖像含有大量的多模態異構特徵，如圖像底層視覺特徵、圖像標籤、評論甚至圖像GPS信息等等，然而這些特徵具有特徵帶噪、高階關聯以及數據海量等特點，這給Web共享圖像的關聯分析和主題檢索帶來了諸多的挑戰。項目按照計畫書所列內容順利開展，重點圍繞傳統媒體表達方式不能充分表達Web共享圖像數據的複雜特徵，索引方式忽略媒體模態間關聯，以及單一媒體的查詢意圖不適合複雜Web共享圖像檢索等核心關鍵問題，對如下內容進行了深入研究：多源多模態Web共享圖像標籤去噪、特徵選擇、主題建模、主題表示以及跨媒體哈希和排序等算法和方法。項目研究期間，項目組提出了基於非負矩陣分解的多源多模態Web共享圖像標籤去噪、基於組群效應的Web共享圖像特徵選擇、基於社會屬性的Web共享圖像主題建模、基於半監督層次化主題模型的Web圖像建模、基於組群效應的Web共享圖像主題表示、基於超圖模型的Web共享圖像哈希以及基於深度神經網路的Web共享圖像排序等算法和具體方法。項目組一共發表論文10餘篇，其中包括本領域頂級和權威學術期刊IEEE Transaction on Multimedia（1篇）、Journal of Visual Communication and Image Representation（1篇）、Neurocomputing（1篇）、Pattern Recognition Letters（1篇）以及ACM Multimedia（1篇）、ICME（1篇）。
