《基於跨媒體語義關聯模型的圖像檢索技術研究》是依託北京航空航天大學，由秦曾昌擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於跨媒體語義關聯模型的圖像檢索技術研究
- 依託單位：北京航空航天大學
- 項目負責人：秦曾昌
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
如何能更好的利用圖像附帶的文本與標籤信息來幫助改善基於內容的圖像檢索是本項目重點研究的問題。本項目利用特徵包模型和主題模型，分別對圖像及其周圍文本或標籤進行建模，挖掘圖像特徵與關聯文本語義之間的聯繫。同時提出自動的語義標註模型，獲取圖像在語義主題上的分布情況。使得在用戶提供越多信息的情況下，越能夠得到更加準確的檢索結果。在此基礎上我們提出了一種新的非參數貝葉斯模型來對語義關聯中的眾包特性進行建模。把屬於不同媒體的信息的語義關聯用一個完整和系統的機率生成模型表達，並給出了該模型的變分推理方法。該模型的重要意義在於可以套用到任何跨媒體的信息關聯的建模中，並不只局限於圖像和文本。
結題摘要
如何能更好的利用圖像附帶的文本與標籤信息來幫助改善基於內容的圖像檢索是本項目重點研究的問題。也是跨媒體檢索研究的熱點問題之一。本項目提出了利用“特徵包模型”和“主題模型”，分別對圖像及其周圍文本或標籤進行建模，挖掘圖像特徵與關聯文本語義之間的聯繫。在此基礎上提出了Topic Correlation Model (TCM) 模型，通過與現存的同類方法比較體現出比較好的準確率。同時提出自動的語義標註模型，獲取圖像在語義主題上的分布情況。使得在用戶提供越多信息的情況下，越能夠得到更加準確的檢索結果。在此基礎上我們提出了一種新的非參數貝葉斯模型（NPBUS）來對語義關聯中的“眾包” 特性進行建模。把屬於不同媒體的信息的語義關聯用一個完整和系統的機率生成模型表達， 並給出了該模型的變分推理方法。該模型的重要意義在於可以套用到任何跨媒體的信息關聯的建模中，並不只局限於圖像和文本。項目的重要意義在於我們利用不同模態的信息可以建立一個新的語義空間，在這個空間上語義相類似的多模態信息可以聚類，為跨媒體檢索提供了新的機器學習模型與相應技術。
