《基於網上弱標註數據的個性化圖像標註研究》是依託中國人民大學，由李錫榮擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於網上弱標註數據的個性化圖像標註研究
- 項目類別：青年科學基金項目
- 項目負責人：李錫榮
- 依託單位：中國人民大學
項目摘要,結題摘要,
項目摘要
自動圖像標註對於用戶管理和檢索不斷增加的圖像數據至關重要。現有工作專注於構建通用型圖像標註模型，即以一個模型應對所有用戶。這種一對多的圖像標註模式忽略了不同用戶在特定情境下對於特定圖像主題的偏好，使得標註準確性受到了根本性的制約。為了滿足不同用戶對於圖像標註的個性化需求，本項目研究一個模型對應一個用戶的圖像標註新模式。為此，我們提出基於網上弱標註數據的個性化圖像標註方法。為了突破訓練數據獲取的瓶頸，我們研究如何從普通用戶在網際網路上產生的大量弱標註數據中為特定語義標籤選取相關正樣本和負樣本，以建立大規模通用型圖像標註模型。進一步，我們研究從用戶歷史數據中動態挖掘其個人偏好，並結合圖像產生時所處的包括地理、天氣等上下文環境信息，對通用型圖像標註模型所預測的標籤進行個性化的最佳化排序，從而為每個用戶提供可量身定製的自動圖像標註模型。本項目的研究成果將為個性化的多媒體信息檢索提供技術支撐。
結題摘要
自動圖像標註研究如何為圖像自動添加能夠描述其內容的標籤。因此，該研究對於用戶管理和檢索不斷增加的圖像數據至關重要。本項目調研了自2008年以來，特別是社會化多媒體大數據背景下，關於圖像標註工作的研究進展，並實驗比較了11種代表性方法。為了突破訓練數據獲取的瓶頸,我們研究如何從普通用戶在網上分享與標註的圖片中為特定語義標籤自動選取高質量的訓練樣本。為此，我們提出了一種基於多特徵融合的圖像標籤相關度計算方法，可以將基於標籤的圖像檢索精度由原來的0.560提高到0.700。為了有效利用圖像產生時所處的上下文信息，我們提出了一種地理感知的圖像標籤特徵。該特徵能夠同時描述視覺內容本身和圖像拍攝時所處的地理位置信息。實驗表明，該特徵可以作為底層視覺特徵的有效補充，顯著提高圖像標註的精度。為了進一步評估系統有效性，我們參加了多個國際評測，包括ImageCLEF 2013, 2014, 2015 和 TRECVID 2016，並取得好成績，分別獲得 ImageCLEF 2015 圖像描述生成任務第1名，ACM Multimedia 2015微軟圖像搜尋挑戰賽第1名，TRECVID 2016 Video-to-Text 視頻描述任務第1名等。本項目合計發表國際期刊論文6篇，國際會議論文12篇，並獲得ACM Multimedia 2016 Grand Challenge Award。本項目推出了名為“看圖識物”微信公眾號，為普通用戶提供實時的圖像標註體驗。
