《基於複雜查詢類型的多媒體檢索》是依託湖南大學，由袁進擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於複雜查詢類型的多媒體檢索
- 項目類別：青年科學基金項目
- 項目負責人：袁進
- 依託單位：湖南大學
中文摘要,結題摘要,
中文摘要
近年來，如何有效地進行複雜查詢的多媒體檢索麵臨重大的挑戰。複雜查詢是指包含至少兩個語義概念且概念之間存在複雜關係的查詢輸入，比如“兩個男人馬路上打架”，“機車夜間賽車”等。目前傳統的“基於文本的檢索”由於文本信息的不完整導致複雜查詢的搜尋性能不佳。為解決這個問題，本項目從“基於內容的檢索”和“基於概念的檢索”方式上提高複雜查詢的檢索性能。在基於內容的檢索中，我們針對複雜查詢用相關反饋技術緩減“語義鴻溝”。與傳統方法相比，我們的方法用相關樣本克服正樣本不足的問題。另外，我們還使用增量學習算法結合圖像分割技術實現有效的互動式的多媒體檢索。在基於概念的檢索中，我們構建大規模的複合概念集合，這比使用簡單概念更加有效。我們還使用多任務和多實例學習來有效地學習概念分類器，並提出了一個新穎的概念選擇方法來精確地解釋用戶查詢。最終，我們的目標是設計一個基於友好用戶界面的多媒體搜尋系統來集成我們的成果。
結題摘要
近年來，隨著計算機硬體和智慧型手機的發展以及網路性能的大幅提升，圖像，視頻等多媒體數據在網際網路上正以極快的速度增長。面對著急速增長的多媒體數據，如何準確快速地找出用戶需要的信息是一個亟待解決的問題。 當前的多媒體商業搜尋平台，對於一些比較複雜的查詢類型，其性能往往不能滿足用戶的需求，其主要原因是後台多媒體數據文本的準確性和完整性水平不高。儘管研究者們試圖通過文本標註技術來解決多媒體數據文本信息不足的問題，但進行大規模的文本標註代價昂貴且性能提升有限。 本項目主要從三個方面進行研究來解決複雜查詢準確度不高的問題。首先，本項目探索複合概念的圖像標註技術，我們提出了基於門結構的CNN算法來提升目標識別的準確度。其次，本項目研究如何快速有效地檢索複雜查詢，我們提出了基於Hash的CNN索引技術。最後，本項目研究如何通過相關反饋的方式進一步提升檢索的性能，我們提出了多標準的主動學習算法。 在本項目的資助下，我們發表了多篇高水平的論文，包括SCI三區期刊論文2篇，CCF C類國際會議3篇。另外，1篇SCI2區期刊被接收，1篇CCF A類會議在審稿。除此之外，該項目的資助幫助我們在華為杯中國大學生智慧型設計比賽中獲得2個一等獎，1個二等獎。最後，該項目的資助培育了3名研究生畢業，7名研究生在讀。 儘管最終還有部分工作沒有完成，我們將繼續用剩餘的經費完成該項目，並使其在實際中套用。
