《基於無視覺碼本框架的大規模圖像檢索研究》是依託中國科學技術大學，由周文罡擔任項目負責人的面上項目。
基本介紹
- 中文名：基於無視覺碼本框架的大規模圖像檢索研究
- 項目類別：面上項目
- 項目負責人：周文罡
- 依託單位：中國科學技術大學
中文摘要,結題摘要,
中文摘要
現有基於內容的圖像檢索借鑑文本檢索思想，採用視覺詞袋模型,其核心技術之一是利用視覺碼本將圖像局部特徵量化為視覺單詞。然而，基於碼本的量化本質上是一種面向數據壓縮的矢量量化，並不完全適用於面向視覺內容識別的大規模圖像檢索。本項目擬研究的關鍵科學問題是：面向視覺內容相關度保持的局部視覺特徵量化方法。本項目創新性地提出研究無視覺碼本的圖像檢索框架，避免訓練視覺碼本的約束，可對任意圖像資料庫自適應地生成量化器，對局部特徵進行快速量化和索引，實現可擴展的大規模圖像檢索。此外，為完善無碼本檢索框架，本項目還擬研究量化前的視覺特徵採樣方法和量化後的基於圖像上下文分析的檢索重排序法方法，以進一步提高檢索精度。本項目預期在局部視覺特徵的量化理論上有所突破，在基於內容的大規模圖像檢索技術方法上取得重大創新，嘗試探索麵向大數據處理與分析的數據壓縮理論，為大規模圖像檢索技術的理論化、實用化奠定基礎。
結題摘要
現有基於內容的圖像檢索借鑑文本檢索思想，採用視覺詞袋模型,其核心技術之一是利用視覺碼本將圖像局部特徵量化為視覺單詞。然而，基於碼本的量化本質上是一種面向數據壓縮的矢量量化，並不完全適用於面向視覺內容識別的大規模圖像檢索。本項目擬研究的關鍵科學問題是：面向視覺內容相關度保持的局部視覺特徵量化方法。本項目創新性地提出研究無視覺碼本的圖像檢索框架，避免訓練視覺碼本的約束，可對任意圖像資料庫自適應地生成量化器，對局部特徵進行快速量化和索引，實現可擴展的大規模圖像檢索。本項目的研究內容包括3 部分：(1)局部視覺特徵採樣；(2)局部視覺特徵量化和索引；(3)基於圖像上下文分析的檢索後處理。 經過4年研究，項目組在上述三項研究內容取得了重要進展。在局部視覺特徵採樣方面，提出了基於視覺對象檢測置信度的局部特徵採樣方法，提出了基於視覺顯著度的深度局部特徵採樣方法等；在局部視覺特徵量化和索引方面，提出了基於二值SIFT的無碼本訓練的圖像檢索方法，提出了基於雙解析度的層級標量量化方法，提出了圖像局部視覺特徵融合方法，提出了基於自組織映射的深度有監督量化方法等；在基於圖像上下文分析的檢索後處理方面，提出了基於圖像近鄰上下文分析的圖像檢索方法，提出了基於擴散的層級圖像特徵增強方法，提出了基於深度學習的圖像檢索質量評價方法等。這些成果豐富和發展了大規模圖像檢索理論與方法，為進一步探索適用於大數據處理與分析的數據編碼壓縮理論奠定了理論、方法和技術基礎。 項目執行期間項目組發表學術論文44篇，包括IEEE/ACM Transactions論文15篇、CCF A類會議11篇；申請專利5項，其中授權2項。項目負責人獲2018年國家基金委優青項目資助。該項目培養博士畢業生2人，碩士畢業生10人。項目組圓滿完成了項目計畫書制定的研究計畫，達到了預期的研究目標。
