《移動視覺搜尋關鍵技術研究》是依託北京大學，由段凌宇擔任負責人的面上項目。
基本介紹
- 中文名：移動視覺搜尋關鍵技術研究
- 項目負責人：段凌宇
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
近年來隨著移動網際網路、智慧型終端以及雲計算的迅速崛起，越來越多的人希望在移動中高速接入網際網路，獲取實時信息。移動視覺搜尋毫無疑問成為未來移動世界中有影響的基礎技術之一。移動視覺搜尋是指利用移動終端獲取的圖像或視頻作為查詢，通過移動網際網路檢索出感興趣信息的檢索方式。人們通過移動視覺搜尋技術，可以快速便捷地採集現實世界的視覺對象信息，從移動網際網路獲取感興趣的關聯信息。儘管移動視覺搜尋技術已經面世，仍未得到大範圍地套用。該項目將定位移動視覺搜尋面臨的技術瓶頸與挑戰，包括無線頻寬壓力、移動端電池消耗、查詢遲滯、大規模索引檔案、移動端有限計算資源、拍照姿態光線多樣性等。從移動端、服務端、用戶三方面，對緊湊視覺描述子、多尺度量化、視覺主題模型、視覺搜尋性能估計、分散式索引等關鍵環節開展研究。該項目總體目標是提升移動視覺搜尋各項關鍵技術性能，萃取科學問題，從解決方案、理論方法兩方面開展研究。
結題摘要
圖像是計算機視覺、多媒體技術等方向的重要研究對象。結合智慧型手機等移動終端的便攜圖像視覺採集能力，移動視覺搜尋技術正在變革移動網際網路的用戶體驗。通過智慧型移動終端抽取緊湊視覺特徵，並將特徵傳輸至後端進行內容分析，可以大幅降低頻寬占用，突破圖像視頻大數據套用平台面臨的數據匯聚與計算瓶頸，提升大規模圖像識別與檢索的性能。 針對基於移動視覺搜尋系統在移動終端資源有限、頻寬受限、索引數據規模大等方面都面臨技術瓶頸和挑戰，本項目分別從緊湊視覺描述子、低複雜度特徵提取、海量圖像索引等方面展開研究，取得如下研究成果： （1）低比特、低複雜度、高性能的局部視覺特徵聚合技術:在移動終端進行局部特徵聚合與壓縮，傳送緊湊特徵至後端伺服器進行搜尋，降低了流量、縮短了查詢回響延遲。單幅圖像抽取256~436位元組特徵可在百萬量級國際標準評測數據集上取得86%~92%的檢索準確率。 （2）低比特、低複雜度、高性能的局部視覺特徵提取與壓縮技術：本項目對SIFT性能進行了大幅提升，提出的算法可將特徵尺寸縮小40倍，特徵匹配速度提高20倍，而記憶體開銷僅為SIFT的1/20。 （3）基於緊湊特徵表示的海量圖像索引技術：解決了傳統分散式倒排索引架構面臨的特徵線上實時索引難題，大幅降低了計算複雜度；單幅圖像索引數據僅為廣泛使用的詞袋檢索模型的2%。 （4）互動數據規範化模型及移動端互動查詢技術：作為標準主起草人之一，牽頭制定了緊湊特徵國際標準CDVS(Compact Descriptors for Visual Search)，使得基於雲端計算的圖像大數據套用可以直接利用智慧型移動終端抽取的規範化圖像特徵數據，將圖像搜尋套用高效地部署於多樣化的設備與平台。 上述四項研究內容形成一套具有自主智慧財產權的“視覺特徵緊湊表示方法及高性能圖像搜尋技術”系統性成果。發表國際期刊論文11篇，國際會議論文20篇，申請發明專利23項（授權4項），多項技術被國際標準CDVS採納，對該標準的技術貢獻度過半。研究成果被著名網際網路公司（百度、騰訊）採納並投入實際運營，在安防、廣電、傳媒、旅遊等多個領域得到規模化套用，累計經濟效益超過3000萬元。 以高水平論文、發明專利、國際標準以及產業化套用為主要形式，本研究成果榮獲“2016年度高等學校科學研究成果獎（科學技術）技術發明獎，一等獎”，為我國在相關領域的自主創新乃至引領產業潮流做出了突出貢獻。
