《高性能低比特視覺搜尋及晶片結構研究》是依託北京大學，由祝闖擔任負責人的青年科學基金項目。
基本介紹
- 中文名：高性能低比特視覺搜尋及晶片結構研究
- 項目負責人：祝闖
- 項目類別：青年科學基金項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
直接利用數字圖像這種更加直觀的信息載體，通過智慧型終端進行視覺搜尋將成為網際網路信息檢索的重要手段。然而實際套用中往往頻寬和存儲資源受限，所以研究高性能的低比特視覺搜尋具有很重要的意義。圍繞低比特視覺搜尋這個問題，本課題從以下四個方面展開深入研究：（1）基於圖像預處理的高魯棒性特徵提取（2）自適應局部特徵選擇（3）高性能視覺搜尋算法（4）緊湊視覺特徵提取硬體加速。通過自適應圖像預處理算法，去除不同光照的差異，進而提取出對光線更加魯棒的局部特徵；通過融合局部特徵自身的顯著度以及先驗機率信息，自適應選擇更加具有辨別力的局部特徵；通過多種查詢擴展策略，提升視覺搜尋的準確率和召回率；通過合理的軟硬體分區和多層次混合流水線設計，對緊湊視覺特徵進行高能效加速。本課題預期通過上述四方面的研究，從視覺搜尋準確率和實時回響兩方面改善低比特視覺搜尋體驗。
結題摘要
視覺搜尋在實際套用中往往頻寬和存儲資源受限，所以研究高性能的低比特視覺搜尋具有很重要的意義。圍繞低比特視覺搜尋這個問題，本項目提取並選擇更加魯棒的局部特徵點，從而生成更具有辨別力的緊湊描述子，同時探索更加高效的視覺搜尋算法，並設計高能效的特徵提取硬體結構。 項目執行兩年以來，已經完成項目計畫中的研究任務，取得了一系列的研究進展，具體包括：（1）高效特徵提取方面，通過金字塔尺度空間，優先提取低複雜度的高尺度特徵，然後對複雜的低尺度空間的構造進行指導，跳過那些不重要的圖像塊的尺度空間構建和特徵提取，從而降低複雜度，在幾乎不損傷性能的情況下可以節省複雜度6%~23%；同時基於特徵顯著度進行特徵選擇，在車輛搜尋庫上最大可以帶來10%的性能增益；（2）高性能視覺搜尋算法方面，將特徵庫的統計信息融合到視覺搜尋流程當中，在進行匹配的過程當中對不同特徵進行加權，使得搜尋性能得到改善，在一些碼率場景下最高可以帶來3%的增益；同時提出了基於關鍵特徵集和亮度信息的擴展查詢策略，通過選擇更加有效的用於擴展查詢的圖像來召回更多的圖像，可以帶來7%~17%的性能增益；（3）在高能效的硬體結構方面，提出了基於複雜度的軟硬體分區結構，並設計了特徵提取微結構，通過並髮結構設計，特徵點提前排序和丟棄策略，並發特徵描述結構設計，大大提升CDVS緊湊特徵的提取流程，在FPGA板卡上實現特徵描述子的實時提取。 項目實施以來，各項研究任務順利開展，均已達到研究目標，相關成果已發表在期刊和國際會議上，並在國家核高基項目SoC平台中進行了CDVS硬體IP核的驗證，為緊湊視覺搜尋CDVS標準的推廣套用提供了理論基礎和技術支撐。
