基於視覺認知的圖像不變特徵提取

《基於視覺認知的圖像不變特徵提取》是依託北京郵電大學，由張洪剛擔任項目負責人的面上項目。

基本介紹

• 中文名：基於視覺認知的圖像不變特徵提取
• 項目類別：面上項目
• 項目負責人：張洪剛
• 依託單位：北京郵電大學

項目摘要

圖像不變性特徵提取一直是圖像笑局整檢索與識別領域的研究重點，隨著LBP、SIFT、MSER、Kadir等方法的相繼提出，人們對這一問題的認識更加深入。現有的理論和方法追求視覺感知層面上的不變性，因而不可避免地鑽故戒精會陷入不變性與區分性難以取捨的境地。本項目衝破把特徵不變性問題局限在感知層面的傳統思想，研究視覺認知下的圖像不變性特徵。通過感知、注意、記憶等多層次多環節的相互作用，提取在視覺感知層面上不同但在視覺認知意義下相同的特徵。主要研究內容包括:閉環視覺感知模型,前饋-反饋雙向注意模型，具有遺忘機制的記憶模型。本項目的特點在於將注意、記憶、學習等認拘應炒船知模型中高於感知層次的機制引入到圖像不變特徵的提取中，從而為解決圖像不變特徵問題開闢了新的研究思路。

結題摘要

本項目研究目標是改變把特徵不變性問題局限在感知層面的傳統思想，研究視覺認知下的圖像不變性特徵。通過感知、注意、記憶等多層次多環節的相互作用，提取在視覺感知層面上不同但在視覺認知意義下相同的特徵。經過四年的科研努力，本項目的主要研究成果有：在感知層面，提出了一種與CENTRIST相似的特徵描述子reLBP來抽取局部特徵，利用Census變換的直方圖向量描述圖像或者局部目標區域的宙牛頸特徵表示；為彌補“詞袋模型”的不足，本項目深入探索視覺辭彙之間的空間關係和語義關係，提出了一個更高層次的圖像特徵表示模型BoP (Bag of Phrase)。在注意層面，主要的研究成果有：考慮了不同網路圖像所具有的不同的特殊性質，提出的該框架通過分析不同網店甩絡圖像的特殊性質，自動地為該圖像選擇合適的分類模型，從而有效地融合了上述兩種多媒體信息融合算法。並借鑑機器學習中遷移學習(Transfer Learning)技術，提出了一種交叉域采榆芝的遷移學習(Cross-Domain Transfer Learning)的方法；在記憶和識別層面， 提出了一個通用的最大K最小(Max K-Min)分類準則。基於該準則找到的分類超平面，將有著讓分類過程中愉主甩最差的K個訓練樣本最最佳化的物理意義；提出了聯合區域和多標籤的人臉表情識別算法，一方面旨在提高AUs檢測的準確率，另一方面，著重分析，區域學習和多標籤學習是如何協同合作，互相促進的。在模型實現上，本算法利用基於組稀疏的特徵選擇方式實現區域學習，設計不同的正則項對AUs的正關係和競爭關係進行約束，最後通過ADMM (Alternative Direction Method of Multipliers)進行整體模型的求解。 在本項目資助下，項目組共發表國際期刊論文10篇，其中包括IEEE TPAMI、IEEE TMM、Neurocomputing等SCI論文7篇；發表計算機領域國際頂級會議ICCV論文1篇，CVPR論文2篇，AAAI論文1篇；在人才培養方面，培養博士生8名，碩士生6名。在國際合作方面，項目組與Carnegie Mellon University, University of California Riverside, Queen Mary University of London等知名院校建立了學術合作，取得了令人滿意的效果。