基於視感知的圖像視頻語義獲取關鍵技術研究

《基於視感知的圖像視頻語義獲取關鍵技術研究》是依託首都師範大學，由施智平擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於視感知的圖像視頻語義獲取關鍵技術研究
• 項目類別：青年科學基金項目
• 項目負責人：施智平
• 依託單位：首都師範大學

項目摘要

為了讓計算機能夠像人一樣快速而準確地識別物體理解圖像需要借鑑生物視覺系統的信息處理機制。本項目瞄準視覺信息的語義理解這一前沿課題，借鑑生物感知系統的信息處理機制，研究圖像視頻數據的特徵編碼和語義獲取的新理論和新方法，促進生物視覺和機器視覺的交叉研究。主要研究內容包括：研究基於結構相似度的稀疏編碼模型從而提取富含結構信息和語義信息的視覺感知特徵，有效支持圖像視頻的語義獲取；深入研究生物視覺識別的特徵捆綁計算模型，提出融合多個部位多種特徵的物體識別方法；針對圖像視頻數據在視覺特徵空間的複雜分布特性，研究基於粒度空間模型的語義映射方法，提高語義分類準確率；研究自頂向下的上下文提示信息和自底向上的視覺感知驅動相結合的圖像視頻語義獲取方法，有效地縮小語義鴻溝。最後，基於本項目研究成果開發一個圖像視頻語義標註與檢索原型系統。

結題摘要

本項目瞄準視覺信息的語義理解這一前沿課題，借鑑生物感知系統的信息處理機制，研究圖像視頻數據的特徵編碼和語義獲取的新理論和新方法。 提出了基於結構相似度的稀疏編碼模型以及視覺特徵提取和表示方法，得到結構信息保持良好的編碼特徵；提出融合兩類線性鑑別分析的方法來提取低維的最佳化鑑別特徵，顯著提高圖像檢索的速度和語義準確率，發表在Multimedia Tools and Application。 提出了圖像語義自動標註方法：提出融合語義主題的圖像自動標註方法PLSA-FUSION、連續視覺特徵的圖像語義標註模型GM-PLSA、混合生成式和判別式模型的圖像語義標註方法HGDM，實驗結果令人鼓舞。成果發表在Journal of Visual Communication and Image Representation、Pattern Recognition Letters等期刊。 基於上下文的物體識別和圖像分類方法：基於Bayesian Linking Field 模型的思想提出了一種物體識別方法，可以顯著改善圖像中的物體識別率。提出結合1階特徵和上下文相關2階特徵的物體識別方法，利用不同特徵的共現相關性提高識別準確率，在Google圖像集上的實驗證明了算法的有效性，成果發表在Visual Computer期刊上；提出基於半監督學習的多標籤圖像分類算法，學習中考慮類別相關性，提高分類正確率，成果發表在ACM MM10；提出利用稀疏編碼和判別測度學習的基於行為的人物識別方法，發表在 ACM MM12。 提出多種新穎的分類和聚類算法，為多媒體語義提取提供理論支持。基於進化規劃的FCMBP模糊聚類改進方法(Computers and Mathematics with Applications)；挖掘多個領域之間個性與共性的文本分類方法——協同對偶PLSA (IEEE TKDE)；解決半定義分類問題的無約束生成的主題建模方法(ICDM 2010)；解決多模型合併問題――基於PLSA模型的合併算法(IJCAI2011)；稱為ADA的自適應關聯分類方法，該方法可以是關聯分類器以增量形式進行分類學習(Expert Systems with Applications)。 開發了跨媒體智慧型檢索系統（CMIRS），可以實現對圖像視頻內容的語義理解、專題生成及檢索、實現語義概念與圖像、視頻的雙向檢索。