《可見光與紅外線雙模式視頻融合的人體檢測技術研究》是依託北京科技大學，由王志明擔任項目負責人的專項基金項目。
基本介紹
- 中文名：可見光與紅外線雙模式視頻融合的人體檢測技術研究
- 依託單位：北京科技大學
- 項目負責人：王志明
- 項目類別：專項基金項目
項目摘要,結題摘要,
項目摘要
在軍營、監獄、危險輻射環境等場所需要高可靠性的人員入侵檢測系統，但一般的單獨可見光視頻監控往往不能達到要求的精度和回響速度。本項目旨在通過結合可見光和紅外線雙通道視頻信息的互補性，進行快速、魯棒、準確的人體檢測。主要包括以下幾個關鍵問題：首先研究基於無監督學習、自適應性強的無參數運動檢測背景模型，克服環境變化、光照變化、背景抖動等影響；其次，研究如何藉助雙通道信息融合、交叉驗證等技術克服單通道檢測中遇到的背景相似性、陰影干擾等困難；第三，研究如何融合雙通道視頻信息建立人體靜態形狀紋理統計模型，並藉助標註數據和統計學習方法建立人體動態行為特徵描述模型，通過運動分析排除其他非人體運動的干擾，達到各種複雜場景中高可靠性的人體檢測。
結題摘要
本項目以可見光與紅外線相結合的快速、魯棒和準確的人體檢測為研究目的，對視頻中運動目標檢測、雙通道信息融合、運動目標跟蹤、區域特徵提取和人體檢測等內容進行了深入的研究。首先，在運動檢測方面，提出一種基於混合結構神經網路的背景模型，它包括一個機率神經網路(PNN)和兩個贏者取勝網路，網路結構和權重隨檢測過程動態調整，模型學習速率隨視頻內容自適應調節，可以很快適應背景或燈光的突然變化。將背景模型推廣到可見光-紅外線雙通道視頻中，我們提出一雙多通道協作的運動檢測背景模型，利用基於融合信息的像素分類和互動驗證模型學習達到更高的運動檢測精度。其次，在雙通道圖像信息融合方面，提出一種基於信息熵的多解析度可見光-紅外線圖像信息融合算法。融合圖像的基帶係數由源圖像加權得到，權重正比於信息熵。在業界公用的測試圖像和測試指標下對多種多解析度融合方式取得了較好的實驗結果。對於雙通道視頻信息融合，提出一種多階段的可見光與紅外線信息融合算法，通過多階段融合和形態學運算得到清晰完整的運動目標，包括圖像融合、檢測結果融合、邊緣檢測和區域填充。第三，在運動目標跟蹤方面，提出一個跟蹤與檢測互動處理的算法框架，顯著縮小了Meanshift跟蹤過程中的平均搜尋步長，並提高了PNN運動檢測中長期靜止目標的檢測精度。最後，設計實現了一個可見光與紅外線雙通道視頻融合人員入侵檢測系統，綜合利用雙通道信息融合運動檢測和形狀等信息，達到較高的人體檢測率。
