《基於認知計算和信息挖掘的多波段夜視圖像融合技術》是依託南京理工大學，由柏連發擔任項目負責人的重點項目。
基本介紹
- 中文名：基於認知計算和信息挖掘的多波段夜視圖像融合技術
- 項目類別：重點項目
- 項目負責人：柏連發
- 依託單位：南京理工大學
項目摘要,結題摘要,
項目摘要
隨著夜視技術的發展，傳統單一波段探測方式已經不能滿足現代夜視的需求，針對典型場景環境的多波段成像及新型信息處理理論方法將是夜視技術發展的必然趨勢。本項目結合多感測器夜視成像原理試驗裝置的構建，擬探索研究一系列基於認知計算和信息挖掘的多波段夜視圖像融合方法，其核心思想是結合信息融合方法和認知計算與圖像挖掘技術，充分理解和利用多波段夜視圖像信息，從而有效解決多波段夜視成像導致的數據膨脹及信息複雜化。研究內容主要包括夜視圖像視覺計算模型、基於認知計算的多波段夜視圖像融合、基於圖像挖掘建立目標信息關係資料庫以及基於圖像挖掘的多波段夜視圖像目標識別理論與技術研究。本項目是對夜視成像理論與技術研究的進一步深化，為解決夜視目標探測識別問題探索新的研究手段。多波段夜視成像及其基於認知計算和信息挖掘的圖像融合研究成果將為夜視信息探測和處理提供新的技術實現方式，在公安、國防、工業等領域具有廣泛的套用前景。
結題摘要
本項目立足於多源多光譜成像（可見光/微光、短波紅外、長波紅外等），建立多波段窄帶光譜成像探測裝置。引入生物視覺感知和腦認知機理，突破傳統夜視技術，研究實現基於認知計算和信息挖掘的多波段夜視圖像融合系列方法模型。 首先，針對各波段夜視圖像特徵，基於視覺非經典感受野、稀疏回響、選擇注意、拓撲保持等機理，構建了具有人眼視覺典型特性和腦認知功能的新型計算模型，實現自然場景下圖像視覺特徵提取、增強、顯著分析和典型目標魯棒識別。其次，針對多光譜、大規模圖像集，基於複雜信息挖掘和流形學習理論，建立了夜視目標-場景關係資料庫，提出非/半監督和監督的高維數據智慧型學習、降維和分類算法，有效提高了多光譜目標檢測率和高維夜視數據分類識別精度。最後，基於視覺層次感知機制，研究分層、並行的what/where結構框架和異構信息處理模型，高效整合多波段目標認知計算、信息挖掘和融合模組，實現了快速、準確的夜視場景理解和目標感知方法。 （1）結合視覺感知特性，實現了夜視圖像視覺特徵分析模型、選擇注意模型、認知計算模型和層次感知模型研究與設計；突破了夜視圖像特徵表示運算元、目標分析和識別方法從二維空間向多譜段、多時序的拓展，構建新型多光譜夜視圖像和視頻理解模型，實現了高性能、魯棒的靜/動態夜視目標探測和場景融合。 （2）學習多維特徵空間的流形分布及其內在結構，提出了多光譜、多時序夜視圖像信息流形降維分類算法；從空間、光譜、時間等多維度挖掘夜視目標/場景的信息結構和關聯規則，建立了目標-場景關係資料庫；並將這種先驗知識嵌入到視覺計算和學習分類模型算法中，形成二次識別，有效提升了多維複雜數據下的夜視目標識別和場景理解能力。 （3）將視覺仿生計算和信息挖掘機理引入到夜視數據融合過程中，研究新型信息融合算法，提出了基於視覺特性和關聯規則挖掘的增強融合方法，構建了多維夜視圖像的低-中-高多層次理解網路，實現了基於視覺特性的自然感場景融合和目標註意標記。 （4）將相關核心關鍵技術套用到航空航天、智慧城市、工業智慧型化等多個領域，針對不同的套用需求，最佳化算法並行移植和數據通信，構建了多套無人夜視成像感知軟硬體系統，有效捕獲目標、背景分布和精確目標跟蹤定位，實現了高效能、高精度多波段夜視信息計算輸出。
