多感測器圖像像素級融合處理晶片集成技術研究

《多感測器圖像像素級融合處理晶片集成技術研究》是依託北京理工大學，由曲秀傑擔任項目負責人的面上項目。

基本介紹

• 中文名：多感測器圖像像素級融合處理晶片集成技術研究
• 依託單位：北京理工大學
• 項目負責人：曲秀傑
• 項目類別：面上項目

項目摘要

多感測器圖像融合，即多感測器信息融合中可視信息部分的融合，是多感測器信息融合的重要分支。像素級圖像融合被認為是現代多感測器圖像處理和分析中非常重要的一步。多感測器像素級圖像融合晶片實現的關鍵是在確保信息融合效果的前提下能夠實時地進行圖像處理。本項目將結合國內外相關技術的發展現狀，在現有工作的基礎上，對光學圖像像素級融合處理算法及SoC（片上系統）單晶片集成實現進行研究。項目的重點之一，研究面向實時信息處理套用的像素級圖像融合算法，設計適合於VLSI（大規模集成）的算法實現結構及聯合最佳化方法。項目研究重點之二，在算法研究基礎上，研究融合信息系統SoC的實現結構，涉及嵌入式多處理器核心引入、體系架構、系統的運行效率、性能、專用加速引擎等。最後對系統單晶片實現時的有限字長效應及算法結構映射技術進行研究。

結題摘要

多感測器圖像融合，是多感測器信息融合的重要分支。通過對來自不同感測器的多源圖像信息提取與綜合，獲得對同一場景/目標更豐富、更精確、更可靠的有用信息，廣泛套用在目標檢測、跟蹤和識別，機場導航，醫學成像與診斷等軍民用領域，對國防建設和國民經濟發展均具有非常重大的意義。多感測器像素級圖像融合系統實現的關鍵是在確保信息融合效果的前提下能夠實時地進行圖像處理。本項目結合國內外相關技術，針對面向超大規模集成實現的像素級圖像融合處理算法及單晶片集成實現展開研究，並取得了多項研究成果。 面向實時信息處理的多源圖像像素級融合系統相關算法展開研究，提出了自適應的 LIP 模型 Lee 增強算法、自適應的中值濾波去噪算法等，為後續的配準融合提供了良好的原始圖像；提出基於子圖特徵的同源圖像配準算法、基於邊緣FMT的異源圖像配準算法等，提高了同、異源圖像配準的速度和精度；提出了基於梯度金字塔分解的多尺度融合算法，對同源及異源圖像進行融合，並對融合效果進行了主客觀評價。 在算法研究基礎上，研究多感測器圖像融合處理系統的集成實現。本系統採用軟硬體協同設計的方法，提出了一種“基於數據流分割、頂層垂直控制、本地互聯、模組設計”的架構設計方法，構建融合信息處理單晶片系統基本體系結構，在SoC平台上完成了配準融合算法加速、數據接口實現以及軟體套用的設計開發。 系統在消耗合理資源的前提下， 處理256x256大小圖像耗時約10ms，尺度和旋轉精度分別達到0.008和0.15°，平移誤差達到亞像素級，實現較好的融合效果，滿足實時處理要求，採集圖與融合圖可通過HDMI顯示。 本項目在國家自然科學基金委的支持下圓滿完成了研究任務，發表論文21篇，其中SCI 13篇；申請發明專利8項；培養博士、碩士研究生14名。本項目在圖像預處理、配準和融合等相關算法方面提出了多種新方法，設計並實現了像素級圖像融合單晶片集成系統，為實現國產軍用與民用融合系統的小型化、智慧型化和高性能化奠定了良好的基礎。