仿生複眼大視場立體視覺系統的基礎理論研究

《仿生複眼大視場立體視覺系統的基礎理論研究》是依託天津大學，由宋樂擔任項目負責人的面上項目。

基本介紹

• 中文名：仿生複眼大視場立體視覺系統的基礎理論研究
• 項目類別：面上項目
• 項目負責人：宋樂
• 依託單位：天津大學

項目摘要

提出一種基於仿生複眼光學器件的大視場立體視覺新方案。結合高精度複雜形面製造技術，將並列型與重疊型複眼結構進行整合，提出組合型複眼系統結構，可實現大視場立體成像，並從原理上提高現有複眼器件結構的光能利用率及探測靈敏度；針對複眼子眼圖像特點，通過改進的LM神經網路算法進行感測器標定，實現子眼圖像畸變校正；選取適合多模態圖像分析的SURF算法，對子眼圖像進行亞像素級快速配準；基於Directionlet各向異性多尺度分析算法及PCNN融合規則，對多通道子眼圖像進行超解析度重構及融合；在此基礎上，探索基於目標跟蹤的仿生複眼大視場立體視覺模型。本項目的研究有望在真正意義上實現大視場、高運動目標探測靈敏度的昆蟲複眼視覺系統，為國家重大工程急需的仿生複眼視覺系統提供理論基礎，在全景導航、目標搜尋、智慧型監控等領域，具有非常廣闊的套用前景。

結題摘要

立體視覺測量是套用計算機視覺與圖像處理領域諸多研究成果於測量領域而形成的一類新的測量方法。目前，立體視覺測量通常採用多目立體視覺方法實現，相關理論模型也已基本成熟，但受圖像感測器及光學系統條件限制，單個圖像採集系統的視場範圍有限，在對大尺寸目標、或對較大視場中的目標進行立體測量時，需增加感測器及光學器件的數量，這樣既增大了系統的體積，不利於結構的緊湊和小型化，又會帶來額外的算法開銷，降低系統的實時性。因此，為滿足大視場下對目標物進行快速立體測量的要求，亟需探索一條新的解決途徑。 課題將昆蟲複眼視覺原理引入了三維視覺探測領域，充分利用複眼成像在大視場和探測靈敏度方面的優勢，突破現有的技術瓶頸，為實現小型化、高性能、低成本的立體目標探測系統打下理論基礎。課題研究主要圍繞模仿複眼結構透鏡陣列展開，使用不同結構及算法實現了大視場/立體信息採集。 課題的主要成果有以下幾方面： 1. 多相機組合式大場景探測系統：採用多台相機的組合式架構，可探測遠距離物體，拓展了仿生複眼系統的套用領域。系統由5台小型子眼相機和1台高清晰度主眼相機組成，由子眼相機完成360°全景目標搜尋，發現運動目標後由主眼相機通過雲台進行跟蹤，獲取運動目標的高清圖像並進行記錄。 2. 基於光錐複眼相機的空間探測系統：設計並製造了一個90°視場角的圓頂光錐複眼相機，使用系統設計參數對目標進行粗定位，再引入EMD模型對子眼圖像進一步處理，得到較為準確的空間角度深度信息。實現了對LED光源誤差在7%以內的空間位置探測。 3. 七子眼小型三維跟蹤系統：設計製造了緊湊型七子眼複眼系統，實現了近距離運動目標的三維追蹤，定位誤差小於5%。 4. 180°環帶式複眼系統：採用多片小型CCD擬合曲面圖像感測器，配合採用自由曲面結構的一體式複眼透鏡，實現了180°環帶視場範圍內的圖像採集。 5. 光場成像系統：在傳統成像系統的感測器上加入一片430×291的微透鏡陣列，使得系統在一次採樣過程中可以同時得到光線的強度和方向信息，配合後期算法，可實現對採集圖像的重聚焦和深度信息提取。 課題在不同方向的研究將仿生學、圖像處理、光場重構等多方面理論進行整合，利用複眼視覺在大視場及立體成像方面的優勢，建立基於複眼結構的立體視覺測量理論體系，為國內的複眼研究提供了理論基礎，對仿生複眼研究有較大的促進作用。