基於魚眼鏡頭的嵌入式全景立體球視覺系統研究

《基於魚眼鏡頭的嵌入式全景立體球視覺系統研究》是依託天津理工大學，由張寶峰擔任項目負責人的面上項目。

基本介紹

• 中文名：基於魚眼鏡頭的嵌入式全景立體球視覺系統研究
• 項目類別：面上項目
• 項目負責人：張寶峰
• 依託單位：天津理工大學

項目摘要

提出一項新的機器視覺方案－全景立體球視覺，研究全景立體球視覺系統獲取全球域三維坐標的方法。該系統由組合式魚眼鏡頭和專門研發的嵌入式圖像處器組成。全景立體球視覺系統集全景視覺和立體視覺優勢於一體，僅利用單一視覺系統、一次拍攝在獲取全球域無盲區信息的同時可測算出完整觀測空間內任意景物的景深信息。為確保精度和實時性，本項目將面向未矯正的魚眼圖像探索全球域三維坐標獲取方法：建立球視覺幾何、數學模型；在立體標定空間內研究系統內外部參數標定方法，形成全景立體球視覺理論體系；以研究針對未矯正的魚眼圖像極線幾何的具有匹配魚眼圖像邊緣信息能力的特徵匹配算法為核心，探索全景立體視覺全球域三維坐標的獲取方法。全景立體球視覺是全景和立體視覺理論的交叉與發展。本項目的研究將為全景立體球視覺系統在軍事國防、加工製造、未知環境探測、災害救援、虛擬現實、測量控制等領域的套用奠定基礎。

結題摘要

立體視覺是根據三角測距原理，通過觀測空間中一物點在多個不同視點拍攝到圖像中的對應像點間的視差來計算景物的深度。但現有的立體視覺方案，受三維視場的局限，需通過雲台轉動或移動平台的多點拍攝來實現全觀測空間三維信息的觀測和重建，在許多場合中不能滿足套用需求。全景視覺無須視覺系統的機械迴轉或掃描即可將全部視場內的上、下、左、右、前、後景物一眼看遍。然而，投影過程是三維信息通過針孔等透視投影模型在二維平面上的成像，損失了一維景深信息，限制了全景視覺的套用。 本項目從研究全景視覺與立體視覺是否能夠有機結合、優勢互補（利用全景視覺的全視場解決立體視覺觀測範圍相對狹窄的不足，利用立體視覺的景深信息彌補全景視覺損失一維圖像信息的缺陷）為出發點，探索一項新型的機器視覺研究課題“全景立體球視覺”。其特點在於：利用單一視覺系統，一次拍攝成像，在同一時刻，可實現全觀測空間的全景圖像生成與目標三維信息獲取。首先，提出了構建全景立體球視覺仿真系統與嵌入式系統的方案；建立了全景立體球視覺非線性極線幾何理論體系，並開展相關理論研究包括：幾何模型、數學模型的構建，系統內、外參數的標定、系統極點標定與極線校正；接著，針對全景立體球視覺系統特點，設計了一種新型聯合特徵描述子，突破了後續全景圖像拼接及三維重建的關鍵技術，且給出了相應評價方法；最終，研製出了4CCD+FPGA+DSP的一體化全景立體球視覺嵌入式圖像處理器樣機一台，並成功將核心算法在該平台上移植，實現了集四幅魚眼圖像的採集、處理、分析於一體的系統功能，對感興趣景物實施了三維重建。研究成果已在國內外代表性學術期刊或國際會議發表學術論文34篇，其中SCI期刊論文1篇，EI檢索期刊論文2篇，EI檢索22篇次；申請發明專利2項。安排成員赴國外參加國際會議、並邀請2位國外專家來華學術交流3次。共培養博士1名，碩士14名。