《基於序列圖像分析的三維環境感知技術研究》是依託北京理工大學，由劉越擔任項目負責人的面上項目。
基本介紹
- 中文名：基於序列圖像分析的三維環境感知技術研究
- 依託單位：北京理工大學
- 項目負責人：劉越
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
本項目將深入開展基於序列圖像分析的未知環境感知的關鍵理論和技術的系統研究，研究內容屬於計算機視覺界近年來的研究熱點-運動結構重建理論的套用，即通過分析目標的圖片或視頻序列恢複目標的結構信息以及拍攝該目標各幀相機對應的空間位置信息。本項目完成後將突破單相機非實時重建、多相機實時重建和相機實時定位等一系列關鍵技術，提供一套完整的基於序列圖像分析的環境感知軟硬體系統。本項目擬解決的關鍵問題主要包括如何套用視覺幾何理論對未知場景進行重建、如何在當前採集圖像和重建結果之間進行高精度匹配，以及如何實時確定相機的空間位置等。本項目的研究成果對於智慧型車輛導航、虛擬環境的快速構建及實時增強現實系統等套用具有十分重要的意義。
結題摘要
運動結構重建(Reconstruction of Structure and Motion，SaM)是計算機視覺領域的經典問題，即通過分析目標的圖片或視頻序列恢複目標的結構信息和拍攝該目標各幀相機對應的空間位置信息。本項目針對運動結構重建理論及其套用，深入的開展了基於序列圖像分析的未知環境感知的關鍵理論和技術的系統研究。具體研究內容包括： (1) 基於視覺幾何理論對未知場景進行重建，整個重建過程不需要在場景中安放標誌點，也無需其他先驗信息。 (2) 為了實現任意場景中的場景重建和相機定位，並且能夠達到相當的精度和魯棒性，針對單攝像機與多攝像機模型中的矩陣不完整性問題引入基於魯棒主成分分析的矩陣恢複方法。 (3) 針對戶外複雜場景的重建，提出基於柱狀全景圖的多攝像機重建方法並對重建結果進行了最佳化，實現了準稠密重建。 (4) 在特徵點的提取過程中，提出了對於前景背景的識別與分類以及背景建模，使得用於計算的特徵點來源於空間特徵穩定的背景信息，有效地減少由於前景目標的特徵點對應關係對於計算精度造成的影響。 (5) 為了實現當前圖像在大場景、大尺度範圍內的快速匹配和定位，採用GUP-SIFT提高特徵點採集的速度。在特徵點的匹配上，利用辭彙樹的方法建立索引，從而減少了高維特徵描述尋找最近鄰的計算時耗，提高了系統的實時性。 (6) 提出了增強現實系統中的動態投影標定方法，將虛擬模型實時地與場景中可移動的真實物體對齊並投影到真實物體的表面，以改變真實物體的紋理、光照和顏色等。 (7) 針對增強現實系統中投影機-深度相機存在的畸變問題，提出了實時的梯形畸變校正方法。
