基於微分幾何和機器學習的立體視覺研究

《基於微分幾何和機器學習的立體視覺研究》是依託四川大學，由楊夢龍擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於微分幾何和機器學習的立體視覺研究
• 項目類別：青年科學基金項目
• 項目負責人：楊夢龍
• 依託單位：四川大學

項目摘要

立體視覺是計算機視覺領域中的核心問題之一，即根據多視角攝像機拍攝的圖像自動恢復場景的三維幾何形狀，廣泛套用于軍事、工業、醫療等領域。但現有方法在處理弱紋理區域、圖像噪聲、複雜曲面、信息缺失等方面都存在局限性，使得立體視覺在精度和完整性等方面的不足成為亟待解決的問題。本課題致力於微分幾何和機器學習在立體視覺中的套用研究。通過探索光滑流形局部微分幾何特性，研究微分幾何不變數及其一致性度量方法；研究機器學習（如目標識別、目標分類與光照環境估計）與立體匹配的互利關係；研究基於線上無監督學習的特徵提取和自適應參數估計，真正實現無人工干預的自適應的特徵提取和參數設定。在此基礎上，構建合理的（高階）馬爾可夫隨機場模型，設計並實現模型最最佳化問題的快速求解算法；針對多視角視頻序列，搭建具備精度高、完整性好、實用性強的多攝像機立體視覺系統，在實際套用中解放人力、提高效率。

結題摘要

作為立體視覺中最重要的一步，立體匹配的精度和效率在套用中顯得尤為重要。但傳統立體匹配方法在處理弱紋理區域、圖像噪聲、複雜曲面、信息缺失等方面都存在局限性。本課題致力於解決立體視覺在精度、完整性和計算效率等方面的不足，研究取得了重要進展。通過對弱紋理、複雜曲面、信息缺失和圖像噪聲引起的匹配歧義、誤匹配、重建場景不完整的問題進行研究，提出了一種基於材質分類的雙目匹配方法；利用大量標定數據和深度學習算法，研究並提出了一種基於機器學習的圖像特徵提取方法，實現了自適應提取歐氏空間可分的圖像局部特徵；同時，我們研究並提出了一種基於機器學習的自適應平滑約束方法，結合半全局匹配算法，實現了高精度的立體匹配；通過並行計算方法，利用GPU實現立體匹配的快速求解，將計算一個視差圖的時間最終控制在1秒之內，為搭建套用系統奠定了良好的基礎。本課題提出的方法在公開測試庫Middlebury和KITTI上均取得了良好的測試精度和較高的效率，本課題研究的成果可用於科技、文化、教育、醫療、製造等非常廣泛的領域，也有望套用於若干類似的領域，如基於主動成像的立體視覺、三維配準等。