《從相對視差感知三維表面的計算模型研究》是依託西安交通大學，由袁澤劍擔任項目負責人的面上項目。
基本介紹
- 中文名：從相對視差感知三維表面的計算模型研究
- 項目類別：面上項目
- 項目負責人：袁澤劍
- 依託單位：西安交通大學
中文摘要,結題摘要,
中文摘要
高效的三維感知計算模型與實現方法在數位化城市、機器人視覺導航、虛擬現實與增強現實等領域具有廣泛的套用需求。本課題旨在借鑑生物三維感知過程中的視差編碼方式、融合集成策略，探索從相對視差感知三維表面的分層計算模型。主要內容包括：（1）研究圖像的相位特徵編碼與絕對視差估計；（2）基於中央－周邊機制，研究絕對視差的空間變化與局部微分結構的相對視差編碼及其可靠性；（3）基於競爭與協作機制，研究相對視差的選擇與集成及局部三維面片恢復的圖嵌入方法；（4）利用圖譜理論，研究局部三維面片之間的關係及大範圍三維表面感知的計算模型與方法；（5）研究局部連線範圍與連線複雜性對相對視差的編碼能力及三維表面恢復性能的影響。該項基礎性研究不僅涉及到生物立體感知的相關神經機理，而且涉及到視覺信息感知組織的建模及其最佳化的數學方法，對研究基於生物立體感知的計算模型與開發有效的三維信息獲取系統具有重要的科學意義與套用價值。
結題摘要
遮擋、弱紋理與重複性紋理是魯棒視差估計面臨的主要挑戰。如何編碼圖像結構、場景表面結構，將匹配代價與視差約束進行融合推理，是解決從多視點圖像估計場景深度的關鍵。主要研究內容如下： （a）研究視差約束編碼與多視差線索融合推理方法，提出了一種協調多候選視差的計算模型（CVPR2016）。該模型引人絕對視差競爭機制與相對視差合作機制，將視差約束編碼在馬爾科夫網路模型上進行融合推理，可以同時準確魯棒地估計精細結構與大面積無紋理區域的深度。該方法在公開數據集上的評估結果獲得當時排名第二名。 （b）研究多視點圖像中遮擋區域推理與視差計算方法，提出了遮擋區域檢測的對稱深度神經網路模型(BMVC2018)。該模型不依賴於深度估計，可以直接用雙視圖像同時推理兩幅圖像中的遮擋區域。其次，提出了一種可感知遮擋的無監督視差計算網路模型（ACCV2018）。該模型採用對稱網路結構的遮擋推理模組，將遮擋估計引入視差計算模組以及無監督訓練過程中，可以提高視差計算精度與魯棒性。 (c) 研究從稀疏深度數據恢復場景稠密深度的方法，提出了一種多尺度圖像指導的級聯網路深度補全模型（WACV2020）。該模型使用級聯的沙漏結構網路分別處理不同尺度的稀疏深度觀測，利用高解析度圖像的多尺度指導信息引導深度高精度補全。該方法以低計算複雜度和時間複雜度，在公開測評數據集上達到了具有競爭力的補全精度。(d) 研究基於中央-周邊機製圖像特徵表示與匹配方法，提出融合多時間尺度信息的視覺目標表示、匹配與搜尋框架（PAMI2017），較好地平衡了視覺目標跟蹤的穩健性、適應性與持續性。 項目研究工作發表高水平論文15篇，申請專利1項。研究成果對開發有效特徵表示、視差約束與融合推理模型，以及三維信息獲取系統具有重要的科學意義與套用價值。
