《基於拓撲結構對大規模圖像集的互動三維場景建模》是依託中國科學技術大學，由陳雪錦擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於拓撲結構對大規模圖像集的互動三維場景建模
- 項目類別：青年科學基金項目
- 項目負責人：陳雪錦
- 依託單位：中國科學技術大學
中文摘要,結題摘要,
中文摘要
基於拓撲結構的互動三維場景建模主要研究如何從拓撲結構出發，由多角度圖像結合用戶互動快速有效地構造真實感的場景模型，其中最關鍵的問題在於用拓撲結構有效地描述三維場景幾何信息，準確地從多幅圖像中提取和重建。網路的發展使得大規模圖像數據集的獲取變得容易，為場景的三維重建提供了大量信息，但由於其差異性，也帶來了巨大挑戰。傳統的運動恢復結構算法只能構造空間的三維點雲，缺少場景的結構信息。本課題擬嘗試從一個全新的角度，研究一種通用高效的基於大規模圖像集合的三維建模算法。本課題擬從描述場景幾何的關鍵拓撲結構出發，研究如何結合有限的用戶互動，從多幅圖像中抽取空間統一的拓撲結構信息，並重建其三維幾何；研究由稀疏拓撲結構到完整表面模型的構造算法，結合輸入圖像的灰度和紋理信息，獲得具有真實感的三維模型。本課題預期在幾何模型表達理論上有所突破，在三維重建技術方法上有所創新，為該技術的理論化和實用化奠定基礎。
結題摘要
基於多視角圖像的三維真實感建模多年來一直是計算機視覺和計算機圖形學領域的一個重要的研究課題。區別於傳統的基於局部特徵點的點雲重建和互動式勾勒表面輪廓的建模方法，我們從一個全新的角度，深入研究了基於拓撲結構的三維場景建模技術。受概念設計階段的草圖表達的啟發，我們將物體的拓撲結構引入基於圖像的三維建模，從特徵表達和提取、拓撲結構的恢復、表面模型的重建、以及表面紋理的生成四個方面，對基於圖像的真實感三維建模中涉及的各個問題進行了研究，獲得了一系列的研究成果。具體包括: （ 1）在拓撲結構特徵的表達和抽取方面，我們主要研究了人造場景中物體的點-線-面的拓撲結構表達方式，並提出了高效的拓撲結構特徵提取算法，大大精簡了大規模圖像集中的特徵的存儲和計算。（2）在拓撲結構的恢複方面，我們結合線條周圍和表面上的局部點特徵來輔助線條特徵的匹配和表面的鄰接關係抽取，充分利用了SIFT點特徵對於尺度、光照、視角等變化的魯棒性，在差異性較大的圖像集合中獲得空間一致的整體拓撲結構，實現了自動的拓撲結構恢復。（3）在表面模型的三維重建上，我們提出了一種全自動的表面模型重建方法。主要結合圖像上的密集的特徵點的對應和重建結果，以及圖像各平面區域的外觀信息，根據平面基元間的鄰接、遮擋等幾何關係進行平面延伸、補齊，以及全局修正，獲得了準確的三維幾何模型。（4）對於三維模型表面紋理的生成，針對圖像集合中各圖像差異性較大、尤其是有大面積前景遮擋的情況，我們提出了一種保持幾何一致性的圖像拼接算法，針對具有較強幾何特徵和紋理不夠豐富的兩種圖像區域，自適應地生成樣本圖像集合，最後通過馬爾科夫隨機場的最佳化，實現從多樣本中選擇合適的圖像來源，獲得視覺連貫的、無縫的圖像拼接。我們從整個三維建模流程中各個環節對基於拓撲結構的的特徵抽取、特徵匹配、三維重建和紋理生成進行研究，驗證了所提拓撲結構特徵表達在人造場景的三維重建的有效性，從建模的自動程度、數據存儲效率及建模視覺效果上都優於現有算法。
