反射鏡視頻相機自校準和非剛性物體建模研究

《反射鏡視頻相機自校準和非剛性物體建模研究》是依託北京大學，由張慧擔任負責人的青年科學基金項目。

基本介紹

• 中文名：反射鏡視頻相機自校準和非剛性物體建模研究
• 項目負責人：張慧
• 項目類別：青年科學基金項目
• 依託單位：北京大學

項目摘要

本課題提出並研究以單個反射鏡視頻序列代替攝像機網路完成攝像機自動校準和非剛性物體高質量三維模型重建。深入分析反射鏡形成的虛擬相機網路圖像輪廓間的幾何約束，利用與轉台運動的幾何相似性，發現反射鏡運動的新約束，解決用單幅靜態物體圖像完成相機內外參數校準的問題。由於僅需要一幅圖像，所得結論可以容易的推廣到校準內外參數變化的自由相機，或恢復動態非剛性物體的三維數位化信息。同時，研究魯棒的提取特徵對應點，採用輪廓和特徵匹配點相結合的方式，解決圖像中物體和反射鏡虛像的自遮擋問題，在圖形切割的過程中引入對象表面的光滑性約束，提高重建模型的表面精度。因此本課題的研究既針對可變焦的攝像機自動校準套用需求，挖掘反射鏡運動的幾何新約束，也為重建高質量動態非剛性物體三維模型研究提供新思路和新方法。

結題摘要

如何從圖像或視頻序列中恢復真實世界的三維模型一直都是計算機視覺研究中的重要課題。以動態場景的多個視頻流為基礎，可把非剛性運動三維數位化。這在遠程三維沉浸、數位化文化表演、重要體育賽事和為手術、醫藥或其他技術領域生成基於三維視頻的真實感培訓和示範內容上有令人矚目的表現。在這類套用中，要獲取各方位的視頻流，往往需要多個能夠同步拍攝的高精度攝像機。該攝像機網路常常所需投資相對較大，這阻礙了相應的數位化建模系統套用的推廣。另外用攝相機網路完成三維重建的一個基本要求是精確的攝相機幾何校準以及攝像機同步。 我們研究反射鏡在場景中帶來物體的一個或多個虛像，它們是由位於場景四周的虛擬相機拍攝的圖像。因此考慮利用反射鏡構成的虛擬攝像機網路模擬室內真實攝相機網路， （1）因該方法只需隨處可見的裝備，即幾塊反射鏡和一部較高解析度的數碼攝相機，無需繁瑣的專業操作，為用戶提供了一個簡單低成本的方式以實時創建場景對象的三維多媒體內容。（2）減少對重建動態畫面必要的相機部署，避免複雜的相機同步等問題，提高了攝像機校準的整體靈活性。 本課題研究以單個反射鏡視頻序列代替攝像機網路完成攝像機自動校準和非剛性物體高質量三維模型重建。深入分析反射鏡形成的虛擬相機網路圖像輪廓間的幾何約束，利用與轉台運動的幾何相似性，發現反射鏡運動的新約束，解決用單幅靜態物體圖像完成相機內外參數校準的問題。由於僅需要一幅圖像，所得結論可推廣到校準內外參數變化的自由相機，或恢復動態非剛性物體的三維數位化信息。因此本課題的研究既針對可變焦的攝像機自動校準套用需求，挖掘反射鏡運動的幾何新約束，也為重建高質量動態非剛性物體三維模型研究提供新思路和新方法。 成果概述：本項目共發表學術論文六篇。其中一篇亞洲計算機視覺會議演講論文（ACCV）（接收比率3.6%）,一篇國際圖像處理會議演講論文（ICIP），一篇歐洲計算機視覺會議專題研討會（ECCV workshop）論文, 一篇SPIE電子圖像會議（SPIE electrical imaging conference）論文, 一篇神經計算論文（Neurocomputing），一篇信號，圖像與視頻處理論文（Signal, Image and Video Processing）。待發表論文兩篇，待批軟體著作權一項。另外，本項目共培養博士生一名，碩士生三名。本項目期間舉辦過一次國際會議。