《基於視頻分割的實時環境光序列採樣的研究》是依託天津大學，由萬亮擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於視頻分割的實時環境光序列採樣的研究
- 項目類別：青年科學基金項目
- 項目負責人：萬亮
- 依託單位：天津大學
項目摘要,結題摘要,
項目摘要
環境光採樣技術作為可提高圖形渲染的真實感及繪製速度的有效手段，已被廣泛用於圖形學的諸多套用中。然而，目前成熟的環境光採樣技術主要針對於單幅環境光圖像，對環境光圖像序列的採樣研究還很不充分，現有的方法難以在時序一致性、渲染準確性以及處理實時採集的不定長度序列等幾方面同時做好。本課題將基於視頻分割技術設計一個可處理實時的任意長度的環境光圖像序列的採樣框架，通過將環境光採樣與快速的視頻分割技術相融合，以達到實時處理的性能，渲染準確度的提高，以及時序一致性的增強。該採樣框架可套用於環境光採集系統，對採集數據進行實時採樣，從而可極大的降低對存儲空間的需求。本課題將搭建實驗平台，通過在真實數據上對比實驗的手段綜合評測所提算法的性能。
結題摘要
環境光採樣技術將高動態範圍的高精度全景圖像近似為有限數量的方向光源，從而可有效提高圖形渲染真實感和繪製速度。本項目針對目前環境光採樣技術在時序一致性、渲染準確性以及處理不定長度序列所存在的不足，研究了基於視頻分割技術的環境光圖像序列採樣問題，並提出有效解決方案。於此同時，深入分析全景圖序列的相關套用：基於全景圖序列的虛擬瀏覽，提出並實現了實時視頻瀏覽模式。作為環境光圖像序列採樣的特例，首先研究Meanshift圖像分割技術用於單張環境光圖像的切分效果；面對環境光的高動態範圍對Meanshift分割性能帶來的明顯負面影響，採用色調映射技術減小環境光圖像的動態範圍，從而達到自適應Meanshift分割效果。在過分割的基礎上，提出基於區域重要性進行自適應的區域分裂-合併算法，從而產生指定數目的採樣點分布。通過與已有方法進行實驗比較，發現基於自適應Meanshift分割的環境光採樣技術可有效提高渲染結果的準確度。考慮到序列採樣對算法效率的要求，在環境光圖像序列採樣中，採用Temporal SLIC算法達到時序一致性強的視頻分割結果。設計考慮時序相關性的自適應區域合併-分裂算法，並提出連續兩幀之間的採樣點映射方法，將前一張環境光圖像的採樣點分布通過時序分割的對應關係映射到當前環境光圖像上。實驗比較發現基於視頻分割的序列採樣方法可有效提高渲染精度，並達到與已有方法相當的時序一致性。在網路環境下，虛擬瀏覽服務通常只提供稀疏採樣的全景圖序列，從一張全景圖跳躍到另一張全景圖的虛擬瀏覽在視覺上會造成明顯的不連續性。提出並實現一種新的全景圖視點插值技術，可有效模擬在鄰接全景圖間的連續視點變換。與現有技術相比，所提算法在運行時間上達到實時瀏覽的性能，插值結果在主觀的視覺效果、客觀準確性衡量上均體現出明顯優勢。在全景圖序列虛擬瀏覽研究中，發現目前缺少快速準確的全景圖特徵提取與匹配技術。借鑑了平面圖像特徵提取與匹配的研究技術，提出採用氣象學中的一種球面表示方法，進而將一種快速魯棒的二值特徵提取方法拓展至球面域。特徵檢測性能的量化分析結果表明，所提算法較已有的球面特徵提取算法在速度、準確性、魯棒性上具有明顯優勢。
