《雙目立體視頻到多視點立體視頻生成及壓縮方法研究》是依託北京大學，由張哲斌擔任負責人的青年科學基金項目。
基本介紹
- 中文名：雙目立體視頻到多視點立體視頻生成及壓縮方法研究
- 項目負責人：張哲斌
- 項目類別：青年科學基金項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
下一代立體電視正向裸眼立體電視發展。儘管有諸多裸眼立體電視產品已經推向市場，但整個產業的發展依然受到多視點立體視頻內容生成技術的制約。第一，直接的多鏡頭拍攝系統不能用於多數實際場景拍攝（例如要求攝像機運動的拍攝）；第二，多路視頻的大數量成為系統實用化的瓶頸之一，給存儲、傳輸上的諸多困難。本項目將研究從立體視頻生成多視點立體視頻的方法。探討使用視頻加多種深度線索這樣的形式表示立體視頻和多視點視頻。深度線索涵蓋立體視頻中由視點之間匹配獲得的視差（或深度）信息，又包括從單路視頻中獲取的諸如運動、遮擋、光照、聚焦模糊、透視投影等單目深度信息。最終能夠從這些信息中提取出能夠穩定表示場景空間結構的深度線索，進而為虛擬視點視頻生成提供可靠的空間結構依據，同時這些線索也會進一步地套用於多視點立體視頻的壓縮上來，從而實現在一種公共的表示下，空間結構信息提取、虛擬視點視頻合成、多視點視頻壓縮的一體化方案
結題摘要
本項目針對新興的視頻種類——多視點視頻節目源不足的問題，定位於多視點視頻生成及壓縮問題的研究。具體的，針對視頻生成時影響視頻生成質量和生成效率的因素進行分析，著重研究其中深度信息傳遞問題和場景標註信息幀間傳遞的研究；針對轉化生成而來的多視點視頻，著重研究轉化過程中的附加信息對視頻壓縮性能的提高。 在項目執行期間，項目團隊在上述三方面取得的進展在預期的計畫之中，主要的代表成果包括： • 深度信息幀間傳遞研究。由於參考了紋理圖像，使得在最佳化得到的深度圖中，邊緣信息和空間內的平滑信息都能夠與其對應的紋理圖像相一致。在此基礎上，進一步引入在時間域上的連續幀之間的平滑性約束，使得所估計的深度圖儘可能穩定。實驗結果顯示，所提出的深度傳遞算法在不同的場景中都能夠得到較低的錯誤率。以相關成果撰寫的論文被國際圖像處理大會ICIP接收發表。 • 場景標註信息幀間傳遞研究。除了深度信息的傳播，把語義標註圖從關鍵幀傳遞到非關鍵幀上不僅可以節約一定的計算資源同時也能保證幀間時域的相關性。在實驗中，我們使用了NYU的視頻數據集作為測試數據對算法進行評估，所提方法要比使用運動信息進行直接的映射得到了更為準確的計算精度，同時在標註圖的視覺質量也得到了提升。以相關成果撰寫的論文被國際會議ISCAS接收發表。 • 基於緊緻表示的多視點視頻壓縮方法研究。在視頻的生成過程中，除了最終的深度圖和視頻，也會產生一系列的中間結果，而這些中間結果作為“副產品”卻包含了大量對重構深度圖起到關鍵作用的信息。基於這樣的考慮，我們可以從這些“副產品”中提取一定的“深度線索”來實現恢復深度視頻的重要依據。我們與兩種現有的視頻壓縮算法做了比較，對於MVC 和2D-plus-depth t我們分別採用QP值為28, 32, 36和40以生成不同比特率的壓縮視頻。從這三種方法的率失真性能來看，比起MVC，所提方法使得解碼的立體視頻的質量在同等的比特率下平均增加0.77dB到3.43dB，，比特率降低14.24%到58.92%；與2D-plus-depth相比質量的提升有1.19dB 到3.99dB或者說可以節約19.25%到55.48的比特率。以相關成果撰寫的論發表在IEEE Trans. on Image Processing上
