《基於深度信息的多視點視頻的高效表示和編碼研究》是依託北京交通大學，由劉美琴擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於深度信息的多視點視頻的高效表示和編碼研究
- 項目類別：青年科學基金項目
- 項目負責人：劉美琴
- 依託單位：北京交通大學
項目摘要,結題摘要,
項目摘要
下一代電視（三維電視）先進的顯示技術給人的視覺帶來強烈的衝擊和震撼。 隨著顯示技術的發展和觀眾享受自然3D世界的需求，創建更加多元化和更加逼真的三維顯示技術成為迫切需要解決的問題。三維視頻是經典二維視頻的擴展，最明顯的特徵就是在傳統二維視頻的基礎上增加深度信息，由於雙目視差的原理，用戶可獲得具有深度感的立體圖像，增強了視覺的現實感和逼真感。三維視頻的套用場景十分廣闊，但是三維視頻數據量非常龐大，這對三維視頻的高效表示和壓縮提出了嚴峻的考驗。在三維視頻表示方面，基於深度圖的場景表示方法，因場景遮擋及深度數據不連續將會導致中間圖像出現較大範圍的空洞，對圖像重建質量造成嚴重的影響；在多視點視頻編碼方面，現有算法大多只去除時間冗餘，並沒有完全去除視角間的冗餘，極大地影響了多視角編碼的性能。本項目將從這兩方面出發，在研究深度圖像的基礎上，提出能有效提高重建圖像質量的算法和能高效壓縮多視點視頻的算法。
結題摘要
與普通的紋理圖像不同，深度圖內部含有較少的紋理信息且存在很大的空間冗餘，且其邊緣信息對合成視點質量的影響非常大。本課題通過分析MVD（Multi-view Video Plus Depth）三維視頻編碼格式中深度圖的特性，進行了多視點視頻的高效表示和編碼的研究工作，具體成果如下： (1) 在基於深度特性的深度圖像處理算法方面：在現有2D視頻數據基礎上，利用圖像分割的金字塔Lucas-Kanade光流法提取2D視頻中的深度信息；針對深度圖解析度較低的問題，提出了基於紋理信息與深度圖空時梯度的深度圖上採樣算法；基於深度圖像特性、視頻時域相關特性以及深度與彩色視頻的相關性，提出了構建有效的重建視點中空洞填補參考信息的算法；利用深度信息將二維圖像轉換到三維空間，分別向XOZ和YOZ平面進行投影, 提出了利用深度信息進行三維顯著性提取的框架；(2) 在基於視角相關性的多視視頻編碼算法方面：充分利用視角內和視角間的相關性將多視角編碼與多描述編碼進行融合以實現三維視頻的可靠傳輸；(3) 結合深度特性的深度視頻編碼算法方面：基於深度圖是由邊緣尖銳而內部平滑的區域組成的特點，提出了利用直方圖的深度圖分割方案，將深度圖像分成前景和背景兩部分，並利用形狀小波變換對兩部分區域進行SPECK編碼；考慮到深度圖像中目標對象的邊緣特徵，提出了基於自適應的塊壓縮感知的深度圖像編碼算法，將深度圖像分成不同尺寸的塊，並對這些塊自適應的分配採樣率；考慮到深度圖像的稀疏性，提出了最佳化設計的多描述格型矢量量化器；利用深度圖像的像素值稀疏的特點，提出了一種基於熵的自適應深度圖編碼算法，將深度圖分割為不同大小的塊，每塊中深度特徵由像素的熵表征；提出了一種基於視頻幀交錯的三維視頻多描述編碼方案；(4) 搭建了八視點立體採集顯示系統：利用攝像機陣列、數位訊號發生器、SuperD三維裸眼電視搭建了八視點採集、編碼、傳輸和交織顯示系統。 本課題按照研究目標，完成了相應的研究內容；發表論文20篇，SCI檢索10篇，EI檢索7篇，ISTP檢索3篇；申請發明專利4項；人才培養方面，有1位博士後晉升為副教授，畢業了2名博士生和2名碩士生；學術交流方面，課題負責人和1名博士生於2014 -2015年分別赴加拿大西門菲莎大學和洛桑理工進行為期一年的公派訪問學習，課題組參加了PCM、ICME等學術會議10人次。
