《基於立體視覺感知特性的多視點視頻錯誤隱藏研究》是依託杭州電子科技大學，由周洋擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於立體視覺感知特性的多視點視頻錯誤隱藏研究
- 項目類別：青年科學基金項目
- 項目負責人：周洋
- 依託單位：杭州電子科技大學
項目摘要,結題摘要,
項目摘要
多視點視頻系統因能提供立體感和互動性，具有廣泛的套用前景，然而如何提高多視點視頻流網路傳輸的容錯性是其推廣套用急需解決的關鍵性難點問題。錯誤隱藏是視頻傳輸中最基本的差錯控制手段之一，當前流行的雙目/多視點視頻錯誤隱藏方法只局限於利用雙/多視點視頻中的時、空、視點間相關性來重建丟失信息，忽略了立體視覺感知特性，只能從有限的角度提高雙/多視點視頻流傳輸的容錯性。本項目將從立體視覺失真敏感度和注意力兩大感知特性出發，通過主觀實驗分析和統計模型計算相結合的方式，先建立雙目恰可察覺失真模型、立體視覺注意模型、及其混合模型；隨後以此模型為基礎，面向基於分層B幀編碼結構的多視點視頻, 對丟失信息進行更高效的表達和準確的重建，分別構建出基於雙目恰可察覺失真模型、立體視覺注意模型、及其混合模型的多視點視頻錯誤隱藏新方法，實現多視點視頻錯誤隱藏的理論創新和技術突破，促進多視點視頻的廣泛套用。
結題摘要
本項目計畫從立體視覺感知特性出發，對立體/多視點視頻的錯誤隱藏技術展開研究。在獲得國家自然科學基金青年科學基金資助後，該項目進展順利。 在針對立體視覺感知特性的研究方面，項目組鑒於立體視覺剛可察覺失真模型已有相應的研究成果，因此著重對立體視覺感知特性的前沿——立體視覺顯著性檢測及其舒適度展開研究。我們研究了立體視覺不舒適度以及視差分布特徵對立體視覺注意力的影響機制，提出了一種結合立體視覺舒適度因子的立體圖像顯著性計算模型。鑒於深度（視差）信息是影響立體視覺感知的核心因素，課題組率先對深度圖顯著性檢測模型進行研究，提出了深度圖質量度量因子，並將其嵌入到深度圖顯著區域計算模型中。同時，我們基於立體圖像顯著性，給出了立體圖像舒適度預測模型。此外，項目組還提取了立體視頻圖像中的運動信息，提出了一種融合雙目多維感知特性的立體視頻顯著性檢測模型，據此給出了立體視頻舒適度預測模型。 在立體/多視點視頻錯誤隱藏的研究上，項目組率先將雙目恰可察覺失真(binocular just noticeable difference, BJND)模型加入MV-HEVC錯誤隱藏技術中。在編碼單元尺寸劃分中，我們不僅考慮了視頻自身的內容特性，還利用BJND模型以及相鄰塊運動/視差分布特徵對重建時的編碼塊大小進行自適應劃分。同時，我們還將人眼對於左右視點的失真可容忍度考慮進來，提出了結合BJND模型的新匹配準則。此外，面向MV-HEVC錯誤隱藏中的運動/視差補償重建方法中，項目組通過實驗表明：結合圖像像素平滑性和紋理結構相似性可以更好地度量丟失重建塊與周邊正確解碼塊的匹配度；根據相鄰塊深度值可對受損塊的恢復單元大小進行自適應劃分。這為尚未成熟的MV-HEVC錯誤隱藏技術研究提供了重要基礎。
