腦認知融合的3D視頻質量評價深層模型研究

《腦認知融合的3D視頻質量評價深層模型研究》是依託中國科學技術大學，由陳志波擔任項目負責人的面上項目。

基本介紹

• 中文名：腦認知融合的3D視頻質量評價深層模型研究
• 項目類別：面上項目
• 項目負責人：陳志波
• 依託單位：中國科學技術大學

中文摘要

3D視頻質量評價的研究能對未來3D多媒體產業提供服務質量評判的標準和最佳化目標，具有重要理論指導意義和實際科學套用價值。該研究要從多維度衡量人腦對視頻質量的感知，但現有視頻質量評價方法缺乏擬合人腦認知的模型機制，無法反映腦認知形成視頻質量感知的深層過程。為突破傳統方法上圖像特徵到視頻質量模型的簡單直接映射關係，本課題擬構建模擬人腦認知的深層架構，融合視頻數據和反映人腦內部中高層認知的數據，建立符合3D視頻套用需求並擬合人腦認知過程的3D視頻質量評價模型。本課題擬開展的研究包括：(1)建立滿足實際套用的3D視頻質量主觀評價和腦認知數據特徵集；(2) 研究腦認知融合的3D視頻質量評價模型的深層理論架構；(3) 研究3D視頻質量評價模型在套用中的最佳化。本課題擬通過上述研究，建立發展腦認知融合的3D視頻質量評價深層模型理論，最佳化其在不同視頻領域的套用，促進3D視頻產業的發展並推進制定相關視頻質量評價標準。

結題摘要

3D視頻質量評價的研究能對未來3D多媒體產業提供服務質量評判的標準和最佳化目標，具有重要理論指導意義和實際科學套用價值。本課題的研究從多維度衡量人腦對視頻質量的感知，構建模擬人腦認知的深層架構，建立符合3D視頻套用需求並擬合人腦認知過程的3D視頻質量評價模型。本課題開展的研究內容包括：(1)建立滿足實際套用的3D視頻質量主觀評價和腦認知數據特徵集；(2) 研究腦認知融合的3D視頻質量評價模型的深層理論架構；(3) 研究3D視頻質量評價模型在套用中的最佳化。本課題建立了立體視頻質量評價數據集並公開給學術界使用。基於腦視皮層立體視覺認知理論，本課題提出了一個針對3D視頻的深度感質量評價方法，該方法結合了自回歸預測視差熵度量(ARDE)和用於反映視頻內容差異的時空域特徵能量加權。同時我們據此提出了一個無參考的3D視頻整體體驗質量評價模型，通過模擬人的雙目視覺相加相減操作，在相加通道上使用表征圖像紋理失真的融合自然場景統計特徵(FNSS)，同時在相減通道上使用視差圖的ARDE特徵用於反映3D深度感。我們提出的3D視頻質量評價模型在公開的三個3D視頻資料庫上均優於現有的3D視頻質量評價方法。本課題還構建了對應於人眼左右視通路機制的雙通路多層互動神經網路，融合分層隱變數特徵建立3D圖像質量感知模型，在多類別失真數據集上與人眼感知度量相關性高達97%。課題也完成3D視頻質量評價模型的原型系統，並建立3D傳輸原型系統，驗證本課題模型的有效性。在國內外主流學術期刊(如IEEE Trans. on CSVT, IEEE Trans. on Image Processing等)和主流國際會議(如ICME, ICIP, QoMEX, VCIP, ISCAS等)發表高水平論文28篇；申請國家專利10項，提交標準技術提案4項。參與組織2次國際學術會議（ICIP 2017和PCS 2019），分別擔任組織委員會成員和技術委員會(TPC)主席。本課題通過上述研究，建立和發展了融合人腦認知的3D視頻質量評價深層模型，最佳化了其在不同視頻領域的套用，為後續視頻產業的發展奠定了良好的基礎。