《基於視覺質量評價的高效三維視頻編碼研究》是依託中國科學院大學，由齊洪鋼擔任項目負責人的面上項目。
基本介紹
- 中文名：基於視覺質量評價的高效三維視頻編碼研究
- 項目類別：面上項目
- 項目負責人：齊洪鋼
- 依託單位：中國科學院大學
項目摘要,結題摘要,
項目摘要
三維（3D）視頻編碼技術發展面臨很多挑戰，如：編碼效率不高，視覺質量評價不精確，深度信息重建質量不理想等。必須有效的解決這些問題，3D視頻才能獲得實際的套用。本課題在對視頻編碼理論深入研究基礎上，針對3D視頻編碼技術中存在的問題，1)研究率失真最佳化理論，分析視頻和深度圖編碼的不同率失真行為，建立視頻和深度圖加權的率失真編碼框架，提高3D視頻編碼性能。2)研究立體視覺質量評價方法，分析深度和平面視頻的視覺回響，探索平面視頻與深度信息對視覺感知的共同作用，建立平面視頻和深度聯合視覺質量評價模型，準確評估3D視頻的視覺質量。3)研究深度信息視覺重建技術,分析深度圖編碼信息損失機理，結合視頻的深度感知，提供深度重建精確信息，全面考慮主觀質量和客觀質量評價效果，建立基於主客觀質量聯合自適應評價的深度重建最佳化模型，重建高視覺質量的深度圖。本課題的研究成果可為3D視頻編碼套用提供理論和技術支持。
結題摘要
隨著人們對視頻套用需求的逐漸增長，傳統二維（2D）視頻套用已經不能夠滿足人們的更高要求，因此三維（3D）視頻套用開始蓬勃發展。3D視頻編解碼是3D視頻套用中的關鍵技術，3D視頻比2D視頻需要更多的視頻數據來展示，然而海量的視頻數據對視頻的存儲和傳輸提出了巨大挑戰，沒有高效的3D視頻壓縮，3D視頻無法進行有效的存儲和傳輸，也就無法得到實際的套用。目前的3D視頻套用只能在某些不計成本的場景下得到有限的使用，而無法得到大規模的普及。本項目針對3D視頻數據的特點，對3D視頻編碼最佳化方法進行深入研究，具體在3D視頻編碼最佳化方法和視頻質量評價兩個關鍵內容進行探索，並嘗試採用深度學習等新的方法理論在視頻編碼的最佳化，使視頻編碼最佳化框架有實質性的突破。另外，圍繞深度學習方面的新技術，我們也嘗試了其在視頻圖像分析理解方面的套用，使新技術能夠在更多的套用中獲得顯著的性能提高。本項目所獲得的研究結果及其科學意義如下： 1） 在視頻質量評價方面，我們首先嘗試了使用結構相似度測量的主觀質量評價方法在現有率失真框架下的套用，然後提出了空時域顯著性檢測方法，通過該方法可以更有效檢測出人類視覺系統關注的區域。主觀質量評價方法的好壞決定評價結果是否與人類視覺系統的視頻質量感知一致，而顯著性的檢測可以更有效的確定視頻中人類視覺系統關注的區域，對關注區域進行高質量的編碼可以顯著提高視頻的壓縮性能。 2） 3D視頻是多路視頻的一種特例（包含兩路視頻），在多路視頻為視頻分析提供了更多的信息，我們將多路視頻的目標跟蹤轉化為求解最佳化問題，引入超圖理論建立時間-空間-視角多維最佳化目標函式，並給出多路超圖最佳化的求解方法，使多路視頻的目標跟蹤有更好的跟蹤效果。將超圖技術引入求解多變數最佳化函式是一種新的最佳化方法，可以替代傳統最佳化方法得到更精確的最佳化解。 3） 求解最佳化問題通常是求解一個非線性目標函式，然而現有方法無法精確求解非線性目標函式，通常使用近似方法求解，但近似方法無法得到更接近最優解的次優解，我們提出採用深度學習的方法，通過訓練擬合得到神經網路模型可獲得更接近最優解的次優解。
