《計算資源約束條件下的視頻編碼最佳化技術研究》是依託中國科學院大學，由蘇荔擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：計算資源約束條件下的視頻編碼最佳化技術研究
- 項目類別：青年科學基金項目
- 項目負責人：蘇荔
- 依託單位：中國科學院大學
項目摘要,結題摘要,
項目摘要
多媒體終端設備在處理器功耗和計算性能方面的限制成為制約新一代網路視頻通信業務發展的極大障礙，如何實現計算資源約束條件下的計算耗費－碼率－失真聯合最佳化是視頻編碼中亟待解決的瓶頸問題。本項目以此為研究目標，為從根本上解決設備功耗和計算性能變化時、如何在計算耗費調整與率失真性能間取得動態平衡的問題，探索相應的理論及技術支持：以建立計算耗費－碼率－失真三者均衡關係模型作為研究的核心點，以計算耗費的定量度量和計算資源的動態分配與調度作為研究的切入點，以計算耗費定量可調的率失真性能聯合最佳化的視頻編碼器設計作為研究的重點，深入分析其中的關鍵技術和解決方案，最終搭建編碼計算耗費、碼率、失真多維性能指標可自適應調控的視頻編碼系統，對上述模型、方法和技術進行測試驗證。本項目預期的研究成果將對推進視頻編碼最佳化控制領域的基礎理論研究及其實用化，推動新一代網路通信中多媒體業務的發展具有實際意義。
結題摘要
課題組圍繞“計算資源約束條件下的視頻編碼最佳化”這一核心問題，依照年度計畫開展了積極有效的研究，主要涉及低複雜度的高效視頻編碼最佳化相關基礎理論與方法的探討，在視覺失真評價模型、基於視覺感知特性的視頻編碼率失真最佳化模型、計算量-碼率-失真聯合最佳化等方面取得了相應的研究進展，概況如下： （1）端到端視覺失真預測模型： 在網路多媒體傳輸框架中，通過研究視頻內容、編碼參數和網路環境對於用戶體驗質量的影響，建立與主觀感覺相近的視頻質量客觀評價模型，可有助於對承載網路各個環節進行相應的最佳化，對端到端的業務質量進行監控,因此我們提出一種基於SSIM的宏塊級端到端視頻質量預測模型，通過研究編碼器設定、信道環境和解碼端錯誤隱藏方法等模組對接收端視頻重建質量的影響，實現端到端的質量估計並建立相應的質量評價模型，旨在實現基於人眼視覺特性的視頻質量度量方法，以更好實現通信系統中視頻質量最佳化與控制。 （2）基於視覺感知特性的視頻編碼率失真最佳化模型： 傳統的失真度量方法未充分利用人眼的視覺感知特性，因此在同等視覺失真的條件下，編碼壓縮性能還存在進一步提升的潛力，近年研究表明人眼感知視頻信號的模式與頻率域上的濾波過程相似，因此我們設計了一種結合運動信息的頻域上的失真度量準則MFVD，並將其運用於視頻編碼的率失真最佳化系統中的模式選擇環節，對拉格朗日乘子進行動態調整，從而實現基於視覺感知的率失真最佳化,實驗表明，我們的方法在同等視覺質量下可有效降低碼率。 （3）無線環境中複雜度受限的視頻編碼最佳化： 在無線視頻通信中，如何在攜帶型設備計算能力受限且信道環境惡劣的情況下達到較優的視頻傳輸質量是亟待解決的問題，我們通過分析編碼器複雜度、端到端失真和碼率之間的相互影響關係，提出一種新穎的計算量-碼率-端到端失真聯合最佳化算法，首先基於虛擬計算資源緩衝區VCB提出一種計算資源分配模型，基於Inter、Intra和Skip模式的端到端率失真性能分析，提出一種快速模式分類方法對每幀不同模式的編碼進行預估計，並以此完成編碼該幀時的計算資源分配，其次，基於端到端的率失真代價分析制定運動估計的複雜度級別和幀間模式判定的候選模式集合以滿足分配的計算資源，實驗表明，提出的算法在計算資源和碼率受限時可改善視頻傳輸的質量。 研究成果發表學術論文17篇（含SCI索引6篇，EI索引11篇），申請發明專利5項（已授權1項）。
