《圖像和視頻空/時域相關性建模及其套用》是依託上海交通大學，由王慈擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：圖像和視頻空/時域相關性建模及其套用
- 項目類別：青年科學基金項目
- 項目負責人：王慈
- 依託單位：上海交通大學
項目摘要,結題摘要,
項目摘要
圖像及圖像序列的空/時域相關性是實現視頻信號預測和噪聲分離的重要條件，它決定了視頻壓縮及處理算法所能達到的性能。目前，多數算法在做視頻處理時僅部分利用信號的空域或時域相關性，從未將空/時域相關性作為一個系統問題加以考慮。本項目擬以多通道信號處理理論為基礎，研究圖像/視頻的空/時域相關模型，對視頻信號做2D+T的3D相關性建模，再依據所建模型深化圖像/視頻去噪聲、視頻超解析度重建、視頻幀率上變換和可分級視頻編碼等算法的研究，從而設計出性能更優的圖像/視頻處理算法。實現上述目標需研究解決的問題包括：圖像/視頻的相關性模型選擇；相關性模型的參數估計；圖像噪聲估計及去噪；圖像增強中的正則化運算元設計；基於對象的分割和映射等問題。本項研究融合圖像處理、統計信號處理和盲信號估計等前沿技術理論，在研究基礎理論的同時關注研究的實用性，預期研究成果在國防軍事、醫學診斷和安防監控等領域有著廣泛的套用。
結題摘要
圖像和視頻的像素在時/空域之間存在著很強的相關性，利用這一相干性，我們可以對圖像的內容進行預測，並可將圖像信號與噪聲信號分離。本課題我們採用兩種方法對圖像的相干性進行建模：自回歸模型和圖像比鄰塊間的能量相干性模型。在自回歸模式中，我們假設圖像相鄰像素之間存在著相干性，通過約束方程設計，利用一個塊中像素簇求取出相鄰像素之間的相關係數。在更大的尺度上看，圖像塊與塊之間也存在著一定關聯，這種關聯表現為在圖像塊的能量譜上符合拉普拉斯分布。這兩種模型有助於提高圖像處理算法的性能。在本項研究中，我們不僅研究圖像在空域的相干性，並且將該相干性沿時域進行擴展，研究在一定的時間窗內，像素與時空域比鄰的像素之間的關係，即對像素相關性進行3D建模。在建模的過程中，側重於研究相干係數沿時間軸的變化規律。完成上述建模工作後，我們將該模型用於圖像和視頻處理。基於圖像像素間的相關性，我們提出了基於學習的圖像超解析度算法和自適應去噪算法，並通過實驗證明了上述算法的有效性。在日常生活中，圖像和視頻多經過壓縮才能被有效地存儲和傳輸，壓縮噪聲是圖像降質的主要原因。本項科研結合人眼視覺模型，對量化噪聲的分布規律及可視性進行深入研究，並且基於噪聲的可視程度提出了多種壓縮圖像質量的評估方法。此外，我們還對量化噪聲的客觀度量方法進行研究，提出了一種基於相同圖像的多幅不同壓縮率拷貝估計壓縮噪聲的新方法。視頻的時域相關性分析還被用於解決液晶顯示中存在的拖影問題，基於圖像時域的相干性，設計了幀率上變換算法，該算法具有運算量低且性能高的特點。在項目研究計畫外，項目組對當前熱門的3D圖像質量評估進行研究。主要在不同視角的圖像配準及視差圖像信號的相關性對圖像質量的影響加以研究，已取得階段性研究成果。項目研究成果已發表論文10餘篇，其中期刊論文8篇（國際2 篇，國核心心期刊6篇），國際會議論文4篇。2篇論文為SCI 檢索，8篇EI 檢索，4 篇ISTP 檢索。培養碩士生4名。申請發明專利1 項。開發軟體1項。此外還有1篇被SCI錄用，2篇國際期刊審稿中。
