《雲環境中基於三維世界模型的圖像表示與壓縮》是依託中國科學技術大學，由劉東擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：雲環境中基於三維世界模型的圖像表示與壓縮
- 項目類別：青年科學基金項目
- 項目負責人：劉東
- 依託單位：中國科學技術大學
中文摘要,結題摘要,
中文摘要
雲環境中海量的圖像/視頻數據和雲所要支持的豐富套用之間的矛盾給圖像表示與壓縮提出了新的挑戰，而三維世界模型的逐步建立則為有效地表示自然圖像提供了新的機遇。本項目擬研究的關鍵科學問題是在雲計算環境中如何有效地表示和壓縮圖像/視頻數據，以便與其他類型的數據有機地關聯、整合，採取的研究途徑是基於三維世界模型和海量圖像庫，提取、描述圖像中的關鍵視覺信息，並利用基於模型的和基於圖像的繪製技術，根據關鍵視覺信息重建原圖像。本項目的研究內容包括：(1) 一種普適的基於模型的圖像編解碼框架，利用三維模型和圖像庫作為先驗知識；(2) 基於三維模型和圖像庫的圖像分析和合成方法，進行圖像和關鍵視覺信息的相互變換；(3) 對所提圖像編解碼框架的評判和最佳化，綜合考慮壓縮性能、計算性能、數據組織和管理能力等。本項目的實施將為雲計算中的圖像/視頻數據表示提供實用的方案，並推動基於模型的圖像編碼進一步發展。
結題摘要
隨著雲計算的發展，雲中已經存儲了海量的多媒體數據資源。由於圖像視頻的數據量大、信息量多，對其進行一定的壓縮編碼是十分必要的，但是現有的圖像視頻壓縮方法大都是基於信號處理理論，遵循變換-量化-熵編碼的套路，得到的碼流主要表達了變換係數，致使單個圖像視頻很難同其他圖像視頻、甚至其他類型的數據聯繫起來，不利於在雲環境中結構化地組織和管理數據。為此，本項目研究的關鍵科學問題是在雲計算環境中如何有效地表示和壓縮圖像視頻數據，以便與其他類型的數據有機地關聯、整合。 本項目的主要研究內容和重要成果包括： (1) 研究了基於三維模型的雲圖像壓縮方法。提出了基於三維點雲的圖像間預測方法，根據視角和尺度相似性選取參考圖像，基於三維點投影進行圖像變形，並施加亮度補償得到預測圖像。進一步提出了以三維點雲刻畫幾何信息、以高解析度圖像片刻畫顏色紋理信息的三維泛化場景模型，並基於該模型，改進了圖像間預測方法，提出了面向壓縮的圖像繪製方法，建立了基於三維模型的雲圖像壓縮框架。所提方法在典型雲圖像資料庫上測試，比JPEG獲得2-4倍的壓縮效率提升，比HEVC intra單張圖像最多可節省約40%碼率。 (2) 研究了光場圖像壓縮方法。提出了基於偽序列的光場圖像壓縮方法，將光場原始圖像分解為各個視角圖像、再組織成偽序列進行壓縮，相比原始圖像直接用JPEG壓縮，所提方法獲得了最高6.6dB的性能提升，並在多媒體領域重要國際會議ICME 2016光場圖像壓縮挑戰賽中贏得冠軍。 (3) 研究了雲環境中的圖像語義表示方法。為了克服從圖像低層特徵直接映射高層語義所存在的“語義鴻溝”問題，提出了基於雲圖像在社交媒體中的傳播情況、通過分析用戶的共同興趣來推導圖像高層語義的方法，實驗結果顯示對圖像語義標註的性能提升超過40%。 在IEEE Trans和ICME、ICIP等國際重要期刊和會議上發表學術論文14篇，獲得論文獎2項，申請專利4項。
