基於對象分析的圖像/視頻內容編輯

《基於對象分析的圖像/視頻內容編輯》是依託清華大學，由張松海擔任項目負責人的面上項目。

基本介紹

• 中文名：基於對象分析的圖像/視頻內容編輯
• 依託單位：清華大學
• 項目負責人：張松海
• 項目類別：面上項目

項目摘要

圖像/視頻的智慧型化、個性化內容製作已成為數字內容產業的核心競爭力和重要的技術發展趨勢。圖像/視頻是三維場景在二維上的映射，具有內在的三維場景特性，因而圖像/視頻數據在像素域上具有典型的時空相關性。本項目充分利用這種時空相關性，對圖像/視頻在像素域進行場景對象分析，提取與編輯內容相關的特徵和場景對象，重構編輯所需的場景信息，進一步研究基於場景對象空間結構的圖像/視頻裁剪、圖像/視頻內容增強、無縫視覺過渡、藝術風格變換等多種編輯算法，從而實現自動地或僅依靠簡單互動下的場景內容高質量編輯。本項目的研究成果可以直接套用於圖像視頻個性化編輯、動畫製作、數字藝術創作、廣告傳媒等領域，或為普通用戶提供便捷的圖像/視頻內容編輯工具。

結題摘要

圖像/視頻的智慧型化、個性化內容製作已成為數字內容產業的核心競爭力和重要的技術發展趨勢。本項目針對圖像/視頻特徵提取與對象分析，以及面向用戶需求的圖像/視頻內容編輯方面開展研究，提出了一系列基於深度學習的圖像目標檢測與識別方法、基於場景對象空間結構的圖像/視頻裁剪、數據驅動的圖像色彩編輯、基於場景特徵匹配的圖像無縫視覺融合、圖像/視頻藝術風格變換等方法，構建了PhotoRecomposer互動圖像構圖最佳化平台、視頻實時人像分割與背景處理系統以及全景視頻實時拼接系統三個圖像/視頻內容編輯平台。項目共發表/錄用論文13篇，其中包括IEEE TVCG、CGF期刊和IEEE CVPR、ICIP會議論文共4 篇，培養博士2名，碩士4名。項目團隊套用基於深度學習的目標檢測技術獲得了國家自然科學基金委“空間信息網路”重大研究計畫“眼神杯”遙感影像稀疏表征與智慧型處理算法大賽一等獎。項目成果舒適度驅動的雙目視頻視差編輯方法獲得Computational Visual Media雜誌2016年度高引用論文獎。項目團隊通過與騰訊、思科等公司進行多種形式的合作研發，積極進行項目成果轉化，已有多項成果實現落地套用，避免瑕疵的圖像拼接方法成功套用於清華-騰訊網際網路創新技術聯合實驗室“全景視頻拼接與融合”項目中，並套用在騰訊公司炫鏡全景視頻產品中，該項目因此獲得清華-騰訊聯合實驗室套用創新獎；實時人像視頻分割與背景處理成功套用于思科遠程會議系統中。