《立體圖像感知舒適度評價及提升方法研究》是依託上海交通大學，由周軍擔任項目負責人的面上項目。
基本介紹
- 中文名：立體圖像感知舒適度評價及提升方法研究
- 項目類別：面上項目
- 項目負責人：周軍
- 依託單位：上海交通大學
項目摘要,結題摘要,
項目摘要
3D電視經過前幾年快速發展又一次進入瓶頸期，迫切需要在立體電視質量評價及製作技術方面取得新的突破。本項目基於前期3D電視研究成果，建立開放的立體圖像庫，進行主觀舒適度質量評價，開展舒適度生理心理學實驗與研究，標註圖像真值數據，研究建立3D圖像的感知舒適度評價模型，最後基於評價結果進行3D圖像舒適度調整。項目重點解決的問題包括：開放立體圖像庫建庫及特徵標註、舒適度主觀測評；結合眼動跟蹤的舒適度真值標註方法及生理心理學評價模型；基於立體圖像庫數據，研究建立舒適度評價模型、舒適度調整方法。項目預期在評價模型及調整方法等關鍵問題上取得創新突破，建立內容包括立體圖像、視頻、標註數據及主觀評價結果的開放立體圖像庫，基於生理心理學知識及特徵統計分析，形成立體圖像舒適度評價模型，提出針對性的舒適度調整方法。研究進展將有助於推動3D電視內容產業發展，預期成果在3D節目製作與質量控制等領域有著廣泛套用前景。
結題摘要
3D電視經歷前一階段快速發展又一次進入瓶頸期，迫切需要在立體電視質量評價及製作技術方面取得突破。本項目研究內容包括:建立具有主觀質量評價標籤的開放立體圖像庫，研究建立3D圖像的舒適度評價模型，開發3D圖像舒適度調整工具。經過四年研究，取得了以下成果： （1）開發了用於立體圖像主觀質量評價的套用網站，規範了評價流程管理與數據處理，為保證後續主觀質量評價數據採集質量打下了良好基礎； （2）針對出入屏對立體觀看舒適度影響，研究建立了一個具有移軸立體圖像庫，在進行主觀質量評價同時，同步採集了眼動數據，首次建立了具有眼動數據標註的立體舒適度圖像庫； （3）在主觀質量評價實驗過程中，我們觀察到主觀評價結果受環境、個人偏好影響存在一定噪聲。基於統計建模及集成學習方法，研究了主觀評價數據的質量處理與提升方法，針對立體圖像質量評價套用最多的IEEE-SA庫，通過主觀成對比較實驗驗證了項目所提質量標籤提升方法可有效提升標籤質量； （4）提出了一種非關聯像素比(PUP)立體圖像質量評價方法，該方法在不提取視差信息條件下可取得較好的預測效果，同時也研究了基於深度學習的客觀質量評價方法； （5）利用眼動數據立體圖像庫，採用非參數統計學習方法進行了眼動模式聚類分析研究，提取到了不舒適觀看條件下的眼動模式，這些模式反映了人眼不舒適觀看條件下的生理、心理特徵； （6）基於Adobe After Effects非線編平台開發了具有幾何校正、幀同步對齊、移軸/畫面裁剪、3D格式轉換等功能的3D視頻質量提升處理外掛程式，開發了一套可用於兩路高清立體拍攝的立體視頻實時校正處理設備。 項目發表期刊論文5篇、會議論文10篇，申請國家發明專利3項，已獲專利授權1項，轉讓2項3D處理調整方法國家發明專利，申請軟體著作權2項。
