《基於內容感知編輯運算元的複合型人臉圖像真實感繪製》是依託華南理工大學，由梁凌宇擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於內容感知編輯運算元的複合型人臉圖像真實感繪製
- 項目類別：青年科學基金項目
- 項目負責人：梁凌宇
- 依託單位：華南理工大學
項目摘要,結題摘要,
項目摘要
人臉圖像真實感繪製在文化創意產業中有著廣泛的套用，對該產業的發展與技術創新起到重要作用。它是通過在圖像空間進行圖像表觀特徵（如光照、顏色）的不同編輯變換（如區域的選擇與融合）疊加來實現具真實物空間感效果的人臉圖像，是計算圖形學、計算視覺以及計算機攝影學的一個重要研究領域和研究前沿。. 本項目希冀通過在編輯傳播模型中融合人臉特徵提取與DLA子空間學習，構建出特徵學習的內容感知編輯傳播模型，並在此基礎上，開展基於內容感知編輯運算元的複合型人臉真實感繪製問題的研究，力爭在理論上和套用上均有所突破。同時通過提出稱為“特徵感知蒙板”的方法來實現區域選擇、編輯設定和區域融合編輯在準確性、便捷性和容錯性的效能提升；並以此構建一個具復用性和擴展性的複合型人臉繪製框架，來同時實現具視覺一致性、高效性和多樣性的光照生成、虛擬化妝、皮膚修飾、人臉融合等繪製效果。
結題摘要
人臉圖像真實感繪製在文化創意產業中有著廣泛的套用，對該產業的發展與技術創新起到重要作用。它是通過在圖像空間進行圖像表觀特徵（如光照、顏色）的不同編輯變換（如區域的選擇與融合）疊加來實現具真實物空間感效果的人臉圖像，是計算圖形學、計算視覺以及計算機攝影學的一個重要研究領域和研究前沿。 本項目從半監督學習的角度，提出了一個整合了不同濾波模型和傳播模型的理論框架，為構建內容感知的人臉編輯變換運算元提供了理論基礎。基於該統一框架，通過在編輯傳播模型和濾波模型中融合人臉特徵提取與特徵學習，構建了不同的具特徵感知的人臉編輯運算元，提升了人臉編輯中區域選擇、編輯設定和區域融合等在準確性、便捷性和容錯性的效能提升。通過對不同編輯運算元的有機組合和疊加，構建了一個具復用性和擴展性的複合型人臉真實感繪製框架，實現了具視覺一致性、高效性和多樣性的光照生成、虛擬化妝、皮膚修飾、人臉融合等繪製效果。 項目的研究與經費均按計畫執行，發表論文8篇（其中人第一/通訊作者JCR一區SCI期刊2篇，第一/通訊作者EI會議4篇）；公開一個人臉資料庫SCUT-FBP5500，並在開源平台Github上獲得了廣泛關注（幾個月內獲得200多個標星）；構建了一個複合型的人臉合成雲計算平台demo；申請專利3項（均為第一或獨立申請人）；參加國際會議3個；經費結餘少於30%。
