視覺注意機制下基於深度機率圖模型的情感計算

《視覺注意機制下基於深度機率圖模型的情感計算》是依託陝西師範大學，由肖冰擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：視覺注意機制下基於深度機率圖模型的情感計算
• 項目類別：青年科學基金項目
• 項目負責人：肖冰
• 依託單位：陝西師範大學

項目摘要

表情合成是情感計算的重要研究內容之一，它將攝像頭捕捉的真實人臉照片轉換成具有不同表情的畫像，有助於在虛擬世界中構築更加擬人化風格，激發學生學習熱情。目前人臉照片-畫像轉換研究領域很少涉及具有明顯幾何形變（例如：表情變化）的人臉圖像，本課題擬以表情合成作為切入點探索情感計算的關鍵技術，在對視覺感知計算模型進行研究改進的基礎上，設計具有較強魯棒性的表情合成及最佳化框架。. 研究內容包括：1)構建視覺選擇性注意模型，基於該模型研究人臉圖像局部語義特徵提取；2)設計深度機率圖模型，利用該模型逼近照片-畫像語義特徵映射關係，實現畫像表情合成；3)聯合視覺敏感度和圖編輯距離評估合成畫像的質量，並建立質量反饋機制最佳化表情合成方法。. 本項目可有效實現人臉表情合成，並為實現具有更寬泛的幾何形變的人臉漫畫合成提供新的研究思路。同時該研究豐富了視覺感知計算理論研究，拓展了其在情感計算中的套用空間。

結題摘要

表情合成是情感計算的重要研究方向之一，它有助於在寓教於樂等相關產業中構築更加擬人化的風格和更加逼真的場景，即將人臉照片轉換成具有不同表情的漫畫。將視覺感知計算模型與具體的圖像分析與理解任務相結合，將人類所具有的圖像質量判斷經驗和視覺分析處理過程引入人臉表情的分析理解中，是本項目的核心內容。研究成果體現在如下五個方面： 圖像預處理方面，提出最大化保留對比度信息的彩色圖像灰度化算法，最大程度保留原彩色圖像的結構特徵和對比度信息；提出基於自適應雙邊濾波去除蚊式噪聲的算法，在保證去除蚊式噪聲性能的前提下，提高圖像的邊緣保持特性；提出基於超像素半監督學習的圖像分割算法，適用於大規模的圖像分割；提出基於多特徵組合的視頻文本檢測算法，提高了視頻圖像中文本區域的定位精度。 人臉表情語義特徵提取方面，針對訓練樣本不足的問題，實現了基於級聯回歸的兩層框架的特徵點提取算法，該方法提取的特徵點更加符合人臉的物理意義，精度得到很大的提升；提出基於視覺選擇性注意機制的局部語義特徵提取算法，所提取特徵可以更加凸顯五官區域的視覺重要性。 基於深度學習、機率圖模型的人臉特徵識別方面，提出基於深度機率圖模型的語義特徵映射模型，提高機率圖模型深度層次的自適應性；提出兩種基於深度學習的人臉表情識別算法，有效地加快模型收斂速度，提高人臉表情識別率。 提出基於人眼視覺敏感度和圖編輯距離的合成圖像質量評價算法，有效地判定合成圖像失真程度和判別信息保有度兩個方面的質量。 面向教學實踐的教學質量評價以及教學效果預測方面，提出並實現基於多終端的實時學習質量動態跟蹤模型；提出基於CART算法的MOOC學習行為分析方法，實現根據學習行為對課程成績的有效預測。 培養碩士生十餘名；發表與課題相關並標註本基金資助的學術論文總計17 篇，其中期刊論文10篇，EI檢索的國際會議論文7篇；申請國家發明專利6項，其中授權2項，授權軟體著作權15項，獲省部級獎勵1項。