《同伴遊戲場景中的運動跟蹤與行為分析》是依託北京大學，由崔錦實擔任負責人的面上項目。
基本介紹
- 中文名：同伴遊戲場景中的運動跟蹤與行為分析
- 項目負責人：崔錦實
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
研究同伴遊戲場景中兒童行為的自動分析，在社會性發展心理學研究、兒童社會性退縮行為、自閉症等兒童行為障礙的臨床診斷與治療，具有重要的理論和實際套用價值。目前的相關研究中，有兩個問題亟待解決：一是因視角局限性與兒童間複雜遮擋關係下觀測缺失所導致的運動跟蹤魯棒性與準確性差的問題；二是由於兒童行為本身的多樣性與特異性，目前的相關研究中基於內容（視覺特徵）的成人行為的建模推理方法在解決兒童行為問題時遇到了極大挑戰，從而導致的計算模型缺失問題。對此，我們提出相應的解決思路：一：藉助特定場景中的情境信息（背景知識），增強觀測模型與動態模型，克服現有運動跟蹤框架只考慮局部信息而導致的難以解決觀測缺失的問題；二：引入社會性發展研究中對兒童行為的定義，提出融合內容與情境的新的行為計算模型，並採用機率投票框架下的行為推理方法，提供了可行的解決方案。預期研究成果對其它場景中的行為分析也有廣泛的理論與實際套用價值。
結題摘要
研究兒童在同伴遊戲場景中的運動與遊戲行為有著重要的理論和實際套用價值。針對其中的兩個核心問題：觀測缺失問題與行為多樣性、特異性問題，我們以兒童在遊戲中的注視行為模式作為關鍵線索，研究了結合情境與內容信息的運動跟蹤與行為分析方法。取得的研究成果和進展主要包括以下四個方面：1、在傳統的基於學習的頭部姿態估計的框架基礎上，結合時間連續性約束，以及來自於情境語義信息所提供的顯著性目標的語義類別與位置信息，實現了頭部跟蹤與注視點估計性能的提高；2、通過分析心理學研究中的同伴遊戲編碼表，發現了對兒童行為編碼非常重要的兩種特徵：鄰近關係和視覺注意。並在魯棒的鄰近性關係與視覺注意計算的基礎上，分別定義並提取了五種單元特徵和五種二元特徵。為了更好地表征行為的時序信息，使用了隱變數條件隨機場算法進行行為推理；3、為了更加精確地獲得兒童的視覺注意方向，考慮到兒童眼部數據的欠缺，以及現有成人數據集上訓練的模型對於兒童數據的遷移存在擬合欠佳的問題，提出使用深度卷積神經網路來學習、篩選眼部圖像的表征，使用遷移學習的方法來調整我們的網路，通過半監督的學習方式，讓模型充分擬合這些兒童數據。實驗表明我們的框架可以顯著提高兒童視線估計的精度；4、兒童的視覺注意模式的預測和評估，為兒童行為分析提供了重要的線索。而現有的基於顯著性的方法只考慮圖像底層的特徵，本研究根據特徵整合理論，將不同層面的特徵按照不同的權重組合起來構建顯著模型，引入機器學習的方法對模型進行訓練和測試。同時，本研究進行了一系列眼動實驗，收集了一組3歲兒童的眼動數據，在兒童數據上的測試表明本研究的結果優於現有方法。此外，本研究還利用帶權重的模型分析了單個被試對不同特徵的注視權重，在一定程度上考察了被試的注視偏好。我們通過與不同心理學研究者與臨床醫生的合作，研發了基於視覺注意模式的兒童視力發展、情感與社交發展、認知發展評估方法，取得了初步的進展和成果。
