基於視頻分析的兒童行為研究

《基於視頻分析的兒童行為研究》是依託東南大學，由鄭文明擔任項目負責人的重點項目。

基本介紹

• 中文名：基於視頻分析的兒童行為研究
• 項目類別：重點項目
• 項目負責人：鄭文明
• 依託單位：東南大學

中文摘要

基於視頻分析的兒童行為研究是一個涉及信息科學、心理學和教育學等多學科交叉領域的研究課題，能有效解決傳統人工編碼方法中存在的耗時、耗力、編碼結果具有主觀性等問題，促進兒童行為研究同兒童教育實踐的結合，有利於兒童社會情緒能力的培養和提高。在兒童社會情緒能力的組成中，同感能力是起基礎作用的部分，而合作能力則是同感的重要體現。本研究以兒童科學教育試驗項目平台為基礎，開展基於視頻分析的智慧型化兒童同感能力與合作能力評測研究，為兒童同感能力與合作能力評測提供全新的方法。主要研究內容包括：（1）研究兒童同感能力和合作能力評測的理論和方法；（2）兒童行為多媒體資源資料庫建設；（3）研究基於視頻的兒童面部表情識別、兒童語音情感識別、兒童手勢動作捕捉、以及眼球視線跟蹤等關鍵技術；（4）研究基於面部表情識別、語音情感識別、手勢動作捕捉、眼球視線跟蹤等視頻分析方法的兒童同感能力與合作能力評測方法。

結題摘要

人類行為是其智慧型和精神活動的外在表現，兒童的行為能自然本真地反應其智慧型活動和社會能力，通過對兒童行為的分析與識別可評測其能力發展水平或進行疾病的輔助診斷。因此，對兒童行為視頻的智慧型化或半智慧型化分析在教育實踐和醫療診斷等領域中具有重大套用需求，能克服傳統的基於心理學量表研究的主觀性以及人工行為編碼分析方法所存在耗時、耗力、主觀性強等問題。如何通過自動化或智慧型化的方法對自然場景或教育場景中兒童行為的分析與識別，是當前信息科學領域關注的重點問題，在海量兒童行為視頻數據分析中有廣闊的套用前景。然而，由於行為的多樣性、複雜性和實時性等突出問題，使得如何準確有效地進行兒童行為的分析與識別已成為本項目研究所面臨的一大挑戰。 本項目針對兒童發展過程中的社會情緒能力評測問題，開展基於視頻分析的智慧型化兒童行為分析研究，解決了基於視頻的兒童行為分析研究中的一系列關鍵技術問題，並套用於兒童的情緒能力評測中，提高兒童情緒能力評測的實時性、客觀性和準確性。主要研究成果包括：（1）構建了不同年齡段的兒童行為視頻大資料庫。針對兒童社會行為的特點，在實驗室情境下分別採集了2歲、4歲和7歲的兒童行為視頻數據，建立了兒童行為視頻資料庫； （2）提出了基於面部表情和語音的情感識別新理論與新方法，構建了基於視頻的兒童行為分析驗證平台；（3）建立了面向兒童行為分析的機器學習新理論與新方法。 本項目實施過程中，在IEEE TPAMI、TIP等國際期刊和本領域重要的國際會議(ICCV、CVPR、NIPS等)上發表(含已錄用)論文142篇，獲2015年教育部自然科學二等獎。並獲2015年度ImageNet競賽場景分類項目冠軍，2016年度ICMI國際情感識別大賽季軍，2017年度FG表情識別與分析競賽冠軍。培養博士14名，碩士30名；成功申辦國際學術會議1次，國內學術會議5次。項目執行過程中，1人獲2016年國家自然科學傑出青年基金資助，1人當選IAPR和IEEE Fellow。