基於光學成像的情緒腦模式識別關鍵技術研究

《基於光學成像的情緒腦模式識別關鍵技術研究》是依託北京師範大學，由朱朝喆擔任項目負責人的面上項目。

基本介紹

• 中文名：基於光學成像的情緒腦模式識別關鍵技術研究
• 依託單位：北京師範大學
• 項目負責人：朱朝喆
• 項目類別：面上項目

項目摘要

情緒識別是人機互動智慧型化中情感計算的關鍵環節，是情緒監控、基於腦-機接口的情緒調節能力訓練等情緒識別套用領域的基礎。近紅外光學腦成像（fNIRS）是一種實用性很強的非侵入式神經活動觀測技術。本研究擬開展基於近紅外光學成像的情緒腦模式識別關鍵技術研究，具體包括實時可視化定位、噪聲濾除、特徵提取、分類器訓練等核心部分。同時，本研究藉助fNIRS成本低、生態效度好等優點，完成大樣本量情緒識別模型驗證性研究，並最終建立可靠的情緒腦模式識別模型。本研究是信息科學與認知神經科學深度交叉的創新工作。

結題摘要

情緒識別是人機情感互動過程中的重要環節，它是機器理解人類情感的第一步。本項目採用近紅外光譜腦成像技術進行情緒識別研究。首先，我們針對fNIRS成像過程中的定位與噪聲的兩大問題進行研究。在定位方面，我們提出快速10-20腦區定位方法。在噪聲方面，我們提出空間濾波的淺層噪聲去除方法。為利用fNIRS開展情緒神經機制與情緒解碼相關研究奠定了技術基礎。在此基礎上，我們採集了相隔三周的fNIRS情緒重測實驗數據，並對此進行多尺度的重測信度研究。研究發現在群體層面中較大尺度的結果是重測可信的，同時也發現個體結果中單通道尺度的回響結果不夠穩定。該研究彌補了fNIRS情緒研究中可靠性問題的空白，是得到可靠的fNIRS神經解碼模型的基礎。在重測數據的基礎上，我們開展了特徵提取與選擇和分類器構建的研究。通過嘗試多種分類特徵，我們發現在情緒數據上HbO信號的均值特徵相對於方差、偏度、偏側化指標等特徵更加穩定。選用LDA算法構建分類器，最終個體上平均準確率達到82%，群體上平均分類準確率達到73%，結果優於大多數fNIRS情緒識別研究。在此基礎上，我們針對情緒識別的不穩定性問題進行研究。結果發現：在session間推廣時，情緒識別分類器的平均測試準確率下降達到22%。這說明情緒識別的不穩定性確實存在，並且會極大程度的影響分類器推廣性能，這是fNIRS情緒識別領域急需解決的一個問題。理論原因可能是傳統模式識別中特徵選擇一般只將特徵的可分性作為選擇標準。因此針對該問題，我們創新性的提出將穩定性也作為特徵選擇的標準。採用KL散度來評價特徵的穩定性，通過穩定性指標與可分性指標的加權平均來選擇最優特徵。通過對權重的尋優以期找到穩定性與分類性能的平衡點。該方法將情緒識別分類器性能的惡化降低至5%，有效的降低了不穩定性影響。最後，為了情緒識別大數據以及特殊人群上的推廣研究，我們提出一套多刺激模態、多情緒類型、多分類參數的情緒線上識別系統。該軟體有望在未來的fNIRS情緒研究中具有更多的套用價值。