《圖文認知過程中多刺激元之間的易化和約束機制研究》是依託清華大學，由劉寶林擔任項目負責人的面上項目。
基本介紹
- 中文名：圖文認知過程中多刺激元之間的易化和約束機制研究
- 依託單位：清華大學
- 項目負責人：劉寶林
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
人腦是極為精巧和完善的信息處理系統，是人體內外環境信息獲得、存儲、處理、加工和整合的中樞。因此，對人腦認知的研究具有重大的科學意義。多媒體因其對信息表示的直觀性和準確性，已成為人類認識世界最常用的信息載體，幾乎所有的多媒體信息都同時包含了圖片和文字。但迄今為止，圖文共同作用下的人腦認知機理還不甚清楚。本項目研究圖文環境中圖片認知和語言認知之間的易化、約束機制，通過揭示其認知特徵，為圖文環境下人腦認知的工作機制提供理論依據。本項目擬採用事件相關電位（ERPs，Event-related Potentials）研究方法，設計新型的實驗範式，對ERP的成分從極性(P/N)、波幅、潛伏期、頭皮分布等多個方面加以分析，建立圖文環境下圖片認知和語言認知過程之間的易化和約束模型，之後在該模型中引入情感變數，研究其對圖文認知的調製作用。
結題摘要
為了研究圖文之間的互動作用，我們通過觀察不同條件下的正性偏移和負性偏差，研究了其實際喚醒水平的變化。我們使用情感文字和情感圖片構造四種條件下的刺激材料，分別是：（1）Word Only condition，（2）Picture Only condition，(3) Word Before Picture condition， (4) Picture Before Word condition。 在（3）（4）條件下文字和圖片的情感和語義內容是一致的。在the Picture Only和the Word Only條件下，我們發現顯著的負性偏差，而在其他兩種條件下觀察到顯著的正性偏移。這說明，圖片和詞組結合的刺激材料的喚醒度並不等同於單獨圖片和單獨詞組情況下的喚醒度，而單圖和單文字情況下的喚醒度沒有區別。這些結果說明，內容上的一致性可能在某種程度上降低了情感的喚醒度，且圖片和詞組之間的影響互不同。 同時，我們使用ERP研究方法證明了圖文干涉任務中圖文之間的情感易化作用。20名受試被要求對帶有情感一致的位於中央或一側的文字的圖片的情感價態進行分類。與Picture-only presentation相比，無論是Foveal word presentation還是Lateral word presentation情況下反應時間均變短。與the picture-only presentation相比，P200的振幅在the foveal word presentation情況下會增大，而在the lateral word presentation情況下會降低。這說明文字出現在圖片中央比文字出現在圖片的一側需要更多的注意力資源。對伴隨文字的刺激，無論文字位置如何，都引發了潛伏期更短的P300，說明伴隨的情感一致的文字易化了大腦對情感圖片的處理。這證明了情感易化作用，且該結論與心理學上的結論一致。LPC的振幅看上去只和情感價態有關，而與文字的位置沒有關係，當情感為正性的時候，無論文字位置如何，LPC的振幅都要大於Picture-only presentation的振幅，這符合正性偏移的特點。這些結果說明，情感易化的時間窗可能與P300相關。
