連續語音的神經編碼及其與聽覺和語言處理的關係

《連續語音的神經編碼及其與聽覺和語言處理的關係》是依託浙江大學，由丁鼐擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：連續語音的神經編碼及其與聽覺和語言處理的關係
• 依託單位：浙江大學
• 項目負責人：丁鼐
• 項目類別：青年科學基金項目

項目摘要

日常生活中的語音信息大多是連續性的，以句子或語段的形式存在。然而，傳統的基於腦電圖和腦磁圖的電生理實驗往往關注於腦對單個音節或單個詞的處理，對連續語音神經編碼的研究還很欠缺。制約連續語音研究的主要原因是缺乏有效的數據分析方法。本項目旨在完善、最佳化基於腦電、腦磁的連續語音回響分析方法，並研究腦電、腦磁回響與初級聽覺處理及高級語言處理的關係。由於腦電及腦磁信號中存在大量背景噪聲，一種新的信號分離方法將被用來最佳化提取出多通道腦電及腦磁信號中穩定編碼連續語音的回響。在穩定獲得連續語音回響之後，一系列實驗將分別調節語音信號的聲學特徵及可理解度，以區分語音回響中編碼聲學特徵的成分和編碼語言信息的成分。綜上，一方面本研究將提出一套有效分析腦電、腦磁連續語音回響的方法，為研究連續語音及其它連續感覺刺激的神經編碼奠定基礎。另一方面，本研究也將澄清連續語音聲學特徵和語言學特徵在皮層的電生理表征。

結題摘要

語音是人類信息交流的基本載體。日常生活中，語音大多以句子或語段的形式存在，是連續的信息流。然而，傳統的基於腦電圖或腦磁圖的電生理實驗大多關注腦對單個音節或者單個詞的加工，對連續語音神經編碼的研究還很欠缺。制約連續語音研究的一個重要原因是缺乏有效的數據分析方法。本項目最佳化了連續語音神經回響的分析方法，並利用腦電圖、腦磁圖技術研究語音加工過程中初級聽覺編碼及高級語言加工之間的關係。在方法研究方面，本課題組提出一種新的信號分離方法來更穩定地從多通道腦電圖、腦磁圖信號中提取連續語音的神經回響，這種方法稱為被試間相關成分分析（ISCCA）。在穩定獲得連續語音神經回響的基礎上，本項目利用一系列實驗分別調節語音信號的聲學特徵及語言可懂度，以區分語音回響中編碼聲學特徵的成分和編碼語言信息的成分。本項目採用了兩種方式來調節語言可理解度，一種方式在控制語音聲學特徵不變的前提下，通過啟動範式調節被試的先驗語言知識；另一種方式對比了大腦聆聽母語與陌生語言時的神經回響。在調節語言可懂度的同時，本項目也通過混合干擾語音或者噪音來改變語音的聲學特徵。通過分析腦電圖或腦磁圖記錄的語音包絡跟蹤回響，本項目發現語言知識和聲學干擾均可調節顳上回聽覺皮層對基本語音特徵的編碼，而且語言信息和聲學干擾的調節作用均發生於聽覺加工的較早期成分（潛伏期100毫秒左右）。上述一系列研究成果發表於《Cerebral Cortex》《NeuroImage》《Neuroscience and Biobehavioral Reviews》《Trends in Cognitive Sciences》等期刊（共發表論文11篇，本項目為其中7篇論文的第一標註）。綜上，在方法研究方面，本項目提出了一套有效分析腦電圖、腦磁圖連續語音回響的算法；在科學問題研究方面，本項目發現高級語言加工可以反饋調節連續語音聽覺特徵的加工。