《一種基於觸聽覺誘發電位的腦控輪椅系統》是中國航天員科研訓練中心於2015年10月27日申請的專利,該專利的公布號為CN105411580A,授權公布日為2016年3月23日,發明人是印二威、陳善廣、肖毅、蔡劌、周宗潭。
《一種基於觸聽覺誘發電位的腦控輪椅系統》提出一種基於觸聽覺誘發電位的腦控輪椅系統,包括:信號採集模組,採集用戶的腦電信號,並進行預處理;初始化模組,對電極的電阻值進行檢測,並對電極位置、最優Round數、P300分類器的參數進行設定;參數離線訓練模組,獲取最優電極通道和最優Round數,並對P300分類器進行訓練;信號處理模組,用於提取和識別P300特徵;觸聽覺刺激模組,向用戶施加觸聽覺雙模態隨機刺激,以誘發腦電信號中的P300特徵電位;控制模組,用於根據P300特徵電位生成相應的控制指令,並轉換為電壓信號,並根據電壓信號控制輪椅執行相應操作。該發明的系統原理簡單、實現簡便、控制精度高、能夠提高系統操控效率。
2020年7月14日,《一種基於觸聽覺誘發電位的腦控輪椅系統》獲得第二十一屆中國專利獎優秀獎。
(概述圖為《一種基於觸聽覺誘發電位的腦控輪椅系統》摘要附圖)
基本介紹
- 中文名:一種基於觸聽覺誘發電位的腦控輪椅系統
- 申請人:中國航天員科研訓練中心
- 申請日:2015年10月27日
- 申請號:2015107087496
- 公布號:CN105411580A
- 公布日:2016年3月23日
- 發明人:印二威、陳善廣、肖毅、蔡劌、周宗潭
- 地址:北京市海淀區北清路26號院
- Int. Cl.:A61B5/0476(2006.01)I、G06K9/00(2006.01)I
- 代理機構:北京清亦華智慧財產權代理事務所
- 代理人:張大威
- 類別:發明專利
專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,技術領域,權利要求,實施方式,榮譽表彰,
專利背景
大腦是人類神經系統的中心,負責控制人們的認知與感知、運動與協調等各種神經活動。而對於患有嚴重運動功能障礙而腦功能正常的患者,儘管有正常的意識活動,但他們無法與外界進行交流,處於一種“自鎖”狀態。此類疾病包括肌萎縮性側索硬化、脊髓損傷、腦幹中風和腦癱,以及在病情晚期所產生的閉鎖綜合症等。患有類似疾病的患者不但其自身處於一種極度痛苦的狀態,同樣也給其家庭和社會增添了沉重的負擔。2015年前,改善殘疾人的生活狀況和自理能力,提高其生活質量等問題已經得到社會各界的普遍關注。而利用智慧型輪椅等輔助運動器械提升患者的運動能力,幫助其實現一定程度上的自理,將會大大緩解社會醫護資源不足的現狀,市場潛力十分巨大。傳統的智慧型輪椅的運動控制主要是通過控制桿或者按鈕來實現的,這種方法雖然有效,但是對於運動功能衰退的人來說,操控十分困難。
BCI(Brain- Computer Interface,腦機接口)是一種新的不依賴於外周神經和肌肉參與的人機通訊系統。BCI技術可以通過檢測並判別大腦信號中對應不同神經活動所體現出來的模式來識別人的意圖,並可將其轉換成計算機可以執行的控制指令,從而實現人腦與外界交流和環境控制。對於無法通過醫療手段完全康復的、有嚴重運動功能障礙疾病的患者來說,BCI技術是其當前實現與外部世界進行交流與控制的唯一途徑。隨著人們對大腦工作機理不斷深入的研究及信號處理技術的快速發展,基於EEG(Electroencephalogram,腦電圖)的無創BCI技術研究已經達到一定水平,並在準確率、可靠性以及實用化方面有了很大的提高,這為智慧型輪椅的腦控系統研發及其相關產品進入實際生活套用提供了重要的理論基礎與技術支撐。
截至2015年10月,中國國內外眾多BCI研究機構已經展開了腦控智慧型輪椅的相關研究,並取得了一批重要的研究成果。2015年前,該領域的研究主要集中在對由運動想像產生的感覺運動節律(Sensory Motor Rhythm,SMR)和基於視覺刺激誘發的P300特徵電位信號的利用上。其中,雖然SMR-BCI方法不需要依賴外界刺激就可以實現對智慧型輪椅的控制,但是通常需要對使用者進行大量的訓練,而且“BCI盲”的比例較大(20%-30%),很多人即使經過長時間的訓練仍不能提供可以實現穩定、有效控制的腦電特徵信號。此外,由於EEG信號的空間解析度較低,通過增加運動想像任務種類來增加控制命令數是非常困難的,較為成熟有效的套用仍是只能提供左轉/右轉兩類控制指令的智慧型輪椅控制方法,大大制約了系統的實用性。相比之下,基於視覺刺激的P300-BCI方法幾乎不用對用戶進行特殊訓練便可以實現穩定快速的多目標控制,但是由於這種BCI方法通常需要用戶對眼部肌肉的自主控制,這恰恰可能使其難以套用於患有嚴重運動功能障礙疾病,處於自鎖狀態的患者。另外,在智慧型輪椅的操控過程中,用戶的視線已經被占用,很難同時注視螢幕上視覺刺激。
為了滿足視覺刺激受限情況下對BCI技術的需要,學者們開始了基於聽覺和觸覺刺激的P300-BCI研究。雖然隨著研究的深入,這兩種非視覺的P300-BCI系統性能有了明顯的提升,其中,Kaufmann等人更是驗證了基於觸覺的P300-BCI用於智慧型輪椅的控制的可能性,但是當前基於聽覺和觸覺單模態刺激的P300-BCI的準確率和速度仍難以滿足智慧型輪椅的實際控制需要。我們人類擁有多種感知通道,用於感知和處理外部世界的信息。多模態的刺激可以誘發大腦相應感知區域的神經活動,這種現象被稱之為多模態感知整合現象。由此可以推測,多模態的刺激可以同時誘發大腦相應感知區域的神經活動,進而誘發更強的P300特徵電位,提升解碼速度和準確率,提高系統性能。然而,截至2015年,還未發現基於聽覺和觸覺雙模態刺激的腦控輪椅方法的相關報導。
發明內容
專利目的
《一種基於觸聽覺誘發電位的腦控輪椅系統》的目的在於提出一種基於觸聽覺誘發電位的腦控輪椅系統,該系統原理簡單、實現簡便、控制精度高、能夠提高系統操控效率。
技術方案
《一種基於觸聽覺誘發電位的腦控輪椅系統》第一方面的實施例提出了一種基於觸聽覺誘發電位的腦控輪椅系統,包括:信號採集模組、初始化模組、參數離線訓練模組、信號處理模組、觸聽覺刺激模組和控制模組,其中,所述信號採集模組用於採集用戶的腦電信號,並對所述腦電信號進行預處理,並將預處理後的腦電信號傳送至所述信號處理模組;所述初始化模組用於對電極的電阻值進行檢測,並對電極位置、最優Round數、P300分類器的參數進行設定;所述參數離線訓練模組用於獲取最優電極通道和最優Round數,並對P300分類器進行訓練;所述信號處理模組用於對所述預處理後的腦電信號的P300特徵進行提取和識別;所述觸聽覺刺激模組用於生成觸聽覺隨機刺激信號,並向用戶施加觸聽覺雙模態隨機刺激,以誘發所述用戶的腦電信號中的P300特徵電位;所述控制模組用於根據所述P300特徵電位生成相應的控制指令,並將所述控制指令轉換為對應的電壓信號,並根據所述電壓信號控制輪椅執行相應操作。
另外,根據《一種基於觸聽覺誘發電位的腦控輪椅系統》上述實施例的基於觸聽覺誘發電位的腦控輪椅系統還可以具有如下附加的技術特徵:
在一些示例中,所述採集信號採集模組包括:腦電採集器,用於採集所述用戶的腦電信號,所述腦電採集器包括可拆卸的乾電極和標準32導國際10/20系統的電極帽;所述腦電放大器,用於對所述腦電信號進行放大;A/D轉換器,用於對放大後的腦電信號進行模數轉換。
在一些示例中,所述參數離線訓練模組包括:最優電極通道選擇模組,用於根據Jumpwise回歸方法和所述用戶的腦電資料庫離線訓練得到最優電極通道;P300分類器訓練模組,用於採用貝葉斯線性判別分析方法或步進線性判別分析方法或支持向量機對P300分類器進行訓練;最優Round選擇模組,用於採用留一法交叉檢驗的方法繪製信息傳輸率曲線,並將所述信息傳輸率的最大值所對應的Round數選擇為最優Round數。
在一些示例中,所述信號處理模組用於對所述預處理後的腦電信號進行帶通濾波後,根據P300成分在時域上的特徵,通過截取每個隨機刺激事件發生後預設時間的腦電信號的方式進行特徵提取,並計算所述每個隨機刺激事件對應的特徵向量,並計算所述特徵向量對應的特徵值,並計算所述特徵值的平均值,並根據所述平均值得到相應指令對應的特徵值。
在一些示例中,所述觸聽覺刺激模組用於在同一方向上同時向所述用戶施加觸聽覺雙模態隨機刺激。
在一些示例中,所述觸聽覺刺激模組包括:隨機編碼生成模組、觸覺刺激模組和聽覺刺激模組,其中,所述隨機編碼生成模組用於隨機生成第一至第四隨機刺激編碼之一,並將所述第一至第四隨機刺激編碼之一同時傳送至所述觸覺刺激模組和聽覺刺激模組;所述觸覺刺激模組和聽覺刺激模組用於根據所述第一至第四隨機刺激編碼在四個預設方向向用戶傳送相應的刺激信號,其中,所述四個預設方向分別為所述用戶的左側、所述用戶的前方、所述用戶的右側及所述用戶的後方。
在一些示例中,所述聽覺刺激模組為耳機或耳麥,用於播放特定聲音檔案以在四個預設方向向所述用戶傳送相應的聲音刺激信號,其中,所述聲音檔案採用聲音的頭外定位技術實現,所述聲音檔案包括男聲聲音檔案和女聲聲音檔案。
在一些示例中,所述觸覺刺激模組包括紐扣電機和電機控制器,其中,所述紐扣電機用於產生振動刺激信號,並在四個預設方向向所述用戶傳送振動刺激信號;所述電機控制器用於調控所述電機振動的脈衝寬度。
在一些示例中,所述控制器用於接收一組平均P300特徵值,並將所述平均P300特徵值的最大值所對應的方向代表的指令設定為當前輪椅的控制指令,其中,所述當前輪椅的控制指令所對應的當前速度或當前角度採用對側P300特徵值相減的方法計算求得,其中,所述控制模組還用於判斷所述當前角度的取值是否在預設範圍之內,並在所述當前角度的取值不在預設範圍之內時將當前的角度作為角度最大值,並判斷所述當前速度是否大於速度最大值,並在所述當前速度大於速度最大值時將所述當前速度作為速度最大值,以及在所述當前速度小於速度最大值時傳送停止指令。在一些示例中,所述控制指令包括:左轉、加速、右轉和減速。
改善效果
根據《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的基於觸聽覺誘發電位的腦控輪椅系統,具有如下的優點:
1、通過《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的系統,大多數用戶在不經過大量訓練的情況下均可以實現對智慧型輪椅的意念控制,便於用戶快速入門使用,普適性高。
2、通過《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的系統,在操作智慧型輪椅時,用戶完全不需要依靠任何實際動作,便於處於完全“自鎖”狀態的殘疾人的使用。
3、通過《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的系統,用戶可以實現輪椅的左轉、右轉和加速、減速控制,進一步增強了腦控輪椅的實用性。
4、《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的系統基於觸聽覺雙模態隨機刺激機制,不但可以有效提高系統通信效率,而且完全不占用用戶的視覺通道,便於用戶在輪椅操控過程中對所處環境的觀察。
5、《一種基於觸聽覺誘發電位的腦控輪椅系統》的實施例採用了EEG通道最優選擇方法,並將通道數降低到了最優數量,便於縮短系統準備時間,降低設備成本。
附圖說明
圖1是《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的基於觸聽覺誘發電位的腦控輪椅系統的結構框圖;
圖2是《一種基於觸聽覺誘發電位的腦控輪椅系統》另一個實施例的基於觸聽覺誘發電位的腦控輪椅系統的整體框圖;
圖3是《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的基於觸聽覺誘發電位的腦控輪椅系統在具體實施過程中的觸聽覺刺激示意圖;
圖4是根據《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的控制模組解碼過程的邏輯圖;
圖5是《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的基於觸聽覺誘發電位的腦控輪椅系統的具體工作原理示意圖;
圖6是《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的基於觸聽覺誘發電位的腦控輪椅系統在具體實施過程中一段操控過程中的時序圖。
技術領域
《一種基於觸聽覺誘發電位的腦控輪椅系統》涉及腦機接口技術及人工智慧技術領域,特別涉及一種基於觸聽覺誘發電位的腦控輪椅系統。
權利要求
1.《一種基於觸聽覺誘發電位的腦控輪椅系統》其特徵在於,包括:信號採集模組、初始化模組、參數離線訓練模組、信號處理模組、觸聽覺刺激模組和控制模組,其中,所述信號採集模組用於採集用戶的腦電信號,並對所述腦電信號進行預處理,並將預處理後的腦電信號傳送至所述信號處理模組;所述初始化模組用於對電極的電阻值進行檢測,並對電極位置、最優Round數、P300分類器的參數進行設定;所述參數離線訓練模組用於獲取最優電極通道和最優Round數,並對P300分類器進行訓練;所述信號處理模組用於對所述預處理後的腦電信號的P300特徵進行提取和識別;所述觸聽覺刺激模組用於生成觸聽覺隨機刺激信號,並向用戶施加觸聽覺雙模態隨機刺激,以誘發所述用戶的腦電信號中的P300特徵電位;所述控制模組用於根據所述P300特徵電位生成相應的控制指令,並將所述控制指令轉換為對應的電壓信號,並根據所述電壓信號控制輪椅執行相應操作。
2.根據權利要求1所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述採集信號採集模組包括:腦電採集器,用於採集所述用戶的腦電信號,所述腦電採集器包括可拆卸的乾電極和標準32導國際10/20系統的電極帽;所述腦電放大器,用於對所述腦電信號進行放大;A/D轉換器,用於對放大後的腦電信號進行模數轉換。
3.根據權利要求1所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述參數離線訓練模組包括:最優電極通道選擇模組,用於根據Jumpwise回歸方法和所述用戶的腦電資料庫離線訓練得到最優電極通道;P300分類器訓練模組,用於採用貝葉斯線性判別分析方法或步進線性判別分析方法或支持向量機對P300分類器進行訓練;最優Round選擇模組,用於採用留一法交叉檢驗的方法繪製信息傳輸率曲線,並將所述信息傳輸率的最大值所對應的Round數選擇為最優Round數。
4.根據權利要求1所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述信號處理模組用於對所述預處理後的腦電信號進行帶通濾波後,根據P300成分在時域上的特徵,通過截取每個隨機刺激事件發生後預設時間的腦電信號的方式進行特徵提取,並計算所述每個隨機刺激事件對應的特徵向量,並計算所述特徵向量對應的特徵值,並計算所述特徵值的平均值,並根據所述平均值得到相應指令對應的特徵值。
5.根據權利要求1所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述觸聽覺刺激模組用於在同一方向上同時向所述用戶施加觸聽覺雙模態隨機刺激。
6.根據權利要求5所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述觸聽覺刺激模組包括:隨機編碼生成模組、觸覺刺激模組和聽覺刺激模組,其中,所述隨機編碼生成模組用於隨機生成第一至第四隨機刺激編碼之一,並將所述第一至第四隨機刺激編碼之一同時傳送至所述觸覺刺激模組和聽覺刺激模組;所述觸覺刺激模組和聽覺刺激模組用於根據所述第一至第四隨機刺激編碼在四個預設方向向用戶傳送相應的刺激信號,其中,所述四個預設方向分別為所述用戶的左側、所述用戶的前方、所述用戶的右側及所述用戶的後方。
7.根據權利要求6所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述聽覺刺激模組為耳機或耳麥,用於播放特定聲音檔案以在四個預設方向向所述用戶傳送相應的聲音刺激信號,其中,所述聲音檔案採用聲音的頭外定位技術實現,所述聲音檔案包括男聲聲音檔案和女聲聲音檔案。
8.根據權利要求6所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述觸覺刺激模組包括紐扣電機和電機控制器,其中,所述紐扣電機用於產生振動刺激信號,並在四個預設方向向所述用戶傳送振動刺激信號;所述電機控制器用於調控所述紐扣電機振動的脈衝寬度。
9.根據權利要求1所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述控制模組用於接收一組平均P300特徵值,並將所述平均P300特徵值的最大值所對應的方向代表的指令設定為當前輪椅的控制指令,其中,所述當前輪椅的控制指令所對應的當前速度或當前角度採用對側P300特徵值相減的方法計算求得,其中,所述控制模組還用於判斷所述當前角度的取值是否在預設範圍之內,並在所述當前角度的取值不在預設範圍之內時將當前的角度作為角度最大值,並判斷所述當前速度是否大於速度最大值,並在所述當前速度大於速度最大值時將所述當前速度作為速度最大值,以及在所述當前速度小於速度最大值時傳送停止指令。
10.根據權利要求9所述的所述的基於觸聽覺誘發電位的腦控輪椅系統,其特徵在於,所述控制指令包括:左轉、加速、右轉和減速。
實施方式
圖1是根據《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的基於觸聽覺誘發電位的腦控輪椅系統。如圖1所示,該基於觸聽覺誘發電位的腦控輪椅系統100包括:信號採集模組110、初始化模組120、參數離線訓練模組130、信號處理模組140、觸聽覺刺激模組150和控制模組160。
其中,信號採集模組110用於採集用戶的腦電信號,並對腦電信號進行預處理,並將預處理後的腦電信號傳送至信號處理模組140。
在《一種基於觸聽覺誘發電位的腦控輪椅系統》的一個實施例中,結合圖2所示,信號採集模組110例如包括腦電採集器111、腦電放大器112和A/D轉換器113。具體地說,腦電採集器111用於採集用戶的腦電信號,腦電採集器111包括可拆卸的乾電極和標準32導國際10/20系統的電極帽。電放大器112用於對腦電信號進行放大。A/D轉換器113用於對放大後的腦電信號進行模數轉換。需要說明的是,在系統參數離線訓練階段,所述電極帽上安裝全部32導乾電極;在輪椅的正式操控過程中,只需保留經過離線訓練得到的最優8導電極即可。在一些示例中,乾電極、腦電放大器112和A/D轉換器123例如可一起集成在電極帽上,並採用無線傳輸方式將採集的EEG信號傳入信號處理模組140,以進行信號處理。
初始化模組120用於對電極的電阻值進行檢測,並對電極位置、最優Round數、P300分類器的參數進行設定。
在一些示例中,結合圖2所示,初始化模組120例如包括阻抗檢測模組121和參數配置模組122,阻抗檢測模組121用於進行電極電阻值的檢測,參數配置模組122用於進行電極位置、最優Round數、P300分類器等參數的設定。更為具體地,阻抗檢測模組121例如通過檢測電極阻抗來檢驗各電極與用戶頭部是否接觸良好。參數配置模組122主要用於導入由離線訓練得到的最優電極位置、P300分類器、最優Round數等參數。其中,上述的參數採用載入配置檔案的方式自動導入。初始化後,系統退出所述初始化模組120的執行程式。
參數離線訓練模組130用於獲取最優電極通道和最優Round數,並對P300分類器進行訓練,其目的在於為P300特徵電位的線上信號處理提供必要參數。
在《一種基於觸聽覺誘發電位的腦控輪椅系統》的一個實施例中,結合圖2所示,所述參數離線訓練模組130例如包括:最優電極通道選擇模組131、P300分類器訓練模組132和最優Round選擇模組133。
其中,最優電極通道選擇模組131用於根據Jumpwise回歸方法和用戶的腦電資料庫離線訓練得到最優電極通道。Jumpwise回歸方法是一種步進的啟發式回歸算法。該算法的通道選擇過程起始於空通道子集,並在每次程式循環過程中添加或者移除一個通道,直至獲得所需通道個數。通道的添加和刪除通過F檢驗計算得到的P值判定。
P300分類器訓練模組132採用貝葉斯線性判別分析方法或步進線性判別分析方法或支持向量機對P300分類器進行訓練。
最優Round選擇模組133用於採用留一法(block級)交叉檢驗的方法繪製信息傳輸率曲線,並將信息傳輸率的最大值所對應的Round數選擇為最優Round數。此外,Round的最小值需滿足其所對應的目標識別準確率高於70%,最大值需不大於Kmax次,以保證系統的可控性和實時性。
信號處理模組140用於對預處理後的腦電信號的P300特徵進行提取和識別。
在《一種基於觸聽覺誘發電位的腦控輪椅系統》的一個實施例中,結合圖2所示,信號處理模組140例如包括帶通濾波、P300特徵提取和分類識別三部分,用以對EEG信號的P300特徵進行提取和分類識別。具體地說,信號處理模組140例如用於對預處理後的腦電信號進行帶通濾波後,根據P300成分在時域上的特徵,通過截取每個隨機刺激事件發生後預設時間的腦電信號的方式進行特徵提取,並計算每個隨機刺激事件對應的特徵向量,並通過參數設定模組導入的分類器模板計算特徵向量對應的特徵值,然後按碼字分別計算特徵值的平均值,並根據平均值得到相應指令對應的特徵值。
作為具體的示例,為了減輕信號中噪聲的干擾,首先採用0.1-45赫茲的帶通濾波器對所得到的EEG數據進行濾波處理;然後截取每個刺激開始時刻之後預設時間(如0-800ms)的EEG數據,提取P300的特徵信息;由於P300特徵信息處於低頻段,為了提供信號處理的實時性,將所得到的數據進行降採樣處理(如由250赫茲降採樣至25赫茲);最後,利用離線訓練得到的P300分類器計算P300特徵回響得分,具體計算公式如下:scoreik=WXik其中,i和k分別表示刺激編碼和Round數,W是一個列向量,代表了P300分類器。
在計算得分之前,每個數據段將會被變換為一個與W具有相同長度的行向量X。此外,通過計算相同刺激編碼得分的平均值,可得到每個刺激編碼所對應的P300回響值:
其中,K表示當前Round的總數。
最後,當前目標被判定為得分最大的刺激編碼所對應的選項,可表示為:
觸聽覺刺激模組150用於生成觸聽覺隨機刺激信號,並向用戶施加觸聽覺雙模態隨機刺激,以誘發用戶的腦電信號中的P300特徵電位。更為具體地,觸聽覺刺激模組150用於在同一方向上同時向用戶施加觸聽覺雙模態隨機刺激。
在《一種基於觸聽覺誘發電位的腦控輪椅系統》的一個實施例中,結合圖2所示,觸聽覺刺激模組150例如包括:隨機編碼生成模組151、觸覺刺激模組152和聽覺刺激模組153。
其中,隨機編碼生成模組151用於隨機生成第一至第四隨機刺激編碼之一,並將第一至第四隨機刺激編碼之一同時傳送至觸覺刺激模組152和聽覺刺激模組153。觸覺刺激模組152和聽覺刺激模組153用於根據第一至第四隨機刺激編碼在四個預設方向向用戶傳送相應的刺激信號,其中,四個預設方向分別為用戶的左側、用戶的前方、用戶的右側及用戶的後方。進一步地,聽覺刺激模組152例如為耳機或耳麥,用於播放特定聲音檔案以在四個預設方向向所述用戶傳送相應的聲音刺激信號,其中,聲音檔案例如採用聲音的頭外定位技術實現,聲音檔案包括男聲聲音檔案和女聲聲音檔案。觸覺刺激模組153例如包括紐扣電機和電機控制器,其中,紐扣電機用於產生振動刺激信號,並在四個預設方向向用戶傳送振動刺激信號;電機控制器用於調控紐扣電機振動的脈衝寬度。
作為具體的示例,由於《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例中的BCI系統所採用的刺激範式與系統輸出反饋完全不需要用戶的視覺互動,因此屬於非視覺BCI方法。具體地說,隨機編碼生成模組151用於隨機生成第一至第四隨機刺激編碼其中之一(分別代表“左轉”、“加速”、“右轉”和“減速”4個控制指令),並同時傳送到觸覺刺激模組152和聽覺刺激模組153,進而保證聽覺和觸覺隨機刺激的時間同步性。如圖3所示,《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的觸聽覺刺激模組150通過在同一方向上同時施加聽覺和觸覺隨機刺激的方式,是一種方向一致的雙模態刺激範式。其中,聽覺刺激模組151例如採用耳機或耳麥播放特定的聲音檔案實現。該聲音檔案採用聲音的頭外定位技術實現,分別模擬源自用戶左、前、右、後四個方位的聲音;各個方向的聲音內容與方向對應,依次為“左”、“前”、“右”、“後”。每個方向分別對應男聲和女聲兩個聲音檔案,並採用隨機編排的方式播放。在系統操控過程中,用戶需要心裡默念來自目標方向的聲音性別(即男/女)。研究表明用戶在執行這種主動認知任務過程中,P300特徵電位的晚期成分將會明顯增強,進而達到提高準確率的目的。《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的觸覺刺激模組153例如由紐扣電機和電機控制器兩部分組成。該紐扣電機的結構和強度例如與手機中實現振動功能電機的相似(如ParallexInc.公司生產的Model28821-ND)。在之前大量的試驗性研究中均發現,採用兩個紐扣電機成對組成一個觸覺刺激模組153,並用於表示單個目標的方式可以有效提高用戶對觸覺刺激的敏感度。
因此,在《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的觸覺刺激模組153中,8個電機兩兩組合,分別用醫用膠帶黏貼在用戶腰部與聽覺刺激相對應的4個方向上,每個方向上的兩個電機之間距離例如為1cm。電機控制器用於調控紐扣電機振動的脈衝寬度。其中,高檔代表刺激狀態“ON”,振動能量為100%;低檔代表非刺激狀態“OFF”,振動能量為15%。這種能量高低檔的設定還可以大大效縮短由於電機機械原因所引起的時間延遲(即觸覺刺激由“OFF”狀態到達用戶體感閾值,可以被感知到的時間)。
控制模組160用於根據P300特徵電位生成相應的控制指令,並將控制指令轉換為對應的電壓信號,並根據電壓信號控制輪椅執行相應操作。更為具體地,控制模組160用於接收一組平均P300特徵值,並將平均P300特徵值的最大值所對應的方向代表的指令設定為當前輪椅的控制指令,其中,當前輪椅的控制指令所對應的當前速度或當前角度採用對側P300特徵值相減的方法計算求得,其中,控制模組160還用於判斷當前角度的取值是否在預設範圍之內,並在當前角度的取值不在預設範圍之內時將當前的角度作為角度最大值,並判斷當前速度是否大於速度最大值,並在當前速度大於速度最大值時將當前速度作為速度最大值,以及在當前速度小於速度最大值時傳送停止指令。其中,控制指令例如包括:左轉、加速、右轉和減速。
作為具體的示例,例如圖4所示,對《一種基於觸聽覺誘發電位的腦控輪椅系統》一個實施例的控制模組160的解碼過程進行了直觀的展示,其具體實現步驟如下:
步驟1:控制模組160接收信號處理結果,例如為一組P300平均特徵值(X={x1,x2,x3,x4})。
步驟2:通過比較計算出Max(X)所對應的特徵值,進而得出其所對應的命令。具體情形如下:
(a)當Max(X)=x1時,表明當前指令為“左轉”。系統進一步根據P300特徵值計算左轉的具體角度。其中,角度的變化量的表示公式如下:D′=p×(x1-x3),其中,D′為角度的變化量,p為常數。如果經變化後的左轉角度大於角度最大值,當前角度等於角度最大值(Dn=Dmax);反之,為Dn=D+D′。
(b)當Max(X)=x3時,表明當前指令為“右轉”。系統進一步根據P300特徵值計算右轉的具體角度。其中,角度的變化量的表示公式如下:D′=p×(x3-x1),其中,D′為角度的變化量,p為常數。如果經變化後的左轉角度大於角度最大值,當前角度等於角度最大值(Dn=Dmax);反之,為Dn=D+D′。
(c)當Max(X)=x2時,表明當前指令為“加速”。系統進一步根據P300特徵值計算當前的速度。其中,增加的速度可表示為:S′=q×(x2-x4),其中,S′為增加的速度,q為常數。如果經變化後的速度值大於系統限定速度的最大值,當前速度等於速度最大值(Sn=Smax);反之,為Sn=S+S′。
(d)當Max(X)=x4時,表明當前指令為“減速”。系統進一步根據P300特徵值計算當前的速度。其中,減少的速度值可表示為:S′=q×(x4-x2),其中,S′為減少的速度,q為常數。如果經變化後的速度值小於系統限定速度的最小值,當前指令為“停止”(Sn=0);反之,為Sn=S-S′。
步驟3:控制模組160將所得的控制指令轉化成電壓信號,傳送至智慧型輪椅以控制智慧型輪椅執行相應操作。
作為具體的示例,《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的基於觸聽覺誘發電位的腦控輪椅系統100的具體工作原理例如圖5所示。如圖5所示,《一種基於觸聽覺誘發電位的腦控輪椅系統》實施例的基於觸聽覺誘發電位的腦控輪椅系統100的套用過程主要分為初始化、離線訓練和線上控制三部分。具體工作流程如下:
步驟S1:系統操控開始後,首先需進行初始化操作:啟動阻抗檢測模組121,檢查所有電極的阻抗值,並通過用戶閉眼的方式檢測α波,以確保所採集的EEG信號沒有被噪聲污染,如果有電極阻抗大於5kΩ,將對相應的電極重新進行調整,直至所有電極阻抗滿足要求;退出阻抗檢測模組121,啟動參數配置模組122,載入系統預置參數。初始化後,退出參數配置模組122。
步驟S2:當進入離線實驗階段後,系統提示用戶需要關注的方向,用戶等待提示方向上觸聽覺刺激的發生。之後,系統在用戶周圍4個方向上施加隨機觸聽覺刺激,其中,同一方向上的雙模態刺激同時觸發。在此過程中,用戶感受提示方向上的觸覺刺激,並默念提示方向上的隨機聽覺刺激的性別。
步驟S3:判斷離線數據是否足夠。如果足夠,進入步驟S4;反之,返回步驟S2,繼續進行離線數據採集。
步驟S4:基於交叉檢驗法訓練離線數據,求得最優EEG通道、隨機刺激循環次數(最優Round數)和P300分類器,並保存於一個可配置檔案中。
步驟S5:進入智慧型輪椅的線上控制階段,參數配置模組122導入由離線訓練得到的參數,其中,參數採用載入配置檔案的方式自動導入。
步驟S6:系統在用戶周圍4個方向上施加隨機觸聽覺刺激,其中,同一方向上的雙模態刺激同時發生。在此過程中,用戶感受想要輸出的指令所對應方向上的觸覺刺激,並默念該方向上的隨機聽覺刺激的性別。
步驟S7:控制模組160將P300信號處理結果轉換成計算機可以執行的指令,並其轉化成電壓信號,傳送至智慧型輪椅以執行相應操作。
進一步地,例如圖6所示,展示了《一種基於觸聽覺誘發電位的腦控輪椅系統》在具體套用時一段操控過程中的時序圖。如圖6所示,每個Round表示各方向上隨機觸聽覺刺激發生一次,其中,一個指令由n個Round組成,n的大小通過離線訓練得到。為了提高系統控制的連續性,《一種基於觸聽覺誘發電位的腦控輪椅系統》的實施例採用了離散滑動視窗的方法對用戶的控制意圖解碼,每個控制指令通過對用戶前n個Round的EEG信號處理識別得到,連續的兩個控制指令之間相差一個Round。
榮譽表彰
2020年7月14日,《一種基於觸聽覺誘發電位的腦控輪椅系統》獲得第二十一屆中國專利獎優秀獎。