滕 健，黃佳慧，宮 凱

基于BCI的虛擬現(xiàn)實模擬駕駛教學系統(tǒng)設(shè)計

滕 健，黃佳慧，宮 凱

(嶺南師范學院機電工程學院，廣東 湛江 524048)

為解決傳統(tǒng)模擬駕駛過于強調(diào)正常場景的訓(xùn)練，缺少對意外場景下學員心理狀態(tài)的監(jiān)測與協(xié)助，且無法反饋和評價駕駛心理狀態(tài)等問題。以腦機交互(BCI)技術(shù)與虛擬現(xiàn)實(VR)為基礎(chǔ)開發(fā)VR模擬駕駛教學演示系統(tǒng)，利用三維動力學引擎開發(fā)了駕駛模擬操作系統(tǒng)，在硬件上設(shè)計可穿戴式腦電波信號檢測頭盔，基于BCI技術(shù)實現(xiàn)對學員模擬駕駛大腦狀態(tài)的監(jiān)控與數(shù)據(jù)評估；有突發(fā)模擬事件發(fā)生時，系統(tǒng)通過腦機接口技術(shù)自動制動或輔助駕駛。在完成模擬駕駛訓(xùn)練的同時可以根據(jù)腦波(EEG)反饋在意外事件中給出緊急解救措施，根據(jù)EEG情況評估學員的發(fā)揮以及心理素質(zhì)，為虛擬駕駛等認知負荷較高的教學訓(xùn)練提供了更為豐富與直觀沉浸式交互操作方式，提高了該領(lǐng)域教學訓(xùn)練系統(tǒng)的實用性與可用性。

腦機交互；虛擬現(xiàn)實；模擬駕駛；教學演示

BCI腦-機接口(brain-computer interface, BCI) 技術(shù)是20世紀70年代發(fā)展起來的一項前沿技術(shù)，其利用傳感器將人腦電波信號轉(zhuǎn)換成控制信號，可實現(xiàn)人腦直接與計算機或者電子設(shè)備交互操作的技術(shù)，涵蓋了神經(jīng)科學、模式識別、信號處理、計算機科學與人機交互技術(shù)等多個學科[1]。WEEVERS等[2]進行包括BCI腦電、觸覺反饋、聲音反饋等多通道感知信息在虛擬駕駛教練(virtual driving instructor)系統(tǒng)中的應(yīng)用研究，開發(fā)了簡易的智能駕駛控制系統(tǒng)使得模擬駕駛學習過程變得更加生動靈活。ZANDER等[3]研究了初學駕駛者在自動駕駛場景中自我適用性的速度和準確性，重點討論了該實驗中初學者BCI數(shù)據(jù)的質(zhì)量、駕駛相關(guān)運動后頭部位置的偏移、系統(tǒng)的可用性和復(fù)雜性以及隨著時間的推移BCI頭盔佩戴舒適性對駕駛的影響。MELANIE等[4]在駕駛模擬器中進行一小時的單調(diào)正常駕駛?cè)蝿?wù)，記錄年輕人和老年人的駕駛腦電波動情況與心電水平，發(fā)現(xiàn)2組在精神負荷、精神資源消耗方面存在顯著差異。國內(nèi)基于BCI的虛擬現(xiàn)實(virtual reality, VR)研究主要集中在技術(shù)應(yīng)用領(lǐng)域：趙啟斌[5]利用運動想象產(chǎn)生的思維模式，開發(fā)了基于異步BCI技術(shù)的“腦驅(qū)動”模擬駕駛系統(tǒng)，實現(xiàn)了單純依靠自發(fā)想象思維在三維虛擬環(huán)境中進行汽車駕駛控制，為殘障人士駕駛汽車以及BCI技術(shù)控制數(shù)字娛樂提供了技術(shù)與理論支撐。PAN等[6]研究和設(shè)計了一種基于腦電圖的虛擬駕駛原型系統(tǒng)，利用BCI技術(shù)將用戶的腦電波(electroencephalogram, EEG)信號通過采集、分析和識別轉(zhuǎn)換為控制命令，用于在三維城市環(huán)境中對虛擬汽車進行控制，提高了BCI控制虛擬駕駛體驗的沉浸感與逼真性。楊幫華等[7]開發(fā)了虛擬現(xiàn)實反饋方式的BCI反饋系統(tǒng)。綜上，國內(nèi)外在BCI腦電主動控制虛擬現(xiàn)實駕駛有較多的研究，在不同虛擬現(xiàn)實駕駛?cè)蝿?wù)情況下，駕駛員在BCI駕駛控制精神負荷、精神資源消耗情形也有了詳細研究。針對BCI在虛擬現(xiàn)實駕駛被動控制的行車輔助方面研究較少的情況，本文以基于BCI技術(shù)的虛擬現(xiàn)實模擬駕駛教學演示系統(tǒng)為設(shè)計研究對象，在硬件方面開發(fā)了腦電波頭盔，用于腦電波信號檢測與處理，利用基于動力學的三維引擎環(huán)境開發(fā)的駕駛模擬器操作系統(tǒng)，在完成行駛模擬駕駛訓(xùn)練的同時根據(jù)EEG反饋在意外事件中給出緊急解救措施，根據(jù)EEG情況評估學員的發(fā)揮以及心理素質(zhì)，從而有針對性地對不同學員制定差異化駕駛培訓(xùn)方案，可以有效改善虛擬現(xiàn)實環(huán)境訓(xùn)練帶來的過高認知負荷水平，提高訓(xùn)練的針對性與效率。

1 BCI-VR系統(tǒng)相關(guān)技術(shù)研究

1.1 基于BCI的虛擬現(xiàn)實技術(shù)原理

基于BCI的VR技術(shù)系統(tǒng)通常由BCI接收控制系統(tǒng)和虛擬現(xiàn)實三維表現(xiàn)系統(tǒng)VR組成。BCI一般利用腦電設(shè)備，采集受試者腦頭皮層電信號，通過對腦波EEG過濾、除噪、特征處理得到最終分析結(jié)果，形成BCI控制信號[8]。VR軟件系統(tǒng)在計算機上通過三維建模與渲染技術(shù)實現(xiàn)對真實環(huán)境和物體的模擬，其既可以收集用戶的操作數(shù)據(jù)反饋給BCI接收控制系統(tǒng)，同時又可以接收腦電信號來直接控制VR物體。為實現(xiàn)系統(tǒng)總體的實時反饋與控制，2部分系統(tǒng)需要在總體系統(tǒng)框架下流暢連接，并可高效地輸出控制指令，VR部分要做到逼真展現(xiàn)BCI所需感官虛擬體驗和迅速觸發(fā)BCI所需生理信號并提供能使用戶控制的反饋任務(wù)。圖1為本文基于BCI的VR技術(shù)系統(tǒng)的工作流程。

圖1 基于BCI的虛擬現(xiàn)實技術(shù)系統(tǒng)的工作流程

1.2 BCI系統(tǒng)信號采集處理方法

首先本文腦電信號采集采用ThinkGear作為BCI采集與控制芯片，內(nèi)置TGMA核心和一個干電極，通過配套ThinkGear Connector (TGC)軟件，由TCP端口讀取數(shù)據(jù)流，經(jīng)Json解析準確獲取腦波EEG數(shù)據(jù)。ThinkGear可以獲取佩戴者波、波、波、波、波、PoorSignal、Attention等EEG信號。通過藍牙通道與PC端VR系統(tǒng)傳輸、交換數(shù)據(jù)。

一般EEG信號是從頭皮表層記錄得到，信號較微弱，容易受到外界以及自身主客觀因素的影響，采集的EEG信帶有各種類型的偽跡比如脈搏、眼電、肌電等。偽跡減法、主成分回歸分析法和獨立成分降維法等都是常用的偽跡減法[9]。本文根據(jù)所采用的ThinkGear芯片，通過TGMA芯片接收EEG信號并分析識別眼動和肌電偽跡，采用偽跡減法得到

其中，y()為去噪后的EEG;()為設(shè)備獲取的EEG；(i)為噪聲；k為比例常數(shù)，即矯正后的EEG是從測量的EEG信號中去除一定比例的偽跡得到的。為標準差；r為和通道的相關(guān)系數(shù)。

特征提取即從非平穩(wěn)隨機EEG信號中發(fā)現(xiàn)并提取表征意識任務(wù)的最有效的特征，使得從不同意識任務(wù)提取出的特征差異最明顯。特征提取是模式分類的基礎(chǔ)，本文通過ThinkGear公司成熟的特征提取方案對大腦不同思維任務(wù)下EEG信號特征進行分類。該系統(tǒng)方案具有較高的響應(yīng)速度，保證BCI系統(tǒng)的通訊效率與穩(wěn)定性。

1.3 虛擬現(xiàn)實駕駛系統(tǒng)原理

虛擬現(xiàn)實駕駛是對VR技術(shù)的高程度應(yīng)用，要求具備全面的、準確的實時三維動畫，精準的聲效、光影、觸感，甚至嗅覺模擬系統(tǒng)。駕駛數(shù)據(jù)場景庫中包含虛擬場景模型、道路交通模型、車輛數(shù)據(jù)模型3部分，負責對現(xiàn)實世界環(huán)境的還原，外加音響效果和運動仿真，操作者可沉浸在真實的虛擬環(huán)境中進行操作，體驗和學習現(xiàn)實世界中的汽車駕駛基本技能。本文采用Unity3D跨平臺三維物理模擬引擎進行VR模擬駕駛教學演示系統(tǒng)設(shè)計與開發(fā)。設(shè)計與開發(fā)人員使用該引擎可以創(chuàng)建逼真的VR2D或3D場景，還可以發(fā)布實時三維動畫等互動內(nèi)容至PC，Mac，Android，IOS等平臺。目前Unity 3D逐漸向工業(yè)、科研、文化產(chǎn)業(yè)等VR開發(fā)方向轉(zhuǎn)型。

2 教學演示系統(tǒng)軟件與交互設(shè)計

2.1 系統(tǒng)設(shè)計概述

基于BCI的VR模擬駕駛教學演示系統(tǒng)由硬件系統(tǒng)和軟件系統(tǒng)組成。硬件系統(tǒng)主要由ThinkGear頭盔、TGMA控制元件和模擬駕駛外設(shè)組成。軟件系統(tǒng)包括MindViewer (測試腦電波，顯示波形與數(shù)據(jù))、Unity 3D (生成VR環(huán)境)、NeuroSky UnityTGC (Unity插件，可讀取EEG數(shù)據(jù)并控制突發(fā)情況下駕駛程序)。通過使用該系統(tǒng)，可以訓(xùn)練使用者駕駛能力和對突發(fā)情況的應(yīng)變能力，達到對使用者進行心理教學以及糾正的目的，模擬駕駛教學演示系統(tǒng)使用過程如圖2所示。

圖2 模擬駕駛教學演示系統(tǒng)使用場景

2.2 BCI腦波硬件頭盔設(shè)計

本文為BCI系統(tǒng)專門設(shè)計了腦電波頭盔，通過Creo進行腦電波頭盔設(shè)計，用3D打印設(shè)備制作出外殼的各個部分，實體頭盔外殼主要的作用是便于佩戴以及固定藍牙腦電波頭帶。其包括頭盔后蓋1，中蓋2與前蓋7，電池盒蓋3與電池盒4，電路板5，傳感器6和耳夾8，如圖3(a)所示。藍牙腦電波頭帶擁有一個ThinkGear腦電波傳感器6，位于頭盔前額處，可以采集大腦產(chǎn)生的生物電信號，并將其傳輸?shù)杰浖O(shè)備中。同時左耳夾8處有2個電極，分別為參考電極和接地電極。佩戴時，參考電極緊夾耳朵向腦電波控制器傳輸指令。通過腦電波傳感器采集腦電波信號，通過藍牙無線技術(shù)，將測得的數(shù)據(jù)反饋到連接的軟件設(shè)備中，可以遙控軟件中的虛擬模型，從而達到訓(xùn)練學習者的認知、注意力等能力的目的。

圖3 BCI腦波硬件頭盔設(shè)計構(gòu)成

2.3 模擬駕駛虛擬現(xiàn)實系統(tǒng)的設(shè)計

本系統(tǒng)VR軟件環(huán)境設(shè)計以Unity 3D為開發(fā)平臺，利用C#(ODE)語言實現(xiàn)編程。系統(tǒng)開發(fā)采用Unity3D引擎載入三維汽車模型，將外部駕駛模擬器設(shè)備與三維汽車模型離合器、油門、制動器、方向盤、六檔位變換器對應(yīng)關(guān)聯(lián)起來，形成可操縱的VR系統(tǒng)，如圖4所示。在系統(tǒng)輸入模塊中定義外設(shè)踏板輸入角度和方向盤角度等連續(xù)變量，同時定義六位換擋位枚舉變量，在模擬駕駛程序運行時系統(tǒng)通過計算機硬件設(shè)備接口函數(shù)獲取駕駛學員對駕駛設(shè)備的操控參數(shù)值。

圖4 模擬駕駛教學演示系統(tǒng)開發(fā)環(huán)境

系統(tǒng)中的場景模型主要使用3D Max建模輸出，如圖5所示。城市道路環(huán)境主要包括城市建筑與景觀、樹木等。為了真實模擬車輛在道路上行駛，在建模時還建立了相應(yīng)的交通設(shè)施，如交通信號燈、交通指示牌、標志等。車輛模型主要包含車輛本身的外觀模型和動力學模型。將建模圖形以FBX的形式導(dǎo)入Unity3D，中等精度貼紋理圖即可滿足模擬駕駛真實性體驗要求。

圖5 模擬駕駛教學演示系統(tǒng)場景模型設(shè)計

系統(tǒng)開發(fā)采用Unity3D內(nèi)置的ODE動力學引擎模擬汽車行駛原理并將車輛模型簡化為車身、車輪以及車身與車輪連接，使用復(fù)合關(guān)節(jié)Hinge來表示車身和車輪之間的連接關(guān)系，系統(tǒng)通過人機交互接口將外部輸入信號傳給動力學仿真模塊，不同的運動部件根據(jù)自身物理特性對其扭矩進行賦值，駕駛學員通過方向盤、油門、剎車、離合踏板、換擋手柄來控制車輛運動。窗口通過三維物體與環(huán)境動態(tài)反饋顯示VR事件的進行。

2.4 BCI-VR模擬駕駛系統(tǒng)交互控制運行效果

本文BCI系統(tǒng)與VR軟件需要實現(xiàn)數(shù)據(jù)互通與人機交互以及BCI。VR系統(tǒng)部分采用NeuroSky-TGC插件作為BCI-VR交互功能接口，NeuroSky-TGC是ThinkGear開發(fā)公司針對Unity3D設(shè)計的EEG腦波插件，可將數(shù)字數(shù)據(jù)作為異步串行字節(jié)流進行傳輸，同時對串行數(shù)據(jù)流數(shù)據(jù)包進行提取和解析，最終以波形與數(shù)據(jù)值形式顯示，并且可以通過狀態(tài)判斷對VR系統(tǒng)做出控制，同時，也可以將Unity環(huán)境的變化反饋給腦電波采集設(shè)備，從而影響駕駛學員腦波EEG變化，系統(tǒng)運行界面效果如圖6所示。NeuroSk-TGC配套軟件MindViewer顯示測得的腦電波波形與數(shù)據(jù)如圖7所示。

圖6 基于BCI的虛擬現(xiàn)實模擬駕駛教學演示系統(tǒng)界面

圖7 NeuroSky-TGC配套軟件顯示腦電波波形與數(shù)據(jù)

模擬駕駛教學演示系統(tǒng)需要實時監(jiān)測駕駛學員專注程度與駕駛心理狀態(tài)，因此對腦波進行分類以及提取，有針對性的觀測可以反映駕駛狀態(tài)的EEG腦波信號段是本文的重點研究內(nèi)容。如前文所述通過NeuroSky UnityTGC插件可以獲取佩戴者波、波、波、波、波、PoorSignal、Attention等EEG信號。其中專注度Attention指數(shù)值表明用戶當前的精神專注程度或注意力集中程度，當佩戴者能夠進入高度專注狀態(tài)并且可以穩(wěn)定地控制你的心理活動，該指數(shù)的值就會很高。該指數(shù)值的范圍為0~1rate[10]，專注度Attention指數(shù)的數(shù)值與佩戴者當時的腦部活動專注與否有關(guān)，焦躁不安、情緒波動較大等負面精神狀態(tài)都會擾亂Attention波形并降低其指數(shù)。由于Attention指數(shù)較為適宜反映受試者駕駛狀態(tài)，因此本文以專注度Attention為研究對象，正常行駛時，駕駛學員專注度Attention數(shù)值穩(wěn)定且處于較高水平；當有意外事件發(fā)生時，其值會劇烈變化，呈現(xiàn)急速降低的趨勢，當系統(tǒng)檢測到Attention值突變且呈現(xiàn)下降趨勢時，系統(tǒng)會判定駕駛學員無法恰當處理意外事件，駕駛存在危險，此時系統(tǒng)會自動進行剎車或輔助駕駛干預(yù)，避免交通事故發(fā)生，保證駕駛學員心理以及身體健康。

意外情況是駕駛時經(jīng)常遇到的問題，而傳統(tǒng)模擬駕駛訓(xùn)練系統(tǒng)缺少對策，本文另一項重點內(nèi)容為BCI在VR駕駛教學演示系統(tǒng)中意外情況下的反饋與控制，其工作流程為：使用者戴上腦電波頭盔，進行腦電波信號采集及記錄；將原始腦電信號進行預(yù)處理，并對預(yù)處理過后的信號進行特征提取和特征分類，之后將分類的信號進行輸出；在系統(tǒng)界面MindViewer子窗口顯示Attention指數(shù)波形；使用者戴上腦電波頭盔的同時，通過操作模擬駕駛方向盤，對模擬環(huán)境中的汽車進行運動控制；當有其他車輛緊急闖入時，使用者腦電波Attention指數(shù)發(fā)生較大的波動，且當其指數(shù)低于設(shè)定的閾值0時，本系統(tǒng)將自動對汽車進行緊急制動。系統(tǒng)工作流程如圖8所示。由此可知閾值0需要由實驗測定，且其數(shù)值由于人的生理心理固有特性而存在一定個體化差異，通過預(yù)測試而檢測每個駕駛學員的最優(yōu)閾值0，對后續(xù)學員的教學與訓(xùn)練非常重要。

圖8 教學演示系統(tǒng)工作流程

3 系統(tǒng)測試

為了測試系統(tǒng)的有效性并探索個體最優(yōu)Attention閾值0的取值，本文設(shè)計了模擬駕駛典型的意外道路事件，并邀請學員進行測試。測試環(huán)境為Windows 10系統(tǒng)，Unity3D結(jié)合NeuroSky UnityTGC編譯輸出可運行程序，學員佩戴本文專門設(shè)計的BCI頭盔，實驗記錄人員利用NeuroSky-TGC配套軟件顯示監(jiān)控EEG變化并記錄，主要觀測Attention指數(shù)波動與數(shù)值。

測試選擇4位年齡在20~23歲之間的男學員各進行10次重復(fù)性測試。測試任務(wù)情景如圖9所示，受試者佩戴BCI頭盔，操作方向盤、檔位與油門控制虛擬駕駛系統(tǒng)中的白色①號車直線前進，時速高于30 km/h低于50 km/h，進入十字路口時，紅色②號車急速斜插入路口。駕駛員需要根據(jù)情況避開或通過輔助駕駛在不發(fā)生碰撞的情況下安全駛離路口，即任務(wù)完成。測試任務(wù)采用分段評分，第1階段：掛前進擋，踩油門啟動；第2階段：扶正方向盤駛?cè)胧致房?；?階段：躲避緊急駛?cè)胲囕v；第4階段：駛出任務(wù)路段，到達終點。每完成一個階段任務(wù)即獲得25%正確率評分。經(jīng)過交叉驗證之后其任務(wù)正確率隨著重復(fù)次數(shù)增加的變化曲線圖如圖10所示，經(jīng)過10次Reapeat交叉實驗訓(xùn)練后，被試者測試任務(wù)正確率評分Accuracy接近100%，測試結(jié)果表明，本文系統(tǒng)設(shè)計已達預(yù)期。

圖9 測試情景示意圖

為保證系統(tǒng)獲取腦波的正確性與效率，必須在保證信息傳輸率的基礎(chǔ)上為每個被試者設(shè)定Attention最佳閾值0[11]，對所有受試者的每次測試Attention數(shù)據(jù)進行分析。對4個受試者的正確率Accuracy和注意力指數(shù)Attention的關(guān)系以及信息傳輸率Bit(bits/min)進行分析，最終得到圖11曲線，可以看出受試者在Attention閾值0設(shè)定在60~80之間時信息傳輸率與任務(wù)正確率達到最高，從整體來看，當閾值設(shè)定過小時，正確率會較低，而當閾值設(shè)定太大時，信息傳輸率就較低，因此根據(jù)圖中受試者的狀況，分別設(shè)定不同的閾值用于自適應(yīng)算法，4個受試者的最終設(shè)定見表1。

由于駕駛學員個體之間存在生理與心理能力固有差異，所以針對每個受試者所選擇的Attention閾值需要有所不同。在保證EEG數(shù)據(jù)有效傳輸與較高任務(wù)完成正確率的基礎(chǔ)上，最終受試者P1的閾值取值0.75，P2和P3的閾值取值0.77，受試者P4的閾值取值0.73。后續(xù)模擬駕駛?cè)蝿?wù)可以針對不同學員在系統(tǒng)中輸入其最佳Attention閾值，有助于系統(tǒng)實時監(jiān)控駕駛學員的駕駛狀態(tài)，當Attention指數(shù)異常并有出現(xiàn)危險跡象時，模擬駕駛系統(tǒng)積極采取干預(yù)措施。

圖10 駕駛?cè)蝿?wù)正確率與次數(shù)變化曲線圖

圖11 閾值與正確率、信息傳輸率關(guān)系

表1 受試者最佳EEG專注力指數(shù)閾值取值表

4 結(jié)束語

通過Unity 3D內(nèi)置的ODE動力學引擎開發(fā)VR駕駛環(huán)境，實現(xiàn)了學員直觀、實時、逼真的感知體驗。在硬件上設(shè)計了BCI頭盔，通過TGMA芯片內(nèi)建濾波算法對EEG腦波信號進行特征分類，選取專注力指數(shù)為指標監(jiān)控駕駛學員的駕駛狀態(tài)。既可以利用BCI技術(shù)監(jiān)測駕駛學員的駕駛心理狀態(tài)，虛擬駕駛系統(tǒng)又可以向BCI反饋學員駕駛動態(tài)，當出現(xiàn)突發(fā)性危險事件超出學員處理能力時，系統(tǒng)會進行自動干預(yù)解決。通過實驗驗證了系統(tǒng)的可用性，同時在保證駕駛?cè)蝿?wù)正確性與信息傳輸率的基礎(chǔ)上測定了每個被試者專注力最佳閾值，使用者可以在使用的過程中調(diào)整自己的心理狀態(tài)，提高應(yīng)變能力，從而達到心理教學以及糾正的目的。

最后實驗表明，基于腦電波控制的VR教學系統(tǒng)特有的沉浸感和實時交互性使得受試者在逼真的汽車駕駛教學環(huán)境中更容易激發(fā)腦電信號，專注力可以達到較高水平，預(yù)期可提高受試者的心理調(diào)節(jié)能力和應(yīng)變能力，達到對受試者進行心理教學以及糾正的目的。在今后的研究中，將繼續(xù)完善VR駕駛反饋的逼真度、沉浸度，以及反饋的直觀與多樣性。同時提高BCI與VR駕駛系統(tǒng)的協(xié)同工作效率與可用性。

[1] WOLPAW J R, MCFARLAND D J, VAUGHAN T M. Brain-computer interface research at the Wadsworth center[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 222-226.

[2] WEEVERS I, KUIPERS J, ZWIERS J, et al. The virtual driving instructor: a multi-agent based system for driving instruction[EB/OL]. [2020-03-23]. https://www. researchgate.net/publication/316498340_The_Virtual_Driving_Instructor_A_Multi-Agent_Based_System_for_Driving_Instruction.

[3] ZANDER T O, ANDREESSEN L M, ANGELA B, et al. Evaluation of a dry EEG system for application of passive brain-computer interfaces in autonomous driving[J]. Frontiers in Human Neuroscience, 2017, 11: 78.

[4] MELANIE K, EDMUND W, STEPHAN G, et al. Proactive vs. reactive car driving: EEG evidence for different driving strategies of older drivers[EB/OL]. [2020-03-23]. https://www.researchgate.net/publication/ 322621338_Proactive_vs_reactive_car_driving_EEG_evidence_for_different_driving_strategies_of_older_drivers.

[5] 趙啟斌. EEG時空特征分析及其在BCI中的應(yīng)用[D]. 上海: 上海交通大學, 2008.

[6] PAN X, ZHANG Z J, QU J, et al. Enjoy driving from thought in a virtual city[C]//2017 36th Chinese Control Conference (CCC). New York: IEEE Press, 2017: 11034-11040.

[7] 楊幫華, 劉麗, 陸文宇, 等. 基于虛擬現(xiàn)實技術(shù)的腦機交互反饋系統(tǒng)設(shè)計[J]. 北京生物醫(yī)學工程, 2011, 30(4): 401-404.

[8] 周鵬. 基于運動想象的腦機接口的研究[D]. 天津: 天津大學, 2007.

[9] 劉海龍, 王玨, 鄭崇勛. 基于腦電信號的意識信息提取與表達: 腦-機接口[J]. 中國康復(fù)理論與實踐, 2005, 11(3): 180-181.

[10] ROGERS J M, JOHNSTONE S J, AMINOV A, et al. Test-retest reliability of a single-channel, wireless EEG system[J]. International Journal of Psychophysiology, 2016, 106: 87-96.

[11] 趙春輝. 基于腦機接口的虛擬人控制研究及應(yīng)用[D]. 廣州: 華南理工大學, 2017.

Design of virtual reality simulated driving teaching system based on BCI

TENG Jian, HUANG Jia-hui, GONG Kai

(College of Mechanical and Electrical Engineering, Lingnan Normal University, Zhanjing Guangdong 524048, China)

In the traditional simulated driving, the training of normal scenes has received too much attention, the monitoring and assistance of the trainees’ psychological state in the accident scenes has been overlooked, and the driving psychological state has obtained no feedback and evaluation. In order to solve these problems, based on brain-computer interaction (BCI) and virtual reality (VR), a virtual reality simulated driving teaching demonstration system was developed. The simulated driving operating system was developed by using three-dimensional dynamics engine. And the wearable electroencephalogram (EEG) signal detection helmet was designed on hardware. The monitoring and data evaluation of the trainees’ brain state during simulated driving was realized based on BCI technology. When a sudden simulated event occurs, the system will automatically brake or assist driving through brain-computer interface technology. After completing the simulated driving training, emergency rescue measures can be given according to EEG feedback in the accident. In addition the students’ performance and psychological quality can be assessed based on EEG. The method proposed in this article provides a richer and more immersive interactive operation mode for the teaching and training with higher cognitive load, such as virtual driving, and improves the practicality and usability of the teaching and training system in this field.

brain-computer interaction; virtual reality; teaching demonstration; driving simulation

TP 391

10.11996/JG.j.2095-302X.2020020217

A

2095-302X(2020)02-0217-07

2019-10-10；

2019-11-17

廣東省普通高校青年創(chuàng)新人才類項目(2017WQNCX097)；嶺南師范學院校級項目(L1821)

滕 健(1986-)，男，黑龍江牡丹江人，實驗師，碩士。主要研究方向為交互設(shè)計、虛擬現(xiàn)實、工業(yè)設(shè)計。 E-mail：tengjian_id@lingnan.edu.cn

黃佳慧(1989-)，女，湖南永州人，碩士。主要研究方向為增強現(xiàn)實。E-mail：huangjiahui@lingnan.edu.cn