侯璐松

（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海 201800）

駕駛員警覺度預(yù)警系統(tǒng)研究與實(shí)現(xiàn)

侯璐松

（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海 201800）

道路交通安全領(lǐng)域中，疲勞駕駛導(dǎo)致的交通事故一直是人身財(cái)產(chǎn)的巨大威脅，通過視頻監(jiān)控和精神狀態(tài)預(yù)警可以有效解決這個(gè)問題。系統(tǒng)利用無監(jiān)督及有監(jiān)督的機(jī)器學(xué)習(xí)算法建立多適用場(chǎng)景的信號(hào)監(jiān)控警覺度模型，通過對(duì)腦電警覺度預(yù)測(cè)和視頻監(jiān)測(cè)判別的綜合策略運(yùn)用，設(shè)計(jì)多信號(hào)融合的腦機(jī)接口警覺度檢測(cè)系統(tǒng)。系統(tǒng)主要使用MATLAB腳本程序編寫實(shí)現(xiàn)。

腦電；警覺度；腦機(jī)接口；機(jī)器學(xué)習(xí)

0 引言

駕駛疲勞導(dǎo)致的人身財(cái)產(chǎn)損失是現(xiàn)代社會(huì)文明發(fā)展的主要障礙之一。為了解決這個(gè)問題，我們需要實(shí)時(shí)監(jiān)測(cè)駕駛員的警覺度變化，及時(shí)發(fā)現(xiàn)駕駛疲勞現(xiàn)象并提供安全預(yù)警[1-3]。其中，警覺度是衡量人在認(rèn)知任務(wù)中注意力保持水平的標(biāo)準(zhǔn)[4]；對(duì)警覺度檢測(cè)的結(jié)果來源于對(duì)駕駛員的肢體動(dòng)作和精神狀態(tài)的分析。

根據(jù)信號(hào)的特性，可將檢測(cè)警覺度的生理指標(biāo)分為兩類：外部動(dòng)作指標(biāo)和內(nèi)部狀態(tài)信號(hào)指標(biāo)。常用于駕駛警覺分析的外部動(dòng)作指標(biāo)包括眼動(dòng)[5-6]、頭部姿態(tài)[7]和嘴部形態(tài)[8]等。其中，眼瞼閉合度是效果最好的，也因此得到了廣泛的采用[9-10]；常用的內(nèi)部狀態(tài)信號(hào)包括血壓[11]和腦電（Electroencephalogram，EEG）[12-15]等。其中，腦電信號(hào)由于時(shí)間分辨率高、可以精確反映大腦狀態(tài)的變化等特點(diǎn)，相對(duì)使用率更高。

在判斷駕駛員疲勞度方面，與內(nèi)部狀態(tài)信號(hào)指標(biāo)相比，外部動(dòng)作指標(biāo)雖然在捕捉危險(xiǎn)駕駛行為方面有較好的精確性，但其主要是疲勞度的外部表現(xiàn)（如眼睛閉合時(shí)間過長、頭部非正常偏移等），作為結(jié)果而不能對(duì)警覺度的變化及時(shí)發(fā)出預(yù)警；內(nèi)部狀態(tài)信號(hào)指標(biāo)能更準(zhǔn)確地反映駕駛員精神狀態(tài)的實(shí)時(shí)變化，在提前預(yù)警方面應(yīng)用更加有利，但應(yīng)用廣泛的腦電信號(hào)存在設(shè)備可穿戴性差的問題。因此，綜合眼睛閉合時(shí)間、頭部姿態(tài)偏移量和腦電信號(hào)的分析結(jié)果來設(shè)立多種適用場(chǎng)景的實(shí)時(shí)監(jiān)測(cè)和預(yù)警駕駛員警覺度系統(tǒng)成為相對(duì)更好的選擇。

在EEG數(shù)據(jù)的分析方面，本文中研究工作主要針對(duì)三個(gè)頻段：δ波、α波和β波。通常認(rèn)為，δ波是睡眠狀態(tài)下的主要表現(xiàn)，α波是安靜狀態(tài)時(shí)的主要表現(xiàn)，β波是大腦皮層處在緊張狀態(tài)時(shí)的主要腦電活動(dòng)表現(xiàn)。這三種波的頻段分布與表現(xiàn)區(qū)域如下所示：

（1）δ波：頻率為0-4 Hz，主要出現(xiàn)在睡眠、深度昏迷等情況下，可用于檢測(cè)駕駛員的疲勞情況。

（2）α波：頻率為9-12 Hz，成年人基本的腦電波信號(hào)，是正常意識(shí)下的主要腦電信號(hào)波，廣泛分布在大腦皮層各區(qū)域。

（3）β波：頻率為13-35 Hz，正常健康成年人在注意力集中、情緒高度緊張時(shí)該頻段的腦部活動(dòng)會(huì)出現(xiàn)明顯提升，主要分布額葉、中央?yún)^(qū)。

1 多信號(hào)融合腦機(jī)接口警覺度分析系統(tǒng)設(shè)計(jì)

系統(tǒng)總體框架如圖1所示。首先，駕駛員佩戴的采集設(shè)備會(huì)實(shí)時(shí)進(jìn)行EEG數(shù)據(jù)的采集，然后做數(shù)據(jù)預(yù)處理、特征提取和結(jié)果判別；同時(shí)，駕駛員頭部的視頻信息由攝像頭進(jìn)行數(shù)據(jù)采集，通過圖像分析進(jìn)行頭部姿態(tài)和閉眼狀態(tài)檢測(cè)。將兩個(gè)數(shù)據(jù)指標(biāo)處理結(jié)果進(jìn)行優(yōu)化組合，最終產(chǎn)生警覺度等級(jí)的評(píng)判結(jié)果，隨后系統(tǒng)根據(jù)判定的不同等級(jí)及時(shí)發(fā)出對(duì)應(yīng)警報(bào)（聲、光、電）。

其中，系統(tǒng)界面包括視頻信號(hào)、特征投影、結(jié)果的數(shù)理統(tǒng)計(jì)信息等直觀展示，這些直觀的圖表數(shù)據(jù)可以更簡潔、準(zhǔn)確地表示用戶的當(dāng)前警覺度狀態(tài)，并被用于系統(tǒng)的優(yōu)化配置，提升性能。

整個(gè)系統(tǒng)使用MATLAB腳本程序編程實(shí)現(xiàn)，以便于腦電數(shù)據(jù)的處理和后續(xù)的系統(tǒng)測(cè)試。

圖1 系統(tǒng)框架圖

2 警覺度分析算法

2.1 視頻監(jiān)控信號(hào)分析

系統(tǒng)中視頻信號(hào)主要用于頭部姿態(tài)和眼睛閉合檢測(cè)。頭部姿態(tài)檢測(cè)首先需要建立一個(gè)3D模型，模型模板由多個(gè)標(biāo)準(zhǔn)模板組成。隨后，通過實(shí)時(shí)圖像與模板的比對(duì)，用戶實(shí)時(shí)的頭部姿態(tài)可以被標(biāo)記出來。此外，模板會(huì)根據(jù)采集的用戶圖像自適應(yīng)地更新模板庫，以適應(yīng)不斷變化的視頻背景。最后，系統(tǒng)采用Lucas-Kanade算法計(jì)算用戶的頭部在三個(gè)坐標(biāo)軸（x軸，y軸，z軸）的偏移量，若大于安全閾值，系統(tǒng)將發(fā)出預(yù)警信號(hào)[16]。在實(shí)驗(yàn)中，對(duì)于眼睛閉合監(jiān)測(cè)，若用戶閉眼超過1秒，系統(tǒng)也會(huì)給出相應(yīng)的預(yù)警。

2.2 腦電警覺度分析模型

傳統(tǒng)的腦電警覺度監(jiān)測(cè)系統(tǒng)一般設(shè)置固定狀態(tài)數(shù)的警覺度狀態(tài)分級(jí)，這使得系統(tǒng)的適應(yīng)性變?nèi)?，不利于推廣應(yīng)用。針對(duì)這一問題，本系統(tǒng)不僅提供多類型的實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)的展示（包括腦電信號(hào)、頭模型能量圖、警覺度分類數(shù)據(jù)等），幫助用戶從多個(gè)角度直觀的查看精神狀態(tài)與駕駛情況；還提供不同的警覺度評(píng)測(cè)模型選擇，包括線性判別分析（Linear Discriminant Analysis，LDA）無監(jiān)督模型和高斯混合聚類（Gaussian mixture model cluster，GMMcluster）多分類模型。

其中，LDA無監(jiān)督模型主要針對(duì)沒有存儲(chǔ)數(shù)據(jù)的新用戶，幫助新用戶快速使用系統(tǒng)，數(shù)據(jù)分類結(jié)果為三類用于警覺度監(jiān)控；GMMculster是有監(jiān)督學(xué)習(xí)方法，在系統(tǒng)中被用于多分類的應(yīng)用場(chǎng)景。特別的，針對(duì)不同預(yù)警策略的用戶需要，GMMcluster可以提供用戶指定數(shù)量的分類類別（清醒和睡眠兩種極端情況之間的類別），使得系統(tǒng)可以區(qū)分相對(duì)應(yīng)不同數(shù)目等級(jí)的警覺度，警覺度評(píng)價(jià)機(jī)制更靈活實(shí)用。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證系統(tǒng)的可用性和有效性，兩名被試參與到在線模擬駕駛實(shí)驗(yàn)，得到的測(cè)試數(shù)據(jù)將被用來驗(yàn)證系統(tǒng)有效性。

兩名被試的年齡均在25-30歲之間，為健康成年男性。實(shí)驗(yàn)時(shí)長約為40分鐘（圖1和圖2的x軸單位標(biāo)尺為5秒），實(shí)驗(yàn)過程中，對(duì)于視頻的監(jiān)控和對(duì)腦電信號(hào)的監(jiān)控兩種模式同時(shí)運(yùn)行，任意一種模式判定出危險(xiǎn)駕駛狀況，系統(tǒng)都會(huì)及時(shí)發(fā)出預(yù)警。數(shù)據(jù)在離線分析中表明，兩位受試均經(jīng)歷了從清醒到瞌睡再到清醒的警覺度變化過程。這與被試在試驗(yàn)后的陳述一致。

圖2和圖3展示了上述試驗(yàn)中其中一位被試的腦電數(shù)據(jù)在兩種模型下警覺度分類的結(jié)果。其中，被試的數(shù)據(jù)被分為兩部分，前70%的數(shù)據(jù)用于訓(xùn)練，后30%的數(shù)據(jù)用于測(cè)試。

可以發(fā)現(xiàn)，圖2采用的LDA無監(jiān)督模型，將數(shù)據(jù)分為三類：睡眠、疲勞和清醒。圖3采用的GMMcluster模型，數(shù)據(jù)被分為四類：清醒、一級(jí)疲勞、二級(jí)疲勞、睡眠。從上述兩圖呈現(xiàn)的趨勢(shì)來看，根據(jù)時(shí)間的變化，駕駛員確實(shí)表現(xiàn)出從清醒到睡眠再到清醒的變化歷程。此外，視頻監(jiān)控圖像也支持了這一結(jié)論。

圖2 LDA無監(jiān)督模型數(shù)據(jù)分類結(jié)果

圖3 GMMcluster模型分類結(jié)果

4 系統(tǒng)介紹與展示

在數(shù)據(jù)采集方面，系統(tǒng)使用高精度生物信號(hào)放大器及其相關(guān)采集軟件。

視頻監(jiān)測(cè)方面由微軟Visual Studio中的Open CV控件處理由攝像頭采集的圖像。檢測(cè)程序?qū)⒈痪幾g成MATLAB可調(diào)用的執(zhí)行程序，由MATLAB直接調(diào)用，并通過TCP/IP協(xié)議傳建立連接傳遞數(shù)據(jù)。

系統(tǒng)實(shí)時(shí)同步采集腦電信號(hào)和視頻數(shù)據(jù)，進(jìn)行數(shù)據(jù)的特征提取和模式識(shí)別，得到兩類監(jiān)測(cè)結(jié)果后通過優(yōu)化后的策略組合評(píng)定等級(jí)，隨后系統(tǒng)發(fā)出預(yù)警。

如圖4所示，系統(tǒng)實(shí)時(shí)工作時(shí)，用戶可以將采集后分析到的數(shù)據(jù)進(jìn)行直觀的圖表展示。其中，可實(shí)時(shí)查看的特征量如下所示：

①選中導(dǎo)聯(lián)的腦電信號(hào)：展示對(duì)應(yīng)的時(shí)間序列EEG數(shù)據(jù)。

②選中導(dǎo)聯(lián)的頻譜能量：展示選中導(dǎo)聯(lián)上的頻譜能量和特征比值，用于比較各頻段內(nèi)用戶腦電數(shù)據(jù)能量的實(shí)時(shí)變化。

③警覺度狀態(tài)腦區(qū)分布圖：對(duì)于選中的不同頻域，把用戶在所選頻段內(nèi)在頭模型上的警覺度空間分布情況。

④警覺度的數(shù)理統(tǒng)計(jì)信息：對(duì)警覺度判別結(jié)果進(jìn)行時(shí)序統(tǒng)計(jì)并做實(shí)時(shí)展示，反映用戶的實(shí)時(shí)警覺度狀態(tài)變化。

圖4 系統(tǒng)主界面

此外，系統(tǒng)可以進(jìn)行參數(shù)配置，界面如圖5所示：

圖5 系統(tǒng)參數(shù)配置界面

5 結(jié)語

本文在單一模式警覺度監(jiān)控研究基礎(chǔ)上，提出了融合腦電信號(hào)與視頻監(jiān)測(cè)的混合腦機(jī)接口警覺度分析方法，并設(shè)計(jì)了一套可用于實(shí)時(shí)監(jiān)控駕駛員警覺度的監(jiān)測(cè)系統(tǒng)。系統(tǒng)綜合分析了駕駛過程的腦電信號(hào)和視頻監(jiān)控?cái)?shù)據(jù)，對(duì)駕駛員從物理、精神兩個(gè)方面進(jìn)行全方位的警覺度監(jiān)控并提供預(yù)警策略。此外，系統(tǒng)不僅可以預(yù)測(cè)警覺度的狀態(tài)變化，還提供各類特征的統(tǒng)計(jì)分析界面展示，幫助用戶及時(shí)查看駕駛實(shí)時(shí)狀態(tài)。

最后，出于對(duì)實(shí)際應(yīng)用的有效性和適應(yīng)性的考慮，在警覺度的精細(xì)化分析、預(yù)測(cè)情況下警覺度預(yù)警的有效性等重要問題上，仍然需要通過更具針對(duì)性的真實(shí)環(huán)境實(shí)驗(yàn)來改善和驗(yàn)證此類用于復(fù)雜場(chǎng)景的腦機(jī)接口系統(tǒng)，這也是我們今后需要重點(diǎn)研究的工作。

[1]Thiffault Pierre,Bergeron Jacques.Monotony Of Road Environment And Driver Fatigue:A Simulator Study[J].Accident Analysis& Prevention,2003,35(3):381-391.

[2]Philip Pierre,Sagaspe Patricia,Moore Nicholas,et al.Fatigue,Sleep Restriction and Driving Performance[J].Accident Analysis& Prevention,2005,37(3):473-478.

[3]SKL LAL,CRAIG A.A Critical Review of the Psychophy Siology of Driver Fatigue[J][J].Biological Psychology,2001,55(3):173-194.

[4]Lin Chin-Teng,Wu Ruei-Cheng,Liang Sheng-Fu,et al.EEG-Based Drowsiness Estimation for Safety Driving Using Independent Component Analysis[J].IEEE Transactions on Circuits and Systems I:Regular Papers,2005,52(12):2726-2738.

[5]Johns M.W.,Tucker A.J.,Chapman R.J.,et al.A New Scale of Drowsiness Based on Multiple Characteristics of Eye and Eyelid Movements:The Johns Drowsiness Scale[J].Sleep Biol Rhythms,2006,4(Suppl 1):A37.

[6]Caffier Philipp P.,Erdmann Udo,Ullsperger Peter.Experimental Evaluation of Eye-Blink Parameters as a Drowsiness Measure[J].European Journal of Applied Physiology,2003,89(3-4):319-325.

[7]Ji Qiang,Yang Xiaojie.Real-Time Eye,Gaze,and Face Pose Tracking for Monitoring Driver Vigilance[J].Real-Time Imaging,2002,8 (5):357-377.

[8]Saradadevi Mandalapu,Bajaj Preeti.Driver Fatigue Detection Using Mouth and Yawning Analysis[J].International Journal of Computer Science and Network Security,2008,8(6):183-188.

[9]Bergasa Luis M.,Nuevo JesUS,Sotelo Miguel A.,et al.Real-Time System for Monitoring Driver Vigilance[J].Intelligent Transportation Systems,IEEE Transactions On,2006,7(1):63-77.

[10]Ji Qiang,Zhu Zhiwei,Lan Peilin.Real-Time Nonintrusive Monitoring and Prediction of Driver Fatigue[J].IEEE Transactions on Vehicular Technology,2004,53(4):1052-1068.

[11]Yang Guosheng,Lin Yingzi,Bhattacharya Prabir.A Driver Fatigue Recognition Model Based on Information Fusion and Dynamic Bayesian Network[J].Information Sciences,2010,180(10):1942-1954.

[12]Simon Michael,Schmidt Eike A.,Kincses Wilhelm E.,et al.EEG Alpha Spindle Measures as Indicators of Driver Fatigue Under Real Traffic Conditions[J].Clinical Neurophysiology,2011,122(6):1168-1178.

[13]Lal Saroj KL,Craig Ashley.Reproducibility of the Spectral Components of the Electroencephalogram During Driver Fatigue[J].International Journal of Psychophysiology,2005,55(2):137-143.

[14]Schmidt Frank Martin,Sch?nherr Jeremias,Sander Christian,Et Al.Applying EEG-Based Vigilance Measurement In a Case of Adult Attention Deficit Hyperactivity Disorder[J].International Journal of Neuropsychopharmacology,2013,16(5):1169-1171.

[15]J?dicke Johannes,Olbrich Sebastian,Sander Christian,et al.Separation of Low-Voltage EEG-Activity During Mental Activation from That During Transition To Drowsiness[J].Brain Topography,2013,26(4):538-546.

[16]Xu Yi-fei,Zeng Jin-hua,Sun Yao-ru.Head Pose Recovery Using 3D Cross Modelieee,2012:63-66.

Research and Implementation of Drivers'Vigilance Monitoring System

HOU Lu-song

（Department of Computer Science and Technology,School of Electronic and Information Engineering,Tongji University, Shanghai 201800）

Driver fatigue is a great threat in the field of traffic safety.To solve this problem,develops an EEG and Video-based hybrid BCI to monitor drivers'vigilance.In this system,applies two supervised and unsupervised machine learning algorithms to analyze and classify EEG. This system is developed by MATLAB.

EEG;Vigilance;BCI;Machine Learning

1007-1423（2017）01-0034-05

10.3969/j.issn.1007-1423.2017.01.009

侯璐松（1991-），女，山東濟(jì)寧人，在讀碩士，研究方向?yàn)檐浖c信息服務(wù)

2016-11-15

2016-12-26