徐春婕

XU Chun-jie

（中國鐵道科學研究院?電子計算技術研究所，北京?100081)

(Institute of Computing Technology， China Academy of Railway Sciences， Beijing 100081， China)

0 引言

行車安全是鐵路運輸安全生產(chǎn)的重要保障。由于列車運行速度快，鐵路交通運輸安全事故危害性大，而機車司機操作過程的智能化和所處環(huán)境的影響，使得司機易于處于注意力下降、打瞌睡等狀態(tài)，導致司機的違章作業(yè)或操縱失誤。因此，對列車司機狀態(tài)進行在線監(jiān)測和管理，己經(jīng)成為保障列車安全運營亟待解決的問題。

目前，國內(nèi)外對司機疲勞駕駛監(jiān)測技術的研究主要集中在汽車司機的疲勞駕駛方面，分析的方法主要有基于生理參數(shù)的方法[1-2]和基于計算機視覺的檢測方法[3-8]?；谏韰?shù)的方法主要分析腦電信號、脈搏、手動信息、肌電信號和皮電信號等[9]；基于計算機視覺的檢測方法主要分析眼睛閉合程度 (PERCLOS)、眨眼頻率等眼部特征和頭部位置變化等，基于計算機視覺的檢測方法由于其非接觸式的工作方式得到廣泛的應用，但由于列車運行過程中受復雜光線的影響，準確率比較低。

少數(shù)鐵路局集團公司、站段根據(jù)本單位的工作實際，開發(fā)了基于計算機視覺分析的司機疲勞駕駛監(jiān)測系統(tǒng)，但仍存在諸多的問題，監(jiān)測手段單一，僅以閉眼時長作為判斷疲勞程度的標準，準確率和可靠性有待提高；報警僅限于在司機駕駛室內(nèi)進行報警，難以滿足地面機務段實時監(jiān)控司機狀態(tài)的需求；系統(tǒng)功能單一，對于監(jiān)控視頻數(shù)據(jù)采用人工監(jiān)控的方式，成為一種事后取證的工具，很難進行統(tǒng)計和分析，難以滿足統(tǒng)一管理和考核的需求。為此，采用多信息融合的分析方法，提出一套完整的基于多傳感信息融合的鐵路機車司機疲勞駕駛監(jiān)測系統(tǒng)。通過采集司機的駕駛圖像、司機的腦電信息及手動信息，對數(shù)據(jù)進行綜合分析，進行在線監(jiān)測與報警，并將報警信息實時傳送至地面監(jiān)控中心，并對視頻進行管理。該系統(tǒng)可以有效提高監(jiān)測的準確率和可靠性，實現(xiàn)報警數(shù)據(jù)的實時車地傳輸，全面滿足實時監(jiān)控的需求。

1 基于多信息融合的鐵路機車司機疲勞駕駛監(jiān)測系統(tǒng)設計

鐵路機車司機疲勞駕駛監(jiān)測系統(tǒng) (DFDS) 是指利用信息技術、集成技術、圖像處理等技術，對司機的面部表情、行為狀態(tài)實時采集的視頻和可穿戴設備采集的生理信號等信息進行分析和統(tǒng)計，具有在線監(jiān)控、視頻管理、統(tǒng)計分析、設備管理、參數(shù)控制等基本功能，形成列車機務段、機車司機兩級報警和分析體系，全面滿足機務段對司機狀態(tài)監(jiān)控和管理需求的統(tǒng)一智能監(jiān)控系統(tǒng)。

1.1 系統(tǒng)功能設計

系統(tǒng)從功能角度可以劃分為在線監(jiān)控子系統(tǒng)、視頻管理子系統(tǒng)、統(tǒng)計分析子系統(tǒng)及設備監(jiān)控子系統(tǒng)。

（1）在線監(jiān)控子系統(tǒng)。在線監(jiān)控子系統(tǒng)通過圖像采集傳感器采集機車司機的面部視頻信息、安裝在司機工作帽中的傳感器采集腦電波信息、通過智能手環(huán)采集司機的手部運動信息，并對相應的信息進行分析，計算司機的疲勞度，然后進行信息的融合，準確快速地檢測疲勞狀態(tài)監(jiān)及異常行為，并將報警信息實時傳送監(jiān)控中心系統(tǒng)，進行人工干預和處理。

（2）視頻管理子系統(tǒng)。視頻管理子系統(tǒng)主要完成視頻圖像的查詢、預覽和回放功能，用戶可以根據(jù)不同的時間段、機車編號、司機編號等字段進行視頻圖像的檢索，結合報警信息可以實現(xiàn)視頻圖像的快速定位，在視頻回放過程中，實現(xiàn)視頻圖像的抓圖存儲功能，作為事后分析的依據(jù)。

（3）統(tǒng)計分析子系統(tǒng)。統(tǒng)計分析子系統(tǒng)是為機務段工作人員和管理人員提供所需要的數(shù)據(jù)報表，可以有效提高業(yè)務人員統(tǒng)計管理工作效率的報表管理系統(tǒng)。系統(tǒng)提供工作時長統(tǒng)計、報警次數(shù)統(tǒng)計、績效考核等基本報表功能。

（4）設備管理子系統(tǒng)。設備管理子系統(tǒng)實現(xiàn)系統(tǒng)設備的狀態(tài)監(jiān)控和故障管理、設備的參數(shù)配置及全生命周期的管理功能。車載設備包括攝像頭、可穿戴設備、智能分析設備，地面監(jiān)控中心包括服務器等設備。

1.2 系統(tǒng)架構設計

根據(jù)機車司機提醒、機務段對司機狀態(tài)進行集中監(jiān)控的要求，結合中國高速鐵路標準動車組設計方案，DFDS 采用機務段－機車兩級架構。整個系統(tǒng)組成分為地面監(jiān)控中心、車載監(jiān)控系統(tǒng)、車地通訊系統(tǒng)3個部分。地面監(jiān)控中心設置數(shù)據(jù)庫服務器、應用服務器和接口服務器設備，通過統(tǒng)一的接口接收機車運行信息、機車司機排班信息、機車調(diào)度信息及司機報警信息，對數(shù)據(jù)進行管理和維護，完成機車司機排班等信息的維護，歷史視頻數(shù)據(jù)回放，機務段所屬機車司機的疲勞狀態(tài)實時跟蹤并進行及時處理功能，從而實現(xiàn)對機車司機人員疲勞狀態(tài)全面集中管控；車載監(jiān)控系統(tǒng)通過攝像機組采集機車司機的面部視頻信息，通過腦電波帽子采集司機的腦電波信息，通過智能手環(huán)采集司機的手部運動信息，由智能分析主機對三者信息進行綜合分析處理，快速準確地檢測疲勞狀態(tài)監(jiān)及異常行為，并將報警信息實時傳送地面監(jiān)控中心系統(tǒng)，進行人工干預和處理；車地通訊系統(tǒng)通過 4G/3G 無線通信單元與地面監(jiān)控中心實時交互，完成報警數(shù)據(jù)和報警信息的實時傳輸功能。

系統(tǒng)軟件架構通過調(diào)用不同的服務和數(shù)據(jù)資源構建系統(tǒng)的業(yè)務流程，設計的基于多信息融合的 DFDS 架構如圖1所示。整個架構按層次劃分為表現(xiàn)層、業(yè)務層、數(shù)據(jù)層、傳輸層和數(shù)據(jù)采集層5層。

（1）表現(xiàn)層。表現(xiàn)層提供用戶所需要的各種功能，包括在線監(jiān)測、視頻管理、統(tǒng)計分析和設備管理等業(yè)務的各應用子系統(tǒng)。

（2）業(yè)務層。業(yè)務層是系統(tǒng)所有業(yè)務服務的集合,包括文件上傳、接口管理、抓圖、視頻存儲、視頻壓縮、疲勞度狀態(tài)檢測、報警等功能模塊。根據(jù)實際需要可以設置報警參數(shù)，如針對視頻信息采集設置的各級別報警時長、報警視頻存儲長度、報警圖片的抓取等；實現(xiàn)視頻的壓縮和存儲，并結合可穿戴設備采集的生理信號進行融合，實現(xiàn)疲勞狀態(tài)的綜合監(jiān)測并進行報警；通過接口管理模塊實現(xiàn)報警信號和圖像或視頻信息的上傳，并將機車運行信息、機車司機排班信息和機車調(diào)度信息接入系統(tǒng)，為表現(xiàn)層提供業(yè)務支持。

圖1 基于多信息融合的 DFDS 架構Fig.1 DFDS based on multi-sensor information fusion

（3）數(shù)據(jù)層。數(shù)據(jù)層是系統(tǒng)的數(shù)據(jù)中心，包括司機排班信息、機車運行信息、機車調(diào)度信息、腦電信息、手環(huán)信息、圖片及視頻數(shù)據(jù)文件等。

（4）傳輸層。傳輸層包括藍牙通訊、有線通訊和 4G /3G 網(wǎng)絡傳輸，藍牙通訊實現(xiàn)可穿戴設備和分析主機之間的數(shù)據(jù)傳輸，有線完成攝像頭與分析主機間視頻圖像的傳輸，4G /3G 網(wǎng)絡完成車地數(shù)據(jù)的實時數(shù)據(jù)交換。

（5）數(shù)據(jù)采集層。數(shù)據(jù)采集層包括的硬件設備為紅外攝像頭、帶三軸傳感器的智能手環(huán)和帶有腦電傳感器的工作帽，從而完成視頻圖像和生理信息等的采集功能。

2 鐵路機車司機疲勞駕駛監(jiān)測系統(tǒng)關鍵技術

2.1 基于視覺分析的疲勞狀態(tài)監(jiān)測技術

基于視覺分析的司機疲勞狀態(tài)監(jiān)測由于其非接觸式工作方式，在疲勞駕駛檢測中得到了廣泛的運用，機車運行時受白天、黑夜、隧道等不同條件光線的影響，系統(tǒng)采用近紅外攝像頭來獲取駕駛員的臉部圖像，以保證不同光照環(huán)境下都能獲得較好的面部圖像?；谝曈X分析的司機疲勞駕駛監(jiān)測算法流程圖如圖2所示。系統(tǒng)首先采用基于擴展 Haarlike 特征的 AdaBoost 算法，對人臉進行檢測；其次，按照“三庭五眼”原則進行眼睛區(qū)域的粗略定位 (選取人臉區(qū)域垂直方向約 1/5—1/2)，并對選定的人臉區(qū)域作3×3的中值濾波技術除噪，作垂直積分投影，選取投影的最大值，確定兩眼中間的水平位置，劃分左右眼，選取較大區(qū)域眼睛定位區(qū)域，對區(qū)域作水平積分和垂直積分投影[10]，將水平積分投影次大值記作眼睛的水平位置，將垂直積分投影的最大值記作眼睛的垂直位置。由于采集到的圖像中人眼的瞳孔半徑約為 6～9 個像素，因而本系統(tǒng)選取眼睛直徑 (記作 T) 為30個像素，以上下左右各擴展 T/2 個值的作為選取瞳孔眼睛的矩形窗口；再次判斷眼睛的睜閉狀態(tài)，即將定位眼睛窗口二值化，閾值由經(jīng)驗取為 80，此時黑眼球被二值化為黑色像素，統(tǒng)計各列黑色像素的個數(shù)并取最大值，判斷閾值是否小于6(采用 PERCLOS[11]算法的 P80原則)，如果各列黑色像素的閾值小于6則為閉眼狀態(tài)，反之為睜眼狀態(tài)；最后計算司機疲勞度。

2.2 基于腦電的疲勞狀態(tài)監(jiān)測技術

腦電是大腦皮層神經(jīng)細胞集群電活動而產(chǎn)生的電生理信號，依頻率不同而分為 δ，θ，α，β 波。

圖2 基于視覺分析的司機疲勞駕駛監(jiān)測算法流程圖Fig.2 Flow chart of driver fatigue monitoring algorithm based on visual analysis

鑒于高速列車運行時的實際情況，以 10～13 Hz 的 α 波和 18～22 Hz 的 β 波2個頻帶進行分析，在實際駕駛環(huán)境中采集到的腦電信號含有較強的干擾，因而首先需要對采集到的腦電信號使用小波包分解方法[12]進行去噪處理，小波包分解公式如下。

式中：f (t) 表示源信號；fi,j(tj) 表示小波包分解在第i 層分解節(jié)點 (i，j) 上的重構信號，i 為第 i 層分解，j = 0，1，…，2i-1。

由于駕駛員處于疲勞狀態(tài)時，α 波及高頻腦電會減少，而腦電的 β 波會增多；當從疲勞轉為瞌睡或睡眠狀態(tài)時,占主導的腦電頻率會逐步降低為 θ 波。鑒于高速列車運行時的實際情況，以10～13 Hz 的 α 波的平均功率譜密度 Gα和 18～22 Hz的 β 波的平均功率譜密度 Gβ[9]比值作為腦電疲勞指標 Fa。

2.3 基于手環(huán)的疲勞狀態(tài)監(jiān)測技術

智能手環(huán)作為可穿戴設備的一種，通過手環(huán)中嵌入的三軸傳感器收集人的手動信息，可以分析機車司機的疲勞及睡眠狀態(tài)，故本系統(tǒng)通過采集三軸加速度分量信息，檢測手部運動的活躍狀態(tài)，從而反映出司機的疲勞狀態(tài)程度。其主要包括以下 4個步驟：①計算三軸加速度，測量范圍為 -2～2g；②對三軸加速度求方差，以表征運動系數(shù)波動的大小，為了讓方差恒定，即讓波動相對穩(wěn)定，以便于統(tǒng)計推斷，因而在計算時對方差值取對數(shù)；③進行閾值去噪計算手動系數(shù)；④設置門限閾值，判斷手動次數(shù)，統(tǒng)計一段時間內(nèi)手動次數(shù)值，判斷疲勞程度。

2.4 基于多信息融合的疲勞狀態(tài)監(jiān)測技術

鐵路機車司機疲勞駕駛監(jiān)測系統(tǒng)采用多信息融合，利用各類傳感器采集的數(shù)據(jù)信息分別識別出駕駛員的疲勞程度，然后通過加權平均進行相關的分析和處理。系統(tǒng)疲勞等級判別值 F 計算的融合矩陣滿足下列公式。

式中：P1為基于視覺的疲勞狀態(tài)監(jiān)測等級；P2為基于腦電的疲勞狀態(tài)監(jiān)測等級劃分；P3為基于手環(huán)的疲勞狀態(tài)監(jiān)測等級劃分；wi為 Pi項指標的權值。

Pi參照 6A 系統(tǒng) (機車車載安全防護系統(tǒng)) 的標準，根據(jù)被檢測人員眼瞼持續(xù)閉合時間 t，劃分為一級疲勞、二級疲勞和三級疲勞，可以表示為

P2根據(jù)腦電疲勞指標 F，可以表示為

P3根據(jù)手動系數(shù)值 H，可以表示為

2.5 基于多信息融合的疲勞狀態(tài)監(jiān)測算法試驗分析

基于視覺的疲勞狀態(tài)監(jiān)測的試驗環(huán)境為英特爾i3 處理器、3 G 內(nèi)存，VS2010 編程環(huán)境，程序采用VC++ 語言編寫，其中人臉檢測算法的處理時間為0.003s/幀，人眼特征檢測算法處理時間為 0.08s/幀，在當前環(huán)境下滿足視覺圖像處理12幀/s 的實時需求。

基于腦電信號與手環(huán)疲勞狀態(tài)監(jiān)測方法試驗過程中，手動系數(shù)為監(jiān)測反饋信息段90s 內(nèi)超過門限閾值的數(shù)量，為了減少誤差，統(tǒng)計連續(xù)2次及以上手動系數(shù)小于30時為三級疲勞，30～60 之間為二級疲勞，60～100 之間為一級疲勞。

為了分析多信息融合檢測方法的性能，分別對白天、午休、夜間和雨天、陰天、晴天拍攝的6組視頻各24300幀圖像，約4h 的典型數(shù)據(jù)的檢測結果進行統(tǒng)計，設定權值矩陣取值 [1/31/31/3]T，為了與基于視覺的疲勞狀態(tài)監(jiān)測保持一致，試驗過程每 10s 作為一個監(jiān)測時間點。疲勞狀態(tài)監(jiān)測等級劃分取值范圍 [2/3，4/3) 為一級報警，[4/3，2) 為二級報警，[2，3] 為三級報警，并統(tǒng)計監(jiān)測準確率、漏報率和誤報率作為評價檢測效果的指標進行分析，單因素檢測與融合算法檢測結果對比如表1所示。

表1 單因素檢測與融合算法檢測結果對比 %Tab.1 Comparison of the single factor test and the fusion algorithm

數(shù)據(jù)表明，在司機駕駛過程中，基于視覺的監(jiān)測方法受復雜天氣及光線的影響較大，導致準確率比較低，漏報和誤報率高；基于腦電的監(jiān)測方法，由于司機的頭部運動易導致出腦電接觸度不夠，從而引起漏報率比較高；手部運動受到外界的影響因素少，但有一定時間滯后性，因而可以作為重要的輔助手段；通過多信息融合后的系統(tǒng)效果最好，準確率有一定提高，漏報率和誤報率均有明顯減少。

3 結束語

車地一體化的機車司機疲勞駕駛監(jiān)測系統(tǒng)設計，是將車載端監(jiān)測的智能報警信息通過車地無線通訊傳送到地面監(jiān)控中心，并進行管理、統(tǒng)計和分析，滿足了當前鐵路局和機務段集中管控的需求。車載監(jiān)控系統(tǒng)采用基于多信息融合的鐵路機車司機疲勞駕駛監(jiān)測方法，首次將手環(huán)信息、腦電信息作為疲勞監(jiān)測的手段，分別設計了不同信息對疲勞等級的判別，通過多信息融合算法提高系統(tǒng)的準確率，解決了當前系統(tǒng)中功能單一、監(jiān)測準確率低等問題。試驗依托大西高鐵原平西—太原試驗段進行了現(xiàn)場試驗，并通過模擬試驗和現(xiàn)場試驗，證明了方法的可行性，取得了良好的效果。如何進一步確定矩陣的權值，從而提高監(jiān)測的準確率，將是下一步研究工作的重點。

[1] HSU C M，LIAN F L，HUANG C M，et al. Heart Rate Variability Signal Processing for Safety Driving Using Hilbert‐Huang Transform[C]// IEEE.2014International Symposium on Computer，Consumer and Control.New York：IEEE，2014：434-437.

[2] WANG Y T，HUANG K C，WEI C S，et al. Developing an EEG based On-line Closed-loop Lapse Detection and Mitigation System[J]. Frontiers in Neuroscience，2014，8(8)：321-325.

[3] 姚 瑤，楊艷芳，齊美彬，等. 基于視覺的疲勞駕駛檢測算法[J]. 合肥工業(yè)大學學報 (自然科學版)，2015，38(12)：1623-1627.YAO Yao，YANG Yan-fang，QI Mei-bin，et al. An Algorithm of Fatigue Driving Detection based on Computer Vision[J]. Journal of Hefei University of Technology(Natural Science)，2015，38 (12)：1623-1627.

[4] HEMADRI V B，KULKARNI U P. Detection of Drowsiness Using Fusion of Yawning and Eyelid Movements[C]//Springer. Advances in Computing，Communication，and Control. Berlin：Springer-Verlag Berlin Heidelberg，2013：583-594.

[5] CHANG T H，CHEN Y R. Driver Fatigue Surveillance via Eye Detection[C]//IEEE. International Conference on Intelligent Transportation Systems. New York：IEEE，2014：336-371.

[6] 張麗雯，楊艷芳，齊美彬，等. 基于面部特征的疲勞駕駛檢測[J]. 合肥工業(yè)大學學報 (自然科學版)，2013，36(4)：448-451.ZHANG Li-wen，YANG Yan-fang，QI Mei-bin，et al.Detection of Fatigue Driving based on Facial Features[J].Journal of Hefei University of Technology(Natural Science)，2013，36(4)：448-451.

[7] LUO X，HU R，F(xiàn)AN T. The Driver Fatigue Monitoring System based on Face Recognition Technology[C] //IEEE. Fourth International Conference on Intelligent Control and Information Processing. New York：IEEE，2013：384-388.

[8] 張正普. 我國鐵路客運實名制驗票識別技術的探討[J]. 鐵道運輸與經(jīng)濟，2016，38(5)：64-68.ZHANG Zheng-pu. Discussion on Real-name Ticket Checking and Identification Technologies of Railway Passenger Transportation in China[J]. Railway Transport and Economy，2016，38(5)：64-68.

[9] 彭軍強，吳平東，殷 罡. 疲勞駕駛的腦電特性探索[J].北京理工大學學報，2007，27(7)：585-589.PENG Jun-qiang，WU Ping-dong，YIN Gang. Exploring the Characters of Electroencephalpgram for Fatigued Driver[J].Transaction of Beijing Institute of Technology，2007，27(7)：585-589.

[10] 夏 偉，張立材. 改進的積分投影眼睛定位算法[J]. 現(xiàn)代電子技術，2011，34(8)：105-107.XIA Wei，ZHANG Li-cai. Improved Eye Location Algorithm of Integral Projection[J]. Modern Electronics Technique，2011，34(8)：105-107.

[11] 夏 芹，宋義偉，朱學峰. 基于 PERCLOS 的駕駛疲勞監(jiān)控方法進展[J]. 自動化技術與應用，2008，27 (6)：43-46.XIA Qin，SONG Yi-wei，ZHUXue-feng. The Research Development on Driving Fatigue based on PERCLOS[J].Techniques of Automation &Applications，2008，27 (6)：43-46.

[12] 王福旺，王 宏. 長途客車駕駛員疲勞狀態(tài)腦電特征分析[J]. 儀器儀表學報，2013，34(5)：1146-1152.WANG Fu-wang，WANG Hong. EEG Characteristic Analysis of Coach Bus Drivers in Fatigue State[J]. Chinese Journal of Scientific Instrument，2013，34(5)：1146-1152.