摘 要：隨著當(dāng)今汽車行業(yè)的發(fā)展，交通事故發(fā)生率居高不下，其中疲勞駕駛是事故發(fā)生的重要原因之一，因此疲勞駕駛檢測(cè)技術(shù)的普及勢(shì)在必行。文中提出一種基于物聯(lián)網(wǎng)的多信息融合疲勞駕駛檢測(cè)算法，采用輕便嵌入式設(shè)備作為終端，集成數(shù)據(jù)采集、疲勞駕駛檢測(cè)和報(bào)警功能。使用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）對(duì)駕駛員的面部信息和生理狀態(tài)進(jìn)行多信息融合檢測(cè)，將駕駛員的眼嘴特征、頭部姿態(tài)和心率特征等多信息進(jìn)行融合并同步完成疲勞駕駛檢測(cè)。相比于傳統(tǒng)疲勞駕駛檢測(cè)方法，該方法能夠有效提高檢測(cè)的準(zhǔn)確率，提升了約6～7個(gè)百分點(diǎn)?；谒O(shè)計(jì)的物聯(lián)網(wǎng)數(shù)據(jù)可視化平臺(tái)，將檢測(cè)結(jié)果實(shí)時(shí)上傳并保存到云端，實(shí)現(xiàn)疲勞檢測(cè)數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)和報(bào)警反饋，對(duì)智慧交通應(yīng)用有著積極的推廣作用。

關(guān)鍵詞：疲勞駕駛檢測(cè)；面部特征；LSTM網(wǎng)絡(luò)；多信息融合；物聯(lián)網(wǎng)；OneNET

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）07-000-04

0 引 言

近年來，隨著汽車的不斷普及，交通事故的數(shù)量也在不斷增多，其中疲勞駕駛是引起重大交通事故的主要因素之一[1]。傳統(tǒng)的疲勞駕駛檢測(cè)分為主動(dòng)檢測(cè)與被動(dòng)檢測(cè)，由于主動(dòng)檢測(cè)容易受到駕駛員心理等主觀因素的影響，所以準(zhǔn)確率高、可靠性更佳以及不受駕駛員主觀意識(shí)影響的被動(dòng)檢測(cè)方法成為了目前的主要研究方向[2]。被動(dòng)檢測(cè)主要基于對(duì)車輛行為、駕駛員行為、駕駛員生理特征和面部特征的檢測(cè)來判斷駕駛員的疲勞狀態(tài)，但仍存在一定的問題，如檢測(cè)時(shí)會(huì)影響正常駕駛、準(zhǔn)確率不足等。

本文采用一種基于物聯(lián)網(wǎng)的多信息融合疲勞駕駛檢測(cè)方法。該方法借助輕量級(jí)嵌入式設(shè)備收集駕駛員的實(shí)時(shí)人臉圖像以進(jìn)行疲勞檢測(cè)，這種檢測(cè)方式無接觸、無入侵性，不會(huì)妨礙駕駛。同時(shí)，通過分析面部特征、頭部行為姿態(tài)，以及基于視覺的心率提取分析來實(shí)現(xiàn)多信息融合，從而提升算法的準(zhǔn)確率。上述算法均集成到嵌入式設(shè)備中，便于部署。此外，通過物聯(lián)網(wǎng)系統(tǒng)將檢測(cè)信息同步至云端，進(jìn)而實(shí)現(xiàn)實(shí)時(shí)遠(yuǎn)程安全監(jiān)測(cè)及警報(bào)系統(tǒng)。

1 疲勞檢測(cè)算法

本文的疲勞檢測(cè)算法流程如圖1所示。首先，利用部署在嵌入式設(shè)備上的攝像頭采集駕駛員人臉數(shù)據(jù)，接著分別進(jìn)行駕駛員面部特征提取、頭部行為姿態(tài)角提取以及心率提取，然后將這些數(shù)據(jù)一同送至LSTM（Long Short-Term Memory）網(wǎng)絡(luò)進(jìn)行多信息融合分析，最終得出駕駛員疲勞狀態(tài)的判斷結(jié)果并上傳至物聯(lián)網(wǎng)云端。

1.1 基于Dlib的人臉特征點(diǎn)提取

在駕駛員面部特征檢測(cè)方面，本文基于Dlib模型進(jìn)行人臉特征點(diǎn)提取并展開分析。此部分主要運(yùn)用兩個(gè)關(guān)鍵函數(shù)：Dlib.get_frontal_face_detector函數(shù)和Dlib.shape_predictor函數(shù)。其中，Dlib.get_frontal_face_detector函數(shù)是內(nèi)置的人臉檢測(cè)算法，其工作原理是先把圖像分割成多個(gè)小方塊，計(jì)算每個(gè)小方塊的HOG特征，再將這些小方塊送入級(jí)聯(lián)分類器進(jìn)行分類，最終得到一組可能的人臉位置和大小。Dlib. shape-predictor是特征點(diǎn)檢測(cè)算法，首先對(duì)獲取的人臉圖像進(jìn)行灰度化處理，再利用shape_predictor_68_face_landmarks.dat開源模型對(duì)人臉模型進(jìn)行處理，經(jīng)過上述過程會(huì)得到人臉68 個(gè)特征點(diǎn)以及對(duì)應(yīng)的二維坐標(biāo)，如圖2所示。

在獲取人臉的68個(gè)特征點(diǎn)坐標(biāo)之后，通過計(jì)算人眼和嘴巴的長(zhǎng)寬比，得到眼睛和嘴巴的開合度，進(jìn)而判斷眨眼次數(shù)、閉眼時(shí)長(zhǎng)、打呵欠頻率等反映駕駛員疲勞狀態(tài)的因素。

具體而言，對(duì)于眼睛，眼部縱橫比（Ear）等于眼部上下邊界距離除以眼部左右邊界距離。人眼睜開時(shí)，Ear在某一數(shù)值上下波動(dòng)；人眼閉合時(shí)，Ear會(huì)迅速降低，理論上接近零。因此認(rèn)定，當(dāng)Ear低于特定閾值時(shí)，眼睛處于閉合狀態(tài)。睜開度由大變小為進(jìn)入閉眼期，由小變大則為進(jìn)入睜眼期。通過計(jì)算特定時(shí)長(zhǎng)（幀數(shù)）內(nèi)進(jìn)入睜閉眼期的次數(shù)和時(shí)長(zhǎng)，并設(shè)定一個(gè)閾值，便可判斷人是否疲勞。

對(duì)于嘴巴也是同樣的道理，嘴部縱橫比（Mar）為嘴部上下邊界距離除以左右邊界距離。通過計(jì)算Mar來判斷是否張嘴以及張嘴時(shí)長(zhǎng)，以此判斷人是否在打呵欠，并且經(jīng)過一定量的實(shí)驗(yàn)排除過低的閾值，確保能夠與正常說話的嘴型區(qū)分開來。

1.2 頭部姿態(tài)角計(jì)算

在Dlib獲取到人臉特征點(diǎn)后，利用Head Pose Estimation 算法針對(duì)不同人臉擬合出3D人臉模型，從而得到實(shí)時(shí)頭部姿態(tài)和一定時(shí)間內(nèi)的旋轉(zhuǎn)角度，進(jìn)而得出頭部旋轉(zhuǎn)角度的3個(gè)參數(shù)Yaw、Pitch和Roll，分別代表頭部上下旋轉(zhuǎn)角度、頭部左右旋轉(zhuǎn)角度和頭部正面搖晃角度。駕駛員的點(diǎn)頭行為可以理解為頭部圍繞x軸和z軸運(yùn)動(dòng)，對(duì)應(yīng)Pitch和Roll的變化[3]。一般通過對(duì)這兩個(gè)數(shù)據(jù)的監(jiān)測(cè)來判斷駕駛員是否即將打瞌睡并將其作為疲勞檢測(cè)要素。

1.3 基于視覺的心率提取

基于視覺的面部信息疲勞檢測(cè)在獲取信息方面十分便利，但為了進(jìn)一步提高檢測(cè)的準(zhǔn)確度，本文選擇融合駕駛員的心率信息，從多方面檢測(cè)疲勞狀態(tài)。傳統(tǒng)的心率檢測(cè)需要駕駛員佩戴對(duì)應(yīng)的心電檢測(cè)設(shè)備，這有時(shí)會(huì)影響正常駕駛行為，故而心率檢測(cè)一般只用于模擬駕駛場(chǎng)景。為了解決這個(gè)問題，同時(shí)也為了將心率檢測(cè)設(shè)備集成到嵌入式設(shè)備中，文獻(xiàn)[4]使用了基于視覺的rPPG信號(hào)獲取心率信息，實(shí)現(xiàn)了無接觸、無侵入性的心率異變度檢測(cè)。

人體心臟跳動(dòng)將血液運(yùn)送至全身時(shí)，人體血管各處的血液容納量會(huì)隨著脈動(dòng)規(guī)律而發(fā)生變化[4]，這體現(xiàn)在人體的皮膚組織上就是規(guī)律性的細(xì)微顏色變化，基于視覺的心率提取正是基于這個(gè)原理。

在利用Dlib算法獲取人臉區(qū)域后，單獨(dú)保存臉頰皮膚的圖像，并把皮膚圖像每個(gè)像素點(diǎn)的像素值記錄為其三維坐標(biāo)，并使用2SR（Spatial Subspace Rotation）算法計(jì)算出rPPG信號(hào)值。隨后對(duì)得到的信號(hào)進(jìn)行濾波和傅里葉變換，從而得到rPPG信號(hào)的頻率并求出功率譜密度，最后得到駕駛員的心率信號(hào)。在得到心率信號(hào)之后，為了進(jìn)行疲勞檢測(cè)，還需計(jì)算一定時(shí)間內(nèi)的心率變化情況，即心率異變度（HRV）[5]。通過一個(gè)一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行擬合，最終得到心率異變度及其對(duì)應(yīng)的疲勞結(jié)果。

1.4 基于LSTM網(wǎng)絡(luò)的多信息融合疲勞駕駛檢測(cè)方法

在傳統(tǒng)方法中，面部信息、心率和頭部姿態(tài)都可以單獨(dú)作為疲勞檢測(cè)的判斷因素，但誤判率較高，識(shí)別正確率一般為80%～82%。本文使用LSTM網(wǎng)絡(luò)模型進(jìn)行多信息融合檢測(cè)，綜合分析上述信息以進(jìn)一步提高準(zhǔn)確率。

LSTM網(wǎng)絡(luò)的單元結(jié)構(gòu)如圖3所示。每個(gè)LSTM單元包含一個(gè)記憶細(xì)胞（Memory Cell）以及輸入門（Input Gate）、遺忘門（Forget Gate）和輸出門（Output Gate），這三個(gè)門結(jié)構(gòu)[6]分別決定記憶細(xì)胞中哪些信息被儲(chǔ)存、丟棄和輸出，從而使LSTM單元能夠決定何時(shí)保留信息、何時(shí)更新信息以及何時(shí)輸出信息。圖中，C（t）為當(dāng)前時(shí)刻的輸出，即當(dāng)前的記憶細(xì)胞；h（t）為隱藏層參數(shù)，用于各個(gè)門運(yùn)算和記憶更新。LSTM與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不同之處在于，它能夠讀取先前時(shí)刻的信息C（t-1）與當(dāng)前時(shí)刻信息并一起處理。因此，LSTM可以很好地處理時(shí)序信息[7]，所以可用于疲勞狀態(tài)檢測(cè)。同時(shí)，其三個(gè)門控系統(tǒng)能夠合理地決定歷史信息是否消失以及何時(shí)消失，從而有效緩解梯度消失和梯度爆炸的情況。

基于LSTM網(wǎng)絡(luò)可以構(gòu)建一個(gè)多信息融合疲勞檢測(cè)模型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

首先，在處理輸入模型時(shí)，面部特征、心率特征和姿態(tài)特征在總體檢測(cè)中相輔相成，但它們的計(jì)算方式和處理方式各不相同。針對(duì)這類異構(gòu)信息，需要先進(jìn)行歸一化。具體來說，先將這些信息構(gòu)建為五維的特征信息，見表1；隨后根據(jù)這些特征值在疲勞駕駛檢測(cè)中的準(zhǔn)確率和漏報(bào)率賦予不同權(quán)重，并融合送入BN層進(jìn)行歸一化輸入。

在LSTM層的設(shè)置方面，若過多增加LSTM網(wǎng)絡(luò)的層數(shù)，可能導(dǎo)致算力大幅增加，還可能引發(fā)梯度消失問題，考慮到系統(tǒng)最終要部署至輕量級(jí)嵌入式設(shè)備上，最終選用兩層的LSTM，其中每層LSTM網(wǎng)絡(luò)由128個(gè)單元構(gòu)成。這一設(shè)置既能保證對(duì)大部分時(shí)序性信息進(jìn)行處理，又能解決算力和梯度消失問題。

相比于基于單獨(dú)某個(gè)特征值的疲勞檢測(cè)算法，基于LSTM網(wǎng)絡(luò)的多信息融合疲勞檢測(cè)算法的檢測(cè)效果有明顯提升，具體見表2：正確識(shí)別率提升至90.24%，誤報(bào)率降低至8.52%，總體準(zhǔn)確率相較于兩個(gè)單一特征檢測(cè)算法有6～7個(gè)百分點(diǎn)的提升。

2 系統(tǒng)框架與實(shí)現(xiàn)

本文實(shí)現(xiàn)了一個(gè)基于OneNET物聯(lián)網(wǎng)平臺(tái)的多信息融合疲勞駕駛檢測(cè)系統(tǒng)。系統(tǒng)總體架構(gòu)如圖5所示。該系統(tǒng)包括三個(gè)功能模塊：嵌入式處理系統(tǒng)、OneNET物聯(lián)網(wǎng)信息管理模塊、疲勞算法檢測(cè)模塊。嵌入式處理器系統(tǒng)可實(shí)現(xiàn)人臉信息采集、駕駛員定位、疲勞預(yù)警功能。疲勞算法檢測(cè)模塊主要負(fù)責(zé)對(duì)采集的數(shù)據(jù)流進(jìn)行分析和計(jì)算，檢測(cè)出駕駛員的疲勞特征，輸出駕駛員各方面的特征數(shù)據(jù)和圖像數(shù)據(jù)。OneNET物聯(lián)網(wǎng)平臺(tái)作為信息存儲(chǔ)平臺(tái)，能記錄疲勞駕駛的相關(guān)信息，實(shí)現(xiàn)可視化監(jiān)控?；贠neNET物聯(lián)網(wǎng)的數(shù)據(jù)傳輸和存儲(chǔ)能力，該平臺(tái)可以作為疲勞數(shù)據(jù)的中轉(zhuǎn)站，實(shí)現(xiàn)疲勞數(shù)據(jù)的可視化展示和共享。

2.1 物聯(lián)網(wǎng)平臺(tái)OneNET

在物聯(lián)網(wǎng)平臺(tái)的選擇上，本文選擇中國(guó)移動(dòng)OneNET物聯(lián)網(wǎng)平臺(tái)，其能實(shí)現(xiàn)設(shè)備連接、設(shè)備管理、數(shù)據(jù)收發(fā)、數(shù)據(jù)存儲(chǔ)等功能，并且支持多種傳輸協(xié)議[8]。在物聯(lián)網(wǎng)應(yīng)用方面，OneNET物聯(lián)網(wǎng)平臺(tái)可以很方便地對(duì)云端設(shè)備進(jìn)行統(tǒng)一管理。本文采用輕量、開放和易實(shí)現(xiàn)的MQTT協(xié)議，可使硬件性能低下的遠(yuǎn)程設(shè)備在網(wǎng)絡(luò)狀況糟糕的情況下仍能發(fā)布和訂閱消息。本系統(tǒng)將OneNET物聯(lián)網(wǎng)平臺(tái)作為信息存儲(chǔ)平臺(tái)，用于記錄疲勞駕駛的相關(guān)信息，從而實(shí)現(xiàn)可視化監(jiān)控。疲勞數(shù)據(jù)可視化總界面如圖6所示。疲勞數(shù)據(jù)可視化總界面實(shí)現(xiàn)了對(duì)多駕駛員狀態(tài)的監(jiān)控，能夠同時(shí)監(jiān)控車輛在線狀態(tài)、駕駛員疲勞狀況和車輛位置。

本系統(tǒng)中的物聯(lián)網(wǎng)云平臺(tái)相當(dāng)于MQTT協(xié)議中的消息代理，是數(shù)據(jù)傳輸?shù)闹虚g代理服務(wù)器，主要負(fù)責(zé)消息轉(zhuǎn)發(fā)。在該系統(tǒng)中，每個(gè)檢測(cè)終端既是消息發(fā)布者，也是消息訂閱者。作為消息發(fā)布者，每個(gè)檢測(cè)終端采集數(shù)據(jù)并將其輸入到算法模型中，隨后將算法的運(yùn)行結(jié)果以消息形式發(fā)布出去，再由物聯(lián)網(wǎng)云平臺(tái)進(jìn)行消息轉(zhuǎn)發(fā)。作為消息訂閱者，檢測(cè)終端會(huì)接收其他檢測(cè)終端發(fā)布的消息，從而實(shí)現(xiàn)多終端消息共享。

2.2 嵌入式檢測(cè)終端

本系統(tǒng)選用樹莓派作為便攜的嵌入式處理設(shè)備。樹莓派具有強(qiáng)大的續(xù)航能力，其能夠輕松解碼高分辨率視頻，而且官方還提供了兼容性很高的配套系統(tǒng)，可支持多種計(jì)算機(jī)語(yǔ)言[9]。樹莓派搭載了攝像頭模塊、GPS模塊和蜂鳴器模塊，它們分別負(fù)責(zé)圖像數(shù)據(jù)采集、位置數(shù)據(jù)采集和疲勞警報(bào)工作。其中，攝像頭模塊采用OpenCV進(jìn)行圖像獲取和預(yù)處理分幀，在將其送至疲勞檢測(cè)模型的同時(shí)利用MQTT協(xié)議和Request函數(shù)將圖片信息上傳至OneNET物聯(lián)網(wǎng)平臺(tái)。與此同時(shí)，疲勞警報(bào)模塊實(shí)時(shí)接收OneNET平臺(tái)下發(fā)的疲勞警報(bào)并使用蜂鳴器向駕駛員發(fā)出警告。疲勞檢測(cè)結(jié)果示意圖如圖7所示。

3 結(jié) 語(yǔ)

本文采用樹莓派為終端搭建了一套基于物聯(lián)網(wǎng)的疲勞駕駛檢測(cè)系統(tǒng)。在疲勞檢測(cè)方面，系統(tǒng)采用多種無侵入性的特征檢測(cè)融合判斷方式，不會(huì)影響駕駛員正常駕駛，可以很好地部署在車內(nèi)并應(yīng)用于實(shí)際駕駛場(chǎng)景。為了解決檢測(cè)中存在的受光照、遮擋影響較大的問題，采用了多信息融合的方式，多源信息的融合可以整合不同特征檢測(cè)的優(yōu)勢(shì)[10]，各取其長(zhǎng)以提高檢測(cè)的精確性，這將會(huì)成為未來疲勞駕駛檢測(cè)的重點(diǎn)發(fā)展方向。

注：本文通訊作者為蔣翠玲。

參考文獻(xiàn)

[1] 韓天園，田順，呂凱光，等. 基于文本挖掘的重特大交通事故成因網(wǎng)絡(luò)分析[J]. 中國(guó)安全科學(xué)學(xué)報(bào)，2021，31（9）：150-156.

[2] 張瑞，朱天軍，鄒志亮，等.駕駛員疲勞駕駛檢測(cè)方法研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（21）：53-66.

[3] 王暢，李雷孝，楊艷艷. 基于面部多特征融合的疲勞駕駛檢測(cè)綜述[J]. 計(jì)算機(jī)工程，2023，49（11）：1-12.

[4] 李韜. 基于心率和眼瞼特征的多模態(tài)融合疲勞駕駛檢測(cè)方法研究[D]. 廣州：華南理工大學(xué)，2021.

[5] 張金錢. 多信息融合疲勞駕駛狀態(tài)檢測(cè)系統(tǒng)[D]. 貴陽(yáng)：貴州大學(xué)，2021.

[6] HOCHREITER S， SCHMIDHUBER J. Long short-term memory [J]. Neural computation， 1997， 9（8）： 1735-1780.

[7] 張文影. 基于面部和心率特征融合的駕駛員疲勞狀態(tài)識(shí)別方法研究[D]. 廣州：華南理工大學(xué)， 2020.

[8] 劉福祥，沈甦，鄧世英. 基于OneNET的數(shù)據(jù)采集監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電子制作，2022，30（17）：47-49.

[9] 武昆亮. 基于面部特征與頭部姿態(tài)的疲勞駕駛檢測(cè)[D]. 上海：東華大學(xué)，2020.

[10] 楊巨成，魏峰，林亮，等. 駕駛員疲勞駕駛檢測(cè)研究綜述[J]. 山東大學(xué)學(xué)報(bào)（工學(xué)版），2024，54（2）：1-12.

收稿日期：2024-05-26 修回日期：2024-06-28

基金項(xiàng)目：華東理工大學(xué)——基于物聯(lián)網(wǎng)平臺(tái)的多信息融合疲勞駕駛檢測(cè)（S202310251128）；上海市一流本科建設(shè)項(xiàng)目；華東理工大學(xué)——華為智能基座金課建設(shè)項(xiàng)目