王康威，葉前程，蔣麗珍

（浙江工商大學(xué) 信息與電子工程學(xué)院，浙江 杭州 310018）

0 引 言

據(jù)統(tǒng)計，我國汽車保有量已突破2.81億輛，且該數(shù)據(jù)還在不斷增加。與此同時，因疲勞駕駛、抽煙、打電話等違規(guī)駕駛行為引發(fā)的交通事故也在不斷增多，駕駛員突發(fā)疾病因救助不及時導(dǎo)致的悲劇也常有報道。如何規(guī)范駕駛以及駕駛過程中遇到突發(fā)疾病如何求救一直是熱議話題，市場急需研發(fā)一款針對駕駛員危險駕駛行為的預(yù)警與求救系統(tǒng)。目前市場上已有的相關(guān)產(chǎn)品，如疲勞駕駛檢測儀、耳夾式檢測儀等，不僅功能單一、檢測精度不高，而且價格較為昂貴，很難做到大規(guī)模地應(yīng)用推廣。目前，在輪船上有關(guān)于危險駕駛行為檢測和報警系統(tǒng)的應(yīng)用，但這種檢測系統(tǒng)沒有在汽車上大規(guī)模地推廣。因此，本文設(shè)計了一款操作簡單、功能豐富，且兼具危險駕駛行為預(yù)警與自動求救雙重功能的系統(tǒng)，不僅實用性強，而且成本較低，適合市場推廣。

1 系統(tǒng)功能設(shè)計

本系統(tǒng)主要包括駕駛員危險駕駛行為檢測、語音提醒、駕駛員突發(fā)疾病的檢測和自動求救等功能。本系統(tǒng)包括兩種工作模式：第一種工作模式，當駕駛員在正常駕駛過程中出現(xiàn)如抽煙、打電話、打哈欠等行為時，攝像頭實時采集駕駛員的肢體動作，并將數(shù)據(jù)存儲在樹莓派的存儲區(qū)域，樹莓派的主控單元對獲取的數(shù)據(jù)進行分析判斷，從而判別出駕駛員是否存在違規(guī)駕駛行為，并根據(jù)判斷結(jié)果決定執(zhí)行相應(yīng)的語音提醒功能；第二種工作模式，當駕駛員在行駛過程中出現(xiàn)如心梗等突發(fā)疾病時，可按下求救按鈕，系統(tǒng)將啟動報警求救模塊，發(fā)送求救信息和駕駛員的空間位置給事先設(shè)定的緊急聯(lián)系人，語音反復(fù)呼喊“我突發(fā)疾病遇到危險了，請幫忙撥打120”，同時LED屏顯示求救信息。啟動報警求救模塊的同時系統(tǒng)也啟動了防碰撞模塊，超聲波傳感器開始實時檢測汽車與前方障礙物之間的距離，以便及時制動，減少二次傷害的發(fā)生。如果駕駛員突發(fā)疾病無法按下求救按鈕，攝像頭通過采集駕駛員的面部表情和肢體動作，樹莓派進行數(shù)據(jù)分析處理，判斷出駕駛員是否具有按下求救按鈕的能力。若駕駛員此時不具備該能力，系統(tǒng)將會自動啟動報警求救模塊和防碰撞模塊。在此基礎(chǔ)上，考慮到可能出現(xiàn)系統(tǒng)誤判的情況，增加取消報警的功能，一旦出現(xiàn)誤斷，駕駛員可按下取消按鈕，系統(tǒng)將發(fā)送相應(yīng)的取消信息給事先設(shè)定的緊急聯(lián)系人，停止語音播放和LED屏顯示，同時系統(tǒng)停止防碰撞模塊的運行。功能設(shè)計流程如圖1所示，實驗室產(chǎn)品實物照片如圖2所示，實驗室產(chǎn)品經(jīng)測試已經(jīng)實現(xiàn)全部預(yù)設(shè)的功能。

圖1 系統(tǒng)功能設(shè)計流程

圖2 實驗室產(chǎn)品圖

2 系統(tǒng)硬件設(shè)計

根據(jù)功能實現(xiàn)的流程設(shè)計系統(tǒng)的硬件架構(gòu)。系統(tǒng)硬件主要由樹莓派開發(fā)板、攝像頭、揚聲器、GPS定位器、超聲波傳感器、求救和取消按鈕、LED顯示屏等組成，其框架如圖3所示。接通電源后，攝像頭和樹莓派同時開始工作，攝像頭將采集到的數(shù)據(jù)進行模數(shù)轉(zhuǎn)換（A/D）傳送至樹莓派，樹莓派根據(jù)輸入的數(shù)據(jù)輸出相應(yīng)的信號。若輸出語音提醒信號，該信號則會驅(qū)動揚聲器執(zhí)行相應(yīng)的程序；若輸出求救信號，LED求救燈將會被點亮，經(jīng)過按鈕的選擇之后，向超聲波傳感器發(fā)送防碰撞信號和向GPS定位器發(fā)送報警信號，驅(qū)動超聲波傳感器和GPS定位器執(zhí)行相應(yīng)的程序。

圖3 系統(tǒng)硬件框架

2.1 GPS模塊

GPS定位模塊選用的傳感器型號是微雪L76X GPS Module。傳感器像收音機一樣接收、解調(diào)衛(wèi)星的廣播C/A碼信號，中心頻率為1 575.42 MHz。GPS模塊并不播發(fā)信號，屬于被動定位。由于衛(wèi)星的位置精確可知，在GPS觀測中，可得到衛(wèi)星到接收機的距離。利用三維坐標中的距離公式，就可以組成3個方程式，解出觀測點的位置（，，）?？紤]到衛(wèi)星的時鐘與接收機時鐘之間的鐘差，為了得到更精確的位置，引入了第4顆衛(wèi)星，形成4個方程式進行求解，通過運算與每個衛(wèi)星的偽距離，采用距離交會法求出接收機的經(jīng)度、緯度、高度和時間修正量這四個參數(shù)。該型號傳感器支持GPS、北斗（BDS）和QZSS多重衛(wèi)星，具有定位快、定位準確和低功耗等優(yōu)點；且該傳感器體積較小，不會阻礙駕駛員的視線。其內(nèi)部原理如圖4所示，連接方式如圖5所示。

圖4 GPS傳感器內(nèi)部原理圖

圖5 GPS模塊連接方式

2.2 防碰撞模塊

系統(tǒng)采用的HC-SR04超聲波傳感器可以測量3～4 m的距離，精確度可以達到3 mm。該傳感器包括超聲波發(fā)射器、超聲波接收器和控制電路三部分，有4個引腳，連接電路如圖6所示。本系統(tǒng)向超聲波傳感器的Trig引腳發(fā)送一個10 μs的脈沖，傳感器接收到這個脈沖后發(fā)射出超聲波，同時把Echo置為高電平（在發(fā)射之前，Echo引腳一直為低電平）。通過編寫代碼記錄超聲波發(fā)射時間pulse_start和返回時間pulse_end，運用公式可計算出障礙物與汽車的實時距離，為汽車制動及其他模塊提供數(shù)據(jù)。

圖6 超聲波傳感器電路連接圖

2.3 樹莓派控制模塊

將樹莓派連接攝像頭、按鈕、LED屏和揚聲器、超聲波傳感器等器件，通過樹莓派控制各個模塊以實現(xiàn)其特定的功能。LED顯示屏一端接地，另一端接GPIO14，為其提供電源以及控制信號。GPS模塊有四個引腳，考慮到GPS模塊與樹莓派之間的串口通信，將傳感器的RX引腳連接至TXD引腳，TX引腳連接至RXD引腳。求救按鈕和取消按鈕共有三個引腳，除VCC接電源、GND接地外，求救按鈕OUT引腳接GPIO17，取消按鈕OUT引腳接GPIO16。揚聲器通過3.5 mm口連接至樹莓派。超聲波傳感器的Trig端口接GPIO2腳，GPIO3腳接Echo。樹莓派的VCC和GND接口分別與HC-SR04的VCC和GND接口相連。1 kΩ和2 kΩ電阻組成了一個分壓電路，正極接到Echo引腳，負極與GND口相連。本電路將所有模塊整合在一起最終實現(xiàn)危險駕駛預(yù)警功能和突發(fā)危險報警功能。樹莓派控制電路如圖7所示。

圖7 樹莓派控制電路

3 系統(tǒng)軟件設(shè)計

在實際情況下，樹莓派不僅要處理攝像頭傳送的信息，還要根據(jù)相關(guān)的信息做出相應(yīng)的應(yīng)答，這對于樹莓派而言是一個極其復(fù)雜的過程，因此針對軟件方面做出相應(yīng)算法上的改進，以解決姿勢識別不準確和圖像處理速度過慢等問題。

3.1 姿勢識別模塊

考慮到目前使用的Dlib68特征點和OpenCV膚色動態(tài)追蹤圖像處理達不到理想效果。為獲得更好的效果，精確識別違規(guī)駕駛動作，決定獲取臉部和手部的關(guān)鍵點信息。為此，本項目引入了機器視覺中一個經(jīng)典開源模型—OpenPose（人體姿態(tài)識別模型），如圖8所示。輸入一張圖片，經(jīng)過一個 backbone（比如 vgg、resnet、mobilenet），再經(jīng)過 6個stage，每個stage有兩個branch：一個用來檢測heatmap；另一個用來檢測vectmap。通過heatmap和vectmap就可以知道圖片中所有關(guān)鍵點，再通過PAFs把點對應(yīng)到每個人身上。OpenPose人體姿態(tài)識別技術(shù)基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)的方法，并包含以Caffe為框架開發(fā)的開源庫，可以實現(xiàn)對人體動作、面部表情、手指運動等姿態(tài)的識別，適用于單人和多人，具有極好的魯棒性。

圖8 OpenPose模型

姿勢識別模塊主要是直接用OpenCV中的dnn.readNetFromCaffe（）來調(diào)用模型，利用如圖9中的模型關(guān)鍵點位置圖，把人體關(guān)鍵點提取出來；再將當前關(guān)節(jié)的位置和對應(yīng)的置信度提取出來，比對所有點的置信度和設(shè)置好的閾值，從而確定圖片上真正存在的關(guān)節(jié)點。

圖9 COCO模型關(guān)鍵點位圖

3.2 圖像處理模塊

圖像處理時采用神經(jīng)網(wǎng)絡(luò)算法通過卷積神經(jīng)對圖片進行降維處理，然后進行分層、展開、連接，最后卷積形成2D矢量圖。該算法包含以下四個步驟：

（1）神經(jīng)網(wǎng)絡(luò)預(yù)測

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。首先通過VGG-19進行特征提取，然后利用兩分支的多階段CNN，第一分支用來預(yù)測 confidence map St，第二分支用來預(yù)測PAFSLT。在每個階段之后，來自兩個分支的預(yù)測以及圖像特征被連接用于下一階段。為了既增加感受野，同時局部不能模糊，原始圖像以四個固定的scale縮放后進入神經(jīng)網(wǎng)絡(luò)，將四個預(yù)測值求平均即為最后的結(jié)果。

圖10 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）找到關(guān)節(jié)

通過第一步，獲得了關(guān)節(jié)的 heatmap。如圖11所示，第二步要從heatmap提取關(guān)節(jié)的具體位置。應(yīng)用非最大抑制（NMS）算法來獲得heatmap中的峰值，以此值的置信度作為當前part的score，算法輸出值為：第一個part的所有值等于[(,,, 0), (,,, 1), ...]；第二個part的所有值等于[(h,w,s,), (h,w,s,+1), ...]。

圖11 關(guān)節(jié)的heatmap圖

（3）找到肢體連接

通過第二步，獲得了關(guān)節(jié)的信息（位置和分數(shù)）；接下來，用關(guān)節(jié)信息和PAF來獲得肢體連接。模型包含19個肢體，確定每一肢體所對應(yīng)的兩個part和PAF，將兩個part之間的PAF信息進行積分所得結(jié)果作為該肢體的置信度。例如，要尋找所有的左上臂，已經(jīng)有左肩和左肘part信息以及左上臂的PAF信息，將左肩中的所有part與左肘的所有part進行匹配，計算兩個part間的PAF信息的積分，作為當前part相連的score。最后將所有score排序來確定part之間是否相連。這樣就獲得了所有的連接信息，每一個連接都可以看作是一個肢體。

（4）拼接肢體構(gòu)成人

在獲得了所有肢體后，將擁有相同關(guān)節(jié)的肢體看作是同一個人的肢體，構(gòu)成一個完整的人。區(qū)別于以往的OpenCV，本系統(tǒng)的識別功能采用了最新的OpenPose模型，相比之前的CPN和PoseNet來說算法精度更高、算法速度也會更快。OpenPose模型能夠更為精確地獲取臉部和手部關(guān)鍵點信息，精確識別打電話、抽煙、打哈欠等動作，相較之前的模型降低了誤判的可能性。除此之外，OpenPose模型可以做到更快地識別動作，提高動作識別效率。

3.3 短信發(fā)送模塊

在緊急求救功能中，設(shè)計了短信發(fā)送模塊。該模塊在駕駛員出現(xiàn)突發(fā)疾病按下求救按鈕時，會發(fā)送駕駛員空間位置和求救信息給駕駛員的緊急聯(lián)系人，以便駕駛員及時得到救助。該模塊的流程如圖12所示。

圖12 短信發(fā)送模塊流程

短信發(fā)送模塊的主要功能是提供一個虛擬號碼向事先設(shè)定好的緊急聯(lián)系人發(fā)送信息。本模塊是在Twilio庫的基礎(chǔ)上進行編寫的。短信發(fā)送原理如圖13所示，在Twilio網(wǎng)站完成基本信息的注冊，從賬戶界面獲取ACCOUNT SID和AUTH TOKEN以及Phone Number，并且在網(wǎng)站完成緊急聯(lián)系人的保存；之后Client函數(shù)調(diào)用在Twilio網(wǎng)站申請的SID和TOKEN，從而獲得個人信息；再通過編輯短信內(nèi)容以及收信人和發(fā)信人號碼，并結(jié)合其他模塊來實現(xiàn)短信發(fā)送。

圖13 短信發(fā)送原理圖

4 結(jié) 語

本文對危險駕駛行為檢測與求救系統(tǒng)進行了全面、規(guī)范的分析，從軟件與硬件兩個角度對系統(tǒng)進行了設(shè)計與制作，實驗室已實現(xiàn)產(chǎn)品設(shè)計的全部功能。與現(xiàn)有產(chǎn)品相比，該系統(tǒng)提高了對危險駕駛行為的檢測精度，并在此基礎(chǔ)上設(shè)計并實現(xiàn)了針對駕駛員突發(fā)疾病時的緊急求救功能，為駕駛員的生命安全增添了一道有力的保障。后續(xù)將進一步完善系統(tǒng)，將系統(tǒng)與駕駛車輛進行深度融合，并在不同的使用場景下進行相關(guān)的實驗測試，以適應(yīng)市場的需要并加以推廣。