謝君婷 張欽超 廖克志 常旭東

摘? 要：為減少交通事故的發(fā)生，輔助駕駛人舒適安全地行車，文章設計了一套基于AIot技術的智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)。該系統(tǒng)包括智能車載軟件輔助駕駛和車內硬件輔助系統(tǒng)兩大部分，可對車內硬件進行遠程操控以及查看當前車內環(huán)境數(shù)據(jù)。同時，系統(tǒng)實時檢測駕駛員疲勞狀況為危險情況做預警，為用戶在行車過程中提供更加安全舒適的環(huán)境。

關鍵詞：物聯(lián)網(wǎng)；車載輔助；人臉疲勞

中圖分類號：TP27 文獻標識碼：A? 文章編號：2096-4706（2023）02-0153-04

Design of Intelligent On-board Networking Assisted Driving System

XIE Junting， ZHANG Qinchao， LIAO Kezhi， CHANG Xudong

（School of Computer Science and Information Security， Guilin University of Electronic Technology， Guilin? 541004， China）

Abstract： In order to reduce the occurrence of traffic accidents and assist drivers to drive comfortably and safely， this paper designs a set of intelligent on-board networking assisted driving system based on AIot technology. The system includes intelligent on-board software assisted driving and in-car hardware assisted system， which can remotely control the in-car hardware and view the current in-car environment data. At the same time， the system detects the driver's fatigue status in real time to give early warning for dangerous situations， so as to provide users with a safer and more comfortable environment during driving.

Keywords： Internet of Things; on-board assistance; face fatigue

0? 引? 言

隨著私家車數(shù)量的飛速增長，行車安全受到越來越多人的重視。在汽車行駛過程中，往往因為酒駕、疲勞駕駛、疾病突發(fā)、未注意路面情況等問題引發(fā)不可挽回的悲劇[1]。

針對上述問題，本文設計了一套基于AloT技術的智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)，使駕駛員主動避免交通事故的發(fā)生的汽車安全系統(tǒng)。系統(tǒng)搭載傳感器、控制器、執(zhí)行器等裝置，融合現(xiàn)代通信與網(wǎng)絡技術，實現(xiàn)車與X（人、車、路、后臺等）的智能信息交換共享，具備復雜的環(huán)境感知、智能決策、協(xié)同控制和執(zhí)行等功能。系統(tǒng)利用安裝于車上的攝像頭、雷達、激光和超聲波等傳感器，收集車內外的環(huán)境數(shù)據(jù)，進行靜、動態(tài)物體的辨識、偵測與追蹤等技術上的處理，從而能夠讓駕駛者在最快的時間察覺可能發(fā)生的危險，以引起注意和提高安全性的主動安全技術。同時，本系統(tǒng)還基于安卓開發(fā)了專門的手機APP，在參照先進駕駛輔助系統(tǒng)設計[2]的同時實現(xiàn)車聯(lián)網(wǎng)技術，傳感器通過無線連接，手機APP接收到車內環(huán)境信息后可以自動進行調控，為用戶提供舒適的行車環(huán)境，同時引進AI深度學習技術，對車外以及駕駛員做一些人臉疲勞的檢測，預判險情，并可以及時提供預警，使用的設備較少，安裝方便，為用戶在行車過程中提供更加安全舒適的環(huán)境。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環(huán)境，然后決定要采取的操作，保證所有道路使用者的安全。

1? 系統(tǒng)總體框架設計

本系統(tǒng)由智能車載軟件輔助駕駛和車內硬件輔助系統(tǒng)兩部分共同組成智能自動車載聯(lián)網(wǎng)輔助系統(tǒng)，系統(tǒng)總體設計框架圖如圖1所示。

（1）利用X86給車載軟件提供可運行的平臺，運用深度學習神經(jīng)網(wǎng)絡技術實現(xiàn)實時對駕駛員人臉疲勞的識別對危險做預警，人臉疲勞的識別采用科學的PERCLOS方法中的P80判據(jù)，使用專門的人臉68個關鍵點檢測模型庫，通過歐式距離計算公式分別計算出P80判據(jù)所需要的兩個重要參數(shù)EAR和MAR，結合P80判據(jù)就可以比較準確的檢測出人臉疲勞狀態(tài)，同時，系統(tǒng)通過攝像頭對車尾環(huán)境和激光雷達檢測結果進行實時更新，完成智能車載軟件輔助駕駛；

（2）對于車內硬件輔助系統(tǒng)，利用ESP8266 Wi-Fi模塊讀取車內硬件設備，并且開發(fā)了專用的APP通過MQTT協(xié)議與ESP8266進行通信，MQTT協(xié)議即發(fā)布和訂閱主題的過程，如：ESP8266發(fā)布車內溫濕度模塊信息的主題到云端服務器，由手機APP訂閱該主題，手機APP得到該主題信息并顯示出來，就可以在手機APP上觀測到車內溫濕度狀態(tài)數(shù)據(jù)了；手機APP和ESP8266通過MQTT協(xié)議，實現(xiàn)了無線遠程操控車內硬件設備和實時顯示車內硬件設備的狀態(tài)，智能小手表輔助駕駛員獲取自身健康信息和有天氣信息為駕駛員出行提供行車參考。

2? 智能車載軟件輔助駕駛系統(tǒng)設計實現(xiàn)方案

2.1? 車載中控軟件的設計

本系統(tǒng)宗旨在輔助駕駛人駕駛機動車，從而實現(xiàn)更為安全的出行。引進現(xiàn)有的計算機技術輔助駕駛人駕駛機動車顯得尤為重要。車載中控軟件主要搭載在車載的中控系統(tǒng)中，系統(tǒng)連接到硬件層和疲勞檢測算法，監(jiān)測回傳的數(shù)據(jù)，并將結果展示到軟件界面，給予駕駛人安全提示，中控軟件系統(tǒng)框架圖如圖2所示。

（1）行駛：數(shù)據(jù)采集后由英特爾X86平臺上的Window 10專業(yè)版操作系統(tǒng)接收，進行數(shù)據(jù)處理、儲存以及通過圖形化界面與語音提示呈現(xiàn)給用戶。在跑圖像處理算法的同時在軟件上實時顯示車輛行駛情況，實時輔助駕駛員駕駛。

（2）影音：此系統(tǒng)同時向用戶提供媒體功能，包括播放本地的視頻與音樂，和其他功能同時進行，互不干預，多媒體功能是針對司機在悠閑時間可以娛樂放松一下。

（3）主界面：主界面主要由倒車雷達檢測結果顯示板塊、疲勞檢測結果展示板塊和動態(tài)畫面顯示板塊組成。倒車：當駕駛員進行倒車操作時，軟件會自動切換到該界面，并且打開尾倒車攝像頭，把攝像頭捕捉到的畫面在動態(tài)畫面展示板塊展示出來，倒車雷達檢測到的障礙物位置也將實時展示在倒車雷達檢測結果顯示板塊，實現(xiàn)盲區(qū)檢測的效果。疲勞檢測結果展示：動態(tài)畫面顯示板塊可以在車尾攝像頭畫面和人臉疲勞檢測畫面之間任意切換，同時疲勞檢測結果展示板塊會實時將檢測結果以文字的形式展現(xiàn)出來，以此提示司機注意休息，提高行車安全。

（4）語音/彈窗警告提示：軟件提供語音提示和彈窗警告服務，其中主要是疲勞檢測結果的提示和酒精濃度檢測的提示。當人臉疲勞檢測算法檢測到司機已經(jīng)疲勞駕駛或者酒精濃度過高時，軟件將彈出警告，并且伴隨語音提示。通過酒精濃度檢測模塊檢測司機呼氣的酒精濃度大于或者等于20 mg/100 ml，小于80 mg/ml則為酒駕，中控板發(fā)出警報聲；若檢測到的酒精濃度大于80 mg/ml則為醉駕，中控板發(fā)出嚴重警告聲。

2.2? 駕駛員人臉疲勞的算法

本系統(tǒng)選取目前公認有效的PERCOLS疲勞程度評價指標，即通過閉眼幀在連續(xù)N幀內所占的時間比例來分析疲勞狀態(tài)，PERCLOS是指眼睛閉合時間占某一特定時間的百分率。PERCLOS方法有P70、P80和EM三種判定標準[3]。研究表明P80與疲勞程度間具有最好的相關性。對駕駛員疲勞的判定會因錯誤檢查帶來不良影響，通過PERCLOS、眼睛閉合時間、眼睛眨眼頻率、嘴巴張開程度，進行疲勞程度的綜合判定，可以準確、有效地進行駕駛員疲勞的檢測?！把劬v向比EAR”和“嘴巴縱向比MAR”則是判斷眼睛眨眼、嘴巴張開的重要依據(jù)。算法參照以下兩點進行設計：

（1）根據(jù)人臉關鍵點檢測模型庫，系統(tǒng)檢測出人臉68個關鍵點，這68個關鍵點為后面計算疲勞判斷依據(jù)提供科學的依據(jù)，如圖3所示。

（2）駕駛疲勞依據(jù)P80做人臉疲勞判斷。P80指眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合[4]。本文利用歐式距離分別計算出EAR和MAR。人在清醒的狀態(tài)下眨眼頻率約為10～20次/min，當處于疲勞狀態(tài)時眨眼的頻率將提高約64%，故設置當每分鐘眨眼次數(shù)大于20時則認為駕駛人處于疲勞駕駛狀態(tài)[4]。由于目前沒有統(tǒng)一的嘴巴開度閾值檢測實驗，取MAR的閾值為0.75，當MAR＞0.75時即認為打哈欠一次，當每分鐘內打哈欠次數(shù)達到3次即判斷為疲勞駕駛狀態(tài)[5-9]。駕駛疲勞檢測為駕駛員的人身安全提供了保障。

2.3? 專用手機APP

本系統(tǒng)旨在為用戶行車舒適安全提供輔助便利，可以無線控制并觀察車內車內環(huán)境也為我們行車便利提供了幫助。使用MQTT通信協(xié)議[10]，可以方便快捷低功耗低成本穩(wěn)定的建立手機APP與車內傳感器之間的聯(lián)系，使用開發(fā)本車載輔助系統(tǒng)的專用APP，具體設計框圖如圖4所示，待ESP8266 Wi-Fi模塊通過MQTT協(xié)議將數(shù)據(jù)傳輸至云端服務器[11]后，用戶可在專用APP上查看車輛狀況與車內人員狀況的各項指標，并且可以通過此APP對車內硬件設備進行調控。實現(xiàn)各傳感器、車與用戶手機之間的通信。車內硬件設備有溫濕度傳感器DHT11，火焰檢測傳感器，酒精檢測傳感器，照明小燈等傳感器設備。同時，使用SQLite數(shù)據(jù)庫儲存用戶信息，此外，該手機APP使用個性化設計，界面簡潔明了，字體采用漢儀樂喵字體是手機APP更加可愛明動，更加人性化，一定程度上滿足了用戶的審美需求。

3? 系統(tǒng)測試結果

3.1? 車載中控軟件自定義設置界面

在用戶打開中控顯示界面時，首先呈現(xiàn)給用戶的是首頁與底部導航欄，底部導航欄采用固定方式，不管用戶切換到哪個頁面，都可以通過底部導航欄切換界面。自定義設置主要包括四個分區(qū)：語音提示、攝像頭設置、圖像顯示設置和常規(guī)設置。自定義設置界面如圖5所示，在各個分區(qū)里面可以按照自己的需求進行自主設置。此處可靈活切換車載軟件的模式。

3.2? 行車界面

行車界面我們向用戶提供了車輛前方畫面，在行使過程中駕駛人員可以通過這個界面獲取車輛前方信息，同時在此進行前車的圖像檢測并實時顯示處理結果。傳回的圖像沒有過度的延時，實時性好，行車界面如圖6所示，顯示通過激光雷達獲取的前方距離數(shù)據(jù)，通過圖形化界面結合語音提示將前方障礙物呈現(xiàn)給用戶，達到預碰撞的要求。

3.3? 人臉疲勞檢測測試

用OpenCV計算機視覺庫調用攝像頭及視頻數(shù)據(jù)進行圖像的預處理，使用Python編寫代碼利用官方提供的人臉68個關鍵點檢測的DAT模型庫.使用這個模型庫可以很方便地以及準確地對人臉進行檢測，并及時的作語音及其他提示警告，如圖7所示。

4? 結? 論

隨著私家車數(shù)量的飛速增長，在這樣一個用戶基數(shù)下，如果有一套能使駕駛員主動避免交通事故的發(fā)生的汽車安全系統(tǒng)，為用戶在行車過程中提供更加安全舒適的環(huán)境。那么是非常貼合人們的需求的。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環(huán)境，然后決定要采取的操作，保證所有道路使用者的安全。

本文設計出了一套基于物聯(lián)網(wǎng)的智能自動車載輔助駕駛系統(tǒng)，主要由兩大子系統(tǒng)組成：安全監(jiān)護系統(tǒng)和輔助駕駛系統(tǒng)，兩大子系統(tǒng)和客戶端組合，讓司機駕駛時更加安全，更容易。隨著互聯(lián)網(wǎng)技術的飛快發(fā)展，以及人們對駕駛安全需求的日益增加，智能車載輔助系統(tǒng)將進一步擴大使用比例。當前版本硬件結構較為簡單，如盲區(qū)檢測，檢測點太少，出于環(huán)境安全考慮，可采用激光雷達檢測周圍車輛，而且當前程序可能存在設計缺陷，還有待進一步改進和完善。

參考文獻：

[1] 范延軍.基于機器視覺的先進輔助駕駛系統(tǒng)關鍵技術研究 [D].南京：東南大學，2016.

[2] 趙徹.基于機器視覺的汽車駕駛輔助系統(tǒng)研究 [D].長春：長春理工大學，2014.

[3] 李小平，白超.基于深度學習的司機疲勞駕駛檢測方法研究 [J].鐵道學報，2021，43（6）：78-87.

[4] 汪洪濤，謝牡丹，潘昊.基于面部特征的疲勞駕駛檢測方法研究 [J].武漢理工大學學報：交通科學與工程版，2021，45（5）：851-856+862.

[5] 朱名流，李頂根.基于人臉特征點的疲勞檢測方法研究 [J].計算機應用研究，2020，37（S2）：305-307.

[6] 趙強，王瑞，朱寶全，等.基于機器視覺的車道線檢測研究進展綜述 [J].計算技術與自動化，2022，41（1）：3440.

[7] 高揚，王晨，李昭健.基于深度學習的無人駕駛汽車車道線檢測方法 [J].科學技術與工程，2021，21（24）：10401-10406.

[8] 劉源.基于車載視覺的行人檢測及行為識別 [D].成都：電子科技大學，2019.

[9] 石英，羅佳齊，李振威.一種基于改進YOLOv2的無人駕駛中行人檢測方法：CN108985186B [P].2022-03-01.

[10] 吳俊輝，吳桂初，陳沖，等.基于MQTT協(xié)議的物聯(lián)網(wǎng)網(wǎng)關設計 [J].溫州大學學報：自然科學版，2019，40（4）：54-61.

[11] 張哲，孫濤，白蒴，等.基于安卓平臺的物聯(lián)網(wǎng)平臺的研究與實現(xiàn) [J].黑龍江科技信息，2014（7）：159-159.

作者簡介：謝君婷（2002—），女，漢族，廣西玉林人，本科在讀，研究方向：嵌入式軟件。

收稿日期：2022-09-06

基金項目：廣西大學生創(chuàng)新創(chuàng)業(yè)訓練計劃立項項目（202110595168）