汪前進(jìn)，鄭占杰

(淮海工學(xué)院計(jì)算機(jī)工程學(xué)院，江蘇 連云港 222005)

近年來，我國私家車銷售量迅速增長，車輛擁有率逐年提高，截至2017年底全國機(jī)動(dòng)車保有量達(dá)3.10億輛，機(jī)動(dòng)車駕駛?cè)诉_(dá)3.85億人.與此同時(shí)，我國交通事故發(fā)生率居高不下.根據(jù)國家安全監(jiān)管總局、交通運(yùn)輸部統(tǒng)計(jì)，2016年中國共接報(bào)道路交通事故864.3萬起,交通事故造成死亡人數(shù)約6.3萬.2017年1-4月，我國道路運(yùn)輸領(lǐng)域發(fā)生較大以上等級(jí)行車事故起數(shù)和死亡人數(shù)較2016年同期明顯上升，分別增加了12.2%和16.2%[1].據(jù)調(diào)查，超速、未系安全帶、疲勞駕駛、駕駛時(shí)打電話、玩手機(jī)等危險(xiǎn)行為是導(dǎo)致車禍以及車禍死亡率增加的主要原因.隨著信息技術(shù)的提高，圖像處理技術(shù)、計(jì)算機(jī)視覺技術(shù)能有效預(yù)警危險(xiǎn)駕駛行為.本文結(jié)合計(jì)算機(jī)視覺領(lǐng)域的工具庫，如OpenCV，以及包含多種機(jī)器學(xué)習(xí)算法的Dlib等[2,3]檢測駕駛員安全帶佩戴情況、疲勞駕駛危險(xiǎn)駕駛行為并做出預(yù)警.

1 駕駛預(yù)警系統(tǒng)分析

1.1 系統(tǒng)功能

本系統(tǒng)主要功能分為安全帶檢測、疲勞駕駛檢測、手持打電話行為檢測三部分.

安全帶檢測：從視頻流抽樣出駕駛員的駕駛行為圖片，形成圖片集，對(duì)每一張圖片用兩種不同方法分析檢測，判斷駕駛員是否佩戴安全帶.采用投票機(jī)制，對(duì)判定結(jié)果進(jìn)行投票，最后投票結(jié)果確定駕駛員是否佩戴安全帶.

疲勞駕駛檢測：系統(tǒng)每隔一定時(shí)間會(huì)獲取駕駛員駕駛行為圖像，由Dlib庫創(chuàng)建面部檢測器以及面部標(biāo)志預(yù)測器循環(huán)檢測灰度視頻幀中的人臉，捕捉到人臉后，計(jì)算人臉中眼睛的長寬比，根據(jù)人眼長寬比判定人的閉眼狀況，從而判斷駕駛員是否疲勞駕駛.

手持打電話行為檢測：系統(tǒng)每隔一定時(shí)間會(huì)獲取駕駛員駕駛行為圖像，通過構(gòu)建Keras神經(jīng)網(wǎng)拓?fù)?，加載訓(xùn)練學(xué)習(xí)權(quán)重，預(yù)測駕駛員的行為，判斷駕駛員是否在手持打電話.系統(tǒng)功能結(jié)構(gòu)圖如圖1所示.

圖1 系統(tǒng)功能結(jié)構(gòu)圖

1.2 系統(tǒng)工作流程

危險(xiǎn)駕駛預(yù)警系統(tǒng)工作流程如下：

(1)系統(tǒng)執(zhí)行，首先打開攝像頭獲取駕駛員圖像信息；

(2)經(jīng)過安全帶檢測模塊檢測駕駛員是否佩戴安全帶，若已佩戴則進(jìn)行步驟3，否則繼續(xù)獲取圖像，進(jìn)行步驟2；

(3)進(jìn)入疲勞檢測模塊檢測駕駛員的眼睛疲勞狀況；

(4)進(jìn)入手持打電話檢測模塊檢測駕駛員是否存在手持打電話行為.

(5)重復(fù)步驟(2)到(4).

2 安全帶檢測設(shè)計(jì)

系統(tǒng)對(duì)攝像頭采集的視頻流進(jìn)行圖像取樣并存儲(chǔ)，然后對(duì)圖像做灰度化處理，經(jīng)由OpenCV的人臉檢測模型檢測圖像中是否存在人臉，若存在則表示駕駛員就位，系統(tǒng)會(huì)進(jìn)行安全帶檢測以及后續(xù)的駕駛行為檢測，否則，繼續(xù)循環(huán)檢測人臉.系統(tǒng)設(shè)計(jì)了近帶狀區(qū)域檢測法以及基于霍夫變換的直線檢測法兩種安全帶檢測算法，為了避免偶然性，系統(tǒng)設(shè)計(jì)了一個(gè)投票機(jī)制.經(jīng)過兩種算法對(duì)多張圖片判斷并對(duì)判斷結(jié)果投票，最終根據(jù)投票結(jié)果判斷駕駛員是否佩戴安全帶.

2.1 人臉檢測

首先對(duì)圖像做灰度處理和均衡化處理，用以減少圖像信息量降低計(jì)算量，并通過直方圖均衡化提高對(duì)比度使圖像更加清晰.加載OpenCV人臉檢測分類器對(duì)圖像進(jìn)行識(shí)別來判斷其是否存在人臉.

2.2 Canny邊緣檢測

Canny邊緣檢測算法是一種基于圖像梯度計(jì)算的算法[4].經(jīng)過如下幾個(gè)步驟可以將圖像邊緣提取出來：首先將彩色圖像轉(zhuǎn)換為灰度圖像，降低數(shù)據(jù)計(jì)算量，然后對(duì)圖像進(jìn)行高斯模糊減少噪聲，計(jì)算圖像梯度、方向找出圖像可能的邊緣，保留最大梯度，也就是將邊緣細(xì)化到一個(gè)像素，利用最大最小閾值判斷強(qiáng)弱邊緣并做一定的連接，最后將其輸出.

2.3 霍夫變換

霍夫變換于1962年由Paul Hough 首次提出，后于1972年由Richard Duda和Peter Hart推廣使用.霍夫變換是檢測二值化圖像中直線與圓的基本方法之一[5].檢測直線的基本思想是將直角坐標(biāo)系中線與點(diǎn)，與極坐標(biāo)系中點(diǎn)與線相互轉(zhuǎn)化，求出可能存在的直線.直角坐標(biāo)系(即原始坐標(biāo)系)中的一條直線y=kx+b在極坐標(biāo)系中可以看成一個(gè)點(diǎn)(ρ，θ)，極坐標(biāo)系中的直線ρ=xCosθ+ySinθ在直角坐標(biāo)系是(x，y)點(diǎn)，如圖2(a).若將ρ，θ作為直角坐標(biāo)系兩軸建立參照坐標(biāo)系，如圖2(b)，每個(gè)點(diǎn)(x，y)就是一個(gè)正弦曲線，而多條相交在同一點(diǎn)的正弦曲線就是一條直線.

圖2(a) 原始坐標(biāo)系中的直線

圖2(b) 參數(shù)坐標(biāo)系中的直線

2.4 安全帶檢測

2.4.1 基于霍夫變換的安全帶檢測法

基于霍夫變換的安全帶檢測原理是通過霍夫變換檢測圖像中存在的直線[6,7]，并找出斜率相近的直線，計(jì)算其間距、斜率，若都符合預(yù)設(shè)參數(shù)則判定為安全帶.算法如下：

(1)通過Canny邊緣檢測灰度圖獲取二值化圖；

(2)通過霍夫變換檢測并繪制直線；

(3)檢測是否存在至少兩條直線，若存在則計(jì)算直線間間距，否則判定為未佩戴安全帶；

(4)判斷直線間間距是否在預(yù)設(shè)參數(shù)即最大最小間距之內(nèi)，若是，計(jì)算直線斜率，否則判斷為未佩戴安全帶；

(5)判斷直線斜率是否在預(yù)設(shè)參數(shù)即最大最小斜率內(nèi)，若是則判斷為已佩戴安全帶，否則判斷為未佩戴安全帶.

使用霍夫變換算法檢測直線，并將直線描繪在灰度圖上，實(shí)現(xiàn)效果如圖3.

圖3 基于霍夫變換的安全帶檢測效果

2.4.2 帶狀區(qū)域檢測法

實(shí)際的安全帶輪廓不一定是直線，很大可能是不規(guī)則的圓弧形，難以用簡單的數(shù)學(xué)公式表達(dá)，因此上述檢測直線的方法效果不夠理想.帶狀區(qū)域檢測法的思想是將圖像中的類似安全帶形狀的區(qū)域找出，根據(jù)帶狀區(qū)域的長度、寬度、斜率進(jìn)行判斷.具體做法是將圖像通過Canny邊緣檢測形成二值圖并轉(zhuǎn)為矩陣，計(jì)算矩陣行列，對(duì)圖像區(qū)域進(jìn)行掃描，尋找?guī)顓^(qū)域.算法如下：

(1)依據(jù)人眼、鼻子、嘴的位置，按照人臉五官比例，初步確定安全帶所在的行、列；

(2)從當(dāng)前行、列開始，逐行掃描.

1)查找安全帶寬度的邊緣點(diǎn)點(diǎn)對(duì)(a，b)；

2)若找到的點(diǎn)對(duì)與上一行點(diǎn)對(duì)的列偏差在三個(gè)像素以內(nèi)，則行數(shù)加1，打點(diǎn)畫圖；否則空行數(shù)加1；

3)若空行數(shù)大于預(yù)設(shè)參數(shù)，退出循環(huán).

(3)計(jì)算帶狀區(qū)域所占總行數(shù)、總列數(shù)；

(4)計(jì)算帶狀區(qū)域斜率；

(5)若長度大于預(yù)設(shè)參數(shù)，斜率在預(yù)設(shè)參數(shù)之內(nèi)，則判定為安全帶.

本算法允許安全帶輪廓線有間斷，使用本算法將帶狀區(qū)域計(jì)算出，并用點(diǎn)描繪在二值圖中，實(shí)現(xiàn)效果如圖4所示.

圖4 帶狀區(qū)域檢測效果

用兩種方法對(duì)圖片集合的10張圖片各做5次檢測判定，并將判定結(jié)果輸出并投票，如圖5所示，7個(gè)True，3個(gè)False的結(jié)果表示駕駛員佩戴了安全帶.

圖5 投票結(jié)果

相比于基于霍夫變換的直線檢測法，帶狀區(qū)域檢測方法不僅可以檢測到規(guī)則的輪廓為直線帶形區(qū)域，也可檢測到輪廓為曲線的區(qū)域，且不受安全帶輪廓線間斷的干擾，具有更好的抗干擾能力.

兩種算法各有特點(diǎn)，能夠相互彌補(bǔ)不足，通過投票機(jī)制配合使用，既可以較精準(zhǔn)地檢測到安全帶，又能夠減少誤判.與基于深度學(xué)習(xí)的安全帶檢測方法相比，本方法不需要訓(xùn)練分類器，適用面廣，效率較高，局限性較小.

3 疲勞檢測設(shè)計(jì)

在安全帶檢測成功之后，系統(tǒng)進(jìn)行疲勞駕駛檢測.系統(tǒng)調(diào)用Dlib庫，采用基于改進(jìn)的方向梯度直方圖加線性支持向量機(jī)方法的預(yù)訓(xùn)練面部檢測器進(jìn)行目標(biāo)檢測.對(duì)目標(biāo)圖像生成如圖6所示的人臉特征點(diǎn)標(biāo)志.使用索引提取眼部區(qū)域，根據(jù)公式1計(jì)算EAR(人眼平均長寬比)[8,9].

(1)

每個(gè)人眼睛的長寬比在眼睛開著時(shí)幾乎恒定，但當(dāng)眨眼發(fā)生時(shí)，眼睛的寬度會(huì)迅速下降到零，因此可以通過眼睛長寬比率判斷閉眼情況，根據(jù)閉眼的時(shí)間和頻率進(jìn)而判斷駕駛員是否打瞌睡.如圖7，睜眼閉眼時(shí)坐標(biāo)的位置以及閉眼過程中的長寬比變化圖.

圖6 人臉標(biāo)志集

圖7 EAR計(jì)算公式圖解

疲勞檢測步驟如下：

(1)將視頻幀轉(zhuǎn)化為灰度圖；

(2)初始化Dlib面部檢測器以及面部標(biāo)志預(yù)測器;

(3)檢測視頻幀中存在的人臉，利用預(yù)測器以及檢測到的人臉生成面部標(biāo)志集；

(4)找出眼部區(qū)域索引，并計(jì)算平均長寬比EAR；

(5)將EAR與眨眼閾值比較，若EAR小于眨眼閾值則將計(jì)數(shù)器加一，否則重置計(jì)數(shù)器為零；

(6)當(dāng)計(jì)數(shù)器大于疲勞閾值即眨眼連續(xù)幀數(shù)量則進(jìn)行相應(yīng)的預(yù)警提醒，否則繼續(xù)循環(huán).

實(shí)驗(yàn)結(jié)果如圖8所示.

圖8 疲勞駕駛檢測結(jié)果

4 結(jié)論

計(jì)算機(jī)視覺和圖像識(shí)別技術(shù)是人工智能領(lǐng)域的一個(gè)熱點(diǎn)技術(shù)，在汽車安全駕駛領(lǐng)域起著至關(guān)重要的作用.本文利用圖像識(shí)技術(shù)基于Opencv CV、Dlib庫實(shí)現(xiàn)了對(duì)駕駛員安全帶佩戴以及駕駛員疲勞駕駛的檢測，通過Keras也實(shí)現(xiàn)了對(duì)手持打電話的行為識(shí)別，取得了較好的效果.實(shí)踐中也發(fā)現(xiàn)，光線、環(huán)境背景等會(huì)對(duì)檢測的準(zhǔn)確率造成一定影響，這方面還需要做進(jìn)一步研究.另外，危險(xiǎn)駕駛行為也遠(yuǎn)不止這些，如玩手機(jī)、吃東西、“雙脫手”等危險(xiǎn)駕駛行為也有待進(jìn)一步研究.