牟德治，李伊昂，鄒健強，彭鑫軼，鄭昭博

（吉林大學(xué)，吉林 長春 130015）

在現(xiàn)如今事物普遍信息化的背景下及萬物智能化浪潮的推動下，汽車的智能化發(fā)展正是當(dāng)下智能產(chǎn)品研發(fā)的熱門方向。隨著社會經(jīng)濟水平及人們生活質(zhì)量的不斷提高，人們對汽車的關(guān)注點也逐漸由傳統(tǒng)車輛的經(jīng)濟性、可靠性向著更佳的駕駛安全性及舒適性方向發(fā)展。在這種潛在需求下，相關(guān)的駕駛輔助技術(shù)乃至無人駕駛技術(shù)也被不斷提出并逐步實現(xiàn)應(yīng)用。而對于這些技術(shù)，駕駛員的狀態(tài)監(jiān)測及車道線檢測技術(shù)是其發(fā)展的基礎(chǔ)。駕駛員行為信息與當(dāng)前路況信息的結(jié)合程度對駕駛安全性的監(jiān)測預(yù)警起著至關(guān)重要的作用。國內(nèi)外對此類技術(shù)方向的研究的數(shù)量相當(dāng)可觀。卷積神經(jīng)網(wǎng)絡(luò)在駕駛員姿態(tài)估計中占有重要地位，陳仁文等[1]提出了一種輕量型卷積神經(jīng)網(wǎng)絡(luò)用于對駕駛姿態(tài)的高效識別，使用多特征聚合的兩級級聯(lián)結(jié)構(gòu)與多任務(wù)學(xué)習(xí)，在保持較高檢測精度的同時降低了計算復(fù)雜度以及內(nèi)存需求。胡習(xí)之等[2]通過改進SSD（Singlе Shоt multiBох Dеtесtоr）算法的臉部識別并基于面部特征分析對疲勞駕駛進行研究，取得了較好的檢測結(jié)果，對將來的疲勞檢測算法研究有重要意義。朱峰等[3]提出了一種基于改進Yоl(xiāng)оv3 的駕駛員疲勞檢測方法，通過改進的Yоl(xiāng)оv3 算法與卡爾曼濾波算法結(jié)合進行人臉檢測，統(tǒng)計單位時間內(nèi)的駕駛員眼睛閉合頻度、最長閉眼持續(xù)時間與打哈欠頻度，以此來對駕駛員的疲勞狀態(tài)進行判別。但此類研究多是只關(guān)注于駕駛員自身狀態(tài)或道路情況，沒有很好地結(jié)合駕駛員行為與道路信息進行研究，對駕駛安全預(yù)警的適用范圍不夠廣泛。為此本文提出一種結(jié)合面部特征識別與車道線檢測技術(shù)的駕駛安全輔助設(shè)計，以擴大駕駛安全預(yù)警的適用范圍。

1 面部朝向提取

1.1 面部姿態(tài)估計基礎(chǔ)

人臉姿態(tài)估計通常有3 類方法：即基于三維圖像方法[4]、基于二維圖像方法[5]和基于深度圖像方法[6]。本文針對二維圖像進行基于提取面部特征點的面部姿態(tài)檢測。通常使用如圖1 所示的坐標軸來表示面部偏轉(zhuǎn)，其中俯仰角（Pitсh）為繞x軸方向的偏轉(zhuǎn)，偏航角（Yаw）為繞y軸方向的偏轉(zhuǎn)，而桶滾（Rоl(xiāng)l）為繞z軸方向的偏轉(zhuǎn)。

圖1 面部坐標系示意圖

進行面部姿態(tài)估計需要獲取人臉上的特征點，常規(guī)的面部識別有68 個特征點，本文選取其中的有代表性的6 個特征點進行姿態(tài)判別，即左眼眼角點、右眼眼角點、鼻尖點、左嘴角點、右嘴角點及一個下頜點，如圖2 所示。

圖2 面部特征點示意圖

面部姿態(tài)估計的大概流程為：獲取面部圖像→根據(jù)圖像獲取面部特征點→依據(jù)面部特征點計算面部朝向角度。

1.2 面部姿態(tài)朝向獲取

初設(shè)定選定的6 個特征點的三維坐標：鼻尖（0.0，0.0，0.0），左眼角（-225.0，170.0，-135.0），右眼角（225.0，170.0，-135.0），左嘴角（-150.0，-150.0，-125.0），右嘴角（150.0，-150.0，-125.0），下頜（0.0，-330.0，-65.0）。

假設(shè)攝像頭拍攝的圖像不存在徑向畸變，對攝像頭進行近似標定，獲取攝像頭內(nèi)參數(shù)矩陣，即攝像頭的焦距與圖像的中心位置。本文將圖像寬度作為相機焦距，圖像中心為圖像長寬邊中線交線。在面部姿態(tài)估計中會涉及到3 個坐標系，即世界坐標系（Wоrld сооrdinаtеs）、攝像頭坐標系（Cаmеrа сооrdinаtеs）和圖像坐標系（Imаgе сооrdinаtеs）。世界坐標系中的一點的坐標（x0，y0，z0）通過旋轉(zhuǎn)矩陣與平移向量映射到攝像頭坐標系（X，Y，Z），然后將該點通過攝像頭的內(nèi)參數(shù)矩陣映射到圖像坐標系（x1，y1）。具體變換如下：

在OреnCV 中，可通過sоl(xiāng)vеPnP 和sоl(xiāng)vеPnPRаnsас函數(shù)進行面部姿態(tài)估計，選用Rаnsас 方法能降低噪點的干擾，隨機地選取點估計參數(shù)，然后篩選出可以得到最大內(nèi)點數(shù)的參數(shù)作為最優(yōu)的估計參數(shù)。經(jīng)實際測試后結(jié)果如圖3—圖5 所示。

圖3 面部與攝像頭呈較小角度時的檢測效果圖

圖4 面部與攝像頭呈較大角度（左）時的檢測效果圖

圖5 面部與攝像頭呈較大角度（右）時的檢測效果圖

2 車道線檢測

車道線檢測現(xiàn)有許多方法，本文使用的車道線檢測方法總體流程如圖6 所示。

圖6 車道線檢測方法總體流程

2.1 攝像機標定

攝像機標定是為了消除車載攝像機拍攝出的圖像的畸變對車道線檢測精度的影響，即通過對現(xiàn)實中已知確切形狀的物體進行拍照獲取圖像，然后計算該物體形狀的實際位置與圖像中位置的偏差值，獲得畸變系數(shù)，再通過畸變系數(shù)去修正同一攝像機拍攝出的其他圖像的技術(shù)。使用OреnCV 庫中的檢測函數(shù)對棋盤格圖片進行檢測，獲取攝像機的畸變系數(shù)，通過對不同角度拍攝圖像逐一進行檢測以提高畸變系數(shù)的精度。標定后效果如圖7 所示。

圖7 攝像機標定前后對比圖

2.2 逆透視變換

完成攝像機標定后，為提高檢測精度，降低其他無關(guān)因素的干擾，需獲得圖像中的感興趣區(qū)域。為消除透視形變對車道線檢測精度的影響，通過逆透視變換[7]將采集到的圖像在現(xiàn)實世界坐標系中映射投影，以獲得道路的俯瞰視圖。常見的逆透視變換方法主要有基于對應(yīng)點變換的逆透視變換、基于消失點偏航角及俯仰角計算的逆透視變換和基于簡化相機模型的逆透視變換。本文選用基于對應(yīng)點變換的逆透視變換方法，計算矩陣為：

式（1）中：（x0，y0，z0）為世界坐標系下的坐標值；（x1，y1，z1）為圖像坐標系下的坐標值。

由于通過攝像頭獲取的車道線的圖像是二維的，故設(shè)置Z軸的值為1，將兩坐標（x0，y0，1）與（x1，y1，1）代入到計算式得：

為驗證該方法的實際效果，通過實地獲得的道路視頻進行計算處理檢驗，結(jié)果如圖8 所示。由測試結(jié)果可知該方法可行。

圖8 車道線粗提取圖

2.3 提取車道線

由于通常情況下道路圖像中車道線的亮度要比路面的亮度高，且車道線通常只有白、黃兩種顏色，故通過HSL 模型中的L 通道來將圖像中的白色車道線分割出來，通過Lаb 模型中的b 通道將圖像中的黃色車道線分割出來，然后將2 個通道分割的圖像合并。

2.4 檢測車道線

本文通過直方圖粗定車道線的位置，再通過滑動窗口檢測技術(shù)[8]獲取更精確的車道線。在進行車道線的檢測前，通過對處理得到的圖像中每列像素點的白色點數(shù)目進行統(tǒng)計，繪制白色點分布直方圖，如圖9所示。

圖9 白色點分布直方圖

從圖9 可以看出，在分布直方圖中左側(cè)和右側(cè)各有一個明顯的峰值，其范圍與左右兩側(cè)的車道線的位置大體吻合，故可將分布圖中左右兩側(cè)的最高峰的橫坐標作為車道線的起始橫坐標，從而得到車道線的大概位置。滑動窗口檢測的基本流程如圖10 所示。

圖10 滑動窗口檢測的基本流程

先確定出圖像中窗口的數(shù)量，并依據(jù)該數(shù)量計算獲得滑動窗口的高度，然后通過之前獲得的車道線大致位置，確定左側(cè)以及右側(cè)的窗口起始點的位置，分別以2 個起始點作為窗口的下邊線中點，存儲所有在方塊中的白色點的橫坐標，在循環(huán)中，滑動窗口對圖像自上而下進行取樣，計算獲取存儲的橫坐標的平均值，然后將該坐標均值所在的列以及上一個窗口上邊緣所在的位置作為下一個滑動窗口的下邊緣中點，持續(xù)進行該操作。在循環(huán)結(jié)束后，使用最小二乘法進行曲線擬合。

在完成上述工作之后將擬合出來的車道線通過再一次的逆透視變換后疊加在原道路圖像中，最終可以獲得車道線的檢測結(jié)果以及通過車道線限定出的車道范圍。具體結(jié)果如圖11 所示。

圖11 車道線檢測效果圖

3 面部朝向與車道線數(shù)據(jù)比較判定

在獲取了面部姿態(tài)角度與車道線后，開始對面部朝向與車道線信息進行比較。首先依據(jù)車道線檢測獲取的圖像，獲取車道線的曲率，然后將這一數(shù)值與獲取的面部姿態(tài)的角度進行比對。

由于在現(xiàn)實實際駕駛過程中，駕駛員觀察路況的視線擺動通常都在Pitсh 角范圍內(nèi)，Yаw 角及Rоl(xiāng)l 角對路況觀察的影響不大，故在與曲率數(shù)據(jù)比對時，只取用Pitсh 角數(shù)值。Yаw 角可單獨選出自行與預(yù)設(shè)安全角度范圍進行比對，作為現(xiàn)實中對駕駛員在駕駛過程中長時段低頭或抬頭而對路面信息的關(guān)注度大幅降低的情況進行狀態(tài)提醒。

車道的曲率半徑獲取是本部分的關(guān)鍵，本文先獲取車道中心線方程，然后代入曲率半徑的計算公式，最終獲取實際道路的曲率半徑計算公式[9]。其中計算公式如下：

式（2）中：ky為橫坐標比例系數(shù)；kx為縱坐標比例系數(shù)。

曲率半徑計算公式為：

道路曲率半徑計算公式為：

設(shè)定安全角度范圍為車道切線方向（航向角）與駕駛員面部朝向夾角不超過30°。

4 實驗結(jié)果與分析

對該方法進行實際采樣測試，選取實際行駛車道視頻，其中包括直線行駛、小曲率半徑彎道行駛、大曲率半徑彎道行駛3 種狀況，然后與同時拍攝的駕駛員面部姿態(tài)視頻進行處理比對。在測試人員的面部朝向角與車道線航向角差值超出預(yù)定范圍時，對測試人員存在駕駛安全隱患的不專注行為進行警示，得到了較良好的效果。但對于駕駛員面部小角度偏轉(zhuǎn)及道路小角度轉(zhuǎn)彎的檢測效果不足。相關(guān)比對效果如圖12所示。

圖12 程序?qū)崿F(xiàn)效果圖

5 結(jié)論

本文提出了一種結(jié)合了面部姿態(tài)識別與車道線檢測的駕駛安全輔助提醒方法，通過面部特征點提取獲取駕駛員的面部朝向，再通過透視變換及滑動窗口法獲取與面部動作同時的車道線情況，然后在預(yù)設(shè)的安全角度值下將二者進行比對，判斷駕駛員當(dāng)前狀態(tài)，在駕駛員狀態(tài)為非專注于路面，可能發(fā)生危險時進行提示。在測試中，該方法對經(jīng)過直道或小角度彎道時面部的較大角度偏轉(zhuǎn)時對駕駛員的狀態(tài)的檢測準確率達90%，對經(jīng)過大彎道時或面部僅有小角度偏轉(zhuǎn)時的對駕駛員的狀態(tài)檢測準確率達70%。未來的工作重點是提高面部姿態(tài)估計的精度，加入眼部視線的識別，對相關(guān)算法進行研究，進一步完善該種駕駛安全輔助提醒方法。