靖麗君，李長(zhǎng)勇，莊力駿

（新疆大學(xué)機(jī)械工程學(xué)院，新疆 烏魯木齊 830047）

1 引言

近年來，隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展和神經(jīng)網(wǎng)絡(luò)的興起，視線定位技術(shù)取得了較多的突破。由于通過視線可以獲知人的行為意圖，因此視線定位技術(shù)廣泛應(yīng)用在人機(jī)交互、心理學(xué)、醫(yī)學(xué)、安全駕駛等領(lǐng)域，應(yīng)用前景廣泛［1-2］。對(duì)于駕駛員來說，駕駛員注意力不集中是造成交通事故的主要原因之一，而通過視線能夠了解駕駛員的注意力是否集中、有無變道想法等［3-4］，及時(shí)提醒駕駛員安全駕駛。因此開展車輛行駛過程中駕駛員視線定位方法的研究，對(duì)保障駕駛員的安全具有重要意義。

目前視線定位方法包含侵入式和非侵入式。侵入式方法雖然精度高，但是需要復(fù)雜的硬件系統(tǒng)，并且成本較高。隨著計(jì)算機(jī)視覺領(lǐng)域的相關(guān)方法逐漸成熟，視線定位系統(tǒng)大多采用基于圖像處理的非侵入式視線定位方法，這種方法只需要視線定位算法結(jié)合一個(gè)圖像采集設(shè)備，便可以實(shí)現(xiàn)視線定位，其高效、便捷的特點(diǎn)受到市場(chǎng)的廣泛推廣。針對(duì)駕駛員視線定位的研究，學(xué)者們提出了許多視線定位方法，并在一定適用范圍中取得了較高的定位精度。文獻(xiàn)［5］通過記錄的自然駕駛數(shù)據(jù)構(gòu)建頭部位姿回歸模型，估計(jì)駕駛員視線，該方法在水平方向具有較高精度，在垂直方向精度略低；文獻(xiàn)［6］提出一種基于外觀的自由頭部姿態(tài)下的視線區(qū)域預(yù)測(cè)方法，該方法采用隨機(jī)森林算法，利用頭部向量和眼睛圖像特征訓(xùn)練了視線區(qū)域分類器，對(duì)駕駛員的視線區(qū)域進(jìn)行估計(jì)；文獻(xiàn)［7］提出了一種根據(jù)投射在多平面幾何環(huán)境上的頭部和眼睛提示來估計(jì)駕駛員的視線系統(tǒng)，以及一種將幾何和數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)方法融合的系統(tǒng)；文獻(xiàn)［8］提出了一種使用3D眼球模型和眼瞼形狀的視線估計(jì)方法，但是這種方法會(huì)受眼睛大小和個(gè)體不同的影響，并且需要特定于用戶的視線校準(zhǔn)。

在不同的光照（強(qiáng)光、弱光、光照不均光）和不同的駕駛員頭部運(yùn)動(dòng)狀態(tài)下，為了提高駕駛員視線定位精度，文中提出一種殘差網(wǎng)絡(luò)（Residual Network）輔助的視線定位方法，首先對(duì)ResNet-18［9］網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，將3 個(gè)連續(xù)的（3×3）卷積層代替第一個(gè)（7×7）卷積層，并將殘差塊結(jié)構(gòu)中的激活函數(shù)ReLU［10］（Rectified Linear Unit）替換為FReLU［11］（Flexible Rectified Linear Unit）；然后采集不同駕駛環(huán)境下的駕駛員視頻，制作數(shù)據(jù)集并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，訓(xùn)練人臉檢測(cè)模型，之后依次進(jìn)行頭部姿態(tài)估計(jì)、眼球虹膜定位、視線估計(jì)。最后通過采集的駕駛員圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證算法的精度和有效性。

2 改進(jìn)的殘差網(wǎng)絡(luò)模型

2.1 構(gòu)建訓(xùn)練數(shù)據(jù)集

通過配置在駕駛室中的圖像采集設(shè)備，采集不同駕駛環(huán)境下的駕駛員視頻，總時(shí)長(zhǎng)10 個(gè)小時(shí)，并每間隔30 幀取一幀，最后選取6000 張駕駛員人臉圖像制作駕駛員人臉數(shù)據(jù)集。為了降低圖像處理的復(fù)雜度，對(duì)制作的原始圖像數(shù)據(jù)集進(jìn)行灰度化、直方圖均衡化和人臉圖像尺寸歸一化等處理，得到駕駛員人臉圖像數(shù)據(jù)集。

駕駛員人臉圖像采集設(shè)備，如圖1所示。

圖1 駕駛員人臉圖像采集設(shè)備Fig.1 Driver Face Image Capture Device

圖像采集設(shè)備采集得到的部分駕駛員圖像，如圖2所示。

圖2 駕駛員圖像Fig.2 Driver Image

2.2 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)

基礎(chǔ)的ResNet-18模型結(jié)構(gòu)首先對(duì)圖像進(jìn)行（7×7）的卷積運(yùn)算，輸出特征圖。然后池化特征圖，將圖像輸入到殘差塊（Building Block）進(jìn)行卷積運(yùn)算。ResNet-18模型結(jié)構(gòu)，如圖3所示。

圖3 ResNet-18模型結(jié)構(gòu)Fig.3 ResNet-18 Model Structure

殘差網(wǎng)絡(luò)結(jié)構(gòu)中的殘差塊通過跳躍連接，解決了卷積神經(jīng)網(wǎng)絡(luò)深度加深造成的梯度消失和非正常收斂的問題。若網(wǎng)絡(luò)的輸入是x理想輸出是H（x），殘差是F（x），通過捷徑連接（Shortcut Connections）把輸入x傳給輸出作為初始結(jié)果，輸出結(jié)果是H（x）=F（x）+x，若F（x）=0，則H（x）=x，即圖中的恒等映射，殘差網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是殘差F（x），即F（x）=H（x）-x。殘差F（x）的訓(xùn)練目標(biāo)是逼近于0，同時(shí)隨著網(wǎng)絡(luò)層數(shù)不斷增多，準(zhǔn)確率仍能得到保證。殘差塊基本結(jié)構(gòu)，如圖4所示。

圖4 殘差網(wǎng)絡(luò)的基本結(jié)構(gòu)Fig.4 Basic Structure of Residual Network

2.3 改進(jìn)的ResNet-18

這里在ResNet-18的基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，改進(jìn)如下：

（1）將第一個(gè)（7×7）卷積層移除，并用3個(gè)連續(xù)的（3×3）卷積層代替。改進(jìn)優(yōu)點(diǎn)：不僅3 次（3×3）卷積和1 次（7×7）卷積輸出的特征圖大小相同，還增加了網(wǎng)絡(luò)深度，減少了計(jì)算參數(shù)和計(jì)算時(shí)間。

（2）用激活函數(shù)FReLU代替殘差網(wǎng)絡(luò)中的激活函數(shù)ReLU。ReLU函數(shù)雖然收斂速度快，計(jì)算速度快，但是ReLU函數(shù)的輸入值是負(fù)值時(shí)，梯度始終為0，這樣會(huì)導(dǎo)致神經(jīng)元不能繼續(xù)學(xué)習(xí)，稱為神經(jīng)元“壞死”。ReLU函數(shù)，如式（1）所示。

針對(duì)上面提到的問題，F(xiàn)ReLU 作為ReLU 的變體，可以通過可學(xué)習(xí)的整流點(diǎn)自適應(yīng)地調(diào)整ReLU輸出，擴(kuò)展激活輸出狀態(tài)，來獲取負(fù)值信息。FReLU函數(shù)，如式（2）所示，F(xiàn)ReLU在反向傳播時(shí)的梯度計(jì)算公式，如式（3）所示。

隨著輸入x變化的ReLU函數(shù)圖和FReLU函數(shù)圖對(duì)比圖，如圖5所示。

圖5 ReLU和FReLU對(duì)比圖Fig.5 Comparison Chart of ReLU and FReLU

3 基于殘差網(wǎng)絡(luò)的視線定位機(jī)制

在用殘差網(wǎng)絡(luò)檢測(cè)到人臉并進(jìn)行特征點(diǎn)定位的基礎(chǔ)上，對(duì)駕駛員眼部視線定位方法進(jìn)行了進(jìn)一步研究，提出了基于殘差網(wǎng)絡(luò)的視線感知機(jī)制。即采用殘差網(wǎng)絡(luò)人臉檢測(cè)模型進(jìn)行人臉檢測(cè)，并進(jìn)行特征點(diǎn)定位，在此基礎(chǔ)上對(duì)駕駛員的頭部位姿和用戶眼球運(yùn)動(dòng)軌跡進(jìn)行實(shí)時(shí)檢測(cè)，建立駕駛員視線關(guān)聯(lián)模型和動(dòng)態(tài)誤差補(bǔ)償模型［12］。

3.1 視線關(guān)聯(lián)模型

視線關(guān)聯(lián)模型即建立駕駛員的頭部姿態(tài)視線模型和眼球視線模型。頭部姿態(tài)視線模型是采用基于點(diǎn)特征的位姿估計(jì)算法，利用PnP（Perspective-n-Point）算法思想求頭部姿態(tài)視線模型，通過定位提取到的人臉圖像中的平面特征點(diǎn)和世界坐標(biāo)系中的3D人臉模型［13］空間點(diǎn)匹配來恢復(fù)透視投影矩陣，然后得到相對(duì)的頭部姿態(tài)，頭部姿態(tài)視線關(guān)聯(lián)模型，如式（4）所示。

式中：Pi—第i個(gè)3D空間點(diǎn)；mi—第i個(gè)3D空間點(diǎn)在圖像上的第i個(gè)2D 投影點(diǎn)；l—系數(shù)；K—相機(jī)內(nèi)參矩陣；R—旋轉(zhuǎn)矩陣；T—平移矩陣。

構(gòu)建3D眼球視線模型，定位虹膜中心，虹膜定位，如圖6所示。

圖6 虹膜定位Fig.6 Iris Positioning

設(shè)定虹膜中心與眼球模型中心點(diǎn)連線方向?yàn)橐暰€的矢量方向。根據(jù)平面人臉圖像特征點(diǎn)檢測(cè)得到眼部特征點(diǎn)與眼球視線模型空間點(diǎn)匹配，計(jì)算得到匹配點(diǎn)坐標(biāo)，假定眼球模型中心點(diǎn)為（xc，yc，zc），各特征點(diǎn)空間坐標(biāo)為（xi，yi，zi）。眼球可以近似為圓形球體，利用最小二乘法求解這些特征點(diǎn)與眼球模型中心的空間距離與眼球模型半徑之差最小，確定眼球模型中心坐標(biāo)值，進(jìn)而確定視線矢量方向。最小二乘法，如式（5）所示。

式中：R—眼球模型的半徑，一般眼球直徑在24mm左右。

3.2 動(dòng)態(tài)誤差補(bǔ)償模型

動(dòng)態(tài)誤差補(bǔ)償是指在行車過程中駕駛員頭部位姿會(huì)不自覺的發(fā)生變化，使得駕駛員視線方向產(chǎn)生一個(gè)相對(duì)誤差，這會(huì)影響以視線作為駕駛狀態(tài)評(píng)價(jià)指標(biāo)的準(zhǔn)確性。因此，針對(duì)駕駛員頭部姿態(tài)變化及眼球運(yùn)動(dòng)容易造成視線方向相對(duì)誤差的問題，提出的殘差網(wǎng)絡(luò)輔助的視線定位方法，利用頭部姿態(tài)視線模型對(duì)眼球視線模型做誤差補(bǔ)償，提高視線定位精度，進(jìn)而對(duì)視線進(jìn)行定位以及對(duì)注視點(diǎn)進(jìn)行定位。動(dòng)態(tài)誤差模型，如式（6）所示。

式中：D—最終視線方向；α、β—權(quán)重系數(shù)；H（x，y，T，R）、Y（x，y，T，R）—視線方向。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證殘差網(wǎng)絡(luò)人臉檢測(cè)方法的精度，邀請(qǐng)了20名志愿者在真實(shí)和模擬環(huán)境下進(jìn)行駕駛實(shí)驗(yàn)并采集數(shù)據(jù)，實(shí)驗(yàn)過程中每位志愿者駕駛時(shí)長(zhǎng)約1h。從真實(shí)駕駛過程采集的圖片中選取部分不同光照條件下駕駛員圖片，并對(duì)駕駛員進(jìn)行人臉檢測(cè)和人臉特征點(diǎn)定位。多種光照下人臉檢測(cè)特征點(diǎn)定位結(jié)果，如圖7所示。

圖7 多種光照下人臉檢測(cè)特征點(diǎn)定位Fig.7 Face Detection Feature Point Localization in Multiple Illumination

從圖7中可以看出隨著光照強(qiáng)度的變化，采用殘差網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)，人臉檢測(cè)效果均能得到保證。同時(shí)在真實(shí)駕駛過程中選取部分不同頭部姿態(tài)的圖片，進(jìn)行人臉檢測(cè)及特征點(diǎn)定位。不同頭部姿態(tài)人臉檢測(cè)及特征點(diǎn)定位，如圖8所示。

從左到右第一張圖片為3D人臉特征點(diǎn)定位圖，第二至四張圖片為不同頭部姿態(tài)下的人臉檢測(cè)與特征點(diǎn)定位效果圖。從圖7、圖8可以看出，在光照和駕駛員頭部姿態(tài)變化時(shí)采用本算法進(jìn)行人臉檢測(cè)與定位具有較好的魯棒性。

為了驗(yàn)證提出的殘差網(wǎng)絡(luò)輔助的視線定位方法的視線定位效果，模擬駕駛環(huán)境下駕駛員的各種頭部姿態(tài)進(jìn)行視線定位，檢測(cè)結(jié)果表明，該方法能夠?qū)崿F(xiàn)不同姿態(tài)下駕駛員的視線進(jìn)行定位，同時(shí)還能夠?qū)崿F(xiàn)對(duì)視線凝聚點(diǎn)的定位。不同頭部姿態(tài)下視線定位，如圖9所示。

圖9 不同頭部姿態(tài)下視線定位Fig.9 Eye-Gaze in Multiple Head Posture

圖9 從左到右第一張圖片是在VS2015（Visual Studio 2015）通過c++編程繪制出的網(wǎng)格，網(wǎng)格中最上面的兩個(gè)點(diǎn)顯示了定位到的兩只眼睛位置坐標(biāo)，最下面的一個(gè)點(diǎn)顯示了視線相交點(diǎn)的位置坐標(biāo)，第二至六張圖片是不同姿態(tài)下的視線定位效果圖。為了驗(yàn)證提出的算法，在電腦配置I5、4GB內(nèi)存、Windows8 64位操作系統(tǒng)的環(huán)境下，利用VS2015 在光照強(qiáng)度相同，用戶距離屏幕為（20～60）cm，以視線垂直相交于屏幕的點(diǎn)為圓心的圓形范圍內(nèi)，對(duì)多項(xiàng)式擬合算法、CLM（Constraint Local Model）和文中提出算法就頭部活動(dòng)范圍和視線精度進(jìn)行測(cè)試對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果對(duì)比，如表1所示。從表1中的實(shí)驗(yàn)數(shù)據(jù)可以看出，利用多項(xiàng)式擬合的視線定位方法，當(dāng)頭部靜止不產(chǎn)生姿態(tài)變化時(shí)可以達(dá)到較高的視線定位精度，但當(dāng)頭部姿態(tài)發(fā)生變化時(shí)，該方法的視線定位精度則會(huì)降低，對(duì)頭部姿態(tài)的變化的適應(yīng)性不高。利用CLM算法時(shí)，用戶頭部可以進(jìn)行一定范圍的運(yùn)動(dòng)，但是精度較低。相較而言，在利用文中提出的算法時(shí)，用戶頭部運(yùn)動(dòng)的范圍更大，在真實(shí)駕駛環(huán)境中，應(yīng)用本算法檢測(cè)駕駛員駕駛狀態(tài)更具實(shí)用性。

表1 實(shí)驗(yàn)結(jié)果對(duì)比Tab.1 Comparison of Experimental Results

5 結(jié)論

針對(duì)駕駛員在駕駛過程中的視線定位易受復(fù)雜光照和頭部位姿的影響，這里提出了一種殘差網(wǎng)絡(luò)輔助的駕駛員視線定位方法。對(duì)傳統(tǒng)殘差網(wǎng)絡(luò)模型加以改進(jìn)，進(jìn)行人臉檢測(cè)，再通過PnP算法獲得頭部姿態(tài)信息，以此對(duì)視線定位進(jìn)行誤差補(bǔ)償，進(jìn)而減小視線方向的相對(duì)誤差。通過提出的這種動(dòng)態(tài)誤差補(bǔ)償模型，有效地提高了視線定位精度。實(shí)驗(yàn)結(jié)果表明，在視線定位過程中，基于殘差網(wǎng)絡(luò)的視線感知方法，能夠有效地降低行車過程中環(huán)境光照變化和駕駛頭部姿態(tài)大幅度變化對(duì)視線定位精度的影響，平均視線定位角度誤差降低到0.7°視線定位精度有了一定程度的提升。后續(xù)將繼續(xù)增加駕駛光照環(huán)境和駕駛員性別族別的多樣性，構(gòu)建更為完善的數(shù)據(jù)集；研究提取更多視線特征，考慮遮擋發(fā)生時(shí)如何進(jìn)行視線定位，進(jìn)一步優(yōu)化算法提高視線定位系統(tǒng)的穩(wěn)定性，擴(kuò)大其適用范圍。