劉俊超 陳志軍 樊小朝 閆學(xué)勤 王宏偉

摘 要： 基于人眼檢測的駕駛員疲勞檢測研究中，受戴眼鏡、光照強度和人臉姿態(tài)變化、閉眼以及面部遮擋等復(fù)雜背景影響，現(xiàn)有方法難以準確檢測人眼位置的問題越來越嚴重，故提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人眼檢測方法。對其進行網(wǎng)絡(luò)優(yōu)化及損失優(yōu)化，把人眼檢測作為一種回歸問題來求解，實現(xiàn)了整個過程端到端，即從輸入原始圖片到最后的人眼類別和位置的輸出。該方法在ORL人臉數(shù)據(jù)庫中全部圖像的人眼檢測準確率為98.39%，在AR人臉數(shù)據(jù)庫中沒有戴墨鏡的人眼檢測準確率為95.15% ，實驗結(jié)果驗證了所提方法的有效性、高準確率和較強的泛化能力。

關(guān)鍵詞： 人眼檢測； 深度學(xué)習(xí)； 卷積神經(jīng)網(wǎng)絡(luò)； 網(wǎng)絡(luò)優(yōu)化； 損失優(yōu)化； 泛化能力

中圖分類號： TN911.23?34； TP391.41 文獻標識碼： A 文章編號： 1004?373X（2018）18?0072?04

Eye detection based on deep convolutional neural networks

LIU Junchao， CHEN Zhijun， FAN Xiaochao， YAN Xueqin， WANG Hongwei

（School of Electrical Engineering， Xinjiang University， Urumqi 830047， China）

Abstract： In the driver fatigue detection research based on eye detection， the problem that it is difficult for the existing methods to accurately detect the eye position is becoming more and more serious due to the influences of complex backgrounds such as glasses wearing， light intensity， facial pose variation， eye closure， and facial occlusion. Therefore， an eye detection method based on deep convolutional neural networks is proposed. Network optimization and loss optimization are performed for the method. The eye detection is solved as a regression problem， so as to realize a whole end?to?end process which is from input of original images to output of eye classification and position at last. The method has an accuracy rate of 98.39% for eye detection of all images in the ORL face database， and an accuracy rate of 95.15% for detection of eyes （without wearing sunglasses） in the AR face database. The experimental results verified the effectiveness， high accuracy and strong generalization capability of the proposed method.

Keywords： eye detection； deep learning； convolutional neural network； network optimization； loss optimization； generalization capability

0 引 言

長期以來，我國一直都是汽車消費大國，汽車行業(yè)的高速發(fā)展是我國經(jīng)濟繁榮、科技進步的一個縮影。由于汽車的大量增加，現(xiàn)在的交通問題更加嚴重。據(jù)中國統(tǒng)計年鑒（2013）數(shù)據(jù)顯示，截至2012年末，我國全年交通事故發(fā)生數(shù)總計約為20萬起，其中，汽車事故大約為14萬起，占交通事故總數(shù)的70%以上，交通事故死亡總計大約6萬人，汽車事故死亡大約4.4萬人，占交通事故死亡總數(shù)的73%以上， 疲勞駕駛是汽車事故發(fā)生的主要原因[1]。最近幾十年，計算機視覺技術(shù)應(yīng)用廣泛，在圖像中準確的人眼檢測是計算機視覺技術(shù)的核心，更是人臉識別、虹膜識別、視線追蹤和疲勞駕駛檢測的關(guān)鍵技術(shù)。

當前，人眼檢測方法常用的有邊緣提取方法[2?3]、積分投影方法[4]和模板匹配方法[5]等。邊緣提取方法是用邊緣檢測和Hough變換來定位眼睛中心，能檢測虹膜，但對圖像質(zhì)量和分辨率要求極高，在頭部偏轉(zhuǎn)和閉眼時不能準確檢測；積分投影方法用圖像在水平方向和垂直方向上的幾何投影來確定眼睛位置，能快速定位，但在光照強度變化和人臉姿態(tài)變化時不能準確檢測；模板匹配方法是通過原來圖像的像素灰度來檢測眼睛，魯棒性較好，但在戴眼鏡和光照變化時不能準確檢測。

針對以上方法存在的不足，本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人眼檢測方法，該方法能自動學(xué)習(xí)圖像中有效的人眼特征，魯棒性較好，泛化能力強，并分析優(yōu)化了其中的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)等參數(shù)對人眼檢測的影響。在ORL和AR人臉數(shù)據(jù)庫中分別對不戴眼鏡和戴眼鏡、光照強度和人臉姿態(tài)變化、睜眼和閉眼以及面部遮擋的人臉圖像進行驗證，結(jié)果證明了深度卷積神經(jīng)網(wǎng)絡(luò)對人眼檢測的有效性，并得到了較高的人眼檢測準確率。

1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的一種，其比較特殊，一般有卷積層、下采樣層和全連接層。對于卷積層來說，其中每個輸入的神經(jīng)元，都有自己的接入?yún)^(qū)域，并通過這個接入?yún)^(qū)域獲取這個區(qū)域的信息，獲取信息之后，定位自己與自己所在區(qū)域的地址；對于下采樣層而言，其各個層面都有好幾個反應(yīng)層面的信息，把每個反應(yīng)層面看作一個幾何平面，使得各個層面的權(quán)值共享；對于全連接層而言，一般有好幾個卷積層面和下采樣層面相互連接，最終輸出。類似下采樣層中的權(quán)值共享這種網(wǎng)絡(luò)，更接近于生物本身的神經(jīng)，一來減少了權(quán)值數(shù)量，二來降低了網(wǎng)絡(luò)的復(fù)雜程度[6?9]。卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)圖如圖1所示。

對于卷積層，其計算公式表示為：

[xlj=fi∈Mjxl-1i×klij+blj] （1）

式中：[xlj]表示現(xiàn)在這層的信息map；[xl-1i]表示前一層的信息map；[klij]表示由[l-1] 層到[l]層產(chǎn)生的信息map的卷積核；[blj]表示[l]層得出map產(chǎn)生的額外偏置；[Mj]表示接入maps的集合。

對于下采樣層，其計算公式表示為：

[xlj=f（βljdown（xl-1j）+blj）] （2）

式中，[down（·）]表示下采樣函數(shù)。一般操作都是對輸入圖像[N×N]塊的所有像素求和，以便使輸出圖像尺寸大小縮小[N]倍。所有輸出map各自對應(yīng)一個乘偏置[β]和一個加偏置[b]。

對于全連接層，其計算公式表示為：

[xoutj=fi∈Mjxout-1i×koutij+boutj] （3）

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的人眼檢測

2.1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的人眼檢測模型

本文人眼檢測模型如圖2所示。

2.2 優(yōu)化深度卷積神經(jīng)網(wǎng)絡(luò)

優(yōu)化深度卷積神經(jīng)網(wǎng)絡(luò)是把眼睛檢測作為回歸問題來求解，實現(xiàn)了整個過程端到端，即從輸入原始圖片到最后的人眼類別和位置的輸出。

首先，網(wǎng)絡(luò)對輸入的原始圖片均等分割，分為[S×S]個小塊，然后對分割的每一個小塊檢測。一旦眼睛的橫縱坐標落在了目標區(qū)域中，便用這個目標區(qū)域?qū)ρ劬ψ龀鰴z測。從圖3就可以看出，紅點落在了（3，2）和（3，5）兩個小塊中，在這兩個小塊返回的預(yù)測值最高，所以這兩個小塊存在需要檢測的目標。優(yōu)化后的深度卷積神經(jīng)網(wǎng)絡(luò)如圖3所示。

圖3中，每個小塊都有5個信息，分別是x，y，w，h和confidence。x，y分別是預(yù)測bounding box（邊緣框）的橫坐標和縱坐標；w，h分別是bounding box的寬度和高度。

一般在訓(xùn)練過程中，x，y分別是bounding box坐標距離現(xiàn)在坐標的差值，同時集合在區(qū)間[0，1]；w，h分別是圖片的寬和高，同樣在區(qū)間[0，1]；confidence是現(xiàn)在的bounding box對眼睛的誤差估計，其計算公式表示為：

[confidence=P（eye）×IOU] （4）

式中：若bounding box包含eye，則[P（eye）=1]；否則[P（eye）=0]；IOU表示bounding box與eye重疊面積的預(yù)測值。

最后，網(wǎng)絡(luò)輸出是[S×S×（B×5+Class）]。[S]表示維度大??；B是每個小塊輸出的bounding box個數(shù)；Class是類別數(shù)量。

盡管每一小塊能對B個bounding box進行判斷，可是最后把IOU較高的那個bounding box表示為eye的結(jié)果。

2.3 優(yōu)化損失

2.3.1 損失函數(shù)定義

損失函數(shù)定義，其計算公式表示為：

[loss=i=0S2（CoordError+IOUError+ClassError）] （5）

式中：ClassError表示類別誤差；IOUError表示IOU誤差；CoordError表示預(yù)測值和標簽值誤差。

2.3.2 損失函數(shù)優(yōu)化

函數(shù)中的CoordError，IOUError和ClassError對loss的作用值是不一樣的，所以在計算loss時，用[λ1]來改變CoordError。在計算IOUError時，有目標的小塊與沒有eye的小塊，它們的IOUError對loss的作用值是不一樣的。假如用一樣的權(quán)值，那么沒有eye的小塊的confidence值幾乎為0，使有目標小塊的confidence在計算中增大誤差。為解決這個問題，用[λ2]改變IOUError，在誤差一樣時，小目標大于大目標對結(jié)果的作用[10?11]。對此問題，網(wǎng)絡(luò)對目標的w和h做平方根來運算，表示為：

[loss=λ1i=0S2j=0B1eyei，j（xi-xi）2+（yi-yi）2+λ2i=0S2j=0B1eyei，jwi-wi2+hi-hi2+λ2i=0S2j=0B1eyei，jCi-Ci2+Ci-Ci2x+i=0S21eyei，jc∈Classes（pi（c）-pi（c））2] （6）

式中：第一個大括號是坐標的誤差；第二個大括號是IOU誤差；第三個大括號是類別誤差。[x，y，w，C，p]為網(wǎng)絡(luò)的預(yù)測值；[x，y，w，C，p]為標注值。

3 實驗結(jié)果與分析

實驗是在Intel[?] CoreTM i5?6300HQ處理器，4 GB內(nèi)存，操作系統(tǒng)為Linux（Ubuntu 14.04）的PC機上運行的，使用的開發(fā)環(huán)境為caffe。

在ORL和AR人臉數(shù)據(jù)庫中分別對本文的人眼檢測方法進行驗證。另外，為了驗證本文方法的泛化能力，訓(xùn)練數(shù)據(jù)集從ORL人臉數(shù)據(jù)庫中隨機選取每一類的7個樣本，剩余樣本作為測試集。

圖4～圖6分別為不戴眼鏡和戴眼鏡、人臉姿態(tài)變化、睜眼和閉眼的部分ORL人臉數(shù)據(jù)庫中人眼檢測結(jié)果。圖7為光照強度變化和面部遮擋的部分AR人臉數(shù)據(jù)庫中人眼檢測結(jié)果。從檢測結(jié)果可以發(fā)現(xiàn)，本方法對不戴眼鏡和戴眼鏡、光照強度和人臉姿態(tài)變化、睜眼和閉眼以及面部遮擋的人臉圖像具有較強的魯棒性，泛化能力強，可以準確檢測人眼。

在這里，使用文獻[12]中提出的人眼檢測準確率標準，相對誤差err，其計算公式表示為：

[err=max（dl，dr）dlr] （7）

式中，設(shè)[Eyel，Eyer]分別為標記的左眼位置和右眼位置，[Eyel，Eyer]分別為本文方法得出的左眼位置和右眼位置，則[dl，dr，dlr]分別為[Eyel-Eyel，Eyer-Eyer，Eyel-Eyer]的距離。因為[dlr]大約是眼睛的2倍寬度，所以當[err<0.25]時，則認為檢測結(jié)果是準確的。

為了滿足實際需求，取[err<0.10]作為檢測標準，人眼檢測方法對比如表1所示。

表1是在ORL人臉數(shù)據(jù)庫中用傳統(tǒng)積分投影、傳統(tǒng)模板匹配和本文方法對其全部圖像做了一個人眼檢測方法對比。結(jié)果表明：當誤差[err<0.25]時，本文方法人眼檢測準確率為98.39%，略高于傳統(tǒng)積分投影和傳統(tǒng)模板匹配方法；當誤差[err<0.10]時，本文方法人眼檢測準確率為95.73%，高于傳統(tǒng)積分投影和傳統(tǒng)模板匹配方法。表明本文方法具有較高的人眼檢測準確率。

本文方法泛化能力驗證如表2所示。

表2是在AR沒有戴墨鏡的人臉數(shù)據(jù)庫中用本文方法對其自身的泛化能力做了一個驗證。由于本文方法在ORL人臉數(shù)據(jù)庫中對其進行訓(xùn)練，ORL人臉數(shù)據(jù)庫中沒有戴墨鏡，所以并沒有對戴墨鏡的進行訓(xùn)練。結(jié)果表明：當誤差[err<0.25]時，本文方法人眼檢測準確率為95.15%；當誤差[err<0.10]時，本文方法人眼檢測準確率為93.64%。表明本文方法具有較強的泛化能力。

4 結(jié) 論

本文提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人眼檢測方法，對其網(wǎng)絡(luò)和損失進行優(yōu)化，把人眼檢測作為一種回歸問題來求解，簡化了整個過程，實現(xiàn)了端到端，即從輸入原始圖片直接到最后的人眼類別和位置的輸出。實驗結(jié)果驗證了本文方法的有效性、高準確率和較強的泛化能力。

注：本文通訊作者為陳志軍。

參考文獻

[1] 國家統(tǒng)計局.中國統(tǒng)計年鑒[M].北京：中國統(tǒng)計出版社，2013.

National Bureau of Statistics. China statistical yearbook [M]. Beijing： China Statistics Press， 2013.

[2] PENG Yan， ZHOU Tian， WANG Shaopeng， et al. Design and implementation of a real?time eye tracking system [J]. The journal of China universities of posts and telecommunications， 2013， 20（S1）： 1?5.

[3] YOUNG D， TUNLEY H， SAMUELS R. Specialised hough transform and active contour methods for real?time eye tracking [J/OL]. [1995?07?01]. http：//users.sussex.ac.uk/～davidy/eyetrack_csrp.pdf.

[4] ZHOU Z H， GENG X. Projection functions for eye detection [J]. Pattern recognition， 2004， 37（5）： 1049?1056.

[5] SONG Fengyi， TAN Xiaoyang， LIU Xue， et al. Eyes closeness detection from still images with multi?scale histograms of principal oriented gradients [J]. Pattern recognition， 2014， 47（9）： 2825?2838.

[6] CHEN X， XIANG S， LIU C L， et al. Vehicle detection in satellite images by parallel deep convolutional neural networks [C]// Proceedings of 2nd IAPR Asian Conference on Pattern Recognition. Naha： IEEE， 2014： 181?185.

[7] HARIHARAN B， ARBEL?EZ P， GIRSHICK R， et al. Simultaneous detection and segmentation [C]// Proceedings of European Conference on Computer Vision. Switzerland： Springer International Publishing， 2014： 297?312.

[8] SERMANET P， EIGEN D， ZHANG X， et al. OverFeat： integrated recognition， localization and detection using convolutional networks [J/OL]. [2014?02?24]. https：//arxiv.org/pdf/1312.6229v4.pdf.

[9] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks [C]// Proceedings of 25th International Conference on Neural Information Processing Systems. Lake Tahoe： Curran Associates Inc.， 2012： 1097?1105.

[10] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J/OL]. [2015?04?23]. https：//arxiv.org/abs/1406.4729.

[11] WANG X， YANG M， ZHU S， et al. Regionlets for generic object detection [C]// Proceedings of IEEE International Conference on Computer Vision. Sydney： IEEE， 2014： 17?24.

[12] JESORSKY O， KIRCHBERG K J， FRISCHHOLZ R W. Robust face detection using the Hausdorff distance [C]// Proceedings of 3rd International Conference on Audio?and Video?based Biometric Person Authentication. Halmstad： Springer， 2001： 90?95.