馬?？? 陳軍峰

(1. 武警工程大學(xué), 陜西 西安 710086；2. 武警警官學(xué)院, 四川 成都 610213)

0 引 言

激光眩目器是一種重要的非致命性警用裝備，然而如何實(shí)時(shí)地改變對(duì)目標(biāo)人眼的照射能量以達(dá)到可控的照射效果是其實(shí)際應(yīng)用的一大難題。為解決這一問題需要對(duì)目標(biāo)人眼進(jìn)行準(zhǔn)確定位并對(duì)眼睛的開閉狀態(tài)進(jìn)行準(zhǔn)確的預(yù)測(cè)。

目前，人眼定位及狀態(tài)檢測(cè)算法主要有Hough[1]、灰度積分投影[2]、Gabor[3]、模板匹配[4]等融合類算法。這幾種算法里，對(duì)已知形狀的目標(biāo)檢測(cè)上，Hough算法具備不受圖形旋轉(zhuǎn)影響和受曲線間斷影響小的優(yōu)勢(shì)，即便檢測(cè)的目標(biāo)有稍許的缺損或污染也能被正確識(shí)別，其不足之處是計(jì)算量非常大；灰度積分投影的優(yōu)點(diǎn)是定位目標(biāo)坐標(biāo)的算法計(jì)算量較低，不足之處是自然條件下背景圖像較復(fù)雜，準(zhǔn)確定位目標(biāo)的識(shí)別率會(huì)降低；Gabor小波變換的優(yōu)點(diǎn)是適用于局部特征提取,該算法的魯棒性優(yōu)良，其不足之處是存在維數(shù)災(zāi)難和特征冗余的問題；模板匹配優(yōu)點(diǎn)是用合成的目標(biāo)模板對(duì)圖像進(jìn)行匹配，有效壓縮了計(jì)算量，提高了定位速度和精度，不足之處是目標(biāo)姿態(tài)變化大的情況下不能保證定位準(zhǔn)確率等問題。

此外，文獻(xiàn)[5]使用時(shí)空濾波和方差圖來定位臉部和眼睛的特征點(diǎn)，用Lucas Kanade特征追蹤器進(jìn)行眼睛追蹤，算法不足在于眨眼檢測(cè)會(huì)受到頭部運(yùn)動(dòng)的影響，導(dǎo)致準(zhǔn)確率較大幅度下降。文獻(xiàn)[6]使用眼角、眼瞼和虹膜來跟蹤眼球運(yùn)動(dòng)和眨眼，實(shí)現(xiàn)基于流的人眼跟蹤，其檢測(cè)準(zhǔn)確率達(dá)到90%，其不足之處是在多姿態(tài)的檢測(cè)中，特別是側(cè)面的檢測(cè)時(shí)準(zhǔn)確率還不夠高。文獻(xiàn)[7]提出的眨眼檢測(cè)系統(tǒng)可以根據(jù)眨眼持續(xù)時(shí)間，將眨眼分類為自主和非自主，檢測(cè)準(zhǔn)確率達(dá)到95.3%。其不足之處是在光照變化時(shí)檢測(cè)準(zhǔn)確率會(huì)下降。文獻(xiàn)[8]提出凝視跟蹤方法，使用兩個(gè)基于外觀的跟蹤器，分別對(duì)眼瞼和虹膜進(jìn)行跟蹤。用于眼瞼跟蹤的跟蹤器能夠快速識(shí)別眨眼，使其適用于實(shí)時(shí)應(yīng)用，其不足之處是算法比較復(fù)雜。文獻(xiàn)[9] 提出的基于面部標(biāo)志點(diǎn)自動(dòng)跟蹤的眼睛眨動(dòng)檢測(cè)方法，實(shí)現(xiàn)了眼睛和眼瞼輪廓的定位，使用 savitzky-golay (sg)濾波器對(duì)所獲得的信號(hào)進(jìn)行平滑處理，使用有限狀態(tài)機(jī)根據(jù)持續(xù)時(shí)間檢查假眨眼和真眨眼情況，其不足之處是算法模型復(fù)雜，運(yùn)算量大。

針對(duì)上述算法的不足，本文提出一種基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼定位與狀態(tài)識(shí)別的算法，該模型基于兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，將眼睛輪廓和二進(jìn)制掩膜作為輸入來預(yù)測(cè)眼睛的狀態(tài)。實(shí)驗(yàn)結(jié)果表明此算法對(duì)普通視頻及紅外視頻中的動(dòng)態(tài)目標(biāo)人眼位置及狀態(tài)預(yù)測(cè)均具有良好的效果，能夠應(yīng)用于智能激光眩目器控制系統(tǒng)。

1 基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼狀態(tài)和眨眼識(shí)別算法

算法整體框架如圖1所示。視頻流作為輸入，首先，采用基于多任務(wù)級(jí)聯(lián)卷積網(wǎng)絡(luò)檢測(cè)器進(jìn)行人臉區(qū)域檢測(cè)，利用得到的眉毛和眼睛坐標(biāo)信息定位人眼；而后，通過計(jì)算其對(duì)應(yīng)眼標(biāo)坐標(biāo)集上的凸包，對(duì)提取的兩個(gè)眼斑進(jìn)行二元掩碼運(yùn)算，得到二進(jìn)制掩碼；最后，把提取的眼斑及其相應(yīng)的二進(jìn)制掩碼帶入彩色人眼和掩膜人眼兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)，通過兩個(gè)神經(jīng)網(wǎng)絡(luò)聯(lián)合訓(xùn)練對(duì)眼睛狀態(tài)(睜開或閉合)進(jìn)行預(yù)測(cè)。算法框架記錄每一幀眼睛狀態(tài)，若眼睛在閉上若干幀后首次睜開，即認(rèn)定為眨眼。幀數(shù)的閾值根據(jù)人類平均眨眼時(shí)間設(shè)定為100 ms～400 ms[10]。

圖1 基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼狀態(tài)和眨眼識(shí)別算法框架

1.1 眼睛輪廓提取

眼睛輪廓提取過程如圖2所示。本文采用基于多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Multi Task Cascaded Convolutional Networks，MTCNN)的檢測(cè)器[11]，其特點(diǎn)是檢測(cè)準(zhǔn)確率較高且運(yùn)算復(fù)雜度較低。當(dāng)視頻流輸入初始，首先對(duì)每幀圖像檢測(cè)面部區(qū)域。當(dāng)檢測(cè)到圖像中存在人臉時(shí)，卷積約束局部模型(Convolutional Experts Constrained Local Model，CE-CLM)將檢測(cè)出圖像中人臉的坐標(biāo)，該卷積約束使用點(diǎn)分布模型(Point Distribution Model，PDM)來捕捉坐標(biāo)的形狀變化，并使用區(qū)域?qū)＜夷Ｐ蛠砟M每個(gè)坐標(biāo)的局部外觀變化，以得到圖像中人臉眼睛、眉毛、嘴唇、下顎線和鼻子等68個(gè)坐標(biāo)位置，而后提取出與眼睛和眉毛相對(duì)應(yīng)的坐標(biāo)。利用此信息將眼睛圖像定義為一個(gè)輪廓邊界，具體定義為，將輪廓的上邊界和下邊界分別設(shè)置為相應(yīng)的眉毛最上端坐標(biāo)和眼睛最下端坐標(biāo)；輪廓左邊和右邊的邊界分別設(shè)置為眼睛的最左和最右邊坐標(biāo)。之所以這樣設(shè)置，是考慮到在閉眼時(shí)，上眼皮和下眼皮的坐標(biāo)幾乎相同，如果只用眼睛的坐標(biāo)來確定上界，那么提取的閉眼輪廓高度與睜眼輪廓高度相差較大，帶入卷積神經(jīng)網(wǎng)絡(luò)后會(huì)造成特征提取不準(zhǔn)確。同時(shí)由于PDM能夠捕捉足夠數(shù)量的變化坐標(biāo)，使得檢測(cè)器對(duì)不同角度的人臉和眼睛定位均有較高檢測(cè)率，在實(shí)際測(cè)試中準(zhǔn)確率達(dá)到98.7%左右，這也為后續(xù)人眼動(dòng)作識(shí)別奠定了良好的基礎(chǔ)。

圖2 眼睛輪廓提取示意圖

1.2 二值化掩膜生成

在提取眼睛輪廓后，通過在其對(duì)應(yīng)的眼睛標(biāo)坐標(biāo)集使用凸包算法生成二值化掩膜。凸包內(nèi)區(qū)域像素值設(shè)定為1(白色)，凸包外區(qū)域像素值設(shè)定為0(黑色)。計(jì)算掩膜是由于其特征圖簡(jiǎn)單，只需關(guān)注眼睛的開放程度，即可以準(zhǔn)確地區(qū)分閉眼和睜眼。睜眼輪廓的掩膜像大部分像素值為1，相反閉眼輪廓掩膜大部分像素值為0。掩膜中的白色前景(僅眼睛區(qū)域)和黑色背景(掩膜的其他部分)之間的高度對(duì)比將使得卷積神經(jīng)網(wǎng)絡(luò)只關(guān)注眼睛的外部形狀和輪廓，從而學(xué)習(xí)睜眼/閉合的真實(shí)映射關(guān)系。二值化掩膜生成示意圖如圖3所示。

圖3 二值化掩膜生成示意圖

1.3 人眼狀態(tài)預(yù)測(cè)

在提取了眼睛輪廓及其相應(yīng)的二值化掩膜后，把該信息輸入到一個(gè)雙卷積神經(jīng)網(wǎng)絡(luò)，即：將眼睛輪廓(RGB彩色圖像)作為彩色人眼神經(jīng)網(wǎng)絡(luò)的輸入，將同一眼睛輪廓的二值化掩膜作為掩膜人眼神經(jīng)網(wǎng)絡(luò)的輸入。彩色人眼神經(jīng)網(wǎng)絡(luò)旨在學(xué)習(xí)整個(gè)眼睛輪廓的全局特征，而掩膜人眼神經(jīng)網(wǎng)絡(luò)則側(cè)重于學(xué)習(xí)局部特征，如眼睛輪廓的形狀、輪廓以及白色(眼區(qū))像素和黑色(非眼區(qū))像素的空間分布。鑒于其不同的結(jié)構(gòu)，彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)可以提取眼睛輪廓的不同特征。因此，本文將此兩個(gè)網(wǎng)絡(luò)并聯(lián)共同訓(xùn)練用于眼睛狀態(tài)分類。

1)彩色人眼神經(jīng)網(wǎng)絡(luò)。將大小為32×32的眼睛輪廓的彩色圖像作為輸入。本文對(duì)經(jīng)典LeNet-5架構(gòu)進(jìn)行改進(jìn)，使用了三個(gè)卷積層、三個(gè)最大池化層和兩個(gè)全連接層。同時(shí)在每個(gè)卷積層之后使用一個(gè)最大池化層減少特征圖的空間維度[12]，最終可減少網(wǎng)絡(luò)中的參數(shù)總數(shù)，防止過度擬合。彩色人眼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4(a)所示。

2)掩膜人眼神經(jīng)網(wǎng)絡(luò)。將大小為32×32的二值掩膜作為輸入。該模型結(jié)構(gòu)與彩色人眼神經(jīng)網(wǎng)絡(luò)類似，只是在兩個(gè)全連接層中的神經(jīng)元數(shù)量減少了一半。這樣做是為了減少過擬合，因?yàn)檩斎氲亩M(jìn)制遮罩圖像只有一個(gè)顏色通道，與相應(yīng)的RGB眼罩相比，變化要小得多。因此，掩膜人眼神經(jīng)網(wǎng)絡(luò)的模型復(fù)雜度需要比彩色人眼神經(jīng)網(wǎng)絡(luò)低，以便在相同數(shù)量的數(shù)據(jù)上訓(xùn)練時(shí)學(xué)習(xí)相同質(zhì)量的辨別特征。對(duì)于進(jìn)入神經(jīng)元的來自上一層神經(jīng)網(wǎng)絡(luò)的輸入向量，使用線性整流激活函數(shù)的神經(jīng)元會(huì)輸出至下一層神經(jīng)元或作為整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出。掩膜人眼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4(b)所示。

圖4 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3)雙卷積神經(jīng)網(wǎng)絡(luò)。上述彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)經(jīng)過單獨(dú)訓(xùn)練后，通過連接兩個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的頂部全連接層。在串聯(lián)層的基礎(chǔ)上增加一個(gè)全連接層和一個(gè)softmax函數(shù)，用于對(duì)閉眼和睜眼進(jìn)行分類。訓(xùn)練時(shí)，固定預(yù)先訓(xùn)練好的彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)的卷積層的權(quán)重值，并與聯(lián)合模型的連接層和全連接層一起重新訓(xùn)練其頂層[13]，同時(shí)定義綜合損失函數(shù)訓(xùn)練兩個(gè)網(wǎng)絡(luò)模型[14]。整個(gè)雙卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)表示為

(1)

式中：Li和ψi分別是第i個(gè)模型的損失函數(shù)和調(diào)諧超參數(shù)權(quán)重。i=1代表彩色人眼神經(jīng)網(wǎng)絡(luò)；i=2代表掩膜人眼神經(jīng)網(wǎng)絡(luò)；i=3代表融合模型。參數(shù)ψ1、ψ2、ψ3根據(jù)經(jīng)驗(yàn)分別設(shè)置為1、1和0.5。每個(gè)損失函數(shù)Li是交叉熵?fù)p失，其定義為

(2)

其中，

(3)

(4)

(5)

從圖5中可以看到雙卷積神經(jīng)網(wǎng)絡(luò)的三個(gè)softmax輸出在訓(xùn)練時(shí)計(jì)算損失函數(shù)，而在預(yù)判時(shí)只使用集成模型的softmax輸出。使用學(xué)習(xí)率為0.001的Adam優(yōu)化器[15]對(duì)雙卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行120次訓(xùn)練。本文采用丟棄正則化技術(shù)[16]，同時(shí)在每個(gè)卷積層之后使用一個(gè)最大池化層減少特征圖的空間維度[12]，最終減少網(wǎng)絡(luò)中的參數(shù)總數(shù)，防止過度擬合。

圖5 雙卷積神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

1.4 眨眼檢測(cè)

從輸入的視頻流中，檢測(cè)每一幀的人的眼睛是睜開還是閉上。當(dāng)眼睛在閉上一定時(shí)間后再次睜開時(shí)，即定義檢測(cè)到了眨眼。人類平均眨眼時(shí)間范圍從100 ms～400 ms，對(duì)于一個(gè)30幀的相機(jī)，相當(dāng)于3～12幀。因此，可以通過眼睛在再次睜開前保持閉合的幀數(shù)來判斷是否眨眼。如果眼睛閉上的幀數(shù)超出了這個(gè)范圍，即認(rèn)定為無效眨眼。本文采用有限狀態(tài)機(jī)來模擬檢查真假眨眼。預(yù)先定義兩個(gè)參數(shù)，即眨眼下限 0.1 fps和眨眼上限 0.4 fps(fps為視頻攝像機(jī)的流媒體速率，單位是幀/s)，這是有限狀態(tài)機(jī)檢測(cè)一個(gè)真正的眨眼所需的最小和最大的幀數(shù)。同時(shí)設(shè)置“閉合幀計(jì)數(shù)器”，用于計(jì)算眼睛閉合的幀數(shù)初始值為0。有限狀態(tài)機(jī)初始狀態(tài)為0，最終狀態(tài)是狀態(tài)3。當(dāng)檢測(cè)到閉眼時(shí)，會(huì)出現(xiàn)以下狀態(tài)，如圖6所示。

圖6 有限狀態(tài)機(jī)檢測(cè)眨眼過程

1)有限狀態(tài)機(jī)從狀態(tài)0過渡到狀態(tài)1。在這個(gè)狀態(tài)下，每一幀的閉眼幀計(jì)數(shù)器都會(huì)遞增1。如果閉合幀計(jì)數(shù)器超過眨眼幀數(shù)上限，則檢測(cè)到一個(gè)無效眨眼，該狀態(tài)被重置為狀態(tài)0。閉合幀計(jì)數(shù)器也被重置為0。

2)當(dāng)檢測(cè)到睜眼時(shí)，有限狀態(tài)機(jī)從狀態(tài)1轉(zhuǎn)換到狀態(tài)2。如果閉合幀計(jì)數(shù)器小于較低的眨眼幀數(shù)，則檢測(cè)到無效眨眼，狀態(tài)被重置為狀態(tài)0。閉合幀計(jì)數(shù)器也被重置為0。

3)如果閉合幀計(jì)數(shù)器大于較低的眨眼幀數(shù)，有限狀態(tài)機(jī)從狀態(tài)2轉(zhuǎn)換到狀態(tài)3。檢測(cè)到一個(gè)真正的眨眼，狀態(tài)被重置為狀態(tài)0。閉合幀計(jì)數(shù)器也被重置為0。

2 實(shí)驗(yàn)及結(jié)果分析

本文采用Blinks數(shù)據(jù)集來訓(xùn)練、驗(yàn)證和測(cè)試眼睛狀態(tài)分類模型。從Blinks數(shù)據(jù)集中抽取1 408個(gè)閉眼幀和1 369個(gè)睜眼幀，其中，70%的數(shù)據(jù)用來訓(xùn)練，20%的數(shù)據(jù)用來驗(yàn)證，10%的數(shù)據(jù)用來測(cè)試模型。在眨眼檢測(cè)中，本文采用ZJU[17]、Eyeblinks8[18]和Talking Face[19-20]數(shù)據(jù)集進(jìn)行檢測(cè)，精度和召回率兩個(gè)指標(biāo)作為評(píng)估指標(biāo)，得到比較結(jié)果。這三個(gè)數(shù)據(jù)集各有特點(diǎn)：1)ZJU 數(shù)據(jù)集由20個(gè)人的80個(gè)視頻組成，每個(gè)人都有正面視圖、向上視圖、戴眼鏡和不戴眼鏡4個(gè)片段，分辨率為320×240(30幀)，無面部表情，無頭部運(yùn)動(dòng)。2)Eyeblink8數(shù)據(jù)集包含了面部表情、頭部運(yùn)動(dòng)和低頭看鍵盤，分辨率為640×480，平均長度5 000～11 000幀，由70 992個(gè)視頻幀上的408個(gè)眨眼組成。3)Talking Face數(shù)據(jù)集采用顯式與隱式屬性的協(xié)同學(xué)習(xí)方法，形成具有個(gè)性化的頭部運(yùn)動(dòng)軌跡，考慮到不同個(gè)體的運(yùn)動(dòng)特點(diǎn)，可以預(yù)測(cè)其眨眼信息，同時(shí)也可以生成更加逼真包含眨眼信息的人臉視頻。

表1 雙卷積神經(jīng)網(wǎng)絡(luò)的眼位預(yù)測(cè)指標(biāo) %

2.1 眼部狀態(tài)分類實(shí)驗(yàn)結(jié)果

本文采用標(biāo)準(zhǔn)指標(biāo)，如準(zhǔn)確率、精確度、召回率、F1得分、第一類錯(cuò)誤率、第二類錯(cuò)誤率和等效錯(cuò)誤率(EER)來評(píng)估提出的雙卷積神經(jīng)網(wǎng)絡(luò)模型。圖7和為雙卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練、驗(yàn)證精度和損失曲線。圖8～圖11所示的是精度-召回率和ROC曲線。表1列出在測(cè)試數(shù)據(jù)集上以眼睛為輸入的雙卷積神經(jīng)網(wǎng)絡(luò)的所有指標(biāo)值，表2列出以整個(gè)面部圖像為輸入的相同指標(biāo)。

圖7 雙卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證準(zhǔn)確性與歷時(shí)的關(guān)系

圖8 眼睛層圖精度-召回率曲線

圖9 人臉層精度-召回率曲線

圖10 眼睛層ROC曲線

圖11 人臉層ROC曲線

表2 雙卷積神經(jīng)網(wǎng)絡(luò)的臉部水平預(yù)測(cè)指標(biāo) %

本文提出的雙卷積神經(jīng)網(wǎng)絡(luò)與單個(gè)彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)比較結(jié)果，以及本文算法與基于分割的模糊邏輯算法[21]、深度殘差CNN算法[22]、HOG-SVM算法[23]比較結(jié)果如表3所示?？梢钥闯?，本文提出的雙卷積神經(jīng)網(wǎng)絡(luò)模型在準(zhǔn)確度和等錯(cuò)誤概率方面優(yōu)于其他基線模型，包括單個(gè)彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)。

表3 普通圖像算法比較測(cè)試結(jié)果 %

為進(jìn)一步驗(yàn)證雙卷積神經(jīng)網(wǎng)絡(luò)對(duì)于不同環(huán)境圖像的效果，本文又采用開放的近紅外眼睛圖像數(shù)據(jù)集[23]上對(duì)其進(jìn)行了測(cè)試，并與傳統(tǒng)算法比較，結(jié)果如表4所示?？梢钥闯?，可以雙卷積神經(jīng)網(wǎng)絡(luò)等效錯(cuò)誤率為1.18%，在近紅外數(shù)據(jù)集上優(yōu)于其他模型。

表4 近紅外圖像算法比較測(cè)試結(jié)果 %

2.2 眨眼檢測(cè)實(shí)驗(yàn)結(jié)果

通過比較標(biāo)準(zhǔn)測(cè)試集ZJU、Eyeblink8和Talking face上檢測(cè)到的眨眼與真實(shí)眨眼比較眨眼檢測(cè)算法，評(píng)估指標(biāo)為精度和召回率，實(shí)驗(yàn)結(jié)果如表5所示?？梢钥闯?，本文提出的眨眼檢測(cè)方法在精度和召回率方面優(yōu)于其他現(xiàn)有方法。

表5 算法比較測(cè)試結(jié)果 %

3 結(jié) 語

針對(duì)動(dòng)態(tài)人群人眼狀態(tài)及定位問題，本文提出了一種基于并聯(lián)架構(gòu)的雙卷積神經(jīng)網(wǎng)絡(luò)模型。實(shí)驗(yàn)表明，本文提出的算法模型復(fù)雜度低、運(yùn)算量小，對(duì)自然環(huán)境中光線、角度變化具有更好的魯棒性。其次，通過有限狀態(tài)機(jī)在人眼眨眼檢測(cè)的準(zhǔn)確度方面要優(yōu)于傳統(tǒng)的haar加adaboost級(jí)聯(lián)分類器。本文算法在實(shí)際中實(shí)現(xiàn)了27 幀/s的平均處理率，適用于對(duì)實(shí)時(shí)性要求較高的動(dòng)態(tài)人眼目標(biāo)檢測(cè)場(chǎng)合。