陳靜瑜，林麗媛，劉冠軍，王 穎

(天津科技大學(xué)電子信息與自動化學(xué)院，天津300222)

隨著5G時代的到來，中國制造2025的戰(zhàn)略方針推進(jìn)速度越來越快[1]．在創(chuàng)新驅(qū)動、信息技術(shù)的推動下，人機(jī)交互也迅速成為研究熱點(diǎn)．瞳孔作為重要的生理參數(shù)，伴隨瞳孔定位追蹤技術(shù)不斷發(fā)展[2]，瞳孔定位的執(zhí)行速度、準(zhǔn)確性和魯棒性受到更多關(guān)注．

瞳孔定位方法大致可以分為基于灰度的閾值分割[3-4]、基于Hough變換的橢圓檢測[5-10]、基于機(jī)器學(xué)習(xí)的分割算法[11-14]和基于深度學(xué)習(xí)的分割算法[15-17].從Daugman提出Hough變換為圓形邊緣探測器，對瞳孔與虹膜邊緣進(jìn)行檢測，以及Wildes[5]應(yīng)用邊緣檢測和霍夫變換得到虹膜邊界開始，研究者一直不停探索更加精確高效的定位方法．Timm等[6]提出通過梯度精確定位眼睛中心，即中心(半)循環(huán)模式的大多數(shù)圖像梯度相交的位置為眼睛中心，但是該方法容易受眉毛和鬢角的干擾．Basit等[7]提出虹膜圖像中的非圓形瞳孔定位，即將瞳孔的圓形邊界分成一定數(shù)量的點(diǎn)，根據(jù)這些點(diǎn)的最大梯度重新定位，結(jié)合成非圓形邊界得到瞳孔精確定位．Marku?a等[13]提出了一種基于隨機(jī)化回歸樹集合的瞳孔定位方法，該方法準(zhǔn)確率高，但對于處理眉毛和鬢角的干擾依然存在一些問題．基于機(jī)器學(xué)習(xí)的瞳孔定位方法[14]對于采集環(huán)境要求較高，能夠在眼瞼、睫毛遮擋、非均勻照明、自然低光等情況下進(jìn)行較準(zhǔn)確的瞳孔分割．隨著深度學(xué)習(xí)和遷移學(xué)習(xí)的不斷發(fā)展，Choi等[15]在2019年提出使用異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型進(jìn)行精確眼瞳孔定位，并聯(lián)合生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)摘除眼鏡．同年，Yiu等[16]提議使用完全卷積神經(jīng)網(wǎng)絡(luò)(full convolutional neural networks，F(xiàn)CNN)實(shí)現(xiàn)瞳孔分割定位．最近，Wang等[17]提出了基于深度學(xué)習(xí)的一種高效虹膜分割方法——虹膜分析網(wǎng)，提高了虹膜分割性能．但相關(guān)深度學(xué)習(xí)的分割、定位算法，數(shù)據(jù)計算量過大，對系統(tǒng)硬件的計算能力要求較高，且不能保證良好的實(shí)時性．除此之外，還有各種用于輔助瞳孔定位的外接設(shè)備，其高昂的價格讓不少使用者望而卻步．

以上研究表明瞳孔定位易受眉毛、鬢角和光照強(qiáng)度等不可避免因素的干擾，并且輔助外接設(shè)備價格昂貴．因此，本文采用幾何形狀特征實(shí)時瞳孔定位方法，力求在確保定位追蹤精準(zhǔn)、快速的基礎(chǔ)上，降低眉毛、鬢角和光照強(qiáng)度等干擾造成的定位錯誤率．該技術(shù)首先利用面積閾值法去除大部分干擾；然后通過外接矩形長寬比去除眉毛造成的干擾，初步確定瞳孔位置；最后依據(jù)外接矩形角度差去除鬢角和光照強(qiáng)度等干擾，精確定位瞳孔位置并追蹤瞳孔軌跡．

1 瞳孔定位算法

相對于虹膜和鞏膜，瞳孔的灰度值最小，形狀更加完整，更靠近眼球中心，且不易被睫毛遮擋，更易于分離和分割．因此，依據(jù)瞳孔形變及本身特征通過面積閾值法篩選、外接矩形長寬比篩選和角度差篩選，能夠?qū)崿F(xiàn)瞳孔的精確定位．

1.1 瞳孔預(yù)定位

虹膜、鞏膜與瞳孔本身存在灰度值差異，邊緣檢測對于這種像素變化具有較高的穩(wěn)定性和穩(wěn)固性，瞳孔預(yù)定位通過該差異，利用圖像的雙邊濾波、圖像二值化和形態(tài)學(xué)處理，經(jīng)邊緣檢測將瞳孔從三者之間分割出來．圖1為瞳孔預(yù)定位效果圖，其中圖1(a)為原圖，圖1(b)為雙邊濾波處理后的結(jié)果圖，不僅降低了噪聲干擾，而且可以通過式(1)保持邊緣信息．

其中 kr(z)是對結(jié)果進(jìn)行單位化，s(ξ,z)為基于像素相似程度的高斯權(quán)重，c(ξ,z)為基于空間距離的高斯權(quán)重，見式(2)—式(4)．

式中：z為圖像任意一點(diǎn)的灰度值；ξ為z的臨近值，且有圖1(c)為閾值分割后的眼球圖像，可以清楚地分辨瞳孔區(qū)域、眼角部分陰影和部分睫毛區(qū)域．為消除獨(dú)立的噪聲，并分割出獨(dú)立的圖像元素，在完成閾值分割的基礎(chǔ)上采用結(jié)構(gòu)元為7×7大小的核進(jìn)行形態(tài)學(xué)閉操作．

圖1 瞳孔預(yù)定位效果圖Fig. 1 Renderings of pupil reservation

1.2 連通域面積篩選

連通域面積篩選主要排除瞳孔預(yù)定位后，剩余連通域中與瞳孔連通域面積相差較大的干擾部分，如鬢角、較大范圍的頭發(fā)或者臉上的黑痣等．連通域面積篩選公式為

其中：Ss為篩選的瞳孔區(qū)域面積；Na為輪廓包含的像素數(shù)目；Nb為輪廓邊緣的像素數(shù)目；SsU為Ss的實(shí)驗(yàn)上界值；SsL為Ss的實(shí)驗(yàn)下界值．實(shí)驗(yàn)過程中被試者保持相對位置不變，人眼距離屏幕(20±2)cm，人眼距離桌面(35±2)cm，保證采集位置和光照強(qiáng)度盡量恒定，減少位置和光照對實(shí)驗(yàn)的干擾．經(jīng)過相機(jī)標(biāo)定之后，對85名被試者分別拍攝左眼和右眼，其中每位被試者不斷變換眼球注視姿態(tài)采集眼球圖像100張，共采集眼球圖像8500張，計算出每位被試者瞳孔的平均面積．圖2為被試者瞳孔區(qū)域平均面積分布圖，從2圖可以看出：不同被試者瞳孔面積不同，但均分布在400～2000像素之間．因此，將Ss設(shè)定在400～2000像素之間．

圖2 被試者瞳孔區(qū)域平均面積分布圖 Fig. 2 Distribution of mean pupillary area of subjects

1.3 外接矩形長寬比篩選

基于四鄰域法劃分連通域，定義兩種外接矩形：第一種以4個極值點(diǎn)為頂點(diǎn)坐標(biāo)的正外接矩形，第二種為面積最小外接矩形．

定義外接矩形頂點(diǎn)集合為A，見式(6)．

其中：i∈(1，2，…，N)，N為正整數(shù)；Aim表示第i個外接矩形的4個頂點(diǎn)( xim,yim)的集合；m表示頂點(diǎn)位置，外接矩形坐標(biāo)示意圖見圖3．

圖3 外接矩形坐標(biāo)示意圖Fig. 3 Schematic diagram of enclosing rectangular coordinates

按照指定角度θ旋轉(zhuǎn) Aim，獲得新的外接矩形的4個頂點(diǎn)，每個頂點(diǎn)( xim,yim)計算公式為

圖3中l(wèi)i、iw、Si的計算公式見式(8)，Si為外接矩形面積．定義其長寬比為

連通域外接矩形如圖4所示．滿足式(9)時為第一種外接矩形，即最小正外接矩形，如圖4(a)中的藍(lán)色矩形框所示．

滿足式(10)條件時為第二種外接矩形，即最小面積外接矩形，如圖4(b)中紅色矩形框所示，以計算連通域的傾斜角度．

其中Smin為最小面積．圖4(c)是兩種外接矩形的對比圖．

圖4 連通域外接矩形Fig. 4 Connected region outside the rectangle

利用長寬比R進(jìn)行二次篩選，排除與瞳孔面積相近輪廓所造成的誤差．瞳孔近似于圓形，根據(jù)采集角度、瞳孔位置變化和極限位置采集實(shí)驗(yàn)結(jié)果，將外接矩形長寬比的篩選值R設(shè)定為0.8～1.7．圖5為3種不同瞳孔外接矩形長寬比的示意圖，圖中標(biāo)記了瞳孔區(qū)域外接矩形的長度、寬度、長寬比R以及不同比值時的瞳孔定位效果．

圖5 3種不同外接矩形長寬比的瞳孔分割結(jié)果Fig. 5 Pupil segmentation results of three different rectangles with different aspect ratios

圖5 (b)的瞳孔外接矩形的長寬比R＝0.947，最接近1，所以瞳孔分割結(jié)果最接近圓形．

1.4 最小外接矩形與外接矩形角度差篩選

連通域最小外接矩形與外接矩形角度差篩選主要解決瞳孔灰度特征相似的干擾，進(jìn)一步提高瞳孔定位的準(zhǔn)確率．因?yàn)橥仔巫兘Y(jié)果只能是圓形或者橢圓，所以篩選角度差設(shè)為0°或45°．角度差定位如圖6所示：右邊的連通域兩個外接矩形的角度偏差為0°，屬于瞳孔區(qū)域．左邊的連通域?yàn)檠劢顷幱?，有兩個外接矩形，水平方向的為正外接矩形，傾斜的為最小外接矩形，兩個外接矩形的角度差為9°，不在角度差篩選范圍內(nèi)，判定該連通域不屬于瞳孔區(qū)域．因此，該算法可實(shí)現(xiàn)瞳孔區(qū)域篩選功能．

圖6 角度差定位 Fig. 6 Angle difference positioning

1.5 瞳孔精確定位和追蹤

眼部圖像經(jīng)圖像預(yù)處理和瞳孔區(qū)域篩選后實(shí)現(xiàn)瞳孔區(qū)域分割，分割結(jié)果如圖7(a)所示，其中紅色區(qū)域?yàn)橥讌^(qū)域，黃色位置為瞳孔中心，坐標(biāo)為

其中( xo,yo)是瞳孔中心坐標(biāo)，( xi0,yi0)為第一種外接矩形的左上角坐標(biāo)，li與 wi分別為外接矩形的長和寬．將定位后的瞳孔中心位置坐標(biāo)與原圖進(jìn)行擬合，并在原圖中標(biāo)記瞳孔位置，最終得到瞳孔定位圖像，如圖7(b)所示．雖有燈光的輕微干擾，但定位結(jié)果并未受到影響，該定位中心與瞳孔的實(shí)際中心位置吻合．順序記錄瞳孔中心位置變化，獲得瞳孔運(yùn)動軌跡.

圖7 瞳孔定位Fig. 7 Pupil positioning

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)儀器

850nm窄帶濾波8mm的1080p紅外攝像頭一臺，win10系統(tǒng)計算機(jī)一臺，分辨率為1920×1080的23.4英寸顯示器一臺，自主設(shè)計并3D打印的采集支架一部．實(shí)驗(yàn)環(huán)境：Microsoft Visual Studio2019，使用C++語言作為軟件開發(fā)語言，聯(lián)合使用OpenCV3計算機(jī)視覺函數(shù)庫，采用Matlab R2018a進(jìn)行數(shù)據(jù)處理．

2.2 準(zhǔn)確性檢測

由于瞳孔存在個體差異性，本實(shí)驗(yàn)采用中科院的虹膜圖像數(shù)據(jù)集對算法的準(zhǔn)確性進(jìn)行驗(yàn)證．在CASIA-Iris-Interval、CASIA-Iris-Lamp、CASIA-Iris-Syn、CASIA-Iris-Thousand和CASIA-Iris-Twins這5個虹膜數(shù)據(jù)集上進(jìn)行瞳孔定位準(zhǔn)確性檢測，其中CASIA-Iris-Syn的準(zhǔn)確率高達(dá)99.50%，平均誤差率在7.54%以下．對比傳統(tǒng)Hough變換、文獻(xiàn)[6]中的梯度定位方法、文獻(xiàn)[9]提出的瞳孔定位方法以及全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)的方法[16]，實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了本文方法定位結(jié)果的準(zhǔn)確性更高，普適性更強(qiáng)．表1為本文方法與上述提到的4種方法在5個數(shù)據(jù)集上進(jìn)行瞳孔定位的結(jié)果．

表1 瞳孔定位方法對比 Tab. 1 Comparison of pupil positioning methods

由表1可以看出，本文方法定位準(zhǔn)確率高，即使 在圖像質(zhì)量非常差的數(shù)據(jù)集CASIA-Iris-Interval上，定位準(zhǔn)確率依然能夠達(dá)到89.54%．

本文技術(shù)方法穩(wěn)定性與抗光照干擾能力強(qiáng)．5種方法在5個不同的數(shù)據(jù)集上的瞳孔定位結(jié)果如圖8所示．其中數(shù)據(jù)集CASIA-Iris-Interval中的圖像像素為320×280，相比其他幾個數(shù)據(jù)集，該數(shù)據(jù)集圖像質(zhì)量最差，因此經(jīng)過圖像預(yù)處理之后獲取的信息最少，導(dǎo)致識別準(zhǔn)確率較低．在使用文獻(xiàn)[6]中的梯度定位方法得到的定位準(zhǔn)確率尤為偏低，但本文方法的準(zhǔn)確率依然能保證在89.54%．?dāng)?shù)據(jù)集CASIA-Iris-Lamp中的圖像存在濃密的眉毛和顏色深的睫毛的干擾情況，本文技術(shù)方法相對于另外4種方法的定位結(jié)果更為精準(zhǔn)．?dāng)?shù)據(jù)集CASIA-Iris-Syn中的圖像相對較純凈，5種方法定位準(zhǔn)確率都較高．?dāng)?shù)據(jù)集CASIA-Iris-Thousand中的圖像，存在眼鏡反光和眼皮遮擋的干擾，F(xiàn)CNN瞳孔分割算法[16]表現(xiàn)出了較強(qiáng)的抗干擾能力，而利用本文技術(shù)方法進(jìn)行定位，準(zhǔn)確率也能達(dá)到91.30%．?dāng)?shù)據(jù)集CASIA-Iris-Twins中的圖像，存在長睫毛和長頭發(fā)的干擾，文獻(xiàn)[6]中的梯度定位方法對其進(jìn)行了弱化處理，但是同時也損失了圖像信息，導(dǎo)致最終的準(zhǔn)確率低，而另外4種方法定位相對準(zhǔn)確．

圖8 瞳孔定位效果對比 Fig. 8 Comparison of pupil positioning effect

2.3 魯棒性與實(shí)時性分析

為了驗(yàn)證算法在不同眼球注視情況下定位的魯棒性，在保證眼睛舒適的情況下，實(shí)驗(yàn)采集被試者向上、向下、向左、向右看時不同的瞳孔極限位置以及瞳孔輕微形變情況下的人眼圖像．圖9為利用本文技術(shù)方法得到不同眼球注視情況下的瞳孔定位結(jié)果．分析魯棒性檢測結(jié)果可以發(fā)現(xiàn)，該方法能夠準(zhǔn)確地分割瞳孔區(qū)域，同時實(shí)現(xiàn)在人眼正常視物狀態(tài)下，眼球向極左、極右、極上、極下方向觀看時，準(zhǔn)確地定位瞳孔，證明本文的技術(shù)方法具有良好的魯棒性和抗干擾能力．

在不同光照情況下采集眼部圖像，定位結(jié)果如圖10所示．從結(jié)果得知定位準(zhǔn)確，抗燈光干擾能力強(qiáng)．

在數(shù)據(jù)集CASIA-Iris-Syn 中定位準(zhǔn)確率最高，并且該數(shù)據(jù)集中存在較多眼部有黑痣、斑點(diǎn)以及濃密眉毛頭發(fā)的干擾，本文方法仍然能使定位準(zhǔn)確率達(dá)到99.5%，圖11(a)展示了在黑痣和斑點(diǎn)干擾下的定位結(jié)果，圖11(b)展示了在濃密眉毛頭發(fā)干擾下的定位結(jié)果．

眼鏡的反光對于瞳孔定位的干擾也是非常嚴(yán)重的，因此在實(shí)驗(yàn)室隨機(jī)選取3名被試者測試本文方法抗眼鏡干擾的結(jié)果．選取視力正常、中度近視和重度近視各1名，其中視力正常的被試人員佩戴無屈光度的平光鏡，測試結(jié)果為圖12(a)；近視者佩戴屈光度-3.50的近視鏡，測試結(jié)果為圖12(b)；近視者佩戴屈光度-7.25的近視鏡，測試結(jié)果為圖12(c)．由圖12可見，該定位方法可以應(yīng)用于近視、遠(yuǎn)視患者身上，能夠?qū)崿F(xiàn)在佩戴眼鏡的情況下進(jìn)行瞳孔信息的采集、處理工作.

圖9 瞳孔定位魯棒性檢測 Fig. 9 Robust detection of pupil positioning

圖10 不同光照干擾測試圖 Fig. 10 Test diagram of different light interference

圖11 黑痣、斑點(diǎn)、毛發(fā)干擾測試圖 Fig. 11 Test chart of mole，spot and hair interference

圖12 眼鏡干擾測試圖 Fig. 12 Glasses interference test diagram

圖13 為被試者在正常視物情況下，實(shí)現(xiàn)實(shí)時瞳孔定位追蹤的軟件界面．其中：左圖為實(shí)時定位的瞳孔擬合圖；右圖為視線軌跡圖，為順序記錄的瞳孔中心運(yùn)動軌跡，紫色標(biāo)記為第1幀開始位置，紅色標(biāo)記為當(dāng)前瞳孔位置，同時將檢測到的瞳孔面積、瞳孔中心坐標(biāo)、采集時間和當(dāng)前采集幀數(shù)作為數(shù)據(jù)輸出．結(jié)果表明，本文技術(shù)方法具有良好的實(shí)時性．

圖13 實(shí)時視線定位追蹤軟件界面 Fig. 13 Interface of real-time eye tracking software

3 結(jié) 語

針對生理參數(shù)中瞳孔定位普遍存在的鬢角、眉毛和光照等干擾，提出了一種基于幾何形狀特征的實(shí)時瞳孔定位追蹤技術(shù)．該技術(shù)實(shí)現(xiàn)方法利用瞳孔面積閾值篩選、聯(lián)合兩種不同的瞳孔外接矩形長寬比、角度差提取瞳孔特征，逐步精確定位瞳孔，最后通過瞳孔中心坐標(biāo)與原圖像擬合獲得準(zhǔn)確的實(shí)時瞳孔定位，并將瞳孔中心位置坐標(biāo)順序連接，實(shí)現(xiàn)瞳孔軌跡追蹤．

將該技術(shù)方法在中科院5種不同的虹膜圖像數(shù)據(jù)集上進(jìn)行準(zhǔn)確性檢測，結(jié)果表明該定位技術(shù)的最高準(zhǔn)確率提高到99.5%，平均誤差減少到7.54%．由85名被試者在不同眼球注視情況下進(jìn)行實(shí)時性檢測，結(jié)果表明該定位技術(shù)能有效地解決睫毛遮擋、眼部黑痣干擾、眼角部分陰影干擾等一系列問題．通過被試者在正常視物情況下注視不同極限位置的測試，證明該技術(shù)實(shí)時性和魯棒性良好．由此可見，該技術(shù)對背景環(huán)境要求較低、具有實(shí)時性，并能夠根據(jù)瞳孔位置實(shí)時精確定位追蹤被試者的眼睛以及人臉等，可以廣泛應(yīng)用于眼球追蹤、視線分析等方面的研究．