宋天舒, 沈文忠, 晁靜靜

(上海電力學(xué)院 電子與信息工程學(xué)院, 上海 200090)

隨著生物特征識(shí)別的廣泛應(yīng)用,虹膜識(shí)別因其優(yōu)勢(shì)受到了前所未有的關(guān)注。相關(guān)的測(cè)試報(bào)告指出,虹膜識(shí)別是最精確的生物特征識(shí)別手段,而且虹膜的紋理非常穩(wěn)定[1-2]。同時(shí),整個(gè)虹膜識(shí)別的過(guò)程是無(wú)侵犯的,這個(gè)特性在很多場(chǎng)景的應(yīng)用中具有非常重要的意義[3]。精確、穩(wěn)定、無(wú)侵犯這3個(gè)特性使得虹膜識(shí)別具有廣闊的應(yīng)用前景,因此研究人員提出了多種方法[4-8]將虹膜識(shí)別應(yīng)用于現(xiàn)實(shí)生活。虹膜識(shí)別的第一步是實(shí)現(xiàn)虹膜圖像的精確分割。這需要精確定位瞳孔邊緣、虹膜邊緣、眼瞼、睫毛以及其他一些干擾因素。由于瞳孔和虹膜的形狀接近圓形,很多方法都能較好地定位瞳孔外圓和虹膜外圓。但是對(duì)于眼瞼的定位,尤其是上眼瞼的定位,卻非常困難,這是因?yàn)檠鄄€周圍有著分布復(fù)雜的睫毛、光斑、陰影以及其他干擾,例如各種類型的雙眼皮、化妝產(chǎn)生的眼線、涂抹的睫毛膏等。上眼瞼普遍存在于虹膜圖像中,而且經(jīng)常遮擋著很大部分的虹膜區(qū)域。如果眼瞼的定位不準(zhǔn)確,將會(huì)在下一步的虹膜編碼過(guò)程中產(chǎn)生大量的噪聲。

傳統(tǒng)方法都是基于像素間的梯度來(lái)實(shí)現(xiàn)的,而梯度很容易受到噪聲的干擾,很難取得好的效果。即使沒(méi)有干擾,不同的圖像紋理也會(huì)有不同的梯度,即便是在單一的數(shù)據(jù)庫(kù)里,圖像的梯度也可能十分復(fù)雜,更不要說(shuō)將這些方法應(yīng)用于不同設(shè)備、不同人群、不同場(chǎng)景下采集到的多種數(shù)據(jù)庫(kù)里。因此,單一的固定策略很難應(yīng)對(duì)各種不同的場(chǎng)景和復(fù)雜的情形,需要一種自適應(yīng)的策略來(lái)進(jìn)行眼瞼定位。文獻(xiàn)[9-11]將Adaboost和Haar-like特征應(yīng)用于眼瞼的定位。但這些方法仍存在一些問(wèn)題,例如模型需要利用Canny算子進(jìn)行預(yù)處理,還需要進(jìn)行去噪聲的后處理,在困難場(chǎng)景下的表現(xiàn)不盡如人意;分類器的最終表現(xiàn)嚴(yán)重依賴于特征,設(shè)計(jì)好的特征非常困難,而Haar-like特征無(wú)法應(yīng)對(duì)眾多復(fù)雜的場(chǎng)景。

近年來(lái),深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Networks,DCNs)在圖像領(lǐng)域[12-16]得到了廣泛應(yīng)用。 DCNs非常善于提取特征,能夠在復(fù)雜的模式識(shí)別任務(wù)(如目標(biāo)分類、定位、檢測(cè))中取得重大的突破。2016年,DCNs首次應(yīng)用于虹膜分割的研究中[17],其他基于DCNs進(jìn)行虹膜識(shí)別的研究[18-23]出現(xiàn)在2017年,但上述研究中并沒(méi)有針對(duì)眼瞼的定位問(wèn)題進(jìn)行深入探討。文獻(xiàn)[22-23]研究了可見光下的圖像,而虹膜識(shí)別需要近紅外光,在近紅外光下虹膜區(qū)域才會(huì)出現(xiàn)明顯的紋理,尤其是針對(duì)可見光下虹膜顏色較深的亞洲人。文獻(xiàn)[17-21]采用全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,FCNs)分割虹膜區(qū)域,FCNs[24]在2014年被提出,并應(yīng)用于分割任務(wù)中。FCNs分割圖像時(shí)需要像素級(jí)別的精確標(biāo)注,但這些標(biāo)注大多很難獲得。由于FCNs自身的采樣結(jié)構(gòu),導(dǎo)致定位的邊緣不夠精細(xì)。

在上眼瞼區(qū)域,由于睫毛等因素的干擾,得到的效果并不理想,因此本文提出了一種新的方法進(jìn)行眼瞼的精確定位。首先利用DCNs給出眼瞼的關(guān)鍵點(diǎn),然后采用二次曲線進(jìn)行擬合,得到眼瞼的精確位置。這種方法僅需要標(biāo)注幾個(gè)關(guān)鍵點(diǎn),相比于FCNs,可以大大減少工作量,且在很多復(fù)雜的場(chǎng)景下可以取得很好的效果。

1 深度卷積網(wǎng)絡(luò)模型和眼瞼精確定位方法

1.1 深度卷積網(wǎng)絡(luò)模型

在計(jì)算機(jī)視覺(jué)中,有3個(gè)基本任務(wù),從易到難依次為分類、定位、檢測(cè)。研究人員提出了很多有名的目標(biāo)檢測(cè)框架[14],但這些框架只給出了包含目標(biāo)的矩形框。

眼瞼的定位問(wèn)題更像是一個(gè)圖像的語(yǔ)義分割問(wèn)題,矩形框并不能滿足需要。因此,一個(gè)最簡(jiǎn)單的思路就是直接借助于滑動(dòng)窗口將定位任務(wù)轉(zhuǎn)化為分類問(wèn)題,并給出關(guān)鍵點(diǎn),如圖1所示。

圖1 滑動(dòng)窗口示意

由圖1可見,利用滑動(dòng)窗口,眼瞼關(guān)鍵點(diǎn)的定位問(wèn)題轉(zhuǎn)化為分類問(wèn)題。對(duì)每個(gè)窗口進(jìn)行二分類,若窗口被分類為眼瞼區(qū)域,則將此窗口的中心點(diǎn)定義為眼瞼關(guān)鍵點(diǎn)候選點(diǎn)。通過(guò)不斷進(jìn)行實(shí)驗(yàn)測(cè)試,根據(jù)定位精度對(duì)比結(jié)果,最終選定適用于眼瞼關(guān)鍵點(diǎn)分類的深度卷積網(wǎng)絡(luò)模型(EyelidNet),如圖2所示。

圖2 EyelidNet網(wǎng)絡(luò)模型

1.2 眼瞼精確定位方法

利用EyelidNet分類滑動(dòng)窗口獲取候選點(diǎn)。對(duì)于圖2所示的EyelidNet網(wǎng)絡(luò),每一個(gè)48×48的滑動(dòng)窗口,經(jīng)過(guò)網(wǎng)絡(luò)推理后都會(huì)返回一個(gè)二分類的結(jié)果。若屬于眼瞼的類,則窗口中心點(diǎn)記為眼瞼候選點(diǎn)。另外,不需要對(duì)水平和垂直方向上的每個(gè)像素進(jìn)行滑動(dòng)窗口檢測(cè)。為了減少定位時(shí)間,滑動(dòng)窗口垂直方向步長(zhǎng)取4像素,水平方向步長(zhǎng)取35像素,即可取得很好的效果。定位結(jié)果如圖3所示。

圖3(a)為實(shí)際檢測(cè)過(guò)程中,EyelidNet網(wǎng)絡(luò)直接給出的眼瞼候選點(diǎn),可以看出,網(wǎng)絡(luò)直接給出的候選點(diǎn)過(guò)于冗余。本文對(duì)垂直方向上的若干候選點(diǎn)進(jìn)行平均操作,得到了最終的眼瞼關(guān)鍵點(diǎn),如圖3(b)所示。

圖3 定位結(jié)果示例

對(duì)于圖3(b)給出的關(guān)鍵點(diǎn)坐標(biāo),采用最小二乘法進(jìn)行二次曲線擬合,得到圖3(c)中所示的拋物線。這條拋物線即代表需要定位的眼瞼。當(dāng)然,直接在圖3(a)的基礎(chǔ)上進(jìn)行擬合也能得到與圖3(c)幾乎相同的曲線,但去除冗余之后更便于人為地觀察定位誤差。因此本文進(jìn)行了取平均的操作。

1.3 確定定位精度的度量標(biāo)準(zhǔn)

現(xiàn)有的虹膜識(shí)別文獻(xiàn)中很少有對(duì)眼瞼定位方法的單獨(dú)論述,也沒(méi)有建立統(tǒng)一的標(biāo)準(zhǔn)來(lái)度量眼瞼定位的精準(zhǔn)程度,往往是人工直接評(píng)估某一張圖像定位是否準(zhǔn)確。文獻(xiàn)[8]是唯一給出具體的評(píng)估眼瞼定位標(biāo)準(zhǔn)的文獻(xiàn)。該算法在歸一化的矩形中評(píng)估定位的誤差,在虹膜識(shí)別中完成定位后需要將虹膜區(qū)域進(jìn)行歸一化,以適應(yīng)瞳孔的擴(kuò)張和圖像尺寸的不同。本文采用一般的歸一化方法,以瞳孔圓的圓心為圓心按順時(shí)針?lè)较驅(qū)⒑缒に诘沫h(huán)形區(qū)域展開成512×64的矩形,展開后的結(jié)果如圖4所示。

從圖4可以看出,眼瞼定位的誤差體現(xiàn)在錯(cuò)誤接受區(qū)域和錯(cuò)誤拒絕區(qū)域,其中黑色區(qū)域?yàn)檎_定位的區(qū)域。將錯(cuò)誤接受率記作Far,錯(cuò)誤拒絕率記作Frr,錯(cuò)誤定位率記作Flr,結(jié)合實(shí)際眼瞼區(qū)域占比(記作Ter)來(lái)評(píng)估定位的準(zhǔn)確性。如果將錯(cuò)誤拒絕區(qū)域的面積記作Afr,錯(cuò)誤接受區(qū)域的面積記作Afa,正確定位的區(qū)域面積記為Atl,展開后圖像的總面積記作Atotal,則可以得到

圖4 虹膜區(qū)域歸一化后的定位誤差示意

(1)

2 結(jié)果與討論

本文所用的所有虹膜圖像,均來(lái)自中國(guó)科學(xué)院開源的虹膜圖像數(shù)據(jù)庫(kù)(CASIA Iris Image Database)。訓(xùn)練和測(cè)試數(shù)據(jù)共7 000張,每張圖像都標(biāo)注了5個(gè)點(diǎn)。其中,訓(xùn)練數(shù)據(jù)共5 000張,全部來(lái)自Casia-Iris-V4-Thousands。測(cè)試數(shù)據(jù)共2 000張,其中1 000張來(lái)自Casia-Iris-V4-Thousands,500張來(lái)自Casia-Iris-V3-Lamp,另外500張來(lái)自Casia-Iris-V2-Device1。本文采用5%作為閾值,若某張圖像錯(cuò)誤率大于5%,則認(rèn)為此圖像定位不準(zhǔn)確。在V4,V3,V2 3個(gè)庫(kù)中錯(cuò)誤定位的樣本數(shù)分別為2個(gè)、7個(gè)、15個(gè),準(zhǔn)確率分別為99.8%,98.6%,97.0%。

下面分析影響定位誤差的因素。本文推測(cè)定位的誤差可能受到Ter和瞳孔半徑與虹膜半徑的比例Prr的影響,因此將Ter和Prr從小到大等分成9個(gè)區(qū)間,計(jì)算每個(gè)區(qū)間內(nèi)的平均定位誤差率Mflr,得到的結(jié)果如圖5和圖6所示。

圖5 不同數(shù)據(jù)庫(kù)圖像的Ter對(duì)誤差的影響

從圖5和圖6可以看出,隨著Ter和Prr的增加,Mflr顯著增加。因此,對(duì)于大瞳孔或眼瞼遮擋嚴(yán)重的圖像,定位誤差容易增大。究其原因,一是由于進(jìn)行了歸一化操作,將虹膜所在的環(huán)形區(qū)域展開成矩形時(shí),相對(duì)于遠(yuǎn)離瞳孔的區(qū)域,靠近瞳孔的區(qū)域拉伸得更為嚴(yán)重,提高了該區(qū)域的面積占比;二是在一般情況下,隨著Ter的增加,橫軸方向上眼瞼的固有長(zhǎng)度也會(huì)增加,對(duì)于相同的縱向定位誤差,自然就會(huì)出現(xiàn)更大的總體定位誤差,這一原理如圖7所示。

從圖7可以看出,如果考慮標(biāo)注帶來(lái)的人為誤差,則這些圖像可以被認(rèn)為是正確的分類圖像。

圖6 不同數(shù)據(jù)庫(kù)圖像的Prr對(duì)誤差的影響

采用不同的閾值可以得到不同的準(zhǔn)確率。不同閾值Tthres下得到的準(zhǔn)確率Aacc,以及與文獻(xiàn)[8]所得出的準(zhǔn)確率對(duì)比如圖8所示。

從圖8可以看出,本文算法的準(zhǔn)確率遠(yuǎn)高于文獻(xiàn)[8]的準(zhǔn)確率。當(dāng)閾值為5%時(shí),文獻(xiàn)[8]的準(zhǔn)確率只有55.0%,而本文算法的準(zhǔn)確率可以達(dá)到97.0%,98.6%,99.8%。由于文獻(xiàn)[8]采用的是Canny算子,容易受到各種噪聲干擾的影響,泛化能力差,因此效果不太理想。本文采用了特征提取能力更為強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò),特征的抗干擾能力和泛化能力都很強(qiáng),即便是一些困難樣本也能準(zhǔn)確定位。部分定位效果如圖9所示。

由圖9可以看出,本文算法在多種干擾下均可以得到較好的定位結(jié)果。本文的神經(jīng)網(wǎng)絡(luò)都是在Casia-Iris-V4-Thousands中訓(xùn)練的,但也能夠很好地泛化到Casia-Iris-V3-Lamp和Casia-Iris-V2-Device1中,充分證明了本方法具有高準(zhǔn)確率和強(qiáng)泛化能力。

圖7 Ter和Prr對(duì)Flr的影響示意

圖8 本文結(jié)果和文獻(xiàn)[8]結(jié)果的比較

圖9 本文算法的部分定位效果

4 結(jié) 語(yǔ)

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的上眼瞼定位算法,利用滑動(dòng)窗口和EyelidNet網(wǎng)絡(luò)獲取精確的眼瞼關(guān)鍵點(diǎn),并利用二次曲線進(jìn)行擬合得到眼瞼輪廓線。采用嚴(yán)格的標(biāo)準(zhǔn)對(duì)定位后的圖像進(jìn)行歸一化處理,并進(jìn)行誤差分析。結(jié)果表明,本算法具有高準(zhǔn)確率和強(qiáng)泛化能力,對(duì)于部分困難樣本仍能精確定位,準(zhǔn)確率達(dá)到97.0%以上。