于林泉, 陸軍

(1.北京理工大學(xué) 自動(dòng)化學(xué)院, 北京 100081; 2.哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院, 黑龍江 哈爾濱 150001)

眼睛是人臉區(qū)域中傳遞信息最多的器官之一,從人眼中可以分析得到諸如情緒、視線、困倦程度等重要的人體狀態(tài)[1]。人眼特征在疲勞檢測(cè)、視線追蹤、拍照檢測(cè)等方向上都有重要的應(yīng)用價(jià)值[2]。一般而言,人臉眼部區(qū)域的檢測(cè)與應(yīng)用分為人臉檢測(cè)定位與人眼特征應(yīng)用2個(gè)主要過(guò)程,其中人臉定位是人眼特征應(yīng)用的基礎(chǔ)與前提[3]。

國(guó)內(nèi)外各種人臉定位的算法可以按照是否基于深度學(xué)習(xí)分為傳統(tǒng)人臉定位算法與基于深度學(xué)習(xí)的人臉定位算法[4]。傳統(tǒng)的人臉定位算法主要包括基于空間特征的定位算法、基于人臉自身特征的定位算法和基于統(tǒng)計(jì)模型的定位算法[5]?；谏疃葘W(xué)習(xí)的人眼定位算法主要通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來(lái)實(shí)現(xiàn)檢測(cè)[6]。目前精度較高的算法是在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上發(fā)展的目標(biāo)檢測(cè)網(wǎng)絡(luò)[7],其分為以Yolo、SSD、RetinaNet等為代表的One-stage和以R-CNN、Faster R-CNN等為代表的Two-stage算法[8]。Redmon 等[9]提出的Yolo算法是目前較為流行的One-stage目標(biāo)檢測(cè)算法之一,之后出現(xiàn)的Yolov3、Yolov4[10]算法的性能也不斷提高。Tan等[11]的EfficientDet算法也是性能較為優(yōu)異的目標(biāo)檢測(cè)算法之一。Liu等[12]提出的SSD網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)等均是實(shí)驗(yàn)效果較好的目標(biāo)檢測(cè)網(wǎng)絡(luò)。

人眼狀態(tài)檢測(cè)的方法主要包括基于人眼灰度信息的檢測(cè)方法、基于人眼幾何特征的檢測(cè)方法、基于模板匹配的檢測(cè)方法與基于特征點(diǎn)檢測(cè)的方法[13]。其中基于特征點(diǎn)檢測(cè)的方法通過(guò)對(duì)人臉圖像中人眼關(guān)鍵點(diǎn)的檢測(cè)與位置判斷實(shí)現(xiàn)人眼狀態(tài)的檢測(cè),具有較為廣泛的應(yīng)用[14]。但上述算法只能應(yīng)用于圖像質(zhì)量較好的場(chǎng)景下,在圖像模糊、含有光照干擾與陰影等場(chǎng)景下的效果較差。

針對(duì)常見(jiàn)人眼狀態(tài)檢測(cè)算法在圖片較暗等情況下精度下降的問(wèn)題,本文首先基于深度學(xué)習(xí)方法進(jìn)行人眼定位,并在此基礎(chǔ)上設(shè)計(jì)了基于直方圖規(guī)定化與形狀特征的人眼狀態(tài)檢測(cè)方法和基于魯棒自適應(yīng)的虹膜定位方法。通過(guò)控制模板圖像的直方圖分布規(guī)律,基于直方圖規(guī)定化的方法削弱圖像中陰影部分的干擾,并對(duì)人眼圖像中的關(guān)鍵部位進(jìn)行增強(qiáng),從而更準(zhǔn)確地檢測(cè)虹膜的位置。

1 實(shí)驗(yàn)數(shù)據(jù)集的建立

常見(jiàn)的人臉數(shù)據(jù)集普遍存在亞洲人臉不足以及瞇眼、閉眼等狀態(tài)下人臉圖像較少的問(wèn)題,使用這些數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)難以檢測(cè)不同狀態(tài)下的人眼。

針對(duì)該問(wèn)題,本文設(shè)計(jì)了基于StyleGAN的定制化人臉生成網(wǎng)絡(luò)。在圖片生成器的內(nèi)部,通過(guò)特定維度上的特征替換,將黃種人臉的特征賦值生成人臉;并通過(guò)修改控制向量在生成域內(nèi)決定人眼開(kāi)閉程度方向上的步幅大小,定制化生成人眼處于不同開(kāi)閉程度下的亞洲人臉圖像。

基于上述定制化生成的人臉圖像與CAS-PEAL人臉數(shù)據(jù)集制作了實(shí)驗(yàn)數(shù)據(jù)集,對(duì)下述3種人眼定位網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測(cè)試,并且使用該數(shù)據(jù)集中人眼處于不同開(kāi)閉程度下的人臉圖像對(duì)下述人眼狀態(tài)檢測(cè)方法與虹膜定位方法的精度進(jìn)行測(cè)試。

1.1 基于Stylegan的數(shù)據(jù)集完善

1.1.1 Stylegan網(wǎng)絡(luò)的結(jié)構(gòu)

StyleGAN網(wǎng)絡(luò)生成器的結(jié)構(gòu)如圖1所示,其主要由映射網(wǎng)絡(luò)(mapping network)、樣式模塊(AdaIN)和生成網(wǎng)絡(luò)(synthesis network)組成[15]。包含8個(gè)全連接層的映射網(wǎng)絡(luò)將512×1的輸入向量解耦為同樣大小的中間向量W′,樣式模塊將W′變換為18個(gè)控制向量,生成網(wǎng)絡(luò)在18個(gè)控制向量的基礎(chǔ)上通過(guò)9次上采樣與3×3卷積操作將4×4的初始圖像變換為1 024×1 024的高清圖像,并添加噪聲豐富圖像內(nèi)容。

圖1 特征碼對(duì)圖像特征的控制原理Fig.1 The control principle of feature codes on image features

1.1.2 黃種人臉的生成方法

StyleGAN生成圖片的特征受到AdaIN中18個(gè)控制向量的影響,這些向量分別作用于生成網(wǎng)絡(luò)里不同分辨率大小圖片的生成過(guò)程中,因此不同控制向量所影響的圖像特征也不同,具體過(guò)程如圖2所示,特征碼維度越高,所影響的圖像特征就越精細(xì)。

基于圖1所示原理,將生成圖像的部分特征碼替換為已生成黃種人臉圖像對(duì)應(yīng)的特征碼,可以讓其具有黃種人臉的特征,效果如圖2所示。圖2中將非黃種人臉的5～8維特征碼替換為黃種人臉的特征碼,得到一張具有黃種人面部特征的人臉圖像。替換的特征碼不同,新圖片的特征便不一樣,通過(guò)替換5～8維的特征碼可以較好地賦予圖像黃種人臉特征而不改變其他特征。

圖2 黃種人臉特征的生成原理Fig.2 The formation principle of yellow face features

1.1.3 人眼開(kāi)閉程度的控制方法

StyleGAN網(wǎng)絡(luò)建立了(18, 512)維特征向量到(1 024, 1 024, 3)維生成圖像之間的映射關(guān)系,每一幅生成圖像都對(duì)應(yīng)于生成域R18×512中的一個(gè)特征向量,圖像屬性(如人眼開(kāi)閉程度)的變化則表現(xiàn)為特征向量在生成域中的移動(dòng)。因此只要確定人眼開(kāi)閉程度變化在生成域中對(duì)應(yīng)的方向,就可以通過(guò)改變特征向量在該方向上的移動(dòng)步幅控制人眼的開(kāi)閉程度。

(1)

式中:pi與qi為變化前后的生成圖片在生成域中的特征向量;pi_lable與qi_lable為二者對(duì)應(yīng)的標(biāo)簽值,原理如圖3所示;ei為人眼不同的開(kāi)閉程度在生成域中各自對(duì)應(yīng)的方向向量。

獲得代表人眼開(kāi)閉程度變化的方向向量后,可以生成人眼處于不同開(kāi)閉程度下的定制化人臉圖像:

E=E0+es

(2)

式中E0與E分別為人臉圖像調(diào)節(jié)前后在生成域內(nèi)的特征向量;s為調(diào)節(jié)步幅。

1.2 實(shí)驗(yàn)訓(xùn)練集與測(cè)試集

CAS-PEAL數(shù)據(jù)集是由中科院計(jì)算機(jī)研究所發(fā)布的亞洲人臉數(shù)據(jù)庫(kù)[16]。該數(shù)據(jù)庫(kù)共采集了包括595位男性與445位女性在內(nèi)的共1 040位人臉志愿者在各種情況下的人臉圖片共計(jì)99 450張。

考慮到常見(jiàn)人臉數(shù)據(jù)集的缺陷,在CAS-PEAL數(shù)據(jù)集與上述定制化生成圖片的基礎(chǔ)上建立本實(shí)驗(yàn)的訓(xùn)練集與測(cè)試集,其中訓(xùn)練集包含有1 000張人臉圖片,測(cè)試集包含600張人臉圖片,均使用labelimg圖片標(biāo)注工具進(jìn)行了人眼單目標(biāo)標(biāo)注,標(biāo)注過(guò)程如圖4所示。后續(xù)分別基于該訓(xùn)練集與測(cè)試集進(jìn)行人眼檢測(cè)網(wǎng)絡(luò)的訓(xùn)練以及人眼定位、人眼狀態(tài)檢測(cè)和虹膜定位算法的精度測(cè)試。

圖4 人眼目標(biāo)的標(biāo)注結(jié)果Fig.4 The labeling result of human eye target

2 人眼定位及其應(yīng)用

目前應(yīng)用較廣的人眼狀態(tài)檢測(cè)方法是通過(guò)對(duì)人眼區(qū)域局部特征點(diǎn)的檢測(cè)實(shí)現(xiàn)的,在圖像質(zhì)量較好的情況下可以根據(jù)特征點(diǎn)之間的位置關(guān)系判斷人眼狀態(tài)。但是在圖像較暗、對(duì)比度較差的情況下較難準(zhǔn)確定位人眼特征點(diǎn),從而降低狀態(tài)檢測(cè)的精度。

針對(duì)該問(wèn)題,采用先定位人眼后提取特征的策略進(jìn)行人眼狀態(tài)與虹膜位置的檢測(cè)。測(cè)試了3種目標(biāo)檢測(cè)網(wǎng)絡(luò)的精度,并基于精度最高的Yolov5m網(wǎng)絡(luò)設(shè)計(jì)了人眼檢測(cè)網(wǎng)絡(luò)。針對(duì)人眼分割區(qū)域中對(duì)比度較差等圖像質(zhì)量問(wèn)題,采用直方圖規(guī)定化的方法進(jìn)行了圖像增強(qiáng),在增強(qiáng)后圖像的基礎(chǔ)上通過(guò)查找最小外接矩形提取人眼形狀特征,克服了特征點(diǎn)檢測(cè)等方法在圖片較暗等情況下失效的問(wèn)題。基于直方圖規(guī)定化與Gamma變換對(duì)非閉眼的人眼圖像進(jìn)行增強(qiáng),提高算法的魯棒性,通過(guò)局部自適應(yīng)二值化與霍夫圓檢測(cè)對(duì)虹膜區(qū)域的輪廓特征與位置信息進(jìn)行提取,并對(duì)虹膜區(qū)域的位置進(jìn)行量化。

2.1 基于深度學(xué)習(xí)的人眼定位

傳統(tǒng)人眼定位算法只適用于簡(jiǎn)單場(chǎng)景下的人眼檢測(cè),當(dāng)存在障礙物遮擋、圖像模糊以及頭部姿態(tài)變化等干擾時(shí)精度會(huì)明顯降低。由于對(duì)人眼區(qū)域的定位精度將直接影響后續(xù)人眼狀態(tài)檢測(cè)等方法的檢測(cè)精度,因此選用定位精度更高的深度學(xué)習(xí)方法實(shí)現(xiàn)人眼區(qū)域的檢測(cè)。

分別基于Efficientdet-D0模型、Yolov5s模型和Yolov5m模型搭建并訓(xùn)練了人眼檢測(cè)網(wǎng)絡(luò)。使用測(cè)試集對(duì)上述3種網(wǎng)絡(luò)進(jìn)行測(cè)試,具體測(cè)試數(shù)值在下面實(shí)驗(yàn)結(jié)果分析中給出。結(jié)果表明基于Yolov5m的人眼檢測(cè)網(wǎng)絡(luò)擁有三者中最好的綜合性能,后續(xù)均使用該網(wǎng)絡(luò)進(jìn)行人眼區(qū)域的定位分割。

Yolov5m網(wǎng)絡(luò)主要由輸入網(wǎng)絡(luò)、主干征提取網(wǎng)絡(luò)(backbone)、特征融合網(wǎng)絡(luò)(neck)以及預(yù)測(cè)網(wǎng)絡(luò)(prediction)組成。主干網(wǎng)絡(luò)中的Focus模塊在保持原特征信息的基礎(chǔ)上,縮減了輸出圖像的寬高,增加了輸出圖像的特征通道,輸入圖片的大小為608×608×3,輸出圖像大小為304×304×12,通過(guò)3×3的卷積核對(duì)該特征圖處理后得到大小為304×304×32的最終輸出結(jié)果。

2.2 基于直方圖規(guī)定化與形狀特征的人眼狀態(tài)檢測(cè)

當(dāng)人眼圖像對(duì)比度較低或質(zhì)量較差時(shí),基于特征點(diǎn)檢測(cè)的人眼狀態(tài)檢測(cè)方法由于無(wú)法準(zhǔn)確定位特征點(diǎn)而失效,此時(shí)的灰度圖及灰度直方圖如圖5所示,無(wú)論是睜眼圖片還是閉眼圖片的灰度直方圖均失去了原有的形狀特征而難以進(jìn)行狀態(tài)檢測(cè)。

圖5 含有陰影干擾時(shí)的灰度直方圖Fig.5 Grayscale histogram with shadow interference

通過(guò)深度學(xué)習(xí)方法進(jìn)行人眼區(qū)域的分割,在分割后人眼圖像的基礎(chǔ)上設(shè)計(jì)了基于直方圖規(guī)定化與形狀特征的人眼狀態(tài)檢測(cè)算法。該算法通過(guò)直方圖規(guī)定化對(duì)原始圖像進(jìn)行增強(qiáng),在進(jìn)行二值化與閉運(yùn)算等預(yù)處理后,基于遞歸分治與旋轉(zhuǎn)卡尺方法查找人眼區(qū)域的最小包圍矩形,通過(guò)計(jì)算該矩形框的長(zhǎng)寬比對(duì)人眼狀態(tài)進(jìn)行判斷,有效地解決了因圖像質(zhì)量所導(dǎo)致的特征點(diǎn)檢測(cè)失效的問(wèn)題。

2.2.1 直方圖規(guī)定化

直方圖規(guī)定化主要由以下3個(gè)過(guò)程組成(其中待處理圖像的灰度等級(jí)為M,模板圖像的灰度級(jí)數(shù)為N,二者之間滿足N≤M的前提條件):

1)將原始灰度圖進(jìn)行平衡化為:

(3)

2)獲得目標(biāo)圖像的平衡化操作:

(4)

3)對(duì)第1)步中的灰度映射進(jìn)行反變換處理,將待處理圖像的灰度直方圖變換為模板圖像所規(guī)定的灰度直方圖,采用組映射的方式將式(3)中的ps(si)變換到式(4)中的pu(ui)上去:

(5)

假定存在滿足0≤I(0)≤…≤I(l)≤…≤I(N-1)≤M-1要求的整數(shù)函數(shù)I(l),其中,l=0,1,…,N-1尋找能夠令式(5)中結(jié)果最小的I(l)值。

若式(5)中的l為0,則pu(ui)中的數(shù)值由ps(si)(0≤i≤I(0))所組成的一組數(shù)據(jù)進(jìn)行映射;若式(3)中的l不為0,即為大于等于1的整數(shù),則將ps(si)(I(l-1)≤i≤I(l))所組成的一組數(shù)據(jù)按照pu(ui)進(jìn)行映射,組映射的原理如圖6所示。

圖6 組映射原理Fig.6 Group mapping schematic

2.2.2 直方圖規(guī)定化的模板圖像

為了解決對(duì)比度較低等圖片質(zhì)量問(wèn)題,直方圖規(guī)定化的模板要以去除外界干擾、增強(qiáng)人眼特征為目標(biāo)。人眼特征較為明顯的、對(duì)比度較高的閉眼與睜眼圖像及其灰度分布直方圖如圖7所示。

圖7 2種模板圖像及其灰度直方圖Fig.7 Two template images and their grayscale histograms

分別以圖7中閉眼圖像與睜眼圖像為模板對(duì)質(zhì)量較差的人眼圖像進(jìn)行處理的結(jié)果如圖8所示。

其中圖8(a)是直方圖規(guī)定化前的人眼灰度圖,包含閉眼與睜眼2種狀態(tài)。圖8(b)是以圖7(b)中的理想閉眼圖像為模板對(duì)輸入圖像進(jìn)行增強(qiáng)后的人眼灰度圖,雖然較好的去除了陰影干擾,但是對(duì)虹膜等人眼特征區(qū)域的削弱作用較強(qiáng);圖8(c)是以圖7(d)中的理想睜眼圖像為模板對(duì)輸入圖像進(jìn)行增強(qiáng)后的人眼灰度圖,雖然較好地增強(qiáng)了人眼特征,但眼角部位的陰影干擾仍有存留。問(wèn)題的原因在于圖7(b)中的低值區(qū)域占比過(guò)低而圖7(d)中的低值區(qū)域占比過(guò)高。因此將模板中的低值區(qū)域占比設(shè)定在二者之間,使其既不過(guò)高也不過(guò)低,如圖9所示。

圖9 新模板的生成原理Fig.9 Schematic of the new template

基于該模板對(duì)上文的原始圖像進(jìn)行直方圖規(guī)定化的結(jié)果如圖10所示。增強(qiáng)后圖像的灰度直方圖與模板圖像的灰度直方圖理論上擁有相同的分布規(guī)律,所以增強(qiáng)后圖像中不僅陰影較少,而且圖片的對(duì)比度獲得了提高,增強(qiáng)了眼部特征,便于后續(xù)對(duì)人眼狀態(tài)進(jìn)行判斷。

圖10 直方圖規(guī)定化的效果Fig.10 The rendering of the histogram specification

2.2.3 人眼狀態(tài)判斷

在直方圖規(guī)定化增強(qiáng)圖片質(zhì)量的基礎(chǔ)上,設(shè)計(jì)了人眼區(qū)域形狀特征的提取方法實(shí)現(xiàn)人眼狀態(tài)檢測(cè),該過(guò)程主要分為3步:

1)圖像二值化

直方圖規(guī)定化后的人眼灰度圖具有明顯的雙峰特征,需要濾除高值背景區(qū)域而保留低值人眼輪廓。基于最大類(lèi)間方差的大津法是專門(mén)應(yīng)用于雙峰圖像自動(dòng)閾值的二值化算法,因此采用大津法對(duì)人眼區(qū)域進(jìn)行二值分割,效果如圖11所示。

圖11 大津法自動(dòng)閾值效果Fig.11 Otsu method automatic threshold effect diagram

2)閉運(yùn)算

二值化后圖片中的部分區(qū)域會(huì)出現(xiàn)空隙,為了避免對(duì)人眼形狀的提取造成干擾,加入運(yùn)算核大小為5×5的閉運(yùn)算進(jìn)行圖像缺口填充,效果如圖12。

圖12 閉運(yùn)算效果Fig.12 Closed calculation renderings

3)尋找最小包圍矩形

通過(guò)邊緣檢測(cè)獲得二值圖像的輪廓曲線,基于遞歸分治的方法查找輪廓曲線的凸包,過(guò)程如下:

①尋找輪廓中橫坐標(biāo)最大與最小的點(diǎn)Pmax(x1,y1)與Pmin(x2,y2);

②遍歷輪廓中的每一個(gè)點(diǎn),假設(shè)其坐標(biāo)為(x3,y3),計(jì)算其數(shù)值:

(6)

結(jié)果為正時(shí),該點(diǎn)位于直線PmaxPmin左側(cè),反之則在右側(cè),據(jù)此將輪廓分為上包(左側(cè))與下包(右側(cè))2部分。

③式(6)的絕對(duì)值越大,則該點(diǎn)距離直線PmaxPmin越遠(yuǎn),據(jù)此尋找上包中距離直線PmaxPmin最遠(yuǎn)的點(diǎn)Pm;將上包中ΔPmaxPminPm內(nèi)的區(qū)域視為新的下包,將ΔPmaxPminPm外的區(qū)域視為新的上包;

④重復(fù)步驟(2)、(3),并以同樣的方法遍歷下包。

找到凸包后再基于旋轉(zhuǎn)卡尺的方法尋找人眼輪廓凸包的最小包圍矩形,過(guò)程如下:

①計(jì)算凸包中在x,y方向上的4個(gè)頂點(diǎn)Pxmax,Pxmin,Pymax,Pymin,過(guò)4個(gè)頂點(diǎn)做矩形;

②若矩形中某條邊與凸包重合,則視該矩形為凸包的一個(gè)外接矩形,計(jì)算其面積并與當(dāng)前最小面積比較,若小于當(dāng)前最小面積則視該外接矩形為新的最小外接矩形;

③以該矩形為旋轉(zhuǎn)卡尺,順時(shí)針旋轉(zhuǎn)四條邊并保持矩形形狀直至有一條邊與凸包發(fā)生重合,重復(fù)步驟2);

④重復(fù)步驟②、③直至矩形轉(zhuǎn)過(guò)90°。

由閉運(yùn)算后的二值圖經(jīng)過(guò)輪廓提取、遞歸分治方法確定凸包、旋轉(zhuǎn)卡尺方法尋找最小包圍矩形的過(guò)程如圖13所示,其中虛線是提取的輪廓,實(shí)線是凸包,外圍框是最小包圍矩形,圖13(a)到圖13(f)的長(zhǎng)寬比計(jì)算結(jié)果分別為5.69、4.68、5.75、1.07、1.06、1.01。

圖13 尋找最小包圍矩形過(guò)程示意Fig.13 Schematic diagram of the process of finding the smallest enclosing rectangle

由圖13可知睜眼圖片與閉眼圖片最小包圍矩形的長(zhǎng)寬比存在明顯的不同,可據(jù)此進(jìn)行人眼狀態(tài)的判斷。設(shè)定2個(gè)閾值a=2,b=3.5。假設(shè)人眼區(qū)域最小矩形的實(shí)際長(zhǎng)寬比為x,則睜眼、瞇眼與閉眼狀態(tài)對(duì)應(yīng)的變量關(guān)系分別為xb。

2.3 基于魯棒自適應(yīng)的虹膜定位

虹膜定位可以追蹤人眼視線的方向,在圖片拍攝過(guò)程中可以用于糾正被拍攝者的視線。此外,虹膜定位在活體檢測(cè)、身份識(shí)別等方向上都有重要的應(yīng)用價(jià)值。本文在人眼狀態(tài)檢測(cè)的基礎(chǔ)上設(shè)計(jì)了基于魯棒自適應(yīng)的虹膜定位方法,當(dāng)檢測(cè)到人眼狀態(tài)為睜眼或瞇眼時(shí),基于直方圖規(guī)定化與自適應(yīng)濾波等操作對(duì)虹膜區(qū)域進(jìn)行檢測(cè)并量化該區(qū)域的位置。

2.3.1 虹膜定位

實(shí)際的人眼分割圖像往往因光照等不同因素的干擾而無(wú)法直接進(jìn)行虹膜區(qū)域的分割,因此本文首先基于直方圖規(guī)定化減弱干擾影響。

1)直方圖規(guī)定化。

進(jìn)行虹膜定位的前提是人眼狀態(tài)為睜眼或瞇眼,此時(shí)人眼灰度圖的低值部分由于虹膜區(qū)域的外露而占比較大。為了增強(qiáng)虹膜區(qū)域的形狀特征,在直方圖規(guī)定化中應(yīng)保留人眼圖像的低值部分,因此使用圖7(b)中的睜眼圖像作為模板。該模板的灰度直方圖存在低值部分的尖峰,如圖14所示。

圖14 直方圖規(guī)定化模Fig.14 Histogram specification template map

基于該模板進(jìn)行直方圖規(guī)定化的效果如圖15。

2)伽馬變換。

伽馬變換的計(jì)算過(guò)程為:

(7)

式(7)中Vin為歸一化后輸入圖像的像素值,范圍為0～1,輸出圖像像素值為Vout。當(dāng)γ>1時(shí),伽馬變換主要針對(duì)輸入圖像中亮度值較高的區(qū)域進(jìn)行拉伸;γ<1時(shí),伽馬變換主要針對(duì)輸入圖像中亮度值較低的區(qū)域進(jìn)行拉伸。

圖15中的結(jié)果表明,雖然直方圖規(guī)定化可以整體上增強(qiáng)人眼圖片的質(zhì)量,但會(huì)對(duì)虹膜區(qū)域的形狀造成略微的影響。為了保證虹膜區(qū)域形狀的完整性,此處使用γ值大于1的灰度映射(γ=3)來(lái)增強(qiáng)圖像中的低灰度值區(qū)域,其增強(qiáng)后的效果如圖16。

圖15 直方圖規(guī)定化效果Fig.15 Histogram specification rendering

圖16 Gamma變換效果Fig.16 Gamma transformation effect diagram

圖16說(shuō)明直方圖規(guī)定化與Gamma增強(qiáng)結(jié)合后處理的圖片中虹膜區(qū)域的特征得到加強(qiáng),形狀更加完整,且眼睛周?chē)年幱暗玫搅撕芎玫娜コ?/p>

3)中值濾波。

使用模板大小為9×9的中值濾波去除圖像復(fù)雜的紋理信息而保留其中的主要輪廓線,以減少后續(xù)圖像邊緣檢測(cè)過(guò)程中的干擾,效果如圖17所示。

圖17 中值濾波效果Fig.17 Median filtering effect chart

4)自適應(yīng)二值化。

通過(guò)針對(duì)局部區(qū)域自動(dòng)計(jì)算閾值的自適應(yīng)二值化方法來(lái)進(jìn)行圖像輪廓提取。將待處理的圖像分割為不同的局部小塊,針對(duì)每一個(gè)小塊計(jì)算其內(nèi)像素灰度值的特征并據(jù)此得到該區(qū)域的自動(dòng)閾值。

將圖像視為行向量,如圖18所示,其中Pn代表圖像二值化之前當(dāng)前位置像素的灰度值大小,Tn代表該點(diǎn)像素在二值化后的灰度值大小。計(jì)算像素值為Pn的點(diǎn)附近s個(gè)像素的灰度值總和:

圖18 二維圖像一維化結(jié)果Fig.18 Two-dimensional image one-dimensional result map

(8)

按照式(9)計(jì)算該點(diǎn)在二值化后的灰度值大小。

(9)

該方法與大津法的區(qū)別在于后者是取雙峰圖像的自動(dòng)閾值,目的在于獲取圖像低值或高值目標(biāo)區(qū)域,而此處采用的局部自適應(yīng)閾值由于只針對(duì)局部區(qū)域計(jì)算閾值,因此能夠更好的提取虹膜區(qū)域的局部特征,便于后續(xù)對(duì)虹膜形狀的檢測(cè)。對(duì)經(jīng)過(guò)中值濾波后的人眼圖像進(jìn)行局部自適應(yīng)二值化的結(jié)果如圖19所示。

圖19 自適應(yīng)二值化效果圖Fig.19 Adaptive binarization renderings

5)霍夫圓檢測(cè)。

對(duì)二值化后的人眼圖像進(jìn)行canny邊緣檢測(cè),并基于檢測(cè)到的輪廓特征進(jìn)行霍夫圓檢測(cè)以定位虹膜區(qū)域,結(jié)果如圖20所示。

圖20 霍夫圓檢測(cè)結(jié)果Fig.20 Hough circle test result

2.3.2 虹膜位置的量化

在虹膜檢測(cè)的基礎(chǔ)上對(duì)虹膜的位置進(jìn)行量化。如圖21所示將虹膜在人眼區(qū)域中的位置量化為百分?jǐn)?shù)的形式,并在圖像的長(zhǎng)邊方向上將其劃分為5個(gè)區(qū)域,通過(guò)判斷虹膜中心所在區(qū)域來(lái)量化虹膜偏移的程度。

圖21 虹膜位置量化原理Fig.21 Principle of quantification of iris position

3 實(shí)驗(yàn)測(cè)試與結(jié)果分析

3.1 定制化人臉圖像的生成結(jié)果

定制化生成的亞洲人臉圖像如圖22所示,從左到右人眼的張開(kāi)程度依次增加。

圖22 StyleGAN網(wǎng)絡(luò)生成結(jié)果圖Fig.22 StyleGAN network generated result graph

3.2 人眼定位的測(cè)試與結(jié)果分析

使用批量大小為64的小批量隨機(jī)梯度下降算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以減少網(wǎng)絡(luò)訓(xùn)練的計(jì)算成本,并使用Adam優(yōu)化算法提高網(wǎng)絡(luò)的訓(xùn)練效果,Adam算法的超參數(shù)β1、β2、ε分別為0.9、0.999、10-8。在Batch_size為32、學(xué)習(xí)率為0.001的條件下使用訓(xùn)練集對(duì)Efficientdet-D0網(wǎng)絡(luò)、Yolov5s網(wǎng)絡(luò)和Yolov5m網(wǎng)絡(luò)進(jìn)行了300次迭代訓(xùn)練。訓(xùn)練使用的GPU為T(mén)esla K80,顯存容量為24 GB,顯存位寬為384 bit,CUDA版本為11.2。

使用測(cè)試集分別測(cè)試訓(xùn)練后3種網(wǎng)絡(luò)的定位精度,測(cè)得Efficientdet-D0、Yolov5m和Yolov5s在測(cè)試集上的MAP@0.75大小分別為0.642 3、0.664 0、0.637。

在顯存2 GB 的Genforce MX150設(shè)備上對(duì)3種網(wǎng)絡(luò)的視頻檢測(cè)幀率進(jìn)行測(cè)試,測(cè)得Efficientdet-D0、Yolov5m和Yolov5s在測(cè)試集上的檢測(cè)幀率分別為1.97、12.27、19.28。

檢測(cè)結(jié)果說(shuō)明,Yolov5m網(wǎng)絡(luò)的檢測(cè)幀率并非最高,但已經(jīng)可以滿足大多數(shù)場(chǎng)合下的需求,并且其檢測(cè)精度在三者中最高,因此本文中使用基于Yolov5m模型的檢測(cè)網(wǎng)絡(luò)進(jìn)行人眼區(qū)域的定位。

3.3 人眼狀態(tài)檢測(cè)的測(cè)試與結(jié)果分析

使用基于直方圖規(guī)定化與形狀特征的檢測(cè)方法對(duì)人眼狀態(tài)進(jìn)行檢測(cè)的過(guò)程如圖23所示。

圖23 人眼狀態(tài)檢測(cè)方法的工作過(guò)程Fig.23 The working process of the human eye state detection method

在包含600張人臉圖片的測(cè)試集上對(duì)人眼狀態(tài)檢測(cè)算法進(jìn)行測(cè)試,得到該算法在睜眼、瞇眼和閉眼狀態(tài)下的檢測(cè)精度分別為95%、85%、93%。

結(jié)果表明基于直方圖規(guī)定化與形狀特征的檢測(cè)方法對(duì)圖23(a)、圖24 (c)、圖24 (d)和圖24 (f)中人眼區(qū)域較暗或包含陰影等情況以及圖24(a)中曝光過(guò)強(qiáng)等情況下的圖像均能準(zhǔn)確判斷人眼狀態(tài),克服了基于特征點(diǎn)檢測(cè)等人眼狀態(tài)檢測(cè)方法在圖像對(duì)比度較低時(shí)精度下降的問(wèn)題,具有較強(qiáng)的穩(wěn)定性,對(duì)3種不同的人眼狀態(tài)均具有較高的檢測(cè)精度。

圖24 人臉狀態(tài)檢測(cè)結(jié)果Fig.24 Figure of face state detection result method

3.4 虹膜定位的測(cè)試與結(jié)果分析

基于魯棒自適應(yīng)的虹膜定位方法對(duì)不同視線方向下的人臉圖片進(jìn)行檢測(cè)的結(jié)果如圖25所示。在人眼處于正視以及不同程度斜視的情況下,該算法均能夠準(zhǔn)確地對(duì)人眼虹膜區(qū)域進(jìn)行檢測(cè)定位并顯示當(dāng)前虹膜的偏移程度。

圖25 虹膜檢測(cè)效果圖與原圖Fig.25 Iris detection effect picture and original picture

4 結(jié)論

1)基于StyleGAN網(wǎng)絡(luò)的定制化人臉生成方法能夠通過(guò)對(duì)網(wǎng)絡(luò)特征碼的替換以及特征向量的移動(dòng)生成包含不同人眼狀態(tài)的亞洲人臉圖像,彌補(bǔ)了常見(jiàn)人臉數(shù)據(jù)集缺乏亞洲人臉以及瞇眼、閉眼等不同狀態(tài)下的人臉圖像的缺點(diǎn),為人眼檢測(cè)網(wǎng)絡(luò)的訓(xùn)練與測(cè)試提供了合適的數(shù)據(jù)集。

2)實(shí)驗(yàn)結(jié)果證明基于Yolov5m的人眼檢測(cè)網(wǎng)絡(luò)能夠準(zhǔn)確定位人眼,基于直方圖規(guī)定化與形狀特征的人眼狀態(tài)檢測(cè)方法能夠有效增強(qiáng)圖像質(zhì)量,在睜眼、瞇眼與閉眼3種情況下的檢測(cè)精度分別為95%、89%、93%,在圖像較暗等情況下仍有較高的檢測(cè)精度,克服了基于特征點(diǎn)檢測(cè)的人眼狀態(tài)檢測(cè)方法在圖像較暗等情況下特征點(diǎn)定位困難以及精度下降的問(wèn)題。

3)基于魯棒自適應(yīng)的虹膜定位方法能夠有效地提取圖像中的虹膜特征,并準(zhǔn)確地量化虹膜區(qū)域的位置,具有較高的魯棒性與準(zhǔn)確性,該研究成果在圖像質(zhì)量檢查、視線追蹤等方向上具有重要的應(yīng)用價(jià)值。