黨媛媛,華 僑,陳兆學

(上海理工大學 健康科學與工程學院,上海 200093)

瞳距是人臉識別中特征歸一化的穩(wěn)定特征,也是視光學研究和眼鏡配置過程中的重要參數(shù),實現(xiàn)瞳孔中心的快速定位并精確測量瞳距,有十分重要的現(xiàn)實意義和應用價值. 然而,在瞳孔定位的過程中,由于人眼外觀的高度可變性,使人眼的精確定位具有一定難度. 這里的可變性主要由眼睛內在的動態(tài)特征或由周圍環(huán)境的變化引起,特別是面部表情的變化、物品遮擋及成像條件等. 目前國內外已有許多瞳孔定位的相關研究,總體可概括為3 大類: 基于幾何特征的方法、基于外觀統(tǒng)計的方法及基于模板匹配的方法. Guan[1]提出了基于灰度積分投影的人眼定位算法,這種方法雖有精確度差的特點,但運算量少,經(jīng)常被用于人眼的粗定位; 張勇忠等人[2]提出了基于對稱變換的瞳孔定位方法,雖魯棒性較強,但其計算量大且只描述了局部對稱性,精確度相對不足; 余羅等人[3]提出基于橢圓擬合的瞳孔中心點的瞳孔識別方法,該方法可以識別眼睛完全睜開及半閉合狀態(tài)下的瞳孔位置,但同時其算法復雜性高且運算量大,不適合實時性定位; 主動近紅外成像方法[4]對可見光照變化具有魯棒性,主動紅外光照下,瞳孔反射率大于虹膜導致瞳孔出現(xiàn)亮點,可用于定位瞳孔,但該方法需要滿足近紅外光硬件條件限制,具有一定局限性.

為了彌補上述各種既有方法的不足,本文在高斯膚色模型的基礎上,提出了一種瞳孔定位和瞳距的自動測量的方法. 該方法利用光照補償與高斯膚色模型檢測出正面人臉,剔除光照和非膚色區(qū)域的雙重影響,魯棒性較強. 具體先對圖像進行光照補償,然后找到膚色區(qū)域,采用灰度積分投影的方法,實現(xiàn)人眼圖像預處理; 通過邊緣檢測及膨脹等一系列形態(tài)學操作獲取完整的瞳孔邊界,接著利用霍夫圓變換擬合瞳孔輪廓,獲得相應的瞳孔中心位置,通過公式計算輸出瞳距.

1 人臉檢測

1.1 光照補償預處理

在實際獲取人臉圖像的過程中,通常由于周圍環(huán)境不穩(wěn)定、設備存在色彩偏差、物體遮擋或光照條件等因素的影響,光照分布不均勻,從而導致圖像的視覺效果和應用價值降低[5]. 為了確保下一步膚色檢測的準確性,需要進行光照補償處理,盡可能消除可能存在的色彩偏差. 本文采用多尺度高斯函數(shù)與基于二維伽馬函數(shù)的自適應亮度校正相結合的方法來進行光照補償,在保留圖像有效信息的同時,實現(xiàn)對光照的校正,有效地提升圖像的視覺效果. 算法實現(xiàn)步驟如下:

(1)在該模型中首先將亮度與色調、飽和度分開,避免顏色受到光照的干擾. YCbCr 色彩空間受光照強度的影響較小,相較于其他色彩空間具有更加靈活的格式與更為簡單的空間坐標表示形式,而且膚色在YCbCr色彩空間中具有較好的聚類特性,它將色彩中的亮度分量分離出來,此后僅考慮兩個色度分量[6],因此本文選用YCbCr 空間進行基于膚色概率模型的人臉檢測.

一般情況下,一幅自然圖像可以由該場景下的光源照度場及物體反射光產(chǎn)生的反射場兩者的乘積來表示,稱為該圖像的照度-反射模型[7]. 對于獲取到的人臉圖像,通常是由光照分量和反射分量共同作用產(chǎn)生的.基于Retinex 理論作如下假設: 人臉圖像的光照分量主要集中于圖像中變化平緩的低頻部分,而反射分量則集中于圖像中邊緣、紋理等變化劇烈的高頻部分[8]. 因此需要盡可能地濾除掉人臉圖像中的細節(jié)信息,使提取出的光照分量只包含反映光照變化的信息. 本文基于多尺度高斯函數(shù)提取目標人臉圖像中的光照分量,對圖像進行光照補償.

在確保高斯函數(shù)滿足歸一化的條件下,將高斯函數(shù)與輸入圖像函數(shù)做卷積提取出光照分量:

為使提取出的光照分量兼具較好地整體與局部效果,采用多尺度高斯函數(shù),即對不同尺度高斯函數(shù)提取出的人臉圖像中的光照分量加權求和估計光照分量,其表達式為:

其中,G(x,y)為高斯函數(shù),F(x,y)為輸入圖像,I(x,y)為提取的光照分量,ωi為第i個尺度下高斯函數(shù)提取出的光照分量的加權系數(shù),*表示卷積.

(2)針對多尺度高斯函數(shù)提取出的目標人臉圖像中的光照分量,采用二維伽馬函數(shù)進行處理,結合光照分量參數(shù)的分布特性,實現(xiàn)二維伽馬函數(shù)參數(shù)的自適應調整,減少光照過強區(qū)域的亮度值,增加光照不足區(qū)域的亮度值,從而對目標人臉圖像的光照分量進行非線性校正,達到提高圖像質量的目的[9]. 二維伽馬函數(shù)的表達式如下:

其中,H(x,y)為自適應光照補償后圖像的亮度值函數(shù),γ為亮度值校正參數(shù),m為提取出的光照分量的亮度均值.

通過本文涉及的算法對目標人臉圖像進行光照補償,有 效地改善了圖像質量,極大地方便了圖像的后續(xù)處理.

1.2 基于高斯模型的膚色檢測

膚色模型是用函數(shù)的形式來表示目標人臉圖像中屬于膚色的像素點以確定膚色的分布規(guī)律,或者表達特定像素點的色彩與膚色的接近程度的模型[10],本文利用高斯函數(shù)來模擬膚色在YCbCr 色度空間的分布,基于統(tǒng)計學原理,在YCbCr 色彩空間構建高斯膚色模型,如圖1 所示. 一般來講,高斯膚色模型[11]的具體形式如下:

圖1 膚色檢測

2 基于積分投影的人眼粗定位

灰度積分投影是常用的定位方法,通過分析灰度圖像在某一特定方向上投影的分布特征,快速對圖像局部區(qū)域進行定位. 考慮到人眼區(qū)域在投影方向上的灰度積分值明顯低于人臉其他部位,本文采用積分投影的方法獲取眼睛的大致位置.

具體過程如下: 首先對膚色檢測過的人臉圖像沿坐標軸X 方向進行灰度積分投影,分別將每列中所有像素點的灰度值進行累加. 由于人臉五官的垂直積分投影幾乎平均分配在垂直積分投影圖上,因此只通過垂直投影并不能直接定位出人眼區(qū)域的位置; 于是再沿坐標軸Y 方向進行灰度積分投影,即分別把每行中所有像素點的灰度值進行累加. 人的眉毛、眼睛、鼻子和嘴巴部分的灰度值明顯區(qū)別于周圍區(qū)域,所以水平積分投影圖中會形成凹凸不平的曲線.

設F(x,y)為圖像中像素點(x,y)的灰度值,則在一幅大小為M×N圖像中,其水平灰度積分投影函數(shù)為:

垂直灰度積分投影函數(shù)為:

對人臉的投影曲線如圖2 所示.

圖2 灰度積分投影圖

觀察積分投影圖像,垂直灰度積分投影函數(shù)曲線的兩個波谷位置對應著眉眼區(qū)域,水平積分投影函數(shù)曲線的兩個波峰位置對應人面部的額頭和鼻子中間區(qū)域,波谷對應眉眼區(qū)域,于是通過搜索垂直和水平兩個方向的灰度積分投影函數(shù)分布特征極值,便可以快速定位出眉眼的大致位置. 粗定位出眉眼位置如圖3 所示.

圖3 眉眼粗定位

根據(jù)左右眼圖像灰度值分布特征,提取雙眼區(qū)域的邊界,實現(xiàn)雙眼區(qū)域的分別劃定,方便后續(xù)利用霍夫圓變換分別對兩只眼睛的瞳孔邊界進行擬合,實現(xiàn)瞳孔的獨立定位,如圖4 所示.

圖4 雙眼獨立定位

3 基于Hough 變換的瞳孔細定位

3.1 人眼區(qū)域邊緣檢測

在眼部區(qū)域圖像中,瞳孔邊緣中包含著重要的邊界定位信息,瞳孔與虹膜之間存在著灰度值變化很大的階躍型邊緣[12],這為檢測瞳孔邊緣提供了方便. Canny算子對噪聲的抑制能力強,在抑制噪聲和邊緣檢測方面有良好的平衡性,而瞳孔區(qū)域圖像常受到眼睫毛和光照噪聲的影響,故本文在獲得左、右眼的大致位置后,在粗定的人眼區(qū)域內利用Canny 算子檢測瞳孔邊緣.

Canny 算子邊緣檢測[13]的基本步驟如下:

(1)使用高斯平滑濾波器卷積降噪,對待檢測圖像進行平滑操作,去除噪聲;

(2)增強邊緣,利用不同梯度算子模板,獲取圖像梯度幅值以及方向;

(3)遍歷圖像,找出圖像梯度幅值的局部極大值點;

(4)通過設置雙閾值的方法來提取并連接圖像邊緣,即設置一個高閾值Thigh和低閾值Tlow,梯度幅值大于Thigh,一定在邊緣上,小于Tlow,排除邊界,位于兩者之間,則搜尋其鄰域像素,大于Tlow則保留,反之剔除為背景點.

假設待檢測圖像為f(x,y),高斯濾波函數(shù)為Gα(x,y),則梯度矢量g(x,y)為:

梯度矢量的模Mα為:

梯度矢量的方向Aα為:

其中,α為尺度因子,使得在Aα方向上Mα取得局部區(qū)域中極大值的點即為邊緣點. 由于睫毛眼皮等因素影響,完整獲取瞳孔邊緣還需要進行一系列形態(tài)學處理,邊緣檢測結果如圖5 所示.

圖5 Canny 邊緣檢測結果

3.2 Hough 圓變換

霍夫變換的基本思想是對于邊界上的點所組成的集合,找出共線的點集和相應的方程. 構造一個參數(shù)空間,把傳統(tǒng)坐標空間中的圖像像素點一一對應映射到該參數(shù)空間,由于傳統(tǒng)坐標系中的一個點映射到參數(shù)空間是一條曲線或一個面,因此可以建立一個交點累加器,基于投票的機制選取參數(shù)空間中的最多累積點的坐標作為參數(shù)確定原始圖像中物體的位置與形狀[14–16].

Hough 變換最早應用于對直線的檢測,后來隨著算法的改進與發(fā)展,逐漸被推廣到類似于圓和橢圓的曲線檢測. 本文選用Hough 圓變換檢測算法擬合瞳孔邊界. 其算法流程如下: 先估算圓心,沿同一圓上邊緣點的梯度畫線,這些線一定會交于圓心; 再估算半徑,統(tǒng)計從圓心到邊緣點的距離值,出現(xiàn)幾率最大者即為半徑,符合該半徑的邊緣點在圓上.

圖像空間中圓心為 (a,b),半徑為r的圓的表達式為:

霍夫圓檢測的問題就是求解經(jīng)過像素點最多的(a,b,r)參數(shù)對,在累加空間(a,b,r)中:

如圖6 所示,對于圖像空間上任一點(x,y),其對應著參數(shù)空間中的一個圓錐,而在參數(shù)空間中,經(jīng)Hough變換得到的錐面簇的交點對應的就是原圖在(x,y)平面上的圓,由此得到檢測圓的圓心位置和半徑.

圖6 霍夫變換圖示

霍夫圓變換算法流程如算法1 所示.

算法1. 霍夫圓變換算法流程1)構建(a,b,r)參數(shù)空間,把(x,y)平面上的像素點一一映射,同時創(chuàng)建一個記錄參數(shù)空間圓錐簇的交點累加器,設置初始值為0;2)遍歷圖像,依據(jù)公式對測試圓上的邊緣點依次進行霍夫變換,將結果在累加器上進行記錄;3)尋找累加器的局部最大值獲取目標參數(shù)(a,b,r),為提高準確性,不直接采用最大值,求取大致的平均位置來擬合測試圓.

擬合雙眼瞳孔邊界結果如圖7 所示.

圖7 瞳孔邊界擬合圖

4 實驗結果與分析

本文瞳孔測距實驗在以Matlab R2016a 為平臺的Intel(R)Core(TM)i5-7200U @2.50 GHz 8 GB 內存Windows 10 操作系統(tǒng)的PC 機實現(xiàn). 圖8 為本文方法與基于模板匹配的瞳孔定位效果對比圖,算法的運行時間分別為2.390 086 s 和4.626 804 s. 結果可見兩種方法都可以定位到雙眼的瞳孔區(qū)域,但是基于模板匹配的定位方法容易受模板影響而出現(xiàn)定位偏差.

圖8 瞳孔中心定位效果圖

表1 是用人工標定、基于模板匹配的方法與本文算法對同一幀圖像進行識別所得的瞳孔中心數(shù)據(jù)及瞳距測量結果(數(shù)據(jù)皆進行3 次測量,取其平均值),結果表明,運用本文算法所得到的瞳孔中心坐標數(shù)據(jù)和瞳距結果與人工標定結果的一致性比模板匹配的方法更好,且算法運行時間更短,該算法能夠更準確地測量瞳距,實時性更好.

表1 算法性能對比

為驗證本文算法的有效性,另外對seeprettyface 數(shù)據(jù)庫中15 幅包含人臉的圖片進行瞳孔定位及瞳距測量. 圖9 為本文方法部分實驗結果,十字位置即為算法定位的瞳孔中心位置. 利用Matlab R2016a 搭建人工標定瞳孔中心系統(tǒng)(數(shù)據(jù)皆進行3 次標定,且標定過程互不干擾,取其平均值),將該結果作為標準瞳孔中心位置. 圖10(a)與圖10(b)分別是基于模板匹配的方法與本文算法對15 幅圖像進行檢測所得的雙眼瞳孔中心數(shù)據(jù)與標準瞳孔中心位置的誤差. 圖10(c)分別表明雙眼瞳孔中心X,Y 坐標中心距離誤差的平均值以及瞳距的誤差平均值.

圖9 部分瞳孔中心定位實驗結果

通過圖10(a)與圖10(b)可見,本文提出的方法檢測出的左右雙眼的像素誤差基本穩(wěn)定在0–10 pixels 的范圍,部分定位效果欠佳,致使誤差較大,但在可接受范圍. 基于模板匹配的方法誤差穩(wěn)定在小于20 pixels的范圍,較本文方法略大,識別精度略低. 由圖10(c)可以看出本文方法識別的瞳距與標準瞳距偏離的誤差小于模板匹配方法,X,Y 坐標中心距離誤差和瞳距的平均誤差都在0–10 pixels 內,基本滿足面診中瞳孔定位與瞳距測量要求.

圖10 兩種算法識別的瞳孔中心與標準瞳孔中心誤差對比

5 結語

實現(xiàn)瞳距的自動檢測,在身份識別、醫(yī)療診斷、視光學研究和計算機視覺等領域都有著重要且廣泛的應用價值. 本文在人機交互技術高度發(fā)展的背景下,提出了一種基于光照補償技術、高斯膚色模型、灰度積分投影和Hough 圓變換的瞳距測量方法. 本文首先結合二維伽馬函數(shù)的自適應亮度校正方法對圖像進行光照補償,然后基于高斯膚色模型初步定位人臉,再運用灰度積分投影法,提取眼部區(qū)域,經(jīng)過一系列形態(tài)學操作,最后采用Canny 邊緣檢測算子檢測出瞳孔邊緣,將邊緣像素點信息轉換到參數(shù)空間,通過Hough 圓變換算法分別對雙眼瞳孔中心進行定位,計算瞳孔中心之間的距離來計算瞳距. 經(jīng)實驗檢驗,本文提出算法較好地實現(xiàn)了瞳孔中心的快速定位與瞳距的自動檢測,具有一定的實用價值,對瞳孔測距的智能化改進有重要意義.