鄭 爽，付冬梅

?

一種模糊紅外圖像人眼快速定位方法

鄭 爽，付冬梅

（北京科技大學(xué) 自動(dòng)化學(xué)院，北京 100083）

熱像儀拍攝的紅外圖像能夠反映人體表面的溫度分布，進(jìn)而間接反映其生理狀態(tài)。但紅外圖像目標(biāo)邊界不清晰，與可見(jiàn)光圖像相比目標(biāo)更加模糊，因此對(duì)目標(biāo)的定位和檢測(cè)更加困難。本文研究并提出了一種快速自動(dòng)定位人眼的方法，該方法從模板匹配的角度出發(fā)，結(jié)合模板和圖像子區(qū)域的灰度相似度和紋理相似度進(jìn)行匹配，同時(shí)利用Zernike矩和連通域分析篩選搜索點(diǎn)，減少了搜索次數(shù)。試驗(yàn)結(jié)果表明，本文提出的算法同經(jīng)典的基于灰度相關(guān)的模板匹配算法相比速度更快，準(zhǔn)確率更高。

紅外圖像；人眼定位；模板匹配

0 引言

人的體溫和健康存在著密切關(guān)系，利用熱像儀進(jìn)行溫度測(cè)量具有快速、非接觸、非入侵的優(yōu)勢(shì)，Barnes[1]在Science發(fā)表文章提出紅外熱圖像可以反映人的生理異常。近年來(lái)，已經(jīng)有越來(lái)越多的學(xué)者致力于發(fā)掘紅外熱成像技術(shù)在醫(yī)學(xué)輔助診斷中的潛能。T. Kamao等人[2]提出，眼部熱紅外圖像可用于干眼癥篩查；Su. T. Y.等人[3]發(fā)現(xiàn)眼表溫度大幅度變化區(qū)域同淚膜破裂區(qū)域在位置及面積上具有很強(qiáng)的一致性；Jen-Hong Tan等人[4]基于紅外熱成像技術(shù)提出了一種區(qū)分正常人和干眼癥人群的方法。但是這些文獻(xiàn)均為人工定位眼睛位置，且只針對(duì)單只眼進(jìn)行研究，至少進(jìn)行兩次試驗(yàn)才能獲取雙眼的溫度信息，而且當(dāng)需要對(duì)比雙眼溫度變化時(shí)，由于拍攝時(shí)間不同將使得比較結(jié)果不準(zhǔn)確。為了解決上述問(wèn)題，提升計(jì)算機(jī)輔助診斷系統(tǒng)的自動(dòng)化程度，本文利用AVIO公司生產(chǎn)的H2640紅外熱像儀拍攝了640×480像素大小的人臉圖像，該圖像可以同時(shí)反映雙眼溫度，但由于儀器分辨率的限制，為了獲得盡量多的眼部溫度信息，人臉在圖像中不完整。獲得人臉圖像后，自動(dòng)而精確地定位人眼從而成為眼部溫度分析前的關(guān)鍵步驟。

目前人眼定位技術(shù)有主要分為3類(lèi)：基于灰度特征、基于統(tǒng)計(jì)學(xué)習(xí)和基于模板匹配。謝秀珍等人[5]利用積分投影和“三庭五眼”的先驗(yàn)知識(shí)找到眉眼位置，但該方法易受眉毛、發(fā)型的影響，造成眼部定位不準(zhǔn)確。Shangfei Wang等人[6]提出了一種長(zhǎng)波紅外熱圖像人眼定位方法，利用Adaboost算法選擇Haar特征并用支持向量機(jī)進(jìn)行分類(lèi)，但該方法訓(xùn)練過(guò)程需要大量樣本，計(jì)算復(fù)雜度高，非常耗時(shí)。美國(guó)西弗吉尼亞大學(xué)Bourlai等人[7]基于模板匹配對(duì)紅外人臉圖像進(jìn)行眼睛定位，首先根據(jù)積分投影曲線找到臉部邊界以及眉毛水平位置，然后應(yīng)用歸一化互相關(guān)匹配算法，對(duì)平均眼模板和人臉兩側(cè)眉毛以下區(qū)域進(jìn)行灰度相似度度量，相關(guān)系數(shù)最高的點(diǎn)即為眼睛位置，但這種經(jīng)典的基于灰度歸一化互相關(guān)匹配算法存在計(jì)算量大、時(shí)間復(fù)雜度高的缺陷，且算法穩(wěn)定性較差。綜合上述算法的不足，本文針對(duì)紅外圖像較模糊、目標(biāo)和背景對(duì)比度低等特點(diǎn)，提出了一種快速的基于灰度和紋理特征匹配的人眼定位方法，不僅實(shí)現(xiàn)了模糊紅外圖像的人眼準(zhǔn)確定位而且減少了搜索點(diǎn)數(shù)提高了算法速率。

1 算法原理

紅外圖像同可見(jiàn)光圖像相比目標(biāo)更加模糊，非全臉圖像與全臉圖像相比可利用的面部結(jié)構(gòu)幾何關(guān)系的先驗(yàn)知識(shí)較少。且眉毛和發(fā)型對(duì)水平積分投影曲線干擾較大，很難根據(jù)水平積分投影曲線定位人眼水平位置。同時(shí)，僅根據(jù)灰度相似度進(jìn)行模板匹配受非人眼區(qū)域干擾較大，定位難度顯著增加。本文從模板匹配的角度出發(fā)，結(jié)合圖像同模板的灰度相似度、紋理相似度等信息進(jìn)行人眼定位，算法主要分為離線部分和在線部分，離線部分主要是平均眼模板生成，在線部分包括臉部輪廓提取、搜索點(diǎn)篩選及配對(duì)、模板匹配3個(gè)模塊。算法流程如圖1所示。

1.1 平均眼模板

進(jìn)行模板匹配之前需定義好眼模板，首先在人臉圖像上手動(dòng)截取人眼所在區(qū)域，然后對(duì)其進(jìn)行尺度標(biāo)準(zhǔn)化（本文取100×170像素）和灰度歸一化處理，經(jīng)過(guò)眼科專(zhuān)業(yè)醫(yī)生的指導(dǎo)與討論，本文從140余幅圖像中最終選擇了50幅眼部圖像，它們涵蓋了從20～70歲的年齡段、不同性別（男23幅，女27幅）、不同形狀和大小，取灰度平均得到平均人眼圖像，即平均眼模板，如圖2所示。

1.2 基于Zernike矩的臉部輪廓提取

首先，利用限制對(duì)比度自適應(yīng)直方圖均衡化對(duì)人臉圖像進(jìn)行對(duì)比度增強(qiáng)。然后利用7×7尺寸的Zernike算子[8]提取臉部輪廓得到二值邊緣圖像。圖3為理想的邊緣階躍模型。通過(guò)將不同階次的Zernike模板與圖像卷積獲取圖像相應(yīng)階次的Zernike矩，從而計(jì)算出每個(gè)像素點(diǎn)對(duì)應(yīng)的參數(shù)、、和，其中為背景灰度，為邊緣處階躍高度，為原點(diǎn)到邊緣的距離，為邊緣法線與軸方向的夾角，然后通過(guò)和的閾值判斷該點(diǎn)是否為邊緣點(diǎn)。

假設(shè)圖像為，圖像各階次的Zernike矩用表示，則：

式中：*表示復(fù)共軛；(,)為Zernike多項(xiàng)式：

式(1)中：(,)為灰度值，作為常數(shù)可移至積分外，計(jì)算得00、11、20的7×7尺寸的模板系數(shù)為M：

￠表示旋轉(zhuǎn)后的Zernike矩，有：

圖1 本文算法流程

圖2 平均眼模板

圖3 理想的邊緣階躍模型

由于Zernike矩有旋轉(zhuǎn)不變性，可計(jì)算出邊緣檢測(cè)需要的4個(gè)參數(shù)：

＝20/11￠(6)

式中：00、11、20為Zernike矩，11￠為圖像旋轉(zhuǎn)后的Zernike矩。

根據(jù)邊緣判定條件＞t?＞t判斷像素點(diǎn)是否為邊緣，閾值取t＝0.1Max[(,)]，t＝2.5。根據(jù)閾值判斷[,]為邊緣點(diǎn)后，考慮到模板效應(yīng)，需要把單位圓上計(jì)算出來(lái)的垂直距離放大/2倍，該點(diǎn)對(duì)應(yīng)的實(shí)際邊緣點(diǎn)坐標(biāo)為[s,s]，則有：

圖4為輪廓提取結(jié)果，其中圖4(a)為均衡化后的圖像；圖4(b)為Canny算子邊緣提取結(jié)果，雖然其保留了較多細(xì)節(jié)但同時(shí)存在很多干擾，圖4(c)為Sobel算子邊緣提取結(jié)果，相對(duì)于前者有了較大改善，但其所提取的輪廓連續(xù)性較差，不利于后續(xù)處理；圖4(d)為Zernike矩算子邊緣提取結(jié)果，相對(duì)于前兩者，該方法可以成功提取紅外人臉圖像的主要輪廓。

1.3 搜索點(diǎn)篩選及配對(duì)

對(duì)二值圖像進(jìn)行連續(xù)兩次形態(tài)學(xué)膨脹，結(jié)構(gòu)元素分別選擇線性和圓盤(pán)，對(duì)膨脹后的二值圖像按面積進(jìn)行連通域過(guò)濾，將過(guò)濾后連通域的中心作為候選人眼中心，圖5為二值圖像連通域分析結(jié)果，圖6在原圖中標(biāo)記了搜索點(diǎn)的位置，“●”表示候選人眼中心點(diǎn)，即搜索點(diǎn)。

以往利用模板匹配以及統(tǒng)計(jì)學(xué)習(xí)的方法對(duì)人眼進(jìn)行定位時(shí)，大多對(duì)全臉進(jìn)行搜索，搜索范圍大，本文通過(guò)輪廓提取和連通域分析可大大減小搜索次數(shù)，提升算法運(yùn)行速率。

圖4 輪廓提取結(jié)果

圖5 連通域分析結(jié)果

圖6 標(biāo)記搜索點(diǎn)

之后，對(duì)搜索點(diǎn)進(jìn)行篩選。眉毛發(fā)型對(duì)水平積分投影曲線干擾較大，很難定位人眼水平位置，如圖7所示。將垂直積分投影曲線最左側(cè)和最右側(cè)的峰值點(diǎn)所在的列作為人臉左右邊界，可得到人眼垂直位置，如圖8所示。去掉臉部邊界附近以及鼻子附近的搜索點(diǎn)。

圖7 水平積分投影曲線

圖8 垂直積分投影曲線

根據(jù)雙眼左右對(duì)稱(chēng)的先驗(yàn)規(guī)則對(duì)搜索點(diǎn)進(jìn)行配對(duì)，得到候選人眼中心對(duì)。設(shè)平均眼模板大小為×，以搜索點(diǎn)為中心大小為×的子區(qū)域稱(chēng)作候選人眼區(qū)域。

1.4 基于灰度和紋理特征的模板匹配

對(duì)圖像0°、45°、90°、135°方向上距離為1的兩個(gè)像素點(diǎn)進(jìn)行統(tǒng)計(jì)，得到灰度共生矩陣。根據(jù)灰度共生矩陣提取能量Asm、熵Ent、對(duì)比度Con、自相關(guān)性Corr四個(gè)紋理特征，可分別得到平均眼模板和候選人眼區(qū)域的紋理特征矩陣[9]。通過(guò)計(jì)算歸一化互相關(guān)系數(shù)對(duì)模板和候選人眼區(qū)域進(jìn)行灰度相似度度量和紋理特征相似度度量，將兩類(lèi)相似度按式(15)進(jìn)行加權(quán)，結(jié)果最高的候選區(qū)域?qū)礊殡p眼所在位置。

其中，紋理特征：

式中：X,j代表候選人眼區(qū)域，其中心在圖像中的坐標(biāo)為(,)，候選人眼區(qū)域和平均眼模板的歸一化互相關(guān)系數(shù)為：

式中：＝1,2；和分別為模板的行數(shù)和列數(shù)；1為候選人眼區(qū)域灰度矩陣；1為平均眼模板的灰度矩陣；2為候選人眼區(qū)域紋理特征矩陣；2為平均眼模板的紋理特征矩陣。

相似度加權(quán)：

0＝11＋22(15)

式中：12為權(quán)重系數(shù)；1為灰度相似度；2為紋理特征相似度，本文1取0.1，2取0.9。

2 仿真結(jié)果及分析

對(duì)所采集的71幅模糊紅外人臉圖像利用本文所提出的算法進(jìn)行仿真，并對(duì)人臉左右兩側(cè)眉毛以下的區(qū)域應(yīng)用經(jīng)典的基于灰度歸一化互相關(guān)匹配算法[7]進(jìn)行處理，將兩個(gè)結(jié)果進(jìn)行對(duì)比，表1為兩種算法平均處理時(shí)間以及定位準(zhǔn)確率。圖9為經(jīng)典算法處理結(jié)果，圖10為本文算法處理結(jié)果。

由表1可以看出，經(jīng)典的基于灰度相關(guān)模板匹配算法耗時(shí)長(zhǎng)、穩(wěn)定性差，而本文通過(guò)對(duì)匹配區(qū)域進(jìn)行篩選使得搜索點(diǎn)大大減少，算法速率提高了3.7倍。由圖4(a)中也可以看出圖像較模糊，經(jīng)典算法通常不能準(zhǔn)確定位到雙眼而本文算法可以進(jìn)行準(zhǔn)確定位，定位準(zhǔn)確率提升了1.5倍。

表1 不同算法對(duì)比

圖9 NCC算法處理結(jié)果

圖10 本文算法處理結(jié)果

3 結(jié)論

本文提出了一種模糊紅外圖像人眼快速定位方法，該方法與經(jīng)典的基于灰度相關(guān)的匹配算法相比，利用Zernike矩輪廓提取和連通域分析減少了搜索次數(shù)，將算法速率提升了3.7倍。另外，在匹配過(guò)程中，本文不僅對(duì)平均眼模板和待匹配子區(qū)域進(jìn)行了灰度相似度度量還結(jié)合了紋理特征進(jìn)行了相似度度量，將準(zhǔn)確率提升了1.5倍，為后續(xù)眼部溫度數(shù)據(jù)分析打下了良好的基礎(chǔ)。

致謝

感謝中國(guó)解放軍第306醫(yī)院眼科醫(yī)生，尤其是羅靈、高付林在圖像采集和篩選過(guò)程中給予的支持和幫助。

[1] Barnes R B. Thermography of the human body: infrared-radiant energy provides new concepts and instrumentation for medical diagnosis[J]., 1963, 3569 (140):870-877.

[2] Tomoyuki K, Masahiko Y, Shiro K, et al. Screening for dry eye with newly developed ocular surface thermographer[J]., 2011, 151(5):782-791.

[3] SU T Y, CHANG S W, YANG C J, et al. Direct observation and validation of fluoresce in tear film break-up patterns by using a dual thermal-fluorescent imaging system[J]., 2014, 5(8): 2614-2619.

[4] Acharya U R, Tan J H, Koh J E W, et al. Automated diagnosis of dry eye using infrared thermography images[J]., 2015, 71: 263-271.

[5] 謝秀珍, 唐琎, 陳守明, 等. 一種在紅外圖像中定位人眼的方法[J].計(jì)算機(jī)工程與應(yīng)用, 2011, 47(5): 202-205.

XIE Xiuzhen, TANG Jin, CHEN Shouming, et al. Method for eyes localization in infrared image[J]., 2011, 47(5): 202-205.

[6] WANG S, LIU Z, SHEN P, et al. Eye localization from thermal infrared images[J]., 2013, 46(10): 2613-2621.

[7] Bourlai T, Jafri Z. Eye detection in the middle-wave infrared spectrum: towards recognition in the dark[C]//2011(WIFS), 2011: 1-6.

[8] XIAO Peng Z, YUAN Wei B. Improved algorithm about subpixel edge detection based on Zernike moments and three-grayscale pattern[C]//2, 2009: 1-4.

[9] 侯旺, 孫曉亮, 尚洋, 等. 紅外弱小目標(biāo)檢測(cè)技術(shù)研究現(xiàn)狀與發(fā)展趨勢(shì)[J]. 紅外技術(shù), 2015, 37(1): 1-10

HOU Wang, SUN Xiao-liang, SHANG Yang, et al. Present state and perspectives of small infrared targets detection technology[J]., 2015, 37(1): 1-10.

Fast Eye Detection from Blurred Infrared Images

ZHENG Shuang，F(xiàn)U Dongmei

(,,100083,)

Thermal image taken by infrared thermography can reflect distributing of skin temperature and indirectly reflect the physiological status, but the boundary of the object in infrared image is not that clear. Compared with visible image, ‘the infrared one’ is much more blurred, which makes it harder to locate and detect targets. In this paper, a novel method based on template matching is proposed to detect eyes quickly. It can locate the eyes correctly by means of gray scale correlation and texture correlation between template image and sub-images. And the method of Zernike moment operator and connected component analysis are adopted to reduce the search times. The experiments show that this algorithm performs better in detecting rate and accuracy than classical template matching algorithm based on gray correlation.

infrared image，eye detection，template matching

TP391

A

1001-8891(2016)10-0845-05

2016-01-24；

2016-04-22.

鄭爽（1992-），河北人，碩士研究生，研究方向：紅外圖像處理。E-mail：subrinacheng@163.com.

付冬梅（1963-），女，北京人，教授，研究方向：紅外圖像技術(shù)，人工免疫計(jì)算、數(shù)據(jù)智能分析。E-mail：fdm2003@163.com。

國(guó)家自然科學(xué)基金（61272358）。