付雅慧，歐陽(yáng)純萍，劉志明

（南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，衡陽(yáng) 421000）

基于LBP模板匹配的人眼狀態(tài)檢測(cè)

付雅慧，歐陽(yáng)純萍，劉志明

（南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，衡陽(yáng) 421000）

提出一種基于LBP算子模板匹配的人眼狀態(tài)檢測(cè)方法。首先，對(duì)實(shí)驗(yàn)中用到的圖像進(jìn)行LBP算子計(jì)算，對(duì)樣本圖像和原始圖像的各個(gè)像素點(diǎn)進(jìn)行相似度計(jì)算，得相似度矩陣。之后再通過(guò)模板匹配，得出眼睛的精確區(qū)域。最后根據(jù)一定的比例系數(shù)和相應(yīng)的公式來(lái)識(shí)別眼睛的狀態(tài)。實(shí)驗(yàn)表明，基于LBP算子的模板匹配可以更好突出眼睛的紋理特征，從而得到更高的正確率。

眼睛狀態(tài)檢測(cè)；LBP；模板匹配

0 引言

現(xiàn)如今社會(huì)壓力越來(lái)越大，疲勞工作的人越來(lái)越多，而許多惡性事件正是由于疲勞工作引起的。

通過(guò)檢測(cè)人眼睛的狀態(tài)可以判斷人是否處于疲勞狀態(tài)下，從而可以做出預(yù)警工作。同時(shí)眼睛的狀態(tài)還可以應(yīng)用于活體識(shí)別等生物領(lǐng)域。因此，對(duì)于人眼狀態(tài)的檢測(cè)是一項(xiàng)非常有意義的研究課題。

目前對(duì)于人眼狀態(tài)的判斷的研究主要有以下幾種方法：

（1）基于Hough變換的方法

當(dāng)人的眼睛睜開(kāi)的時(shí)候，虹膜是清晰可見(jiàn)的，而虹膜又是圓形的，所以可以用基于Hough變化的方法來(lái)檢測(cè)圓形，從而來(lái)檢測(cè)是否有虹膜。但是這種方法很大程度上依賴于已經(jīng)確定的人眼的范圍，并且會(huì)受到眼睫毛、眼瞼等各方面的干擾，當(dāng)眼睛睜開(kāi)的范圍較小時(shí)，虹膜不是完整的，對(duì)圓形的檢測(cè)有干擾，正確率隨之下降?；谧畛醯腍ough變化曹菊英［1］提出了通過(guò)水平投影和Hough變化的組合檢測(cè)的方法，這種方法的正確率有所提高，但是這種方法受到光照的影響很大。

（2）基于顏色特征的方法

眼睛睜開(kāi)時(shí)和閉合時(shí)的顏色是有著明顯的不同的，睜開(kāi)時(shí)人眼內(nèi)有大量的黑色，而閉合時(shí)眼睛部分基本接近于膚色。因此Pooeh.R.Tabrizi［2］認(rèn)為可以通過(guò)統(tǒng)計(jì)眼睛內(nèi)的白色色素的比例直接判斷眼睛的狀態(tài)，但是這種方法會(huì)受到光線和周圍環(huán)境的影響，因此準(zhǔn)確率還有待提高。

（3）其他方法

楊英［3］劉艷麗［4］等提出了基于神經(jīng)網(wǎng)絡(luò)的狀態(tài)檢測(cè)；秦華標(biāo)［5］提出了基于紅外光源的狀態(tài)檢測(cè)；劉春輝［6］提出了基于模板匹配的方法。以上的這些方法都可以用于眼睛狀態(tài)的檢測(cè)。

本文使用的是基于LBP的模板匹配檢測(cè)方法。是將LBP計(jì)算和模板匹配組合起來(lái)的一種方法，通過(guò)將原有圖像轉(zhuǎn)換為L(zhǎng)BP圖像，突出其邊緣的特征，進(jìn)而進(jìn)行模板匹配，使得模板匹配時(shí)特征更加明顯，匹配得到的結(jié)果更加準(zhǔn)確。此方法不受光線和外界環(huán)境的影響，可以準(zhǔn)確地判斷眼睛是睜開(kāi)還是閉合。

1 眼睛狀態(tài)檢測(cè)系統(tǒng)框架設(shè)計(jì)

對(duì)眼睛狀態(tài)的檢測(cè)是指判斷當(dāng)前圖像人的眼睛是處于睜開(kāi)狀態(tài)還是閉合狀態(tài)，根據(jù)這一目標(biāo)主要開(kāi)展以下工作：（1）對(duì)所有的圖像進(jìn)行灰度轉(zhuǎn)換和高斯濾波預(yù)處理。（2）將得到的圖像進(jìn)行LBP算子計(jì)算，轉(zhuǎn)為L(zhǎng)BP圖像。（3）通過(guò)各個(gè)像素點(diǎn)的LBP值計(jì)算得到相似度矩陣，從而計(jì)算出兩幅圖像的相似度。（4）根據(jù)圖像的相似度值和相應(yīng)的公式判斷得出眼睛的狀態(tài)。

圖1 系統(tǒng)框架設(shè)計(jì)

2 眼睛狀態(tài)檢測(cè)方法

2.1 圖像預(yù)處理

在實(shí)驗(yàn)開(kāi)始前，應(yīng)對(duì)要用到的圖像進(jìn)行預(yù)處理，LBP計(jì)算是以像素點(diǎn)的灰度值進(jìn)行比較，所以應(yīng)將所有的圖像轉(zhuǎn)化為灰度圖。為了使圖像更加細(xì)膩，我們對(duì)得到的灰度圖進(jìn)行去噪處理，即將其進(jìn)行高斯濾波轉(zhuǎn)化。經(jīng)過(guò)以上兩步預(yù)處理后的圖像就可以用于LBP計(jì)算了。

2.2 LBP 介紹

LBP指局部二值模式，英文全稱：Local Binary Patterns。主要用于紋理特征的提取，而且是針對(duì)局部圖像的紋理特征進(jìn)行提取。

原始的LBP算子是以3×3大小的窗口為基礎(chǔ)，以窗口中心點(diǎn)像素為閾值，與其周圍8個(gè)點(diǎn)的像素進(jìn)行比較，如果周圍點(diǎn)的像素值比中心點(diǎn)小，則該點(diǎn)位置標(biāo)記為0，否則標(biāo)記為1。這樣便可得到由周圍點(diǎn)組成的一個(gè)8位二進(jìn)制值（通常轉(zhuǎn)化為十進(jìn)制），該值就是窗口中心像素點(diǎn)的LBP值，可以用來(lái)表示該區(qū)域圖像的紋理特征。如圖2所示。

將得到的二進(jìn)制值轉(zhuǎn)換為十進(jìn)制便可以用來(lái)代表該點(diǎn)的LBP值，用于以后的計(jì)算。

LBP算法還經(jīng)過(guò)不斷的改進(jìn)和優(yōu)化，有圓形LBP算子、LBP旋轉(zhuǎn)不變模式、LBP等價(jià)模式等，我們的系統(tǒng)采用原始的3×3 LBP算子，所以對(duì)其他的方法不予過(guò)多的介紹。之所以采用LBP算子來(lái)提取紋理的特征，是因?yàn)槠洳粫?huì)受到光線的影響。它是與周圍像素點(diǎn)進(jìn)行對(duì)比，得到像素差值，在同一幅圖像中如果收到光線影響，那么所有的點(diǎn)都會(huì)受到光線的影響，但它們之間還是保持著固定的差值，這便使得LBP的結(jié)果是準(zhǔn)確的，不會(huì)隨著光線的改變而改變。

圖2 LBP算子計(jì)算

2.3 圖像匹配

根據(jù)圖像相似度來(lái)確定兩幅圖像是否匹配，圖像的相似度可以用LBP矩陣來(lái)進(jìn)行計(jì)算，每一幅圖像通過(guò)計(jì)算各個(gè)像素點(diǎn)的LBP值都可以得到一幅LBP矩陣。對(duì)矩陣中的每個(gè)點(diǎn)都進(jìn)行如圖3的計(jì)算：

圖3 相似度計(jì)算

對(duì)于其中的兩個(gè)像素點(diǎn)的LBP值進(jìn)行異或運(yùn)算，若異或?yàn)?，則相似度加1。如上圖所示，這兩個(gè)像素點(diǎn)相似度為2。計(jì)算出每個(gè)像素點(diǎn)的相似度之后便可以得到整幅圖像的相似度矩陣，將相似度矩陣內(nèi)所有值相加便得到兩幅圖像的相似度，用于后期眼睛狀態(tài)的判斷與比較。

2.4 識(shí)別眼睛狀態(tài)

經(jīng)過(guò)圖像匹配之后，便可以識(shí)別眼睛的狀態(tài)，這里將眼睛狀態(tài)分為兩種，睜眼與閉眼。本系統(tǒng)使用的睜閉眼樣本如圖4所示，將攝像頭采集到的眼睛部分與睜閉眼樣本進(jìn)行圖像匹配，使用2.3圖像匹配中介紹的方法。

首先我們可以用OpenCV的haarcascade級(jí)聯(lián)分類器確定出眼睛的大致位置，然后用睜眼和閉眼的樣本和當(dāng)前位置匹配，得到相似度最高的睜眼和閉眼的位置，分別記其相似度為SO和SC，令S=SO-SC。若眼睛處于睜開(kāi)狀態(tài)則S達(dá)到最大值S_MAX，若眼睛處于閉合狀態(tài)則S達(dá)到最小值S_MIN。我們需要確定一個(gè)閾值，使得可以判斷出何時(shí)為睜眼何時(shí)為閉眼。閾值的公式如下：

Threshold=S_MIN+（S_MAX-S_MIN）×Ratio

其中Ratio為睜閉眼分界的系數(shù)，可以根據(jù)睜閉眼樣本的情況自行確定，0≤Ratio≤1。當(dāng)S≥Threshold時(shí)，眼睛為睜開(kāi)狀態(tài)；否則，眼睛為閉合狀態(tài)。

圖4 睜閉眼樣本

3 系統(tǒng)實(shí)現(xiàn)和結(jié)果

3.1 改變圖像尺寸

因?yàn)闃颖镜某叽缡枪潭ǖ?，而攝像頭采集的視頻中人臉大小是隨著人臉與攝像頭間距離的變化而不停變化著的，所以不能直接用攝像頭采集到的圖像去和樣本進(jìn)行匹配。一般情況下人的眼睛和臉的尺寸大小是成一固定比例，我們可以選擇固定樣本的尺寸，改變攝像頭采集的圖像的尺寸，反之，也可以。在本系統(tǒng)中使用前者，樣本圖像的尺寸是知道的，通過(guò)眼睛和人臉的比例關(guān)系計(jì)算出應(yīng)將攝像頭采集到的人臉圖像調(diào)整為多大尺寸。

3.2 進(jìn)行LBP計(jì)算

進(jìn)行LBP計(jì)算前需對(duì)圖像進(jìn)行預(yù)處理。首先將原始圖像轉(zhuǎn)化為灰度圖，得到灰度圖 如圖7。然后對(duì)灰度圖進(jìn)行高斯濾波處理，去除圖像的噪聲得到高斯濾波后的圖像，如圖8。

圖5 原始圖像

圖6 獲取人臉及改變尺寸圖像

圖7 灰度圖

圖8 高斯濾波圖

經(jīng)過(guò)這兩步預(yù)處理之后，對(duì)圖像進(jìn)行LBP計(jì)算，根據(jù)上述方法，計(jì)算出樣本和采集到的圖像的LBP值。

圖9 樣本睜眼LBP圖

圖10 原圖睜眼LBP圖

圖11 樣本閉眼LBP圖

圖12 原圖閉眼LBP圖

3.3 圖像匹配

根據(jù)計(jì)算出的LBP值，在眼睛的大致區(qū)域內(nèi)進(jìn)行相似度匹配，用2.4所述的方法，相似度最高的地方便確定為眼睛的精確位置。根據(jù)得出的眼睛的精確位置，進(jìn)行眼睛狀態(tài)的判斷，分別用睜閉眼的樣本和采集到的圖像進(jìn)行匹配，根據(jù)2.4中提到的公式，來(lái)判斷是睜眼還是閉眼。

3.4 實(shí)驗(yàn)結(jié)果

圖13

為了檢測(cè)實(shí)驗(yàn)效果，對(duì)班級(jí)30多名同學(xué)進(jìn)行了眼睛狀態(tài)的測(cè)試。每個(gè)同學(xué)分別錄制了一段1分鐘長(zhǎng)的視頻，其中前40s睜眼，后20s閉眼。將視頻分解得到了650W幀的圖像，通過(guò)程序分析，睜眼圖像約350W張。實(shí)驗(yàn)正確率達(dá)到80%。

4 結(jié)語(yǔ)

本文研究了對(duì)眼睛狀態(tài)的識(shí)別算法，通過(guò)將原始圖像轉(zhuǎn)換為L(zhǎng)BP圖像，分別計(jì)算圖像與睜閉眼樣本的相似度，而后進(jìn)行模板匹配，得出眼睛的狀態(tài)結(jié)果。但是當(dāng)眼睛睜開(kāi)的程度較小的時(shí)候，睜眼和閉眼的圖像差別不是很大，匹配的時(shí)候也會(huì)出現(xiàn)不是很準(zhǔn)確的情況，所以下一步的工作可以考慮使用改進(jìn)的LBP算子計(jì)算方法，使得特征更加突出。同時(shí)對(duì)于睜閉眼的臨界系數(shù)可以通過(guò)大量的實(shí)驗(yàn)調(diào)整到一個(gè)最合適的值。

［1］曹菊英，趙躍龍.基于水平投影和Hough查找圓法的人眼狀態(tài)識(shí)別研究［J］.科學(xué)技術(shù)與工程，2007（09）

［2］Pooneh.R.Tabrizi，Reza.A.Zoroofi.Open/Closed Eye Analysis for Drowsiness Detection［C］.Image Processing Theory，Tools&Appli cations，2008.IPTA 2008.First Workshops on.23-26 Nov.2008 Page（s）：1-7.

［3］楊英，盛敬，楊佳，周巍.基于神經(jīng)網(wǎng)絡(luò)的駕駛員覺(jué)醒水平雙目標(biāo)監(jiān)測(cè)法［J］.東北大學(xué)學(xué)報(bào)（自然科學(xué)版），2007（03）

［4］劉艷麗，張恒，劉覺(jué)夫.基于眼部狀態(tài)分類的駕駛員疲勞監(jiān)測(cè)方法研究 ［C］.Control and Decision Conference，2008.CCDC 2008. Chinese 2-4 July 2008 Page（s）：2257-2260.

［5］秦華標(biāo)，劉軍，林建文.一種紅外條件下的新型眼睛狀態(tài)識(shí)別算法［J］.光電子·激光，2013（12）

［6］劉春輝.基于模板匹配和LK的人眼跟蹤研究［D］.天津大學(xué)，2012.

Eye State Detection Based on LBP Template Matching

FU Ya-hui，OUYANG Chun-ping，LIU Zhi-ming
（School of Computer Science and Technology，University of South China，Hengyang 421000）

Presents the state of the eye detection method based on a LBP operator template matching.First，the image used in the experiment LBP operator is calculated for each pixel of the original image and the sample image similarity calculation to obtain similarity matrix.After through template matching，draws precise regions of the eye.Finally，according to a certain scale factor and the corresponding formula to identify the state of the eye.Experimental results show that the template matching based on LBP operator can better highlight the texture characteristics of the eye，resulting in higher accuracy.

Eye State Detection；LBP；Template Matching

1007-1423（2016）21-0035-04

10.3969/j.issn.1007-1423.2016.21.008

付雅慧（1994-），女，河北省張家口人，本科生，研究方向?yàn)橛?jì)算機(jī)圖像處理

歐陽(yáng)純萍（1979-），女，湖南衡陽(yáng)人，副教授，碩士生導(dǎo)師，研究方向?yàn)樽匀徽Z(yǔ)言處理、語(yǔ)義網(wǎng)

劉志明（1972-），男，湖南瀏陽(yáng)人，教授，碩士生導(dǎo)師，研究方向?yàn)榇髷?shù)據(jù)分析、知識(shí)工程

2016-05-04

2016-07-12

湖南省哲學(xué)社會(huì)科學(xué)基金（No.14YBA335）