付雅慧，歐陽純萍，劉志明

（南華大學計算機科學與技術學院，衡陽 421000）

基于LBP模板匹配的人眼狀態(tài)檢測

付雅慧，歐陽純萍，劉志明

（南華大學計算機科學與技術學院，衡陽 421000）

提出一種基于LBP算子模板匹配的人眼狀態(tài)檢測方法。首先，對實驗中用到的圖像進行LBP算子計算，對樣本圖像和原始圖像的各個像素點進行相似度計算，得相似度矩陣。之后再通過模板匹配，得出眼睛的精確區(qū)域。最后根據(jù)一定的比例系數(shù)和相應的公式來識別眼睛的狀態(tài)。實驗表明，基于LBP算子的模板匹配可以更好突出眼睛的紋理特征，從而得到更高的正確率。

眼睛狀態(tài)檢測；LBP；模板匹配

0 引言

現(xiàn)如今社會壓力越來越大，疲勞工作的人越來越多，而許多惡性事件正是由于疲勞工作引起的。

通過檢測人眼睛的狀態(tài)可以判斷人是否處于疲勞狀態(tài)下，從而可以做出預警工作。同時眼睛的狀態(tài)還可以應用于活體識別等生物領域。因此，對于人眼狀態(tài)的檢測是一項非常有意義的研究課題。

目前對于人眼狀態(tài)的判斷的研究主要有以下幾種方法：

（1）基于Hough變換的方法

當人的眼睛睜開的時候，虹膜是清晰可見的，而虹膜又是圓形的，所以可以用基于Hough變化的方法來檢測圓形，從而來檢測是否有虹膜。但是這種方法很大程度上依賴于已經確定的人眼的范圍，并且會受到眼睫毛、眼瞼等各方面的干擾，當眼睛睜開的范圍較小時，虹膜不是完整的，對圓形的檢測有干擾，正確率隨之下降?；谧畛醯腍ough變化曹菊英［1］提出了通過水平投影和Hough變化的組合檢測的方法，這種方法的正確率有所提高，但是這種方法受到光照的影響很大。

（2）基于顏色特征的方法

眼睛睜開時和閉合時的顏色是有著明顯的不同的，睜開時人眼內有大量的黑色，而閉合時眼睛部分基本接近于膚色。因此Pooeh.R.Tabrizi［2］認為可以通過統(tǒng)計眼睛內的白色色素的比例直接判斷眼睛的狀態(tài)，但是這種方法會受到光線和周圍環(huán)境的影響，因此準確率還有待提高。

（3）其他方法

楊英［3］劉艷麗［4］等提出了基于神經網絡的狀態(tài)檢測；秦華標［5］提出了基于紅外光源的狀態(tài)檢測；劉春輝［6］提出了基于模板匹配的方法。以上的這些方法都可以用于眼睛狀態(tài)的檢測。

本文使用的是基于LBP的模板匹配檢測方法。是將LBP計算和模板匹配組合起來的一種方法，通過將原有圖像轉換為LBP圖像，突出其邊緣的特征，進而進行模板匹配，使得模板匹配時特征更加明顯，匹配得到的結果更加準確。此方法不受光線和外界環(huán)境的影響，可以準確地判斷眼睛是睜開還是閉合。

1 眼睛狀態(tài)檢測系統(tǒng)框架設計

對眼睛狀態(tài)的檢測是指判斷當前圖像人的眼睛是處于睜開狀態(tài)還是閉合狀態(tài)，根據(jù)這一目標主要開展以下工作：（1）對所有的圖像進行灰度轉換和高斯濾波預處理。（2）將得到的圖像進行LBP算子計算，轉為LBP圖像。（3）通過各個像素點的LBP值計算得到相似度矩陣，從而計算出兩幅圖像的相似度。（4）根據(jù)圖像的相似度值和相應的公式判斷得出眼睛的狀態(tài)。

圖1 系統(tǒng)框架設計

2 眼睛狀態(tài)檢測方法

2.1 圖像預處理

在實驗開始前，應對要用到的圖像進行預處理，LBP計算是以像素點的灰度值進行比較，所以應將所有的圖像轉化為灰度圖。為了使圖像更加細膩，我們對得到的灰度圖進行去噪處理，即將其進行高斯濾波轉化。經過以上兩步預處理后的圖像就可以用于LBP計算了。

2.2 LBP 介紹

LBP指局部二值模式，英文全稱：Local Binary Patterns。主要用于紋理特征的提取，而且是針對局部圖像的紋理特征進行提取。

原始的LBP算子是以3×3大小的窗口為基礎，以窗口中心點像素為閾值，與其周圍8個點的像素進行比較，如果周圍點的像素值比中心點小，則該點位置標記為0，否則標記為1。這樣便可得到由周圍點組成的一個8位二進制值（通常轉化為十進制），該值就是窗口中心像素點的LBP值，可以用來表示該區(qū)域圖像的紋理特征。如圖2所示。

將得到的二進制值轉換為十進制便可以用來代表該點的LBP值，用于以后的計算。

LBP算法還經過不斷的改進和優(yōu)化，有圓形LBP算子、LBP旋轉不變模式、LBP等價模式等，我們的系統(tǒng)采用原始的3×3 LBP算子，所以對其他的方法不予過多的介紹。之所以采用LBP算子來提取紋理的特征，是因為其不會受到光線的影響。它是與周圍像素點進行對比，得到像素差值，在同一幅圖像中如果收到光線影響，那么所有的點都會受到光線的影響，但它們之間還是保持著固定的差值，這便使得LBP的結果是準確的，不會隨著光線的改變而改變。

圖2 LBP算子計算

2.3 圖像匹配

根據(jù)圖像相似度來確定兩幅圖像是否匹配，圖像的相似度可以用LBP矩陣來進行計算，每一幅圖像通過計算各個像素點的LBP值都可以得到一幅LBP矩陣。對矩陣中的每個點都進行如圖3的計算：

圖3 相似度計算

對于其中的兩個像素點的LBP值進行異或運算，若異或為0，則相似度加1。如上圖所示，這兩個像素點相似度為2。計算出每個像素點的相似度之后便可以得到整幅圖像的相似度矩陣，將相似度矩陣內所有值相加便得到兩幅圖像的相似度，用于后期眼睛狀態(tài)的判斷與比較。

2.4 識別眼睛狀態(tài)

經過圖像匹配之后，便可以識別眼睛的狀態(tài)，這里將眼睛狀態(tài)分為兩種，睜眼與閉眼。本系統(tǒng)使用的睜閉眼樣本如圖4所示，將攝像頭采集到的眼睛部分與睜閉眼樣本進行圖像匹配，使用2.3圖像匹配中介紹的方法。

首先我們可以用OpenCV的haarcascade級聯(lián)分類器確定出眼睛的大致位置，然后用睜眼和閉眼的樣本和當前位置匹配，得到相似度最高的睜眼和閉眼的位置，分別記其相似度為SO和SC，令S=SO-SC。若眼睛處于睜開狀態(tài)則S達到最大值S_MAX，若眼睛處于閉合狀態(tài)則S達到最小值S_MIN。我們需要確定一個閾值，使得可以判斷出何時為睜眼何時為閉眼。閾值的公式如下：

Threshold=S_MIN+（S_MAX-S_MIN）×Ratio

其中Ratio為睜閉眼分界的系數(shù)，可以根據(jù)睜閉眼樣本的情況自行確定，0≤Ratio≤1。當S≥Threshold時，眼睛為睜開狀態(tài)；否則，眼睛為閉合狀態(tài)。

圖4 睜閉眼樣本

3 系統(tǒng)實現(xiàn)和結果

3.1 改變圖像尺寸

因為樣本的尺寸是固定的，而攝像頭采集的視頻中人臉大小是隨著人臉與攝像頭間距離的變化而不停變化著的，所以不能直接用攝像頭采集到的圖像去和樣本進行匹配。一般情況下人的眼睛和臉的尺寸大小是成一固定比例，我們可以選擇固定樣本的尺寸，改變攝像頭采集的圖像的尺寸，反之，也可以。在本系統(tǒng)中使用前者，樣本圖像的尺寸是知道的，通過眼睛和人臉的比例關系計算出應將攝像頭采集到的人臉圖像調整為多大尺寸。

3.2 進行LBP計算

進行LBP計算前需對圖像進行預處理。首先將原始圖像轉化為灰度圖，得到灰度圖 如圖7。然后對灰度圖進行高斯濾波處理，去除圖像的噪聲得到高斯濾波后的圖像，如圖8。

圖5 原始圖像

圖6 獲取人臉及改變尺寸圖像

圖7 灰度圖

圖8 高斯濾波圖

經過這兩步預處理之后，對圖像進行LBP計算，根據(jù)上述方法，計算出樣本和采集到的圖像的LBP值。

圖9 樣本睜眼LBP圖

圖10 原圖睜眼LBP圖

圖11 樣本閉眼LBP圖

圖12 原圖閉眼LBP圖

3.3 圖像匹配

根據(jù)計算出的LBP值，在眼睛的大致區(qū)域內進行相似度匹配，用2.4所述的方法，相似度最高的地方便確定為眼睛的精確位置。根據(jù)得出的眼睛的精確位置，進行眼睛狀態(tài)的判斷，分別用睜閉眼的樣本和采集到的圖像進行匹配，根據(jù)2.4中提到的公式，來判斷是睜眼還是閉眼。

3.4 實驗結果

圖13

為了檢測實驗效果，對班級30多名同學進行了眼睛狀態(tài)的測試。每個同學分別錄制了一段1分鐘長的視頻，其中前40s睜眼，后20s閉眼。將視頻分解得到了650W幀的圖像，通過程序分析，睜眼圖像約350W張。實驗正確率達到80%。

4 結語

本文研究了對眼睛狀態(tài)的識別算法，通過將原始圖像轉換為LBP圖像，分別計算圖像與睜閉眼樣本的相似度，而后進行模板匹配，得出眼睛的狀態(tài)結果。但是當眼睛睜開的程度較小的時候，睜眼和閉眼的圖像差別不是很大，匹配的時候也會出現(xiàn)不是很準確的情況，所以下一步的工作可以考慮使用改進的LBP算子計算方法，使得特征更加突出。同時對于睜閉眼的臨界系數(shù)可以通過大量的實驗調整到一個最合適的值。

［1］曹菊英，趙躍龍.基于水平投影和Hough查找圓法的人眼狀態(tài)識別研究［J］.科學技術與工程，2007（09）

［2］Pooneh.R.Tabrizi，Reza.A.Zoroofi.Open/Closed Eye Analysis for Drowsiness Detection［C］.Image Processing Theory，Tools&Appli cations，2008.IPTA 2008.First Workshops on.23-26 Nov.2008 Page（s）：1-7.

［3］楊英，盛敬，楊佳，周巍.基于神經網絡的駕駛員覺醒水平雙目標監(jiān)測法［J］.東北大學學報（自然科學版），2007（03）

［4］劉艷麗，張恒，劉覺夫.基于眼部狀態(tài)分類的駕駛員疲勞監(jiān)測方法研究 ［C］.Control and Decision Conference，2008.CCDC 2008. Chinese 2-4 July 2008 Page（s）：2257-2260.

［5］秦華標，劉軍，林建文.一種紅外條件下的新型眼睛狀態(tài)識別算法［J］.光電子·激光，2013（12）

［6］劉春輝.基于模板匹配和LK的人眼跟蹤研究［D］.天津大學，2012.

Eye State Detection Based on LBP Template Matching

FU Ya-hui，OUYANG Chun-ping，LIU Zhi-ming
（School of Computer Science and Technology，University of South China，Hengyang 421000）

Presents the state of the eye detection method based on a LBP operator template matching.First，the image used in the experiment LBP operator is calculated for each pixel of the original image and the sample image similarity calculation to obtain similarity matrix.After through template matching，draws precise regions of the eye.Finally，according to a certain scale factor and the corresponding formula to identify the state of the eye.Experimental results show that the template matching based on LBP operator can better highlight the texture characteristics of the eye，resulting in higher accuracy.

Eye State Detection；LBP；Template Matching

1007-1423（2016）21-0035-04

10.3969/j.issn.1007-1423.2016.21.008

付雅慧（1994-），女，河北省張家口人，本科生，研究方向為計算機圖像處理

歐陽純萍（1979-），女，湖南衡陽人，副教授，碩士生導師，研究方向為自然語言處理、語義網

劉志明（1972-），男，湖南瀏陽人，教授，碩士生導師，研究方向為大數(shù)據(jù)分析、知識工程

2016-05-04

2016-07-12

湖南省哲學社會科學基金（No.14YBA335）