謝勤嵐，王西剛

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢 430074)

基于智能視頻的人機交互是計算機視覺的一個重要應(yīng)用領(lǐng)域，它主要是實時地監(jiān)測視頻場景中感興趣的交互對象及其動作，如手勢，面部動作等.通過對感興趣對象的跟蹤和檢測，來判斷對象的目的，以實現(xiàn)交流或控制等任務(wù).實時識別眼部動作就是一種有效的交互方式.

本文利用攝像機和圖像采集處理單元，設(shè)計了一種靜態(tài)背景下眼部動作實時識別系統(tǒng).它將使用者的眼部作為一個實時的特征模板，對當(dāng)前采集的圖像連續(xù)地進行匹配檢測，找出眼部的位置并對其動作進行分析，返回一系列參數(shù)，實現(xiàn)對鼠標(biāo)的控制.考慮到眨眼的瞬時性和眼部顏色特征的高相似性，本文沒有采用當(dāng)前比較流行的混合高斯背景運動檢測方法和基于顏色特種匹配的連續(xù)自適應(yīng)均值漂移的跟蹤方法[1]，而采用速度較快的幀差法來檢測眼部動作，用模板匹配和輪廓查找的方式來實現(xiàn)眼部定位[2]，并用實時模板匹配相似度的大小分析眼部的動作.

1 眼部位置的識別

在面部動作識別[3]的過程中一般對面部的靜態(tài)區(qū)域不感興趣而只是對面部某些變動的區(qū)域感興趣.很多情況下研究者希望將感興趣的區(qū)域分割出來，比如眼或嘴.這樣就可以把圖像預(yù)處理成包含感興趣區(qū)域的圖像，這些區(qū)域由有意義的超像素(super pixel)所組成.這些超像素的使用節(jié)省了大量的處理和計算時間，因為在對一幅圖像做目標(biāo)特征匹配時，只需要在感興趣的區(qū)域進行搜索，而不需要搜索整個圖像.目標(biāo)特征檢測方法最初由Paul Viola提出，并由Rainer Lienhart對這一方法進行了改進，他利用樣本的haar特征進行分類器的訓(xùn)練，得到一個級聯(lián)的boosted分類器.分類器訓(xùn)練完成之后，就可以用于圖像中感興趣區(qū)域的檢測.若檢測到目標(biāo)則輸出1；否則輸出0.但是這種分類器的檢測方法只能用于目標(biāo)的檢測，無法對目標(biāo)后續(xù)的動作進行分析，而且用haar訓(xùn)練器檢測眼睛時眨眼的瞬間目標(biāo)會丟失.所以本文放棄了此種方法并，而是把眼睛位置的識別轉(zhuǎn)化為前景運動的檢測來考慮.目前主要的運動檢測方法有光流法、混合高斯背景建模、幀差等.光流法計算量大而且計算復(fù)雜，不能對眨眼的瞬間做很好的實時檢測，此外它對硬件有較高的要求不適用于對實時性要求較高的領(lǐng)域.混合高斯背景建模是對每一個像素運用混合高斯模型進行建模，并利用像素迭代進行模型的參數(shù)更新，它適用于背景圖像變化并且物體運動不快的視頻環(huán)境中.而對于眼部動作檢測，它的實時性并沒有幀差的效果好.更重要的是幀差可以較好的捕捉運動目標(biāo)的邊緣，這為系統(tǒng)后續(xù)的輪廓檢測提供了極大的便利.比較以上幾種方法本文選擇了幀差.

1.1 幀差法原理

幀差法[4]是最為常用的運動目標(biāo)檢測和分割方法之一，基本原理就是在圖像序列相鄰2幀或3幀間采用基于像素的時間差分通過閉值化來提取出圖像中的運動區(qū)域，即：

f(x,y)=fk+1(x,y-fk(x,y)

(1)

式中，f(x,y)是運動區(qū)域像素值，fk(x,y)是前幀圖像像素值，fk+1(x,y)是當(dāng)前幀圖像像素值.首先，將相鄰幀圖像對應(yīng)像素值相減得到差分圖像，然后對差分圖像二值化，在環(huán)境亮度變化不大的情況下，如果對應(yīng)像素值變化小于事先確定的閾值時，可以認(rèn)為此處為背景像素；如果圖像區(qū)域的像素值變化很大，可以認(rèn)為這是由于圖像中運動物體引起的，將這些區(qū)域標(biāo)記為前景像素，利用標(biāo)記的像素區(qū)域可以確定運動目標(biāo)在圖像中的位置，即：

(2)

g(x,y)是經(jīng)過閾值處理后的像素值，f(x,y)是幀差后的像素值，t為設(shè)定的閾值，由于相鄰兩幀間的時間間隔非常短，用前一幀圖像作為當(dāng)前幀的背景模型具有較好的實時性，其背景不積累，且更新速度快、算法簡單、計算量小.算法的不足在于對環(huán)境噪聲較為敏感，閾值的選擇相當(dāng)關(guān)鍵，選擇過低不足以抑制圖像中的噪聲，過高則忽略了圖像中有用的變化.圖像閾值處理的結(jié)果如圖1所示.

圖1 原始和閾值處理圖

由于圖像總會受到噪聲和波動的影響所以目標(biāo)的二值化圖像存在一定的噪聲干擾，本文還使用了形態(tài)學(xué)方法來進一步去除噪聲，使感興趣的區(qū)域輪廓更加清晰.

1.2 形態(tài)學(xué)處理

因為運動目標(biāo)表面紋理不夠，所以二值化圖像中目標(biāo)內(nèi)部會出現(xiàn)空洞，同時也存在著噪聲的干擾.為了能更好地實現(xiàn)目標(biāo)定位,需填補物體內(nèi)部區(qū)域的空洞，并去除一些噪聲干擾.本文采用數(shù)學(xué)形態(tài)學(xué)中開運算對圖像中感興趣區(qū)域進行處理，去除噪聲.使用結(jié)構(gòu)元素B集合A進行的開運算定義為[5]：

A°B=(A?B)⊕B.

(3)

用B對A進行開操作就是先用B對A腐蝕，再用B對結(jié)果進行膨脹.這樣可以使A的輪廓平滑，抑制A物體邊界的小離散點或尖峰，可以在消除小物體、在纖細(xì)點處分離物體、平滑較大物體邊界的同時并不改變其面積.

在實現(xiàn)本文算法的程序中，我們自定義一個IplConvkernel結(jié)構(gòu)實現(xiàn)該算法[6](即(3)式中的“核B”).該結(jié)構(gòu)對象由cvCreateStructuringElementEx()函數(shù)創(chuàng)建，由cvReleaseStructuringElement()函數(shù)釋放.

IplConvKernel*cvCreateStructuringElementEx (

int cols,

int rows,

int anchor_x,

int anchor_y,

int shape,

int*values=NULL

);

shape

結(jié)構(gòu)元素的形狀，可以是下列值：

CV_SHAPE_RECT,長方形元素;

CV_SHAPE_CROSS,交錯元素;

CV_SHAPE_ELLIPSE,橢圓元素;

CV_SHAPE_CUSTOM,用戶自定義元素.這種情況下參數(shù) values 定義了 mask即像素的那個鄰域必須考慮.

對于核的形狀選擇，本文并沒有拘泥于傳統(tǒng)的方形核，而是選擇了3×3的星形開運算核，這樣可以使它最大限度的消除噪聲和波動的影響.形態(tài)學(xué)處理的結(jié)果如圖2所示.

圖2 形態(tài)學(xué)處理

對比圖2(a)和圖2(b)可以看出，未進行開運算時臉的大概輪廓和周圍的點噪聲，開運算后則只有眼部區(qū)域較清晰同時噪聲較少.

2 跟蹤和眼部動作識別

2.1 跟蹤

本系統(tǒng)中使用的跟蹤方法是模板匹配法，具有速度快、計算簡單的特點.該方法利用由Grauman等人提出的歸一化系數(shù)完成跟蹤，它對圖像序列中的每一幀進行如下計算：

(4)

程序中使用cvMatchTemplate()函數(shù)對搜索區(qū)域匹配，函數(shù)原型如下：

cvMatchTemplate(

const CvArr* image；

const CvArr* templ；

CvArr* result；

int method；

)；

在匹配方法的選擇上共有3種方法，即平方差匹配法：

R(x,y)∑x′,y′[T(x′,y′)-I(x+x′,y+y′)]2,

(5)

和相關(guān)匹配法:

R(x,y)∑x′,y′[T(x′,y′)I(x+x′,y+y′)]2,

(6)

以及本程序采用的第3種匹配方案，它是在兼顧速度和精度的情況下作出的選擇，其表達(dá)為：

(7)

其中：令Z(x,y)=

圖3 實時模板圖

利用實時產(chǎn)生的匹配模板，我們只需要在圖像中感興趣的區(qū)域(眼部周圍)進行匹配，它將是一個很小的部分，這樣大大的減小了計算時間.將匹配的最佳點標(biāo)記出來，就是期望的眼部區(qū)域.在匹配后還實現(xiàn)了一個有效區(qū)域框定的處理，試驗表明這種處理可以極大地減小匹配的誤差.

2.2 眼部動作識別

在完成眼部在圖像序列中的定位和跟蹤以后，為了使程序的執(zhí)行更高效，需要進一步限定模板只在每一幀的有效區(qū)域內(nèi)實現(xiàn)匹配.有效區(qū)域由滿足：

x1

(8)

的像素(x，y)構(gòu)成，其中(x1,y1)和(x1+w,y1+h)為邊界點.

對于眨眼動作的識別，本文將它轉(zhuǎn)化為相關(guān)性的返回值判別.其原理是使用當(dāng)前用戶的眼部作為模板，當(dāng)使用者閉上眼睛時，眼部和匹配模板的相似程度就下降，當(dāng)使用者再次睜開眼時眼部和匹配模板的相似度就會上升.這種上升和下降的變化，同樣使匹配返回值有了變化，而返回值的變化使眼部動作得到有效地檢測.

3 實驗分析

該系統(tǒng)是在Pentium IV 2.7 GHz處理器、512MB RAM的XP硬件平臺上使用Opencv圖像庫函數(shù)結(jié)合Visual Studio 2005軟件開發(fā)并測試.圖像采集設(shè)備為每秒可采30幀圖像的USB攝像頭，所捕捉視頻大小為300×200的像素.

由于系統(tǒng)采用的是模板匹配的方法，在對視場區(qū)域匹配時并沒有遍歷整個視場區(qū)域，而是根據(jù)前一幀的匹配點來確定下一次要匹配的區(qū)域，所以有很好的實時性.考慮硬件負(fù)荷的關(guān)系，實驗測試都是在每秒25幀圖像的情況下完成.實驗過程中面部大約距攝像頭有1m的距離時識別效果最佳.

為了測量該系統(tǒng)的準(zhǔn)確性，我們進行了100次的眼睛定位實驗.在實驗中有6次沒有正確捕捉到眼部位置.同時為驗證眨眼動作的捕捉情況，我們還進行了100次的眨眼捕捉試驗，其中有18次沒有正確的檢測到眨眼動作.從實驗中可知該系統(tǒng)對眼睛的正確捕獲率約為94%，眨眼動作正確檢測率約為82%，可以準(zhǔn)確的找出眼部位置，并始終將眼部作為處理的有效區(qū)域，較好地捕捉眨眼動作，即使在閉眼的時候，也能準(zhǔn)確地捕獲和跟蹤目標(biāo).實驗結(jié)果如圖4所示.

圖4 實驗結(jié)果圖

經(jīng)測試，系統(tǒng)可以完成如下任務(wù)：(1)采集輸入的視頻圖像，并在抓取時實現(xiàn)對圖像的壓縮；(2)檢測視頻中眼部位置，并較好定位；(3)在頭部有較大動作使眼部抓取范圍丟失時，只需調(diào)整頭部再眨眼即可重新獲得目標(biāo)；(4)可以識別眼部動作并返回參數(shù)值同時對眼部跟蹤.

4 結(jié)語

本文結(jié)合幀差法、模板匹配、輪廓檢測、形態(tài)學(xué)處理利用攝像頭設(shè)計了一種可以實時跟蹤和分析人眼部動作的圖像采集與處理系統(tǒng)，通過對目標(biāo)的檢測，能夠完全的識別眼部位置和較準(zhǔn)確的分析眼部動作.在檢測初期，該系統(tǒng)利用運動分析來定位視場中眼睛的位置.這在大大簡化了眼睛定位的時間的同時也帶來了初始化失敗的問題.對于初始化失敗問題后續(xù)研究中準(zhǔn)備利用一個合適的睜開眼睛的模板(這個模板來自使用者本身)，在初始化失敗后利用此模板重新定位視場中眼睛位置，增加系統(tǒng)穩(wěn)定性.此外，為減小強烈的光照變化對系統(tǒng)的影響，后續(xù)的研究中準(zhǔn)備加入Gray World算法，它用來平衡采集圖像的色彩.以減少光照條件的影響.這些算法的加入對系統(tǒng)穩(wěn)定性和準(zhǔn)確性的影響都要在以后的工作中進一步研究和驗證.

[1] 謝勤嵐，李圓雙，喻 該.基于高速球型攝像機的運動目標(biāo)檢測與實時跟蹤系統(tǒng)[J].中南民族大學(xué)學(xué)報：自然科學(xué)版,2010,29(2):80-84.

[2] 吳正平，崔文超.一種基于Face SDK的人眼寬度測量系統(tǒng)[J].三峽大學(xué)學(xué)報：自然科學(xué)版，2010(5)：90-92.

[3] Ghijsen M.Facial expression analysis for human computer interaction[D].Twente:University of Twente,2004.

[4] Liu Yazhou,Yao Hongxun,Gao Wen.Nonparametric background generation[J].J Vis Commun Image R,2007(18):253-263.

[5] 岡薩雷斯.數(shù)字圖像處理[M].阮秋奇,阮宇智,譯.2版.北京：電子工業(yè)出版社，2005.

[6] 劉瑞禎,于仕琪.Opencv教程:基礎(chǔ)篇[M].北京：北京航空航天大學(xué)出版社,2007:262-268.