摘要：在人臉識(shí)別中，人臉特征定位尤其是人眼的定位是一個(gè)很重要以及很有挑戰(zhàn)性的任務(wù)。在我們提出的非局部二值模式NLBP（Non-Local Binary Pattern）算子以及基于這個(gè)算子的人臉特征定位方法的基礎(chǔ)上，我們進(jìn)一步設(shè)計(jì)了新的能夠?qū)θ搜圻M(jìn)行精確定位的方法。提出定位方法在標(biāo)準(zhǔn)的人臉數(shù)據(jù)集上取得了很好的效果，在困難人臉圖像上同樣顯示了很好的魯棒性。

關(guān)鍵詞：人臉識(shí)別；非局部二值算子NLBP；人臉特征定位

中圖分類(lèi)號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2008)07-10000-00

1 引言

自動(dòng)人臉特征定位，即在給定的圖像中搜索部分或所有人臉特征（如眼、鼻、嘴）等的位置或者關(guān)鍵點(diǎn)等，是一個(gè)非常重要的技術(shù)。首先在人臉識(shí)別中[1]自動(dòng)人臉特征定位技術(shù)能夠用來(lái)消除誤配準(zhǔn)（mis alignment）[2]對(duì)人臉圖像帶來(lái)的影響。自動(dòng)人臉特征定位技術(shù)還可以被用作一些人臉識(shí)別方法如“基于成分的人臉識(shí)別”（Component based face recognition）[3]等的預(yù)處理技術(shù)。最后，自動(dòng)人臉特征定位技術(shù)還可以被用來(lái)預(yù)測(cè)人臉圖像中人臉的姿態(tài)。在我們之前的工作中，我們提出了非局部二值算子NLBP[4]，它能夠提高人臉識(shí)別的準(zhǔn)確率和魯棒性。另外因?yàn)镹LBP算子能夠增強(qiáng)和突出人臉的關(guān)鍵特征，我們還設(shè)計(jì)了基于NLBP的人臉特征區(qū)域定位方法，在實(shí)驗(yàn)中取得了非常好的定位效果。在本文中，我們將進(jìn)一步設(shè)計(jì)新的人眼精確定位方法。本文其余部分的安排如下，第二章介紹了局部二值算子LBP算子，改進(jìn)的NLBP算子及其性質(zhì)，第三章給出了提出的人眼定位方法，第四章是提出方法的實(shí)驗(yàn)以及結(jié)果分析，第五章是結(jié)論以及未來(lái)工作。

2 基于NLBP的人臉特征區(qū)域定位方法

2.1 LBP算子

LBP算子最初是被用來(lái)作為紋理描述方法的[5]，該算子對(duì)圖像每個(gè)像素fc的8鄰域采樣，每個(gè)采樣點(diǎn)fp (p=0，1，…，7)與中心像素fc做灰度值二值化運(yùn)算S(fp－fc)：

其中fc表示該中心像素的灰度值; fp表示采樣點(diǎn)的灰度值。然后，通過(guò)對(duì)每個(gè)采樣點(diǎn)賦予不同的權(quán)系數(shù)2p來(lái)計(jì)算中心像素點(diǎn)的LBP值：

2.2 NLBP算子

在提出的NLBP（Non-Local Binary Pattern）算子中，像素級(jí)別的比較算子（1）被新的雙極比較算子[6]取代以實(shí)現(xiàn)任意大小的任意間隔的區(qū)域之間的比較。Dipole雙極比較算子的定義如所示：

其中 是高斯函數(shù)的尺度，因此它控制著兩個(gè)對(duì)比區(qū)域的空間尺度。Xp和Xc分別是兩個(gè)待比較區(qū)域的中心，f(X) 是圖像I在像素點(diǎn)X處的灰度值，而R代表了兩個(gè)區(qū)域中心點(diǎn)的距離。通過(guò)引入雙極比較算子，新的NLBP算子的定義可以表示如下：

其中Xc是中心區(qū)域的中心點(diǎn)。Xp (p=0，1，…，7)是與Xc距離R的8個(gè)待比較區(qū)域的中心點(diǎn)。

2.3基于NLBP算子的人臉特征區(qū)域定位方法

在我們之前的工作中[4]，我們研究了不同參數(shù)下NLBP對(duì)人臉關(guān)鍵特征的增強(qiáng)和突出效果。如圖1所示：

從圖中可以看出，大尺度的NLBP參數(shù)（如（16，8）以及（16，2））能夠提供關(guān)于人臉特征粗糙區(qū)域的有效信息。在[4]中我們使用大尺度的NLPP參數(shù)，設(shè)計(jì)了有效的人臉特征區(qū)域定位方法。從圖1也可以看出，小尺度的NLBP參數(shù)（如（4，2））保留了一定的特征輪廓信息并且提供了人眼精確位置的信息，但是也存在很多非相關(guān)區(qū)域帶來(lái)的噪聲。在下一章中我們將結(jié)合使用大小尺度的NLBP算子來(lái)設(shè)計(jì)新的人眼精確定位的方法。

3 基于NLBP算子的人眼精確定位

根據(jù)2.3節(jié)中的分析，如果要進(jìn)行精確的人眼定位，我們可以先用大尺度的NLBP算子來(lái)粗略地定位出人眼所在的區(qū)域，然后利用小尺度NLBP算子計(jì)算NLBP人臉圖像，最后把對(duì)人眼的搜索集中在得到的粗糙區(qū)域中，這樣可以擺脫小尺度NLBP人臉圖像中大部分非相關(guān)區(qū)域噪聲的影響并且可以得到人眼所在的精確位置。

為了進(jìn)一步去除小尺度NLBP人臉圖像中的非相關(guān)區(qū)域噪聲，我們采用了圖像腐蝕（erosion）和膨脹(dilation)算子。在腐蝕（erosion）和膨脹(dilation)算子中，結(jié)構(gòu)元素（Structuring Element）的形狀被設(shè)置被正方形，其邊長(zhǎng)w可以被設(shè)置成需要的數(shù)值（w=1時(shí)等效于不進(jìn)行任何腐蝕和膨脹操作，w越大去除的噪聲點(diǎn)越多，但是大的w值也可能把人眼區(qū)域去掉）。采用腐蝕膨脹算子后的NLBP人臉圖像如圖2所示，可以看出處理后的人臉圖像中保留了人眼（眼球）區(qū)域的像素點(diǎn)/塊，去除了大部分非相關(guān)區(qū)域的噪音，通過(guò)簡(jiǎn)單劃分區(qū)域和Y軸，X軸灰度值投影即可實(shí)現(xiàn)人眼的定位。

圖2采用腐蝕和膨脹算子處理后的人臉圖像。第二/三張圖是分別采用邊長(zhǎng)為2/3的正方形結(jié)構(gòu)元素進(jìn)行處理的

結(jié)果

本文提出的人眼定位方法可以用圖3表示。我們的方法首先在圖像上使用NLBP（16，2）算子，利用得到的NLBP臉來(lái)確定人眼的兩個(gè)粗糙正方形區(qū)域，然后計(jì)算小尺度（4，2）的NLBP臉，對(duì)其使用大尺寸的結(jié)構(gòu)元素邊長(zhǎng)（如w=3）進(jìn)行腐蝕和膨脹。根據(jù)得到的圖像以及兩個(gè)區(qū)域，進(jìn)行人眼的精確搜索。如果兩只眼睛都檢測(cè)到了其位置，則結(jié)束定位算法，如果發(fā)生了一個(gè)或者兩個(gè)眼睛坐標(biāo)的丟失，則自動(dòng)降低w的值重新進(jìn)行腐蝕和膨脹和人眼搜索，直到w降低為1（也就是不進(jìn)行腐蝕和膨脹操作）。

4 實(shí)驗(yàn)部分

為了驗(yàn)證新提出的人眼定位方法的性能，我們?cè)贔RGC標(biāo)準(zhǔn)人臉數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4（a）所示。從圖中可以看出在大部分人臉圖像上，提出的算法都準(zhǔn)確地定位出了人眼的坐標(biāo)，顯示出了算法的可靠性能。我們也在處理過(guò)的FRGC人臉數(shù)據(jù)（添加了遮擋塊或者進(jìn)行了旋轉(zhuǎn)）以及部分Yale（戴眼鏡的人臉圖像）和GTAV數(shù)據(jù)（有輕微姿態(tài)變化的人臉圖像）上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4（b）所示，同樣顯示了提出的人眼定位算法的魯棒性。另外，值得注意的是，在實(shí)驗(yàn)過(guò)程中，所有的定位過(guò)程都得到了很快的執(zhí)行。

5 結(jié)束語(yǔ)

在本文中，我們根據(jù)之前提出的NLBP人臉區(qū)域定位方法，進(jìn)一步設(shè)計(jì)了新的快速以及精確人眼定位方法。提出的方法在實(shí)驗(yàn)中表現(xiàn)出很好的準(zhǔn)確性，可靠性和快速性。在未來(lái)的工作當(dāng)中，我們將研究如何把由這個(gè)方法得到的人眼坐標(biāo)運(yùn)用到人臉識(shí)別問(wèn)題當(dāng)中，如把人眼坐標(biāo)用于人臉圖像的配準(zhǔn)問(wèn)題，或者人臉的姿態(tài)識(shí)別問(wèn)題當(dāng)中。

參考文獻(xiàn)：

[1] 袁燕. 人臉識(shí)別研究綜述[J]. 電腦知識(shí)與技術(shù)，2007，9. 1414-1421.

[2] 山世光.人臉識(shí)別中的“誤配準(zhǔn)災(zāi)難”問(wèn)題研究[J]. 計(jì)算機(jī)學(xué)報(bào)， 2005.

[3] B. Heisele， P. Ho， J. Wu， and T. Poggio. Face Recognition: Component-Based versus Global Approaches. Compter Vision and Image Understanding， 2003， 91: 6-21.

[4] Yu Wang， Chengde Lin. Non-Local Binary Pattern for Robust Face Recognition and Facial feature localization. Paper submitted to Pattern Recognition Letters (in review)， 2008.

[5] Ojala， T.， Pietik¨ainen， M.， Harwood， D.A comparative study of texture measures with classification based on feature distributions[J]. Pattern Recognition， 1996，29: 51–59.

[6] Benjamin J. Balas， Pawan Sinha. Region-Based Representations for Face Recognition[J]. ACM Transactions on Applied Perception 2006， 3(4): 354-375.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”