王志一, 楊大利

(1.網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室，北京 100101; 2.北京信息科技大學(xué) 計算機學(xué)院，北京 100101)

人臉識別中發(fā)型遮擋檢測方法研究*

王志一1,2, 楊大利1,2

(1.網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室，北京 100101; 2.北京信息科技大學(xué) 計算機學(xué)院，北京 100101)

人臉識別中，發(fā)型遮擋是一種十分常見的遮擋類型，并且對人臉的正確識別具有極大的干擾。提出一種將頭發(fā)的顏色模型和發(fā)型特征相結(jié)合的遮擋檢測方法。首先，采用機器學(xué)習(xí)的方法，對頭發(fā)的顏色進行學(xué)習(xí)建模。然后，利用發(fā)際線的特征，將人臉劃分為若干扇形并分塊，采用逐步精細的方法對人臉的發(fā)型遮擋區(qū)域進行檢測。實驗結(jié)果表明，該方法對人臉區(qū)域發(fā)型遮擋檢測的準確率和召回率都達到88%以上，相比PCA檢測方法提高了約20%，驗證了該方法的有效性。

人臉識別；發(fā)型遮擋；遮擋檢測

0 引言

人臉識別作為模式識別領(lǐng)域的熱點研究問題受到了廣泛的關(guān)注，人臉識別技術(shù)在眾多領(lǐng)域的身份驗證中有著廣闊的應(yīng)用前景[1]。在實際人臉圖像處理過程中，人臉圖像的遮擋會經(jīng)常出現(xiàn)，如頭發(fā)、口罩、圍巾等，而遮擋對人臉識別有很大的影響。因此，如何準確、自動地檢測人臉遮擋區(qū)域成為遮擋人臉識別處理的關(guān)鍵問題之一。

主流的人臉遮擋區(qū)域檢測方法是基于PCA分析檢測方法[2-3]。該方法包括兩個關(guān)鍵步驟：在分析階段，將遮擋人臉圖像投影到人臉特征空間，并利用投影系數(shù)重建人臉；在檢測階段，將遮擋人臉圖像與重建人臉圖像進行比較，差異越大，判定為遮擋的可能性越大。遮擋區(qū)域根據(jù)重建人臉與原始遮擋人臉的差異來估計。基于平均人臉的人臉遮擋區(qū)域檢測方法[4]與基于PCA分析檢測方法類似，只是參考圖片選取的是平均臉圖像。

在遮擋人臉識別中，頭發(fā)是極為常見的遮擋物體，給識別帶來較大的不利影響。目前，基于PCA或平均臉的分析檢測方法在很大程度上依賴于參考樣本，對于人臉的位置、姿勢等十分敏感，而發(fā)型遮擋往往伴隨著不同的人臉姿勢。本文在分析了各類遮擋檢測算法后，通過建立發(fā)色模型并結(jié)合發(fā)型特征，提出了一種針對發(fā)型遮擋的人臉遮擋區(qū)域檢測方法。

1 方法概述

本文方法主要分為兩個部分：發(fā)色模型的線下學(xué)習(xí)和發(fā)型遮擋區(qū)域的在線檢測。線下學(xué)習(xí)是利用人工神經(jīng)網(wǎng)絡(luò)進行發(fā)色和膚色的學(xué)習(xí)，建立頭發(fā)的顏色模型，以便于在線檢測使用；在線檢測是實時檢測遮擋圖片的發(fā)型遮擋區(qū)域，給出檢測結(jié)果。

(1)圖1給出了發(fā)色模型學(xué)習(xí)的詳細步驟：對發(fā)色和膚色RGB樣本數(shù)據(jù)，利用人工神經(jīng)網(wǎng)絡(luò)進行發(fā)色和膚色訓(xùn)練學(xué)習(xí)，得到一個發(fā)色模型。給定一個像素點的RGB值，可以通過該模型粗略評估其是頭發(fā)的概率。

圖1 發(fā)型遮擋檢測框架

圖2 面部發(fā)型遮擋區(qū)域檢測

(2)圖2給出了發(fā)型遮擋區(qū)域的檢測步驟：給定一幅圖像，首先根據(jù)人臉進行歸一化；之后，以嘴部中心為圓心，將給定的人臉區(qū)域按照角度劃分為若干扇形；對于每個扇形，按照半徑長度平均劃分為相等數(shù)量的區(qū)塊；然后，對于每個扇形區(qū)塊，按照距離圓心的距離，由遠及近進行粗略檢測。對于一個扇區(qū)，取發(fā)色區(qū)塊的下一個(離圓心更近的)區(qū)塊進行精細分割。

2 結(jié)合發(fā)色模型和發(fā)型特征的遮擋檢測

發(fā)型特征包括：長度、體積、發(fā)色等。 對于解決發(fā)型遮擋的檢測問題，可以利用發(fā)色、發(fā)際線等特征。本文將發(fā)色模型和發(fā)型特征進行有機結(jié)合，對人臉的面部發(fā)型遮擋區(qū)域進行檢測。

2.1 基于人工神經(jīng)網(wǎng)絡(luò)的發(fā)色模型

2.1.1 BP人工神經(jīng)網(wǎng)絡(luò)簡介

BP神經(jīng)網(wǎng)絡(luò)[5]是人工神經(jīng)網(wǎng)絡(luò)的一種，它是采用誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)。其中，3層的BP 網(wǎng)絡(luò)包括一個輸入層、一個隱含層、一個輸出層，如圖3所示。

圖3 三層BP神經(jīng)網(wǎng)路

BP神經(jīng)網(wǎng)絡(luò)的基本思想是采用信號的正向傳播和誤差的反向傳播。在正向傳播中，從輸入層傳入的數(shù)據(jù)，依次在各隱含層進行處理，最終到達輸出層。如果輸出值與期望輸出不同，則將輸出層的誤差作為調(diào)整信號進行反向傳播，根據(jù)誤差不斷調(diào)整權(quán)值和閾值，最終得到網(wǎng)絡(luò)可以接受的精度并輸出。

2.1.2 發(fā)色模型

頭發(fā)的顏色與皮膚的顏色往往有比較明顯的區(qū)別，利用發(fā)色能夠有效提高面部發(fā)型遮擋區(qū)域檢測的正確率。

2.2 基于發(fā)型特征的扇形分割

給定輸入圖像和發(fā)型區(qū)域，以嘴部位置的中心區(qū)域為圓心，將嘴部以上的區(qū)域以每10°劃分為一個扇形，共18個徑長不等的扇形(以下簡稱為扇區(qū))，按照逆時針方向記為S1～S18。對任意的扇形區(qū)域Si，按照徑長平均分為10個區(qū)塊(以下簡稱為區(qū)塊)，按照離圓心的距離由遠及近依次標(biāo)記為Si,1～Si,10。

2.2.1 粗略檢測

形式地，將X={xij:xij∈S}定義為區(qū)塊S的像素點，用Ix表示一個像素點的顏色向量，Ix=(Rx,Gx,Bx)T；LX=(l1,l2,…,lm)T表示標(biāo)號向量，其中m表示區(qū)塊S中的像素點數(shù)，并且lx=1表示x屬于頭發(fā)，lx=0表示x屬于皮膚。將一個像素是頭發(fā)的概率表示為P(lx=1)，簡單地，P(lx=1)=ax，其中，ax是ANN發(fā)色模型的輸出值。

對于人臉區(qū)域的每個扇形，首先對最外層區(qū)塊(S1,1,S2,1,…,S18,1)進行檢測。區(qū)塊Si,1中的像素點x，將其RGB值作為ANN發(fā)色模型的輸入，得到輸出值ax。當(dāng)該點的預(yù)測為頭發(fā)概率大于給定閾值時，則認為該像素點屬于頭發(fā)區(qū)域。如果區(qū)塊Si,1中的像素大部分都判定為頭發(fā)區(qū)域時，則認為該區(qū)塊Si,1屬于頭發(fā)區(qū)域，記為預(yù)測遮擋塊。對所有的扇區(qū)，由遠及近地進行區(qū)塊的檢測，直到區(qū)塊不再是預(yù)測遮擋塊為止。每個扇區(qū)中第一個不是預(yù)測遮擋塊的區(qū)塊稱為精細分割塊(以下簡稱精割塊)，放到下一步進行圖割[6]處理。

2.2.2 精細分割

經(jīng)過2.2.1節(jié)中粗略檢測得到了若干個精割塊，下一步是在此范圍內(nèi)進行精細的分割。采用2.2.1中相同的定義，將X={xij:xij∈S}定義為精割塊S的像素點，用Ix表示像素點的顏色向量，Ix=(Rx,Gx,Bx)T；LX=(l1,l2,…,lm)T表示標(biāo)號向量，其中m表示精割塊S中的像素點數(shù)，并且lx=1表示x屬于頭發(fā)，lx=0表示x屬于皮膚。將一個像素是頭發(fā)的概率表示為P(lx=1)。定義如下能量函數(shù)：

E(L)=C(L)+αB(L)

(1)

(2)

其中，nx表示精割塊S中像素點的數(shù)量,c(lx)表示發(fā)色模型對像素點x的預(yù)測概率。

式(1)中第二項中的B(L)定義為：

(3)

(4)

(5)

其中，np表示像素點p的相鄰點的個數(shù)，σ表示圖像的平均平滑度。式(4)采用8-鄰域系統(tǒng)，選擇像素點的相鄰點。由于精割塊的形狀大小不同，進行了均值化處理。

2.2.3 優(yōu)化

直接對式(1)進行最小化計算，復(fù)雜度較高，計算量非常大。本文提出了一種求近似解的計算方法。首先，將精割塊S中的像素按照ANN預(yù)測的發(fā)色程度按照從小到大排列；然后，將區(qū)塊內(nèi)所有像素的區(qū)塊起始標(biāo)號都置為1，按照發(fā)色的概率從小到大排序依次將像素標(biāo)號置為0；最后，分別計算能量函數(shù)的值。選取使能量函數(shù)達到最小值時的標(biāo)號向量作為最優(yōu)解。

3 實驗和結(jié)果分析

實驗數(shù)據(jù)采集28個人的人臉圖像，分為正面、左側(cè)面和右側(cè)面三個姿勢，偏轉(zhuǎn)角度在10°～30°之間，發(fā)型遮擋包括正面單側(cè)遮擋、正面兩側(cè)遮擋、左側(cè)面遮擋、右側(cè)面遮擋、發(fā)簾遮擋等類型。人臉圖像庫包括28人269張發(fā)型遮擋圖像，每張圖像歸一化為50×75像素。

實驗1 該實驗采用數(shù)據(jù)集中的正面人臉，數(shù)據(jù)包含109張遮擋人臉圖像，實驗結(jié)果如表1所示。

表1 正面人臉下遮擋檢測算法比較

表2 不同姿勢下遮擋檢測算法比較

由表1可以看出，在正面人臉的條件下，PCA檢測方法的F-value為69%，相應(yīng)的準確率和召回率分別為63%和76%。本文方法比PCA檢測方法的F-value提高了20%，準確率和召回率分別提高了27%和12%。

實驗2 該實驗采用全部的數(shù)據(jù)，包含269張不同姿勢的遮擋人臉圖像，實驗結(jié)果如表2所示。

由表2可以看出，在不同姿勢的人臉條件下，PCA檢測方法的F-value為57%，相比正面人臉條件下降低了12%，相應(yīng)的準確率和召回率降低10%左右。而本文方法與正面人臉條件下的F-value相比變化不大，說明比PCA檢測方法具有更強的魯棒性。

4 結(jié)論

發(fā)型遮擋對人臉識別具有極大的干擾，如何準確獲取遮擋區(qū)域是處理遮擋中需要解決的問題。由于各種形狀和不同紋理，使得發(fā)型遮擋區(qū)域檢測非常困難 。實驗表明，本文提出的方法比PCA遮擋檢測方法具有更高的準確率和召回率，驗證了該方法的有效性。

[1] CHELLAPPA R, WILSON C L, SIROHEY S. Human and machine recognition of faces: a survey[J]. Proceedings of the IEEE, 1995, 83(5): 705-741.

[2] 杜成, 蘇光大. 用于人臉識別的正面人臉圖像眼鏡摘除[J]. 清華大學(xué)學(xué)報(自然科學(xué)版), 2005, 45(7): 928-930.

[3] 王志明, 陶建華. 人臉遮擋區(qū)域檢測與重建[J]. 計算機研究與發(fā)展, 2015, 47(1): 16-22.

[4] 李冬梅, 熊承義, 高志榮,等. 基于異值區(qū)域消除的遮擋人臉識別[J]. 計算機科學(xué), 2015, 42(3):289-295.

[5] MCCLELLAND J L, KAWAMOTO A H. Parallel distributed processing[C]. Rumelhart and McClelland (eds.)， 1986(I):45-76.

[6] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239.

Research on detection method of hair-occlusion in face recognition

Wang Zhiyi1,2,Yang Dali1,2

(1.Beijing Key Laboratory of Internet Culture and Digital Dissemination Research,Beijing 100101,China;2.School of Computer,Beijing Information Science&Technology University,Beijing 100101,China)

In face recognition, the hair is a very common object in face occlusion, and it has a great disturbance to the correct recognition of human face. In this paper, a method of hair-occlusion detection is proposed, which is based on the combination of color model and hair style. First of all, using machine learning method to learn the color of hair and build the hair-color model. Then, the face is divided into several segments by using the feature of the hair line, and then the hair-occlusion area is detected by the method of fine precision. Experimental results show that the accuracy and recall rate of the proposed method is more than 88%, compared to the PCA detection method increased by about 20%.

face recognition; hair occlusion; occlusion detection

北京市屬高等學(xué)校創(chuàng)新團隊建設(shè)與教師職業(yè)發(fā)展計劃基金項目(IDHT20130519)；北京市學(xué)科與研究生教育基金(PXM2015_014224.000018)

TP391.4

A

1674-7720(2016)02-0032-03

王志一,楊大利. 人臉識別中發(fā)型遮擋檢測方法研究[J] .微型機與應(yīng)用，2016,35(2)：32-34.

2015-08-16)

王志一(1988-)，通信作者，男，碩士研究生，主要研究方向：人臉識別。E-mail:wzy_bistu@163.com。

楊大利(1964-)，男，教授，碩士生導(dǎo)師，主要研究方向：機器學(xué)習(xí)、信號增強。