鮑小如，陳 瑞，曹雪虹，焦良葆

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167；3.南京工程學(xué)院 康尼機(jī)電研究院，江蘇 南京 211167)

0 引 言

人臉檢測(cè)一直是圖像處理與模式識(shí)別中的研究熱點(diǎn)，現(xiàn)已廣泛應(yīng)用于智能監(jiān)控、手機(jī)拍照、個(gè)人身份識(shí)別等領(lǐng)域。人臉檢測(cè)算法層出不窮，大致可分為以下3大類[1]：膚色分割法、提取幾何特征法和統(tǒng)計(jì)理論的方法。基于膚色分割[2-5]的人臉檢測(cè)算法利用的是彩色圖像中人臉膚色與非人臉之間的差別。該類算法雖然因其原理簡(jiǎn)單而較容易實(shí)現(xiàn)，且可以滿足實(shí)時(shí)檢測(cè)的要求，但是檢測(cè)效果易受光照和類膚色的影響?；趲缀翁卣鞯姆椒ㄖ凶畛Ｓ玫氖腔谀０迤ヅ涞娜四槞z測(cè)方法[6-8]。它從大量的人臉圖像中訓(xùn)練出統(tǒng)一的人臉模板，然后在檢測(cè)區(qū)域中尋找與該模板最相似的區(qū)域，即確定為人臉區(qū)域。但精確的人臉模板較難實(shí)現(xiàn)，因?yàn)槿四橀g的差異頗大，另一方面人臉姿態(tài)的不統(tǒng)一也使得檢測(cè)效果不理想。基于統(tǒng)計(jì)理論的人臉檢測(cè)算法中應(yīng)用最廣的是Viola-Jones提出的AdaBoost方法[9]。該方法的特征選擇是在積分圖像上完成的，首先選擇特征構(gòu)建弱分類器，采用“級(jí)聯(lián)”的方式一步步地構(gòu)建強(qiáng)分類器。該算法推出了一種人臉檢測(cè)框架，極大地提高了人臉檢測(cè)的速度和準(zhǔn)確率，但對(duì)不端正人臉檢測(cè)時(shí)，檢測(cè)率不高。

近年來(lái)視覺顯著性發(fā)展相當(dāng)迅速，自Koch和Ullman[10]提出所謂的生物啟發(fā)模型后，學(xué)者們開啟了視覺顯著性的研究與探索。其中，Itti等[11-12]提出了一種基于視覺注意的顯著性檢測(cè)模型，接著Harel等使用文獻(xiàn)[11]中特征選擇的方法，并結(jié)合馬爾可夫鏈的原理，用以計(jì)算特征之間的差異，最后將其正則化處理后，生成基于圖的視覺顯著模型(graph-based visual saliency，GBVS)[13]。之后還有Goferman等提出的基于上下文的顯著性分析方法等等[14]。在國(guó)內(nèi)，清華大學(xué)的程明明等[15]提出了基于直方圖對(duì)比度(histogram contrast,HC)的顯著性分析算法與結(jié)合區(qū)域?qū)Ρ?region contrast，RC)的顯著性分析方法等等。

文中提出一種基于視覺顯著性與膚色分割的人臉檢測(cè)算法。由于利用GBVS算法生成的顯著性圖中顯著性區(qū)域比較集中，可以更好地提取人臉目標(biāo)，而其他視覺顯著性算法提取的顯著性區(qū)域比較分散或者顯著性區(qū)域細(xì)節(jié)文理太清晰，這兩種情況都會(huì)影響顯著圖的閾值分割并得到模板的進(jìn)程，所以文中使用基于圖論的顯著性檢測(cè)算法獲取人臉區(qū)域的顯著圖?？梢韵壤靡曈X注意機(jī)制[16]，從一幅復(fù)雜背景圖中快速定位出包含人臉的大致區(qū)域，再利用人臉膚色在L*a*b*空間[17]的a，b分量確定人臉中心位置。

1 基于圖論的視覺顯著性(graph-based visual saliency，GBVS)

國(guó)內(nèi)外學(xué)者一般認(rèn)為對(duì)于一幅圖像，人們視覺第一時(shí)間注意到的區(qū)域，或者局部視覺特征突出的區(qū)域?yàn)閳D像顯著性區(qū)域。鑒于GBVS生成的顯著圖主要集中在一塊區(qū)域且有利于閾值分割，文中采用GBVS算法進(jìn)行前期處理，GBVS在特征提取上沿用了Itti等提出的方法，并在計(jì)算特征之間的差異時(shí)引入馬爾可夫鏈得到顯著性值，最終歸一化顯著值生成視覺顯著圖。

視覺顯著圖獲取步驟如下[18]：

(1)輸入一幅大小為250×250的灰度圖片，利用高斯核函數(shù)平滑圖像，每次將分辨率降低為原來(lái)的1/2，下采樣4次，實(shí)驗(yàn)中只用第2，3，4次采樣得到的圖像。分別提取這3幅圖像的亮度特征和方向特征，其中方向特征是提取的0°，45°，90°，135°方向的信息，最后可得到15幅底層特征圖(圖像尺寸32×32)。

(2)把這15幅特征圖依次作為輸入，計(jì)算每幅圖的激活圖。對(duì)每一幅特征圖，以圖中的每一個(gè)像素點(diǎn)為節(jié)點(diǎn)，根據(jù)像素點(diǎn)間的灰度值相似度和像素點(diǎn)位置間的距離(歐氏距離)作為連接權(quán)值，建立一個(gè)全連通的有向圖GA，從節(jié)點(diǎn)(i,j)到節(jié)點(diǎn)(p,q)的有向邊會(huì)賦予一個(gè)權(quán)值，定義為：

W((i,j),(p,q))=d((i,j)‖(p,q))·

F(i-p,j-q)

(1)

其中，d((i,j)‖(p,q))表示節(jié)點(diǎn)(i,j)和節(jié)點(diǎn)(p,q)之間像素值M(i,j)和M(p,q)的相異程度，計(jì)算公式為:

(2)

F(a,b)表示節(jié)點(diǎn)(i,j)與節(jié)點(diǎn)(p,q)位置間的歐氏距離，計(jì)算公式為:

(3)

(3)連接權(quán)值矩陣(1 024×1 024)，并歸一化權(quán)值矩陣，使矩陣每列之和為1，形成馬爾可夫狀態(tài)轉(zhuǎn)移矩陣。

(4)對(duì)馬爾可夫轉(zhuǎn)移矩陣進(jìn)行多次迭代，直到馬爾可夫鏈達(dá)到平穩(wěn)分布。馬爾可夫鏈的平穩(wěn)分布反映了隨機(jī)游走者在每個(gè)節(jié)點(diǎn)/狀態(tài)消耗時(shí)間的積累。節(jié)點(diǎn)視覺特征越不相似，權(quán)值越大，轉(zhuǎn)移概率就大，在這個(gè)節(jié)點(diǎn)積累的時(shí)間就長(zhǎng)；反之就短。視覺特征越不相似的點(diǎn)越顯著。

(5)找到馬爾可夫矩陣的主特征向量(1 024×1)，主特征向量是主特征值對(duì)應(yīng)的向量，矩陣的多個(gè)特征值中模最大的特征值叫主特征值，對(duì)應(yīng)圖像的顯著節(jié)點(diǎn)。把主特征向量重新排列成兩維(32×32)的形式，就得到了激活圖，并對(duì)其進(jìn)行歸一化。

(6)按以上方法得到每個(gè)特征通道的特征圖的激活圖，再把各個(gè)特征通道內(nèi)激活圖相加，最后把亮度和方向特征通道激活圖都疊加起來(lái)，得到視覺顯著圖。

2 L*a*b*色彩空間

CIEL*a*b*色彩空間(簡(jiǎn)稱L*a*b*色彩空間)是用L*,a*,b*三個(gè)不同的坐標(biāo)軸指示顏色在空間中分布的一個(gè)三維體系。當(dāng)用CIEL*a*b*表示某一顏色時(shí),L*軸表示顏色的明暗程度，黑在底端,白在頂端；+a*表示紅色，-a*表示綠色；+b*表示黃色，-b*表示藍(lán)色；如圖1所示。顏色的色彩變化可以用a*,b*的數(shù)值來(lái)表示，顏色的亮度變化可以用L*的數(shù)值來(lái)表示。

圖1 CIEL*a*b*色彩空間

將RGB色彩空間中的圖像信息轉(zhuǎn)換到L*a*b*色彩空間中，需要先對(duì)輸入圖像的RGB信息分量進(jìn)行Gamma校正：R=g(r),G=g(g),B=g(b)。其中r,g,b(r,g,b∈[0,1))是輸入圖像的原始顏色分量信息，而R,G,B(R,G,B∈[0,1))分量則是經(jīng)過(guò)Gamma校正后得到的顏色分量信息。

Gamma校正函數(shù)g(x)為：

(4)

然后將經(jīng)過(guò)Gamma校正后的R,G,B分量轉(zhuǎn)換到XYZ空間：

[XYZ]=M*[RGB]

(5)

其中，轉(zhuǎn)換系數(shù)矩陣M為：

(6)

轉(zhuǎn)換后的X∈[0,0.950 6)，Y∈[0,1)，Z∈[0,1.089 0)。X，Y，Z經(jīng)線性歸一化后得到X1,Y1,Z1∈[0,1)，之后再進(jìn)一步轉(zhuǎn)換到L*a*b*色彩空間：

L=116*f(Y1)-16

(7)

a=500*[f(X1)-f(Y1)]

(8)

b=200*[f(Y1)-f(Z1)]

(9)

其中，轉(zhuǎn)換函數(shù)f(x)為：

(10)

計(jì)算后可得到L,a,b分量值，L∈[0,100)，a∈[-169,169),b∈[-160,160)。為了方便計(jì)算，可將3個(gè)分量都?xì)w一化到[0,255]之間。

3 基于視覺顯著性與膚色分割的人臉檢測(cè)

文中算法的基本實(shí)現(xiàn)流程如圖2所示。

圖2 算法基本流程

開始輸入一幅含有人臉的復(fù)雜背景圖片，接著利用GBVS方法獲取圖片的視覺顯著性圖，然后對(duì)顯著圖進(jìn)行閾值分割從而得到二值模板圖。但是該模板并不精確，內(nèi)部可能存在少量干擾像素點(diǎn)或空洞，對(duì)其進(jìn)行形態(tài)學(xué)操作之后就可以得到精確的模板了，模板中白色區(qū)域就是初步的人臉位置區(qū)域R1；接著計(jì)算原始圖像的R1區(qū)域在L*a*b*色彩空間中每個(gè)像素的a，b分量值與人臉膚色的a，b分量值的歐氏距離，并人為設(shè)定一個(gè)經(jīng)驗(yàn)閾值，排除一些相差很大的像素點(diǎn)；之后計(jì)算在閾值內(nèi)的所有像素點(diǎn)的質(zhì)心，將該質(zhì)心作為人臉中心點(diǎn)，并按中心點(diǎn)到R1區(qū)域邊緣的最小距離的80%為半徑，截取準(zhǔn)確人臉區(qū)域，即得到精確的人臉區(qū)域R2；最后在原始圖像上截取出人臉。

經(jīng)過(guò)原理介紹，下面將給出算法的詳細(xì)實(shí)現(xiàn)步驟。該算法大致可分為三個(gè)部分：第一部分是從LFW數(shù)據(jù)庫(kù)中計(jì)算出人臉膚色在L*a*b*色彩空間的3個(gè)分量平均值；第二部分是使用視覺顯著性算法獲取圖像顯著圖并閾值化后得到初步目標(biāo)人臉區(qū)域；第三部分是在得到的初步人臉區(qū)域中利用人臉膚色在L*a*b*色彩空間的a，b分量平均值進(jìn)一步得到精確的人臉區(qū)域。算法具體的實(shí)現(xiàn)步驟如下：

(1)選取LFW數(shù)據(jù)庫(kù)中的部分標(biāo)準(zhǔn)圖像，截取圖像中的人臉膚色部分，并由RGB色彩空間轉(zhuǎn)換到L*a*b*色彩空間，計(jì)算L,a,b的分量值，最后取它們的平均值ave_L，ave_a，ave_b。

(2)輸入一幅彩色圖像I(x,y),通過(guò)GBVS算法生成該圖像的顯著性圖，記為S(x,y)。

(3)顯著性圖S(x,y)中每個(gè)像素的值即為該像素的顯著性值，將顯著性值歸一化到0～1之間，文中取0.6作為閾值對(duì)顯著圖S(x,y)進(jìn)行分割，得到一個(gè)粗略的二值模板M(x,y)。

(4)對(duì)模板M(x,y)進(jìn)行細(xì)化得到精確的模板M1(x,y)。具體操作如下：如果模板M(x,y)中存在一些由于閾值分割而殘留的像素點(diǎn)，則對(duì)其進(jìn)行膨脹操作刪除干擾像素點(diǎn)；如果M(x,y)丟失信息過(guò)多，就對(duì)M(x,y)進(jìn)行孔洞填充。最終得到模板M1(x,y)。

(5)通過(guò)模板M1(x,y)就可以得到人臉的初步區(qū)域，M1(x,y)中的白色區(qū)域就是目標(biāo)人臉的大致區(qū)域R1了，接著將圖像I(x,y)從RGB色彩空間轉(zhuǎn)換至L*a*b*色彩空間，轉(zhuǎn)換后的圖像用IL(x,y)表示。對(duì)于IL(x,y)中R1區(qū)域的每個(gè)像素點(diǎn)計(jì)算出它們的a,b分量與第一步得到的ave_a和ave_b之間的歐氏距離dis_ave，考慮到光照因素的影響，除去了亮度分量ave_L。

(11)

(6)確定中心點(diǎn)。對(duì)于前面計(jì)算出的dis_ave，根據(jù)頻數(shù)直方圖統(tǒng)計(jì)的情況人為設(shè)定一個(gè)分割閾值s，除去R1區(qū)域內(nèi)一些閾值之外的點(diǎn)。計(jì)算出中心點(diǎn)坐標(biāo)cet_x，cet_y：

(12)

(13)

其中，p表示一個(gè)像素點(diǎn)；dis_ave_p表示像素點(diǎn)p的a,b分量與ave_a，ave_b之間的歐氏距離；count表示R1區(qū)域內(nèi)在閾值s內(nèi)的像素點(diǎn)的總數(shù)；p_x和p_y分別表示像素點(diǎn)p的橫坐標(biāo)值和縱坐標(biāo)值。

(7)確定目標(biāo)人臉區(qū)域。對(duì)M1(x,y)進(jìn)行邊緣處理，得到其區(qū)域邊緣的所有像素點(diǎn)集合，求出區(qū)域邊緣像素點(diǎn)到中心點(diǎn)最小距離r。最后以0.8r為半徑圍繞中心點(diǎn)作正方形，即該正方形區(qū)域就是最終要確定的目標(biāo)人臉區(qū)域。

(8)在原始輸入圖像I(x,y)上截取之前得到的目標(biāo)人臉區(qū)域，就完成了整個(gè)人臉檢測(cè)。

4 實(shí)驗(yàn)仿真

實(shí)驗(yàn)仿真是在LFW數(shù)據(jù)庫(kù)上進(jìn)行的。該數(shù)據(jù)庫(kù)共收集了13 233張人臉圖片，圖片大小為250×250像素，圖片分屬5 749個(gè)不同的人，其中只有一張圖片的有4 096人，多于一張圖片的有1 680人，圖片中有些包含多個(gè)人臉，只考慮基本位于圖片中間位置的目標(biāo)人臉。在MATLAB2012b平臺(tái)上進(jìn)行程序編寫。

實(shí)驗(yàn)對(duì)端正人臉和非端正人臉?lè)謩e進(jìn)行Viola-Jones的人臉檢測(cè)，視覺顯著性下的人臉檢測(cè)[18]和視覺顯著性下膚色導(dǎo)向的人臉檢測(cè)。Viola-Jones人臉檢測(cè)算法是目前最經(jīng)典、使用最多的魯棒人臉檢測(cè)算法；文獻(xiàn)[18]是國(guó)內(nèi)最新的一篇關(guān)于視覺顯著性的人臉檢測(cè)算法。與它們進(jìn)行比較可以有效說(shuō)明文中算法在人臉檢測(cè)中的有效性。端正人臉的測(cè)試結(jié)果如圖3所示，非端正人臉的測(cè)試結(jié)果如圖4所示。兩圖中的第一列表示輸入的原始圖像，第二列是Viola-Jones人臉檢測(cè)算法結(jié)果，第三列表示是文獻(xiàn)[18]中人臉檢測(cè)算法得到的結(jié)果，第四列是文中算法的實(shí)驗(yàn)結(jié)果。

圖3 端正人臉

圖4 非端正人臉

由兩圖可知，在處理端正人臉圖像時(shí)，文中算法與Viola-Jones算法都能準(zhǔn)確地檢測(cè)出人臉區(qū)域，且檢測(cè)效果基本一致。但是在處理非端正人臉圖像時(shí)，由于人臉姿態(tài)的變化，Viola-Jones算法過(guò)分關(guān)注眼睛、嘴巴等特征位置，檢測(cè)區(qū)域縮小，不能截取完整的目標(biāo)人臉，損失了部分面部信息，有的甚至根本就不能看出原來(lái)人的模樣了；而文中算法是在視覺顯著性的基礎(chǔ)上確定目標(biāo)大致位置，再利用人臉膚色確定檢測(cè)中心，更有利保護(hù)目標(biāo)人臉的完整性，因此檢測(cè)效果要好于Viola-Jones算法。不管是在處理端正人臉還是非端正人臉，文獻(xiàn)[18]的算法與文中算法都能很好地檢測(cè)出人臉，但從兩幅圖中可以明顯看出文獻(xiàn)[18]中的算法檢測(cè)出的人臉區(qū)域包含大量背景，相比較之下文中算法檢測(cè)出的人臉區(qū)域所包含的背景則相對(duì)較少。此外，實(shí)驗(yàn)還統(tǒng)計(jì)了三種算法檢測(cè)出人臉?biāo)牡臅r(shí)間與檢測(cè)率，如表1和表2所示。

表1 時(shí)間比較

表2 檢測(cè)率比較

根據(jù)表1可知，在時(shí)間消耗方面，文中算法和其余兩種算法在時(shí)間上并無(wú)明顯差異，三者之間的最大差距僅為0.30 s，因此可以看出算法運(yùn)行迅速，具備較好的實(shí)時(shí)性。從表2可以看出，文中算法在LFW人臉庫(kù)中的檢測(cè)率明顯高于Viola-Jones算法，基本能實(shí)現(xiàn)全檢測(cè)，而Viola-Jones算法對(duì)于臉部分辨率有一定要求，對(duì)于臉部分辨率較低的圖像，關(guān)鍵的特征提取變得困難，造成了一些檢測(cè)不出人臉的情況。綜上可得，文中算法是一種快速、自動(dòng)、準(zhǔn)確，且檢測(cè)率高的人臉檢測(cè)方法。

5 結(jié)束語(yǔ)

提出一種基于視覺顯著性與膚色分割的人臉檢測(cè)算法。首先通過(guò)GBVS算法獲得原始圖像的顯著性圖，接著選擇一個(gè)顯著性值作為閾值，分割該顯著圖得到二值模板，然后優(yōu)化該模板得到初步的人臉區(qū)域，再根據(jù)人臉膚色在L*a*b*色彩空間中的a,b分量值與人臉初步區(qū)域中的像素點(diǎn)在L*a*b*色彩空間中的a,b分量的歐氏距離，確定人臉區(qū)域的中心，然后以初步區(qū)域邊緣到中心的最小距離的80%為半徑，在原圖中截取出矩形人臉區(qū)域，實(shí)現(xiàn)了復(fù)雜環(huán)境下的人臉目標(biāo)檢測(cè)。與其他方法相比，該算法不僅準(zhǔn)確度高，而且運(yùn)行快速，可以很好地適用于智能手機(jī)前置拍照的人臉定位與人臉識(shí)別前期的預(yù)處理工作。

參考文獻(xiàn)：

[1] 鄭青碧.基于圖像的人臉檢測(cè)方法綜述[J].電子設(shè)計(jì)工程,2014,22(8):108-110.

[2] YANG Y,XIE C,DU L,et al.A new face detection algorithm based on skin color segmentation[C]//Chinese automation congress.Washington DC,USA:IEEE Computer Society,2015:523-526.

[3] DONG C,WANG X,LIN T,et al.Face detection under particular environment based on skin color model and radial basis function network[C]//IEEE fifth international conference on big data and cloud computing.Washington DC,USA:IEEE Computer Society,2015:256-259.

[4] ALABBASI H A, MOLDOVEANU F. Human face detection from images,based on skin color[C]//18th international conference on system theory,control and computing.Washington DC,USA:IEEE Computer Society,2014:532-537.

[5] MAHADEVI M,SUMATHI C P.Face detection based on skin color model and connected component with template matching[C]//International conference on information communication and embedded systems.Washington DC,USA:IEEE Computer Society,2014:1-4.

[6] DUTTA P,BHATTACHARJEE D.Face detection using generic eye template matching[C]//2nd international conference on business and information management.Washington DC,USA:IEEE Computer Society,2014:36-40.

[7] TEJA M H.Real-time live face detection using face template matching and DCT energy analysis[C]//2011 international conference of soft computing and pattern recognition.Washington DC,USA:IEEE Computer Society,2011:342-346.

[8] YAN Siyang,WANG Haiying,FANG Zhao,et al.A face detection method combining improved AdaBoost algorithm and template matching in video sequence[C]//28th international conference on intelligent human-machine systems and cybernetics.Washington DC,USA:IEEE Computer Society,2016:231-235.

[9] VIOLA P,JONES M.Robust real-time face detection[C]//Proceedings of eighth IEEE international conference on computer vision.Washington DC,USA:IEEE Computer Society,2001:137-154.

[10] KOCH C,ULLMAN S.Shifts in selective visual attention:towards the underlying neural circuitry[J].Human Neurobiogy,1985,4(4):219-227.

[11] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[12] ITTI L,KOCH C.Computational modelling of visual attention[J].Nature Reviews Neuroscience,2001,2(3):194-203.

[13] HAREL J,KOCH C,PERONA P.Graph-based visual saliency[C]//Advances in neural information processing systems.[s.l.]:[s.n.],2007:545-552.

[14] GOFERMAN S,LIHI Zelnik-Manor,TAL A.Context-aware saliency detection[C]//2010 IEEE computer society conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2010:2376-2383.

[15] CHENG M,ZHANG G,MITRA N J,et al.Global contrast based salient region detection[C]//CVPR 2011.Washington DC,USA:IEEE Computer Society,2011:409-416.

[16] 敖歡歡.視覺顯著性應(yīng)用研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2013.

[17] 殷世瓊.基于視覺機(jī)制的圖像和視頻的顯著性檢測(cè)[D].合肥:合肥工業(yè)大學(xué),2015.

[18] 陳 凡,童 瑩,曹雪虹.復(fù)雜環(huán)境下基于視覺顯著性的人臉目標(biāo)檢測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2017,27(1):48-52.