白小葉，程 勇，曹雪虹,

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167)

基于光照歸一化分塊自適應(yīng)LTP特征的人臉識(shí)別

白小葉1，程 勇2，曹雪虹1,2

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167)

針對(duì)復(fù)雜光照人臉識(shí)別的問(wèn)題，文中提出一種基于光照歸一化分塊自適應(yīng)閾值局部三值模式(Adaptive Threshold Local Ternary Pattern，ATLTP)的人臉識(shí)別算法。該方法首先對(duì)人臉圖像進(jìn)行光照歸一化預(yù)處理，消除大部分光照影響；然后對(duì)處理后的人臉圖像進(jìn)行ATLTP特征提取。為了更有效地表征人臉特征，進(jìn)一步將ATLTP特征矩陣劃分為大小相等的子塊，并對(duì)各個(gè)子塊進(jìn)行ATLTP特征直方圖統(tǒng)計(jì)，最后將所有子塊的直方圖連接起來(lái)，構(gòu)成整幅人臉圖像的鑒別特征。根據(jù)最近鄰準(zhǔn)則進(jìn)行分類識(shí)別，在Extended Yale B人臉庫(kù)和CMU PIE人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明，所提算法可以有效提高復(fù)雜光照人臉識(shí)別的性能。

人臉識(shí)別；光照歸一化；自適應(yīng)閾值；局部三值模式；分塊直方圖

0 引 言

人臉識(shí)別技術(shù)已經(jīng)被廣泛應(yīng)用于智能監(jiān)控、身份驗(yàn)證、人機(jī)交互等領(lǐng)域。在實(shí)際應(yīng)用系統(tǒng)中，光照變化是影響人臉識(shí)別系統(tǒng)性能的一個(gè)關(guān)鍵因素，光照的變化使面部特征成像存在差異。當(dāng)前技術(shù)條件下即使最好的人臉識(shí)別系統(tǒng)，其識(shí)別性能也會(huì)隨著光照變化急劇下降[1]。國(guó)內(nèi)外研究者們一直在尋求解決光照變化下的人臉識(shí)別問(wèn)題，提出了很多方法，大致分為光照歸一化方法以及光照不變量提取方法[2]。

光照歸一化方法是指利用基本的圖像處理技術(shù)對(duì)圖像進(jìn)行預(yù)處理，以獲取魯棒的光照?qǐng)D像。典型的人臉光照歸一化方法包括基于視網(wǎng)膜模型[3]、同態(tài)濾波及有向局部直方圖均衡化[4]等。這些方法的共同特點(diǎn)是通過(guò)灰度變換調(diào)整圖像中灰度的分布，從而間接地校正人臉圖像中不均勻的光照分布，消除大部分光照影響，保留更多的人臉細(xì)節(jié)特征。

光照不變量提取方法是指從人臉圖像中提取出不隨光照變化或變化較小的圖像特征[5]。主要方法包括自商圖像[6]、梯度臉[7]、對(duì)數(shù)全變差模型(Logarithm Total Variation，LTV)[8-9]和局部二值模式(Local Binary Pattern，LBP)[10]等。2006年，Ahonen等[11]將LBP應(yīng)用于人臉識(shí)別中，并取得了不錯(cuò)的效果。2010年，Tan[12]等在LBP算法的基礎(chǔ)上，提出了LTP算法，取得了比LBP算法更好的效果。

文中提出一種基于光照歸一化ATLTP特征與分塊直方圖統(tǒng)計(jì)相結(jié)合的方法。該方法首先對(duì)人臉圖像進(jìn)行對(duì)比度增強(qiáng)處理。由于LTP算子閾值是經(jīng)驗(yàn)值，不適用于所有人臉庫(kù)，因此引入自適應(yīng)閾值計(jì)算方法，對(duì)處理后的圖像提取ATLTP特征。為了能夠有效地表征圖像全局特征，將ATLTP特征矩陣分為大小相等的子塊，分別統(tǒng)計(jì)每個(gè)子塊特征的直方圖分布。最后將所有子塊直方圖連接起來(lái)，并根據(jù)最近鄰準(zhǔn)則分類識(shí)別。ATLTP特征包含了更準(zhǔn)確的紋理信息，而分塊直方圖統(tǒng)計(jì)特征能夠有效描述人臉特征結(jié)構(gòu)信息，二者互補(bǔ)可以更全面地表示人臉特征。

1 光照歸一化

2007年，Tan等[13]提出了一個(gè)簡(jiǎn)單高效的光照預(yù)處理鏈，消除一部分光照影響以便于后續(xù)特征提取。

1.1 伽瑪校正

伽瑪校正就是對(duì)圖像的伽瑪曲線進(jìn)行編輯，以對(duì)圖像進(jìn)行非線性色調(diào)編輯，檢出圖像信號(hào)中的深色部分和淺色部分，使用伽瑪變換來(lái)壓縮高灰度值，同時(shí)擴(kuò)展低灰度值，從而提高圖像對(duì)比度效果，減小光照對(duì)人臉圖像的影響。伽瑪校正公式如下：

(1)

其中：Iin為輸入圖像的原始灰度值；Iout為校正后的灰度值；maxgray為輸入圖像的最大灰度值；系數(shù)γ的值決定了變換后圖像的灰度值范圍，系數(shù)γ默認(rèn)情況下取值為0.2。

1.2 高斯差分濾波

伽瑪校正能在一定程度上改善對(duì)比度效果，但是對(duì)于人臉邊緣陰影區(qū)域的處理仍不理想。高斯差分濾波器作為一種帶通濾波器，可以用來(lái)提取人臉邊緣信息，進(jìn)一步消除光照對(duì)人臉邊緣區(qū)域的影響。高斯差分濾波器對(duì)圖像I(x,y)濾波結(jié)果如下所示：

(2)

(3)

其中，式(2)表示高斯差分濾波器，式(3)表示用高斯差分濾波器對(duì)圖像做濾波處理的結(jié)果。其中，當(dāng)σ1大于σ2時(shí)，高斯差分濾波器就相當(dāng)于一個(gè)帶通濾波器。σ1和σ2默認(rèn)情況下分別取值為2和1。

1.3 對(duì)比度均衡

在經(jīng)過(guò)伽瑪校正與高斯差分濾波后，人臉圖像中仍然會(huì)存在少量突出亮點(diǎn)。為了減少這些亮點(diǎn)對(duì)人臉識(shí)別的影響，對(duì)圖像的對(duì)比度進(jìn)行均衡化處理。對(duì)比度均衡處理主要包括兩個(gè)步驟：首先對(duì)伽瑪校正后的圖像進(jìn)行灰度值壓縮，減少高灰度值的影響；然后進(jìn)一步對(duì)歸一化后圖像的高灰度值進(jìn)行截?cái)嗖僮?。相?yīng)處理公式如下所示：

(4)

其中：α是圖像灰度值的壓縮系數(shù)；τ是閾值，用式(4)進(jìn)行灰度值變換后的截?cái)嘀?；mean(·)為均值函數(shù)。文中默認(rèn)α=0.1，τ=10。

圖1給出了預(yù)處理鏈處理后的效果圖。

圖1 光照歸一化效果圖

從圖中可見(jiàn)，相比原始圖像，使用預(yù)處理鏈處理后，消除了大部分光照影響，保留了更多的人臉細(xì)節(jié)。

2 分塊ATLTP

2.1 ATLTP特征提取

2.1.1 LTP算子

LTP繼承了LBP對(duì)光照不敏感的優(yōu)點(diǎn)，并且本身算子自定義的一個(gè)閾值在一定程度上能夠均衡復(fù)雜光照引起的亮光、高光的灰度值。LTP算子在LBP算子0、1二值模式的基礎(chǔ)上增加一個(gè)-1值構(gòu)成三值模式，并且設(shè)置一個(gè)寬度為t的鄰域范圍。鄰域像素gp與中心像素gc的差值若大于t，則被量化為1；若小于-t則被量化為-1；在[-t,t]范圍內(nèi)則被量化為0。如果三值模式由s(u)表示，則LTP的定義如下：

(5)

其中：gc表示區(qū)域內(nèi)中心位置處的灰度值；gp表示均勻分布在中心處半徑為R的圓周上P個(gè)采樣點(diǎn)的灰度值。

LTP編碼的計(jì)算公式為：

(6)

2.1.2 自適應(yīng)閾值

根據(jù)LTP定義可知，其三值模式是由鄰域內(nèi)不同像素點(diǎn)與中心像素點(diǎn)的對(duì)比度值(gp-gc)與閾值t作比較得出的。但是由于對(duì)比度值(gp-gc)不同，因此，可以根據(jù)對(duì)比度值之間的離散程度確定一個(gè)合適的閾值，增強(qiáng)LTP特征對(duì)劇烈光照變化等因素的不敏感性。

標(biāo)準(zhǔn)差反映了整個(gè)樣本變量的分散程度。樣本標(biāo)準(zhǔn)差小，說(shuō)明樣本變量的分布比較密集，在平均數(shù)附近，否則，表明樣本的分布比較離散[14]。一個(gè)鄰域內(nèi)對(duì)比度值的離散程度可以用標(biāo)準(zhǔn)差反映，因此，可將鄰域內(nèi)對(duì)比度值的標(biāo)準(zhǔn)差作為該鄰域的閾值。在(P,R)鄰域內(nèi)，計(jì)算每個(gè)鄰域像素點(diǎn)與中心像素點(diǎn)的對(duì)比度值以及這些對(duì)比度值的標(biāo)準(zhǔn)差σ，并將σ作為該鄰域LTP算子的閾值。閾值公式為[14]：

(7)

其中:

Δgp=gp-gc

(8)

(9)

式(8)表示對(duì)比度值，式(9)表示鄰域內(nèi)P個(gè)對(duì)比度值的平均值。

2.1.3ATLTP特征編碼

不同鄰域有不同的閾值t,對(duì)比度值在區(qū)域[-t，t]之間為0,在區(qū)域[t，∞]為1，在區(qū)域[-∞，t]內(nèi)為-1，則三值化操作過(guò)程如圖2所示。

圖2 圖像三值化

為了消除LTP編碼過(guò)程中生成的負(fù)數(shù)部分，將LTP編碼計(jì)算過(guò)程分解為上半部分(LocalTernaryUpperPattern，LTUP)和下半部分(LocalTernaryLowerPattern，LTLP)。LTUP的編碼中-1部分由0代替，LTLP的編碼中1的部分由0代替并且-1部分由1代替。接下來(lái)，每個(gè)部分的0和1編碼再利用LBP進(jìn)行單獨(dú)編碼即加權(quán)處理，得到兩幅加強(qiáng)不同屬性的紋理圖像。編碼過(guò)程如圖3所示[15]。

圖3 LTUP和LTLP編碼過(guò)程

基于閾值為5的LTP特征提取后的紋理圖像和基于ATLTP特征提取后的紋理圖像如圖4所示。從圖中可看出，圖(c)相對(duì)于圖(b)具有更多的、更加精細(xì)的紋理分布。

圖4 紋理圖像

2.2 分塊直方圖

ATLTP特征對(duì)于圖像局部紋理變化具有較高的鑒別性，而直方圖能夠有效描述圖像特征的結(jié)構(gòu)信息，但直接對(duì)整個(gè)圖像的特征矩陣統(tǒng)計(jì)直方圖分布會(huì)丟失很多結(jié)構(gòu)上的細(xì)節(jié)。為了能夠有效地表征圖像全局特征，將ATLTP特征矩陣進(jìn)一步劃分為若干不重疊且大小相等的矩形子塊，分別計(jì)算每個(gè)子塊區(qū)域內(nèi)特征的直方圖分布，最后將所有直方圖分布聯(lián)合起來(lái)構(gòu)成人臉鑒別特征。直方圖每個(gè)條柱代表相應(yīng)特征在子塊中出現(xiàn)的次數(shù)，一個(gè)子塊所對(duì)應(yīng)的直方圖，反映了這一局部區(qū)域內(nèi)整體灰度變化。

2.3 算法步驟

針對(duì)復(fù)雜光照條件下的人臉識(shí)別，文中提出了一種ATLTP特征提取與分塊直方圖統(tǒng)計(jì)特征相結(jié)合的人臉識(shí)別算法。具體步驟如下：

步驟1：對(duì)人臉圖像進(jìn)行光照歸一化；

步驟2：提取人臉圖像的ATLTP特征；

步驟3：將ATLTP特征矩陣分塊并統(tǒng)計(jì)每塊直方圖分布；

步驟4：將每塊直方圖特征進(jìn)行串聯(lián)融合；

步驟5：通過(guò)最近鄰分類器的判別，統(tǒng)計(jì)識(shí)別率。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 在Extended Yale B人臉庫(kù)上的實(shí)驗(yàn)

為了驗(yàn)證文中算法的性能，接下來(lái)在Extended Yale B人臉庫(kù)中進(jìn)行了人臉識(shí)別實(shí)驗(yàn)。Extended Yale B人臉庫(kù)是光照和姿態(tài)變化的典型人臉庫(kù)，共包括38人，每人576種條件(9種姿態(tài)×64種光照)下的共計(jì)21 888幅圖像。由于文中只研究人臉的光照問(wèn)題，因此在實(shí)驗(yàn)中，僅僅使用正面姿態(tài)下的人臉圖像。根據(jù)光照入射角度的不同，人臉庫(kù)可分為5個(gè)子集：子集1為入射光線角度≤12°；子集2為入射光線角度13°～25°；子集3為入射光線角度26°～50°；子集4為入射光線角度51°～77°；子集5為入射光線角度>77°。

在Extended Yale B人臉庫(kù)上做兩組實(shí)驗(yàn)。首先測(cè)試ATLTP特征矩陣的分塊數(shù)目對(duì)實(shí)驗(yàn)結(jié)果的影響。實(shí)驗(yàn)過(guò)程中，圖像ATLTP特征矩陣大小為128×128，分別分成1×1、2×2、4×4、8×8、16×16、32×16、32×32、64×64子塊；然后分別統(tǒng)計(jì)特征矩陣每個(gè)子塊的直方圖特征，并將統(tǒng)計(jì)的各子塊直方圖特征串聯(lián)融合成圖像整體直方圖特征；最后根據(jù)最近鄰準(zhǔn)則進(jìn)行分類識(shí)別。經(jīng)實(shí)驗(yàn)驗(yàn)證，當(dāng)分塊數(shù)目為32×16時(shí)，識(shí)別率最高。

為了測(cè)試所提算法的識(shí)別性能，在Extended Yale B人臉庫(kù)上，子集1和子集5分別作為訓(xùn)練集，相應(yīng)的其他4個(gè)子集作為測(cè)試集。此時(shí)，將文中ATLTP特征矩陣的分塊數(shù)目都設(shè)置為32×16，在Extended Yale B人臉庫(kù)中各種方法的實(shí)驗(yàn)結(jié)果如表1和表2所示。

表1 子集1作訓(xùn)練集的識(shí)別率 %

表2 子集5作訓(xùn)練集的識(shí)別率 %

由實(shí)驗(yàn)結(jié)果可以看出，在各個(gè)子集上文中方法識(shí)別率高于LTP、ATLTP、Gradientfaces方法的識(shí)別率，且ATLTP識(shí)別率高于LTP識(shí)別率，從而證明了文中方法特征提取的全面性和有效性。尤其當(dāng)光照變化大的子集5作為訓(xùn)練集時(shí)，更能體現(xiàn)出文中算法的強(qiáng)魯棒性。

3.2 在CMU PIE人臉庫(kù)上的實(shí)驗(yàn)

CMU PIE人臉庫(kù)包含68個(gè)人共計(jì)41 368張含有姿態(tài)變化、光照變化和表情變化的人臉圖像。CMU PIE人臉庫(kù)已成為測(cè)試姿態(tài)問(wèn)題、光照問(wèn)題的人臉識(shí)別算法性能的重要人臉庫(kù)。CMU PIE人臉庫(kù)的人臉圖像大小為640×480，圖像經(jīng)裁剪圖片大小調(diào)整為64×64。

文中為測(cè)試光照變化時(shí)的算法性能，選擇正臉，無(wú)表情變化下不同光照情況的人臉圖像做實(shí)驗(yàn)。在CMU PIE人臉庫(kù)上，隨機(jī)選取1幅，2幅，3幅，4幅和5幅人臉圖像作訓(xùn)練，其余的20幅、19幅、18幅、17幅和16幅人臉圖像用于測(cè)試，每種隨機(jī)選擇方法重復(fù)執(zhí)行5次并取均值作為最后的識(shí)別率。在CMU PIE人臉庫(kù)中各種方法的實(shí)驗(yàn)結(jié)果如表3所示。

表3 隨機(jī)選取幾幅圖像作訓(xùn)練集的識(shí)別率 %

在CMU PIE人臉庫(kù)的實(shí)驗(yàn)中可以看到，隨著訓(xùn)練樣本數(shù)量的增加，算法的識(shí)別率也趨于穩(wěn)定，尤其在訓(xùn)練樣本較少的情況下，更能體現(xiàn)出文中算法的優(yōu)越性。

4 結(jié)束語(yǔ)

文中提出一種基于光照歸一化ATLTP特征與分塊直方圖統(tǒng)計(jì)相結(jié)合的方法。采用的光照歸一化方法能夠很大程度上消除復(fù)雜光照變化對(duì)人臉識(shí)別的影響，利用ATLTP算法提取紋理細(xì)節(jié)特征，并結(jié)合分塊直方圖統(tǒng)計(jì)特征的方法，使所提取的ATLTP特征比較全面且具有較強(qiáng)的鑒別能力。在Extended Yale B人臉庫(kù)和CMU PIE人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明，與其他方法相比，所提算法可以有效提高復(fù)雜光照條件下的人臉識(shí)別準(zhǔn)確率。

[1] Phillips P J,Scruggs W T,O’Toole A J,et al.FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5):831-846.

[2] 范春年.人臉識(shí)別中光照處理算法研究[D].南京:南京大學(xué),2011.

[3] Meylan L,Alleysson D,Susstrunk S.Model of retinal local adaptation for the tone mapping of color filter array images[J].Journal of Optical Society of America A,2007,24(9):2807-2816.

[4] Lee P H,Wu S W,Hung Y P.Illumination compensation using oriented local histogram equalization and its application to face recognition[J].IEEE Transactions on Image Processing,2012,21(9):4280-4289.

[5] 程 勇.人臉識(shí)別中光照不變量提取算法研究[D].南京:南京理工大學(xué),2010.

[6] Shashua A,Riklin-Raviv T.The quotient image: class-based re-rendering and recognition with varying illumination[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(2):129-139.

[7] Zhang Taiping,Tang Yuanyan,Fang Bin,et al.Face recognition under varying illumination using gradientfaces[J].IEEE Transactions on Image Processing,2009,18(11):2599-2606.

[8] Chen T,Yin W,Zhou X S,et al.Total variation models for variable lighting face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(9):1519-1524.

[9] Zhang Taiping,Tang Yuanyan,Fang Bin,et al.Multiscale facial structure representation for face recognition under varying illumination[J].Pattern Recognition,2009,42(2):251-258.

[10] Ojala T,Pietik?inen M,M?enp? T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[11] Ahonen T,Hadid A,Pietik?inen M.Face description with local binary patterns:application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.

[12] Tan X,Song S,Zhou Z H,et al.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Transactions on Image Processing,2010,19(6):1621-1628.

[13] Tan Xiaoyang,Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].Lecture Notes in Computer Science,2007,4778:168-182.

[14] 高連如,張 兵,張 霞.基于局部標(biāo)準(zhǔn)差的遙感圖像噪聲評(píng)估方法研究[J].遙感學(xué)報(bào),2007,11(2):201-208.

[15] 李德寧.改進(jìn)型LTP特征提取算法在人臉識(shí)別中的研究與應(yīng)用[D].哈爾濱:哈爾濱理工大學(xué),2012.

Face Recognition Based on Illumination Normalization and Block-based Adaptive Local Ternary Pattern

BAI Xiao-ye1,CHENG Yong2,CAO Xue-hong1,2

(1.College of Communications and Information Technology,Nanjing University of Posts and Telecommunications,Nanjing 210003，China；2.School of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China)

To solve the problem of face recognition under complex illumination,an effective face recognition method based on illumination normalization and block-based Adaptive Threshold Local Ternary Pattern (ATLTP) is proposed.It first performs illumination normalization,and eliminates most of the light effects on face images.Then ATLTP features are extracted from the processed face images.To represent the face features effectively,the feature matrix is divided into several units,and the histogram of each unit is computed and combined as facial features.According to the nearest neighbor principle for face recognition,the experiment on Extended Yale B face databases and CMU PIE face databases demonstrates that significant recognition rate can be achieved under the complex illumination conditions by the proposed method.

face recognition;illumination normalization;adaptive threshold;local ternary pattern;block histogram

2015-07-25

2015-10-27

時(shí)間：2016-05-05

江蘇省自然科學(xué)基金(BK20131342)

白小葉(1990-),女,碩士,研究方向?yàn)楝F(xiàn)代通信中的智能信號(hào)處理；程 勇,副教授,博士,研究方向?yàn)閳D像處理與模式識(shí)別；曹雪虹,教授,博導(dǎo),研究方向?yàn)楝F(xiàn)代通信中的智能信號(hào)處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160505.0817.052.html

TP391

A

1673-629X(2016)05-0056-05

10.3969/j.issn.1673-629X.2016.05.012