韓袁琛，程 勇

(南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167)

基于朗伯反射模型的光照估計(jì)及魯棒人臉識別

韓袁琛，程 勇

(南京工程學(xué)院 通信工程學(xué)院，江蘇 南京 211167)

復(fù)雜光照下的人臉識別是模式識別領(lǐng)域一個(gè)具有挑戰(zhàn)性的問題。通過光照估計(jì)提取光照不變量是解決該問題的一種有效方法。在研究朗伯圖像獲取模型的基礎(chǔ)上，提出一種有效的光照估計(jì)模型。該模型能夠從復(fù)雜光照圖像中更準(zhǔn)確地估計(jì)光照，提取光照不變量。Yale B+復(fù)雜光照人臉庫的實(shí)驗(yàn)結(jié)果表明所提算法能夠提取更為魯棒的光照不變量，識別性能優(yōu)于當(dāng)前的先進(jìn)方法。

光照估計(jì)模型；光照不變量；朗伯反射模型；人臉識別

在數(shù)字圖像獲取過程中，輕微的光照變化會導(dǎo)致同一目標(biāo)的圖像信號產(chǎn)生較大差異，增加了圖像分析和模式識別的難度。自FERET 1996和FRVT 2000的測試結(jié)果表明光照變化嚴(yán)重影響人臉識別系統(tǒng)的性能后，復(fù)雜光照問題引起了國內(nèi)外圖像處理與模式識別研究機(jī)構(gòu)的廣泛關(guān)注，特別是最近幾年，已成為人臉識別技術(shù)的一個(gè)研究熱點(diǎn)。

目前，為了有效地消除復(fù)雜光照對人臉識別性能的影響，國內(nèi)外學(xué)者已經(jīng)提出了諸多方法。其中，從復(fù)雜光照人臉圖像中提取光照不變量是一類經(jīng)典、有效的方法。過去，為了從乘性模型中分離出光照不變量和成像光源，首先假設(shè)光照不變量快速變化，成像光源緩慢變化，然后采用低通濾波實(shí)施光照估計(jì)間接提取光照不變量。該類方法可以分為直接和間接兩種模式提取光照不變量。直接模式是指從人臉圖像中提取高頻特征作為光照不變量，有效高頻特征主要包括：梯度特征[1-2]、紋理特征[3-4]和變換域高頻特征[5-8]。間接模式是指先從人臉圖像中估計(jì)出光照，再實(shí)施光照和人臉本征的分離，提取光照不變量。有效的光照估計(jì)方法主要包括：高斯濾波[9]、加權(quán)各向異性高斯濾波[10]、對數(shù)全變差[11]和變換于平滑濾波[12]。

雖然這些方法在復(fù)雜光照人臉識別中已經(jīng)取得了一定的進(jìn)展，但仍具有局限性。一方面，假設(shè)人臉的光照不變特征快速變化具有一定的狹隘性。因?yàn)槿四槾蟛糠謪^(qū)域內(nèi)的光照不變特征，如眉毛、瞳孔、痣和皮膚都是緩慢變化的，只有區(qū)域之間才存在光照不變特征快速變化。另一方面，當(dāng)前的低通濾波、平滑濾波和去噪模型從獲取圖像低頻信息的角度估計(jì)光照(模糊的圖像)，包含了過多的人臉本征信息，僅能滿足光照緩慢變化的特性，忽略了圖像成像模型的特性，與圖像光照沒有直接的關(guān)聯(lián)。為了彌補(bǔ)以往算法的不足，本文在研究朗伯反射模型的基礎(chǔ)上，不再假設(shè)人臉本征的頻率特性，提出了一種新的光照估計(jì)模型，能夠更加準(zhǔn)確地從人臉圖像中估計(jì)光照，提取更加魯棒的光照不變量。

1 本文算法

1.1 朗伯反射模型

圖像是指目標(biāo)物體表面反射到圖像獲取傳感器上形成的光線強(qiáng)度的度量。朗伯反射模型作為經(jīng)典的可見光圖像成像模型，被廣泛應(yīng)用于復(fù)雜光照人臉識別中。式(1)給出了朗伯反射模型，描述了目標(biāo)物體的成像原理。

F(x,y)=ρ(x,y)n(x,y)Ts

(1)

其中：ρ(x,y)和n(x,y)T分別表示目標(biāo)物體表面的反射率和法向量；s表示成像光源；F(x,y)表示目標(biāo)物體的圖像。

物體表面的反射率和法向量與成像光源無關(guān)，是物體的內(nèi)在特征(光照不變量)。因此，目標(biāo)物體的成像原理可以用簡單的朗伯反射模型進(jìn)行描述，即一幅人臉圖像F(x,y)可以表示為

F(x,y)=I(x,y)·R(x,y)

(2)

其中：R(x,y)表示人臉本征(光照不變量)，數(shù)值范圍屬于[0,1]；I(x,y)表示成像光源(圖像光照)。

1.2 光照估計(jì)模型

鑒于以往光照估計(jì)方法都是假定在光照緩慢變化且人臉本征快速變化的基礎(chǔ)上，通過平滑或去噪技術(shù)估計(jì)光照，因而包含了人臉本征的低頻信息，不能從人臉圖像中準(zhǔn)確地估計(jì)光照。筆者從圖像的復(fù)雜光照特征和朗伯成像模型出發(fā)，提出一種新的光照估計(jì)模型。圖1給出了Yale B人臉庫中一個(gè)人在不同光照條件下獲取的4幅人臉圖像。圖1可以看出，圖像中的光照情況可以分為3個(gè)部分：無遮擋區(qū)域、遮擋區(qū)域和過渡區(qū)域(無遮擋和遮擋區(qū)域之間的區(qū)域)。這些區(qū)域的光照分別呈現(xiàn)如下特征：光線無遮擋區(qū)域光照比較明亮且變化緩慢；光線遮擋區(qū)域光照比較灰暗且變化緩慢；光線過渡區(qū)域光照由亮到暗且快速變化。而且由朗伯反射模型可知：人臉圖像是人臉本征和成像光照相乘的產(chǎn)物；人臉本征的數(shù)值范圍屬于[0,1]；人臉圖像的強(qiáng)度低于成像光照的強(qiáng)度；人臉圖像的最大值比以往任何的光照估計(jì)方法更接近于成像光照。

圖1 復(fù)雜光照人臉圖像

因此，結(jié)合復(fù)雜光照特征和朗伯成像模型，構(gòu)建了一種新的人臉圖像光照估計(jì)模型，人臉圖像F對應(yīng)的圖像光照I定義為

I(x,y)=Ims(x,y)×(P(x,y,Ω2)·G(x,y,Ω2)/∑Ω2PG)

(3)

(4)

(5)

Im(x,y)=maxoi,j∈Ω1(F(oi,j))

(6)

Is(x,y)=minoi,j∈Ω1(Fa(oi,j))+F(x,y)

(7)

Fa(x,y)=Im(x,y)-F(x,y)

(8)

t=mean(Fg)+k×(max(Fg)-mean(Fg))

(9)

Fg(x,y)=Fa(x,y)/Im(x,y)

(10)其中：G為標(biāo)準(zhǔn)差為ρ、卷積核尺度為Ω2的高斯核；P(x,y,Ω2)是Ims(x,y)對應(yīng)的各向異性模板；Ims(i,j)是Ims(x,y)在Ω2鄰域中的像素點(diǎn)；oi,j是點(diǎn)(x,y)在Ω1鄰域中的相鄰點(diǎn)；max(·)，min(·)和mean(·)分別表示求取集合數(shù)據(jù)的最大值、最小值和平均值；k∈[0,1]是一個(gè)可調(diào)因子。本文參數(shù)k和ρ分別設(shè)置為0.6和1，Ω1和Ω2鄰域窗口設(shè)置為3×3。

1.3 光照不變量

從人臉圖像中估計(jì)出光照后，可以根據(jù)式(2)描述的朗伯反射模型，推導(dǎo)出人臉圖像的光照不變量。圖像F(x,y)的光照不變量可表示為

R(x,y)=F(x,y)/I(x,y)

(11)

圖2給出了一幅人臉圖像光照估計(jì)與光照不變量提取的示例。圖2a為原始圖像；圖2b～2f分別是原始圖像對應(yīng)的Im，Is，Ims，I和R。從圖2f中可以看出，本文算法可以有效地消除原始圖像的光照差異。而且所提光照不變量R的數(shù)值范圍介于0和1之間，與人臉本征的數(shù)值范圍一致。

圖2 光照估計(jì)與光照不變量

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，本文將Yale B[13]和擴(kuò)展Yale B[14]組合成Yale B+人臉庫進(jìn)行實(shí)驗(yàn)。該庫復(fù)雜照明模式對于魯棒光照人臉識別算法依然是個(gè)具有挑戰(zhàn)性的問題。識別階段，主成份分析用于特征提取，基于歐氏距離的最近鄰分類器用于識別分類。本文算法與當(dāng)前先進(jìn)算法MSR[8]，Gradientfaces[1]和Luo[4]進(jìn)行了對比實(shí)驗(yàn)，給出相應(yīng)的識別效果。

Yale B+人臉庫包含38個(gè)人，64種光照模式，共計(jì)2 432幅圖像。所有圖像尺度被調(diào)整為100×100。根據(jù)光源與面部中心軸線夾角的不同，共將人臉庫分為5個(gè)集合。圖3給出了Yale B+人臉庫中一個(gè)人每個(gè)集合1幅人臉圖像及本文算法提取的光照不變量，可以看出本文算法能夠有效消除不同光照對人臉本征的影響。

首先，從5個(gè)集合中依次選擇一個(gè)集合為訓(xùn)練集，其他4個(gè)集合作為測試集，表1～5給出了不同算法的實(shí)驗(yàn)結(jié)果。可以看出本文算法性能穩(wěn)定，總體識別率高于其他算法。然后，為了驗(yàn)證本文算法的魯棒性和高效性，每個(gè)人任意選擇一幅圖像作為訓(xùn)練集(共計(jì)38幅人臉圖像)，其他圖像作為測試集(共計(jì)2 394幅人臉圖像)，重復(fù)實(shí)驗(yàn)60次，不同算法的平均識別率如表6所示，可以看出本文算法的平均識別率明顯高于著名的MSR和Gradientfaces算法，優(yōu)于最新Luo的算法。

圖3 Yale B+人臉庫的光照不變量

表1 集合1作為訓(xùn)練集不同算法的識別結(jié)果 %

方法集合2識別率集合3識別率集合4識別率集合5識別率全部集合識別率MSR99.7895.4994.5294.0495.71Gradientfaces100.0098.8787.2894.7495.29Luo97.5999.0694.3095.4396.54本文算法100.0099.8198.9098.0699.08

表2 集合2作為訓(xùn)練集不同算法的識別結(jié)果 %

方法集合1識別率集合3識別率集合4識別率集合5識別率全部集合識別率MSR97.7494.1793.6490.3193.12Gradientfaces99.2595.3092.5493.9194.69Luo93.9991.5499.1392.9494.13本文算法100.0098.1299.5698.0298.74

表3 集合3作為訓(xùn)練集不同算法的識別結(jié)果 %

方法集合1識別率集合2識別率集合4識別率集合5識別率全部集合識別率MSR99.6298.2596.2797.6597.74Gradientfaces100.00100.0098.0399.0399.16Luo98.1293.2097.8198.2096.90本文算法99.2598.9099.3499.3199.21

表4 集合4作為訓(xùn)練集不同算法的識別結(jié)果 %

方法集合1識別率集合2識別率集合3識別率集合5識別率全部集合識別率MSR95.8796.7194.1799.3196.86Gradientfaces100.0099.5697.3799.7299.09Luo97.7499.1297.7498.7598.43本文算法98.50100.0099.2599.3199.34

表5 集合5作為訓(xùn)練集不同算法的識別結(jié)果 %

方法集合1識別率集合2識別率集合3識別率集合4識別率全部集合識別率MSR96.6291.4592.6799.3494.74Gradientfaces96.2491.6790.2399.5694.04Luo98.1293.8699.0699.5697.66本文算法100.0099.78100.00100.0099.94

表6 隨機(jī)抽取每個(gè)人一張圖像作為訓(xùn)練集不同算法的平均識別結(jié)果 %

方法集合1識別率集合2識別率集合3識別率集合4識別率集合5識別率全部集合識別率MSR84.1981.3674.3774.2180.2078.45Gradientfaces87.6580.1673.9482.1890.1982.95Luo91.7689.8590.6993.3293.6891.76本文算法94.4492.3591.4893.0195.0693.32

3 小結(jié)

本文從圖像成像原理出發(fā)，在研究朗伯成像模型的基礎(chǔ)上，提出了一種新的復(fù)雜光照人臉圖像光照估計(jì)、光照不變量提取方法。該算法估計(jì)的光照不僅滿足光照的緩慢變化特性，而且滿足圖像的成像原理，更接近于人臉圖像獲取時(shí)的真實(shí)光照；所提光照不變量不僅能夠有效消除復(fù)雜光照的影響，而且數(shù)值范圍介于0和1之間，符合人臉本征的取值范圍。與當(dāng)前有效的算法相比，本文算法在Yale B+復(fù)雜光照人臉數(shù)據(jù)庫上能夠獲取更高的識別效果，具有更強(qiáng)的光照魯棒性。

[1] ZHANG T， TANG Y Y， FANG B， et al. Face recognition under varying illumination using Gradientfaces[J]. IEEE transactions on image processing， 2009， 18 (11)： 2599-2606. DOI： 10.1109/TIP.2009.2028255.

[2] NIKAN S， AHMADI M. Local gradient-based illumination invariant face recognition using local phase quantisation and multi-resolution local binary pattern fusion[J]. IET image processing， 2015， 9 (1)： 12-21. DOI： 10.1049/iet-ipr.2013.0792.

[3] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE transactions on image processing， 2010， 19(6)： 1635-1650. DOI： 10.1007/978-3-540-75690-3_13.

[4] LUO Y， GUAN Y. Enhanced facial texture illumination normalization for face recognition[J]. Applied optics， 2015， 54(22)： 6887-6894. DOI： 10.1364/AO.54.006887.

[5] ZHANG T， FANG B， YUAN Y， et al. Multiscale facial structure representation for face recognition under varying illumination[J]. Pattern recognition， 2009， 42(2)： 251-258. DOI： 10.1016/j.patcog.2008.03.017.

[6] CAO X， SHEN W， YU L G， et al. Illumination invariant extraction for face recognition using neighboring wavelet coefficients[J]. Pattern recognition， 2012， 45(4)： 1299-1305. DOI： 10.1016/j.patcog.2011.09.010.

[7] 高濤. 基于小波域多尺度Retinex的復(fù)雜光照的人臉識別[J]. 電視技術(shù)， 2012， 36(5)： 122-125．DOI： 10.3969/j.issn.1002-8692.2012.05.035.

[8] HU H. Illumination invariant face recognition based on dual-tree complex wavelet transform[J]. IET computer vision， 2015， 9(2)： 163-173. DOI： 10.1049/iet-cvi.2013.0342.

[9] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE transactions on image processing， 1997， 6(7)： 965-976. DOI： 10.1109/83.597272.

[10] WANG H， LI S Z， WANG Y. Face recognition under varying lighting conditions using self quotient image[C]//Proc. IEEE International Conference on Automatic Face and Gesture Recognition. Seoul， Korea：IEEE Computer Society， 2004：819-824. DOI： 10.1109/AFGR.2004.1301635.

[11] CHEN T， YIN W， ZHOU X S， et al. Total variation models for variable illumination face recognition[J]. IEEE transactionsn pattern analysis and machine intelligence， 2006， 28(9)： 1519-1524. DOI： 10.1109/TPAMI.2006.195.

[12] 程勇， 趙春霞， 王歡， 等. 基于NSCT和SQI的光照不變量及人臉識別[J]. 南京理工大學(xué)學(xué)報(bào)(自然科學(xué)版)， 2010， 34(4) ： 425-430. DOI： 10.3969/j.issn.1005- 9830. 2010.04.004. [13] GEORGHIADES A S， BELHUMEUR P N， KRIEGMAN D J. From few to many： illumination cone models for face recognition under variable lighting and pose[J]. IEEE transactions on pattern analysis and machine intelligence， 2001， 23(6)： 643-660. DOI： 10.1109/34.927464.

[14] LEE K C， HO J， KRIEGMAN D. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE transactions on pattern analysis and machine intelligence，2005，27(5)：684-698.DOI： 10.1109/TPAMI.2005.92.

韓袁琛(1994— )，女，本科生，主研圖像處理；

程 勇(1975— )，博士，本文通信作者，主研圖像處理、模式識別、智能檢測等。

責(zé)任編輯：閆雯雯

Illumination estimation and robust face recognition based on Lambertian reflectance model

HAN Yuanchen， CHENG Yong

(SchoolofCommunicationEngineering，NanjingInstituteofTechnology，Nanjing211167，China)

Face recognition under complex illumination is a challenging task in the field of pattern recognition. Extracting illumination invariants through illumination estimation is an effective way of solving this issue. Based on the research of Lambertian reflectance model， an effective illumination estimation model is proposed in this paper. This model can estimate the illumination and extract illumination invariants more accurately from the complex illumination images. Experimental results on the Yale B+database show that the proposed method extracts more robust illumination invariants and achieves higher recognition performance， compared with the-state-of-the-art methods.

illumination estimation model； illumination invariants； Lambertian reflectance model； face recognition

韓袁琛，程勇. 基于朗伯反射模型的光照估計(jì)及魯棒人臉識別[J].電視技術(shù)，2017，41(1)：79-83. HAN Y C，CHENG Y. Illumination estimation and robust face recognition based on Lambertian reflectance model[J]. Video engineering，2017，41(1)：79-83.

TN911.73

A

10.16280/j.videoe.2017.01.016

國家自然科學(xué)基金青年基金項(xiàng)目(61305011)；江蘇省自然科學(xué)基金面上項(xiàng)目(BK20131342)

2016-04-24