江龍強，林志賢，姚劍敏，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002)

?

復(fù)雜光照下的視頻人臉檢測與識別研究

江龍強，林志賢，姚劍敏，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002)

為了解決復(fù)雜光照下的視頻人臉檢測與識別率受影響的問題，提出了一種光照不變的人臉檢測與識別方法。該方法基于Retinex理論，提取光照不變分量，然后用于訓(xùn)練AdaBoost分類器；對輸入的視頻序列也進行相同的光照預(yù)處理，然后用訓(xùn)練的AdaBoost分類器進行人臉檢測；把檢測到的光照不變?nèi)四槇D像采用分塊加權(quán)LBP進行特征提取，采用歐氏距離與最近鄰分類器進行分類。實驗結(jié)果表明：該方法能有效提高視頻人臉檢測率與人臉識別率，而且對于人臉檢測與識別只需要一次光照處理，具有更高的效率。

人臉檢測；人臉識別；LBP；Retinex理論；AdaBoost算法

人臉識別[1]技術(shù)經(jīng)過多年的發(fā)展，已經(jīng)取得了很大進展，涌現(xiàn)出很多優(yōu)秀的人臉識別算法。但是，光照的變化仍然是影響人臉識別的關(guān)鍵問題之一[2]。主要光照處理算法可以分為以下3類：1)基于圖像增強的方法，例如Gamma校正[3]、對數(shù)變換[4]、直方圖均衡化[5]等。這類方法實現(xiàn)起來簡單、高效，在光照輕微變化時可以有效消除光照對人臉識別的影響。2)基于人臉建模的方法，比較典型的有光照錐[6]和球諧函數(shù)法。這類方法對光照的處理效果最好，但是需要大量的訓(xùn)練樣本，計算量大且復(fù)雜，難以在實時系統(tǒng)中應(yīng)用。3)光照不變量的方法，例如自商圖像(SQI)[7]、基于Retinex理論[8]的單尺度Retinex算法(SSR)和雙尺度Retinex算法(MSR)等。這類方法在人臉識別的光照預(yù)處理中取得了比較好的效果，也是目前人臉識別中消除光照影響的主流方法。

目前大多數(shù)的研究者把人臉檢測與人臉特征提取分開研究，而對于一個完備的人臉識別系統(tǒng)，光照的變化同時影響兩個方面：人臉檢測和人臉特征提取，所以有必要研究如何處理光照以同時提高人臉檢測率和人臉識別率。因此本文將人臉檢測和人臉識別的光照預(yù)處理統(tǒng)一起來，提出采用光照不變量法對人臉圖像進行光照預(yù)處理后再進行檢測與識別。

1 基本原理

1.1 Retinex理論

美國物理學(xué)家Edwin Land[9]等在1963年提出Retinex理論。Retinex理論認為人眼觀察物體時，投射到人眼的可見光強度由物體的表面反射性質(zhì)和入射光強度的乘積決定，人類感知到的物體表面顏色與投射到人眼的光譜特性關(guān)系不大，與物體表面的反射性質(zhì)密切相關(guān)。根據(jù)Retinex理論，給定圖像為

I(x,y)=R(x,y)L(x,y)

(1)

式中：I(x,y)表示人眼感知到的圖像；R(x,y)和L(x,y)分別表示物體表面的反射系數(shù)和入射光照。R(x,y)由物體的本身屬性決定，也就是得到的光照不變分量。但是由圖像I(x,y)求解物體表面反射系數(shù)和入射光照L(x,y)是個不定方程求解問題，需要約束條件。通常假設(shè)I(x,y)的邊緣也代表其反射系數(shù)R(x,y)的邊緣，而R(x,y)與成像表面劇烈變化的邊緣信息相關(guān)，因此R(x,y)代表圖像中的高頻信息；而光照部分L(x,y)在空間上平滑變化緩慢，是圖像中的低頻信息。為了能夠分離出R(x,y)和L(x,y)，需要將原始圖像變換到對數(shù)域處理，對式(1)兩邊取對數(shù)，得到

(2)

1.2 AdaBoost人臉檢測

基于AdaBoost的人臉檢測算法是Viola[10]等于2001年提出。AdaBoost即Adaptive Boosting，是一種統(tǒng)計學(xué)習(xí)型算法。該算法的提出使得人臉檢測技術(shù)取得巨大進展，是當(dāng)前主流的人臉檢測算法。

AdaBoost算法核心思想是通過一個迭代的訓(xùn)練過程訓(xùn)練若干弱分類器，然后組合成強分類器用于檢測。AdaBoost算法整體過程分為訓(xùn)練階段和檢測階段，訓(xùn)練階段通過大量的正負樣本訓(xùn)練得到分類器，檢測階段通過這個分類器對圖像進行檢測，查找人臉。AdaBoost算法流程圖如圖1所示。

圖1 AdaBoost算法流程

AdaBoost算法以Haar-like[11]矩形特征為輸入訓(xùn)練人臉分類器。首先采集人臉和非人臉樣本，計算樣本歸一化后的積分圖像，提取樣本中的Haar-like矩形特征，一個Haar-like矩形特征就是一個單獨的弱分類器。弱分類器的公式為

(3)

得到弱分類器之后，需要組合成強分類器。AdaBoost訓(xùn)練強分類器的算法流程描述為：

3)對每一輪迭代t=1,…,T進行如下計算，t表示迭代次數(shù)：

(2)對于每個特征j，訓(xùn)練其分類器hj，計算并選擇最小加權(quán)分類誤差εt為

(4)

式中：εt對應(yīng)具有最小加權(quán)分類誤差的分類器為ht。

(3)計算弱分類器ht的權(quán)值αt為

(5)

(4)對每個樣本都更新權(quán)重，其公式為

(6)

當(dāng)樣本xi被正確分類時ei=0,反之ei=1。

4)最后得到強分類器為

(7)

式中：αt表示弱分類器的權(quán)重；h(x)=1表示人臉，h(x)=0表示非人臉。

在人臉檢測的過程中，一般待檢測的窗口包含大量很明顯的非人臉窗口，為了快速地排除這些非人臉窗口，通常采用多個強分類器級聯(lián)成一個級聯(lián)強分類器，能夠極大提高分類效率。

1.3 局部二值模式(LBP)

局部二值模式(Local Binary Pattern，LBP)是一種局部紋理描述算子，由Ojala[12]等人提出來，最初用來描述圖像紋理特征，Ahonen等人將LBP應(yīng)用到人臉識別中并取得了不錯的效果。LBP算子具有計算簡單、對線性光照變化不敏感的特性，適用于實時紋理特征提取。

1.3.1 基本LBP算子

基本的LBP算子對于每副圖像上的像素點提取其周圍3×3窗口的像素值，以窗口中心點的灰度值為閾值，與周圍8鄰域的灰度值進行比較。LBP編碼計算可以由式(8)和(9)計算得到，即

(8)

(9)

式中：xc和yc分別為窗口中心點的橫坐標(biāo)和縱坐標(biāo)；gc表示窗口中心點的灰度；gi表示gc的8鄰域的灰度值，LBP的編碼過程如圖2所示。

圖2 LBP編碼示意圖

窗口中心點的灰度值201，8鄰域的像素點與中心點進行比較后得到二進制串為10011001，轉(zhuǎn)換成十進制數(shù)表示為153。對整幅圖像(除了圖像邊緣)進行計算后就可以得到圖像的LBP紋理圖，統(tǒng)計整個圖的LBP值就能得到LBP直方圖。

1.3.2 LBP算子拓展

為了提取更有效的紋理特征，Ojala等引入雙線性插值的方法拓展出任意半徑和任意采樣點的圓形鄰域，用LBPP,R表示，P為鄰域采樣點數(shù)量，R為半徑。常見的圓形鄰域LBP算子有LBP8,1，LBP8,2，LBP16,2等。

2 基于Retinex理論的視頻人臉檢測與識別

為了解決復(fù)雜光照下的視頻人臉檢測與人臉識別受到影響的問題，本文采用基于Retinex理論的光照預(yù)處理方法，將人臉檢測與人臉識別的光照預(yù)處理統(tǒng)一起來，并應(yīng)用于視頻人臉檢測與識別，不僅有效地提高人臉檢測率、人臉識別率，還顯著提升了視頻人臉檢測和識別的效率。本文的算法流程如圖3所示。

圖3 本文算法流程圖

2.1 光照不變?nèi)四槞z測

為了得到光照不變?nèi)四槇D像，本文先將圖像變換到對數(shù)域，然后用低通濾波器分離出光照分量，再用對數(shù)域圖像減去光照分量，提取出光照不變分量。然后用于訓(xùn)練AdaBoost分類器，對輸入的視頻序列也提取光照不變分量，再用AdaBoost分類器進行人臉檢測，從而消除復(fù)雜光照對人臉檢測的影響。

2.1.1 光照不變特征提取

基于Retinex理論的光照不變特征提取流程圖如圖4所示。

圖4 基于Retinex理論的光照不變特征提取流程圖

輸入圖像I，經(jīng)過對數(shù)變換后得到對數(shù)域圖像I′,I′經(jīng)過低通濾波器后提取出M，M接近光照分量L′，然后I′減去M就能得到光照不變分量R′的近似值N，即

R′?N=I′-M

(10)

提取的光照不變特征需要同時能滿足用于AdaBoost人臉檢測和LBP紋理特征提取，所以要求光照不變特征圖像不僅要保持足夠的Haar-like特征，還要保留足夠的紋理信息。因此選擇合適的低通濾波器十分關(guān)鍵，本文采用膨脹濾波器(Dilation Filter)[13]，這是一種形態(tài)學(xué)濾波器，它提取每幅圖像上(2n+1)·(2n+1)窗口的像素值，從中選出最大的像素值放到當(dāng)前窗口的中心點位置，并采用這樣的窗口遍歷整幅圖像，膨脹濾波器的表達式為

(11)

圖5 本文算法光照處理的前后對比圖

2.1.2 AdaBoost人臉檢測

本文建立了一個數(shù)量為10 000，正負樣本比例為1∶1的訓(xùn)練樣本庫，庫中所有正負樣本均歸一化到24×24像素，然后都進行基于Retinex理論的光照預(yù)處理，再用于訓(xùn)練AdaBoost分類器。將待測圖像也進行光照處理，然后用訓(xùn)練的AdaBoost分類器檢測人臉。在Extended Yale B上測試本文的人臉檢測方法，并與傳統(tǒng)的人臉檢測方法進行對比，如圖6，在光照較惡劣情況下，本文方法仍能夠準(zhǔn)確找到人臉，而傳統(tǒng)AdaBoost檢測算法無法找到人臉。而且本文所提取的人臉圖像經(jīng)過歸一化后可直接用于LBP紋理特征提取。

圖6 未進行光照處理和光照處理的人臉檢測對比圖

2.2 光照不變?nèi)四樧R別

圖7 分塊LBP特征提取流程圖

本文采用加權(quán)歐氏距離進行直方圖距離度量，根據(jù)光照情況和各子塊的信息熵不同，分配不同的權(quán)值。采用最近鄰分類器進行分類。

3 實驗結(jié)果與分析

為了驗證本文方法的效果，本文采用Yale B和Extended Yale B人臉庫進行實驗。人臉檢測選用Extended Yale B人臉庫中一個人(Yale B11)正面人臉(姿態(tài)P00)的585張未裁剪圖像。人臉識別選用Yale B人臉庫中10個人不同光照的正面人臉(姿態(tài)P00)500張裁剪為124×124的人臉圖像，分為5個光照子集。

3.1 人臉檢測實驗結(jié)果和分析

為了驗證光照不變?nèi)四槞z測方法的效果，實驗中分別采用了直方圖均衡化算法(HE)、對數(shù)變換以及本文的算法。分別在Extended Yale B人臉庫上進行人臉檢測，比較在以上3種算法中得到的人臉檢測率以及誤檢率如表1所示。

表1 各種光照預(yù)處理算法下人臉檢測率和誤檢率

從表1可以看出，圖像經(jīng)過光照處理后，人臉檢測率都有相應(yīng)的提高。其中，直方圖均衡化處理效果最差；對數(shù)變換有所提高，但還不理想；本文算法比對數(shù)變換高了6%，但是誤檢數(shù)略高。檢查本文算法的15張誤檢圖像發(fā)現(xiàn)都是背景過于復(fù)雜造成誤檢，加入膚色檢測能夠排除這部分誤檢，但是加入膚色檢測會增加漏檢，不過這部分漏檢對于視頻流是完全可以忽略的。根據(jù)以上分析，本文算法對于解決復(fù)雜光照下人臉檢測具有較好的效果。

3.2 人臉識別實驗結(jié)果和分析

圖8顯示了Yale B中5個光照子集經(jīng)過光照處理前后的對比效果。可以看出本文提取的光照不變特征圖像紋理清晰，有效濾除了光照。

圖8 采用Retinex理論進行光照預(yù)處理的效果圖

為了定量驗證光照不變?nèi)四樧R別方法的效果，實驗中分別采用了直方圖均衡化算法(HE)、對數(shù)變換、自商圖像(SQI)以及本文的方法。特征提取采用采樣點為8、半徑為2的統(tǒng)一局部二值模式，采用4×4分塊、加權(quán)歐氏距離和最近鄰分類器，分別在Yale B人臉庫上進行測試，測試結(jié)果如表2所示。

表2 Yale B人臉庫中子集1作為訓(xùn)練集的識別結(jié)果 %

從表2可以看出，直方圖均衡化處理效果比直接進行LBP特征提取效果略好；對數(shù)變換有所提高，但自商圖像效果更為理想，識別率都能在90%以上；本文算法在子集2、子集3和子集4上比自商圖像略好，在子集5上效果略差。經(jīng)過分析，本文算法對于光照劇烈變換的情況細節(jié)恢復(fù)不太理想，會產(chǎn)生假紋理。

3.3 視頻人臉檢測和識別實驗結(jié)果和分析

上文已經(jīng)在數(shù)據(jù)庫上對本文的算法進行人臉檢測和人臉識別效果的實驗和分析，現(xiàn)在分析在視頻人臉檢測和識別中的效果。本文在VC平臺上實現(xiàn)了基于本文方法的人臉檢測和識別系統(tǒng)，即視頻人臉檢測和識別，如圖9所示。

圖9 采用本文算法進行光照預(yù)處理的效果圖

圖9顯示傳統(tǒng)算法在視頻人臉檢測時在正面光照下可以檢測到人臉，但是光照不均勻情況下無法檢測到人臉，而本文算法提取的光照不變特征則能很好地檢測到人臉。

圖10顯示本文算法在視頻人臉檢測與識別的實驗結(jié)果，其中，窗口大小為640×480檢測人臉耗時25.971 969 ms，識別人臉耗時63.780 906 ms，由于只在人臉檢測和識別之前進行了一次光照預(yù)處理，因此整個視頻人臉檢測與識別的效率也能得到提高。

圖10 采用本文算法進行視頻人臉識別

4 結(jié)論

本文提出了用于視頻人臉識別的光照不變?nèi)四槞z測與識別的方法，通過對AdaBoost訓(xùn)練樣本進行基于Retinex理論的光照預(yù)處理，提取出光照不變分量，再訓(xùn)練AdaBoost分類器，然后對視頻流的幀圖像也進行基于Retinex理論的光照預(yù)處理，再用訓(xùn)練成的AdaBoost分類器進行人臉檢測，用分塊加權(quán)LBP進行特征提取。實驗結(jié)果表明本文的方法能有效提高復(fù)雜光照下視頻人臉檢測與識別的正確率，同時合并了人臉檢測與識別的圖像預(yù)處理，提高了識別效率。

[1]GALTON F.Personal identification and description[J].The Journal of the Anthropological Institute of Great Britain and Ireland, 1889(18):177-191.

[2]PHILLIPS P J, GROTHER P, MICHEALS R，et al.FRVT2006 and ICE 2006 large-scale results[EB/OL].[2014-08-10].http://wenku.baidu.com/link?url=LeWDYN60C-VjLjyKorMJKPSoyLm8-pQYDc1lpDTumuzqwGYuurpwMxA7NCurgFSgKGpqxfknGOezONa_HFJ9rqnMgbDKrhvkLpkehpVXH9i National Institute of Standards and Technology, NISTIR, 2007, 7408.

[3]康健.基于多閾值多尺度 LBP 的人臉識別研究[D].北京：北京郵電大學(xué)，2013.

[4]章毓晉.圖像工程：上冊——圖像處理[M].北京：清華大學(xué)出版社，2006.

[5]李錦, 王俊平, 萬國挺, 等.一種結(jié)合直方圖均衡化和 MSRCR 的圖像增強新算法[J].西安電子科技大學(xué)學(xué)報, 2014, 41(3): 103-109.

[6]王海洋.人臉光照矯正算法研究與實現(xiàn)[D].成都：電子科技大學(xué), 2013.

[7]施水才, 楊忱, 王濤, 等.基于自商圖像的人臉圖像增強[J].計算機工程與應(yīng)用, 2013, 49(13)：142-144.

[8]凌敏.基于Retinex理論的圖像增強算法研究[J].計算機光盤軟件與應(yīng)用, 2014, 17(1): 137.

[9]LAND E.An alternative technique for the computation of the designator in the Retinex theory of color vision[EB/OL].[2014-08-10].http://www.pnas.org/content/83/10/3078.

[10]VIOLA P, JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proc.the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2001：511-518.

[11]黃華盛.基于 Haar 特征的人臉識別算法[J].計算機光盤軟件與應(yīng)用, 2013, 16(23): 88.

[12]OJALA T, PIERIKAINEN M, HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition, 1996, 29(1): 1-59.

[13]NABATCHIAN A.Human Face Recognition[D].Windsor, Ontario, Canada: University of Windsor,2011.

江龍強(1990— )，碩士生，主研信息顯示系統(tǒng)；

林志賢(1975— )，博士，教授，從事平板顯示器驅(qū)動技術(shù)、圖像處理、信息顯示技術(shù)等研究工作；

姚劍敏(1978— )，博士，副研究員，主研模式識別、三維顯示技術(shù)等；

郭太良(1963— )，研究員，博士生導(dǎo)師，主要從事FED顯示器方面的研究工作。

責(zé)任編輯：薛 京

Study of Video Face Detection and Recognition under Complex Illumination

JIANG Longqiang, LIN Zhixian, YAO Jianmin, GUO Tailiang

(CollegeofPhysicsandInformationEngineering，F(xiàn)uzhouUniversity，F(xiàn)uzhou350002，China)

In order to solve video face detection and recognition rate affected by the problem of complex light, an illumination invariant method of face detection and recognition is proposed in this paper.The method is based on the Retinex theory.Firstly, the illumination invariant component is extracted from input image.Then it′s used to train the AdaBoost classifier.Illumination invariant component is also extracted from input video sequence to detect face by using the trained AdaBoost classifier.Block weighted LBP algorithm is used to extract illumination invariant face feature.Euclidean distance and the nearest neighbor classifier are used to classify the feature vectors.The experimental results show that the method can effectively increase the rate of video face detection and face recognition, and it only needs an illumination pretreatment for video face detection and recognition.Therefore, it has higher efficiency.

face detection; face recognition; LBP; Retinex; AdaBoost

國家“863”計劃項目(2012AA03A301；2013AA030601)；國家自然科學(xué)基金項目(61101169；61106053)；福建省2014年省屬高?？蒲姓n題JK類重點項目

TN949.6

A

10.16280/j.videoe.2015.07.021

2014-09-10

【本文獻信息】江龍強，林志賢，姚劍敏，等.復(fù)雜光照下的視頻人臉檢測與識別研究[J].電視技術(shù),2015，39(7).