李 嵐, 師飛龍, 徐楠楠
LI Lan, SHI Feilong, XU Nannan
江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122
School of Internet of Things Engineering, Jiangnan University, Wuxi, Jiangsu 214122, China
近年來,人臉識別的研究取得了很大進展[1-2]。人臉識別主要包括了人臉特征描述和特征匹配兩個階段,其中人臉特征描述主要分為全局特征和局部特征描述方法。由于基于局部特征的方法,如Gabor小波法[3]、子圖像方法[4-5]等相對于全局特征方法具有旋轉(zhuǎn)、平移、光照不變性等特點,因此具有較高的穩(wěn)定性和識別率,是用于人臉識別的主流方法。
紋理分析作為一種有效的人臉局部特征描述方法,受到了廣泛而深入的研究。其中最具代表性的局部紋理描述算子是LBP(Local Binary Patterns)[6]。2004年,Ahonen[7]等人將 LBP算子應(yīng)用于人臉識別,在 FERET人臉庫中取得了很好的效果。隨后LBP算子以其出色的人臉紋理特征提取能力被廣泛地用于人臉檢測、人臉識別等領(lǐng)域,并得到了不斷的改進。Vazquez[8]將人臉圖像劃分成三角網(wǎng)格,將LBP算子應(yīng)用到每個三角網(wǎng)格內(nèi),改進了不同姿勢下的人臉識別效率。Zhao[9]等人將LBP與Gabor小波相結(jié)合,提高了算法在光照下的魯棒性。Tang[10]將Haar小波用于LBP,也得到了較高的識別率。
LBP算子只能提取像素間單一的紋理特征,當人臉表情和光照條件變化較大時,識別效果并不理想。雖然Liao[11]等人提出的多尺度LBP算子能夠通過改變分塊的大小獲得不同的紋理特征,但是本質(zhì)上并不能解決這一問題。而Zhang[12]提出的定向二值編碼(DBC)方法能夠提取像素間多個方向的紋理特征,很好的彌補了LBP的不足,。
本文對 DBC方法進行了分析,提出了更好的改進算法 V-HaarDBC。該算法首先引入了 Haar小波對圖像去噪,然后通過投票機制避免了 DBC算法中對高維特征向量的計算。最后通過對實驗數(shù)據(jù)的分析,對 V-HaarDBC算法中存在的問題做了研究,進一步提出了融合全局特征進行加權(quán)投票的WV-HaarDBC方法。
LBP算子只考慮了中心像素與周圍像素的固定關(guān)系,獲得的紋理特征是唯一的。而 DBC算法,提取了中心像素和鄰近像素之間0°,45°,90°,135°四個方向的特征,更有效的描述各像素之間的空間關(guān)系,增強了紋理提取的效果。
圖1 通過DBC方法提取的四個方向的紋理特征
設(shè)圖像矩陣I內(nèi)某像素點為zi,j,然后按照公式(1)求出該點沿α方向與周圍像素的運算結(jié)果,其中d=1,為中心像素與周圍像素的距離,α分別為0°,45°,90°,135°。
如圖2所示,DBC算子從55×像素大小的矩陣中提取出了從上到下依次為0°,45°,90°,135°的紋理特征。
圖2 DBC基本思想
二值化處理后,計算點zi,j的二值編碼系列公式如下:
然后把 DBC編碼由二進制轉(zhuǎn)為十進制,計算出直方圖特征進行分類即可。同LBP一樣,為了更好表征局部的紋理特征,DBC也引入了和 LBP方法一樣的分塊思想,即先把圖像分成若干個相同大小的子塊,計算每個子塊的 DBC直方圖特征,最后將這些子塊的特征直方圖串聯(lián)成一個向量后進行匹配。
人臉識別中往往會存在圖像維數(shù)過高和噪聲干擾的問題,我們引入小波變換的方式來解決。Haar小波在圖像分解與重構(gòu)中具有運算速度快,分解效果好等優(yōu)點,因此我們使用Haar小波變換把人臉圖像分解為高頻和低頻兩部分。其中低頻分量信息與源圖像十分相似,保留了圖像的大多數(shù)信息,因此可以去掉這些包含多數(shù)噪聲的高頻分量信息,本實驗中采用一層Haar變換。
由于DBC算法提取了四個方向的特征直方圖,最終需要把這些直方圖串聯(lián)起來作為一個整體進行分類。在LBP算法中,高維的特征直方圖給計算帶來了極大的不便,而文獻[12]提出的DBC算法串聯(lián)了四個方向的特征直方圖,構(gòu)成了更加高維的特征向量,給計算帶來巨大的困難。
因此本文將多數(shù)投票機制引入到 DBC算法,解決了這個難題。設(shè)定A、B、C、D分別為訓(xùn)練樣本集在0°,45°,90°,135°方向的特征向量集,a、b、c、d 分別為未知樣本在0°,45°,90°,135°方向的特征向量,則計算流程如下:
圖3 多數(shù)投票法在DBC中的應(yīng)用
首先,求出訓(xùn)練樣本四個方向的特征向量集和未知樣本對應(yīng)的四個特征向量。然后分別判斷未知樣本每個特征向量的所屬類別。最終通過多數(shù)投票法判斷該未知樣本的最終歸屬類別。
投票機制的引入,一方面避免了 DBC算法中直接對高維向量的計算,另一方面,多分類器的引入增強了算法的容錯性,在一定程度上提高了準確率。
實驗在ORL人臉庫上進行,該數(shù)據(jù)庫共有40個人,每人10幅不同圖像。我們選取前5幅作為訓(xùn)練樣本,后5幅作為測試樣本。在這里,我們選取LBP,ε-LBP[13], HaarLBP[10],DBC 與本文的V-HaarDBC作為對比。其中的LBP算子采用半徑為1的3*3窗口大小形式。測得不同分塊形式下的實驗數(shù)據(jù)如表1:
表1 在ORL人臉庫上的性能比較
LBP 76.0 87.0 95.5 ε 78.5 88.5 96.5-LBP DBC 81.5 89.0 96.5 HaarLBP 80.0 95.5 97.0 V-HaarDBC 83.0 96.0 98.0
從表中數(shù)據(jù)可以看出,在不同的分塊情況下,DBC的識別率均高于LBP,這是由于DBC能夠提取更多的紋理特征,對于變化較大的人臉圖像更加的魯棒。試驗中V-HaarDBC獲得了最好的性能,相對于次優(yōu)的HaarLBP,其中最小提高幅度為0.5個百分點,最大可達3個百分點。
但是這種基于投票判別的方法,存在不足之處,在第四部分,提出了相應(yīng)的解決方法。
觀察V-HaarDBC的實驗數(shù)據(jù),發(fā)現(xiàn)引入投票機制的同時,也不可避免的出現(xiàn)了多數(shù)投票法的弊端。本實驗中,我們使用DBC四個方向的特征直方圖進行投票判別,即總票數(shù)為四,但是在計算最多票數(shù)的所屬類別時往往會出現(xiàn)某些類別獲得了相同的票數(shù)的情況,此時的判斷結(jié)果具有不確定性。這是投票法固有的缺點。
針對V-HaarDBC的缺點,本文提出了融合全局特征進行加權(quán)投票的WV-HaarDBC方法。
Zhang[14]等人已經(jīng)證實,經(jīng)多層小波變化后的人臉圖像的尺寸已經(jīng)很小,可以直接將該矩陣用于分類識別,并具有速度快準確率高的特點。因此,我們通過二層小波法對測試圖像分類,并將分類結(jié)果作為M張票加入到V-HaarDBC算法產(chǎn)生的四張投票之中。這樣我們在分類時就獲得了基于全局特征的M張票和基于局部紋理特征的四張票。
WV-HaarDBC算法流程如下:
1)對所有樣本進行一層Haar小波分解,只保留低頻部分。
2)對低頻部分分別采用“二層Haar小波特征提取+最近鄰”和“DBC特征提取+最近鄰”兩種方法進行分類投票。
3)通過多數(shù)投票法對從步驟2中獲得M+4張票進行最終判別。
圖4 WV-HaarDBC算法流程圖
來自全局特征的權(quán)重票數(shù)M的取值,不僅要能大大減少分類時票數(shù)相等的情況,同時還要兼顧到全局特征和 DBC局部紋理特征,因此我們分別取M=0.1、1.1、2.1進行測試,實驗環(huán)境同3.3節(jié)。
表2 WV-HaarDBC在ORL人臉庫的識別效果
分析表2可知,M=0.1或2.1時,算法過于偏重其中一類特征,因此識別率提升不高甚至有所下降。當選取M=1.1時,WV-HaarDBC兼顧了二層小波的全局特征與DBC的局部紋理特征,進一步增1強了算法的穩(wěn)定性,同時又減少了分類時票數(shù)相等的情況,具有最佳的識別率。因此在本實驗中,M=1.1是最合適的權(quán)值。
本文首先提出了 V-HaarDBC方法,將 Haar小波變換和多數(shù)投票法引入DBC之中,一方面避免了對高維特征直方圖的處理,另一方面多分類器的應(yīng)用增強了算法的魯棒性。然后進一步提出了融合全局特征的 WV-HaarDBC方法,實驗表明,該方法具有較好的識別效果。
[1]HOLUB A,MOREELS P,PERONA P. Unsupervised clustering for Google searches of celebrity images[C]/ /Proc of IEEE Conference on Face and Gesture Recognition. [S.1.]: IEEE, 2008: 1-8.
[2]CAO Zhimin, YIN Qi, TANG Xiao-cu, et al. Face recognition with learning-based descriptor[C]/ /Proc of IEEE Conference on Computer Vision and Pattern Recognition.[S.1.]: IEEE, 2010: 2707-2714.
[3]SERRANO A,de DIEGO I M,CONDE C,et al.Recent advances in face biometrics with Gabor wavelets: A review [J]. Pattern Recognition Letters, 2010, 31(5):372-381.
[4]Nabatchian A, Raheem EA, Ahmadi M. Illumination invariant feature extraction and mutual-information-based local matching for recognition under illumination variation. Pattern Recognition, 2011,44(10-11):2576-2587.
[5]Wang JZ, Zhang BX, Wang SY, Qi M, Kong J. An adaptively weighted sub-pattern locality preserving projection for face recognition. Journal of Network and Computer Applications, 2010,33(3):323-332.
[6]Ojala T,Pietik?inen M,M?enp?? T.Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns [J].IEEE Trans on Pattern Analysis and Machine Intelligence. 2002,24(7):971-986.
[7]Ahonen T, Hadid A, Pietikainen M. Face recognition with local binary patterns[C]//ECCV.8th European Conference on Computer Vision. Prague: ECCV, 2004: 469-481.
[8]VAZQUEZ H M, REYES E G, MOLLEDA Y C. A new image division for LBP method to improve face recognition under varying lighting conditions [C]// Proceedings of the 19th International Conference on Pattern Recognition. Tampa: IEEE Computer Society, 2008: 1-4.
[9]Zhao Q Y, Pan B C, Pan J J , et al. Facial expression recognition based on fusion of Gabor and LBP features[C]//ICWAPR. 6th International Conference on Wavelet Analysis and Pattern Recognition. Hong Kong: ICWAPR,2008:362-367.
[10]唐恒亮, 孫艷豐.融合多通道信息的二維人臉識別[J].北京工業(yè)大學(xué)學(xué)報.2011, 37 (12).
[11]LIAO SHENG-CA I, ZHU XIANG-XIN, LE I ZH EN,etal. Learning multi-scale block local binary patterns for face recognition [C]//ICB2007: Proceedings of IAPR /IEEE International Conference on Biometrics. Seou: l [s.n.], 2007: 828-837.
[12]Baochang zhang, Lei zhang, David zhang and Linlin shen.Directional Binary Code with Application to PolyU Near-Infrared FACE Database, ELSEVIER Pattern Recogiion Leters, vol.31, Issue14, pp.2334-2337, 2010.
[13]王月華,陳松燦.基于LBP的特征空間研究及其在自動人臉識別中的應(yīng)用[D].南京:南京航空航天大學(xué),2006.
[14]張淑玲, 鄒復(fù)民.基于小波分析的人臉圖像特征提取.科學(xué)技術(shù)與工程.2006, 6(12).