申 柯,陳 熙

(貴州師范大學(xué)大數(shù)據(jù)與計算機科學(xué)學(xué)院,貴州 貴陽 550025)

1 引言

紋理是圖像的一種重要特征,自20世紀60年代以來一直是深入研究的主題,它在圖像分割,基于內(nèi)容的圖像檢索、視頻監(jiān)控、運動檢測、遠程遙感、生物特征識別、計算機圖形和圖像紋理合成等領(lǐng)域得到了廣泛的研究與應(yīng)用[1]。特別是近年來隨著人工智能研究的不斷發(fā)展,圖像紋理識別已經(jīng)是計算機視覺領(lǐng)域最熱門的研究方向之一。圖像紋理識別技術(shù)在不斷追求自身優(yōu)化創(chuàng)新的同時,也為其它領(lǐng)域帶來了極大的便利,受到了其它領(lǐng)域廣泛的關(guān)注。

特征提取是紋理識別中很重要的一個環(huán)節(jié),很多人把特征提取作為研究的重點。比較常用的有Gabor小波[2]、主成分分析(PCA)[3]、梯度方向直方圖(HOG)[4]和局部二值模式(LBP)[5]等算法。其中,Gabor小波性能非常高,但計算復(fù)雜度也高。PCA是對圖像的全局特征進行提取,易受到人在不同姿態(tài)下和不同光照的影響,得到的結(jié)果往往不能令人滿意[6]。HOG算子在求取圖像梯度的時候忽略了中心像素點的作用,導(dǎo)致梯度特征提取準確性降低[7]。目前,一類研究和應(yīng)用都比較廣泛的是紋理特征提取方法是Ojala等[8]在1994年提出的LBP算法。LBP算法可以提取人臉局部特征,該算法具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點[9],對不同姿態(tài)和光照有很好的魯棒性,但是容易缺失部分紋理細節(jié)而且對方向信息敏感。

就人臉識別來說,由于LBP算法能夠很好的描述人臉的局部特征,所以近年來針對LBP算法的研究比較多。并且從不同角度(比如:降低噪聲、編碼方式、旋轉(zhuǎn)不變性、降維等)進行擴展與深入研究。Dong[10]等利用LBP在YaleB人臉數(shù)據(jù)庫中取得87.65%的識別率。Chakraborty[11]等提出局部矢量模式與廣義距離局部二值模式,提高了識別精度。Dan[12]等提出了JLBP(Joint Local Binary Patterns) 算子,考慮了不同尺度LBP特征之間的關(guān)系。為了降低噪聲的影響,Hafiane[13]等提出MBP(Median Binary Pattern)算子進行了降噪處理。Girish[14]等使用多尺度局部二值模式與PCA結(jié)合,在JAFFEE和INDIAN數(shù)據(jù)庫上進行識別,取得了很好的效果。李聞[15]等提出了局部二值模式與中心對稱局部微分模式(CS-LDP)自適應(yīng)特征融合算法,融合特征獲得更豐富的圖像紋理信息,本文受到其啟示,把局部二值模式與環(huán)式局部二值模式進行融合,對人臉圖像進行識別,改善了人臉識別算法的性能,獲取了更全面的人臉圖像紋理特征。

同樣,在生物特征識別中,掌紋識別也是一個重要的研究方向。掌紋識別的應(yīng)用領(lǐng)域也很廣泛,比如犯罪現(xiàn)場取證、門禁等等,而且與其它生物識別的技術(shù)相比,掌紋識別有著易采集、具有細節(jié)點和主線等、辨識度高的優(yōu)勢[16]。局部紋理算法對掌紋可以進行很好的描述,非常適合用來進行掌紋識別的研究。上述提出的融合算法同樣也可以在掌紋數(shù)據(jù)庫上進行識別,并且經(jīng)過實驗驗證取得了良好的識別性能。在以上提及的三個數(shù)據(jù)庫上進行了一系列實驗,包括圖像分塊實驗、在不同樣本數(shù)下的識別率實驗、多分辨率實驗、噪聲環(huán)境下的識別率實驗以及對各算法復(fù)雜度進行了評價。

2 算法簡介以及融合算法

2.1 局部二值模式(LBP)

LBP是一種用來提取局部紋理特征的紋理描述符。許多研究中,在準確性和計算復(fù)雜性方面展現(xiàn)了其出色的結(jié)果。對3×3的像素單元進行特征提取,它能夠很好地描述圖像的紋理特征,具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點。盡管LBP在計算機視覺和模式識別領(lǐng)域取得了巨大的成功,但其潛在的工作機制仍有待進一步研究。為了能夠處理不同尺度的紋理,LBP被擴展到使用不同大小的鄰域。對于原始LBP算法,其算法的基本思想是:取圖像中的任意像素點作為中心像素點,以3×3像素矩形區(qū)域作為鄰域,對其進行編碼。將中心像素值與其鄰域像素值逐一進行比較,若中心像素值大于鄰域的像素值,該點記為0,反之記為1。例如在圖1(a)中所示,為3×3的像素單元,LBP計算過程為:開始X1先與X0進行比較,X1的對應(yīng)位置值66小于X0對應(yīng)位置的值88,所以X1對應(yīng)位置的值記為0;再比如X5與X0進行比較,X5對應(yīng)位置的值91大于X0對應(yīng)位置的值88,所以X5對應(yīng)位置的值記為1,比較過程如圖1(b)所示。通過一輪計算就得到了其鄰域的8位二進制數(shù),分別乘以它們對應(yīng)的權(quán)值將其轉(zhuǎn)換為相應(yīng)的十進制數(shù)代替中心像素點的值。從X1像素點開始依次與中心像素X0值88進行比較,得到二進制編碼為01110000,此時X0處的像素值變?yōu)?20。

圖1 (a)為像素單元(b)為原始LBP算子

圖像中心像素點X0的LBP值通過如下式(1)得到

(1)

原始LBP算子利用閾值函數(shù)對中心像素與其3×3鄰域之間的差值進行編碼,并對閾值進行2的冪求和。基本LBP的閾值函數(shù)可以定義為

(2)

其中,Xi,i=1,2,…,8為中心像素X0周圍的8個鄰域點,f(xc,yc)為中心像素點X0處的LBP值;ai為鄰域點像素值;ac為中心點像素值;g(x)為閾值函數(shù)。直到識別出所有像素點的LBP值后,構(gòu)建一個直方圖來表示紋理圖像,其中包含了圖像中邊緣、紋理等局部特征的分布信息。

2.2 環(huán)式局部二值模式(RLBP)

原始的3×3LBP算法只考慮了中心像素點與其鄰域像素點之間的關(guān)系,并沒有考慮其與間隔像素點之間的關(guān)系。若考慮中心像素與其間隔像素之間的關(guān)系,鄰域范圍就必須由3×3擴展到4×4的像素單元,這無疑大大提高了算法的計算復(fù)雜度。經(jīng)過思考與實踐,本文提出的RLBP算法在不用擴展鄰域范圍的情況下得到間隔像素的關(guān)系。

該算法的基本思想是在3×3鄰域范圍內(nèi),以中心像素點左上方像素點X1為起始點,與順時針方向取間隔為1的點進行比較,例如在圖2中,RLBP算子為3×3的像素單元,RLBP計算過程為:開始X1先與X3進行比較,X1的對應(yīng)位置值66大于X3對應(yīng)位置的值56,所以X1對應(yīng)位置的值記為1;再比如X2與X4進行比較,X2對應(yīng)位置的值46小于X4對應(yīng)位置的值80,所以X2對應(yīng)位置的值記為0。以此類推,進行8次比較得到一個八位二進制數(shù),二進制編碼為11100000,此時X0處的像素值變?yōu)?24。

圖2 RLBP算子

圖像中心像素點X0的RLBP值通過如下式(3)得到

(3)

基本RLBP的閾值函數(shù)可以定義為

(4)

其中,其中,Xi,i=1,2,…,8為中心像素X0周圍的8個鄰域點,f(xc,yc)為中心像素點X0處的RLBP值;ai為中心像素點的鄰域點的像素值;ai+2為與ai相間隔點的鄰域像素值;g(x)為閾值函數(shù)。

此算法雖然在3×3鄰域范圍內(nèi)實現(xiàn)了間隔像素之間的關(guān)系,但是缺陷很明顯,沒有考慮到原始中心像素點的值。為了使得既能在3×3鄰域內(nèi)考慮到間隔像素點之間的關(guān)系,又能考慮到與中心像素點之間的關(guān)系。下面將本文提出的RLBP與原始的LBP算法進行融合,同時解決了這兩個算法的缺陷,實現(xiàn)了在3×3鄰域內(nèi)同時兼顧相鄰像素點和間隔像素點的聯(lián)系。

2.3 融合算法

融合算法使得LBP算法和RLBP算法之間互補,同時解決了兩個算法的缺陷。在3×3鄰域內(nèi)獲得了中心像素點與相鄰像素點和間隔鄰域之間的關(guān)系。在沒有擴大鄰域范圍的情況下提取到更加豐富的圖像特征識別信息,經(jīng)過實驗驗證,在很多方面都取得了更好的識別效果,與其它幾種算法相比識別率有所提高。融合算法流程如圖3所示,圖3中使用融合算法進行提取紋理特征的步驟如下:

圖3 特征向量融合

1)選定某個數(shù)據(jù)集,在此數(shù)據(jù)集中隨機選取n張圖像作為訓(xùn)練集數(shù)據(jù),剩余圖像作為測試集來測試性能。并且對每幅圖像進行分塊處理,假設(shè)下圖中原始圖像I被均勻分割成若干不重疊的4×4的正方形子塊I(k)(k=0,1,2,…,15),在每個子塊上進行操作,使得算法提取的特征更加精細。

χ(ILBP+RLBP,PLBP+RLBP)

(5)

其中,Y表示的是融合子圖像數(shù)量,Z表示的是所生成融合特征向量的長度。

3 實驗結(jié)果與分析

為了驗證本文改進算法的有效性與準確率,在兩個人臉數(shù)據(jù)集:ORL人臉數(shù)據(jù)集和Extend YaleB人臉數(shù)據(jù)集以及一個掌紋數(shù)據(jù)庫:香港理工大學(xué)Poly U掌紋圖像數(shù)據(jù)集上進行了一系列實驗。并且做了大量的對比實驗,與LBP、RLBP、CS＿LBP、CS＿LDP、LBP與CS＿LDP的融合算法多種同類算法進行了比較,證明了本文提出的融合算法在一些方面的優(yōu)勢。為了驗證融合算法在噪聲干擾下的魯棒性,本文還進行了抗噪聲實驗以及對比實驗,為數(shù)據(jù)集圖像添加了椒鹽噪聲以及泊松噪聲進行實驗。最后對各算法復(fù)雜度進行了分析。

3.1 圖像數(shù)據(jù)集

ORL人臉數(shù)據(jù)集是由英國劍橋的Olivetti研究實驗室在1992年4月至1994年4月期間創(chuàng)建的。其中包含400張圖像,其中包括40個人,每人10張在不同的時間、不同的光照、不同的面部表情(睜眼/閉眼,微笑/不微笑)和面部細節(jié)(戴眼鏡/不戴眼鏡)環(huán)境下采集的,是人臉識別常用的數(shù)據(jù)集之一。圖4(a)是該在數(shù)據(jù)集中截取的圖片。本文實驗中,采用雙線性插值將每幅圖像大小調(diào)整為64×64像素進行預(yù)處理。圖4(b)截取的是Yale大學(xué)創(chuàng)建的ExtendYale B人臉數(shù)據(jù)集,該數(shù)據(jù)集包括38個人,每人64張,共2432張在不同光照、不同表情和不同姿態(tài)下的人臉圖像。根據(jù)攝像機與實驗者人臉的方向角(12°,25°,50°,77°,90°)將每個人的64張照片分為5個子集,每人每個子集的人臉數(shù)目分別為(7,12,12,14,19)。在本實驗中同樣將其進行預(yù)處理為64×64像素大小的圖像。圖4(c)是從香港理工大學(xué)Poly U掌紋圖像數(shù)據(jù)集中截取的部分圖像,Poly U掌紋數(shù)據(jù)庫包含7752幅BMP圖像格式的灰度圖像,對應(yīng)386個不同的掌紋。該數(shù)據(jù)集中所有原始掌紋圖像的分辨率為384×284像素,在本文實驗中所有的圖像均被調(diào)整為64 ×64像素大小。

圖4 預(yù)處理樣本圖像

3.2 不同分塊下的性能分析

實驗中首先對圖像進行預(yù)處理,采用雙線性插值將每幅圖像大小調(diào)整為64×64像素,然后為其選取適當(dāng)?shù)姆謮K進行后續(xù)實驗。分塊對于識別效果有著極大的關(guān)系,分塊數(shù)過多會導(dǎo)致引入噪聲,擴大噪聲對實驗結(jié)果的影響。分塊數(shù)過少會導(dǎo)致特征過少,不夠豐富,從而影響識別效果。

本文使用在每個數(shù)據(jù)集上隨機選取樣本數(shù)n=5來進行分塊實驗,通過重復(fù)實驗10次求取平均識別率來確定后續(xù)實驗分塊數(shù)。圖5(a)是在ORL數(shù)據(jù)集上進行實驗的實驗結(jié)果,結(jié)果表明在ORL數(shù)據(jù)集上取2×2分塊時識別率最高,分塊數(shù)過多或者過少都影響了實驗的準確率,后續(xù)一系列在ORL數(shù)據(jù)集上的實驗會以2×2分塊進行。圖5(b)是在Extend Yale B數(shù)據(jù)集上的實驗結(jié)果,由此可知,在8×8時實驗準確率達到最高。在此數(shù)據(jù)集上進行了更細致劃分的16×16分塊的附加實驗,實驗準確率比8×8略微提高,但是時間損耗過大,因此后續(xù)系列實驗在8×8分塊的基礎(chǔ)上進行。圖5(c)是在poly U掌紋數(shù)據(jù)庫中的分塊實驗結(jié)果,在4×4分塊時識別率達到很好的效果,因此在poly U掌紋數(shù)據(jù)庫中的后續(xù)系列實驗在4×4分塊的基礎(chǔ)上進行。

3.3 不同樣本數(shù)據(jù)下的性能分析

實驗識別率除了與上述的分塊有很大關(guān)系外,與訓(xùn)練樣本數(shù)也有很大的關(guān)系,一般情況下,隨著訓(xùn)練集樣本數(shù)的增加,識別率也會提高。因此,在接下來的實驗是在每個數(shù)據(jù)集中對每個受試者在不同的樣本數(shù)的情況下進行實驗驗證。

3.3.1 在ORL數(shù)據(jù)集上的實驗

根據(jù)實驗數(shù)據(jù)集的大小,在每個數(shù)據(jù)集上選擇相應(yīng)的分塊與樣本數(shù)進行實驗。表1為在ORL數(shù)據(jù)集上由分塊實驗驗證取得最好效果的分塊數(shù)為2×2情況下,在每個受試者的樣本中隨機選擇訓(xùn)練集樣本數(shù)為n(n=3,4,5,6,7),剩余樣本作為測試集進行實驗,重復(fù)10次實驗,將實驗得到的結(jié)果繪制在下圖6中,并求取10次實驗的平均識別率與標準偏差,在下表1中列出。經(jīng)過實驗驗證,本文提出的融合算法與其它幾種算法相比有較好的識別精度。

表1 ORL人臉數(shù)據(jù)集中的平均識別率(%)與標準偏差(%)

圖6 在ORL數(shù)據(jù)集上的平均識別率

3.3.2 在ExtendYale B數(shù)據(jù)集上的實驗

光照變化一直是人臉識別中具有挑戰(zhàn)性的問題,關(guān)于應(yīng)對光照方面的問題,在不同的光照下各種算法的識別精度有較大的差異。為了驗證融合算法在關(guān)照影響下的魯棒性,在著名的ExtendYale B人臉數(shù)據(jù)庫上進行了實驗驗證,該數(shù)據(jù)集包括38名受試者,每個受試者有64張圖片,是較大的數(shù)據(jù)集。表2為本隨機選擇每一位受試者圖片樣本數(shù)為n(n=5,6,7,8,9)作為訓(xùn)練樣本,每個受試者剩下的64-n張圖片作為測試集數(shù)據(jù),在上述實驗驗證取得最好效果的分塊數(shù)8×8塊的情況下進行的下列實驗。該實驗重復(fù)進行10次,通過將這10次實驗計算平均識別率作為實驗最終結(jié)果繪制在下圖7中,實驗結(jié)果包括平均識別率以及標準差在下表2中呈現(xiàn)。

表2 ExtendYale B人臉數(shù)據(jù)集中的平均識別率(%)與標準偏差(%)

圖7 在ExtendYale B數(shù)據(jù)集上的平均識別率

經(jīng)過實驗驗證,本文提出的融合算法在ExtendYale B人臉數(shù)據(jù)庫上呈現(xiàn)出了較好的識別效果,相比于其它幾種算法的識別精度有所提高。實驗結(jié)果證明了該融合算法在解決光照問題方面有了很大的改善。

3.3.3 在Poly U掌紋圖像數(shù)據(jù)集上的實驗

為了進一步更好的評估融合算法的適用場景以及算法性能,在香港理工大學(xué)Poly U掌紋圖像數(shù)據(jù)集中進行了實驗。Poly U掌紋圖像數(shù)據(jù)集是經(jīng)常被用來用于掌紋識別的數(shù)據(jù)集之一。表3為在Poly U掌紋圖像數(shù)據(jù)集中得到的實驗結(jié)果,隨機選擇每個受試者樣本數(shù)為n(n=1,2,3,4)作為訓(xùn)練數(shù)據(jù),剩余樣本數(shù)作為測試集進行實驗,并且在上述實驗驗證取得最好效果的分塊數(shù)4×4的情況下進行的實驗得到的平均識別率以及標準偏差,實驗結(jié)果在圖8中呈現(xiàn)。

表3 poly U掌紋數(shù)據(jù)集中的平均識別率(%)與標準偏差(%)

圖8 在poly U數(shù)據(jù)集上的平均識別率

3.4 自適應(yīng)融合LBP和RLBP的性能分析

為了進一步提高融合算法的識別效果,本節(jié)添加了對融合算法加權(quán)的實驗。前面章節(jié)做的分塊和分類實驗都是在LBP和RLBP在1:1的融合情況下進行的,本章節(jié)采用的加權(quán)實驗引入一個變量alpha,alpha的取值在0到1之間。如式(6)所示,實驗通過改變alpha的值(初始值設(shè)為0.1,每隔0.1大小取值進行一次測試,直到alpha的值為0.9停止)來實現(xiàn)在多分辨率下的性能分析,通過比較得到的實驗結(jié)果,得到最佳的識別率來提高算法的有效性。

Dist=alpha×Dist＿lbp+(1-alpha)×Dist＿rlbp

(6)

其中,Dist是融合算法生成的訓(xùn)練集與測試集特征模板向量之間融合后的距離,Dist＿lbp表示LBP特征在兩個模板向量之間的距離,Dist＿rlbp表示RLBP特征在兩個模板向量之間的距離。

本實驗在ORL數(shù)據(jù)集上采用分塊數(shù)2×2,樣本數(shù)為4,alpha從0.1到0.9進行了10次實驗并求取平均值;在YaleB數(shù)據(jù)集上采用8×8分塊,樣本數(shù)為10,進行10次實驗求平均值;在ploy U數(shù)據(jù)集上采用4×4分塊,訓(xùn)練樣本數(shù)為2進行10次實驗求取平均值。實驗結(jié)果如下表4所示,通過結(jié)果得知,融合算法在ORL數(shù)據(jù)庫上alpha的值為0.6時識別率達到最高,為93.92%;在YaleB數(shù)據(jù)庫上alpha值為0.3時識別率達到最高,為89.96%;在掌紋數(shù)據(jù)庫polyU數(shù)據(jù)庫上alpha值為0.5時識別率達到最高,為96.1%。

表4 融合算法在多分辨率下的平均識別率(%)

圖9 融合算法在不同分辨率下的識別率

表5 在ORL數(shù)據(jù)集中圖像加入噪聲情況下各算法的平均識別率(%)

3.5 在不同噪聲環(huán)境下的性能分析

為了評估本文提出的融合算法在不同噪聲情況下的性能,進行了幾種算法在經(jīng)過噪聲處理過后數(shù)據(jù)集上的對比實驗。在一般情況下,給圖像增加噪聲會使得算法的識別率降低,算法的性能下降。因此在噪聲環(huán)境下能取得較好的識別率也從另一個角度驗證的算法的魯棒性。實驗結(jié)果證明本文融合算法提取到的圖像特征識別信息更加豐富,相比與其它算法抗干擾能力也更強。

本文在ORL人臉數(shù)據(jù)集上進行噪聲實驗,實驗中將選取的圖像使用函數(shù)imnoise(Train＿im,‘salt & pepper’,0.1)添加椒鹽噪聲,這里的Train＿im是訓(xùn)練樣本中的圖像。采用imnoise(Train＿im,‘poisson’)添加泊松噪聲,如圖10所示。然后在ORL數(shù)據(jù)集中選擇n(n=2,3,4,5)個添加噪聲的樣本進行訓(xùn)練,其余樣本作為測試集。實驗重復(fù)10次計算出平均識別率。與CS＿LDP[15]以及LBP和CS＿LDP融合算法[15]進行了比較。

經(jīng)過噪聲實驗,得出以下幾個結(jié)論:

1)泊松噪聲對識別性能產(chǎn)生了較大的影響,添加椒鹽噪聲對識別性能的影響較小。

2)本文融合算法在加入噪聲后的識別準確率優(yōu)于其它算法,證明了融合算法的應(yīng)對噪聲具有更好的魯棒性。

3.6 算法復(fù)雜度分析

融合算法雖然在很多方面表現(xiàn)出了它的優(yōu)勢,但是算法復(fù)雜度卻是它的一個劣勢。在此對各算法的分析,通過比較各算法使用乘法、加法與比較次數(shù)來分析各算法的復(fù)雜度。假設(shè)選取一張圖像I,分別選用LBP、RLBP、CS＿LBP、CS＿LDP、LBP與CS＿LDP的融合算法以及本文提出的LBP與RLBP的融合算法進行特征提取。提取過程中操作如下:將該圖像分成S個大小相同的塊,每個子塊長為M像素,寬為N像素;然后統(tǒng)計實驗計算量,每進行一次加法運算,Cadd的值增加1,每進行一次乘法運算,Cmul的值增加1,進行一次比較運算,Ccom的值增加1,統(tǒng)計總計算量R。經(jīng)過統(tǒng)計得出,各算法在提取特征生成特征向量的過程中產(chǎn)生的計算量不同,如使用LBP算法以及RLBP算法提取圖像I產(chǎn)生的計算量為RLBP=S×M×N×(15×Cadd+7×Cmul+8×Ccom),使用CS＿LDP算法提取圖像I產(chǎn)生的計算量為RCS＿LDP=S×M×N×(7×Cadd+3×Cmul+4×Ccom),使用本文算法提取圖像I產(chǎn)生的計算量為RLBP+CLBP=S×M×N×(23×Cadd+7×Cmul+16×Ccom)。在各算法進行特征提取產(chǎn)生特征向量所需要的計算量統(tǒng)計如下表6所示。

表6 特征提取計算量分析

4 結(jié)論

針對由于特征提取單一導(dǎo)致人臉特征不能被完整表達,識別率不高的問題,使用將LBP與RLBP算法融合之后,人臉局部紋理特征被充分提取,增強了算法的魯棒性。本文將LBP、RLBP、融合算法、CS＿LBP以及CS＿LDP進行了分塊和分類實驗,實驗結(jié)果顯示出了融合算法提取到的圖像特征識別信息更加豐富且在ORL、ExtendYaleB和polyU掌紋數(shù)據(jù)集上平均識別率更高。融合算法在不同分辨率情況下進行了實驗,通過調(diào)節(jié)參數(shù)alpha的值使得算法得到更高的識別率。噪聲影響實驗中結(jié)果也優(yōu)于其它算法。但是,融合算法在算法復(fù)雜度上是一個短板,本文也對各算法的復(fù)雜程度做了詳細分析,希望后續(xù)研究在保證識別率的前提下能夠在該方面進行優(yōu)化。