辛亮亮 宋鐵成 張剛高陳強(qiáng)張?zhí)祢U
紋理是一種重要的視覺特征,它反映了像素灰度的空間分布規(guī)律,傳達(dá)了物體的表面結(jié)構(gòu)信息.提取有效的紋理特征是圖像處理和計算機(jī)視覺領(lǐng)域研究的基礎(chǔ)問題,在紋理分類[1?3]、紋理分割[4]、場景識別[5]、圖像匹配[6]等視覺任務(wù)中扮演重要角色.由于圖像內(nèi)在的紋理結(jié)構(gòu)呈現(xiàn)多樣化以及外部成像條件的不可預(yù)知性(如旋轉(zhuǎn)、光照、尺度和視角等變化),提取對各種圖像變化具有不變性的紋理特征是一個富有挑戰(zhàn)性的問題.
近幾十年來,學(xué)者們提出了一系列的紋理特征提取方法,包括灰度共生矩陣[7]、馬爾科夫隨機(jī)場[8]、Gabor 濾波[9]和小波變換[10]等.Ojala 等[2]提出了局部二值模式(Local binary pattern,LBP),該方法通過編碼像素差分的符號信息來建立直方圖特征,具有計算復(fù)雜度低、對光照和旋轉(zhuǎn)變化魯棒等優(yōu)點.受其啟發(fā),研究者們提出了許多LBP的衍生算法[11?12].例如,在提高抗噪性能方面,Tan 等[13]提出了局部三值模式(Local ternary pattern,LTP)將局部差分符號量化為三值模式以降低噪聲對像素差分編碼值的影響.Song 等[14]利用局部差分模板提出了抗噪的局部對比度模式(Local contrast pattern,LCP).Liu 等[15]基于局部平均的思想提出了對噪聲魯棒的BRINT(Binary rotation invariant and noise tolerant)描述符.在提高特征鑒別力方面,研究者們提出了完整的LBP(Completed LBP,CLBP)[16]、完整的局部二值計數(shù)(Completed local binary count,CLBC)[17]和基于變換域的方法,包括局部Gabor二值模式[9]、局部編碼變換特征直方圖(Locally encoded transform feature histogram,LETRIST)[18]和局部空頻模式聯(lián)合編碼(Joint coding of local space-frequency pattern,jcLSFP)[19].
盡管上述LBP的衍生算法獲得了一定成功,但是它們對圖像的光照反轉(zhuǎn)變化十分敏感.光照反轉(zhuǎn)現(xiàn)象是由反射、曝光、前景或者背景變化等引起的圖像灰度值相對大小的改變[20?23].圖1顯示了真實生活場景中存在的光照反轉(zhuǎn)現(xiàn)象.可以看到,不同于普通的光照變化,光照反轉(zhuǎn)使得原先圖像中明亮的區(qū)域變得暗淡,反之亦然.由于LBP編碼局部像素對的差分符號信息,即以中心像素為門限將近鄰像素量化為包含“0”和“1”比特的二值模式,光照反轉(zhuǎn)時LBP將產(chǎn)生完全不同的編碼值(見圖2),這會嚴(yán)重影響LBP及其衍生算法在分類和識別等任務(wù)中的性能.
圖1 真實生活場景中的光照反轉(zhuǎn)現(xiàn)象Fig.1 Inverse illumination changes in real-world scenes
針對上述問題,Nguyen等[20]提出了非冗余的LBP(Non-redundant LBP,NRLBP),通過尋找LBP二進(jìn)制碼與其反碼的最小值來解決對象檢測中前景和背景灰度值相對變化的問題.Jun等[21]提出了局部梯度模式(Local gradient pattern,LGP),通過編碼局部差分的幅值來解決光照反轉(zhuǎn)不變性.類似地,He等[22]提出了梯度LBP(Gradient LBP,GLBP)來解決紋理分類中的光照反轉(zhuǎn)問題.為實現(xiàn)旋轉(zhuǎn)不變性,該方法通過遍歷所有方向的特征直方圖來尋求最小的匹配距離,因此計算復(fù)雜度比較高.Song 等[23]提出了排序的LGP(Sorted LGP,SLGP),在編碼梯度信息的同時還利用主導(dǎo)灰度序來編碼中心像素.在上述4種方法中,NRLBP和LGP沒有考慮旋轉(zhuǎn)不變性,LGP、GLBP和SLGP僅考慮了像素差分的幅值信息,忽略了重要的差分符號信息,而且這4種方法均表現(xiàn)出有限的特征描述力.
圖2 光照反轉(zhuǎn)對LBP編碼值的影響Fig.2 The influence of inverse illumination on LBP codes
基于以上觀察,本文從一個新的角度去解決LBP特征的光照反轉(zhuǎn)不變性,同時提高特征的描述力.首先,提出兩種互補(bǔ)性的、對光照反轉(zhuǎn)和圖像旋轉(zhuǎn)魯棒的紋理算子:局部補(bǔ)數(shù)模式(Local complement pattern,LCP)和局部導(dǎo)數(shù)模式(Local derivative pattern,LDP).前者用于編碼原始圖像空間中的近鄰差分符號信息,后者用于編碼不同尺度下(一階和二階)高斯導(dǎo)數(shù)空間中的近鄰差分幅值信息.然后,提出基于均值采樣的聯(lián)合編碼方案,其目的是提高特征的表達(dá)力,同時維持特征的緊致性.最后,對聯(lián)合編碼的特征進(jìn)行多尺度的直方圖表達(dá),獲得紋理圖像描述符,即局部補(bǔ)數(shù)?導(dǎo)數(shù)模式(Local complement and derivative pattern,LCDP)特征.實驗表明,本文方法能夠很好地解決紋理分類任務(wù)中的光照反轉(zhuǎn)和圖像旋轉(zhuǎn)問題,并在線性和非線性光照反轉(zhuǎn)條件下取得了很高的分類精度.
圖3顯示了本文方法構(gòu)建LCDP描述符的框架.首先,對圖像進(jìn)行多尺度的一階和二階高斯導(dǎo)數(shù)濾波,分別計算梯度的幅值響應(yīng)圖和LOG(Laplacian of Gaussian)濾波的幅值響應(yīng)圖.然后,基于均值采樣策略對原始圖像進(jìn)行LCP編碼,對兩類幅值響應(yīng)圖進(jìn)行LDP編碼.最后,對LCP和LDP的編碼值進(jìn)行聯(lián)合統(tǒng)計,建立多尺度的直方圖特征表達(dá).
圖3 本文方法構(gòu)建LCDP描述符的框架Fig.3 The framework of the proposed method to construct LCDP descriptor
LBP[2]算子直接編碼近鄰像素差分的符號信息,是描述紋理結(jié)構(gòu)的有力工具.給定一幅圖像I,利用LBP算子可以計算對應(yīng)每個中心像素的具有旋轉(zhuǎn)不變性的碼值:
其中,上標(biāo)“ri”表示旋轉(zhuǎn)不變性,“u2”表示均勻測度U ≤2,xc表示當(dāng)前中心像素的灰度值,xr,p表示均勻分布在半徑為r的圓周上的第p(p=1,···,P)個近鄰采樣點的灰度值(不在圖像網(wǎng)格上的點通過內(nèi)插得到),s為符號函數(shù):
然而如前文所述,LBP對光照反轉(zhuǎn)十分敏感.針對此問題,本文在NRLBP的基礎(chǔ)上借鑒“riu2”的編碼思想,提出一種兼具光照反轉(zhuǎn)和旋轉(zhuǎn)不變性的局部補(bǔ)數(shù)模式LCP,其定義如下:
LCP的編碼原理如下:對于式(1)中的均勻模式(即U ≤2),光照反轉(zhuǎn)后仍為均勻模式,而且光照反轉(zhuǎn)前后的碼值互為補(bǔ)數(shù)(即碼值之和為P),因此可以通過尋找碼與其補(bǔ)數(shù)的最小值實現(xiàn)光照反轉(zhuǎn)不變編碼;對于式(1)中的非均勻模式(即U >2),光照反轉(zhuǎn)后仍為非均勻模式,因此可以將所有非均勻模式編碼為一個碼值.例如,由采樣配置(r,P)=(1,8)得到某均勻模式(00011000)2,該模式在光照反轉(zhuǎn)后變?yōu)?11100111)2,對應(yīng)的旋轉(zhuǎn)不變的編碼值由2變?yōu)?,LCP算子選擇最小值2作為最終的編碼值;對于某非均勻模式(00110001)2,該模式在光照反轉(zhuǎn)后變?yōu)榉蔷鶆蚰J?11001110)2,LCP算子將這兩種非均勻模式都編碼為5,從而實現(xiàn)光照反轉(zhuǎn)和旋轉(zhuǎn)不變性.
基于式(4),我們建立一個頻率直方圖來表示紋理圖像,即
其中,w和h分別表示圖像的長度和寬度,v(v=0,···,P/2+1)為LCP的模式標(biāo)簽,δ函數(shù)定義為
上述LCP特征直方圖的維度為(P/2+2).
LCP通過編碼像素差分的符號信息實現(xiàn)光照反轉(zhuǎn)不變性,但是沒有考慮像素差分的幅值信息,其特征描述力不足.LGP[21]、GLBP[22]和SLGP[23]利用了像素差分的幅值信息,但是它們僅考慮了點對像素之間的一階差分幅值信息,缺乏深度的像素交互和更為高階的差分幅值編碼.為此,本文引入一階和二階高斯導(dǎo)數(shù)濾波來刻畫豐富的紋理結(jié)構(gòu)信息,并利用LBP算子編碼圖像濾波后的差分幅值信息,上述操作稱為局部導(dǎo)數(shù)模式(LDP)算子.
給定輸入圖像I,首先定義像素(x,y)處的二維高斯函數(shù)為
然后,計算基于一階高斯導(dǎo)數(shù)濾波的梯度幅值響應(yīng)
和基于二階高斯導(dǎo)數(shù)濾波(LOG濾波)的幅值響應(yīng)
其中,Gx、Gx x和Gy、Gyy分別是沿x和y方向的一階、二階高斯導(dǎo)數(shù),?表示卷積操作,σ是濾波尺度.為捕獲多尺度的紋理信息,本文使用三尺度的高斯導(dǎo)數(shù)濾波:σ1=1,σ2=2,σ3=4[18?19,24],由此得到三幅梯度幅值響應(yīng)圖(g1、g2和g3)以及三幅LOG濾波幅值響應(yīng)圖(l1、l2和l3).為獲得局部的亮度不變性,本文對濾波模板(包括Gx、Gy和LOG)進(jìn)行零均值處理.根據(jù)可控濾波[25]和極值濾波理論[18],可知式(8)和式(9)具有旋轉(zhuǎn)不變性.
最后,應(yīng)用旋轉(zhuǎn)不變的LBP算子分別編碼梯度幅值圖和LOG幅值響應(yīng)圖:
其中,φ表示濾波響應(yīng)圖(φ=gi或者li;i=1,2,3),其他參數(shù)的定義與式(1)類似.參照式(5),我們可以建立一個頻率直方圖HLDP(φ)來表示紋理圖像,其特征維度為(P+2).
圖4 均值采樣示意圖(r,P)=(3,24)Fig.4 The diagram of mean sampling with(r,P)=(3,24)
現(xiàn)證明LDP算子對線性的光照反轉(zhuǎn)變換模型I′=a×I+b(a<0)[22?23]具有魯棒性.由式(10)可知:
可以看出,因子b由式(8)和式(9)中的一階和二階高斯導(dǎo)數(shù)消除,因子a由符號函數(shù)s消除,因此線性光照變換前后的LDP編碼值保持不變.實驗表明,本文方法對非線性的光照反轉(zhuǎn)變換也具有魯棒性.
聯(lián)合圖像的多種信息能夠提高特征的表達(dá)力[16?18].由于LCP和LDP特征分別刻畫了局部的差分符號和差分幅值信息,二者具有互補(bǔ)性,本文對LCP和LDP進(jìn)行聯(lián)合編碼.在聯(lián)合編碼之前,需要考慮編碼后特征的維度.利用大的采樣半徑和多的采樣點數(shù)可以捕獲更為宏觀的較大尺度上的紋理結(jié)構(gòu)信息,然而特征的維度也會急劇增加.為捕獲宏觀的紋理結(jié)構(gòu)信息、實現(xiàn)對LCP和LDP的聯(lián)合編碼,同時降低描述符的特征維度,本文采用基于均值采樣[15,26]的聯(lián)合編碼策略.具體操作如下.
首先,對中心像素的近鄰點進(jìn)行圓周性采樣,獲得P=8r個初始采樣點.然后,將這P個初始采樣點按順序平均分成8組,每組對應(yīng)一個新的采樣點,其灰度值為該組內(nèi)初始采樣點的平均灰度值.圖4為均值采樣的示意圖,該過程可描述為
式中,r為圓形采樣鄰域的半徑,xr,(·)為初始采樣點的灰度值,yr,q為新采樣點的灰度值(q=0,1,···,7).
接著,利用新采樣點計算每個像素的LCP和LDP編碼值.由于均值采樣后近鄰采樣點的數(shù)目降為8,LCP和LDP的特征維度分別為6和10.
最后,對LCP和LDP進(jìn)行聯(lián)合編碼:
式中,i代表不同的濾波尺度(i=1,2,3).參照式(5),可以建立兩個頻率直方圖和它們的特征維度均為60.
其中
(4) 在確定節(jié)點骨架曲線模型、剛度退化規(guī)律及滯回規(guī)則的基礎(chǔ)上,建立了型鋼再生混凝土柱-鋼梁組合框架節(jié)點恢復(fù)力模型,計算曲線與試驗曲線吻合較好,該模型可為該種節(jié)點動力分析提供一定的參考。
本文構(gòu)建的LCDP描述符的特征維度為360.
為驗證本文方法的有效性,在三個基準(zhǔn)數(shù)據(jù)庫Outex[2]、CUReT[27]和KTH-TIPS[28]上進(jìn)行紋理分類實驗,對比11種紋理特征提取方法:局部二值模式(LBP)[2]、局部三值模式(LTP)[13]、完整的局部二值模式(CLBP)[16]、完整的局部二值計數(shù)(CLBC)[17]、局部編碼變換特征直方圖(LETRIST)[18]、局部空頻模式聯(lián)合編碼(jcLSFP)[19]、非冗余的局部二值模式(NRLBP)[20]、局部梯度模式(LGP)[21]、梯度局部二值模式(GLBP)[22]、排序的局部梯度模式(SLGP)[23]和尺度不變特征變換(SIFT)[29].
對于Outex 數(shù)據(jù)庫,選用TC10和TC12兩個子庫進(jìn)行實驗.TC10子庫用來測試旋轉(zhuǎn)不變性,包含成像于光照條件“inca”的24類紋理圖像,每類有20幅圖像,分別有9個旋轉(zhuǎn)角度(0?、5?、10?、15?、30?、45?、60?、75?和90?).其中,旋轉(zhuǎn)角度為0?的480(24×20)幅圖像作為訓(xùn)練集,其余8個旋轉(zhuǎn)角度的3 840(24×20×8)幅圖像作為測試集.TC12子庫用來測試旋轉(zhuǎn)和光照不變性,其訓(xùn)練集與TC10相同,測試集為成像于光照條件“tl84”或者“horizon”的4 320(24×20×9)幅圖像.CUReT數(shù)據(jù)庫包含61類紋理,每類有92幅圖像,分別成像于不同的視角和光照方向.從每類中隨機(jī)選取46幅圖像作為訓(xùn)練集,其余的圖像作為測試集.KTH-TIPS數(shù)據(jù)庫包含10類紋理,每類有81幅圖像,分別呈現(xiàn)不同的尺度、光照和姿態(tài)變化.從每類中隨機(jī)選取40幅圖像作為訓(xùn)練集,其余作為測試集.由于CUReT和KTH-TIPS數(shù)據(jù)庫沒有固定的訓(xùn)練集和測試集劃分,本文進(jìn)行50次分類實驗,然后計算平均的分類精度.
本文采用χ2距離和最近鄰分類器進(jìn)行紋理分類[2,16,23].實驗前將所有的紋理圖像轉(zhuǎn)換為灰度圖像并歸一化到[0,255].本文利用公開的代碼對LBP、LTP、CLBP、CLBC和LGP(原始文獻(xiàn)中的LGP不具有旋轉(zhuǎn)不變性)實施流行的基于三尺度(r,P)={(1,8),(2,16),(3,24)}的旋轉(zhuǎn)不變性編碼,其余方法采用原文獻(xiàn)中的設(shè)置.對于SIFT,本文使用Lezibnik[30]提供的代碼來提取稠密的SIFT特征,然后用Bag of Words(BoW)模型表示圖像,視覺單詞個數(shù)設(shè)置為500.為綜合評估不同方法對光照反轉(zhuǎn)變化的魯棒性,實驗采用兩種光照反轉(zhuǎn)模型[22?23]:1)線性光照反轉(zhuǎn)模型,即對測試圖像進(jìn)行線性變換I′=?λ×I+255,系數(shù)λ是在區(qū)間(0,1]上產(chǎn)生的隨機(jī)數(shù);2)非線性光照反轉(zhuǎn)模型,即對測試圖像進(jìn)行非線性變換
圖5顯示了線性光照反轉(zhuǎn)條件下采樣半徑r和多尺度濾波對LCDP分類性能的影響.可以看出,當(dāng)r=1增大到r=2時,各濾波尺度下LCDP的分類性能均得到明顯提升,這是因為使用較大的采樣半徑捕獲了紋理的宏結(jié)構(gòu)信息;但是隨著r的不斷增大,LCDP的分類性能逐漸趨于飽和甚至下降,這是因為均值采樣會因r的增大而平滑掉紋理細(xì)節(jié).在單一濾波尺度下(σ=1、σ=2或者σ=4),LCDP的分類性能因數(shù)據(jù)庫和濾波尺度的不同而展現(xiàn)出差異性;對于多尺度的特征表達(dá),總體上兩尺度的LCDP特征在分類性能上要優(yōu)于單尺度,三尺度(即σ=1,2,4)的LCDP特征分類性能最好(尤其是對于存在明顯尺度變化的KTH-TIPS數(shù)據(jù)庫).因此,本文選擇r=5,并采用三尺度的特征表達(dá).
圖5 線性光照反轉(zhuǎn)條件下采樣半徑和多尺度濾波對LCDP分類性能的影響Fig.5 The influence of sampling radius and filtering scale on the classification performance of LCDP under linear inverse illumination conditions
圖6 LCP、LDP和LCDP在線性光照反轉(zhuǎn)條件下的分類精度Fig.6 Classification accuracies of LCP,LDP and LCDP under linear inverse illumination conditions
2.4.1 線性光照反轉(zhuǎn)實驗
表1對比了不同方法在線性光照反轉(zhuǎn)條件下的分類精度,可以得出以下結(jié)論.1)LBP及其衍生方法LTP、CLBP、CLBC、LETRIST和jcLSFP的分類精度都比較低,最高的分類精度不超過54.54%.這是因為這些方法直接編碼了局部差分的符號信息,對光照反轉(zhuǎn)變化十分敏感.由于SIFT是梯度方向直方圖,加之光照反轉(zhuǎn)變化會嚴(yán)重影響像素的梯度方向,SIFT在三個紋理數(shù)據(jù)庫上的分類精度最低(最高精度為27.95%).2)NRLBP、LGP、GLBP和SLGP通過求補(bǔ)運算和計算局部梯度在一定程度上提高了分類性能.3)本文改進(jìn)的LCP在Outex 上的分類精度高于NRLBP 15.3%以上,說明LCP對圖像的旋轉(zhuǎn)變化是魯棒的.4)本文提出的LDP在TC12和KTH-TIPS上的分類性能優(yōu)于現(xiàn)有方法,聯(lián)合編碼后的LCDP在所有數(shù)據(jù)庫上獲得最佳的性能.因此,對一階和二階差分幅值進(jìn)行LDP編碼能夠有效捕獲紋理的結(jié)構(gòu)信息,而且LCP和LDP這兩種特征具有互補(bǔ)性.5)鑒于三個基準(zhǔn)數(shù)據(jù)庫自身的特性,本文方法能夠表現(xiàn)出優(yōu)良的分類性能,說明該方法對圖像的旋轉(zhuǎn)、尺度、視角以及線性光照反轉(zhuǎn)變化都較為魯棒.
表1 不同方法在線性光照反轉(zhuǎn)條件下的分類精度(%)Table 1 Classification accuracies (%)of different methods under linear inverse illumination conditions
2.4.2 非線性光照反轉(zhuǎn)實驗
表2對比了不同方法在非線性光照反轉(zhuǎn)條件下的分類結(jié)果.可以看到,在非線性光照反轉(zhuǎn)條件下,LBP、LTP、CLBP、CLBC、jcLSFP、LETRIST和SIFT的分類精度最高不超過53.07%,尤其是LETRIST在Outex和CUReT上的分類精度均低于5%.NRLBP、LGP、GLBP和SLGP在一定程度上提高了分類性能.在本文提出的描述符中,LCP在Outex 數(shù)據(jù)庫上優(yōu)于NRLBP,LDP在Outex 和KTH-TIPS上都優(yōu)于現(xiàn)有方法,聯(lián)合LCP和LDP后的LCDP在三個數(shù)據(jù)庫上都表現(xiàn)出最佳的分類性能.LCDP對非線性的光照反轉(zhuǎn)變化具有很強(qiáng)的魯棒性,這得益于本文方法對局部紋理結(jié)構(gòu)的有力描述和對光照反轉(zhuǎn)與圖像旋轉(zhuǎn)的妥善處理.
表2 不同方法在非線性光照反轉(zhuǎn)條件下的分類精度(%)Table 2 Classification accuracies(%)of different methods under nonlinear inverse illumination conditions
2.4.3 無光照反轉(zhuǎn)實驗與特征提取時間
表3對比了不同方法在原始數(shù)據(jù)庫上的分類精度.可以看到,NRLBP和SIFT因不具有旋轉(zhuǎn)不變性而在Outex 數(shù)據(jù)庫上表現(xiàn)較差;本文方法LCDP在Outex 數(shù)據(jù)庫上的分類精度僅次于LETRIST和jcLSFP,在CUReT和KTH-TIPS數(shù)據(jù)庫上相較于光照反轉(zhuǎn)不變描述符NRLBP、LGP、GLBP和SLGP也有較大的性能提升.綜合對比表1~表3的實驗結(jié)果,本文方法在原始數(shù)據(jù)庫和光照反轉(zhuǎn)變化條件下均表現(xiàn)出優(yōu)異的分類性能.
表3 不同方法在原始數(shù)據(jù)庫上的分類精度(%)Table 3 Classification accuracies (%)of different methods on the original databases
最后,對比不同方法的特征提取時間.實驗平臺為MATLAB(R2014a),PC配置為Intel Core 3 GHz CPU和8 GB RAM.表4給出了不同方法在KTH-TIPS數(shù)據(jù)庫上提取單個圖像描述符所需的平均時間.可以看到,單一尺度NRLBP的特征提取時間最短;GLBP的特征提取時間最長,因為它需要遍歷所有可能方向的特征直方圖來實現(xiàn)旋轉(zhuǎn)不變性;LBP、LTP、SIFT和LCDP等其余方法所需的時間都遠(yuǎn)少于GLBP.因此,本文方法LCDP在保持高分類精度的同時還具有計算高效的優(yōu)點.
表4 不同方法在KTH-TIPS數(shù)據(jù)庫上提取單個圖像描述符所需的平均時間(秒)Table 4 Average time(second)for different methods to extract one image descriptor on the KTH-TIPSdatabase
針對現(xiàn)有LBP算法對光照反轉(zhuǎn)變化敏感和特征描述力不足的問題,本文提出一種基于局部補(bǔ)數(shù)?導(dǎo)數(shù)模式(LCDP)的紋理表達(dá)方法.局部補(bǔ)數(shù)模式(LCP)用來編碼原始圖像空間中的差分符號信息,局部導(dǎo)數(shù)模式(LDP)用來編碼一階和二階高斯導(dǎo)數(shù)空間中的差分幅值信息,二者具有互補(bǔ)性.為提高特征的表達(dá)力同時維持特征的緊致性,本文進(jìn)一步提出基于均值采樣的聯(lián)合編碼方案.最終的紋理描述符是融合多尺度信息的、聯(lián)合編碼差分符號與差分幅值信息的直方圖特征表達(dá).對三個基準(zhǔn)數(shù)據(jù)庫Outex、CUReT和KTH-TIPS進(jìn)行紋理分類,實驗表明該方法能夠有效解決線性和非線性變換條件下的光照反轉(zhuǎn)問題,并對圖像的旋轉(zhuǎn)、尺度和視角等變化具有很強(qiáng)的魯棒性.本文方法所采用的鄰域特征對于非均勻光照變化還存在一定的局限性.在未來工作中我們將會進(jìn)一步考慮非均勻光照變化的具體建模和相應(yīng)的特征提取問題.