向 東，陳 宇，陳廣勝

(東北林業(yè)大學(xué)信息與計算機工程學(xué)院，黑龍江 哈爾濱 150040)

基于LBP-DEELM的木材紋理分類算法

向 東，陳 宇，陳廣勝

(東北林業(yè)大學(xué)信息與計算機工程學(xué)院，黑龍江 哈爾濱 150040)

為解決傳統(tǒng)木材紋理分類的準(zhǔn)確率低且難度大的問題，提出了一種基于LBP-DEELM(局部二值-差分演化優(yōu)化極限學(xué)習(xí)機)模型的木材紋理分類算法。在闡述局部二值算子(LBP)和差分演化優(yōu)化極限學(xué)習(xí)機(DEELM)算法的基礎(chǔ)上，使用均勻旋轉(zhuǎn)不變的LBP模式提取紋理的特征值，結(jié)合差分演化算法進行極限學(xué)習(xí)機優(yōu)化，通過訓(xùn)練得到每類紋理所對應(yīng)的分類器模型參數(shù)，構(gòu)造分類器，實現(xiàn)了對木材紋理準(zhǔn)確高效的分類。實驗結(jié)果表明，相比于BP神經(jīng)網(wǎng)絡(luò)，SVM支持向量機等分類算法，該模型的實驗誤差率為2%左右，準(zhǔn)確率高，實用性強。

木材紋理分類；LBP算子；差分演化優(yōu)化極限學(xué)習(xí)機；分類器

木材紋理分類[1]是木材優(yōu)化利用的重要部分，但限于木材紋理的天然屬性，紋理結(jié)構(gòu)精細復(fù)雜、無規(guī)律，使得紋理分類一直是木材學(xué)的前沿課題。近年來隨著計算機視覺技術(shù)的發(fā)展，將其引入木材學(xué)，也為解決木材紋理分類問題提供了新思路。針對不同的分類研究，國內(nèi)外學(xué)者提出了不同的特征提取及紋理分類的算法，灰度共生矩陣法，馬爾可夫隨機場，尺度不變特征變換法等在特征提取方面取得了一定的突破；而常用的分類算法有BP神經(jīng)網(wǎng)絡(luò)、SVM支持向量機[2]、決策樹[3]、貝葉斯、Gauss-Newton(高斯牛頓)等。然而我國對于木材紋理分類的研究起步較晚，初期主要是對國外的經(jīng)驗總結(jié)，優(yōu)化傳統(tǒng)的分類算法，大多紋理分類模型都是基于以上算法的結(jié)合，取得了一定的成果；但仍存在一定缺陷，主要是實際應(yīng)用的訓(xùn)練樣本在個體之間存在差異，導(dǎo)致分類算法對分類結(jié)果的差異性較大，因此本文研究的重點就是如何有效提高木材紋理分類的準(zhǔn)確性。

針對于木材紋理特征的提取，一種簡單高效的紋理特征分析方法——LBP(局部二值模式，最早是由Ojala等在1996年提出)成為了眾多學(xué)者研究的對象，在描述、提取局部紋理特征方面取得了較好的效果。此外，極限學(xué)習(xí)機[4](Extreme Learning Machine，ELM)是一種前饋式的神經(jīng)網(wǎng)絡(luò)算法，最早由南洋理工大學(xué)G.B.Huang等人在2004年提出，通過輸入權(quán)值和隱含層的隨機賦值，最終得到目標(biāo)值。ELM因其快速的訓(xùn)練速度在單隱層前饋網(wǎng)絡(luò)應(yīng)用中應(yīng)用廣泛，根據(jù)隨機隱層節(jié)點參數(shù)，利用最小二乘法計算輸出權(quán)值，這些特征使得極限學(xué)習(xí)機克服了一些存在于傳統(tǒng)的梯度下降算法的限制，例如局部極小，收斂速度慢。但是在ELM中，隱層節(jié)點數(shù)是優(yōu)先分配的，隱層參數(shù)是隨機選擇且在整個訓(xùn)練過程中保持不變，因此一些非最優(yōu)節(jié)點可以存在，但在最優(yōu)化的成本函數(shù)中貢獻較少，況且連接權(quán)值和閾值的選取將直接影響算法的穩(wěn)定性。適逢差分演化(Differential Evolutation，DE)算法[5]是一類基于種群的啟發(fā)式全局搜索技術(shù)，對于參數(shù)的優(yōu)化具有很強的魯棒性。鑒于以上表述，利用差分演化算法優(yōu)化網(wǎng)絡(luò)的輸入?yún)?shù)，ELM根據(jù)輸入?yún)?shù)最終計算輸出權(quán)值，因此，提出一種應(yīng)用于單隱層前饋網(wǎng)絡(luò)的算法DEELM(差分演化優(yōu)化極限學(xué)習(xí)機)，DEELM不僅保證更緊湊的網(wǎng)絡(luò)規(guī)模，而且還具有良好的泛化能力，且在木材紋理分類方面應(yīng)用極少。通過LBP提取的木材紋理特征輸入到DEELM分類器進行分類描述，經(jīng)實驗：該算法達到預(yù)期效果，并且正確率明顯高于BP神經(jīng)網(wǎng)絡(luò)、SVM支持向量機。

1 木材紋理特征提取

LBP=0×128+0×64+0×32+1×16+1×8+1×4+1×2+0×1=30 圖1 原始的LBP算子

實驗采用局部二值模式[6]提取木材紋理特征，數(shù)學(xué)定義：原始LBP算子規(guī)定在3×3的窗體內(nèi)，以窗體中心像素灰度值為閾值，與相鄰8個像素的灰度值比較，若周圍灰度值大于閾值，則該像素點的位置被標(biāo)記為1，反之為0。這樣，3×3領(lǐng)域內(nèi)的8個點可產(chǎn)生8 bit的無符號數(shù)，即該窗體的LBP值，并用這個值來反映該區(qū)域的紋理信息(圖1)。

圖2 不同半徑、鄰點的圓形區(qū)域

隨著LBP算子在圖像中的應(yīng)用，實驗設(shè)定1個半徑為R(R>0)的圓形鄰域，LBP值可以通過公式(1)進行計算：

(1)

(2)

式中：gc為中心像素的灰度值；gp為周圍鄰點的灰度值；P為鄰點個數(shù)；R為鄰接半徑。假定gc的坐標(biāo)為(0，0)，即gp的坐標(biāo)為(-Rsin(2πp/P)，Rcos(2πp/P))。圖2也表明了不同半徑，不同鄰點個數(shù)所對應(yīng)的圓形區(qū)域。

假定紋理圖像是N×M的，在確定每個像素點的LBP值后，整個紋理圖像可通過建立1個直方圖進行表示：

(3)

(4)

實驗中總是需要考慮木材紋理特征的空間轉(zhuǎn)換數(shù)量的問題，即通過U值來確定：

(5)

由(5)式可知，LBP00000000模式的U值為0，0100000000的U值為2，在通常二進制表述上均勻模式伴隨著有限的轉(zhuǎn)換且不連續(xù)。經(jīng)實驗證實，只有均勻模式(U≤2)才可作為局部紋理的基本模式。

白點為1；黑點為0 圖3 LBP均勻模式

(6)

這將大大減少紋理特征矩陣的維度，所以實驗采用旋轉(zhuǎn)不變均勻模式下的LBP算子，且鄰點個數(shù)選擇8，鄰接半徑選擇1，繼而得到紋理的特征向量。實驗中選取了落葉松徑切，落葉松弦切提取紋理特征矩陣。結(jié)果見圖4、圖5。LBP算子在均勻旋轉(zhuǎn)不變模式下的特征維數(shù)相對較少，同時保留了圖像信息，效果最佳，最有利于實驗。

圖4 落葉松徑切的LBP直方圖圖5 落葉松弦切的LBP直方圖

2 DEELM分類器的設(shè)計

2.1 差分演化算法(DE)

差分演化(Differential Evolution，DE)算法[9]是基于群體間進化的并行、直接、隨機的全局搜索算法，在求解最優(yōu)化的問題時，收斂速度快。核心思想源自于進化算法[10]即對當(dāng)前種群進行變異，交叉操作，從而產(chǎn)生新的種群，擇優(yōu)選擇種群，最終生成下一代種群[11]，實驗將木材紋理特征作為種群。

然后根據(jù)每個當(dāng)代的參數(shù)向量θi，G，針對于不同問題采用不同的變異策略進行變異操作，實驗利用(7)式變異策略生成1個變異向量Vi,G+1。

vi,G+1=θi,G+K×(θr1iG-θi,G)+F×(θr2i，G-θr3i，G)

(7)

(8)

式中：randj∈[0，1]；交叉概率CR∈[0，1]；隨機變量jrand∈[1，2，…，D]。生成如下測試向量：

(9)

最后根據(jù)如下選擇策略(10)所生成的適應(yīng)函數(shù)保持為下一代種群：

(10)

實驗反復(fù)執(zhí)行直到目標(biāo)滿足或是達到最大迭代次數(shù)，差分演化過程結(jié)束。

2.2 極限學(xué)習(xí)機算法(ELM)

極限學(xué)習(xí)機[12]是一種簡單有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，設(shè)ELM算法的成本函數(shù)為：

(11)

ELM算法最終為了最小化的成本函數(shù)，將采用具有激活函數(shù)的L個隱層節(jié)點的單向前饋網(wǎng)絡(luò)使得N個紋理樣本零逼近誤差：

(12)

同時存在(aj，bj，βj)滿足：Hβ=T，H={hi，j}是隱層的輸出矩陣，并且hi，j=g(aj,bj,xi)，可得：

(13)

求出目標(biāo)矩陣即為：

(14)

與此同時，ELM算法的隱層節(jié)點參數(shù)是隨機分配，系統(tǒng)方程將會變?yōu)榫€性的模型，從而網(wǎng)絡(luò)的輸出權(quán)值可以通過求解最小范數(shù)的最小二乘解來表答：

(15)

式中：H+為H的MP廣義逆矩陣。

2.3 DEELM分類器的設(shè)計

由于ELM算法是在訓(xùn)練前通過設(shè)置網(wǎng)絡(luò)隱含層的個數(shù)，訓(xùn)練過程中隨機選取輸入連接權(quán)值和閾值，最終獲取目標(biāo)值，將在選取中產(chǎn)生非最優(yōu)或不必要的輸入，且對未知測試數(shù)據(jù)響應(yīng)較慢，針對這個問題，本文提出用差分演化算法優(yōu)化極限學(xué)習(xí)機，來達到獲得最優(yōu)網(wǎng)絡(luò)目的，實現(xiàn)較準(zhǔn)確的分類。同時，差分演化優(yōu)化極限學(xué)習(xí)機可以完成更緊湊的網(wǎng)絡(luò)規(guī)模，且具有更好的泛化能力，速度較快，適用于木材紋理的分類實驗。差分演化優(yōu)化極限學(xué)習(xí)機算法描述如下。

1)隨機生成一代種群：θ=[w11,w12,…,w1k，wn1，wn2，wnk，…，b1，b2，…，bk]，wij，bj∈[-1，1]。

2)利用MP廣義逆在ELM的應(yīng)用計算輸出權(quán)值。

3)設(shè)置成本函數(shù)驗證集的適度值。成本函數(shù)為：

(16)

4)執(zhí)行DE的變異，交叉，選擇過程。

5)由于更小的權(quán)值泛化表現(xiàn)將更好，在選擇過程中納入一個標(biāo)準(zhǔn)‖β‖，將會產(chǎn)生新的更好的種群，表示為：

(17)

式中：f(·)為適應(yīng)函數(shù)；ε為預(yù)設(shè)容忍率。

6)根據(jù)生成的下一代種群，反復(fù)執(zhí)行4)～5)，直到目標(biāo)滿足或是達到最大迭代次數(shù)。

7)輸出權(quán)值。

8)構(gòu)造分類器完成，進行實驗。

圖6 2種木材紋理圖

3 驗證實驗

3.1 材料與方法

實驗初步選擇2種木材不同切面紋理作為試材(圖6)。從圖6可以看出落葉松的徑切、樟子松的徑切近似直紋，紋路平躺均勻，結(jié)構(gòu)簡單；而落葉松弦切、樟子松弦切近似拋物紋，紋路曲折蜿蜒，結(jié)構(gòu)復(fù)雜。實驗中選取直紋樣本：落葉松徑切、樟子松徑切訓(xùn)練，測試樣本各50個，拋物紋樣本落葉松弦切、樟子松弦切訓(xùn)練，測試樣本各50個，總計樣本數(shù)為400(表1)。

其次對樣本進行預(yù)處理，采用均勻旋轉(zhuǎn)不變模式LBP算子提取木材紋理特征值，初始化為特征矩陣作為訓(xùn)練樣本，進而將初始特征矩陣加高斯白噪聲形成測試初始特征矩陣，將特征矩陣作為輸入種群的第G代初始向量，經(jīng)過變異、交叉、選擇，生成下一代種群，反復(fù)迭代滿足目標(biāo)，輸出權(quán)值，構(gòu)建分類器，對測試樣本進行訓(xùn)練，實驗流程圖見圖7。

圖7 構(gòu)造分類器DEELM流程圖8 迭代數(shù)目與目標(biāo)值的關(guān)系

3.2 結(jié)果與分析

實驗過程中，訓(xùn)練、測試的時間與迭代次數(shù)、隱含層數(shù)成正比，繼而選取木材紋理樣本數(shù)NP=200，交叉概率CR=0.7，縮放因子F=0.02[14]進行實驗，同時不同的隱含層節(jié)點數(shù)也將導(dǎo)致實驗結(jié)果差異。經(jīng)實驗，當(dāng)隱含層節(jié)點數(shù)設(shè)定為6時，分類器迭代計算次數(shù)增加，目標(biāo)函數(shù)值將逐漸減少，當(dāng)達到一定迭代次數(shù)時，目標(biāo)值為0且保持不變(圖8)。當(dāng)隱含層數(shù)確定，隨著迭代次數(shù)的增加，目標(biāo)函數(shù)最小值越收斂[15]，當(dāng)達到一定的迭代次數(shù)，目標(biāo)函數(shù)最小值越穩(wěn)定于0。而迭代次數(shù)一定時，隱含層的確定亦將影響著實驗的完成時間，當(dāng)?shù)螖?shù)設(shè)定20時，增加隱含層數(shù)，可以降低算法的誤差，但訓(xùn)練時間將拖長，差分演化優(yōu)化極限學(xué)習(xí)機算法的分類時間隨隱含層比例增長(表2)。在隱含層節(jié)點數(shù)為30時，DEELM算法達到誤差最小點，并且趨于穩(wěn)定。綜上所述，選擇隱含層數(shù)為30和迭代次數(shù)20的DEELM分類器進行分類。

根據(jù)上述的隱含層數(shù)和迭代次數(shù)，對實驗初步選取木材紋理特征的樣本進行實驗，結(jié)果見表3；對于不同算法的性能比較見表4。

為了對比BP、SVM、ELM、DEELM 4種分類算法的準(zhǔn)確率，實驗重新選取直紋紋理和拋物紋紋理測試，訓(xùn)練樣本個數(shù)分別為50、100、200、400。不同樣本數(shù)目下準(zhǔn)確率的分布見圖9。

表2 隱含層數(shù)對算法的影響(迭代次數(shù)為20)

表3 木材紋理分類算法實驗結(jié)果

表4 不同算法性能比較

圖9 4種分類算法的正確率與樣本的分布情況圖10 20個隨機樣本在不同算法分類的正確率

從圖9可以看出，不同算法在處理不同樣本數(shù)目的類別正確率明顯不同，傳統(tǒng)的BP較穩(wěn)定，但是本文提出的DEELM算法在分類本次樣本的效果明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)[16]，而SVM支持向量機的分辨準(zhǔn)確率不高。實驗再次證明，DEELM分類器模型在木材紋理分類有一定的競爭性，效果明顯。最后隨機選取直紋、拋物紋紋理樣本各10個，共計20個樣本再次進行測試。進一步明確4種分類算法正確率的分布情況及走勢(圖10)，結(jié)果表明DEELM的分類效果相對最佳，分類顯著。

4 小結(jié)

本文提出的基于差分演化優(yōu)化極限學(xué)習(xí)機模型的木材紋理分類方法，采用旋轉(zhuǎn)不變均勻模式下的LBP算子提取木材紋理特征，利用LBP特征矩陣作為輸入?yún)?shù)，構(gòu)建完整DEELM分類器模型。實驗結(jié)果證明該算法適用于木材紋理分類，準(zhǔn)確率高，效果明顯優(yōu)于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)、SVM支持向量機，具有一定的實用性。

[1]徐一清.木材紋理識別算法研究進展[J].大眾科技，2010(8)：145-146.

[2]郭寶華，范少輝，官鳳英，等.基于支持向量機的竹林信息提取研究[J].西北林學(xué)院學(xué)報，2014，29(2)：80-84.

[3]孫小添，邢艷秋，李增元，等.基于MODIS影像的決策樹森林類型分類研究[J].西北林學(xué)院學(xué)報，2013，28(6)：139-144，168.

[4]Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：Theory and applications[J].Neurocomputing，2006，70(1-3)：489-501.

[5]賈麗媛，張弛.自適應(yīng)差分演化進化算法[J].中南大學(xué)學(xué)報：自然科學(xué)版，2013，44(9)：3759-3765.

[6]Ojala T，Pietikinen M，Harwood DA.Comparative Study of Texture Measures with Classification based on Feature Distribution[J].Pattern Recognition，1996，1(29)：51-59.

[7]Ojala T，Pietikinen M，M?enp?? T.Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7)：971-987.

[8]Ojala T，Pietik?inen M，M?enp?? T.A generalized Local Binary Pattern operator for multiresolution gray scale and rotation invariant texture classification[C].Second International Conference on Advances in Pattern Recognition，Rio de Janeiro，Brazil，2001：397-406.

[9]袁菁穂.差分演化算法研究綜述[J].高校理科研究，2013，29(1)：118-119，121.

[10]R S Phillip.Using a Differential Evolutionary Algorithm to Test the Efficient Market Hypothesis[J].Computational Economics，2012(40)：377-385.

[11]鄢靖豐.一種改進的自適應(yīng)差分演化算法[J].許昌學(xué)院學(xué)報，2014，33(2)：74-77.

[12]Huang G B，Wang D.Advances in extreme learning machines(ELM2010)[J].Neurocomputing，2011，74(16)：2411-2412.

[13]Cao J W，Lin Z P，Huang G B.Self-Adaptive Evolutionary Extreme Learning Machine[J].Neural Processing Letters，2012，36(3)：285-305.

[14]藺小林，鄧雄峰.基于改進的DE算法對PID參數(shù)的優(yōu)化[J].陜西科技大學(xué)學(xué)報，2014，32(1)：161-164.

[15]賀毅朝，王熙照，劉坤起，等.差分演化的收斂性分析與算法改進[J].軟件學(xué)報，2010(5)：875-885.

[16]李康順，李凱，張文生.一種基于改進BP神經(jīng)網(wǎng)絡(luò)的PCA人臉識別算法[J].計算機應(yīng)用與軟件，2014，31(1)：158-161.

Wood Texture Classification Algorithm Based on LBP-DEELM

XIANG Dong，CHEN Yu，CHEN Guang-sheng

(InstituteofInformationandComputerSciences，NortheastForestryUniversity，Harbin150040，Heilongjiang，China)

In order to deal with the issue of low categorization accuracy and tough calamity，a wood texture classification algorithm based on LBP-DEELM was proposed.On the basic of LBP operator and DEELM algorithm，combining the rotation invariant properties and original LBP operator，extracting the texture eigenvalues，combine the differential evolution algorithm to improve the efficiency of extreme learning machine，then get the parameters through training of different wood texture，establish a classifier，which achieves accurate and efficient wood texture classification.The experimental results show that the model error rate is about 2%，has higher accuracy and practicality than BP Neutral Networks，Support Vector Machine.

wood texture classification；LBP operator；DEELM；classifier

10.13428/j.cnki.fjlk.2015.04.012

2014-11-06；

2014-12-23

國家948項目(2011-4-04)；中央高?；究蒲袠I(yè)務(wù)費專項資金項目(DL12CB02)；黑龍江省教育廳科學(xué)技術(shù)研究項目(12513016)；黑龍江省博士后基金

向東(1991—)，男，黑龍江哈爾濱人，東北林業(yè)大學(xué)信息與計算機工程學(xué)院碩士研究生，從事圖像處理、模式分類的研究。E-mail：1062477258@qq.com。

陳宇(1975—)，男，黑龍江哈爾濱人，東北林業(yè)大學(xué)信息與計算機工程學(xué)院副教授，博士后，從事數(shù)學(xué)物理反問題求解，探測與成像，圖像處理的研究。E-mail：nefu_chenyu@163.com。

S781.1；TP391.41

A

1002-7351(2015)04-0057-07