袁琪朗,周真祥,楊克己
(1. 寧波城市職業(yè)技術學院,浙江 寧波 315100;2. 浙江大學 流體動力與機電系統(tǒng)國家重點實驗室,浙江 杭州 310027)
?
基于ReliefF和PSO-SVM的木質材料超聲無損分類技術
袁琪朗1,周真祥2,楊克己2
(1. 寧波城市職業(yè)技術學院,浙江 寧波 315100;2. 浙江大學 流體動力與機電系統(tǒng)國家重點實驗室,浙江 杭州 310027)
指出了木質材料是一種廣泛使用的可再生原料,對其進行正確分類可提高原料的利用率并防止在交易時欺詐行為的發(fā)生。鑒于常用木質材料分類方法的不足和支持向量機參數(shù)選擇困難導致分類準確率低的問題,以超聲無損檢測手段為基礎,提出了一種基于ReliefF特征選擇和PSO-SVM分類器的木質材料分類新方法。該方法根據(jù)接收到的木材超聲信號,通過ReliefF算法選取出最有代表的特征,然后使用粒子群優(yōu)化算法對支持向量機的參數(shù)進行優(yōu)化,提高了木質材料的分類效率和準確率。實驗表明,基于ReliefF和PSO-SVM的方法能有效解決木質材料的在線分類問題。
木質材料;超聲檢測;ReliefF算法;粒子群;支持向量機
木質材料在建筑、家具和樂器等眾多行業(yè)中應用廣泛[1,2],實現(xiàn)木質材料的有效分類,可以合理使用木材資源,提高其利用率,并確保相關產(chǎn)品真材實料、流通過程按質論價,防止交易欺詐行為。目前,木質材料的分類主要是在對待分類木材取樣的基礎上,憑借肉眼或采用顯微鏡[3]和機器視覺[4,5]等工具,根據(jù)木材樣件表面的顏色及其結構與紋理特征,通過觀察、分析和比較而予以實現(xiàn)[6]。這些方法的有效性取決于木質材料取樣的合理性和完備性,并屬于破壞性分類手段。因此,存在適用性差、分類效率低以及難以在木制成品材質檢定中應用等問題,嚴重制約它們的應用范圍。而超聲無損檢測技術由于超聲波強大的穿透能力、在介質中傳播后能攜帶出內部豐富的信息以及其安全性和易于與信息技術相互結合等優(yōu)點,已成為材料定征應用最多及最具發(fā)展?jié)摿Φ募夹g手段。如果利用該技術將超聲波入射到待分類木材內部,通過超聲波與其傳播聲程上織構相互作用后,可將待分類木材內部特征信息攜帶出來,定能結合模式識別技術達到木材有效分類的目的。由于超聲無損檢測技術能夠提取全面反映木質材料內部組織和結構特性的特征參數(shù),該技術的應用必將賦予相關方法準確高效、強適用性、低成本和非破壞性等的木材分類能力[7],解決傳統(tǒng)方法依賴于取樣及其表面特征實現(xiàn)分類的弊端。因此,利用超聲無損檢測開展木質材料自動分類技術的研究具有重要的理論意義和實用價值。
基于超聲無損檢測的木質材料自動分類技術是在通過超聲無損檢測獲取木質材料內部組織和結構特征參數(shù)的基礎上,利用模式識別技術實現(xiàn)木質材料的自動分類,牽涉到特征參數(shù)提取及模式識別兩個基本過程。對于前者,由于超聲無損檢測技術具有聲速、衰減以及相關信號的時域、頻域和時頻域等多種特征參數(shù),如果直接利用這些參數(shù)實施分類,必然降低分類的效率,可能還影響分類的精確度。因此,如何從這些眾多的特征參數(shù)中選取出最具代表性的分類特征,是提高木質材料分類效率和精度的關鍵。ReliefF算法是由Relief算法[8]經(jīng)Kononenko[9]擴展而得到的一種適合于處理多類別數(shù)據(jù)的特征選擇算法,與基于搜索策略和信息論的特征選擇算法相比,具有簡單、通用和效率高等特點,適合解決本文木材模式識別中特征選擇的問題[10,11]。而對于后者,支持向量機(Support Vector Machine, SVM)利用結構風險最小化原理來提高其泛化能力,較好地解決了小樣本、非線性、高維度和局部極小等問題[12],在木材識別和分類中具有良好的應用前景。但是,由于SVM相關參數(shù)的選擇決定了其學習性能和泛化能力,進而影響其分類的精度,因而SVM相關參數(shù)的合理選取與優(yōu)化確定是其有效識別和分類的關鍵。目前常用于SVM參數(shù)優(yōu)化的方法有梯度下降法、遺傳算法和粒子群算法等,但梯度下降法不僅穩(wěn)定性差且效率較低,遺傳算法也存在收斂速度慢和容易陷入局部最優(yōu)值的問題。而粒子群優(yōu)化(PSO)是一種模擬鳥類捕食行為的群智能搜索方法[13],與前兩種方法相比,其不僅收斂速度快,而且易于實現(xiàn),在神經(jīng)網(wǎng)絡參數(shù)優(yōu)化和函數(shù)優(yōu)化等方面已得到了成功地應用[14]。
基于以上背景,提出一種基于ReliefF和PSO-SVM的木質材料超聲無損分類技術。該技術以超聲無損檢測手段為基礎,采用透射的檢測方式,將發(fā)射與接收換能器分置于待分類木材的兩邊,在確保良好耦合的前提下,由發(fā)射換能器向木質材料發(fā)射超聲脈沖信號,該信號在木質材料內部傳播過程中與其織構相互作用后透射到達接收換能器,經(jīng)其轉換為電信號以及通過調理和數(shù)字化后,利用數(shù)字信號處理手段獲得接收信號的時域、頻域和時頻域等多種特征參數(shù),并應用ReliefF算法對這些特征參數(shù)進行分析處理,選擇其中最具代表性的量作為木質材料分類器的輸入。同時,利用PSO算法對SVM的結構參數(shù)進行優(yōu)化,構造出一種基于PSO-SVM的木質材料分類器,以達到對木質材料實現(xiàn)無損、高精和高效分類的目的,為自動化分類木質材料奠定必要的技術基礎。
透射法檢測和分類木材原理如圖1所示,發(fā)射與接收換能器通過耦合劑分別與待檢木質材料的上表面和下表面接觸,兩換能器軸線保持重合。檢測時,超聲信號柔性激勵模塊產(chǎn)生預設幅值和脈寬的方波信號Pin作為輸入,激勵發(fā)射換能器產(chǎn)生超聲波。超聲波透過上層耦合劑,垂直于待檢木質材料表面透射進入材料內部,并在木質材料內部沿材料的彈性對稱軸傳播,在材料內部經(jīng)歷一系列的透射和反射后,一部分超聲波透射出待分類木質材料,經(jīng)過下層耦合劑后進入接收換能器,得到輸出信號Eout。同時,將發(fā)射和接收換能器通過一層耦合劑對心貼緊,測取參考信號Er。通過Er自相關以及Eout與Er互相關,分別得到自相關和互相關函數(shù)最大值所對應的時間T1和T2,可得超聲脈沖信號在木質材料中的渡越時間為:
T0=T2-T1
(1)
圖1 木材超聲透射檢測原理
若已知待檢木材厚度為d,則木材的聲波傳播速度為:
(2)
可得單位厚度衰減(dB/mm)為:
(3)
式中Enout和Enr分別是輸出信號與參考信號的能量。
為保證分類的準確性和穩(wěn)定性,除了提取具有明顯物理意義的聲速和衰減系數(shù)等聲學特征外,還應當充分利用超聲透射信號Eout,從時域、頻域和時頻域的角度,提取不同的特征參數(shù)。研究表明,時域波形的峰值電壓、均方根電壓、振鈴系數(shù)脈沖長度和包絡的上升時間、包絡上升斜率等特征,頻域中的平均中心頻率、帶寬、功率譜熵等特征和時頻域中小波分解各頻段的能量及小波能譜熵等特征,均可以描述超聲波在木材中傳播的不同特征和作為木材超聲分類的特征參數(shù)[15,16]。
ReliefF算法是目前公認的性能較好的一種特征選擇評估算法,具有運行效率高,適用性強,對特征間關系不敏感等優(yōu)點。算法從訓練集D中隨機選擇一個樣本R,然后從和R同類樣本中找出k個最鄰近樣本(NearHit),從每個R的不同類的樣本中均尋找k個最近鄰樣本(NearMiss),然后根據(jù)以下規(guī)則更新每個特征的權重:如果R和NearHit在某個特征上的距離小于R和NearMiss上的距離,則說明該特征有利于區(qū)分同類和不同類的最鄰近樣本,應增加該特征的權重;反之,如果R和NearHit在某個特征的距離大于R和NearMiss上的距離,說明該特征對區(qū)分同類和不同類的最近鄰樣本起負面作用,則降低該特征的權重,如式(4)所示:
(4)
在公式(4)中,diff(A,R,Hj)表示樣本R和Hj在特征A上的差,計算如式(5)所示;Mj(C)表示類別C中的第j個最鄰近樣本;p(C)表示第C類的目標概率,由公式(6)給出,當各類樣本數(shù)目大致相同時,有p(C)=1/C。
(5)
(6)
ReliefF特征選擇算法的具體步驟如下:
輸入:訓練數(shù)據(jù)集D,樣本抽樣次數(shù)m,閾值(目標維數(shù))d,最近鄰樣本個數(shù)k。
輸出:特征權重最大的前d(d 步驟1:置所有特征權重為 0,T為空集。 步驟2:fori=1tomdo: ①從D中隨機選擇一個樣本R; ②從R的同類樣本集中找到R的k個最近鄰樣本Hj(j=1,2,…,k),從每一個不同類樣本集中均找出 k 個最近鄰Mj(C); ③forA=1toN; 按照公式(4)更新權重值W(A)。 步驟3:根據(jù)各個特征的權值大小,將其依次降序排列,選擇出權值最大的前d個特征構成特征子集T。 3.1木質材料的SVM分類器及其參數(shù) 支持向量機是一種尋找最優(yōu)分類超平面的方法,它通過最大化分類間隔來保證最好的推廣能力,并定義核函數(shù)的內積函數(shù)來間接地實現(xiàn)對特征的線性變換,把低維空間線性不可分的問題在高維空間實現(xiàn)線性可分[17]。設提取的木質材料訓練樣本為{(x1,y1),…,(xi,yi),…,(XN,yN)},xi為輸入特征向量,yi為類別標志。對二分類問題,令yi∈{1,-1},則存在分類超平面 g(x)=(w·x)+b=0 (7) 把所有N個木質材料的樣本都沒有錯誤地分開,其中w∈Rd是線性判別函數(shù)的權值。 圖2 規(guī)范化的最優(yōu)分類超平面 如圖2所示,對于某一個分類超平面g(x),設兩類木質材料樣本中離超平面最近樣本點的函數(shù)距離|g(xj)|=1,那么所有訓練樣本都滿足 yi[(w·xi)+b]≥1,i=1,2,…,N (8) (9) 式(9)是一個典型的二次規(guī)劃模型,將其轉化成相應對偶模型,即 (10) (11) 即那些落在兩類樣本點的邊界上的點為需要求解的支持向量。則所得到的分類決策函數(shù)為: (12) 對應的最優(yōu)解為: (13) 對于非線性情況,通過某一個函數(shù)φ(x),將樣本映射到更高維度,使樣本之間稀疏化,滿足在高維空間線性可分,然后再構建支持向量機,這時式(12)的決策函數(shù)變?yōu)?/p> (14) 設k(xi,x)=(φ(xi)·φ(x)),則k(xi,x)稱之為核函數(shù)。SVM中較常用的核函數(shù)有多項式核函數(shù)、徑向基(RadialBasisFunction,RBF)核函數(shù)和Sigmoid核函數(shù),本文選擇最為常用RBF核函數(shù)作為SVM函數(shù),其表達式為: (15) 其中g為核參數(shù),它與學習樣本的輸人空間范圍或寬度相關,樣本輸人空間范圍越大,取值越小,反之,樣本輸人空間范圍小,取值越大。 實際上SVM不能將木質材料的訓練樣本集完全分離,因此需要引入松弛變量ξi,以忽略錯分樣本的影響,求出能夠對大多數(shù)樣本進行分類的超平面。這樣求解超平面的問題變?yōu)?/p> (16) 3.2基于PSO的SVM參數(shù)選擇 參數(shù)c和g的選擇決定了SVM的學習能力和泛化能力,從而影響木質材料的分類精度。粒子群優(yōu)化算法 (particleswarmoptimization,PSO)是由Eberhart博士和Kennedy博士于1995年提出的一種通過模擬鳥群覓食行為而發(fā)展起來的隨機搜索算法,它能快速選擇出合適的核參數(shù)g和懲罰因子c,因此有效提高木質材料的分類精度。 在PSO中,把g和c的潛在最優(yōu)解看作是二維搜索空間上一個沒有體積和重量的點,稱為“粒子”(Particle)。設Pi=(pi,1,pi,2)是粒子i的當前位置,Vi=(vi,1,vi,2)是微粒i當前的飛行速度,對g和c進行優(yōu)化選擇的粒子群算法迭代方程如下: vi,j(t+1)=ωvi,j(t)+c1rand1()[pbesti,j(t)-pi,j(t)]+c2rand2()[gbestj(t)-pi,j(t)] (17) pi,j(t+1)=pi,j(t)+vi,j(t+1) (18) 式中,t表示迭代次數(shù);pbesti,j(t)表示微粒i第j維度迄今為止經(jīng)歷的歷史最好位置;gbestj(t)是當前粒子群搜索到的第j維度的最好位置,即種群最好位置;c1、c2分別為認知學習因子和社會學習因子;rand1()、rand2()是在[0,1]上兩個相互獨立的隨機數(shù);為慣性權重,取值區(qū)間一般為[0.7,1.2],并采用隨迭代次數(shù)線性遞減的策略。迭代過程中取能夠直接反映SVM對木質材料的分類性能的均方誤差(meansquareerror,MSE)作為粒子的適應度值,MSE的定義為: (19) 式中y是預測值,yi是實際值。 圖3為基于PSO的SVM參數(shù)優(yōu)化過程,具體算法的步驟描述如下。 圖3 粒子群優(yōu)化SVM參數(shù)流程 第1步,初始化。給定PSO算法的群體規(guī)模、學習因子c1和c2、慣性權重、最大迭代次數(shù)、粒子的初始位置和速度等; 第2步,評估每個粒子的函數(shù)適應值。采用均方誤差評價函數(shù)MSE計算出每個粒子的適應度,將每個粒子的個體當前適應值與經(jīng)歷過的最優(yōu)目標適應度值相比較,如果更優(yōu),則將其作為當前最優(yōu)目標適應度值;取適應度最好的粒子所對應的個體極值作為最初的全局極值; 第3步,根據(jù)適應度值更新cbest和gbest; 第4步,更新粒子的慣性權重值,利用式(17)、(18)進行迭代運算,更新每個粒子的速度和位置值; 第5步,判斷是否滿足迭代終止的條件(達到最大迭代次數(shù)或預設的精度),若滿足條件則終止搜索,輸出最優(yōu)參數(shù)c和g的值及最佳分類精度,否則返回第二步,進行下一輪的迭代搜索,直到滿足迭代終止條件為止。 本文采用一套便攜式木質材料超聲分類系統(tǒng),其實物照片如圖4所示。 為了驗證基于ReliefF和PSO-SVM的超聲木材分類方法的有效性,本文使用100kHz的超聲換能器,以凡士林作為耦合劑,對家具中常見的8類木質材料(刨花板、膠合板、密度板、白臘木、黑胡桃、花梨木、杉木和橡膠木)進行超聲檢測和數(shù)據(jù)采集,采樣頻率為10MHz。對刨花板、膠合板和密度板這些非實木薄板材料,分別從正反面不同位置采集50組數(shù)據(jù);對白臘木、黑胡桃、花梨木、杉木和橡膠木這些實木材料,分別從其徑向和弦向4個不同面不同位置采集50組數(shù)據(jù),一共采集400組樣本數(shù)據(jù)。數(shù)據(jù)采集界面如圖5所示。 圖4 木質材料超聲分類系統(tǒng)實物照片 圖5木質材料超聲檢測數(shù)據(jù)采集界面 對采集到的400組木質材料樣本信號分別從時域、頻域和小波分解時頻域進行特征提取,共得到25個特征,分別為聲速、單位厚度能量衰減、均方根值、時間形心、脈沖長度、偏度系數(shù)、峭度系數(shù)、振鈴系數(shù)、包絡持續(xù)時間、包絡上升時間、包絡下降時間、包絡上升斜率、包絡下降斜率、波形峰值、平均中心頻率、平均帶寬、80~120kHz頻帶能量值、頻率形心、功率譜熵、6層小波包分解重構信號前5個頻帶的能量百分比和小波包能譜熵。通過ReliefF算法(抽樣次數(shù)m=600,鄰近樣本數(shù)k=5),對400組樣本產(chǎn)生的25個特征進行評價,評價結果如圖6所示。 圖6 ReliefF算法計算的各特征分類能力的權值 利用圖6的結果,按分類能力的權值進行排序,其中排在前10位的特征如表1所示。 從表1中可以看出,評價后的聲速和單位厚度能量衰減特征具有非常強的分類能力,且遠大于其他特征的分類能力。實際上,通過式(1)~(3)計算聲速和單位厚度能量衰減需要參考信號和取樣厚度信息,消除厚度對特征的影響,從而具有更強的分類能力;其余特征的計算只需用到超聲透射信號,分類能力相對較差。聲速和單位厚度能量衰減的特征分布如圖7所示,其中橫坐標是樣本編號,每50個樣本歸為一類共8類。 表1 提取特征按分類能力權值大小排序 圖7 不同類別木質材料的特征分布 采用8類共400組木質材料樣本數(shù)據(jù),選擇分類能力強的前幾個特征,比較BP神經(jīng)網(wǎng)絡、SVM和PSO-SVM對木質材料的分類結果,其中200組樣本用于訓練,另200組用于測試。采用3層的BP網(wǎng)絡結構(隱含層15個節(jié)點,輸出層8個節(jié)點),設置最大訓練次數(shù)為10000次,最小均方誤差為10-6;設置SVM默認參數(shù)為g=0.2,c=1;PSO-SVM中,粒子群規(guī)模為20,最大進化代數(shù)為100,學習因子c1=c2=2,ωini=1.0,ωend=0.8,參數(shù)g和c的搜索范圍都設置為[0.1,100]。按分類能力從大到小選取不同特征個數(shù)時8類木質材料200個檢驗樣本的分類準確率和訓練后識別單個測試樣本所需時間如表2所示;當隨機選取3個特征時,PSO-SVM的優(yōu)化參數(shù)、分類準確率和識別單個樣本所需時間如表3所示。 表2的實驗結果表明,使用粒子群優(yōu)化的支持向量機模型對木質材料進行分類,分類準確率明顯高于BP神經(jīng)網(wǎng)絡和普通SVM,且單個樣本所需識別時間較短,能滿足木質材料在線分類的需求;但隨著使用特征數(shù)的增加,分類所需時間明顯增加,而選擇特征數(shù)大于3個時PSO-SVM的分類精度增加非常有限,故選擇聲速、單位厚度能量衰減和平均中心頻率這3個特征的PSO-SVM分類方法,能取得比較滿意的結果。 通過隨機選取3個特征且使用PSO-SVM分類的結果與ReliefF算法選擇3特征且使用PSO-SVM分類的結果對比分析,從表2及表3可以看出使用ReliefF算法選擇相同個數(shù)的分類能力較強的特征,有利于顯著提高木質材料分類的精度。 表2 不同特征數(shù)目時BP、SVM和PSO-SVM分類結果 表3 隨機選取3個特征使用PSO-SVM的分類結果 對木質材料進行無損、準確、快速的分類,關鍵在于分類技術手段選擇、特征的選取及分類器的設計。本文利用超聲脈沖波透射法對木質材料進行檢測,克服了常用木材分類方法的不足,實現(xiàn)木質材料無損、快速的分類。通過ReliefF算法選取出最有代表性的分類能力較強木材超聲信號特征,降低使用特征的維數(shù),實現(xiàn)保證分類準確率同時又減少分類工作量,從而提高在線分類的效率。采用粒子群優(yōu)化算法對支持向量機進行優(yōu)化,解決了支持向量機參數(shù)選擇的難題,明顯提高了木質材料的分類準確率。最后以家具中常見8類木質材料的400組超聲檢測數(shù)據(jù)作為研究對象,驗證了ReliefF算法和PSO-SVM分類模型的性能。實驗結果表明,基于ReliefF和PSO-SVM的超聲木質材料分類方法能有效提高木質材料的分類精度和分類效率。 [1]劉振波,劉一星,沈雋,等. 樂器共鳴板用木材的聲學特性研究進展[J].西北林學院學報,2006,21(3):124~129. [2]李無為.木結構建筑工程中生態(tài)建筑材料的應用[J].林產(chǎn)工業(yè),2013. [3]李敏華,譚必明,黃志同,等.古家具木材無損鑒定方法研究[J].西北林學院學報,2012,27(6),165~167. [4]DIAO X M,FURUNO T,FUJITA M. Digital image analysisofcross-sectional tracheid shapes in Japanese softwoods using the circularity index and aspect ratio[J].J Wood Sci,1999,45(2):98~105. [5]王克奇,王業(yè)琴 ,白雪冰,等.板材圖像識別中顏色特征參數(shù)的提取[J].東北林業(yè)大學學報,2006,34(3),104~105. [6]汪杭軍,張廣群,祁亨年,等.木材識別方法研究綜述[J].浙江林學院學報,2009,26(6):896~902. [7]尤超勤.木質材料超聲無損定征與分類技術的研究[D].杭州:浙江大學,2014 [8]Kira K,Rendell L.A.The feature selection problem: Traditional methods and a newalgorithm[J]. Proceedings of Ninth National Conference on Artificial Intelligence,1992(1):129~134. [9]Kononenko I. Estimation attributes: analysis and extensions of RELIEF[J]. Proceedings of the 1994 European Conference on Machine Learning, 1994(1):171~182. [10]蔣玉嬌,王曉丹,王文軍,等.一種基于PCA和ReliefF的特征選擇方法[J].計算機工程與應用,2010,46(26):170~172. [11]楊志新,段美君.ReliefF算法在雷達輻射源信號識別中的應用[J].成都大學學報(自然科學版),2012,31(2). [12]AzarAT,El-SaidSA.Performance analysis of support vector machines classifiers in breast cancer mammography recognition[J]. Neural computing &Applications,2014,24(5). [13]POLI R, KENNEDY J,BLACKWELL T. Particle swarmoptimization [J]. Swarmintelligence, 2007, 1(1): 33~57. [14]BlasiL,BarbatoS,MatteiM. A particle swarm approach for flight path optimization in a constrained environment [J]. Aerospace science and technology,2013,26(1):128~137. [15]張家凡. 振動信號的包絡解調分析方法研究及應用 [D]. 武漢: 武漢理工大學, 2008. [16]張訓亞. 興安落葉松木材性質的聲—超聲技術預測[D]. 北京:中國林業(yè)科學研究院, 2011. [17]張學工. 模式識別[M].3版. 北京:清華大學出版社, 2010: 116~117. Ultrasonic Non-destructiveClassification for Wood Materials Based on ReliefF and PSO-SVM Yuan Qilang1, Zhou Zhenxiang2, Yang Keji2 (1.NingboCityCollegeofVocationalTechnology,Ningbo,Zhejiang315100;2.TheStateKeyLaboratoryofFluidPowerTransmissionandControl,ZhejiangUniversity,Hangzhou,Zhejiang310027,China) Wood material is a widely used and renewable raw materials, which needs to be classified correctly in order to improve its utilization and avoid fraud in trading activities. Given the lack of traditional wood classification methods and the low classification accuracy resulted from difficulties of choosing suitable parameters in the Support Vector Machine, a new wood classification method was proposed in this paper combining the Ultrasonic Non-destructive Testing , ReliefF feature selection algorithm and PSO-SVM classifier.By using the ReliefF algorithm to select the most representative features from the received wood ultrasonic signal and optimizing the parameters in the Support Vector Machine with Particle Swarm Optimization algorithm, the proposed method improved the efficiency and accuracy of the classification of wood materials. The experimental results showed that, the proposed method based onReliefF and PSO-SVM could effectively solve the problem of online classification of wood materials. wood materials; ultrasonic testing; ReliefF algorithm; particle swarm optimization (PSO); support vector machine (SVM) 2016-06-06 國家自然科學基金項目(編號:51175465) 袁琪朗(1965—),男,高級工程師,從事測試技術教學與應用研究。 楊克己(1963—),男,博士,教授,從事機電一體化理論與技術的教學和科研。 TP273;TN911.7 A 1674-9944(2016)14-0262-063 基于PSO-SVM的木質材料分類器模型
4 實驗分析
5 結論