朱詠梅，李玉玲，奚崢皓，盛鴻宇

1. 上海電子信息職業(yè)技術學院 繼續(xù)教育學院，上海 201411；2. 北京科技大學 自動化學院，北京 100083； 3. 上海工程技術大學 電子電氣工程學院，上海 201620；4. 北京聯(lián)合大學 機器人學院，北京 100101

瑕疵/缺陷檢測是制造業(yè)的一項重要任務,有助于確保產品的質量和防止?jié)撛诘陌踩ｋU.木質板材是林業(yè)產業(yè)經濟中最重要的資源型原材料之一,在國民經濟體系中發(fā)揮著不可或缺的作用[1].在瑞典、芬蘭等森林資源充裕的發(fā)達國家,木材綜合利用率高達90%.與之形成鮮明對比的是,我國木材綜合利用率不足60%,造成了嚴重的資源浪費[2].隨著中國經濟的快速發(fā)展,人們越來越追求高品質的生活,導致對木材和木制品的需求增加,如實木板、人造板、紙和紙板等消費水平位居世界前列,隨之而來對木制品的制造要求也日益嚴格.然而,現有的木材儲存能力和加工水平使其難以滿足快速增長的需求.木材供應不足和使用率低導致中國木材工業(yè)發(fā)展受限.在木材加工生產中,木材缺陷會對木材品質產生很大的影響,而木材品質又決定木材及其制品的商品價值和使用價值.國內木材原材料綜合使用率偏低的主要原因之一是木材缺陷檢測效率較低[3]．

近年來,眾多學者為了提高木材原料綜合使用率,研究并提出了木材缺陷的檢測方法,如基于3D掃描技術的木材缺陷定量化分析、鉆入阻抗法檢測木材缺陷、基于快速算法和LBP(Local Binary Pattern,LBP)算法的木材缺陷識別等[4-7].這些方法或多或少存在著檢測設備成本高、對實際檢測工作環(huán)境要求苛刻等問題,無法大規(guī)模產業(yè)化推廣應用.而基于機器視覺的木材缺陷檢測技術既可降低識別過程中主觀因素的影響,又可擺脫對特定檢測設備的依賴．

文獻[8]提出一種基于修剪決策樹的人造板表面缺陷識別方法,該方法通過對已有的人造板缺陷圖像進行預處理和分割,獲取缺陷形狀和紋理特征作為輸入,然后利用成本復雜度算法對生成的CART(Classification And Regression Tree,CART)樹進行修剪,最終識別人造板缺陷.文獻[9]提出一種基于近紅外(Near-Infrared Spectroscopy,NIR)光譜和逆神經網絡的木材缺陷識別方法.此外,Mohsin等[10]應用多通道Gabor過濾器和k均值聚類來檢測木材缺陷的位置和形狀.Riana 等[11]提出一種用于圖像分割的模糊最小-最大神經網絡(Fuzzy Min-Max Neural Network,FMMIS),并使用SVM(Support Vector Machine,SVM)分類器對各種木材缺陷進行分類,準確率達到91%.Hu等[12]提出了樹狀結構SVM,用于識別不同的節(jié)點,該方法取得了較高的分類率.然而,SVM 分類器可以對小樣本產生良好的性能,對大樣本卻不能.Cho等[13]提出了一種基于主成分分析(Principal Component Analysis,PCA)和壓縮感知的自組織特映射(Self-Organizing Map,SOM)神經網絡識別某些木材缺陷(死結、活結和裂紋)的方法.這種方法是無監(jiān)督聚類方法之一,與傳統(tǒng)聚類方法(如k均值)相比,SOM 神經網絡是一種用于模式分類和數據壓縮的神經網絡模型,受網絡權重初始化和噪聲數據的影響較小,且SOM 神經網絡相較于其他神經網絡模型具有較高的魯棒性,對數據中的小擾動和噪聲具有很好的抗干擾能力.然而,當數據量非常大時SOM 神經網絡需要執(zhí)行大量的計算才能達到理想結果,會導致計算時間較長.Chen等[14]采用不同缺陷權重的凸優(yōu)化(Convex Optimization,CO)作為平滑的預處理方法,并采用Otsu分割法對木材缺陷圖像進行分割,提取木材缺陷的幾何和強度特征,并使用回歸樹(CART)分類器對各種木材缺陷進行分類．

深度學習具有特征層次深、檢測精度高、魯棒性好等優(yōu)點,已逐步應用于各個領域的缺陷檢測[15].文獻[16]改進了SSD模型的VGG(Visual Geometry Group Network,VGG)網絡部分,使用深度殘差網絡替換VGG網絡.改進后的SSD(Single Shot MultiBox Detector,SSD)模型對冷杉和松木缺陷的平均檢測準確率超過89%.文獻[17]利用DenseNet網絡將改進的SSD模型和遷移學習與改進的SSD模型相結合,實現了木材缺陷的高精度檢測.此外,還有基于區(qū)域建議的方法,如R-CNN(Region-based Convolutional Neural Network,R-CNN)模型和快速R-CNN模型[18-19]．

盡管以往的研究已經取得了重大進展,但在缺陷檢測方面仍然存在一些挑戰(zhàn),如木質板材表面的復雜性及缺陷類型和尺寸的變化.這些缺陷在原材料面板和單板性能上不同,除了背景材料差異外,即使是相同的凸起對于圖像端的原材料板和成品板來說也有很大不同.另外,這些圖像分割和特征提取過程通常困難和復雜,因為每塊木材都有獨特的外觀,并且可能有多種類型的缺陷.針對這些問題,本文提出一種基于可變性卷積網絡和注意力機制的新方法來檢測和識別木質板材缺陷.結果表明,本文方法采用的網絡結構優(yōu)于現有其他方法,該網絡無需對圖像預處理和特征提取提出重大要求,在減少圖像處理時間的前提下,可以提高木質板材缺陷的檢測精度．

本文的貢獻如下:

1) 通過可變形卷積網絡(DCN)將矩形網格轉換為變形網格,使模型專注于具有更多有用圖像信息的區(qū)域．

2) 將DCN輸出饋送到門控循環(huán)單元(GRU)層以學習缺陷圖像的高級特征．

3) 通過關注輸入圖像的最重要特征,應用注意力機制加強瑕疵區(qū)域的高亮度,從而提高模型識別的準確性．

1 研究方法

1.1 模型概述

本文模型最初受到規(guī)范卷積循環(huán)神經網絡(Convolutional Recurrent Neural Network,CRNN)架構的啟發(fā),結合卷積神經網絡(Convolutional Neural Network,CNN)和循環(huán)神經網絡(Recurrent Neural Network,RNN)的優(yōu)勢,利用了局部相關性和長景上下文來識別特征信息.在相關研究中,學者們評估了兩種類型的RNN,它們分別是長短期記憶(Long Short-Term Memory,LSTM)和門控循環(huán)單元(GRU).與LSTM一樣,GRU具有控制單元內部信息流的門控單元,但沒有單獨的存儲單元.在性能和復雜性方面,GRU顯著優(yōu)于LSTM.因此,本文采用GRU作為模型的構建塊．

近年來,注意力架構在圖像特征識別中得到廣泛應用,并取得了巨大成功.由于注意力機制能夠使模型更加注重不同的特征區(qū)域,提高模型對關鍵信息的關注度,同時減輕對噪聲和無關信息的處理,因此在圖像識別任務中使用注意力機制可以幫助模型更加準確地定位并識別缺陷．

本文開發(fā)了一種將CRNN網絡作為編碼器部分與注意力部分相結合的架構.該模型利用了規(guī)范的CRNN架構,但在CRNN中沒有使用常規(guī)CNN,而是使用DCN,即一種特殊類型的CNN.DCN是一種增強了感受野變化的卷積神經網絡,在固定尺寸的卷積過濾器上運行,就像常規(guī)CNN一樣,但具有各種形狀的網格.DCN的可變形卷積核能力,可以更好地適應各種不同形狀和尺寸的對象,從而提高網絡的泛化能力.與傳統(tǒng)CNN相比,DCN可以在感受野形狀和大小發(fā)生變化時對輸入信號更精確地建模．

圖1為板材缺陷識別模型的端列端架構.本文模型的輸入是N×F矩陣,其中N是特征序列的長度,F是特征的維數.模型結構包括一層DCN、多層單向GRU.GRU層的輸出被送入到注意力機制層,生成更緊湊的特征表示.應用線性變換和Softmax解碼特征進行判別輸出．

圖1 板材缺陷識別模型的端到端架構

端到端模型可以直接輸出置信度分數,無需任何后續(xù)處理方法,也不涉及搜索算法,無需事先對齊即可訓練模型.當輸出超過預定義閾值時,系統(tǒng)就會被觸發(fā).該模型的原理是在輸出置信度分數時,通過設定一個預定義閾值來觸發(fā)系統(tǒng),使模型能夠自動分類和處理需要的信息.這種模型的優(yōu)點是可以快速地進行訓練和推理,并且準確率通常較高．

1.2 可變形卷積網絡(DCN)

圖像特征中的信息容易變形,且只有少數區(qū)域有用.規(guī)則卷積在預定義的矩形網格上運行,因此過濾器無法用各種形狀適當地覆蓋特征結構,限制了其在特征中學習更多圖像信息的能力.本文使用可變形卷積代替?zhèn)鹘y(tǒng)卷積來解決此問題.DCN學習將矩形網格轉換為變形網格,使模型專注于具有更多有用圖像信息的區(qū)域.可變形卷積架構如圖2所示,它由兩個步驟組成．

圖2 可變形卷積網絡架構

步驟1生成偏移場: 偏移表示執(zhí)行可變形卷積時需要使用的像素坐標.每個偏移值是一對(offsetn,offsetf),其中offsetn和offsetf分別是沿時間軸和頻率軸的像素坐標.偏移量是可學習的變量,由對輸入特征操作的常規(guī)卷積(ConvOffset)產生．

(1)

圖3 雙線性插值示意圖

(2)

在該模型中,雙線性插值函數使用偏移周圍的4個像素,其值為u00=I(iL,jL),u01=I(iB,jL),u10=I(iL,jB),u11=I(iH,jH),其中,iL=offsetf,iB=offsetf+1,jL=offsetn和jB=offsetn+1．

雙線性插值計算為:

(3)

式(3)中x,y∈{0,1},mxy是對應于像素uxy的權重,定義為:

m00=(1-Δi)×(1-Δj)

m01=Δi×(1-Δj)

m02=(1-Δi)×Δj

m03=Δi×Δj

(4)

式(4)中Δi=offsetf-offsetf,Δj=offsetn-offsetn.Δi,Δj用來表示偏移值offsetf和offsetn相對于其整數部分的偏移．

步驟3生成輸出: DCN最終輸出由另一個卷積(ConvOut)生成.對于ConvOut的每個核窗,首先使用輸入特征I和學習偏移值O之間的雙線性插值來計算變形特征,然后將變形值乘以ConvOut的核權重,得到最終輸出．

(5)

式(5)中,d[w,x,y]表示ConvOut在時頻指數(x,y)第w個通道的輸出,d∈RTC×N′×F′也是DCN的最終輸出,hxy是雙線性插值.M∈RTC×LN×LF是ConvOut的可學習權重,與傳統(tǒng)CNN類似,過濾器數量為TC,過濾器大小為(LN,LF)和步長(SN,SF)．

ConvOut被認為是兩個輸入的函數,輸入特征I和偏移值O.ConvOut之后,DCNd中d的輸出是(TC,N′,F′)形狀.為了保持d的形式(時間×頻率)進行下一個塊(GRU塊),d需要被重塑為(N′,TC×F′)．

1.3 門控循環(huán)單元(GRU)

門控循環(huán)單元可以使每個遞歸單元自適應地捕獲不同時間尺度的依賴關系.與長短期存儲器(LSTM)單元類似,GRU具有控制單元內信息流的門控單元,但GRU不包括單獨的存儲單元．

rn=σ(Mxrdn+hxr+Mbrbn-1+hbr)

kn=σ(Mxkdn+hxk+Mbkbn-1+hbk)

tn=tanh(Mxtdn+hxt+rn⊙(Mbtbn-1+hbt))

bn=(1-kn)⊙tn+kn⊙bn-1

(6)

式(6)中,bn是隱藏狀態(tài)下時間n時的GRU輸出,bn-1是時間n-1隱藏狀態(tài)或時間n=1時的初始隱藏狀態(tài)b0.Mxr和hxr是從GRU輸入調諧復位門的權重和偏置,分別從先前的隱藏狀態(tài)調諧復位門.rn,kn和tn分別是重置門、更新門和新門.(Mxk,hxk),(Mbk,hbk)和(Mxt,hxt),(Mbt,hbt)的利用率相似,但是用于更新和新建門.σ是sigmoid函數,將輸入映射到區(qū)間(0,1);tanh表示雙曲正切函數,將輸入映射到區(qū)間(-1,1); ⊙是元素乘積．

1.4 注意力模塊

本文根據文獻[20]中5種注意力機制的比較研究得出結論,即共享參數非線性注意力取得了最好的效果.因此,在本文模型中采用共享參數非線性注意機制來提取和強調最相關的隱藏GRU特征．

注意力機制框架如圖1所示.注意力塊使用注意力機制從編碼器輸出中學習歸一化權重,最常用的注意力函數之一是加型注意力,使用具有單個隱藏層的前饋網絡來計算權重．

α=softmax(tanh(bM0+h0)M1+h1)

(7)

式(7)中b=[b0,b1,…,bN′]∈RN′×TR是GRU層的輸出,M0∈RTR×TG,M1∈RTG×TR是可學習權重,而h0∈RTG×1,h1∈RTR×1是前饋層的偏差．

在式(7)中,矩陣α=[α0,α1,…,αN′]∈RN′×TR是注意力機制的權重.固定長度向量c成為N′時間步長上α和b之間的加權平均值:

(8)

通過線性變換(具有可學習的權重矩陣M2∈RTR×2和偏差h2∈R2×1)生成預測輸出,然后是softmax層為:

j=softmax(cM2+h2)

(9)

在沒有任何后處理方法的情況下,j值被用作最終置信度得分,并根據GRU特征進行木板缺陷檢測．

2 實驗結果與討論

為了評估所提算法的性能,本文在4個木質板材缺陷數據集上進行缺陷識別實驗,分別是Mader缺陷數據集、Lumber Grading紅松木質板材數據集、Timber Defect Image 數據集和WCTD木質板材缺陷數據集.并將本文方法與其他3種對比方法(文獻[21]、文獻[22]和文獻[23])進行比較分析.為了實現從本文算法中獲得結果,Matlab (R2015a) 在具有16 GB RAM、Intel core i7-470 K @ 4.0 GHz 的計算機上使用．

2.1 數據集描述及缺陷圖像

2.1.1 Mader缺陷數據集

Mader缺陷數據集是一個由瑞典皇家工學院制作的木質板材缺陷數據集,包括12個類別的缺陷(例如瘤、干裂等)和正常木材,共160張圖像.本實驗中將其設為木質板材下的次數據集1．

2.1.2 Lumber Grading紅松木質板材數據集

Lumber Grading紅松木質板材數據集是由美國USDA Forest Service提供的紅松木質板材數據集,包括正常板材和各種程度的缺陷,共518張圖像.本實驗中將其設置為木質板材下的次數據集2．

2.1.3 Timber Defect Image Dataset

Timber Defect Image Dataset是由英國倫敦帝國學院提供的木材缺陷數據集,包括正常板材和多種缺陷,如裂紋、瘤、旋度、孔洞等,共660張圖像.本實驗中將其設置為木質板材下的次數據集3．

2.1.4 WCTD木質板材缺陷數據集

WCTD木質板材缺陷數據集是由中國林業(yè)科學研究院木材工業(yè)研究所提供的木質板材缺陷數據集,包括多種木材種類,共12 000張圖像.本實驗中將其設置為木質板材下的次數據集4．

根據木質板材缺陷的工藝和原因不同,分為生物危害缺陷、生長缺陷和加工缺陷.其中,生長缺陷和生物危害缺陷是自然缺陷,具有一定的形狀和結構特征,也是木材等級分類的重要依據.一般來講,木質板材生長缺陷和生物危害缺陷可分為死節(jié)、活節(jié)、蟲洞、腐爛等.本文實驗使用4個木質板材缺陷數據集的木材采樣圖像,通過實木板激光輪廓和彩色集成掃描技術獲得了5 000多張300×300有缺陷的木板圖片.其中,常見的缺陷主要包括死節(jié)、活節(jié)、腐爛、霉變、裂紋、蟲眼等6種特征缺陷,如圖4所示．

圖4 木質板材常見缺陷

2.2 實驗結果

根據準確性、靈敏度和特異性指標評估本文方法與其他3種對比方法的性能．

(10)

(11)

(12)

式(10)中,正確檢測多張木質板材瑕疵圖像為tP,正確拒絕多張木質板材缺陷圖像為tN(真陰性),錯誤地將多張木質板材缺陷圖像誤判為正常的情況記為fP(假陽性),錯誤地拒絕一些真實存在木質板材缺陷圖像的情況記為fN(假陰性)．

2.2.1 不同性能對比

將本文方法與文獻[21-23]進行比較,幾種方法在4個不同木質板材缺陷數據集上的性能比較結果如圖5-圖7所示．

本文方法與其他3種對比方法在不同數據庫的準確率比較如圖5所示.本文方法在4個數據集上的準確率分別為 96.5%,98%,99.2%和95%.具體為: 在數據庫1上與文獻[21]、文獻[22]和文獻[23]等現有方法相比,本文方法的準確性分別提高了2.4%,4.7%和8.9%.在數據庫2上與其他3種對比方法相比,本文方法的準確率分別提高了5.3%,9.0%和7.4%.在數據庫3上本文方法的準確率比其他3種對比方法的準確率分別提高了11.2%,4.8%和9.5%.在數據庫4上與其他3種對比方法相比,本文方法的準確率分別提高了13.2%,8.3%和3.1%．

圖5 不同方法在4種木質板材缺陷數據集上的準確率比較

圖6顯示了本文方法與其他3種對比方法在不同數據集上的靈敏度比較.本文方法的靈敏度分別為88.7%,92.6%,94.5%和95.3%.具體為: 在數據集1上本文方法的靈敏度比文獻[21]、文獻[22]和文獻[23]分別高9.2%,3.5%和10.2%.在數據集2上本文方法的靈敏度比文獻[21]提高了5.9%,比文獻[22]提高了3.3%,比文獻[23]提高了16.6%.在數據集3中與其他3種對比方法相比,本文方法的靈敏度分別提高了6.8%,4.3%和3.7%.在數據集4中本文方法的靈敏度比文獻[21]提高了10.9%,比文獻[22]提高了7.6%,比文獻[23]提高了4.4%．

4種算法在不同數據集的特異性比較如圖7所示.從圖7中可以看出,本文方法的特異性為 92.5%,96.3%,97%和95.8%.在數據集1上本文方法的特異性優(yōu)于文獻[21]12.4%,優(yōu)于文獻[22]8.2%,優(yōu)于文獻[23]17.8%.在數據集2上本文方法的特異性優(yōu)于文獻[21]8.6%,優(yōu)于文獻[22]14.2%,優(yōu)于文獻[22]21%.在數據集3中與文獻[21]、文獻[22]和文獻[23]相比,本文方法的特異性分別提高了13.8%,8.3%和4%.在數據集4上本文方法的特異性分別比其他3種對比方法提高15.6%,4.6%和13%．

為了清晰直觀地觀察數據,本文將以上評價指標的性能總結如下(表1)．

圖6 不同方法在4種木質板材缺陷數據集上的靈敏度比較

圖7 不同方法在4種木質板材缺陷數據集上的特異性比較

表1 不同方法的識別性能評估表

從表1中可以清楚地看到,本文方法在4個木質板材缺陷數據集上的各個性能均優(yōu)于其他3種對比方法.實驗結果說明,本文模型可以更好地適應各種不同形狀和尺寸的對象,提高網絡泛化能力,從而更精確地檢測和識別木質板材缺陷．

2.2.2 缺陷識別效果對比

為了更直觀地分析引入可變性卷積網絡與注意力機制對模型性能的提升,本文設計了木材缺陷識別實驗對不同模型進行分析.由圖8可知,本文方法的平均識別查準率約為90.1%,明顯高于其他3種對比方法.其中,對于腐爛、霉變這兩種缺陷,本文算法識別效果略優(yōu)于其他3種對比方法.而對于節(jié)子(死節(jié)、活節(jié))、蟲眼、裂紋的識別效果,本文方法均明顯優(yōu)于其他3種方法．

圖8 木質板材缺陷識別效果對比

3 結論

木材在生長與加工過程中受到環(huán)境與工藝影響會形成不同缺陷,這些缺陷直接影響木制產品的等級和品質.因此,快速準確地進行木材缺陷檢測對木材有效利用具有重要的意義.為了提高木質板材缺陷識別的準確率與速度,本文提出了基于可變形卷積網絡和注意力機制的神經架構模型.可變形卷積層驅動模型更多地關注缺陷圖像區(qū)域,從而提取圖像的深層特征; 而注意力機制則進一步關注圖像特征中最關鍵的部分,加強缺陷區(qū)域的高亮度進行缺陷識別.通過在4個木質板材缺陷數據集上將本文方法與文獻[21]、文獻[22]和文獻[23]3種分類識別方法進行比較分析,結果表明本文方法具有最佳的準確率、靈敏度及特異性,分類識別準確率高達98%,驗證了本文方法具有很好的木材缺陷識別能力.本實驗結果可以幫助學者們了解木質板材缺陷檢測的相關研究進展,并提供一定的參考價值.未來的工作需要探索腐爛、霉變這兩種缺陷查準率不高的原因和改進方法.此外,本課題組計劃研究目標位置信息的回歸方法,以提高目標的定位準確率,從而進一步提升目標識別的整體準確率．