曾 飛,趙玉凱,歐宏日,趙晨晨
(1.武漢科技大學(xué)冶金裝備及其控制教育部重點實驗室,湖北武漢 430081;2.武漢科技大學(xué)機械自動化學(xué)院,湖北武漢 430081)
輸送帶是帶式輸送機系統(tǒng)的關(guān)鍵部件之一[1]。在輸送各種散狀物料過程中,下料點處矸石、錨索或金屬硬物可能會劃傷和擊穿輸送帶從而造成輸送帶撕裂。撕裂事故一旦發(fā)生,不僅需要停工停機及時維修,甚至可能還需更換整條輸送帶,造成經(jīng)濟損失。因此,實現(xiàn)輸送帶縱向撕裂檢測對保障帶式輸送機安全穩(wěn)定運行具有重要意義[2]。
目前,應(yīng)用于港口帶式輸送機領(lǐng)域的輸送帶撕裂檢測方法主要有人工檢測、X射線檢測和電磁檢測[3-4]等。其中人工檢測精度不高、勞動強度大。X射線檢測輸送帶撕裂,根據(jù)射線波動的強度,從而判定是否撕裂,檢測較復(fù)雜且X射線對人體有害。電磁檢測通過預(yù)先安置在輸送帶中的電磁感應(yīng)線圈檢測輸送帶撕裂情況,但安裝和維護成本很高。近年來,隨著帶式輸送機向長距離、高帶速發(fā)展,利用視覺技術(shù)實現(xiàn)輸送帶損傷檢測成為研究熱點[5]。徐善永等[6]通過采集輸送帶紅外圖像,利用序列最小優(yōu)化算法(SOM)對紅外圖像進行分割并判斷是否撕裂。王福斌等[7]提取輸送帶撕裂圖像邊緣并進行分割,再提取分割后圖像的幾何特征進而使用支持向量機判斷是否撕裂。郭雄偉等[8]設(shè)計一種圖像識別的輸送帶縱向撕裂檢測系統(tǒng),通過對圖像進行處理和特征提取,建立專家數(shù)據(jù)庫進而達到對撕裂的檢測與預(yù)警。J.Che等[9]分別提取輸送帶正常、劃痕和撕裂圖像的方向梯度直方圖(histogram of oriented gradient,HOG)特征,并融合聲音特征后,再利用支持向量機判斷撕裂的類型。
然而,上述視覺檢測方法僅考慮了輸送帶撕裂圖像單一特征,未考慮輸送帶表面紋理信息復(fù)雜而導(dǎo)致不能準確在線識別輸送帶撕裂類型。為此,提出了融合HOG和灰度共生矩陣(gray-level co-occurrence matrix,GLCM)特征的輸送帶撕裂在線檢測方法。通過提取并融合撕裂方向梯度特征和紋理特征,使用支持向量機以提高輸送帶撕裂的檢測率。
輸送帶撕裂在線檢測系統(tǒng)主要由輸送帶、條形光源、相機、上位機、報警器等組成。輸送帶撕裂在線檢測系統(tǒng),如圖1所示。首先通過安裝在輸送帶上料口前端的相機采集輸送帶表面的圖像信息;然后,將采集的圖像信息傳輸?shù)缴衔粰C并進行分析、處理和判斷;最后,報警系統(tǒng)根據(jù)上位機對圖像判斷的結(jié)果,進行不同程度的預(yù)警。
圖1 輸送帶撕裂在線檢測系統(tǒng)
輸送帶撕裂在線檢測的流程分為圖像采集、圖像處理、模型訓(xùn)練和預(yù)警4部分。首先,將獲取的輸送帶正常、劃傷和撕裂3種圖像進行預(yù)處理和特征提??;然后訓(xùn)練支持向量機模型,并用訓(xùn)練的模型對輸送帶裂紋進行識別;最后,根據(jù)識別的結(jié)果進行不同程度的預(yù)警。輸送帶撕裂檢測流程如圖2所示。
圖2 輸送帶撕裂檢測流程
相機采集輸送帶表面撕裂圖像時,因受到噪聲、光照不均和粉塵等外界因素影響,圖像質(zhì)量會下降,影響圖像識別。采集的輸送帶圖像分為3類:正常、劃痕和撕裂,如圖3所示。首先,對圖像進行校正,去除光照不均的影響,如圖4所示。然后,再經(jīng)局部直方圖均衡化,對圖像進行增強,從而突出裂紋特征的目標輪廓。最后,采用雙邊濾波對圖像進行去噪,以達到保持輸送帶撕裂的邊緣、去除噪聲的效果。預(yù)處理后的圖像如圖5所示。
(a)正常 (b)劃傷 (c)撕裂圖3 采集的輸送帶圖像
(a)正常 (b)劃傷 (c)撕裂圖4 光照不均校正后圖像
(a)正常 (b)劃傷 (c)撕裂圖5 預(yù)處理后圖像
HOG是一種可以對圖像特征加以描述的特征提取算法[10]。該算法能較好地通過計算圖像中各個區(qū)域的方向梯度直方圖,從而完成對HOG特征的提取和統(tǒng)計。同時,該算法對于圖像幾何和光學(xué)變化保持較好的不變性。因此,適用于不同形態(tài)的輸送帶撕裂特征提取,其HOG特征提取步驟如下:
(1)計算輸送帶圖像中每個像素點梯度幅值G(x,y)和梯度方向α(x,y)。梯度幅值和方向可以用來描述圖像的輪廓和形狀信息,同時消除噪聲干擾,計算公式為:
(1)
α(x,y)=tan-1(Gy(x,y)/Gx(x,y))
(2)
式中:Gx(x,y)、Gy(x,y)分別為圖像中點(x,y)處像素水平梯度和垂直梯度。
Gx(x,y)、Gy(x,y)可由像素點灰度值H(x,y)計算得出。
Gx(x,y)=H(x+1,y)-H(x-1,y)
(3)
Gy(x,y)=H(x,y+1)-H(x,y-1)
(4)
(2)將圖像劃分為像素細胞單元(Cell)組成的網(wǎng)格。細胞單元參數(shù)的大小會對特征向量編碼產(chǎn)生影響。參數(shù)過大,特征信息編碼不全面;參數(shù)過小,時間復(fù)雜度上升。將圖像進行劃分,每個細胞單元大小為10像素×10像素,并構(gòu)建梯度方向直方圖。
(3)每3像素×3像素細胞單元(Cell)組成一個塊(Block),塊內(nèi)合并細胞單元的方向梯度直方圖并歸一化操作。
(4)將所有塊的梯度向量串聯(lián)得到圖像的HOG特征。
在統(tǒng)計分析HOG特征時,HOG特征向量維數(shù)較大,2個特征融合就會降低另一個特征對模型的影響。因此,需要對HOG特征進行降維。主成分分析(principal component analysis,PCA)是數(shù)據(jù)降維有效手段[11]。即將重疊變量信息進行刪減,僅保留主要信息,其計算過程如下:
設(shè)N為樣本個數(shù),提取HOG特征向量的維度為M,則樣本集為X=[X1,X2,…,XN]。樣本的協(xié)方差矩陣C可以表示為
(5)
(6)
因協(xié)方差矩陣是實對稱矩陣,可得到n個特征值λi(1≤i≤m)和特征向量Ui(1≤i≤m),將n個特征值由小到大排序,根據(jù)精度要求選擇K個特征向量,并將特征向量進行投影來達到降維目的。投影后的新特征,計算公式為
Y=UTX
(7)
式中:Y為投影后的新特征;UT為樣本的主分量矩陣;X為樣本集。
GLCM是一種紋理統(tǒng)計分析法,可用于提取圖像的整體紋理特征[12]。輸送帶撕裂過程要經(jīng)歷劃傷和撕裂2個階段,劃傷和撕裂圖像可能會出現(xiàn)相同的局部紋理,會導(dǎo)致出現(xiàn)誤檢情況??紤]到局部二值模式(LBP)可用于圖像局部紋理特征提取,且計算簡單和對光照的變化具有魯棒性[13]。將2種方法結(jié)合可以保證圖像紋理特征信息的完整性。
2.3.1 計算LBP算子
LBP分為閾值處理和編碼2個步驟:首先定義一個3×3的像素窗口,設(shè)像素窗口中的中心像素點(x,y)的灰度值Hc(x,y)為閾值,與相鄰的8個像素值H1(x-1,y-1)、H2(x,y-1)、H3(x+1,y-1)、H4(x+1,y)、H5(x+1,y+1)、H6(x,y+1)、H7(x-1,y+1)、H8(x-1,y)進行比較,若鄰域8個像素值大于或等于閾值,將鄰域像素值設(shè)定為1,反之設(shè)置為0。在編碼步驟中,對從閾值處理步驟獲得的二進制數(shù)進行編碼并轉(zhuǎn)換成十進制數(shù)。LBP算子計算公式如式(9)、式(10)所示。
(8)
(9)
式中:s(x)為符號函數(shù);Hc(x,y)為中心像素點的灰度值;Hp(x,y)為相鄰的像素的灰度值。
采用LBP算子時,首先按照上面方法計算中心點的LBP算子值,然后按照步長為3對所有像素點進行遍歷,從而得到對應(yīng)的LBP特征圖像。
2.3.2 特征提取參量
灰度共生矩陣(GLCM)是一種通過描述像素點間的關(guān)系來確定圖像的紋理信息。紋理特征描述前首先對預(yù)處理后圖像進行灰度級量化。為減少運算量,將灰度圖量化為16。GLCM對方向的取值為0°、45°、90°和135°,步距d取值為 2。通過對4個方向求出不同的特征值再計算得到灰度共生矩陣各參數(shù)。根據(jù)采集3種圖像的特點選擇最有代表性的特征參數(shù)[14],分別是能量(angular second moment,ASM)、對比度(contrast,CON)、熵(entropy,ENT)、相關(guān)性(correlation,COR)和逆差矩(homogeneity,HOM)。各表達式分別如下:
(1)能量:反映紋理圖像的灰度分布情況和紋理的粗細度。
(10)
(2)對比度:反映紋理圖像的深度與厚度。
(11)
(3)熵:統(tǒng)計紋理分布的隨機性。
(12)
(4)相關(guān)度:反映了圖像局部的灰度相關(guān)性。
(13)
(5)逆差矩:反映圖像紋理的同質(zhì)性,對圖像局部紋理變化的大小進行度量。
(14)
式中:L為灰度級數(shù),取值為16;f(i,j)為像素點i和j出現(xiàn)的次數(shù);(i-j)表示像素對的灰度差。
為更好地描述圖像細節(jié)特征,又不損失圖像邊緣特征信息及像素間空間相關(guān)特性,將HOG特征和CLCM特征進行串行融合并歸一化處理[15]。以防止特征提取時遺失重要信息,增強魯棒性,以便提高檢測精度。特征融合示意圖,如圖6所示。
圖6 特征融合示意圖
支持向量機(SVM)適合處理非線性問題,對于小樣本的學(xué)習(xí)有很好的泛化能力[16]。選取正常、劃傷和撕裂3種不同輸送帶圖像作為樣本,提取圖像HOG和GLCM特征并融合作為支持向量機(SVM)的輸入,進行分類器的訓(xùn)練和測試。SVM是一個二分類器,在處理二分類以上的分類問題時,需要構(gòu)造合適的多分類器。采用一對一的方式,即任意2個不同類別的樣本之間構(gòu)建一個分類器,所以3個不同的樣本,需要3個分類器。
實驗數(shù)據(jù)集來源于現(xiàn)場實驗拍攝,包括輸送帶正常、劃傷和撕裂3種圖像。實驗在長3.5 m,帶寬0.49 m,運行速度1 m/s的帶式輸送機實驗平臺上開展。圖像采集使用USB接口的CCD相機,該相機分辨率為2 560像素×1 440像素,幀率為30 fps。圖像采集過程中使用2個條形光源對輸送帶表面進行照射。圖像傳輸采用USB線傳輸?shù)缴衔粰C。上位機界面用于直接顯示輸送帶圖像。實驗平臺如圖7所示。
圖7 實驗平臺
在檢測系統(tǒng)中,軟件是基于Python中PyQt5的GUI界面進行開發(fā),在PyCharm環(huán)境中運行。軟件實現(xiàn)了上位機與工業(yè)CCD相機的圖像顯示、圖像預(yù)處理、圖像特征提取、圖像識別和報警。輸送帶撕裂在線檢測軟件界面如圖8所示。
圖8 輸送帶撕裂在線檢測軟件界面
為驗證算法的準確性,采集正常、劃傷和撕裂3種樣本各200張。選擇HOG算法、GLCM算法、LBP-GLCM算法及本文方法進行對比,分別記為方法1~4,即方法1選擇 HOG算法作為圖像的特征提?。环椒?選擇GLCM算法作為圖像的特征提??;方法3首先對圖像進行LBP變換,然后選擇GLCM作為圖像的特征提?。环椒?為本文方法,選擇方法1和方法3作為圖像的特征提取并融合。將方法1~4提取的特征輸入至SVM中進行測試。圖9為不同算法識別準確率。
圖9 不同算法識別準確率
由圖9可知,方法1的平均識別準確率為78.93%,方法2的平均識別準確率為83.14%,方法3的平均識別準確率為87.33%,方法4為本文提出的方法,平均識別準確率為95.37%,單幅輸送帶圖像識別率耗時為38.6 ms。可以看出,方法4相比于其他算法在識別準確率上得到明顯的提升且穩(wěn)定較好。
本文針對輸送帶撕裂圖像信息復(fù)雜,單一的特征提取算法很可能導(dǎo)致出現(xiàn)誤檢的情況。提出了一種融合HOG和GLCM特征的輸送帶撕裂在線檢測方法。通過對圖像進行HOG和GLCM特征提取并融合,使用支持向量機進行識別。通過提取4種不同特征進行實驗,結(jié)果表明:較其他特征提取方法,本文方法達到了較好的撕裂識別效果,單幅輸送帶圖像耗時為38.6 ms,滿足在線檢測的需求。