曾寶繁 潘祖望 秦堅(jiān)貴 賴恒霏

北部灣港防城港碼頭有限公司

1 引言

帶式輸送機(jī)是遠(yuǎn)距離運(yùn)輸?shù)闹匾b備,廣泛應(yīng)用于港口碼頭、發(fā)電站和礦場(chǎng)等散貨運(yùn)輸系統(tǒng)。輸送帶作為帶式輸送機(jī)的核心組成部分,其損傷是引起帶式輸送機(jī)故障的重要原因之一。如果輸送帶損傷不能被及時(shí)發(fā)現(xiàn)并處理,輸送帶就會(huì)面臨損傷擴(kuò)張甚至斷裂的風(fēng)險(xiǎn),進(jìn)而導(dǎo)致整個(gè)運(yùn)輸系統(tǒng)停滯,甚至引發(fā)重大安全事故[1]。

現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的輸送帶損傷檢測(cè)方法主要強(qiáng)調(diào)基礎(chǔ)通用特征的獲取,并試圖從完整的尺度和類別中學(xué)習(xí)目標(biāo)特征,使得檢測(cè)模型通常需要依賴大量的樣本數(shù)量[2]。受限于輸送帶損傷樣本數(shù)量,基于通用特征的輸送帶損傷檢測(cè)模型往往容易發(fā)生過(guò)擬合問(wèn)題,限制了整體檢測(cè)可靠性的提升。因此,需要對(duì)通用特征提取網(wǎng)絡(luò)進(jìn)行適應(yīng)性改進(jìn),并通過(guò)研究損傷樣本的增廣策略,抑制檢測(cè)模型的過(guò)擬合問(wèn)題,從而提高輸送帶損傷檢測(cè)的可靠性?；谏鲜鲂枨?提出一種適應(yīng)于輸送帶表面特性的偏置特征提取模型與輸送帶損傷數(shù)據(jù)增廣模型。

2 基于Yolox-BTFPN的輸送帶表面損傷檢測(cè)網(wǎng)絡(luò)

基于Yolox-BTFPN的輸送帶表面損傷檢測(cè)流程主體分為3個(gè)部分:基于泊松融合的圖像增廣、輸送帶表面損傷檢測(cè)的主干網(wǎng)絡(luò)CSPDarknet53、BTFPN(Biased Texture Feature Pyramid Network,偏置紋理特征融合網(wǎng)絡(luò))。首先將輸送帶表面損傷數(shù)據(jù)集輸入網(wǎng)絡(luò),通過(guò)泊松融合算法對(duì)樣本進(jìn)行處理。主干網(wǎng)絡(luò)結(jié)合CSPDarknet53和Focus模塊來(lái)獲取輸送帶圖像的多尺度特征圖(P3、P4和P5);然后,將特征圖輸入特征融合網(wǎng)絡(luò)BTFPN中進(jìn)行特征提取和特征融合;最后,解耦檢測(cè)頭再根據(jù)提取到的特征進(jìn)行分類和回歸預(yù)測(cè),并輸出檢測(cè)結(jié)果。Yolox-BTFPN檢測(cè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程采用遷移學(xué)習(xí)訓(xùn)練策略(見圖1)。

圖1 檢測(cè)流程圖

2.1 輸送帶損傷樣本增廣算法

數(shù)據(jù)增廣策略是一種增強(qiáng)模型泛化能力的有效方法,但是當(dāng)原有數(shù)據(jù)是小樣本集時(shí),模型的后期訓(xùn)練就無(wú)法表現(xiàn)出明顯的收斂趨勢(shì),甚至可能進(jìn)入模型過(guò)擬合狀態(tài)。因此提出一種基于泊松融合算法的數(shù)據(jù)增廣策略,將少量難獲取的損傷區(qū)域通過(guò)融合的方式快速結(jié)合到容易獲取又包含多種干擾的背景圖像中去,快速提升輸送帶損傷樣本的豐富性。

泊松融合(Poisson Integration)算法的主要思想是根據(jù)原圖像的梯度信息以及目標(biāo)圖像的邊界信息,利用插值的方法重新構(gòu)建出合成區(qū)域內(nèi)的圖像像素。泊松融合的原理見圖2,將原圖像g中指定的區(qū)域Ω融合到目標(biāo)圖像S中,?Ω是其融合后的邊界,這里參數(shù)g、Ω、S、?Ω和f*都是已知量。合并后圖像在Ω內(nèi)的像素值由f表示,在外的像素值由f*表示。

圖2 泊松融合模型

泊松圖像編輯的目的是保留原圖像的紋理,并將其無(wú)縫融入到新圖像中,使合并后的圖像看上去盡量的平滑。實(shí)現(xiàn)的思路就是將原圖像的梯度保留,應(yīng)用到目標(biāo)圖像的邊界中,解出同時(shí)滿足梯度和邊緣約束條件的方程,得到目標(biāo)區(qū)域像素f。其中f*和f的散度對(duì)應(yīng)相等,同時(shí)保證f*和f的邊界對(duì)應(yīng)相等,則方程的解為泊松方程在黎曼邊界或狄利克雷邊界條件時(shí)的解。泊松融合算法生成的樣本見圖3。

圖3 泊松融合效果

2.2 主干網(wǎng)絡(luò)CSPDarkNet53

CSPDarkNet53繼承了DarkNet53的網(wǎng)絡(luò)主體結(jié)構(gòu),并在此基礎(chǔ)上替換了部分網(wǎng)絡(luò)模塊,其結(jié)構(gòu)見圖4。CSPDarkNet53的主體結(jié)構(gòu)包括1個(gè)Focus層,4個(gè)不同的Dark模塊,4個(gè)CBS模塊,3個(gè)不同的CSP層和1個(gè)SPP模塊。

圖4 CSPDarkNet53網(wǎng)絡(luò)結(jié)構(gòu)

Focus層對(duì)輸入的圖像進(jìn)行切片操作,然后通過(guò)Cat操作完成通道疊加,使得圖像的寬度和高度信息被集中到通道信息中,從而主干網(wǎng)絡(luò)可以保留更加完整的采樣信息,有助于卷積網(wǎng)絡(luò)的進(jìn)一步特征提取。

CBS模塊是由卷積層、批量歸一化層和激活函數(shù)SiLU的順序連接而成,作為CSPDarknet53網(wǎng)絡(luò)提取目標(biāo)圖像特征的基本單元。

CSP_X模塊中的一個(gè)分支由CBS模塊串聯(lián)連接多個(gè)殘差單元(Res unit)組成,另外一個(gè)分支的特征圖由CBS模塊處理,最終2個(gè)分支通過(guò)Cat操作完成拼接。殘差單元包含2個(gè)CBS子模塊,結(jié)合殘差思想引入了1個(gè)捷徑分支(Shortcut),以解決梯度消失問(wèn)題,有助于網(wǎng)絡(luò)堆疊從而擬合更復(fù)雜的解空間,提升骨干網(wǎng)絡(luò)獲取更深層特征的能力,所以也可以認(rèn)為CSP_X模塊是一個(gè)更大更復(fù)雜的殘差模塊。

SPP結(jié)構(gòu)通過(guò)連接不同最大池化的方式以改善網(wǎng)絡(luò)的感受野,并提高網(wǎng)絡(luò)的特征感知能力。

2.3 特征融合網(wǎng)絡(luò)BTFPN

多尺度特征融合網(wǎng)絡(luò)可以有效地結(jié)合骨干網(wǎng)絡(luò)提取的語(yǔ)義信息和空間位置信息,顯著提高檢測(cè)網(wǎng)絡(luò)對(duì)小目標(biāo)與特大目標(biāo)的檢測(cè)能力。考慮到輸送帶損傷特征中紋理信息占比明顯,因此在設(shè)計(jì)適用于輸送帶損傷檢測(cè)的特征提取網(wǎng)絡(luò)時(shí),應(yīng)該盡可能多的保留和提取淺層信息。受到BiFPN網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā),提出了一種更加專注于輸送帶紋理信息獲取的BTFPN,其結(jié)構(gòu)見圖5[3]。

圖5 BTFPN特征融合網(wǎng)絡(luò)結(jié)構(gòu)

與PaNet網(wǎng)絡(luò)結(jié)構(gòu)相比,BTFPN在其結(jié)構(gòu)后添加了1條Bottom-Up信息流,將無(wú)偏雙向融合網(wǎng)絡(luò)結(jié)構(gòu)變?yōu)橛衅碾p向特征融合網(wǎng)絡(luò)結(jié)構(gòu),使得淺層的空間位置信息向深層語(yǔ)義信息融合。同時(shí)借鑒BiFPN網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn),在P4與P5層的間隔節(jié)點(diǎn)之間添加Shortcut連接,并通過(guò)刪除重復(fù)的融合節(jié)點(diǎn)來(lái)減少融合網(wǎng)絡(luò)的模型計(jì)算量。

BTFPN的網(wǎng)絡(luò)構(gòu)建過(guò)程見圖6,3個(gè)輸入層(P3-in、P4-in、P5-in)分別對(duì)應(yīng)主干網(wǎng)絡(luò)3個(gè)Dark模塊(Dark3、Dark4、Dark5)的輸出。網(wǎng)絡(luò)構(gòu)建過(guò)程主要包含CSP2_X操作模塊、CBS模塊、上采樣操作以及Cat連接操作。CSP2_X操作模塊不同于CSP_X操作模塊,前者將殘差單元堆疊操作更換為CBS模塊堆疊操作。由于特征提取網(wǎng)絡(luò)有3個(gè)不同尺度的輸出,因此P3、P4、P5特征層可以分別負(fù)責(zé)小目標(biāo)、中目標(biāo)和大目標(biāo)的預(yù)測(cè)。

圖6 BTFPN特征融合網(wǎng)絡(luò)構(gòu)建流程

3 測(cè)試

由于輸送帶表面各種污漬劃痕可能會(huì)對(duì)輸送帶縱向撕裂檢測(cè)造成干擾,因此同時(shí)模擬了輸送帶表面干擾(泥水、油漬)和環(huán)境干擾(霧氣、光照、灰塵),使得模擬的檢測(cè)環(huán)境盡可能地貼近實(shí)際的輸送帶工作環(huán)境。

在上述復(fù)雜模擬環(huán)境的干擾下,直接通過(guò)圖像采集裝置獲取了400張包含撕裂和劃傷的輸送帶樣本。然后采用泊松融合策略將目標(biāo)圖像隨機(jī)的融合到背景圖像中去,并從中挑選出融合效果較好的120張圖像作為增廣樣本。因此共獲得了520張輸送帶損傷樣本,其中訓(xùn)練樣本420張,測(cè)試樣本100張,驗(yàn)證集與訓(xùn)練集比率設(shè)置為0.25,具體用于測(cè)試的撕裂標(biāo)簽數(shù)量為66,劃傷標(biāo)簽數(shù)量為63。圖7展示了部分輸送帶損傷數(shù)據(jù)集中的樣本。

圖7 部分訓(xùn)練樣本

為了進(jìn)一步驗(yàn)證本文提出的模型的先進(jìn)性,選取了輸送帶損傷檢測(cè)算法Yolov3-spp[4]、Yolov4-belt[5]以及Centernet作為對(duì)比。表1是上述模型在測(cè)試集上的檢測(cè)結(jié)果,表2是不同模型的收斂速度和模型參數(shù)量的對(duì)比。

表2 不同檢測(cè)算法的收斂速度、檢測(cè)速度以及時(shí)空復(fù)雜度對(duì)比

由表1可以看出Yolox-BTFPN的4個(gè)可靠性指標(biāo)整體都保持在93.9%之上。說(shuō)明本文提出的輸送帶損傷檢測(cè)模型Yolox-BTFPN相較于其他模型具有更高的可靠性。

由表2可以看出Yolox-BTFPN具有非常快的收斂速度,完全滿足輸送帶損傷檢測(cè)的實(shí)時(shí)性要求,同時(shí)擁有這4個(gè)模型中最小的Params,圖8更加直觀地展示了Yolox-BTFPN模型的先進(jìn)性。

圖8 不同檢測(cè)算法在測(cè)試集上的收斂速度與mAP值對(duì)比

4 結(jié)語(yǔ)

針對(duì)現(xiàn)有輸送帶損傷視覺檢測(cè)方法在復(fù)雜環(huán)境與小樣本條件下的可靠性低以及模型收斂性差的問(wèn)題,對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的輸送帶損傷特征提取與特征融合模型、基于泊松融合的數(shù)據(jù)增廣策略等技術(shù)開展研究,提出一種更加可靠的輸送帶損傷檢測(cè)方法Yolox-BTFPN。經(jīng)過(guò)測(cè)試,Yolox-BTFPN在占用更少的Params的基礎(chǔ)上,其mAP、Precision、Recall和FPS等可靠性評(píng)價(jià)指標(biāo),都要明顯優(yōu)于已有輸送帶檢測(cè)模型,同時(shí)具有更高的實(shí)時(shí)性及收斂性。