盧才武，閆雪頌，劉力，何旭乾，樊臘梅

(1.西安建筑科技大學(xué) 資源工程學(xué)院， 陜西 西安 710055；2.西安市智慧工程感知計(jì)算與決策重點(diǎn)實(shí)驗(yàn)室， 陜西 西安 710055；3.西安建筑科技大學(xué) 管理學(xué)院， 陜西 西安 710055)

0 引言

金屬礦帶式輸送機(jī)上的異物（鉆根、鏟牙和工字鋼）是造成皮帶損壞、撕裂和研磨機(jī)磨損的主要原因之一，嚴(yán)重威脅著礦山生產(chǎn)的安全、穩(wěn)定運(yùn)行。因此，金屬礦山企業(yè)急需對(duì)傳輸帶上異物進(jìn)行準(zhǔn)確的檢測(cè)，提前清除異物或?qū)︻A(yù)發(fā)的事故進(jìn)行及時(shí)預(yù)警與處置，減少因傳輸帶上異物帶來(lái)的經(jīng)濟(jì)損失和安全事故的發(fā)生。

當(dāng)前帶式輸送機(jī)的故障保護(hù)系統(tǒng)僅能對(duì)輸送機(jī)的運(yùn)行故障進(jìn)行自檢，通常是在事故發(fā)生之后停運(yùn)處置。而傳統(tǒng)的傳送帶異物檢測(cè)的技術(shù)主要有雷達(dá)探測(cè)、金屬探測(cè)器和人工檢測(cè)，但采用這些異物檢測(cè)手段存在成本高、檢測(cè)類型少和裝備安裝運(yùn)維難等問(wèn)題，難以在金屬礦山企業(yè)實(shí)際生產(chǎn)中廣泛推廣。近年來(lái)，隨著人工智能的井噴式發(fā)展，機(jī)器視覺(jué)在各領(lǐng)域的運(yùn)用也日趨成熟，使得機(jī)器視覺(jué)這一種部署簡(jiǎn)單、成本低和運(yùn)行可靠的帶式傳輸機(jī)異物檢測(cè)方法成為可能?，F(xiàn)已發(fā)展的機(jī)器視覺(jué)異物檢測(cè)的模式可分為有錨框式和無(wú)錨框式兩類。

如SSD[1]、YOLO V3[2]、Faster R-CNN[3]為有錨框式，有錨框的方法由于需要非極大抑制值（NMS）的處理，往往會(huì)導(dǎo)致模型準(zhǔn)確度下降[4]。Center-Net[5]為無(wú)錨框式，而無(wú)錨框式的方法因池化層特征提取網(wǎng)絡(luò)的感受視野受到限制，會(huì)丟失大量的異物細(xì)節(jié)特征。同時(shí)，由于無(wú)錨框式的方法中檢測(cè)目標(biāo)通過(guò)熱力圖預(yù)測(cè)出與中心位置相對(duì)應(yīng)的點(diǎn)，還會(huì)導(dǎo)致異物樣本的極度不平衡、損失函數(shù)難以收斂的問(wèn)題。

為此，本文提出了一種改進(jìn)的無(wú)錨框式的金屬礦帶式輸送機(jī)異物檢測(cè)方法。在無(wú)錨框式目標(biāo)檢測(cè)方法Center-Net 的基礎(chǔ)上，引入擴(kuò)張率參數(shù)加入空洞卷積，以減少圖像信息經(jīng)過(guò)池化層時(shí)細(xì)節(jié)異物信息的丟失。并通過(guò)正負(fù)樣本調(diào)節(jié)參數(shù)，減少整體損失函數(shù)的值，提高異物檢測(cè)精度。經(jīng)試驗(yàn)證明，改進(jìn)后的模型迭代80 次后損失函數(shù)值較改進(jìn)前縮小了2.666 倍。異物檢測(cè)的平均精準(zhǔn)度均值（MAP）達(dá)到0.911，模型推理速度為26.05 幀/秒。各項(xiàng)指標(biāo)均優(yōu)于以往SSD、YOLO V3、Faster R-CNN 和Center-Net 等常用的異物檢測(cè)方法。

1 異物檢測(cè)基本流程

本文異物檢測(cè)基本流程的步驟分為：

① 在帶式輸送機(jī)處安裝圖像采集裝置，采集輸送機(jī)工作圖像；

② 對(duì)采集到的的異物進(jìn)行分類，剔除無(wú)影響異物，構(gòu)建金屬礦帶式輸送機(jī)異物數(shù)據(jù)集；

③ 對(duì)異物數(shù)據(jù)集進(jìn)行數(shù)據(jù)加強(qiáng)；

④ 使用標(biāo)注軟件對(duì)金屬礦帶式輸送機(jī)異物進(jìn)行標(biāo)注；

⑤ 改進(jìn)無(wú)錨框式Center-Net 目標(biāo)檢測(cè)方法，增加識(shí)別系統(tǒng)的魯棒性；

⑥ 將采集到的圖像數(shù)據(jù)輸入改進(jìn)后的目標(biāo)檢測(cè)方法，對(duì)異物進(jìn)行檢測(cè)。

具體檢測(cè)步驟如圖1 所示。

圖1 異物檢測(cè)基本流程

2 改進(jìn)的無(wú)錨框式異物檢測(cè)方法

有錨框的目標(biāo)檢測(cè)法可能導(dǎo)致大量的錨框被NMS 去除掉，為了避免這一現(xiàn)象導(dǎo)致網(wǎng)絡(luò)檢測(cè)效率下降，使用無(wú)錨框的目標(biāo)檢測(cè)法，通過(guò)預(yù)測(cè)檢測(cè)圖中目標(biāo)的中心點(diǎn)，并且回歸出目標(biāo)所在位置進(jìn)而實(shí)現(xiàn)圖像的識(shí)別。該算法極大地提高了網(wǎng)絡(luò)的檢測(cè)效率。Coener-Net，Cornernet-Lite，Center-Net，F(xiàn)COS（Fully convolutional one-stage object detection）為較長(zhǎng)使用的無(wú)錨框目標(biāo)檢測(cè)網(wǎng)絡(luò)[6]。

2.1 Center-Net 目標(biāo)檢測(cè)算法

Center-Net 模型分為2 個(gè)步驟，首先該模型需要通過(guò)熱力圖預(yù)測(cè)生成目標(biāo)檢測(cè)物的中心點(diǎn)，然后通過(guò)生成的中心點(diǎn)預(yù)測(cè)出目標(biāo)物體的識(shí)別框。圖2為Center-Net 結(jié)構(gòu)圖。

圖2 Center-Net 結(jié)構(gòu)

圖像輸入主干網(wǎng)絡(luò)進(jìn)行特征提取，然后分別輸入關(guān)鍵點(diǎn)生成模塊和目標(biāo)框生成模塊。在關(guān)鍵點(diǎn)模塊，以熱力圖為基本信息，分別對(duì)中心點(diǎn)、中心點(diǎn)偏移量和目標(biāo)尺寸進(jìn)行預(yù)測(cè)，最終得到預(yù)測(cè)物體的關(guān)鍵點(diǎn)。在目標(biāo)框生成模塊，根據(jù)熱力圖匹配屬于同一對(duì)的角點(diǎn)來(lái)生成目標(biāo)框。該方法不需要使用NMS，大幅度地提高了目標(biāo)檢測(cè)模型的檢測(cè)效率。

2.2 Hourglass-104 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用Hourglass-104 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)金屬礦帶式輸送機(jī)異物特征進(jìn)行提取。Hourglass-104 網(wǎng)絡(luò)結(jié)構(gòu)是由2 個(gè)類似于沙漏（Hourglass）結(jié)構(gòu)的模塊疊加而成的。一系列的卷積層、殘差單元模塊、特征融合模塊和上采樣層組成一個(gè)Hourglass 模塊[7]。單個(gè)Hourglass 結(jié)構(gòu)模塊如圖3 所示。

圖3 Hourglass 結(jié)構(gòu)模塊

Hourglass-104 的具體工作步驟為：

① 將原始圖像輸入Hourglass-104 的預(yù)處理模塊，降低原始圖像3/4 的分辨率。

② 輸入殘差單元，通過(guò)步長(zhǎng)為2 的卷積進(jìn)行5次的下采樣。下采樣過(guò)程的同時(shí)使特征圖的通道數(shù)增加。

③ 進(jìn)行5 次上采樣，使圖像分辨率回到預(yù)處理后的大小，同時(shí)也減少了特征通道的數(shù)量。

2.3 感受野的擴(kuò)張

由于深度學(xué)習(xí)的特性往往需要大量的計(jì)算，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)池化層使得輸入圖像的尺寸減小，進(jìn)而減少計(jì)算所需的時(shí)間。為了避免由池化層造成的異物細(xì)節(jié)信息損失，引入擴(kuò)張率參數(shù)（dilation rate），在原始卷積的基礎(chǔ)上加入這個(gè)參數(shù)使得原始的卷積變成空洞卷積。以3×3 的卷積為例，圖4 為普通卷積和空洞卷積的差別。

圖4 空洞卷積對(duì)比

圖4 的3 個(gè)大框分別表示輸入的圖像，黑色的圓點(diǎn)表示3×3 的卷積，陰影的灰色區(qū)域?yàn)榫矸e核的識(shí)別區(qū)域。圖4（a）為普通的3×3 卷積，感受視野為3×3。圖4（b）為擴(kuò)張率為2 的空洞卷積，感受視野增加為5×5。圖4（c）為擴(kuò)張率為3 的空洞卷積，感受視野增加為8×8。空洞卷積在不增加卷積核和不增加圖像輸出特征尺寸的前提下增加了卷積的感受視野，為圖像細(xì)節(jié)的識(shí)別提供了更好的方法，用此方法來(lái)彌補(bǔ)經(jīng)過(guò)池化層損失的異物細(xì)節(jié)特征信息。圖5 為空洞卷積一維對(duì)比圖。

圖5 空洞卷積一維對(duì)比

圖5（a）為原始卷積，圖5（b）、（c）為空洞卷積。設(shè)卷積核的大小為k，擴(kuò)張率為d，經(jīng)過(guò)空洞卷積擴(kuò)張后的卷積核大小為O，則空洞卷積大小可以通過(guò)公式獲得：O=k+(k?1)(d?1)[8]?？紤]異物的大小引入擴(kuò)張率為2 的空洞卷積。

2.4 損失函數(shù)的設(shè)計(jì)

模型的損失函數(shù)通過(guò)檢測(cè)目標(biāo)識(shí)別框和對(duì)應(yīng)的圖片的預(yù)測(cè)結(jié)果計(jì)算得出。根據(jù)Center-Net 算法的核心步驟，損失函數(shù)有：中心點(diǎn)的損失LC，熱力圖的損失（分類置信度損失）LH，識(shí)別框?qū)捀叩膿p失LS，總的損失函數(shù)LE。

圖像輸入特征提取網(wǎng)絡(luò)時(shí)，經(jīng)過(guò)下采樣會(huì)導(dǎo)致像素點(diǎn)的偏移進(jìn)而產(chǎn)生精度誤差。

中心點(diǎn)的損失LC:

針對(duì)分類置信度的損失LH，由于模型的工作原理，一個(gè)檢測(cè)目標(biāo)只由一個(gè)特征點(diǎn)進(jìn)行預(yù)測(cè)，這就導(dǎo)致了樣本的極度不平衡。通過(guò)目標(biāo)分類置信度的損失函數(shù)避免這一現(xiàn)象的產(chǎn)生。

分類置信度LH:

式中，Y?xyc為檢測(cè)圖像的預(yù)測(cè)值，為了使正樣本損失提高的同時(shí)減少負(fù)樣本的損失，在損失函數(shù)中設(shè)置了3 個(gè)參數(shù)α，β，δ。3 個(gè)參數(shù)的具體值通過(guò)多次試驗(yàn)搜索獲得。負(fù)樣本Ln、正樣本LP分別通過(guò)設(shè)置β1，δ和β2進(jìn)行調(diào)整。最終正負(fù)樣本的損失會(huì)反映到參數(shù)α上進(jìn)而得到分類置信度函數(shù)LH。式中Y?xyc為檢測(cè)圖像的預(yù)測(cè)值。

Center-Net 目標(biāo)檢測(cè)算法以預(yù)測(cè)出的中心點(diǎn)為基準(zhǔn)生成目標(biāo)尺寸框。目標(biāo)尺寸框的寬與高存在一定的誤差。

式中，Cφ，Sφ分別是中心點(diǎn)損失和識(shí)別框?qū)捀邠p失所占得比例。

3 樣本數(shù)據(jù)集

本文試驗(yàn)數(shù)據(jù)采集自洛陽(yáng)市欒川縣洛鉬露天金屬礦礦山，采取固定位置，位于傳送帶左側(cè)方45°，圖像采集角度下傾30°，距離地面180 cm，進(jìn)行試驗(yàn)圖像的收集。所處采集環(huán)境如圖6 所示。

圖6 采集環(huán)境

傳送數(shù)據(jù)采集位于碎礦車間的1#帶式輸送機(jī)，設(shè)備型號(hào)為YKK4502-4?？偣彩占愇飯D像4532張。圖像分別率為6000×4000。將所采集到的圖像進(jìn)行劃分，分別劃分為訓(xùn)練圖像集、驗(yàn)證圖像集和測(cè)試圖像集，具體圖像集如圖7 所示。

圖7 采集的圖像數(shù)據(jù)集

3.1 樣本數(shù)據(jù)集增強(qiáng)

3.1.1 直方圖均衡化

針對(duì)較差的光線環(huán)境將直方圖均衡化，借助對(duì)圖像較暗區(qū)域進(jìn)行加強(qiáng)以及通過(guò)對(duì)待處理圖像進(jìn)行非線性的拉伸，將圖像數(shù)值進(jìn)行重新的分配，進(jìn)而使一定灰度范圍內(nèi)的像素信息數(shù)值保持大致一致[9]。直方圖均衡化后的對(duì)比如圖8 所示。

圖8 直方圖均衡化對(duì)比

3.1.2 降噪

針對(duì)圖像中存在的噪聲，使用中值濾波，讓圖像的像素值趨近于真實(shí)值，進(jìn)而達(dá)到降噪的效果。降噪前后的對(duì)比如圖9 所示。

圖9 降噪前后對(duì)比

3.2 標(biāo)注數(shù)據(jù)集

本文使用labelimg 對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注完成后的圖像以xml 格式儲(chǔ)存。

4 試驗(yàn)設(shè)計(jì)及結(jié)果分析

4.1 試驗(yàn)環(huán)境配置

數(shù)據(jù)訓(xùn)練使用改進(jìn)后的Center-Net 目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練，使用遷移學(xué)習(xí)的方式，采用預(yù)訓(xùn)練的VOC數(shù)據(jù)集權(quán)重，一共迭代80 個(gè)epoch，設(shè)置batch size為8，初始學(xué)習(xí)率為10?3，異物識(shí)別網(wǎng)絡(luò)使用pytorch 1.2 框架搭建，試驗(yàn)所用計(jì)算機(jī)配置為處理器intel(R)-Xeon(R)-Silver-4114；內(nèi)存128G；GPU 為2 張Nvidia-GeForce-RTX-2080Ti-12G。所用的訓(xùn)練樣本輸入分辨率為512×512，所有模型輸出分辨率為128×128。

4.2 目標(biāo)集的訓(xùn)練

將處理后的數(shù)據(jù)集分別在不同的算法下進(jìn)行試驗(yàn)。試驗(yàn)1 是通過(guò)提高感受野獲得的mo-centernet算法。試驗(yàn)2 是在mo-centernet 算法的基礎(chǔ)上修改損失函數(shù)，修改后的算法稱為mol-centernet。為保證模型的平衡性，需要不斷設(shè)置α1，α2，β1，β2和δ。通過(guò)多次尋優(yōu)試驗(yàn)獲得以下數(shù)據(jù)：

① 當(dāng)β1=3，δ=0.2 時(shí)，實(shí)現(xiàn)負(fù)樣本損失的降低，對(duì)應(yīng)的損失函數(shù)為L(zhǎng)n。

② 當(dāng)β2=1.5 時(shí)，實(shí)現(xiàn)正樣本損失的提高，對(duì)應(yīng)的損失函數(shù)為L(zhǎng)p。α參數(shù)控制正樣本與負(fù)樣本的比例，設(shè)置α1=0.25，α2=1 對(duì)應(yīng)的損失函數(shù)為L(zhǎng)K。圖10 為2 個(gè)模型的損失函數(shù)曲線。

圖10 損失函數(shù)曲線

由圖10 可知，迭代到80 輪時(shí)，mo-centernet算法的損失函數(shù)值為 0.0052，mol-centernet 為0.0024。修改后損失函數(shù)的模型最小值縮小了2.166倍，使得整個(gè)模型的損失函數(shù)更加趨于0。這說(shuō)明通過(guò)在損失函數(shù)中引入?yún)?shù)，分別調(diào)控正負(fù)樣本的比例來(lái)優(yōu)化損失函數(shù)是有效的。

4.3 測(cè)試與結(jié)果驗(yàn)證

使用4.1 所敘述的試驗(yàn)環(huán)境，使用mol-centernet算法進(jìn)行試驗(yàn)。異物檢測(cè)過(guò)程與結(jié)果見(jiàn)圖11～圖12。

圖11 檢測(cè)過(guò)程

圖12 檢測(cè)結(jié)果

將本文所提出的方法分別與通用算法進(jìn)行對(duì)比，進(jìn)一步分析改進(jìn)后的方法。最后分別使用精準(zhǔn)度（precision），平均精度（AP），平均精度均值（MAP）和模型推理速度（FPS）4 個(gè)指標(biāo)對(duì)各方法進(jìn)行評(píng)估。MAP 是多個(gè)類別AP 的平均值。具體的計(jì)算公式見(jiàn)式（7）～式（9）。

本文設(shè)計(jì)5 組對(duì)照試驗(yàn)，分別為本文通過(guò)擴(kuò)張感受野和改進(jìn)損失函數(shù)得到的mol-centernet 算法和SSD，YOLO V3，F(xiàn)aster r-cnn，Center-Net。具體結(jié)果如下所示。

表1 算法對(duì)比

根據(jù)試驗(yàn)可以看出，本文提出的方法對(duì)鉆根、鏟牙和工字鋼的識(shí)別精度分別達(dá)到0.800，0.950 和0.911，對(duì)各項(xiàng)傳輸帶上的異物識(shí)別精度均有明顯提高，實(shí)現(xiàn)了對(duì)金屬礦帶式輸送機(jī)異物的高精度識(shí)別。

5 結(jié)論

本文旨在改進(jìn)傳統(tǒng)無(wú)錨框式異物檢測(cè)的方法，為金屬礦帶式輸送機(jī)異物檢測(cè)提供一種高穩(wěn)定性、高精確度的方法。

（1）由于在金屬礦帶式輸送機(jī)上采集的圖像存在識(shí)別區(qū)域過(guò)大、暗部細(xì)節(jié)不足和噪聲過(guò)大的問(wèn)題，對(duì)采集到的圖像進(jìn)行直方圖均衡化和中值濾波降噪處理，有效地降低了環(huán)境因素對(duì)后期識(shí)別工作的影響。

（2）通過(guò)空引入洞卷積提高Center-Net 模型的感受視野。為了解決金屬礦帶式傳輸機(jī)異物在訓(xùn)練過(guò)程中存在的正負(fù)樣本不平衡問(wèn)題，在傳統(tǒng)損失函數(shù)上引入α1，α2，β1，β2和δ參數(shù)，來(lái)優(yōu)化訓(xùn)練過(guò)程中正負(fù)樣本的比例，降低算法整體損失函數(shù)值，提高算法檢測(cè)準(zhǔn)確率。

（3）試驗(yàn)結(jié)果表明本文所提出的molcenter-net方法可以有效對(duì)金屬礦帶式輸送機(jī)上的異物進(jìn)行檢測(cè)，相對(duì)于現(xiàn)有算法SSD，YOLO V3，F(xiàn)aster r-cnn和center-net 識(shí)別準(zhǔn)確度有明顯提升。下一步的工作將對(duì)算法優(yōu)化、提升算法的識(shí)別速度展開(kāi)。