唐俊，李敬兆，石晴，劉陽(yáng)，宋世現(xiàn)，任成成

（1.安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001；2.淮北合眾機(jī)械設(shè)備有限公司，安徽 淮北 235000）

0 引言

帶式輸送機(jī)是散狀物料智能運(yùn)輸裝載過(guò)程中的主要設(shè)備，在運(yùn)輸裝載過(guò)程中，散狀物料的堆積是造成帶式輸送機(jī)故障的主要原因。散裝物料不斷堆積，增加了輸送帶負(fù)荷，易造成輸送帶跑偏、撕裂，落料與輸送帶之間的摩擦易導(dǎo)致輸送帶劃傷，嚴(yán)重時(shí)會(huì)引發(fā)輸送帶火災(zāi)等事故。因此，實(shí)時(shí)、精準(zhǔn)檢測(cè)帶式輸送機(jī)上散狀物料堆積尤為重要[1]。

目前，常用的散裝物料堆積檢測(cè)方法有接觸式檢測(cè)和非接觸式檢測(cè)2 種。接觸式散狀物料堆積檢測(cè)方法主要是利用紅外對(duì)射傳感器、三軸加速度計(jì)等實(shí)現(xiàn)散狀物料堆積檢測(cè)。該類(lèi)檢測(cè)方法存在以下缺點(diǎn)：①煤礦井下濕度大，傳感器易短路，導(dǎo)致誤觸發(fā)散狀物料堆積報(bào)警。② 傳感器安裝位置靠近輸送帶，容易產(chǎn)生機(jī)械摩擦，造成傳感器損壞、引起火花等。以機(jī)器視覺(jué)為主的非接觸式散狀物料堆積檢測(cè)方法克服了接觸式檢測(cè)方法的缺點(diǎn)。游磊等[2]提出了一種采用紅外結(jié)構(gòu)光技術(shù)快速重建煤流曲面實(shí)現(xiàn)堆煤檢測(cè)的方法，但該方法成本高，實(shí)際應(yīng)用規(guī)模小，在因粉塵造成圖像模糊的場(chǎng)景下檢測(cè)效果不理想。姜文濤等[3]提出將曲量場(chǎng)空間方法應(yīng)用到煤礦輸送帶堆煤識(shí)別中，該方法在強(qiáng)噪聲、圖像邊緣模糊等條件下對(duì)堆煤具有較好的識(shí)別效果，但其僅能對(duì)帶式輸送機(jī)末端落煤處進(jìn)行堆煤檢測(cè)。張濤等[4]通過(guò)激光雷達(dá)采集堆煤邊緣并與正常堆煤邊緣數(shù)據(jù)對(duì)比來(lái)觸發(fā)堆煤報(bào)警，但該方法檢測(cè)速度慢，無(wú)法實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。王瀚哲[5]通過(guò)對(duì)視頻信號(hào)進(jìn)行二值化處理并計(jì)算圖像中黑色區(qū)域面積來(lái)進(jìn)行堆煤檢測(cè)，該方法檢測(cè)精度較低，易導(dǎo)致誤判、漏判現(xiàn)象。彭利澤[6]基于YOLOv4 算法實(shí)現(xiàn)堆煤檢測(cè)，該方法雖然能夠達(dá)到較高的平均精度均值，但是模型內(nèi)存需求大，難以部署在嵌入式設(shè)備上實(shí)現(xiàn)堆煤檢測(cè)。

針對(duì)非接觸式散狀物料堆積檢測(cè)方法存在檢測(cè)速度慢、在圖像模糊場(chǎng)景下檢測(cè)精度低、深度學(xué)習(xí)模型內(nèi)存需求大等問(wèn)題，本文提出了一種基于輕量化 Mask-RCNN（Mask Region-based Convolutional Neural Network，掩碼-區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）[7-8]的帶式輸送機(jī)上散狀物料堆積視頻實(shí)時(shí)檢測(cè)方法。通過(guò)設(shè)計(jì)輕量化Mask-RCNN 減少模型內(nèi)存需求，通過(guò)圖像去霧預(yù)處理來(lái)提升因粉塵造成圖像模糊場(chǎng)景下的檢測(cè)效果，添加邊緣損失函數(shù)來(lái)提高模型對(duì)邊緣信息的敏感度。

1 散狀物料堆積檢測(cè)原理

散狀物料堆積檢測(cè)模型架構(gòu)如圖1 所示。具體步驟：①原始圖像經(jīng)過(guò)暗通道先驗(yàn)算法[9]去霧預(yù)處理后，輸入到采用MobileNetV2+特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）輕量化的主干網(wǎng)絡(luò)（Backbone）中進(jìn)行特征提取，生成特征圖。② 區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）通過(guò)滑動(dòng)窗口掃描特征圖生成候選區(qū)域。③RoIAlign 層采用雙線(xiàn)性插值算法改進(jìn)RoIPooling 中的量化操作來(lái)處理浮點(diǎn)數(shù)，統(tǒng)一定義興趣區(qū)域，固定特征圖大小。④ 全卷積網(wǎng)絡(luò)層（Fully Convolution Network，F(xiàn)CN）生成掩碼，為了提升分割掩碼精度，在掩碼分支中加入邊緣損失函數(shù)Ledge，融合目標(biāo)分類(lèi)、邊界框回歸、語(yǔ)義信息得到實(shí)例分割圖像。⑤ 計(jì)算散狀物料堆積掩碼內(nèi)的像素值，當(dāng)超過(guò)預(yù)設(shè)閾值時(shí)判斷為散狀物料堆積。

圖1 散狀物料堆積檢測(cè)模型架構(gòu)Fig.1 Structure of detection model for bulk material accumulation

2 圖像去霧預(yù)處理

在煤炭、砂、水泥等散狀物料的運(yùn)輸裝載過(guò)程中，空氣中的粉塵會(huì)引起圖像模糊，從而影響網(wǎng)絡(luò)的推理結(jié)果，本文采用暗通道先驗(yàn)算法對(duì)采集到的圖像進(jìn)行去霧預(yù)處理[10]。其流程如下：

（1）將霧靄形成模型定義為

式中：I(x)為實(shí)際拍攝到的霧靄圖像，x為圖像中像素點(diǎn)的位置；J(x)為 去霧圖像；t(x)為透射率；A為大氣光值。

（2）去霧操作：通過(guò)I(x) 得到J(x)，在不添加任何限制的條件下將會(huì)得到無(wú)窮多個(gè)解，假定每個(gè)窗口內(nèi)透射率t為常數(shù)，將式（1）進(jìn)行變形得

式中：c為RGB 圖像3 個(gè)顏色通道的任意一個(gè)通道，c∈{R,G,B}；Ic(x)為I(x)的 任意一個(gè)顏色通道；Jc(x)為J(x)的 任意一個(gè)顏色通道；Ac為A的任意一個(gè)顏色通道。

（3）對(duì)式（2）取2 次最小值運(yùn)算得

式中：Ω(x)為以像素x為中心的一個(gè)窗口；y為圖像中 像素點(diǎn)位置；Ic(y) 為I(y)（I(y)為像 素點(diǎn)為y的霧靄圖像）的任意一個(gè)顏色通道；為圖像局部區(qū)域Ω(x)內(nèi)的透射率。

（4）暗通道先驗(yàn)理論指出暗通道Jdark→0，Jc(x)是待求的無(wú)霧圖像，所以其暗通道符合先驗(yàn)理論。

式中Jc(y) 為J(y)（J(y)為像素點(diǎn)為y的去霧圖像）的任意一個(gè)顏色通道。(x)

（5）利用暗通道計(jì)算出透射率 。

（6）借助暗通道圖，從有霧圖像中估算A：首先選取暗通道圖像亮度為前0.1%的像素，然后對(duì)應(yīng)原始圖像位置，尋找具有最高亮度點(diǎn)的值作為大氣光值A(chǔ)。

（7）代回式（1）去霧。

式中t0為透射率閾值，t0=0.1。

當(dāng)t0很小時(shí)，會(huì)導(dǎo)致J的值偏大，引起圖像局部過(guò)曝，因此通常設(shè)置一個(gè)較小的閾值t0=0.1來(lái)限制。

暗通道先驗(yàn)去霧算法解決了由于粉塵導(dǎo)致的圖像細(xì)節(jié)模糊、對(duì)比度低等問(wèn)題，達(dá)到了圖像增強(qiáng)的效果。經(jīng)過(guò)圖像去霧預(yù)處理，可提高圖像的邊緣特征，使模型的推理結(jié)果更為精準(zhǔn)。

3 改進(jìn)Mask-RCNN 模型

3.1 主干特征提取網(wǎng)絡(luò)輕量化

傳統(tǒng)的Mask-RCNN 的主干網(wǎng)絡(luò)采用ResNet 網(wǎng)絡(luò)進(jìn)行特征提取[11]，通過(guò)訓(xùn)練得到的模型內(nèi)存需求大，無(wú)法滿(mǎn)足在嵌入式平臺(tái)上對(duì)散狀物料堆積進(jìn)行實(shí)時(shí)檢測(cè)的需求，因此，本文采用MobileNetV2+FPN作為主干網(wǎng)絡(luò)進(jìn)行特征提取，實(shí)現(xiàn)輕量化Mask-RCNN，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 輕量化Mask-RCNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Lightweight Mask-RCNN network structure

MobileNetV2 網(wǎng)絡(luò)的優(yōu)點(diǎn)是通過(guò)設(shè)計(jì)倒置殘差結(jié)構(gòu)和線(xiàn)性瓶頸模塊使模型具有更高的準(zhǔn)確率和更小內(nèi)存需求[12]。在ResNet 的殘差結(jié)構(gòu)中，先使用1×1 卷積實(shí)現(xiàn)降維，再通過(guò)3×3 卷積提取特征，最后使用1×1 卷積實(shí)現(xiàn)升維[13]。而在MobileNetV2 的倒置殘差結(jié)構(gòu)中，先使用1×1 卷積實(shí)現(xiàn)升維，再通過(guò)3×3 逐通道卷積提取特征，最后使用1×1 卷積實(shí)現(xiàn)降維。當(dāng)激活值非常大時(shí)，F(xiàn)loat16 的低精度無(wú)法精確描述大范圍的數(shù)值，從而造成精度損失，因此，將倒置殘差結(jié)構(gòu)中的1×1 升維卷積和3×3 逐通道卷積中的激活函數(shù)選擇為ReLU6，即將ReLU 函數(shù)的輸出限制為6，使其在Float16 的低精度嵌入式終端上也可以具有很好的數(shù)值分辨率。線(xiàn)性瓶頸結(jié)構(gòu)是指將高維空間投影到低維空間，縮減通道數(shù)，如果輸出較高的維度，則信息損失較小；如果輸出較低的維度，則信息損失較大，所以，在變換過(guò)程中，需要將低維信息投影到高維空間，再經(jīng)ReLU 激活函數(shù)重新投影回低維空間。在MobileNetV1 中逐通道卷積部分，由于ReLU 激活函數(shù)引起卷積核內(nèi)數(shù)值大部分為零，從而導(dǎo)致卷積核失效，因此在輸出維度較低時(shí)使用ReLU 激活函數(shù)會(huì)造成較大的信息損失，從而在投影卷積層選擇線(xiàn)性激活函數(shù)[14]。

FPN 主要解決了目標(biāo)檢測(cè)在處理多尺度變化問(wèn)題時(shí)存在的不足[15]。低層的特征語(yǔ)義信息匱乏，但是具有精準(zhǔn)目標(biāo)位置；高層的特征語(yǔ)義信息豐富，但是目標(biāo)位置模糊。將網(wǎng)絡(luò)的連接方式進(jìn)行簡(jiǎn)單改動(dòng)，保持原有模型計(jì)算量的同時(shí)，目標(biāo)檢測(cè)的精度得到了大幅提升，因此在自底向上的前向過(guò)程中，將特征圖大小相同的層定義為一個(gè)Stage，輸出每個(gè)Stage 最后一層所提取的特征，構(gòu)造特征金字塔結(jié)構(gòu)。為了利用底層定位細(xì)節(jié)信息，融合上采樣的結(jié)果和自底向上生成尺寸相同的特征圖實(shí)現(xiàn)自頂向下的上采樣過(guò)程，再通過(guò)Conv3×3 對(duì)每個(gè)融合結(jié)果進(jìn)行卷積，生成與自底向上的卷積結(jié)果一一對(duì)應(yīng)的特征圖，從而消除了上采樣過(guò)程中產(chǎn)生的混疊效應(yīng)。

3.2 邊緣損失函數(shù)構(gòu)造

在煤礦井下等一些干擾因素較多的工作場(chǎng)景中，圖像對(duì)比度很低，對(duì)邊緣的提取會(huì)產(chǎn)生較大的擾動(dòng)。為了進(jìn)一步提高分割掩碼的精度，更精確地找到分割物體的邊緣，本文提出在傳統(tǒng)Mask-RCNN 的掩碼分支中添加邊緣損失的方法，使得模型在復(fù)雜環(huán)境下依舊可以找到散狀物料堆積區(qū)域。首先構(gòu)建目標(biāo)掩碼，將標(biāo)注的圖像轉(zhuǎn)換為散狀物料堆積的二值分割圖；然后將掩碼分支輸出的預(yù)測(cè)掩碼和目標(biāo)掩碼作為輸入，分別與Scharr 算子進(jìn)行卷積操作，Scharr 算子相較于Sobel 算子的運(yùn)算準(zhǔn)確度更高，效果更好，彌補(bǔ)了Sobel 算子對(duì)圖像中較弱的邊緣提取效果較差的缺點(diǎn)[16]。對(duì)卷積后的結(jié)果進(jìn)行均方根誤差計(jì)算得到邊緣損失Ledge。最后得到改進(jìn)后的損失函數(shù)L[17]。

Scharr 算子的卷積核為

式中：G1為 橫軸方向上的濾波系數(shù)；G2為縱軸方向上的濾波系數(shù)。

邊緣損失函數(shù)Ledge為

式中：u為標(biāo)注的目標(biāo)邊緣；為預(yù)測(cè)的目標(biāo)邊緣。

改進(jìn)后的損失函數(shù)L 為?u式中：Lcls為分類(lèi)損失函數(shù)；Lbox為定位損失函數(shù)；Lmask為分割損失函數(shù)，表示平均二值交叉熵?fù)p失；pi為以候選區(qū)域i為目標(biāo)的概率；為樣本的正負(fù)，當(dāng)樣本為正時(shí)，=1，當(dāng)樣本為負(fù)時(shí)，=0；vi為正樣本Anchor 到預(yù)測(cè)區(qū)域的4 個(gè)平移縮放參數(shù)；v*i為正樣本Anchor 到真實(shí)樣本的4 個(gè)平移縮放參數(shù)；{a,b,w,h}為Anchor 的中心坐標(biāo)和寬、高；r為任意變量；zns為分辨率m×m區(qū)域內(nèi)像素(n,s) 的標(biāo)簽；為zns相同位置上屬于第k類(lèi)的預(yù)測(cè)值。

4 實(shí)驗(yàn)結(jié)果與分析

散狀物料堆積檢測(cè)實(shí)驗(yàn)平臺(tái)環(huán)境：操作系統(tǒng)為Windows 11，CPU 為Inter i7-11700F，GPU 為NVIDIA RTX 3060Ti，輕量化Mask-RCNN 使用Pytorch 進(jìn)行模型搭建，初始學(xué)習(xí)率設(shè)置為0.001，Momentum 參數(shù)設(shè)置為0.09，權(quán)重衰減參數(shù)設(shè)置為10-4。

4.1 數(shù)據(jù)集

本文構(gòu)建了帶式輸送機(jī)上散狀物料堆積實(shí)例分割數(shù)據(jù)集。該數(shù)據(jù)集由1 095 張圖像組成，設(shè)置煤、砂、堆煤、堆砂、帶式輸送機(jī)的標(biāo)簽分別為coal,sand,coal pile,sand pile,belt conveyor，再按照COCO2017 數(shù)據(jù)集格式，通過(guò)LabelImg 軟件對(duì)該數(shù)據(jù)集中的圖像進(jìn)行標(biāo)注。隨機(jī)選取876 張圖像作為數(shù)據(jù)集，219 張圖像作為測(cè)試集。

4.2 評(píng)價(jià)指標(biāo)

實(shí)例分割算法性能的評(píng)估指標(biāo)有[18]精確率P、召回率R、平均精度PA、平均精度均值PmA。

式中：TP為模型預(yù)測(cè)和實(shí)際均為正樣本數(shù)；FP為被模型預(yù)測(cè)為正類(lèi)的負(fù)樣本數(shù)；FN為被模型預(yù)測(cè)為負(fù)類(lèi)的正樣本數(shù)；Rg為 目標(biāo)類(lèi)別為g的召回率；Pg為目標(biāo)類(lèi)別為g的精確率。

4.3 實(shí)驗(yàn)結(jié)果分析

為了檢驗(yàn)輕量化Mask-RCNN 對(duì)散狀物料實(shí)例分割的效果，使用主干網(wǎng)絡(luò)ResNet101 和MobileNetV2進(jìn)行特征提取。

暗通道先驗(yàn)算法去霧預(yù)處理前后的對(duì)比如圖3所示，可以看出經(jīng)過(guò)暗通道先驗(yàn)算法預(yù)處理有效解決了粉塵引起圖像的霧化問(wèn)題，暗通道先驗(yàn)算法去霧預(yù)處理前后平均精度均值對(duì)比見(jiàn)表1。

圖3 暗通道先驗(yàn)算法去霧預(yù)處理前后的圖像對(duì)比Fig.3 Comparison of images before and after defogging preprocessing by the dark channel prior algorithm

表1 暗通道先驗(yàn)算法去霧預(yù)處理前后圖像的 PmA對(duì)比Table 1 Comparison of PmA values of images before and after defogging preprocessing by dark channel prior algorithm %

從表1 可看出，在煤礦井下復(fù)雜環(huán)境中，經(jīng)過(guò)暗通道先驗(yàn)算法對(duì)圖像去霧預(yù)處理后，主干網(wǎng)絡(luò)使用ResNet101 和MobileNetV2 的PmA均大幅提升。

對(duì)219 張圖像使用不同主干網(wǎng)絡(luò)進(jìn)行實(shí)例分割，結(jié)果見(jiàn)表2，其中AP50表示預(yù)測(cè)框與真實(shí)框的交并比（Intersection of Union，IoU）為0.50 的平均精度，AP75 表示IoU 為0.75 時(shí)的平均精度。以ResNet101為主干網(wǎng)絡(luò)所提取的特征，其平均精度PA在不同的IoU 下幾乎持平于MobileNetV2 的結(jié)果。而以ResNet101 為主干網(wǎng)絡(luò)的平均檢測(cè)時(shí)間為2.48 s，模型內(nèi)存為276 MB，以MobileNetV2 為主干網(wǎng)絡(luò)的平均檢測(cè)時(shí)間為0.56 s，模型內(nèi)存為54 MB，由此可以看出輕量化Mask-RCNN 訓(xùn)練得到的模型更加靈活，檢測(cè)效率更高，便于移植在嵌入式平臺(tái)上。

表2 不同主干網(wǎng)絡(luò)上改進(jìn)前后實(shí)例分割結(jié)果對(duì)比Table 2 Comparison of instance segmentation results before and after improvement on different Backbones

通過(guò)本文改進(jìn)的損失函數(shù)曲線(xiàn)判斷當(dāng)前迭代輪次內(nèi)的模型訓(xùn)練狀態(tài)，如圖4 所示，網(wǎng)絡(luò)訓(xùn)練到250 次時(shí)，各損失函數(shù)曲線(xiàn)的波動(dòng)較小，說(shuō)明網(wǎng)絡(luò)達(dá)到較好的穩(wěn)定性。Sobel 算子與Scharr 算子對(duì)堆煤邊緣提取對(duì)比如圖5 所示，其中Scharr 算子對(duì)邊緣信息的敏感度更強(qiáng)。

圖4 損失函數(shù)曲線(xiàn)Fig.4 Loss function curves

圖5 Sobel 算子與Scharr 算子的堆煤邊緣提取結(jié)果Fig.5 Edge extraction results of coal pile of Sobel operator and Scharr operator

從本文構(gòu)建的散狀物料實(shí)例分割測(cè)試集中隨機(jī)選取2 張?jiān)紙D像，邊緣損失函數(shù)添加前后散裝物料堆積檢測(cè)結(jié)果如圖6 所示，采用不同主干網(wǎng)絡(luò)進(jìn)行特征提取后的散狀物料堆積檢測(cè)對(duì)比如圖7所示。

圖6 是否添加邊緣損失函數(shù)散裝物料堆積檢測(cè)對(duì)比Fig.6 Comparison of bulk material accumulation detection whether to add edge loss function

圖7 不同主干網(wǎng)絡(luò)散裝物料堆積檢測(cè)對(duì)比Fig.7 Comparison of bulk material accumulation detection in different backbone networks

從圖6 可看出，未添加邊緣損失函數(shù)的散狀物料堆積檢測(cè)結(jié)果中誤將帶式輸送機(jī)托輥分割為散狀物料堆積，存在誤檢現(xiàn)象。將圖像輸入到添加邊緣損失函數(shù)訓(xùn)練得到的模型中，僅分割出帶式輸送機(jī)上的煤，符合真實(shí)情況。因此，添加邊緣損失函數(shù)能更為精準(zhǔn)地分割帶式輸送機(jī)上散狀物料堆積。

從圖7 可看出，在使用不同主干網(wǎng)絡(luò)進(jìn)行特征提取時(shí)均可以檢測(cè)到散裝物料堆積，而以ResNet50為主干網(wǎng)絡(luò)的模型未能很好地將散裝物料堆積的邊角進(jìn)行分割；以ResNet101 為主干網(wǎng)絡(luò)的模型將顏色相近的草地分割為散裝物料堆積，因此，在使用ResNet50 和ResNet101 作為主干網(wǎng)絡(luò)時(shí)可能會(huì)增加誤檢、漏檢發(fā)生的概率。以MobileNetV2 為主干網(wǎng)絡(luò)的模型可分割出散裝物料堆積區(qū)域，在減少模型內(nèi)存需求的同時(shí)分割結(jié)果更貼合實(shí)際場(chǎng)景。

5 結(jié)語(yǔ)

針對(duì)現(xiàn)有帶式輸送機(jī)上煤炭、砂、水泥等非接觸式散狀物料堆積檢測(cè)方法易受環(huán)境中粉塵影響導(dǎo)致誤檢和漏檢現(xiàn)象、深度學(xué)習(xí)模型內(nèi)存需求大、檢測(cè)精度低等問(wèn)題，提出了一種基于輕量化Mask-RCNN的帶式輸送機(jī)上散裝物料堆積視頻實(shí)時(shí)檢測(cè)方法。通過(guò)暗通道先驗(yàn)去霧算法對(duì)圖像進(jìn)行預(yù)處理，提升了模型推理結(jié)果的準(zhǔn)確率；使用MobileNetV2+FPN輕量化主干網(wǎng)絡(luò)，使得模型大小降低到以ResNet101為主干網(wǎng)絡(luò)的模型的1/5；結(jié)合Scharr 算子構(gòu)造了邊緣損失函數(shù)，提高了模型對(duì)邊緣信息的敏感度。帶式輸送機(jī)散狀物料堆積實(shí)例分割數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法在經(jīng)過(guò)去霧預(yù)處理后的平均精度均值提高了8%，達(dá)到了87.3%；模型內(nèi)存為54 MB；平均檢測(cè)時(shí)間縮短為以ResNet101 為主干網(wǎng)絡(luò)的模型的1/2，檢測(cè)精度可達(dá)91.8%。