李 軒，楊 舟，陶新宇，王曉杰，莫緒濤，黃仙山

（安徽工業(yè)大學(xué) 數(shù)理科學(xué)與工程學(xué)院，安徽 馬鞍山 243002）

引言

隨著國家對環(huán)保的重視，天然砂被限制開發(fā)，廢棄礦石被應(yīng)用在制砂中，機(jī)制砂被推廣開來。在GB/T 14684-2011 中對機(jī)制砂有著尺寸的要求，在破碎礦石制砂過程中需要對砂石顆粒物的尺寸進(jìn)行檢測，根據(jù)檢測結(jié)果對加工過程進(jìn)行指導(dǎo)。同樣地，由于顆粒物為生產(chǎn)環(huán)節(jié)中一個(gè)重要的材料形態(tài)，因此在各種加工過程中需要對其尺寸、形狀等方面進(jìn)行監(jiān)測，且對顆粒物的整體分布有具體范圍的限制。

對于顆粒物粒度的檢測，現(xiàn)在已有多種檢測儀器。使用圖像粒度分析儀/激光粒度分析儀可得到樣本顆粒的各種尺寸信息，其中最常用的是尺寸分布，根據(jù)尺寸分布可得到整個(gè)樣本的情況。粒度分析儀是使用相機(jī)對分散的顆粒物進(jìn)行成像，對相互分散的顆粒能夠較容易地判別其顆粒物的尺寸。這里常用圖像處理的方法來檢測目標(biāo)物，通過邊緣分割[1]、閾值分割[2]、圖像分水嶺[3]等方法進(jìn)行處理；但傳統(tǒng)圖像處理方法對待檢測物的形態(tài)、顏色等特征需要進(jìn)行精確的設(shè)置才能達(dá)到較好的效果。隨著計(jì)算機(jī)硬件與深度學(xué)習(xí)技術(shù)的發(fā)展，以分類與回歸為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)算法有著巨大的進(jìn)步。語義分割（semantic segmentation）網(wǎng)絡(luò)與目標(biāo)檢測（object detection）網(wǎng)絡(luò)也被應(yīng)用到顆粒物的檢測上，相對于傳統(tǒng)的圖像分割算法具有更強(qiáng)的魯棒性。語義分割[4-5]網(wǎng)絡(luò)是對圖像所有像素點(diǎn)進(jìn)行分類，進(jìn)而把目標(biāo)物像素分割出來，但語義分割網(wǎng)絡(luò)不能分割出同一類別的單個(gè)目標(biāo)。目標(biāo)檢測網(wǎng)絡(luò)是預(yù)測物體的位置和類別，可以分為基于候選區(qū)域的兩階段算法[6-7]和基于回歸的單階段算法[8-9]。在語義分割和目標(biāo)檢測的基礎(chǔ)上，實(shí)例分割[10]可以找到每個(gè)物體的位置并且分割出物體的像素[11-12]。

使用深度學(xué)習(xí)方法對顆粒物粒度的檢測可以分為對尺寸的定性判斷和定量計(jì)算。定性判斷是對顆粒進(jìn)行分類[13]，而在對粒度的定量計(jì)算上，對顆粒物圖像進(jìn)行檢測的深度學(xué)習(xí)算法可以分為兩類：一類是利用語義分割網(wǎng)絡(luò)，在顆粒物較為分散的情況下，使用語義分割[14]網(wǎng)絡(luò)對圖像進(jìn)行預(yù)測，得到物體的預(yù)測掩膜；在顆粒物有部分接觸堆疊的情況下，為了得到單個(gè)顆粒物的預(yù)測掩膜，需要對語義分割的結(jié)果進(jìn)行后處理，對接觸點(diǎn)的位置進(jìn)行分離[15]，或者利用分水嶺算法分割預(yù)測掩膜[16]。另一類是利用目標(biāo)識別網(wǎng)絡(luò)或者實(shí)例分割網(wǎng)絡(luò)識別每個(gè)顆粒，利用網(wǎng)絡(luò)的檢測能力得到顆粒物的位置與類別信息[17-18]，然后對目標(biāo)區(qū)域進(jìn)行分割[19]。

為了能夠?qū)ι沉５阮w粒物圖像進(jìn)行準(zhǔn)確的分割，本文提出改進(jìn)掩膜的Mask R-CNN 網(wǎng)絡(luò)。在模型主體方面，使用DenseNet[20]作為主干網(wǎng)絡(luò)，并利用通道注意力機(jī)制對DenseNet 輸出的特征層進(jìn)行增強(qiáng)。在輸出的預(yù)測掩膜上，由于圖像中物體的邊緣信息更加符合物體的輪廓，所以使用邊緣分割結(jié)合網(wǎng)絡(luò)的預(yù)測掩膜生成符合顆粒物邊界的掩膜，能夠更準(zhǔn)確地得到顆粒物尺寸，為深度學(xué)習(xí)方法結(jié)合圖像處理應(yīng)用于物體檢測提供了新思路。

1 檢測模型

1.1 Mask R-CNN 模型

在實(shí)例分割網(wǎng)絡(luò)中，Mask R-CNN[12]網(wǎng)絡(luò)是最常用到的網(wǎng)絡(luò)之一，被應(yīng)用到多個(gè)領(lǐng)域，且檢測效果較好。Mask R-CNN 是一種基于區(qū)域提議的兩階段算法，在Faster R-CNN[6]的基礎(chǔ)上發(fā)展而來。該算法第1 個(gè)階段是使用區(qū)域提議網(wǎng)絡(luò)(region proposed network, RPN)，根 據(jù) 特 征 層 生 成 提 議 區(qū)域；第2 個(gè)階段是利用提議區(qū)域在特征層上選取感興趣區(qū)域(region of interest, RoI)，根據(jù)RoI 對應(yīng)的特征層利用檢測頭進(jìn)行分類與回歸，得到物體最終的位置和分類信息；接著利用物體預(yù)測框?qū)δ繕?biāo)進(jìn)行語義分割，最終得到物體掩膜，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 Mask R-CNN 結(jié)構(gòu)Fig. 1 Structure diagram of Mask R-CNN

Mask R-CNN 網(wǎng)絡(luò)的檢測過程如下:首先將圖像輸入到主干（Backbone）網(wǎng)絡(luò)，得到一組主干特征層。將不同的主干特征層進(jìn)行上采樣疊加，組成特征金字塔（feature pyramid network，F(xiàn)PN）[21]放入RPN 網(wǎng)絡(luò)中；利用RPN 進(jìn)行初步物體的位置回歸和分類，預(yù)測得到一系列提議區(qū)域；利用RoIAlign 將對應(yīng)特征層中的提議區(qū)域提取一組特征向量，根據(jù)特征向量對RoI 進(jìn)行分類和邊框回歸；調(diào)整后利用置信度閾值和非最大抑制進(jìn)行篩選，得到最終預(yù)測框和分類；根據(jù)最終預(yù)測框?qū)μ卣鲗舆M(jìn)行裁切，利用語義分割網(wǎng)絡(luò)生成預(yù)測掩膜。

網(wǎng)絡(luò)整體使用多任務(wù)輸入輸出，模型的整體損失Lloss為

模型整體損失由2 個(gè)部分組成，一部分是RPN 網(wǎng)絡(luò)的損失，包含Lclass(RPN)和Lreg(RPN)；另一部分是對候選區(qū)域進(jìn)行具體分類、回歸和掩膜預(yù)測的損失，包含Lclass(RoI)、Lreg(RoI)和Lmask(RoI)。損失具體計(jì)算如(2)式所示：

式中：Lclass為分類交叉熵?fù)p失；Nclass為分類歸一化系數(shù)；Lclass（RPN）為二分類交叉熵?fù)p失；Lclass（RoI）為多分類交叉熵?fù)p失；pi表示框預(yù)測為正確目標(biāo)的置信度；qi表示把對應(yīng)區(qū)域分為前景與背景，取值為1(前景)或0(背景)；Lreg為回歸損失函數(shù)；Nreg為回歸歸一化系數(shù)，Lreg（RPN）與Lreg（ROI）形式一樣；ti為預(yù)測的目標(biāo)邊界框的位置坐標(biāo)；ti*為實(shí)際的目標(biāo)邊界框；Lmask為平均二值交叉熵?fù)p失函數(shù)；m為RoI 處理之后的長寬；xi為預(yù)測區(qū)域像素；si為像素對應(yīng)分類的概率。

1.2 主干網(wǎng)絡(luò)的改進(jìn)

由于檢測的沙粒一般具有形狀不規(guī)則與尺寸小的特點(diǎn)，因此需要更多的低層特征進(jìn)行判別。在Mask R-CNN 中網(wǎng)絡(luò)初始使用ResNet(殘差網(wǎng)絡(luò))作為主干網(wǎng)絡(luò)，主要由兩種模塊組成，分別為調(diào)整網(wǎng)絡(luò)尺寸維度的Convbolck 與加深網(wǎng)絡(luò)的Identityblock。對于使用殘差結(jié)構(gòu)的網(wǎng)絡(luò)，若輸入為特征層M，則輸出為N=Add(M0,M1)，其中M0可以是輸入的特征層，也可以是經(jīng)過淺層卷積的特征層；M1為經(jīng)過多層卷積的特征層，用來增加網(wǎng)絡(luò)深度。使用這種低層特征與高層特征相加的結(jié)構(gòu)，可以在反向傳播時(shí)使得參數(shù)調(diào)整更輕易地傳播到低層網(wǎng)絡(luò)中，以便更好地利用低層特征層。

DenseNet[15]結(jié)構(gòu)與ResNet 結(jié)構(gòu)類似，是卷積層之間的密集連接，網(wǎng)絡(luò)特征傳播效率更高，可以對每個(gè)特征層進(jìn)行重復(fù)利用。DenseNet 由多個(gè)Denseblock 模塊組成，網(wǎng)絡(luò)中的Denseblock 模塊的輸入為特征層M，由Mi層經(jīng)過卷積得到Mi+1層，則Denseblock 模塊的輸出為N=Concatenate(M1,M2,…,Mi,…,Mn)，其中Mi為模塊中第i層的輸入，也是第i-1 層的輸出，如圖2(a) 所示，為4 個(gè)卷積組成的Denseblock 模塊，其中BN(batch normalization)表示批歸一化，用于對輸入數(shù)據(jù)進(jìn)行優(yōu)化；Relu(rectified linear units)為 激 活 函 數(shù)；Conv 為 二 維 卷 積，在Denseblock 模塊中進(jìn)行多次的卷積加深網(wǎng)絡(luò)。

圖2 DenseBlock 模塊和通道注意力模塊Fig. 2 Structure diagram of Denseblock module and channel attention module

通道注意力機(jī)制[22-23]是利用通道的全局信息對不同特征通道進(jìn)行有選擇地加強(qiáng)與抑制，來提高網(wǎng)絡(luò)的特征表達(dá)能力，通道注意力機(jī)制如圖2(b)所示。由于DenseNet 是把特征層進(jìn)行通道之間的拼接操作，即是可以用通道注意力機(jī)制對輸出特征層進(jìn)行選擇，來加強(qiáng)有用特征層的響應(yīng)。為了方便說明，下文稱添加通道注意力機(jī)制的DenseNet網(wǎng)絡(luò)為DenseAttention(DenseAtt)網(wǎng)絡(luò)，網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3(a)所示。

圖3 DenseAttention 網(wǎng)絡(luò)Fig. 3 Structure diagram of DenseAttention network

主干網(wǎng)絡(luò)整體有5 個(gè)輸出的特征層，其中DenseAtt 網(wǎng)絡(luò)具體的組成如圖3(b)所示。對于輸入的特征層，首先通過Denseblock 模塊把不同卷積深度的特征層拼接到一起作為輸出；對Denseblock 模塊輸出的特征層使用卷積和平均池化調(diào)整特征層的輸出維度；輸出的特征層經(jīng)過全局池化和全連接層可以得到一維的特征量，特征量與輸入的特征層通道數(shù)相同；利用這組特征量對Denseblock 模塊輸出的特征層進(jìn)行相乘，即利用這組特征量的參數(shù)對不同特征層進(jìn)行加權(quán)計(jì)算，加權(quán)計(jì)算的結(jié)果作為DenseAtt 模塊的輸出特征層。

1.3 輸出掩膜的改進(jìn)

語義分割網(wǎng)絡(luò)輸出的掩膜，通常是特征層網(wǎng)絡(luò)分類預(yù)測得到的，分割精度與網(wǎng)絡(luò)特征提取能力有關(guān)。在Mask R-CNN 中是利用預(yù)測框?qū)D像選取感興趣區(qū)域，然后使用相應(yīng)位置的特征層預(yù)測掩膜。由于網(wǎng)絡(luò)在進(jìn)行特征提取時(shí)會損失部分信息，這會導(dǎo)致網(wǎng)絡(luò)預(yù)測的掩膜存在一定誤差。對比之下，對圖像直接進(jìn)行處理可以得到較為符合物體邊緣的信息，因此本文提出改進(jìn)掩膜的Mask R-CNN。

根據(jù)以上分析，對Mask R-CNN 推理之后的結(jié)果改進(jìn)，主要是對輸出的掩膜進(jìn)行修改，使輸出掩膜的邊緣為實(shí)際顆粒物的邊緣。改進(jìn)的Mask RCNN 網(wǎng)絡(luò)架構(gòu)如圖4 所示，在網(wǎng)絡(luò)進(jìn)行預(yù)測推理后，對掩膜進(jìn)行處理。調(diào)整網(wǎng)絡(luò)預(yù)測的物體框，如圖4(a)所示，利用預(yù)測框得到RoI如圖4(b)所示；對RoI進(jìn)行邊緣檢測，得到如圖4(c)所示的邊緣分割線；利用這些邊緣分割線把整個(gè)RoI 區(qū)域分割成若干離散的區(qū)域，如圖4(d) 所示為相互分離的候選掩膜；利用模型預(yù)測的掩膜（圖4(e)）與候選掩膜進(jìn)行求相交，當(dāng)相交部分占候選掩膜整體的比例超過閾值時(shí)，表示該候選掩膜屬于物體的一部分，選出所有占比大于閾值的候選掩膜，如圖4(f)所示；把被選出的候選掩膜進(jìn)行組合，得到最終的掩膜，如圖4(g)。最終的輸出掩膜是根據(jù)邊緣檢測得到的，并且利用網(wǎng)絡(luò)預(yù)測的掩膜進(jìn)行選擇，能夠更準(zhǔn)確地表示該物體的邊界。

圖4 改進(jìn)掩膜的Mask R-CNN 模型Fig. 4 Structure diagram of Mask R-CNN model of improved mask

在上述圖像處理中，當(dāng)圖像紋理過于復(fù)雜或者與背景差異不大時(shí)，會使圖像邊界檢測效果不佳，導(dǎo)致在后面根據(jù)相交選擇候選掩膜時(shí)，出現(xiàn)半個(gè)區(qū)域或整個(gè)區(qū)域被選擇的現(xiàn)象，在這種情況下，輸出的掩膜為半個(gè)區(qū)域。為了避免這種錯誤輸出，在輸出時(shí)判斷RoI 中幾個(gè)固定點(diǎn)的值，選擇的點(diǎn)為中心點(diǎn)和RoI 的4 個(gè)角位置的點(diǎn)。通常狀態(tài)下，中心點(diǎn)屬于掩膜部分，而掩膜對應(yīng)區(qū)域的4 個(gè)角位置的點(diǎn)則不屬于物體，根據(jù)這5 個(gè)點(diǎn)的數(shù)值判斷掩膜是否進(jìn)行輸出；當(dāng)不符合條件時(shí)，使用原本模型預(yù)測的掩膜作為輸出掩膜。大多數(shù)情況下模型使用改進(jìn)的掩膜作為輸出，只有在判斷輸出的掩膜進(jìn)行出錯時(shí)使用模型預(yù)測的掩膜作為輸出。本文方法利用了預(yù)測模型的魯棒性以及圖像處理的準(zhǔn)確性，下文進(jìn)行實(shí)驗(yàn)驗(yàn)證。

2 實(shí)驗(yàn)測試

2.1 數(shù)據(jù)采集與圖像標(biāo)注

本研究使用河沙圖像進(jìn)行實(shí)驗(yàn)，利用篩網(wǎng)對河沙進(jìn)行篩選泥土，把采集的沙粒放置平面進(jìn)行拍攝。本 研 究 使 用 一 個(gè)2592×1944 像 素 的 彩 色 相機(jī)，使用的鏡頭為25 mm 焦距的定焦鏡頭，使用穹頂光源作為照明光源，拍攝示意圖如圖5 所示。在這里使用3 mm 的棋盤格標(biāo)定板對相機(jī)進(jìn)行標(biāo)定，經(jīng)過計(jì)算得到的像素當(dāng)量為k=0.03324 mm/pixel，根據(jù)像素當(dāng)量可以計(jì)算像素尺寸與實(shí)際尺寸的關(guān)系。沙粒相對于其他顆粒的不同之處在于其形狀不規(guī)則，并且整體的顏色變化較大，如圖5 中(a)、(b)、(c)所示。

圖5 圖像采集示意圖Fig. 5 Schematic diagram of image acquisition

對采集到的圖像進(jìn)行標(biāo)注，訓(xùn)練集使用75 張不同的圖像，其中包含6906 個(gè)沙粒標(biāo)注樣本。驗(yàn)證集中包含30 張圖像，共2491 個(gè)標(biāo)注樣本。為了測試模型檢測沙粒不同數(shù)目下的結(jié)果，把測試集分為3 組，每組10 幅圖，這3 組中每幅圖約有50、100 和150 個(gè)數(shù)目的沙粒，3 組共計(jì)標(biāo)注樣本2990 個(gè)。

2.2 模型訓(xùn)練

本文的實(shí)驗(yàn)采用intel i7-10750H CPU 和NVIDA GeForce RTX 2060 GPU，基于Python下的TensorFlow平臺搭建而成。網(wǎng)絡(luò)設(shè)置超參數(shù)為：學(xué)習(xí)率0.001，每個(gè)epoch 訓(xùn)練250 個(gè)step，訓(xùn)練批大小為1，總共訓(xùn)練100 個(gè)epoch，對輸入圖像采用512×512 像素大小。RPN 的不同特征層Anchors 設(shè)置大小為[16,32 ,64, 128, 256]，滑窗步幅為[4, 8, 16, 32, 64]，每層Anchors 設(shè)置比例為[0.5, 1, 2]。對比不同主干網(wǎng)絡(luò)的訓(xùn)練情況，訓(xùn)練的損失如圖6 所示，可見本文的DenseAttention 主干網(wǎng)絡(luò)在訓(xùn)練后，網(wǎng)絡(luò)反向傳播效率更高，訓(xùn)練損失與驗(yàn)證損失更低。

圖6 不同主干網(wǎng)絡(luò)的訓(xùn)練過程損失曲線Fig. 6 Loss curves of training process of different backbone networks

2.3 評價(jià)指標(biāo)

對檢測模型的評價(jià)通?？梢允褂闷骄鶞?zhǔn)確度(average precision, AP)和交并比(intersection over union, IoU)。AP 的大小能夠表示模型檢測效果的優(yōu)劣，其由2 個(gè)部分組成，準(zhǔn)確度(P) 和召回率(R)。準(zhǔn)確度表示在檢測到的所有樣本中為正確樣本的比例，如(3)式所示，其中TP表示檢測到的正確樣本數(shù)，F(xiàn)P表示檢測到的錯誤樣本數(shù)。召回率表示檢測到的正確樣本占所有正確樣本的比例，如(4)式所示，其中FN表示分類錯誤的負(fù)樣本數(shù)。準(zhǔn)確度和召回率為互逆的關(guān)系，通常使用AP 作為綜合的評價(jià)標(biāo)準(zhǔn)，如(5)式所示。而交并比常用在評價(jià)預(yù)測框或者預(yù)測掩膜的準(zhǔn)確度，用真值區(qū)域和預(yù)測區(qū)域的交集與并集的比例表示，如(6) 式所示，其中Agt表示真值區(qū)域，Apre表示預(yù)測區(qū)域。

對顆粒檢測后，通常需要顆粒物的尺寸分布，尺寸分布可以描述整個(gè)顆粒物樣本的狀態(tài)，它可以是等效粒徑的尺寸分布、顆粒長短軸和面積的尺寸分布。本文利用面積分布進(jìn)行評價(jià)，使用檢測的面積作為篩選依據(jù)計(jì)算顆粒物的粒度累計(jì)曲線，類比在GB/T 14684-2011 中計(jì)算篩網(wǎng)過濾后剩余的顆粒物的占比。對于模型檢測到的顆粒物數(shù)N與顆粒物面積數(shù)組Si(i=1,…,N)，按照像素面積Ci(i=1,…,m)的大小分為m個(gè)類別，面積類別像素?cái)?shù)0 到S；使用xi(i=1,…,m)表示面積大于Ci-1且小于Ci的沙粒樣本數(shù)目，則尺寸分布表示為D=[x1,x2,…,xm]。同樣地，計(jì)算粒度累計(jì)曲線，使用pi(i=1,…,m)表示面積大于Ci的沙粒樣本數(shù)目，則粒度累計(jì)曲線描述為C=[p1,p2, …,pm]。

本文用尺寸分布相關(guān)性[24]對圖中顆粒物的尺寸分布作整體評價(jià)。在這里用沙粒掩膜面積作為沙粒尺寸，通過計(jì)算實(shí)際掩膜尺寸分布與預(yù)測掩膜尺寸分布之間的相關(guān)性，對模型的掩膜檢測效果進(jìn)行量化評價(jià)。顆粒物尺寸分布相關(guān)性表示為

3 實(shí)驗(yàn)結(jié)果與分析

3.1 檢測的準(zhǔn)確度評價(jià)

對不同主干網(wǎng)絡(luò)的Mask R-CNN 進(jìn)行對比，其中基準(zhǔn)的ResNet 網(wǎng)絡(luò)使用ResNet50 作為主干網(wǎng)絡(luò)； DenseNet 網(wǎng) 絡(luò) 以DenseNet52 作 為 主 干 網(wǎng) 絡(luò)；DenseAttention 是以本文通過通道注意力機(jī)制改進(jìn)的DenseNet 作為主干網(wǎng)絡(luò)。

對于采集的圖像，構(gòu)建3 個(gè)測試樣本集，每個(gè)樣本集包含10 幅圖。測試集設(shè)為3 個(gè)，即陽性樣本490 個(gè)、陽性樣本1000 個(gè)及1500 個(gè)。針對所搭建的模型，計(jì)算了3 個(gè)樣本集的平均AP 值。如表1 所示，本文DenseAttention 網(wǎng)絡(luò)可以在較小的參數(shù)下獲得精度相當(dāng)?shù)臋z測效果。對于3 組測試集，整體檢測的IoU 對比如表2 所示，本文改進(jìn)掩膜的Mask R-CNN 檢測效果得到較大提升，IoU 整體可以達(dá)到80%以上。

表1 不同主干網(wǎng)絡(luò)的檢測精度Table 1 Detection accuracy of different backbone networks

表2 改進(jìn)前后的IoU 對比Table 2 IoU comparison before and after improvement

本文對比了不同主干網(wǎng)絡(luò)與改進(jìn)算法的計(jì)算用時(shí)，結(jié)果如表3 所示，本文結(jié)合圖像處理的方法能在計(jì)算量增加較小的情況下提升檢測效果。

表3 不同網(wǎng)絡(luò)的平均檢測時(shí)間Table 3 Mean detection time of different networks s

3.2 不同方法檢測效果對比

顆粒物的檢測方法有許多，在顆粒圖像分析儀中常用的方法有分水嶺分割[3]、閾值分割[2]、邊緣檢測分割等。除此之外，基于深度學(xué)習(xí)的語義分割及其改進(jìn)方法[16]也可用于顆粒物的識別分割。不同方法對比分割結(jié)果如圖7 所示，對比方法有Mask R-CNN 及本文改進(jìn)掩膜的Mask R-CNN、UNet語義分割、UNet+Watershed、Canny 邊緣分割和分水嶺分割。

圖7 不同主干網(wǎng)絡(luò)的檢測效果Fig. 7 Detection effect of different backbone networks

圖7 中包含檢測效果圖和檢測得到的尺寸分布圖，為了直觀判斷不同方法分割檢測的結(jié)果，把對應(yīng)輸出的區(qū)域使用不同的顏色描繪出來。圖7(a1)和7(a2)分別是原圖和標(biāo)簽；圖7(b1)、7(c1)和7(d1)分別為初始Mask R-CNN 在主干網(wǎng)絡(luò)ResNet、Dense-Net 和DenseAttention 下的檢測效果；圖7 (b2)、7(c2)和7(d2)分別為改進(jìn)掩膜的Mask R-CNN 對不同主干網(wǎng)絡(luò)ResNet、DenseNet 和DenseAttention 的檢測效果；圖7(e) 為UNet 分割得到的圖像；圖7(f)為UNet+Watershed 分割結(jié)果；圖7(g)為Canny 邊緣檢測分割結(jié)果；圖7(h) 為Watershed 分割結(jié)果。從圖7(b1)、7(c1)、7(d1)與圖7(b2)、7(c2)、7(d2)的對比能夠看到，本文改進(jìn)掩膜對檢測效果有較大提升；而其他檢測方法，如基于語義分割的圖7(e)、7(f)和基于圖像處理分割的圖7(g)、7(h)檢測效果存在較大誤差，這是因?yàn)轭w粒相互接觸時(shí)不能區(qū)分單獨(dú)的顆粒，產(chǎn)生了較多的錯誤分割?？偟膩碚f，基于圖像處理的方法對相互接觸的顆粒物容易欠分割和過分割，所以進(jìn)一步判別類別和尺寸時(shí)會產(chǎn)生較大誤差，在樣本的顆粒檢測中無法進(jìn)行有效檢測。

使用人工標(biāo)注的掩膜尺寸分布作為實(shí)際尺寸分布，對3.1 節(jié)所述的3 個(gè)測試集樣本使用不同網(wǎng)絡(luò)進(jìn)行檢測，檢測得到具體的尺寸分布如圖8 所示。圖8 中3 列分別為3 個(gè)不同的檢測樣本集，圖8(a1)～8(a3)、圖8(b1)～8(b3)、圖8(c1)～8(c3)分別為本文不同主干網(wǎng)絡(luò)的改進(jìn)掩膜前后檢測結(jié)果對比，圖8(d)為UNet 及UNet+Watershed 的檢測效果，圖8(e)為Canny 邊緣分割和分水嶺分割的檢測效果?？梢钥吹奖疚母倪M(jìn)掩膜的Mask R-CNN在預(yù)測的掩膜上更加準(zhǔn)確，得到的尺寸分布更加貼近實(shí)際尺寸分布。

圖8 測試集上不同網(wǎng)絡(luò)檢測的尺寸分布Fig. 8 Size distribution of different networks detection on test set

根據(jù)粒度累計(jì)曲線可以計(jì)算各個(gè)累計(jì)尺寸占比的誤差，結(jié)果如表4 所示，改進(jìn)模型的檢測結(jié)果整體的誤差小于4%，可以被有效應(yīng)用于檢測整體的顆粒物尺寸的分布。對不同網(wǎng)絡(luò)預(yù)測的掩膜尺寸分布使用相關(guān)性進(jìn)行評價(jià)，結(jié)果如表5 所示。本文改進(jìn)掩膜的Mask R-CNN 算法在搭配不同的主干網(wǎng)絡(luò)時(shí)都可以達(dá)到較好的效果，通?？梢詸z測 尺寸分布的相關(guān)性達(dá)到90%。

表4 不同方法的顆粒累計(jì)占比誤差的統(tǒng)計(jì)標(biāo)準(zhǔn)差Table 4 Statistical standard deviation of particles accumulative proportion error of different methods

表5 不同方法的尺寸分布相關(guān)性Table 5 Correlation of size distribution between different methods

從以上結(jié)果可以看到，相比于原始的Mask RCNN，在相同訓(xùn)練的情況下，本文改進(jìn)掩膜的Mask R-CNN 能夠更好地預(yù)測顆粒掩膜，提升了輸出掩膜的準(zhǔn)確度；相比于其他經(jīng)典圖像處理算法，在檢測尺寸分布和顆粒累計(jì)曲線上有著很大的提升；本文方法在IoU 的結(jié)果上有10%～15%的提升，達(dá)到80%以上，顆粒累計(jì)占比的誤差為4%，預(yù)測掩膜的尺寸分布與實(shí)際掩膜尺寸分布達(dá)到強(qiáng)相關(guān)，能夠完成分析顆粒物粒度的作用。

4 結(jié)論

本文提出一種改進(jìn)掩膜的Mask R-CNN 的顆粒物檢測與尺寸分布測量方法，能夠用于顆粒物的尺寸分布檢測，相比于其他圖像檢測方法，本文方法對顆粒接觸的魯棒性較強(qiáng)，對整體尺寸的描述較為準(zhǔn)確。本方法利用通道注意力機(jī)制對DenseNet 網(wǎng)絡(luò)進(jìn)行增強(qiáng)作為檢測模型的主干特征提取網(wǎng)絡(luò)，將DenseNet 網(wǎng)絡(luò)的多特征層拼接的特點(diǎn)與通道注意力機(jī)制對特征層的選取增強(qiáng)相結(jié)合，可以在參數(shù)量較小的情況下達(dá)到相當(dāng)?shù)男Ч?。其次利用圖像處理對模型輸出的掩膜進(jìn)行修改，結(jié)合模型的預(yù)測掩膜以及預(yù)測框的邊緣分割方法能夠生成更加符合物體邊界的掩膜。實(shí)驗(yàn)表明，本文方法能夠更加準(zhǔn)確地檢測顆粒物的尺寸分布，可應(yīng)用于砂石顆粒加工的檢測，為深度學(xué)習(xí)結(jié)合圖像處理的應(yīng)用提供了思路。下一步計(jì)劃針對漏檢的顆粒物測試更加高效的特征提取網(wǎng)絡(luò)，提升網(wǎng)絡(luò)的檢測精度，并應(yīng)用到更高精度的顆粒物圖像檢測中。