李 穎，李秀宇，盧兆林，李世銀

(中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116)

0 引 言

煤炭是我國(guó)主要的能源和重要的生產(chǎn)原料，煤炭分選能夠減少燃煤造成的環(huán)境污染問(wèn)題，其中煤粉顆粒粒度是煤炭分選過(guò)程中的重要參考信息?；趫D像處理的粒度分析方法憑借準(zhǔn)確性和快速性成為研究的重點(diǎn)，利用圖像處理技術(shù)提取顆粒特征，進(jìn)而對(duì)煤粉顆粒進(jìn)行粒度分析。其中，圖像分割是關(guān)鍵技術(shù)，通過(guò)分割樣品圖像能夠得到圖像中顆粒數(shù)目、形狀、尺寸分布等信息，為煤炭分選提供依據(jù)[1-4]。

現(xiàn)有的煤炭顆粒圖像分割算法可分為傳統(tǒng)算法和基于深度學(xué)習(xí)的算法[5,6]。利用傳統(tǒng)算法處理較復(fù)雜的煤炭顆粒圖像時(shí)會(huì)出現(xiàn)一些問(wèn)題，如閾值分割易受噪聲干擾，邊緣檢測(cè)需要處理優(yōu)化邊緣，區(qū)域分割中常用的分水嶺算法則會(huì)存在過(guò)分割的情況，為了解決顆粒粘連等問(wèn)題，還需引入數(shù)學(xué)形態(tài)學(xué)等算法進(jìn)行后處理。傳統(tǒng)算法主要依賴于圖像灰度分布相關(guān)的閾值、邊緣等特征，而煤炭圖像中顆粒與背景的灰度分布較為接近，很難提取傳統(tǒng)特征，因此利用傳統(tǒng)分割算法處理煤粉顆粒CT圖像中顆粒過(guò)多過(guò)小和顆粒形態(tài)復(fù)雜等問(wèn)題，分割效果并不理想[7-9]。

基于深度學(xué)習(xí)的分割算法則是利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)煤粉顆粒特征進(jìn)行分割。近年來(lái)，深度學(xué)習(xí)快速發(fā)展，廣泛地應(yīng)用于各類圖像處理任務(wù)中[10]，煤礦智能分選領(lǐng)域也進(jìn)行了相關(guān)嘗試，利用深度學(xué)習(xí)解決各種煤炭圖像分割與識(shí)別問(wèn)題，發(fā)現(xiàn)基于深度學(xué)習(xí)的算法可以更加快速、準(zhǔn)確[11-13]。

其中基于深度學(xué)習(xí)的實(shí)例分割算法不僅能夠分割背景和顆粒，還可以直接利用端到端的分割模型得到單獨(dú)顆粒信息。因此本文采用實(shí)例分割算法來(lái)分割煤粉顆粒CT圖像，接下來(lái)主要介紹本文提出的分割算法、數(shù)據(jù)集、實(shí)驗(yàn)結(jié)果和結(jié)論等。

1 本文提出的煤粉顆粒圖像分割算法

本文旨在精確分割煤粉顆粒，得到單獨(dú)顆粒信息，因此采用基于Mask R-CNN[14]的實(shí)例分割算法。Mask R-CNN在自然圖像處理上效果顯著，但是直接應(yīng)用于煤粉CT圖像存在顆粒漏分割、分割顆粒形態(tài)不完整等問(wèn)題，針對(duì)上述問(wèn)題，本算法首先在特征金字塔網(wǎng)絡(luò)中添加壓縮激勵(lì)(squeeze-and-excitation，SE)[15]模塊來(lái)增強(qiáng)特征的通道信息，同時(shí)將壓縮激勵(lì)模塊(simplified squeeze-and-excitation，SSE)改進(jìn)后用于增強(qiáng)高層和低層特征間語(yǔ)義信息，這樣能夠有效提高小顆粒定位的準(zhǔn)確性，減少欠分割；然后重新設(shè)計(jì)分割分支以達(dá)到更精細(xì)的分割；最后在訓(xùn)練階段選取參數(shù)時(shí)，參考添加錨點(diǎn)框預(yù)處理結(jié)果可以更加合理選擇訓(xùn)練參數(shù)，提高分割準(zhǔn)確性。

本文提出的基于深度學(xué)習(xí)的煤粉分割模型結(jié)構(gòu)如圖1所示，該模型分為兩個(gè)階段，第一階段采用殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)[16]提取顆粒語(yǔ)義特征和位置特征，得到不同尺度的特征圖，然后將特征圖傳入候選區(qū)域生成網(wǎng)絡(luò)(region proposal network，RPN)生成候選框。第二階段將候選區(qū)域映射到特征圖后傳入RoIAlign層，進(jìn)行固定尺寸的池化操作，進(jìn)而對(duì)頭部網(wǎng)絡(luò)中的目標(biāo)分類、邊界框回歸和掩膜分割等任務(wù)進(jìn)行處理。

圖1 基于深度學(xué)習(xí)的煤粉顆粒圖像分割模型

1.1 第一階段

第一階段的作用是提取顆粒位置特征和語(yǔ)義特征并生成候選區(qū)域。首先利用特征提取網(wǎng)絡(luò)提取圖像特征，得到不同尺度的特征圖；然后將特征圖傳入候選區(qū)域生成網(wǎng)絡(luò)獲取候選框。

特征提取網(wǎng)絡(luò)如圖1所示，本文采用殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)為基礎(chǔ)提取圖像特征。利用殘差網(wǎng)絡(luò)提取不同尺度信息，在本文中共提取5個(gè)尺度的特征圖，標(biāo)記為C1，C2，C3，C4，C5，這5個(gè)特征圖具有不同的分辨率，相對(duì)于原始圖片的大小是 {1/4，1/8，1/16，1/32，1/64}， 由于C1的特征圖較大，計(jì)算負(fù)擔(dān)加大，故不采用。

特征金字塔網(wǎng)絡(luò)包含自下至上連接、自上至下連接和橫向連接3種連接方式，能夠輸出多個(gè)尺度的特征圖。其中，自下至上連接是指在殘差網(wǎng)絡(luò)中可利用底層特征圖通過(guò)降采樣得到高層特征圖，另外兩種連接方式與圖1特征金字塔部分中箭頭的方向一致，輸出特征記作P2，P3，P4，P5，與對(duì)應(yīng)的C2，C3，C4，C5大小相同。在原始的特征金字塔網(wǎng)絡(luò)中自下至上連接只采用了上采樣的方式，不適于解決較小煤粉顆粒目標(biāo)特征表達(dá)能力弱的問(wèn)題。為此本文引入壓縮激勵(lì)(SE)模塊，結(jié)構(gòu)圖如圖2所示，SE模塊首先采用全局池化操作對(duì)特征圖進(jìn)行壓縮，得到一個(gè)具有全局感受野的特征圖；然后利用兩個(gè)全連接層去構(gòu)建通道間的相關(guān)性，本文將特征維度降低到輸入維度的1/16，通過(guò)ReLU激活后利用全連接層提升到原來(lái)的維度，這樣既可以增加網(wǎng)絡(luò)的非線性，減少計(jì)算量，也可更好地?cái)M合通道間復(fù)雜的相關(guān)性；最后將通過(guò)Sigmoid激活函數(shù)得到的結(jié)果作為權(quán)重與原始特征圖相乘得到輸出特征，使用該操作可增強(qiáng)殘差網(wǎng)絡(luò)的輸出特征圖的通道信息。

圖2 壓縮激勵(lì)模塊結(jié)構(gòu)

圖3 SSE模塊結(jié)構(gòu)

利用卷積神經(jīng)網(wǎng)絡(luò)提取特征時(shí)，隨著網(wǎng)絡(luò)深度的增加，模型可以學(xué)習(xí)到更多的圖像特征，但是較小的煤粉顆粒目標(biāo)隨網(wǎng)絡(luò)深度的增加可能會(huì)出現(xiàn)特征減少、特征表達(dá)能力減弱等問(wèn)題，導(dǎo)致最終學(xué)習(xí)到的特征非常有限。故本文考慮了不同分辨率特征之間的關(guān)系，對(duì)原有的壓縮激勵(lì)模塊進(jìn)行針對(duì)性改進(jìn)，進(jìn)一步增強(qiáng)圖像特征間的聯(lián)系。改進(jìn)后的壓縮激勵(lì)模塊(SSE)如圖3所示，其不再用于增強(qiáng)同一個(gè)特征的通道信息，而是用于兩個(gè)特征圖之間，一般我們稱經(jīng)過(guò)更多層卷積后的特征為高層特征。首先將高層特征進(jìn)行全局池化操作，然后將原有激勵(lì)操作合并成一個(gè)1×1卷積，獲得統(tǒng)一的通道數(shù)(本文采用256)，最后采用批歸一化(batch normalizatoin，BN)和Sigmoid激活函數(shù)，得到一個(gè)與高層特征相關(guān)的輸出。低層特征經(jīng)卷積得到與高層特征相同的通道數(shù)，再與高層特征相關(guān)的輸出進(jìn)行點(diǎn)乘得到新的特征，新的特征與高層特征兩倍上采樣相加，得到最終的輸出。這樣既保持原有的壓縮激勵(lì)操作能夠增強(qiáng)通道信息的優(yōu)點(diǎn)，又能增強(qiáng)不同分辨率的特征圖的語(yǔ)義信息，提升了圖像分割的性能。

RPN的作用是生成目標(biāo)的候選區(qū)域，得到與特征金字塔網(wǎng)絡(luò)輸出特征維度相同的特征圖，通過(guò)兩個(gè)并行的全連接操作對(duì)該特征圖進(jìn)行分類(二分類，包含目標(biāo)和不包含目標(biāo))和目標(biāo)框坐標(biāo)回歸操作，最后輸出一組目標(biāo)的候選區(qū)域以及對(duì)應(yīng)的置信度分?jǐn)?shù)，置信度分?jǐn)?shù)代表候選區(qū)域的質(zhì)量，分?jǐn)?shù)越高，質(zhì)量越高，可根據(jù)實(shí)際情況篩選合適的候選區(qū)域，輸入第二階段進(jìn)行目標(biāo)的細(xì)化。

圖4 圖像目標(biāo)尺寸分布

在RPN中，為了選取候選區(qū)域，一般會(huì)在特征圖的每一個(gè)像素點(diǎn)上預(yù)先設(shè)定錨點(diǎn)框(anchor box)，錨點(diǎn)框一般為預(yù)先設(shè)定的不同尺寸的長(zhǎng)方形，負(fù)責(zé)選取圖像中可能屬于數(shù)據(jù)集中某一類的候選區(qū)域，再把候選區(qū)域輸入到分類網(wǎng)絡(luò)中進(jìn)行最終的分類。針對(duì)煤粉顆粒數(shù)據(jù)集，本文采用了錨點(diǎn)框預(yù)處理模塊，利用k-means聚類算法得到顆粒尺寸分布情況如圖4所示，本文將k值設(shè)置為50，淺色小圓點(diǎn)從訓(xùn)練集中隨機(jī)選取的2000個(gè)目標(biāo)框的大小，深色三角為聚類結(jié)果，從聚類結(jié)果中選擇合適的錨點(diǎn)框尺寸。從圖中可以看出，煤粉圖像中顆粒目標(biāo)尺寸相對(duì)較小，根據(jù)COCO數(shù)據(jù)集[17]的劃分標(biāo)準(zhǔn)(目標(biāo)面積小于32×32為小目標(biāo)，介于32×32和96×96之間的為中等目標(biāo)，大于96×96為大目標(biāo))，圖像中小目標(biāo)和中等目標(biāo)占比非常大，為了識(shí)別所有顆粒，錨點(diǎn)框的尺寸應(yīng)與圖像中顆粒尺寸相匹配，既包含所有目標(biāo)又不宜太大，針對(duì)本文數(shù)據(jù)集選取的錨點(diǎn)框尺寸為 {10,25,50,75,100}， 比率為 {0.5,1.0,2.0}。

1.2 第二階段

第二階段主要是將RPN輸出的候選區(qū)域傳入RoIAlign層，得到固定尺寸的特征圖用于分類、回歸和分割。頭部網(wǎng)絡(luò)處理任務(wù)之前，將得到的候選區(qū)域映射回特征金字塔輸出特征圖后傳入RoIAlign層，RoIAlign層采用雙線性插值的方法使得每個(gè)感興趣區(qū)域能夠與原圖中對(duì)應(yīng)區(qū)域?qū)R，然后對(duì)該區(qū)域進(jìn)行池化操作，生成固定大小的特征圖進(jìn)行細(xì)分類、目標(biāo)框回歸以及掩膜分割。

Mask R-CNN原有的掩膜預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)單一，難以得到較為精細(xì)的分割結(jié)果。全卷積神經(jīng)網(wǎng)絡(luò)[18]用于語(yǔ)義分割時(shí)為了得到更加精細(xì)的分割結(jié)果，不只采用最后的輸出進(jìn)行分割預(yù)測(cè)，還采用跳級(jí)連接添加中間層的特征，實(shí)驗(yàn)結(jié)果表明，添加中間層特征有助于恢復(fù)圖像細(xì)節(jié)。受這一想法的啟發(fā)，本文對(duì)分割分支進(jìn)行了重新設(shè)計(jì)，結(jié)構(gòu)圖如圖5所示，經(jīng)RoIAlign輸出的特征圖采用連續(xù)卷積計(jì)算，每?jī)蓚€(gè)卷積進(jìn)行一次兩倍上采樣，并將RoIAlign上采樣的結(jié)果與兩個(gè)卷積輸出上采樣的結(jié)果相加得到用于預(yù)測(cè)的特征圖，實(shí)驗(yàn)結(jié)果顯示預(yù)測(cè)掩膜會(huì)更加完整。

圖5 掩膜預(yù)測(cè)分支結(jié)構(gòu)

煤粉顆粒分割模型屬于多任務(wù)學(xué)習(xí)，可以完成目標(biāo)分類、檢測(cè)和分割3個(gè)任務(wù)，在第二階段訓(xùn)練時(shí)，采用了3個(gè)損失函數(shù)共同參與網(wǎng)絡(luò)訓(xùn)練，損失函數(shù)的定義如下

L=Lcls+Lbox+Lmask

(1)

3個(gè)損失函數(shù)分別為分類損失、回歸損失和分割損失。分類損失采用Softmax交叉熵?fù)p失函數(shù)，計(jì)算的是輸出煤粉顆粒的類別損失。分類損失函數(shù)的定義如下

Lcls=-ylog(y′)-(1-y)log(1-y′)

(2)

其中，y表示真實(shí)值，y′表示預(yù)測(cè)值。煤粉顆粒圖像可以分為顆粒和背景兩類。

回歸損失函數(shù)采用Smooth L1損失函數(shù)，計(jì)算方式如式(3)

(3)

分割損失采用的是二進(jìn)制Sigmoid交叉熵?fù)p失函數(shù)，計(jì)算公式如下

(4)

其中，yi表示真實(shí)值，y′i表示預(yù)測(cè)值，m表示預(yù)測(cè)掩膜的大小，本文取28×28，該公式計(jì)算每一個(gè)掩膜的損失函數(shù)值。分割損失函數(shù)在輸出層采用Sigmoid作為激活函數(shù)，只能用于二分類，對(duì)輸出的特征圖進(jìn)行預(yù)測(cè)，判斷特征圖中的每一個(gè)像素點(diǎn)屬于顆粒還是背景來(lái)實(shí)現(xiàn)分割。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集

本文采用高分辨三維X射線顯微成像系統(tǒng)(3D-XRM)采集煤粉顆粒圖像。所獲圖像樣本為1500張連續(xù)序列的煤粉CT圖像，圖片寬高為990×1013，由于標(biāo)注成本過(guò)高，沒(méi)有對(duì)全部圖片進(jìn)行標(biāo)注，隨機(jī)選取序列中的圖片進(jìn)行剪裁，利用Labelme[19]進(jìn)行顆粒標(biāo)注，每幅圖像的顆粒數(shù)目從20到60不等，能夠充分表達(dá)不同的顆粒形態(tài)。本文采用訓(xùn)練集數(shù)目為100，驗(yàn)證集數(shù)目為20，大小為229×229的圖像進(jìn)行訓(xùn)練，數(shù)據(jù)集樣本如圖6所示，其中圖6(a)是訓(xùn)練集圖像，大小為229×229，圖6(g)是真實(shí)標(biāo)注的標(biāo)簽(ground truth，GT)，所有的顆粒標(biāo)注為一類，不同的顏色代表不同的實(shí)例，即單個(gè)顆粒。圖6(b)至圖6(f)展示了不同的圖像增強(qiáng)方式，如圖像翻轉(zhuǎn)、圖像鏡像、圖像旋轉(zhuǎn)、圖像倍乘、高斯模糊、部分圖像變換等，圖6(h)至圖6(l)是相應(yīng)的變換對(duì)應(yīng)的標(biāo)簽。通過(guò)圖像增強(qiáng)增加訓(xùn)練樣本數(shù)量擴(kuò)充至1000，可有效減輕過(guò)擬合的情況。

圖6 訓(xùn)練集圖片及其增強(qiáng)方法展示

2.2 評(píng)價(jià)指標(biāo)

在本文中，我們采用準(zhǔn)確率(Precision)和召回率(Recall)來(lái)評(píng)價(jià)算法，準(zhǔn)確率用于衡量結(jié)果的準(zhǔn)確性，召回率用于衡量結(jié)果的好壞，公式如下

(5)

(6)

其中，TP為被正確識(shí)別為正樣本的實(shí)例數(shù)，F(xiàn)P為被錯(cuò)誤劃分為正樣本的實(shí)例數(shù)，F(xiàn)N為被錯(cuò)誤劃分為負(fù)樣本的實(shí)例數(shù)，在本文中，實(shí)例數(shù)目就是指圖像中煤粉顆粒的數(shù)目。

同時(shí)，我們采用平均精確度(mean average precision，mAP)來(lái)評(píng)價(jià)分割算法的質(zhì)量，它能夠定量地描述準(zhǔn)確率和召回率的分布情況，采用多閾值計(jì)算平均精確度，共采用10個(gè)閾值(閾值是指分割掩膜和真實(shí)掩膜的交并比)，從0.5開始取值，取值間隔為0.05，最大閾值為0.95，同時(shí)，我們?nèi)?.5(AP50)和0.75(AP75)兩個(gè)單閾值來(lái)共同衡量分割算法。

2.3 模型訓(xùn)練與測(cè)試

本文采用ResNet50和特征金字塔網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，采用ResNet50既能獲取更快的訓(xùn)練速度也能滿足計(jì)算要求。理想的深度學(xué)習(xí)訓(xùn)練需要大量的標(biāo)注樣本，但是數(shù)據(jù)標(biāo)注成本較高，很難針對(duì)某些任務(wù)建成大規(guī)模數(shù)據(jù)集，為了解決訓(xùn)練樣本數(shù)量不足的問(wèn)題，可利用遷移學(xué)習(xí)方法進(jìn)行處理。遷移學(xué)習(xí)[20]是解決樣本數(shù)量不足時(shí)有效的訓(xùn)練方法，常見的處理方式是將相關(guān)任務(wù)的權(quán)重遷移到目標(biāo)任務(wù)模型的訓(xùn)練中，然后利用小規(guī)模數(shù)據(jù)集進(jìn)行參數(shù)學(xué)習(xí)，這樣能夠得到較好的訓(xùn)練效果。本文的數(shù)據(jù)集規(guī)模較小，因此采用了遷移學(xué)習(xí)，具體方法為：將采用經(jīng)過(guò)大規(guī)模數(shù)據(jù)集COCO數(shù)據(jù)集訓(xùn)練的模型參數(shù)遷移到本文的模型中，然后利用煤粉數(shù)據(jù)集進(jìn)行模型訓(xùn)練，總共訓(xùn)練80個(gè)epoch，訓(xùn)練時(shí)每個(gè)epoch的訓(xùn)練步長(zhǎng)為100，批處理尺寸(batch size)設(shè)置為2。本文在訓(xùn)練時(shí)采用隨機(jī)梯度下降的方法優(yōu)化模型，動(dòng)量設(shè)置為0.9，初始學(xué)習(xí)率設(shè)置為0.001，權(quán)重衰減指數(shù)為0.0001。

在候選區(qū)域生成網(wǎng)絡(luò)訓(xùn)練過(guò)程中進(jìn)行多尺度預(yù)測(cè)，每個(gè)特征圖得到的預(yù)測(cè)的目標(biāo)框的個(gè)數(shù)為特征大小乘15個(gè)設(shè)定的錨點(diǎn)框，總計(jì)得到261 888個(gè)預(yù)測(cè)錨點(diǎn)框，計(jì)算量非常大。為了減小計(jì)算量，增加訓(xùn)練效率，我們首先采用非極大值抑制算法[21]篩選預(yù)測(cè)框，本文閾值設(shè)置為0.7，即如果兩個(gè)框重疊的面積與總面積之比大于0.7，則該框刪掉，否則保留。然后利用交并比(IoU)去選擇正樣本和負(fù)樣本，交并比的計(jì)算公式如下

(7)

其中，anchor box為預(yù)測(cè)框，GT box即Ground Truth box，為標(biāo)注框，如果IoU大于0.7，則為正樣本，小于0.3則為負(fù)樣本，我們?cè)O(shè)置每張圖片保留256個(gè)預(yù)測(cè)框。在頭部網(wǎng)絡(luò)訓(xùn)練中，每張圖片隨機(jī)選取200個(gè)感興趣區(qū)域進(jìn)行訓(xùn)練，正負(fù)樣本比率選擇均為0.33。

設(shè)置訓(xùn)練參數(shù)時(shí)，錨點(diǎn)框的尺寸是預(yù)先設(shè)定的，錨點(diǎn)框的尺寸應(yīng)當(dāng)包含所有目標(biāo)的大小，在Mask R-CNN中，錨點(diǎn)框的尺寸為 {32,64,128,256,512} 和3個(gè)決定形狀的比率為 {0.5,1.0,2.0}， 經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)這樣對(duì)煤粉顆粒并不能產(chǎn)生很好的結(jié)果，按照建議進(jìn)行等比例縮小修改，效果更差。故本文根據(jù)錨點(diǎn)框預(yù)處理模塊得到的圖4所示的顆粒分布情況，最終選取錨點(diǎn)框的尺寸為 {10,25,50,75,100}， 比率為 {0.5,1.0,2.0}。 在測(cè)試階段，測(cè)試圖像大小輸入為990×1013，最大目標(biāo)檢測(cè)數(shù)目設(shè)置為512，置信度設(shè)置為0.9。實(shí)驗(yàn)結(jié)果見表1，由對(duì)比結(jié)果可得出，經(jīng)過(guò)錨點(diǎn)框預(yù)處理模塊合理設(shè)計(jì)得到的錨點(diǎn)框尺寸能與我們的數(shù)據(jù)集更好地匹配，可以提升訓(xùn)練效果。

表1 不同錨點(diǎn)框尺寸的對(duì)比實(shí)驗(yàn)結(jié)果/%

2.4 結(jié)果分析

我們的實(shí)驗(yàn)結(jié)果可視化如圖7所示，在圖中不僅展示了本文算法和Mask R-CNN的可視化結(jié)果，還與閾值分割算法[22]、分水嶺算法[23]、一階段實(shí)例分割算法YOLACT[24]和二階段實(shí)例分割PANet算法[25]進(jìn)行直觀上的比較。測(cè)試集圖像是CT序列的原始圖像，大小為990×1013。圖7(a)為CT序列中任選的一張圖片，從圖可以看出煤炭CT圖像中顆粒數(shù)量多并且煤粉顆粒中摻雜礦物顆粒，形態(tài)較為復(fù)雜。圖7(b)是其真實(shí)的顆粒標(biāo)注標(biāo)簽，考慮到圖像中的顆粒如果十分分散，不成形態(tài)就不進(jìn)行標(biāo)注，對(duì)整體的分析不會(huì)產(chǎn)生影響。圖7(c)是采用閾值分割得到的結(jié)果，可以看到分割結(jié)果圖中存在很多細(xì)小的斑點(diǎn)，嚴(yán)重影響顆粒形態(tài)。圖7(d)是采用傳統(tǒng)的分水嶺算法得到的結(jié)果，因?yàn)榉炙畮X算法依賴灰度分布情況，而CT圖像灰度值前景和背景相差不大，所以不僅存在過(guò)分割問(wèn)題，也很難分割出完整的顆粒形態(tài)。圖7(e)是選取的典型一階段實(shí)例分割算法YOLACT的測(cè)試結(jié)果，其分割效果遠(yuǎn)遠(yuǎn)不如兩階段的實(shí)例分割算法，欠分割非常嚴(yán)重，這是因?yàn)閱坞A段的實(shí)例分割依賴掩膜形態(tài)，對(duì)規(guī)則物體效果較好，但對(duì)于顆粒這種形態(tài)十分不規(guī)則的目標(biāo)效果不理想。圖7(f)是Mask R-CNN的測(cè)試結(jié)果，分割效果較傳統(tǒng)算法和YOLACT算法有很大提升，但是仍存在顆粒欠分割等問(wèn)題。圖(g)是PANet算法預(yù)測(cè)結(jié)果，PANet可以看作是Mask R-CNN的改進(jìn)，但是更多得考慮了底層信息以及信息之間的傳遞路徑，雖然分割效果略有提升，但是模型的參數(shù)量卻大大增加。圖7(h)是本文算法的實(shí)驗(yàn)結(jié)果，從圖中標(biāo)注的位置可以看出，檢測(cè)出的顆粒結(jié)構(gòu)比較完整，分割效果最好并且參數(shù)量幾乎沒(méi)有增加。

圖7 不同分割算法分割結(jié)果對(duì)比

圖7的結(jié)果展示了本文算法可以得到更加精細(xì)的顆粒形態(tài)，為了評(píng)價(jià)本文分割算法的有效性，驗(yàn)證每個(gè)模塊對(duì)本文方法的貢獻(xiàn)，我們采用mAP以及AP50和AP75來(lái)評(píng)價(jià)該算法并與MaskR-CNN和PANet進(jìn)行對(duì)比。改進(jìn)的壓縮激勵(lì)模塊能夠增強(qiáng)不同特征之間的語(yǔ)義信息和通道信息，改善顆粒分割情況，由表2可以看出，添加壓縮激勵(lì)模塊以及改進(jìn)的壓縮激勵(lì)模塊較原來(lái)的算法在平均精度上提高了1.85%。重新設(shè)計(jì)的分割分支增強(qiáng)了卷積層之間的聯(lián)系，將不同的卷積層進(jìn)行相加后得到最終的特征圖進(jìn)行二值分割，不僅可以改善分割出的顆粒形態(tài)，平均精度也提高了1.12%。表2表明了添加的模塊對(duì)顆粒分割的有效性。本文算法與PANet算法比較，發(fā)現(xiàn)PANet相較于MaskR-CNN的效果有所提升，說(shuō)明改善信息路徑對(duì)小顆粒也有作用，但是PANet更針對(duì)于大目標(biāo)，對(duì)顆粒分割改善有限。本文算法對(duì)于顆粒目標(biāo)更有針對(duì)性，最終的平均精度可以達(dá)到53.73%，較Mask R-CNN的平均精度50.99%提高了2.74%，能夠表明本文算法對(duì)煤粉顆粒CT圖像分割效果較好。

為了進(jìn)一步驗(yàn)證本文算法能夠分割更多的顆粒，改善漏分割情況，將本文算法與原始的Mask R-CNN進(jìn)行實(shí)驗(yàn)對(duì)比。表2的召回率是隨機(jī)選取序列中的5張圖片進(jìn)行顆粒預(yù)測(cè)的結(jié)果。每張圖片中的顆粒數(shù)目不等，先進(jìn)行單張計(jì)算然后再進(jìn)行匯總，結(jié)果顯示，較Mask R-CNN總體的召回率提升了2.24%，由此可以得出，本文算法可以有效提高分割顆粒數(shù)目。

為了驗(yàn)證SE模塊和SSE模塊能夠有效改善小顆粒分割效果，分割出更多的顆粒，本文進(jìn)行消融實(shí)驗(yàn)，計(jì)算測(cè)試集中Mask R-CNN和添加這兩個(gè)模塊后分割出的準(zhǔn)確度和召回率，實(shí)驗(yàn)結(jié)果見表3，從中可以看出，添加SE模塊和SSE模塊對(duì)分割效有所提升，分割平均準(zhǔn)確度分別提高了0.95%和1.98%，召回率分別提高了1.83%和1.17%，說(shuō)明添加SE模塊和SSE模塊都能夠提高小顆粒的分割效果。同時(shí)使用這兩個(gè)模塊平均準(zhǔn)確率提高了1.85%，召回率提高了2.1%，說(shuō)明同時(shí)使用分割效果更好。

表3 SE模塊和SSE模塊消融實(shí)驗(yàn)結(jié)果/%

3 結(jié)束語(yǔ)

煤粉顆粒CT圖像分割是獲取顆粒信息的重要方法，本文主要研究高分辨三維X射線顯微成像系統(tǒng)采集到的圖像數(shù)據(jù)，其特點(diǎn)是煤粉顆粒小，形態(tài)不規(guī)則等。本文采用深度學(xué)習(xí)的方法，設(shè)計(jì)端到端的分割模型，以Mask R-CNN為基礎(chǔ)，針對(duì)煤粉顆粒數(shù)據(jù)集引入了錨點(diǎn)框預(yù)處理方法，利用SE模塊和SSE改善顆粒漏分割情況，重新設(shè)計(jì)了分割分支，實(shí)現(xiàn)更精細(xì)化分割。實(shí)驗(yàn)結(jié)果表明，本文算法能夠有效分割煤粉顆粒。未來(lái)在分割后的煤粉顆粒圖像基礎(chǔ)上，可對(duì)煤粉顆粒的數(shù)量、大小、形狀等信息進(jìn)行深入研究，為煤粉質(zhì)量判斷和煤炭分選提供依據(jù)。