程亮，王靜秋，劉信良，孫康

(南京航空航天大學(xué) 機電學(xué)院，江蘇 南京 210016)

0 引言

鐵譜分析是在高梯度強度的磁場作用下，將摩擦副中產(chǎn)生的金屬磨粒從潤滑油中分離出來，按照一定的方法制成譜片和鐵譜圖像，然后通過相關(guān)軟件對其進行定性和定量分析的方法[1]。由于鐵譜圖像中磨粒尺寸不一，相同類型磨粒之間形態(tài)各異以及不同類型磨粒之間存在一定的相似性等問題，使用計算機圖像處理技術(shù)對其進行準(zhǔn)確分割較為困難。圖像語義分割是對圖像中每個像素進行分類，并用顏色索引表示其類別的方法。隨著全卷積網(wǎng)絡(luò)(fully connectional networks,FCN)[2]的出現(xiàn)，諸如DeepLab系列、基于編碼-解碼、基于注意力機制以及基于概率圖模型等語義分割方法被相繼提出，極大地推進了圖像語義分割的發(fā)展[3]。

針對FCN對細節(jié)不敏感、缺乏空間一致性等缺點，2016年，CHEN L C等人提出了DeepLab網(wǎng)絡(luò)[4]，該網(wǎng)絡(luò)將分割結(jié)果輸入至全連接條件隨機場，解決了深度網(wǎng)絡(luò)的定位效果差分割精度不足的問題。2017年，CHEN L C等人在DeepLab的基礎(chǔ)上提出了DeepLabV2網(wǎng)絡(luò)[5]。該網(wǎng)絡(luò)采用空洞卷積，可以在不降低圖像分辨率情況下增大感受野；其次，增加空洞空間金字塔池化(atrous spatial pyramid pooling,ASPP)模塊，利用多個不同膨脹率的空洞卷積捕獲多尺度特征。之后，CHEN L C等人又提出了DeeplabV3網(wǎng)絡(luò)[6]，該網(wǎng)絡(luò)在ASPP中加入全局平均池化分支并在ASPP模塊后使用批量歸一化層，有效捕獲全局信息。2018年，該團隊針對DeepLabV3池化和帶步長卷積會造成一些物體邊界細節(jié)信息的丟失并且擴張卷積計算代價過大的問題，提出了DeepLabV3+網(wǎng)絡(luò)。該網(wǎng)絡(luò)在DeepLabV3的基礎(chǔ)上增加了編碼-解碼模塊，將DeepLabV3作為網(wǎng)絡(luò)的編碼器，并在此基礎(chǔ)上增加了解碼器模塊用于恢復(fù)目標(biāo)邊界細節(jié)[7-9]。

本文通過改進DeepLabV3+網(wǎng)絡(luò)，提出一種適用于鐵譜圖像語義分割的模型，如圖1所示。該模型改進DeepLabV3+的ASPP模塊為密集連接的ASPP結(jié)構(gòu)(Dense ASPP，D-ASPP)，以更好地提取空間信息；然后引入全連接條件隨機場(fully connected conditional random filed,FCCRF)改善鐵譜圖像中磨粒過分割問題。

圖1 改進DeepLabV3+網(wǎng)絡(luò)示意圖

1 改進DeepLabV3+網(wǎng)絡(luò)

在DeepLabV3+網(wǎng)絡(luò)中，基于空洞卷積的ASPP模塊雖然可以在不降低圖像分辨率的情況下提取特征，從而提升網(wǎng)絡(luò)的分割精度，但是對于尺度不一物體的分割，模型可能會忽略較小的物體，而對于尺度較大的物體，又有可能超過感受野范圍，無法獲取物體全局信息[3]。為了解決上述問題，本文引入并改進D-ASPP結(jié)構(gòu)，以獲取更豐富的語義特征。

1.1 D-ASPP

D-ASPP結(jié)構(gòu)是在原ASPP結(jié)構(gòu)中加入級聯(lián)的連接方式，使其在增大模型整體感受野的同時還能共享各分支信息。另外，本文改進了D-ASPP結(jié)構(gòu)，增加了Rate=3的分支，用于小范圍局部特征的提取；其次，將D-ASPP結(jié)構(gòu)中各分支膨脹率設(shè)為互質(zhì)數(shù)，防止出現(xiàn)柵格效應(yīng)。改進后的D-ASPP具有更多的像素參與計算和更大的感受野的優(yōu)點。

1)更多的像素參與計算。圖2為在級聯(lián)方式下，空洞卷積的計算過程示意圖，其中灰色結(jié)點為參與計算的像素點，黑色結(jié)點為不參與計算的像素點。

圖2 空洞卷積級聯(lián)示意圖

從圖2(a)中可以看出，如果以非互質(zhì)膨脹率級聯(lián)，參與計算的像素都集中在某些固定的像素點上，即柵格效應(yīng)。因此為了讓更多的像素點參與計算，本文在ASPP結(jié)構(gòu)中采用了互質(zhì)膨脹率，即假設(shè)上層的膨脹率為N，則下層采用膨脹率為(2×N-1)，依次遞推，其示意圖如圖2(b)所示。

2)更大的感受野。為了解決下采樣時圖像分辨率降低的問題，DeepLabV2引入了空洞卷積。通過改變膨脹率，即可在不改變圖像分辨率的情況下增大卷積核的感受野?？斩淳矸e中感受野計算公式如下：

R=(D-1)·(K-1)+K

(1)

其中：K表示卷積核尺寸；D表示空洞卷積膨脹率。而當(dāng)兩個空洞卷積級聯(lián)時，下層空洞卷積的感受野為

R=R1+R2-1

(2)

其中R1和R2為相鄰兩個空洞卷積的感受野。表1為感受野對比。

表1 感受野對比

從表1可以看出，相對于普通的ASPP結(jié)構(gòu)，D-ASPP結(jié)構(gòu)的感受野近乎兩倍于前者，能夠更好地獲取全局信息，這更有利于解決局部模糊性問題。

1.2 全連接的條件隨機場

在圖像的語義分割網(wǎng)絡(luò)中，目標(biāo)是單個像素點，因此會忽略考慮像素之間的關(guān)系。本文將全連接條件隨機場融入改進的DeepLabV3+模型，利用像素之間的相似性，改善分割結(jié)果。

對于多分類任務(wù)，利用顏色和位置構(gòu)建特征核函數(shù)，即

(3)

其中：I為3維顏色向量；P為2維像素點坐標(biāo)向量；θα、θβ、θγ為高斯核尺度參數(shù)[11]。

如圖3所示，在FCCRF模型中，通過比較相鄰像素的一致性，鼓勵相似性大的像素分配相同的標(biāo)簽，而相似性小的像素分配不同的標(biāo)簽，因此對于較小的空洞或者是像素分配錯誤的小區(qū)域都可以通過相鄰區(qū)域的標(biāo)簽進行填充或者修正。

圖3 FCCRF示意圖

2 實驗過程及結(jié)果分析

2.1 實驗設(shè)備和數(shù)據(jù)

本文算法所采用的編程語言為Python3.6，網(wǎng)絡(luò)搭建基于Tensorflow開源框架，版本為1.14。硬件配置如下：CPU型號為i7-8700k，顯卡型號為NVIDIA RTX2070、顯存為8 GB，操作系統(tǒng)為Windows10。本文所采用的實驗數(shù)據(jù)來自某公司油液，經(jīng)取樣、制譜、拍攝得到的實際應(yīng)用圖像。圖像總數(shù)為200張，其中訓(xùn)練集160張，驗證集20張，測試集20張，其對應(yīng)標(biāo)簽通過LabelMe標(biāo)注工具進行標(biāo)注。本文數(shù)據(jù)集中包含鏈狀磨粒、球形磨粒、切削磨粒、疲勞磨粒、氧化物磨粒以及嚴重滑動磨粒共6類。

2.2 評價指標(biāo)

本文所采用評價指標(biāo)為平均較占比(mean intersection over union,MIoU)以及平均像素準(zhǔn)確率(mean pixel accuracy,MPA)。假設(shè)圖像中共有k個類別(不考慮背景)，pij表示真實值為i、預(yù)測值為j；pji表示真實值為j、預(yù)測值為i；而pii表示真實值和預(yù)測值均為i。MIoU和MPA的計算公式分別為：

(4)

(5)

2.3 實驗過程與結(jié)果分析

1)ASPP模塊實驗

為驗證不同膨脹率組合的效果，本文設(shè)計多組ASPP結(jié)構(gòu)，分別以是否級聯(lián)、是否加入Rate=3的分支以及是否采用互質(zhì)膨脹率為對比項，表2為對比實驗結(jié)果。

表2 不同膨脹率組合對比實驗

從表2中的結(jié)果可以看出，序號6中采取(3,5,9,17)的互質(zhì)膨脹率組合、級聯(lián)、加入膨脹率為3的分支結(jié)果最好，MPA為85.4，MIoU為78.8。

2)FCRCF后處理

由于語義分割是針對像素分類，忽略了像素之間的關(guān)系，因此分割結(jié)果中可能存在過分割。為了解決這一問題，本文在改進的DeepLabV3+基礎(chǔ)上，將原始圖像和預(yù)測結(jié)果作為輸入，采用FCCRF進行后處理，以顏色信息和位置信息為約束修正像素分類(圖4)。

圖4 語義分割結(jié)果

從圖4中可以看出，經(jīng)過FCCRF后處理過的結(jié)果，磨粒內(nèi)部的孔被正確填充，而且分類錯誤的像素也大多得到修正，很大程度地改善了過分割現(xiàn)象。

3)實驗結(jié)果對比

為了驗證本文算法的有效性，在本文實驗數(shù)據(jù)集上，將實驗結(jié)果與其他幾種經(jīng)典分割網(wǎng)絡(luò)DeepLabV3、RefineNet[12]、PSPNet[13]進行對比，對比結(jié)果如表3所示。

表3 實驗結(jié)果對比

從表3結(jié)果可以看出，在本文數(shù)據(jù)集上，改進后的DeepLabV3+的結(jié)果優(yōu)于其他網(wǎng)絡(luò)，并且加入FCCRF可以獲取更加精確的結(jié)果，MPA為90.3，MIoU為87.1。

3 結(jié)語

本文在DeepLabV3+的基礎(chǔ)上，引入并改進了D-ASPP結(jié)構(gòu)，在增大感受野的同時避免了柵格效應(yīng)。其次，利用全連接條件隨機場，以顏色信息和位置信息為約束，優(yōu)化了語義分割忽略像素之間相關(guān)性的問題，提高了分割精度。實驗結(jié)果表明，本文所用方法能夠獲得較為精確的分割結(jié)果，具有一定的實用性。