梁秀滿，薛文強+，牛福生，張晉霞

(1.華北理工大學 電氣工程學院，河北 唐山 063210； 2.華北理工大學 礦業(yè)工程學院，河北 唐山 063210)

0 引 言

工藝礦物學工作人員操作顯微鏡鑒定礦石對專業(yè)知識和實踐經(jīng)驗要求很高，方法原始且工作耗時長，使用計算機快速分割出礦石顯微圖像中成分對工藝礦物學的科研人員有著重大意義，因此逐漸受到學者們的關(guān)注，如呼和等[1]、朱磊等[2]分別采用超像素和模糊C均值聚類算法在砂巖圖像分割上取得良好的效果，但是由于顯微鏡下礦石圖像顏色及紋理特征復(fù)雜多樣[3]，一些礦物采用傳統(tǒng)圖像處理方法很難將其分割，隨著近幾年深度學習語義分割的發(fā)展，此類礦物分割成為了可能，如Filippo M P等[4]采用語義分割網(wǎng)絡(luò)對反射光顯微鏡圖像中環(huán)氧樹脂不透明和非透明礦物進行分割，本文算法的分割任務(wù)是在磁鐵礦石顯微圖像下分割石英，屬于二分類任務(wù)。

在過去的幾年中語義分割的二分類分割方案逐漸成熟，如學者們在U-net的基礎(chǔ)上進行改進分別提出了U-Net++[5]和U-Net3+[6]，Gu等[7]在U型網(wǎng)絡(luò)中引入空洞卷積和金字塔池化，使得分割精度進一步提升。然而一塊礦石光薄片尺寸為3.5×3.5 cm，在50倍物鏡的顯微鏡下需要拍攝上千張照片才能拍完全貌，采用上述分割策略對這些照片分割需要花費大量的時間。

實時語義分割網(wǎng)絡(luò)通過平衡神經(jīng)網(wǎng)絡(luò)的運行速度和分割精度推動了語義分割網(wǎng)絡(luò)更廣泛的應(yīng)用[8-11]，本文受到實時語義分割網(wǎng)絡(luò)DFANet[11]中所提出的特征復(fù)用結(jié)構(gòu)的啟發(fā)，對U型網(wǎng)絡(luò)的解碼器進行改進，提出了多特征融合解碼器結(jié)構(gòu)，并采用輕量化ResNet-34[12]為編碼器設(shè)計了MA-net網(wǎng)絡(luò)，因其在運行過程中不斷進行特征補充，網(wǎng)絡(luò)通道數(shù)可以極大縮減，進而提高實時性，在磁鐵礦石顯微圖像數(shù)據(jù)集上取得了良好分割效果。

1 分割任務(wù)及數(shù)據(jù)集

本文分割任務(wù)為在磁鐵礦顯微圖像下分割石英，如圖1中標簽白色區(qū)域為石英，考慮到磁鐵礦顯微圖像語義信息不復(fù)雜，人工標注成本過高，制作的數(shù)據(jù)集中訓練數(shù)據(jù)集80張，測試數(shù)據(jù)集20張，采用垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、隨機旋轉(zhuǎn)n個90°、仿射變換和隨機平移等策略的組合對圖像進行增強。

在采用以上數(shù)據(jù)增強的情況下為了進一步提高數(shù)據(jù)的多樣性，并且降低訓練過程過擬合現(xiàn)象，本文提出了一種區(qū)域克隆數(shù)據(jù)集增強方法，在訓練過程中從數(shù)據(jù)集中隨機克隆另外一張圖片的部分區(qū)域到索引圖像，同時標簽也執(zhí)行相同操作。此種方法應(yīng)用到礦物顯微圖像數(shù)據(jù)集中增加了數(shù)據(jù)集豐富度，本文實驗部分有對該方法的驗證。如圖2所示為區(qū)域克隆數(shù)據(jù)增強方法。

2 網(wǎng)絡(luò)模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)的整體結(jié)構(gòu)為編碼解碼結(jié)構(gòu)，傳統(tǒng)的編碼器和解碼器采用單一路徑的方式下采樣和上采樣，各個過程聯(lián)系不緊密，并且深層特征圖很難在解碼的過程中恢復(fù)細節(jié)信息， U型網(wǎng)絡(luò)采用跳躍連接的方法將編碼器中淺層的細節(jié)信息放到解碼器中進行特征補充，但是粗糙的融合必然會導(dǎo)致許多細節(jié)信息的丟失，因此網(wǎng)絡(luò)的各個階段需要有較多的通道數(shù)以保證可以提取到更多的信息，這樣導(dǎo)致模型參數(shù)多，計算成本增加。文獻[11]提出了一種階段性特征復(fù)用結(jié)構(gòu)，將編碼器部分拆分成多個階段，前一階段的最終輸出特征圖放大后作為下一階段的輸入，每個階段特征提取的過程中融合前一階段的特征圖，該方法使得網(wǎng)絡(luò)聯(lián)系更加緊密，由于該結(jié)構(gòu)在各個階段中均有多個階段的特征圖對空間信息進行補充，相比于傳統(tǒng)結(jié)構(gòu)可以極大壓縮特征圖通道數(shù)，從而縮減參數(shù)量，然而DFANet相比于U型網(wǎng)絡(luò)在二分類任務(wù)中推理速度慢，并且對于連續(xù)下采樣造成的空間損失恢復(fù)能力較差[13]，U型網(wǎng)絡(luò)和階段性特征復(fù)用結(jié)構(gòu)如圖3所示。

本文結(jié)合文獻[11]提出的特征復(fù)用結(jié)構(gòu)和編碼解碼結(jié)構(gòu)提出了一種聚合多個階段特征的解碼器結(jié)構(gòu)，該策略在反復(fù)進行編碼和解碼操作過程中融合所有同尺度的特征圖，編碼器特征圖和解碼器特征圖融合后再一次進行編碼可增加感受野使得對大目標分割更全面，同時可以進一步學習到融合特征圖的相關(guān)性，使得融合更恰當。該策略既具有U型網(wǎng)絡(luò)恢復(fù)空間信息的能力，又具有特征復(fù)用結(jié)構(gòu)特征圖聯(lián)系緊密的特點，本文采用多特征融合解碼器結(jié)構(gòu)和輕量化ResNet-34搭建了MA-net如圖4所示。

在深度卷積神經(jīng)網(wǎng)絡(luò)中，往往淺層的特征圖尺寸較大，計算量受通道數(shù)影響也更加的敏感，因此本文第一個卷積層采用了16通道，編碼器參數(shù)和輸出通道數(shù)見表1，其中“/2”表示2倍下采樣，“×N”表示模塊個數(shù)，“(N1,N2)”分別表示卷積層輸入通道數(shù)和輸出通道數(shù)，同時借鑒了LinkNet[9]的解碼器結(jié)構(gòu)，將第一個卷積核輸出通道數(shù)縮減為輸入的1/4,并將此作為第二個卷積層的輸入，這樣每個解碼器塊的輸入和輸出通道不變的情況下參數(shù)量極大減少，解碼器結(jié)構(gòu)參數(shù)見表2，其中“*2”表示2倍上采樣。

表1 編碼器模塊參數(shù)

2.2 注意力機制

注意力機制可以使用深層的信息來指導(dǎo)前饋網(wǎng)絡(luò),并建立遠程依賴關(guān)系[14]，首先進行全局平均池化以保持最大的感受野，再通過對每個特征圖的通道分配可學習的權(quán)值，通過訓練可以使模型更加關(guān)注于分類的主要物體[15]。BiSeNet[10]、DFN[16]都引入了通道注意力機制，使得分割任務(wù)達到了世界先進水平，注意力機制在不斷發(fā)展中出現(xiàn)了多個版本，本文采用文獻[10]中提出的ARM模塊，如圖5所示。

表2 解碼器模塊參數(shù)

2.3 殘差多內(nèi)核池化

在MA-net網(wǎng)絡(luò)的末尾引入了在文獻[7]中提出的殘差多內(nèi)核池化(residual multi-kernel pooling，RMP)，它主要依靠多個有效的視野來檢測不同大小的對象[7]，該模塊使用4個不同大小的池化內(nèi)核收集上下文信息以豐富高級語義信息，然后通過雙線性插值獲得與原始特征圖相同大小的特征并通過1×1卷積將維度縮減為1，最后，將原始特征與上采樣的特征圖合并通道，該RMP結(jié)構(gòu)可以應(yīng)對圖像中對象尺寸的巨大變化。該模塊引入的參數(shù)較少，僅為388個參數(shù)，雖然會導(dǎo)致計算成本稍有增加，但是獲得的準確率提升更加重要。如圖6所示為RMP模塊。

2.4 FRN歸一化

本文使用濾波器響應(yīng)歸一化(filter response normalization，F(xiàn)RN)[17]取代(batch normalization，BN)，同時使用對應(yīng)的激活層閾值線性單元(thresholded linear unit，TLU)代替ReLU[18]，F(xiàn)RN可表示為

(1)

(2)

其中，x為一個N維度(H×W)的向量，可以看到其并沒有對batch的依賴。γ和β為可學習的參數(shù)，與BN層減去均值然后除以標準差的歸一化方法不同的是FRN減去二次范數(shù)的平均值。此方法可消除卷積和非線性激活帶來的尺度問題，有助于模型訓練。公式里的是一個很小的正常量，以防止除0。

為了解決ReLU激活產(chǎn)生0值的問題，同時在文獻[17]提出FRN之后采用的閾值化的ReLU，即TLU對訓練性能提升很重要。TLU表達式如下，其中τ是一個可學習參數(shù)

zi=max(yi,τ)=ReLU(yi-τ)+τ

(3)

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

實驗采用的評估指標為Dice系數(shù)，并且不對測試集進行任何的增強，例如多尺度或者多角度以使得預(yù)測結(jié)果質(zhì)量更高[11]。Dice系數(shù)是一種集合相似度度量函數(shù)，通常用于計算兩個樣本的相似度，值的范圍為0到1，分割最好時值為1，最差時為0，Dice表達式如式(4)所示，其中TP、FP和FN分別代表真陽性、假陽性和假陰性的數(shù)量

(4)

實驗操作系統(tǒng)是Arch，Pytorch深度學習框架，批處理(batch size)為8，Adam優(yōu)化器，采用Dice系數(shù)損失函數(shù)[19]，輸入圖像尺寸均為512×512。

3.2 通道數(shù)設(shè)置

編碼器輸出層通道數(shù)是網(wǎng)絡(luò)加速的主要限制之一，本次實驗采用ResNet-18為編碼器基準網(wǎng)絡(luò)在磁鐵礦顯微圖像數(shù)據(jù)集上對3組通道數(shù)組合進行實驗，見表3，可以看到隨著編碼器每個層輸出的通道數(shù)增多，計算量明顯增加，通道數(shù)策略2的分割精度比策略1有較大的提升，策略3相比于策略2分割精度近乎不變，我們認為分割任務(wù)不復(fù)雜，過多的參數(shù)只會產(chǎn)生冗余，并且網(wǎng)絡(luò)結(jié)構(gòu)限制了其提取語義信息的能力。

3.3 編碼器基準網(wǎng)絡(luò)選擇

為了進一步探索MA-net編碼器基準網(wǎng)絡(luò)深度對網(wǎng)絡(luò)性能的影響，并選擇合適的編碼器網(wǎng)絡(luò)，本實驗采用通道策略2，在磁鐵礦顯微圖像數(shù)據(jù)集上對比輕量化ResNet-18,ResNet-34的分割表現(xiàn)，為了驗證網(wǎng)絡(luò)深度和通道數(shù)同時增加對分割性能的影響，增加一組采用原始參數(shù)ResNet-34的對照實驗，用ResNet-34-B表示，表4展示了3種編碼器基準網(wǎng)絡(luò)的分割表現(xiàn)和運算量，可以發(fā)現(xiàn)網(wǎng)絡(luò)加深對模型分割性能有一定的提升，過深的網(wǎng)絡(luò)和過多的通道數(shù)作用不大，計算量反而急劇增加。之后實驗均采用輕量化ResNet-34，通道數(shù)策略2。

表3 MA-net通道數(shù)對比實驗

表4 MA-net基準網(wǎng)絡(luò)對比實驗

3.4 模型分析

本文在磁鐵礦顯微圖像數(shù)據(jù)集上進行了MA-net消融實驗，分析各模塊性能，其Dice系數(shù)、參數(shù)量、計算量見表5，可以看出注意力機制ARM對模型分割精度有一定的作用，采用殘差多內(nèi)核池化RMP對模型的精度提升較大，但是增加的運算量是最少的，引入FRN歸一化方法分割精度也稍有提升，同時計算量反而降低。

表5 MA-net在礦物分割數(shù)據(jù)集上的消融實驗

3.5 磁鐵礦顯微圖像分割效果

采用本文提出的MA-net和U-net，Ce-net在磁鐵礦顯微圖像數(shù)據(jù)集上進行對比實驗，實驗結(jié)果見表6,可以看到MA-net分割精度都超過其余兩個網(wǎng)絡(luò)，同時參數(shù)量和計算量是最小的。

表6 磁鐵礦顯微圖像數(shù)據(jù)集上模型對比實驗

圖7為分割效果對比圖，可以看到Ce-net在分割效果上遠低于MA-net，Ce-net分割圖像中容易被一些高光部分干擾，雖然整體輪廓分割效果較好，但是圖像內(nèi)部存在大量的孔洞，而MA-net很少出現(xiàn)此種情況，Ce-net雖然在編碼器末端加入了空洞卷積和多內(nèi)核池化增加了感受野，但是編碼器特征圖和解碼器特征圖采用了簡單相加的方式融合，在上采樣的過程中必然會發(fā)生損失信息和融合不當?shù)那闆r，MA-net所采用的多特征融合解碼策略能夠充分提取深層特征與淺層特征的信息，學習其相關(guān)性來處理分割結(jié)果中的大目標，極大克服了上采樣過程中信息損失和融合質(zhì)量差的問題，同時每次融合淺層的特征圖后均進行下采樣，擴大感受野有利于大目標的空間信息補充。

3.6 模型對比實驗

為了更公平分析模型性能，實驗另外增加兩個標準公開數(shù)據(jù)集對模型性能進行測試，分別是LUNA挑戰(zhàn)賽提供的肺部分割數(shù)據(jù)集，包含267個2D樣本，本文采用其中的80%用于訓練，20%用于測試；DRIVE數(shù)據(jù)集，分割任務(wù)是視網(wǎng)膜檢測，在DRIVE中包含40張圖片，分為20張用于訓練，20張用于測試。兩個數(shù)據(jù)集中LUNA數(shù)據(jù)集的分割目標較大。

我們將提出的MA-net和先進的算法在兩個數(shù)據(jù)集上進行比較，如表7所示在LUNA數(shù)據(jù)集上超越了其余兩者，而在DRIVE數(shù)據(jù)集下分割精度遠低于其余網(wǎng)絡(luò)，分析原因可能是MA-net網(wǎng)絡(luò)為了降低計算量第一次下采樣未參與跳躍連接，同時通道數(shù)極大縮減導(dǎo)致分割微小目標能力較差。

首先進行小目標的分割能力分析，如圖8所示為在DRIVE數(shù)據(jù)集下分割眼底血管對比結(jié)果，DRIVE數(shù)據(jù)集中圖像語義信息簡單，但是分割微小目標是難點，從圖中可以看出U-net分割微小目標的效果最好，Ce-net和MA-net可將比較大的目標分割出，MA-net忽略了絕大多數(shù)的微小目標，分析原因，在深度神經(jīng)網(wǎng)絡(luò)中，淺層特征圖細節(jié)信息多，深層特征圖全局信息較多，U型網(wǎng)絡(luò)在解碼過程中直接融合淺層的特征圖進行細節(jié)恢復(fù)，而MA-net在解碼的過程中對淺層的特征圖再次進行了一次下采樣，增加了大目標的權(quán)重，導(dǎo)致了對微小目標的檢測能力降低。

表7 不同數(shù)據(jù)集上模型對比實驗結(jié)果

接下來進行大目標分割能力分析，如圖9所示為在LUNA下MA-net和Ce-net的分割效果圖，可以看出MA-net分割效果更加接近于真實標簽，Ce-net分割圖像中存在一些孤立的像素點，而MA-net很少出現(xiàn)此種情況，相比于Ce-net，MA-net在融合淺層特征圖后進行了多次的卷積操作，特征表示能力更強，多個特征的融合效果更好，極大避免了孤立像素點的出現(xiàn)，從在LUNA數(shù)據(jù)集中的表現(xiàn)可以看出MA-net在分割較大目標時通道數(shù)減少導(dǎo)致的影響更小。

3.7 區(qū)域克隆數(shù)據(jù)增強方法對比實驗

對所提到的區(qū)域克隆數(shù)據(jù)增強方法進行對比實驗，采用的數(shù)據(jù)集分別是LUNA、DRIVE和礦物顯微圖像數(shù)據(jù)集，結(jié)果見表8，可以看出在LUNA數(shù)據(jù)集上區(qū)域克隆數(shù)據(jù)增強方法有明顯的負數(shù)作用，對于其余兩個數(shù)據(jù)集則有一定的效果。因為LUNA數(shù)據(jù)集圖像分割目標與周圍的信息具有較強的相關(guān)性，隨意的替換信息可能會導(dǎo)致圖片語義信息破壞，造成標簽和原圖語義信息不匹配，從而在訓練時給模型造成干擾。而DRIVE數(shù)據(jù)集和礦物顯微圖像主要是靠色彩分割，而且目標分布比較隨機，采用此方法可以豐富數(shù)據(jù)，優(yōu)化模型學習效果。

為了進一步分析該數(shù)據(jù)增強方法的效果，在DRIVE數(shù)據(jù)集上進行實驗，如圖10所示為采用該數(shù)據(jù)增強方法和未采用時在測試集上的分割效果對比，從曲線中可以看到采用該數(shù)據(jù)增強方法時Dice系數(shù)波動較小，并且最終獲得了較高的分割效果，分析原因，采用區(qū)域克隆數(shù)據(jù)增強方法將兩個圖片的信息組合，可以有效降低圖片之間的差異進而降低數(shù)據(jù)的方差，由于是隨機圖片，隨機位置進行組合，每次訓練輸入的圖片都不相同，模型很難在某一類圖片上過擬合，同時不同圖片之間的組合豐富了數(shù)據(jù)，因此該數(shù)據(jù)增強方法可以有效提升模型的訓練結(jié)果。

表8 區(qū)域克隆數(shù)據(jù)增強方法對比實驗

4 結(jié)束語

本文提出了一種多特征融合的解碼器結(jié)構(gòu)，并結(jié)合輕量化的ResNet-34搭建了MA-net網(wǎng)絡(luò)，在編碼器末尾添加殘差多內(nèi)核池化增強對多種尺寸目標的分割效果，增加通道注意力機制提高分割精度，采用FRN消除了訓練過程中網(wǎng)絡(luò)對batch的依賴，同時由于網(wǎng)絡(luò)相比于單一路徑的解碼器結(jié)構(gòu)增加了下采樣過程，在編碼和解碼的過程中聚合了多階段的特征信息，使得MA-net與其它幾種U型網(wǎng)絡(luò)比較，網(wǎng)絡(luò)特征圖之間聯(lián)系緊密，通道數(shù)極大縮減，減少參數(shù)的同時，分割精度也有保證。

通過在LUNA、DRIVE和磁鐵礦顯微圖像數(shù)據(jù)集上測試分析得出，MA-net在分割較大目標時表現(xiàn)突出，不擅長于對微小目標的分割，在小目標分割方面需要優(yōu)化和改進。將MA-net用于在磁鐵礦石中分割石英的任務(wù)，Dice系數(shù)達到了0.963。

為了使用少量訓練樣本數(shù)據(jù)而獲得較高的分割效果，本文采用隨機克隆數(shù)據(jù)集中另外一張圖片的部分區(qū)域到索引圖像的方法進行數(shù)據(jù)增強，經(jīng)過驗證分析，發(fā)現(xiàn)此方法可應(yīng)用于DRIVE和礦石顯微圖像等分割目標空間位置比較隨機的分割任務(wù)中，可有效降低過擬合并提高分割精度。