李瑤， 冷思雨， 雷萌， 鄒亮

(中國礦業(yè)大學(xué) 信息與控制工程學(xué)院， 江蘇 徐州 221116)

0 引言

利用光學(xué)顯微鏡觀察煤的顯微組分和光學(xué)特征對于煤的工藝性能界定具有重要意義[1-3]。常規(guī)的顯微組分分析測定方法勞動強(qiáng)度大且結(jié)果受測量者經(jīng)驗(yàn)的影響，研究者嘗試使用圖像處理方法對煤巖顯微組分進(jìn)行分析。然而，在煤光片的磨片或使用過程中常伴隨煤巖劃痕的產(chǎn)生，影響煤巖參數(shù)測定的準(zhǔn)確性[4]。利用計(jì)算機(jī)視覺方法檢測和去除煤巖顯微圖像中的煤巖劃痕可有效提高煤光片利用率，是實(shí)現(xiàn)煤巖參數(shù)自動化測定不可缺少的圖像預(yù)處理環(huán)節(jié)。

鑒于煤巖劃痕多為直線，一些學(xué)者提出采用直線檢測算法對其進(jìn)行檢測，并生成掩膜圖像，然后基于圖像修復(fù)算法去除圖像中的煤巖劃痕。例如，文獻(xiàn)[5]利用霍夫變換算法定位煤巖劃痕位置并生成相應(yīng)的掩膜圖像，在基于快速行進(jìn)的圖像修復(fù)算法中添加灰度距離因子,實(shí)現(xiàn)了對煤巖劃痕的有效去除。文獻(xiàn)[6]先對煤巖顯微圖像進(jìn)行圖像增強(qiáng)，提高霍夫變換算法在煤巖劃痕檢測時(shí)的準(zhǔn)確性，之后采用基于紋理合成的圖像修復(fù)算法對煤巖劃痕進(jìn)行去除。然而，霍夫變換算法難以準(zhǔn)確提取煤巖劃痕的空間形狀特征，邊緣信息不能得到有效細(xì)化，檢測過程容易出現(xiàn)煤巖劃痕漏檢和誤檢的情況；基于快速行進(jìn)和紋理合成的圖像修復(fù)算法對煤巖劃痕的去除效果不夠理想，煤巖劃痕去除區(qū)域與周圍區(qū)域存在較大的紋理差異，圖像在視覺上出現(xiàn)明顯的不合理現(xiàn)象。

隨著人工智能技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割算法被越來越多地應(yīng)用于煤巖顯微圖像研究中。文獻(xiàn)[7]在U-Net的基礎(chǔ)上提出了一種融合并行多尺度特征的卷積神經(jīng)網(wǎng)絡(luò)，其中特征融合層負(fù)責(zé)淺層高分辨率特征和深層抽象特征的加權(quán)融合，該網(wǎng)絡(luò)能自動提取圖像中的裂隙特征，并對煤巖裂隙進(jìn)行準(zhǔn)確分割。文獻(xiàn)[8]將具有空間維度注意力的模塊嵌入到U-Net中，實(shí)現(xiàn)了對煤巖顯微圖像中顯著性特征的關(guān)注，并抑制了無關(guān)背景區(qū)域的關(guān)注權(quán)重，控制參數(shù)量的同時(shí)提高了基礎(chǔ)網(wǎng)絡(luò)模型的性能。在上述研究基礎(chǔ)上，本文提出了基于語義分割的煤巖劃痕檢測方法。在空間注意力模型的基礎(chǔ)上引入殘差結(jié)構(gòu)[9]，并將其嵌入到卷積神經(jīng)網(wǎng)絡(luò)U-Net中，通過深度學(xué)習(xí)訓(xùn)練有效提取和細(xì)化煤巖劃痕的空間特征和邊緣信息，使輸出結(jié)果更加接近真實(shí)的煤巖劃痕標(biāo)簽。

借助圖像修復(fù)算法可實(shí)現(xiàn)煤巖劃痕區(qū)域的圖像重構(gòu)。文獻(xiàn)[10]提出了基于區(qū)域匹配的圖像修復(fù)算法，主要思想是在整張圖像或圖像集中快速尋找對應(yīng)于待修復(fù)區(qū)域的最優(yōu)相似補(bǔ)丁作為填充塊，該算法能夠通過隨機(jī)采樣找到一些較好的區(qū)域匹配，根據(jù)圖像的自然一致性將這種匹配快速傳播到周圍區(qū)域。在文獻(xiàn)[10]基礎(chǔ)上，文獻(xiàn)[11]對最近鄰查找數(shù)量、毗連區(qū)域搜索策略、描述符和距離度量等進(jìn)行改進(jìn)，以減少算法的計(jì)算復(fù)雜度，從而有效找到全局的、稠密的匹配，同時(shí)增加圖像缺失區(qū)域匹配與合成的多尺度信息，對于修復(fù)結(jié)構(gòu)與紋理平滑的自然圖像有較好的效果。借鑒上述研究，本文采用基于改進(jìn)區(qū)域匹配的圖像修復(fù)算法去除煤巖劃痕，能夠改善煤巖劃痕去除區(qū)域的紋理內(nèi)容，使煤巖顯微圖像在整體上更具視覺合理性。

1 基于語義分割的煤巖劃痕檢測方法

1.1 U-Net

U-Net的底層信息是由網(wǎng)絡(luò)經(jīng)過多次下采樣后得到的低分辨率特征，可為語義分割提供前景目標(biāo)在整個(gè)圖像背景中的上下文語義信息，反映了前景目標(biāo)與其周圍環(huán)境之間的特征關(guān)系。高層信息是由網(wǎng)絡(luò)經(jīng)過跨越連接操作從編碼器直接傳遞到同尺度的解碼器上的高分辨率特征，可為語義分割提供更加精細(xì)化的信息。U-Net具有對稱的編解碼結(jié)構(gòu)，不僅能夠結(jié)合底層與高層的語義信息，同時(shí)跨越連接能夠使網(wǎng)絡(luò)充分地利用圖像中的信息。然而，基礎(chǔ)U-Net對于不相關(guān)區(qū)域中的特征激活難以自適應(yīng)地進(jìn)行抑制，容易造成模型參數(shù)冗余[12]。

1.2 改進(jìn)空間注意力U-Net

空間注意力模型能夠自主地抑制圖像特征中不相關(guān)區(qū)域，突出顯示對特定任務(wù)有益的顯著特征，同時(shí)具有很強(qiáng)的通用性，能夠和主流的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)較好的融合。因此，采用空間注意力模型來擴(kuò)展基礎(chǔ)U-Net，能夠有效增強(qiáng)對前景目標(biāo)的靈敏度，進(jìn)而提高煤巖劃痕檢測的準(zhǔn)確度[13-15]。

煤巖劃痕在圖像中具有較明顯的分布規(guī)律，語義特征明確，但容易受背景紋理信息的干擾。為進(jìn)一步提高網(wǎng)絡(luò)性能，將殘差結(jié)構(gòu)與空間注意力模型結(jié)合，通過殘差連接在高層特征中補(bǔ)充煤巖顯微圖像的語義信息，穩(wěn)定梯度傳播過程。改進(jìn)空間注意力模型如圖1所示。

圖1 改進(jìn)空間注意力模型Fig.1 Improved spatial attention model

(1)

αi=σ2(qatt(zi,gi;Θatt))

(2)

(3)

將改進(jìn)空間注意力模型嵌入到U-Net中，同時(shí)為減少網(wǎng)絡(luò)的參數(shù)量，使用VGG卷積層替換基礎(chǔ)U-Net中的編碼器，改進(jìn)空間注意力U-Net通過常規(guī)的全卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方式從頭開始訓(xùn)練。改進(jìn)空間注意力U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。C1—C5，H1—H5，W1—W5分別為網(wǎng)絡(luò)第1—5層輸出特征圖的通道數(shù)、高度、寬度；Nc為網(wǎng)絡(luò)輸出圖像中所包含分類的類別。網(wǎng)絡(luò)訓(xùn)練時(shí)，將煤巖顯微圖像作為改進(jìn)空間注意力U-Net的輸入(通道數(shù)為3)，經(jīng)過網(wǎng)絡(luò)降采樣與上采樣操作，輸出煤巖劃痕語義分割結(jié)果(通道數(shù)為1)。其中，網(wǎng)絡(luò)的降采樣采用最大池化，上采樣采用雙線性插值法。

圖2 改進(jìn)空間注意力U-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of improved spatial attention U-Net

2 基于改進(jìn)區(qū)域匹配圖像修復(fù)算法的煤巖劃痕去除方法

基于區(qū)域匹配的圖像修復(fù)算法可在圖像塊之間快速查找最近鄰對應(yīng)關(guān)系，圖像修復(fù)過程主要包括初始化和迭代。初始化是隨機(jī)的，迭代過程由傳播和隨機(jī)搜索交替進(jìn)行，傳播過程收斂較快，但容易陷入局部最小值，隨機(jī)搜索通過檢查每個(gè)點(diǎn)與其周圍點(diǎn)的相似度來更新該點(diǎn)的匹配，從而消除該問題。

該算法定義了圖像A與最近鄰場之間的偏移量映射函數(shù)f：A→R2。設(shè)圖像中某點(diǎn)(x，y)相對于最近鄰場的偏移量初始化和傳播后為f(x,y)=v0(v0為(x,y)的匹配點(diǎn))，隨機(jī)搜索階段通過測試從v0到一個(gè)指數(shù)遞減距離的候選偏移量序列來改善初始化的偏移量，候選偏移量序列為

uj=v0+wλjRj

(4)

式中：w為最大搜索半徑；λj為搜索窗口大小之間比例的指數(shù)增量(j∈N)；Rj為單位二維空間中的均勻隨機(jī)變量。

為進(jìn)一步提高圖像修復(fù)質(zhì)量，基于改進(jìn)區(qū)域匹配的圖像修復(fù)算法對圖像中每個(gè)待修復(fù)區(qū)域查找k個(gè)最近鄰圖像塊，因此最終提供的最近鄰圖像塊是一個(gè)多值映射結(jié)果。隨機(jī)搜索由單一的搜索策略轉(zhuǎn)變?yōu)榭绯叨燃靶D(zhuǎn)角度的搜索策略，將原有的搜索空間從(x，y)擴(kuò)展到(x，y，θ，s)，其中θ代表角度，s代表尺度，這樣就將最近鄰場的定義擴(kuò)展到映射函數(shù)f：R2→R4。在傳播階段，通過雅可比矩陣來變換相對偏移量。區(qū)域匹配時(shí)，計(jì)算2個(gè)區(qū)域間的相似性則采用歐氏距離作為距離度量方式，該距離對亮度變化具有魯棒性。

(5)

式中Δp為(0,1)內(nèi)的取值。

3 煤巖劃痕檢測與去除實(shí)驗(yàn)

煤巖顯微圖像采集自130個(gè)煤光片樣本，圖像分辨率為2 580×1 944，位深度為24。由于原始圖像具有較高的分辨率，且圖像的部分區(qū)域?qū)儆诿簬r基質(zhì)或沒有煤巖劃痕的完整部分，所以需要對原始圖像進(jìn)行剪裁，從而提取感興趣區(qū)域，最終得到180張含有煤巖劃痕的圖像。為得到準(zhǔn)確的煤巖劃痕標(biāo)簽圖像，邀請了有豐富經(jīng)驗(yàn)的煤巖學(xué)研究者對含有煤巖劃痕的圖像進(jìn)行專業(yè)的人工標(biāo)注，并將煤巖顯微圖像數(shù)據(jù)集劃分為訓(xùn)練集(150張)、驗(yàn)證集(20張)和測試集(10張)。在訓(xùn)練過程中，使用數(shù)據(jù)增廣技術(shù)對訓(xùn)練集圖像實(shí)施一系列隨機(jī)改變(包括翻轉(zhuǎn)變換、隨機(jī)修剪、色彩抖動、平移變換、尺度變換和對比度變換等)，從而擴(kuò)充圖像數(shù)據(jù)集規(guī)模。

在搭載NVIDA GTX1080的計(jì)算機(jī)上進(jìn)行實(shí)驗(yàn)，基于PyTorch深度學(xué)習(xí)框架搭建網(wǎng)絡(luò)，利用CUDA實(shí)現(xiàn)張量加速運(yùn)算。設(shè)置輸入圖像的分辨率為256×256，批量大小為2，采用Adam優(yōu)化器和基于余弦退火的學(xué)習(xí)率更新策略。

3.1 煤巖劃痕檢測結(jié)果

采用霍夫變換算法、基礎(chǔ)U-Net和改進(jìn)空間注意力U-Net對煤巖劃痕進(jìn)行檢測，結(jié)果如圖3所示(綠色矩形框?yàn)橥鶊D像內(nèi)紅色矩形框的放大內(nèi)容)。

圖3 煤巖劃痕檢測結(jié)果Fig.3 Coal scratch detection results

從圖3(a)可看出，煤巖劃痕呈較規(guī)則的直線形狀，內(nèi)部灰度存在明顯變化，所在區(qū)域也有結(jié)構(gòu)上的差異，如1號標(biāo)注區(qū)域相比其他部分灰度等級更低，2號標(biāo)注區(qū)域出現(xiàn)了煤巖孔洞，3號標(biāo)注區(qū)域煤巖劃痕與煤巖基質(zhì)相連。從圖3(c)可看出，霍夫變換算法漏檢了1號灰度較小區(qū)域，誤檢了2號孔洞區(qū)域，對于3號區(qū)域也存在漏檢情況，檢測結(jié)果無法準(zhǔn)確描繪煤巖劃痕的邊緣特征，易造成后期去除過程中信息缺失。從圖3(d)可看出，基礎(chǔ)U-Net對于煤巖劃痕內(nèi)部不同的灰度等級能夠提供自適應(yīng)的分割結(jié)果，掩膜圖像的煤巖劃痕邊緣具有較多的細(xì)節(jié)信息，但對于2號和3號標(biāo)注區(qū)域分割的魯棒性較差，其中3號標(biāo)注區(qū)域的分割結(jié)果受到煤巖基質(zhì)的干擾。從圖3(e)可看出，改進(jìn)空間注意力U-Net檢測結(jié)果不僅準(zhǔn)確反映了煤巖劃痕的邊緣細(xì)節(jié)，而且對于2號和3號標(biāo)注區(qū)域具有較好的空間特征解析性能，更接近煤巖劃痕標(biāo)簽圖像原本的空間特征。

針對圖3所示的煤巖劃痕，采用客觀評價(jià)指標(biāo)——像素準(zhǔn)確度及平均交并比對不同方法的檢測結(jié)果進(jìn)行評價(jià)，結(jié)果見表1?？煽闯稣Z義分割算法在像素準(zhǔn)確度及平均交并比上相較于霍夫變換算法均得到明顯提高，其中改進(jìn)空間注意力U-Net檢測性能最優(yōu)。

表1 不同煤巖劃痕檢測方法評價(jià)指標(biāo)Table 1 Evaluation indexes of different coal scratch detection methods %

3.2 煤巖劃痕去除結(jié)果

將基于改進(jìn)空間注意力U-Net得到的煤巖劃痕掩膜圖像與煤巖劃痕原始圖像進(jìn)行拼接，煤巖劃痕區(qū)域的灰度等級全部變?yōu)?55。采用基于快速行進(jìn)的圖像修復(fù)算法、基于區(qū)域匹配的圖像修復(fù)算法和基于改進(jìn)區(qū)域匹配的圖像修復(fù)算法分別對煤巖劃痕進(jìn)行去除，結(jié)果如圖4所示。

圖4 煤巖劃痕去除結(jié)果Fig.4 Coal scratch removal results

從圖4(c)可看出，基于快速行進(jìn)的圖像修復(fù)算法去除結(jié)果中存在一些偽影現(xiàn)象，煤巖劃痕去除區(qū)域和周圍區(qū)域在紋理上存在較大差異。從圖4(d)、圖4(e)可看出，基于區(qū)域匹配和改進(jìn)區(qū)域匹配的圖像修復(fù)算法均能夠使煤巖劃痕去除區(qū)域的灰度平滑過渡，符合圖像的局部特征，而基于改進(jìn)區(qū)域匹配的圖像修復(fù)算法能夠使煤巖劃痕去除后產(chǎn)生符合圖像整體紋理特征的內(nèi)容，使圖像的視覺效果更加合理。

4 結(jié)論

(1) 針對基于霍夫變換算法的煤巖劃痕檢測存在邊緣信息缺失和漏檢、誤檢等問題，提出了基于語義分割的煤巖劃痕檢測方法。該方法引入殘差結(jié)構(gòu)改進(jìn)空間注意力模型，將改進(jìn)空間注意力模型嵌入到U-Net中，并將VGG卷積層作為U-Net的圖像特征編碼器，可有效提取和細(xì)化煤巖劃痕的空間特征和邊緣信息，提供更加符合客觀事實(shí)的煤巖劃痕檢測結(jié)果。

(2) 針對采用基于快速行進(jìn)的圖像修復(fù)算法去除煤巖劃痕時(shí)存在紋理差異的問題，采用基于改進(jìn)區(qū)域匹配的圖像修復(fù)算法對煤巖劃痕進(jìn)行去除。通過改變最近鄰圖像塊查找數(shù)量、隨機(jī)搜索空間維度和圖像塊偏移距離度量等參數(shù)，能夠有效改善煤巖劃痕去除過程產(chǎn)生的偽影現(xiàn)象，使煤巖劃痕去除區(qū)域與周圍區(qū)域的紋理特征更具有一致性，提升了煤巖顯微圖像整體視覺效果。