孫勁光 李 桃 董祥軍

①(遼寧工程技術(shù)大學(xué) 葫蘆島 125105)

②(遼寧礦山安全數(shù)據(jù)工程技術(shù)研究中心 葫蘆島 125105)

③(齊魯工業(yè)大學(xué)(山東省科學(xué)院)濟南 250353)

1 引言

皮帶運輸作為自動化采礦中的主運輸系統(tǒng)，其穩(wěn)定的工作性能和準(zhǔn)確的停機操作等至關(guān)重要。礦石過大將造成皮帶運輸機停機等事故；由于大小、形狀不一的礦石在皮帶機上的位置隨機，亮度變化明顯的點而非礦石的輪廓點；現(xiàn)有模型采用亮度變化明顯的點作為物體的輪廓點，在對大礦石進行輪廓劃分中，出現(xiàn)了大概率的錯劃現(xiàn)象，使得物體輪廓的繪制產(chǎn)生了較大的偏差。因此，準(zhǔn)確地將物體的輪廓在極小的偏差內(nèi)標(biāo)記出來，對加載至主運輸系統(tǒng)中的礦石粒度生成儀至關(guān)重要。

邊緣檢測的目的是標(biāo)識數(shù)字圖像中亮度變化明顯的點，目前采用全卷積網(wǎng)絡(luò)模型(Fully Convolutional Network,FCN)[1]進行顯著性區(qū)域檢測效果尤為突出；Liu等人[2]提出了一種改進的層次深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Hierarchical Saliency,DHS)模型；Li等人[3]提出了像素級全卷積深度對比度學(xué)習(xí)(Deep Contrast Learning,DCL)模型，充分發(fā)揮了FCN端到端的檢測模型具有輸入可為任意大小圖像的優(yōu)點。2015年，Xie等人[4]提出面向邊緣檢測任務(wù)的HED (Holistically-nested Edge Detection)模型，采用端到端的網(wǎng)絡(luò)結(jié)構(gòu)，邊緣提取效果提升顯著；2016年Zhao等人[5]提出PSPNet聚合不同區(qū)域的上下文信息，提高獲取全局信息的能力。2017年Badrinarayanan等人[6]提出了SegNet用于自動駕駛圖像語義分割后，進行邊緣檢測。2018年余春艷等人[7]提出的HED模型為基礎(chǔ)架構(gòu)，引入去卷積模塊與跳躍嵌套結(jié)構(gòu)(Deconvolution and Skip Nested layers,DSN)以融合不同層次特征圖，并添加全連接條件隨機場(Fully Connected Conditional Random Field,FC-CRF)優(yōu)化顯著性圖，實現(xiàn)了端到端的HED-DSN 模型。2019年張冬明等人[8]利用已有顯著圖特征，構(gòu)建深度融合模型，解決多顯著圖有效融合問題，來提升顯著性檢測的性能；Hou等人[9]集成了低級和高級功能顯著性檢測，提出編碼距離映射用于測量超像素之間的相似性；紀(jì)超等人[10]提出一種結(jié)合區(qū)域特征-全文信息的深度學(xué)習(xí)框架，用于顯著區(qū)域檢測計算的方法；Wu等人[11]提出FastFCN更進一步地帶動了語義分割的發(fā)展，為邊緣檢測提供了保證。2020年，郭輝等人[12]研究的車輛邊緣網(wǎng)絡(luò)中，基于多參數(shù)MDP模型的動態(tài)服務(wù)遷移策略，結(jié)合車輛及時延限制構(gòu)造候選服務(wù)器集合，提出了基于Bellman廣告表示的長期收益值進行遷移決策；范九倫等人[13]提出了一種利用倒數(shù)粗糙熵的基于均勻性直方圖粒子選取方式，對圖像進行粒化的方法；廖苗等人[14]對于超像素難以有效劃分圖像目標(biāo)邊界的問題，提出了利用局部信息進行多層級簡單線性迭代聚類的方法，有效地解決了圖像過分割和欠分割問題；Li等人[15]通過單波段圖像解碼“B,R,G”和進一步累積幀積累技術(shù)獲得高級別圖像灰度后，通過神經(jīng)網(wǎng)絡(luò)實現(xiàn)了3幅單波段圖像的信息融合，進而利用所建立的模型進行邊緣檢測。

2 本文方法

本文提出一種全局與局部屬性具有一致性的深度殘差全卷積網(wǎng)絡(luò)(Residual U-shaped fully convolutional network,ReUnet)作為物體輪廓劃分模型，如圖1所示。模型使用兩個附加網(wǎng)絡(luò)，即全局和局部上下文判別網(wǎng)絡(luò)，在訓(xùn)練過程中通過對抗式損失，約束物體輪廓劃分網(wǎng)絡(luò)的權(quán)重學(xué)習(xí)過程，使物體輪廓劃分網(wǎng)絡(luò)能夠真實地劃分圖像。該模型采用分階段的訓(xùn)練方法，在加速網(wǎng)絡(luò)擬合的同時進一步提高物體輪廓劃分的準(zhǔn)確度。

圖1 屬性一致的物體輪廓劃分模型框架

2.1 物體輪廓劃分網(wǎng)絡(luò)

物體輪廓劃分網(wǎng)絡(luò)以深度殘差網(wǎng)絡(luò)為基礎(chǔ)，按照編碼器-解碼器的形式構(gòu)建。網(wǎng)絡(luò)的輸入是RGB三通道原始圖像，網(wǎng)絡(luò)的輸出為RGB三通道圖像劃分結(jié)果。物體輪廓劃分網(wǎng)絡(luò)的結(jié)構(gòu)詳見表1。

表1 物體區(qū)域劃分網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)映射

引入殘差學(xué)習(xí)解決神經(jīng)網(wǎng)絡(luò)中因深度的增加而發(fā)生梯度消失或爆炸的情況，模型與輸入數(shù)據(jù)之間的映射為

其中，YM(xi)為映射函數(shù)，xi為輸入的數(shù)據(jù)或第i層特征，M為網(wǎng)絡(luò)層數(shù)，F(xiàn)為殘差函數(shù)，wm={wm,k|1≤k≤K}則為一組與第m個殘差單元相關(guān)的偏置項、K為每個殘差單元中的層數(shù)，σ為激活函數(shù)。

從式(1)可以看出，網(wǎng)絡(luò)中使用了殘差累加的線性計算，而不是非線性連乘連接，這樣的計算方法不僅避免了連乘計算的梯度求解問題，還會減少權(quán)重層的計算，使得網(wǎng)絡(luò)的權(quán)重層更容易優(yōu)化。

為了增加特征圖的通道數(shù)，引入線性映射保證捷徑連接(shortcut connections)的維度與特征圖輸入的維度相同，采用式(2)來調(diào)整xi的維度。

其中，W表示卷積操作。

物體輪廓劃分網(wǎng)絡(luò)中，采用式(3)的GN(Group Normalization)歸一化方法，解決訓(xùn)練的小樣本的問題。

其中，x為卷積層輸出的特征，xi為特征圖中的位置，i為特征圖的4個維度的坐標(biāo)i=(in,ih,iw,iC),N為批處理數(shù)，h,w,C分別為特征圖的高、寬、通道數(shù)，ε為常數(shù)，均值μi,σi為其均值和標(biāo)準(zhǔn)差，Si為計算均值和標(biāo)準(zhǔn)差的像素點集合。

2.1.2 殘差學(xué)習(xí)重塑卷積神經(jīng)網(wǎng)絡(luò)映射

對于像素級的輪廓邊緣特征提取時，為了恢復(fù)下采樣時丟失了的細節(jié)，本文提出了重塑上采樣卷積，用于實現(xiàn)放大特征圖尺寸的目的。

設(shè)下采樣得到分辨率為h×w，通道為C的特征圖，通過2C個1×1的卷積將其通道數(shù)增加2倍，經(jīng)過正則化操作和激活函數(shù)得到h×w×2C的特征圖。若將這個特征圖分為C/2個部分，對每一部分的特征圖進行重塑操作計算見式(4)

其中，PS(T)w,h,C為重塑后的特征圖，T為下采樣的特征圖，w,h,C分別為特征圖的寬、高和通道數(shù)，r為特征圖的采樣倍數(shù)。

經(jīng)過重塑上采樣卷積操作，實現(xiàn)特征圖分辨率擴大2倍、通道數(shù)縮小1/2的上采樣過程。

2.2 圖像判別網(wǎng)絡(luò)

為增強網(wǎng)絡(luò)對全局語義的理解以及對局部細節(jié)的把控，網(wǎng)絡(luò)結(jié)構(gòu)在采用擴張卷積與殘差跳躍連接的基礎(chǔ)上，運用對抗網(wǎng)絡(luò)的思想，通過上下文全局和局部判別網(wǎng)絡(luò)，對物體輪廓劃分網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)上進行優(yōu)化，以提高物體輪廓劃分效果，如圖1所示。

由圖1知，全局上下文判別網(wǎng)絡(luò)的輸入為縮放至256像素×256像素的整幅圖像，輸出為輸入圖像是真實圖像的概率。全局上下文判別網(wǎng)絡(luò)的作用是監(jiān)督物體輪廓區(qū)域劃分網(wǎng)絡(luò)能真實地將輪廓大小不同的礦石邊緣區(qū)域的劃分，確保所劃分的區(qū)域與全圖在屬性上保持上下文一致性。全局上下文判別網(wǎng)絡(luò)結(jié)構(gòu)詳見表2。

表2 全局上下文判別網(wǎng)絡(luò)結(jié)構(gòu)

為了實現(xiàn)屬性一致，在設(shè)計全局判別網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計了一個局部判別網(wǎng)絡(luò)用于雙路并行判別，見圖1。由于局部判別網(wǎng)絡(luò)的圖像尺寸為全局判別網(wǎng)絡(luò)的一半，所提取的特征相應(yīng)地減少，為提升判別效果和減少網(wǎng)絡(luò)訓(xùn)練時的計算消耗的角度考慮，加之卷積核與步長的影響，在局部判別網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計時移除了全局判別網(wǎng)絡(luò)的第1層。雖然局部上下文判別網(wǎng)絡(luò)在結(jié)構(gòu)上與全局上下文判別網(wǎng)絡(luò)基本一致，但由于該判別網(wǎng)絡(luò)的輸入是包含區(qū)域劃分錯誤的128像素×128像素范圍的圖像，當(dāng)圖像為真實圖像時，隨機選取全圖1/4大小的圖像塊作為輸入。局部上下文判別網(wǎng)絡(luò)的作用是增強圖像區(qū)域的細節(jié)表現(xiàn)，降低生成紋理的模糊程度。局部上下文判別網(wǎng)絡(luò)結(jié)構(gòu)詳見表3。

表3 局部上下文判別網(wǎng)絡(luò)結(jié)構(gòu)

對抗式損失用于提高物體輪廓劃分網(wǎng)絡(luò)的精度。全局和局部上下文網(wǎng)絡(luò)兩個子判別網(wǎng)絡(luò)各自輸出一個結(jié)果，根據(jù)子判別網(wǎng)絡(luò)的權(quán)重綜合計算得到最終的判別結(jié)果，這樣做既有助于判別網(wǎng)絡(luò)的擬合，又能夠提高判別網(wǎng)絡(luò)的精度，間接提高了物體輪廓劃分的精度。

2.3 損失函數(shù)

為使物體輪廓劃分網(wǎng)絡(luò)模型能準(zhǔn)確地對區(qū)域進行劃分，取得較高的準(zhǔn)確率，本文使用了多個損失函數(shù)進行屬性一致的物體輪廓劃分網(wǎng)絡(luò)的訓(xùn)練。

2.3.1 ReUnet損失

設(shè)圖像判別網(wǎng)絡(luò)用函數(shù)D(x,Mc)表示。為避免反向傳播訓(xùn)練不穩(wěn)定性的不利影響，采用洛瓦斯損失函數(shù)作為第1階段ReUnet網(wǎng)絡(luò)的最小損失函數(shù)，見式(5)。

2.3.2 對抗式損失

設(shè)圖像判別網(wǎng)絡(luò)用函數(shù)D(x,Md)表示。在網(wǎng)絡(luò)模型訓(xùn)練的第3階段，物體輪廓劃分網(wǎng)絡(luò)和圖像判別網(wǎng)絡(luò)串聯(lián)訓(xùn)練、聯(lián)合優(yōu)化，對于整個圖像Re-Unet模型，優(yōu)化函數(shù)可以定義為

其中，Md表示隨機區(qū)域，期望值為一個訓(xùn)練批次中圖像x的像素平均值。

結(jié)合圖像ReUnet損失和對抗式損失，得到最終的聯(lián)合優(yōu)化函數(shù)為

其中，λ1和λ2分別為物體輪廓劃分和對抗式損失的權(quán)重，經(jīng)多次實驗總結(jié)得到權(quán)重參考值為λ1=0.9,λ2=0.01。聯(lián)合優(yōu)化函數(shù)適用于訓(xùn)練的第3階段，即物體輪廓劃分網(wǎng)絡(luò)與圖像判別網(wǎng)絡(luò)聯(lián)合訓(xùn)練，此階段對物體輪廓劃分模型進行微調(diào)，提高物體輪廓劃分效果。

2.4 模型訓(xùn)練

為加速網(wǎng)絡(luò)模型擬合并提高物體輪廓劃分的準(zhǔn)確度，本文采用分階段訓(xùn)練的方式，交替訓(xùn)練物體輪廓劃分網(wǎng)絡(luò)和圖像判別網(wǎng)絡(luò)，具體訓(xùn)練步驟如下：

輸入：附加錯誤劃分區(qū)域的圖像X

輸出：正確劃分區(qū)域的圖像Y

步驟 1 從訓(xùn)練集中隨機抓取圖片并做縮放、隨機翻轉(zhuǎn)等預(yù)處理。

步驟 2 第1階段訓(xùn)練

(1)用隨機大小的錯誤劃分區(qū)域的圖像Mc輸入物體輪廓劃分網(wǎng)絡(luò)，進行圖像的區(qū)域劃分；

(2)根據(jù)輸入、輸出圖像，用式(5)計算ReUnet損失，并更新物體輪廓劃分的網(wǎng)絡(luò)參數(shù)。

步驟 3 第2階段訓(xùn)練

(1)用隨機大小錯誤劃分區(qū)域圖像Md輸入?yún)?shù)固定的物體輪廓劃分網(wǎng)絡(luò)進行圖像區(qū)域劃分；

(2)并采用二分類交叉熵損失(BCE_Loss)計算圖像判別損失，并更新圖像判別網(wǎng)絡(luò)參數(shù)。

步驟 4 第3階段訓(xùn)練。

(1)用隨機大小錯誤劃分區(qū)域圖像Md輸入?yún)?shù)固定的物體輪廓劃分網(wǎng)絡(luò)進行圖像區(qū)域劃分；

(2)將物體輪廓劃分網(wǎng)絡(luò)與物體輪廓劃分判別網(wǎng)絡(luò)聯(lián)合訓(xùn)練，用式(7)計算物體輪廓劃分損失，根據(jù)聯(lián)合損失對整體網(wǎng)絡(luò)模型進行微調(diào)。

3 實驗驗證

本文的實驗在Ubuntu18.04.2系統(tǒng)下的Pytorch 1.1.0進行訓(xùn)練和測試。硬件環(huán)境為Intel?CoreTMi7-8700K處理器(3.70 GHz)、32 GB內(nèi)存、NVIDIA GTX 1080Ti顯卡。物體輪廓劃分網(wǎng)絡(luò)模型進行一次完整的訓(xùn)練需要28 h左右，整個訓(xùn)練周期約為14 d。訓(xùn)練好的模型圖片輪廓劃分時間約為5 fps。

傳統(tǒng)輪廓劃分方法是以圖像物體邊緣特征提取、像素間變化為分割基準(zhǔn)，進行物體區(qū)域劃分，因此出現(xiàn)了將一個大礦石作為(劃分成)多個小礦石和將多個小礦石作為(劃分成)一個大礦石的現(xiàn)象。

為解決上述問題，確保大礦石劃分的準(zhǔn)確率，實驗制作了2300余樣物體輪廓樣本，并按樣本的長、寬、投影面積等進行了劃分。

為驗證ReUnet在物體輪廓劃分特別是礦石分析中的有效性，并應(yīng)用到礦石粒度檢測儀皮帶運輸機上，根據(jù)礦石輪廓劃分準(zhǔn)確標(biāo)準(zhǔn)，對礦石輪廓劃分進行了驗證；分別進行了大礦石劃分實驗、小礦石劃分實驗和整體劃分實驗；并在每類實驗中，與自動閾值劃分方法的結(jié)果進行了對比，實現(xiàn)了主觀效果和客觀指標(biāo)的橫向?qū)Ρ?，綜合評估了本文提出的模型。

3.1 實驗樣本的制作

由于礦石粒度采集的隨機性，無通用的礦石粒度采集樣本可用，因此，在實驗中自行自制樣本。在樣本制作中，由于所抓拍的圖像是將立體的礦石在2維圖像中展示出來，所以在標(biāo)注中，將具有一定高度的物體及在不同方向下光照所產(chǎn)生的陰影面，均作為物體的輪廓，一并標(biāo)注為物體所在區(qū)域；這樣，對于不規(guī)則形體礦石，避免了由于亮度不同所產(chǎn)生的像素顏色值的差異信息。

圖2給出了根據(jù)礦石的長度Length、寬度Width、面積Area劃分的大、較大、中、小、較小5個等級、不同顏色的標(biāo)注礦石。

圖2 不同等級的樣本制作圖

3.2 實驗結(jié)果與分析

圖3為實驗欲劃分的樣本原始圖；圖4為傳統(tǒng)方法劃分的物體輪廓標(biāo)注圖。

(1)大礦石輪廓劃分實驗。圖5為經(jīng)本文提出的物體輪廓劃分網(wǎng)絡(luò)ReUnet所標(biāo)注出的大礦石標(biāo)注區(qū)域圖。

從圖4(a)與圖5(a)可以看出，傳統(tǒng)方法將圖3(a)中右側(cè)的2個大礦石劃分為若干個小礦石；同樣圖4(b)—圖4(e)與圖5(b)—圖5(e)均存在將大礦石劃分為多個小礦石的情況。圖3(b)所示的區(qū)域A中，由于存在大量不成粒度的巖土和小顆粒覆蓋，傳統(tǒng)方法可將區(qū)域A錯誤地標(biāo)為若干個小粒度礦石，本文方法無法將此區(qū)域小顆粒下的大礦石標(biāo)注出來。

圖3 原圖片

圖4 傳統(tǒng)方法的礦石輪廓劃分圖

圖5 ReUnet大礦石輪廓劃分圖

通過對礦石粒度生成儀每天84個時間段，1個月的圖片進行分析后，得出表4中不同方法大礦石輪廓劃分的百分比。

表4 大礦石輪廓劃分準(zhǔn)確率

為確保大礦石在運輸中皮帶不出現(xiàn)卡、頓等現(xiàn)象，表4給出了大礦石輪廓劃分的準(zhǔn)確率。其中：傳統(tǒng)方法是采用了灰度的2維Otsu自動閾值分割方法得到的結(jié)果，ReUnet則為本文提出的物體輪廓劃分模型劃分的結(jié)果。

對ReUnet實驗結(jié)果進行說明：在1470張礦石圖片中含有大礦石2370個，2364個大礦石被準(zhǔn)確地分割了出來，故準(zhǔn)確率為99.75%，有5個非大礦石錯誤地劃分成了大礦石，另有3個大礦石沒有被準(zhǔn)確地分割出來，故誤判率0.21%。在大礦石區(qū)域劃分時，對所劃分出的區(qū)域面積占大礦石本身區(qū)域的90%以上，80%～90%,70%～80%和60%～70%的情況進行了統(tǒng)計，ReUnet在區(qū)域面積90%以上的大礦石為2301個，80%～90%的大礦石63個；而傳統(tǒng)的方法對大礦石所占60%區(qū)域進行了劃分后，周圍的區(qū)域劃分成了若干的小礦石。

由于ReUnet沒有對大礦石區(qū)域面積所占比例低于80%進行錯誤劃分的情況發(fā)生，說明該模型對具有一定高度的物體，均能夠忽略其在不同方向下光照所產(chǎn)生的陰影面，而是以物體的輪廓為基準(zhǔn)，一并標(biāo)注為大礦石區(qū)域，同時說明了全局和局部上下文判別網(wǎng)絡(luò)的有效性。

(2)小礦石輪廓劃分實驗。圖6顯示的是經(jīng)本文提出的物體輪廓劃分網(wǎng)絡(luò)ReUnet所標(biāo)注出的小礦石標(biāo)注區(qū)域圖。

圖4(a)與圖6(a)為小礦石傳統(tǒng)輪廓劃分與ReUnet輪廓劃分圖。從圖中可以看出，由于傳統(tǒng)方法將圖右側(cè)的2個大礦石劃分為若干個小礦石，這樣小礦石劃分的準(zhǔn)確率將降低；同樣圖4(b)—圖4(e)與圖6(b)—圖6(e)均存在將大礦石劃分為多個小礦石的情況，以圖3(d)中物體o為例，由于傳統(tǒng)方法僅將該物體上表面作為物體的輪廓，見圖4(d)，而未將厚度所占據(jù)的區(qū)域作為整體輪廓，這樣將會造成其輪廓誤差偏大，而ReUnet則最小地降低了該誤差，見圖6(d)。表5為小礦石輪廓劃分結(jié)果。

表5 小礦石輪廓劃分結(jié)果

圖6 小礦石輪廓劃分圖

ReUnet實驗結(jié)果說明：在1470張礦石圖片中共含有小礦石28812個，其中28518個小礦石被準(zhǔn)確地分割了出來，故準(zhǔn)確率為98.98%；294個非小礦石錯誤地劃分成了小礦石，故誤判率1.02%。

由于ReUnet對小礦石進行劃分時，極小礦石疊加誤識為小礦石的誤判率僅為1.02%，說明ReUnet模型對小礦石劃分時，也具備忽略其在不同方向下光照所產(chǎn)生的陰影面，而是以物體的輪廓為基準(zhǔn)，一并標(biāo)注為小礦石區(qū)域，再次驗證了全局和局部上下文判別網(wǎng)絡(luò)的有效性。

(3)整體輪廓劃分實驗。圖7顯示的是經(jīng)本文提出的物體輪廓劃分網(wǎng)絡(luò)ReUnet所標(biāo)注出的礦石標(biāo)注輪廓區(qū)域圖。

從圖4與圖7可以看出，除大、小礦石外，傳統(tǒng)方法在進行礦石區(qū)域劃分時，均存在以表面像素變化進行判別的情況；ReUnet模型也存在當(dāng)大面積區(qū)域出現(xiàn)時，而無法進行判別而錯判的情形，以圖3(e)中A區(qū)域為例，在圖7(e)，整體確認為較大礦石的情形。為減少當(dāng)極小礦石聚集和光線照射，出現(xiàn)由小集聚成大礦石的情況，應(yīng)注重樣本的采集及模型的訓(xùn)練，改善此類情況的發(fā)生。

圖7 礦石輪廓劃分圖

4 結(jié)束語

本文提出了一種基于屬性一致性、結(jié)合生成式對抗網(wǎng)絡(luò)思想的物體輪廓劃分模型，用于更好地解決皮帶運輸中礦石粒度生成儀進行礦石輪廓劃分方法。該模型從圖像全局語義理解、全局與局部屬性一致的角度出發(fā)，針對現(xiàn)有工作存在的問題，借鑒U-net網(wǎng)絡(luò)，提出一種新的物體輪廓劃分模型ReUnet，通過多方面的改進完善，使模型更加有效地對礦石進行輪廓劃分，特別是對大礦石的劃分具有極其優(yōu)良的效果。盡管深度學(xué)習(xí)具有強大的學(xué)習(xí)能力和表示能力，由于巖石的特性不一，礦石采集中所涉及場景隨機性較強，因此本文所提出方法可以根據(jù)不同巖層地帶條件的實際情況，對訓(xùn)練集的制作達到精良，并需要對網(wǎng)絡(luò)模型進行調(diào)整并進行遷移學(xué)習(xí)(transfer learning)、微調(diào)(fine-tune)等操作，在其訓(xùn)練難度與時間代價均在可接受的范圍內(nèi)，以便達到更好的效果。