闞玉達(dá)

(中鐵十九局集團(tuán)礦業(yè)投資有限公司,北京 100161)

近年來(lái),采礦業(yè)與多學(xué)科技術(shù)逐步實(shí)現(xiàn)了深度交叉融合,為穩(wěn)步推進(jìn)礦山智能化建設(shè),實(shí)現(xiàn)露天礦爆破效果實(shí)時(shí)智能評(píng)價(jià),需自動(dòng)快速準(zhǔn)確地統(tǒng)計(jì)爆破大塊率[1-3]。傳統(tǒng)大塊率統(tǒng)計(jì)方法多依賴于現(xiàn)場(chǎng)目視解譯,統(tǒng)計(jì)效率和精確性較差?；诖?大量學(xué)者進(jìn)行了研究,提出了基于圖像分割算法的爆破大塊率統(tǒng)計(jì)方法[4],已在多個(gè)礦山得到了廣泛應(yīng)用。

圖像分割算法自動(dòng)化程度高、智能性強(qiáng),被廣泛應(yīng)用于醫(yī)學(xué)圖像處理[5-6]、衛(wèi)星遙感影像分割[7-8]、礦石圖像分割[9-11]等領(lǐng)域。傳統(tǒng)的圖像分割方法,如自適應(yīng)閾值算法[12]、K-均值聚類算法[13-14]等,針對(duì)爆堆礦石圖像,難以得到較好的分割效果。隨著深度學(xué)習(xí)的概念被提出并不斷應(yīng)用,在圖像分割領(lǐng)域取得更大的進(jìn)展,涌現(xiàn)出了如FCN[15]、SegNet[15]、Mask RCNN[16]等算法。在礦石圖像分割領(lǐng)域,深度學(xué)習(xí)算法取得較好的應(yīng)用效果。李鴻翔等[17]針對(duì)礦石目標(biāo)相互堆疊、表面不規(guī)則的問(wèn)題,研究了GAN-UNet 網(wǎng)絡(luò)架構(gòu),并將其用于分割礦石圖像,分割精度相較于傳統(tǒng)方法得到顯著提升; LI 等[18]針對(duì)礦石圖像形狀復(fù)雜、相互粘連的特點(diǎn),提出了一種基于深度學(xué)習(xí)的礦石圖像分割算法,利用整體嵌套邊緣檢測(cè)(Holistically-Nested Edge Detection,HED)算法提取礦石圖像中礦石目標(biāo)邊緣,進(jìn)一步細(xì)化目標(biāo)邊緣,該方法魯棒性強(qiáng),但是具有一定的噪聲敏感性,且針對(duì)中小礦石目標(biāo),難以取得較好的分割結(jié)果。為此,顧清華等[19]提出了一種基于改進(jìn)HED 算法的破碎礦石圖像分割方法,有效解決了HED 算法針對(duì)中小型礦石目標(biāo)提取精度較差的問(wèn)題,分割效果較好。

上述傳統(tǒng)方法雖然具有一定的效果,但智能性較差,尤其針對(duì)現(xiàn)場(chǎng)爆堆礦石圖像中存在的礦石目標(biāo)分布密集、邊緣對(duì)比度低等問(wèn)題,其分割精度難以滿足露天礦爆破大塊率精準(zhǔn)統(tǒng)計(jì)要求。上述深度學(xué)習(xí)方法具有智能性強(qiáng)、分割精度高等優(yōu)點(diǎn),但主要針對(duì)背景統(tǒng)一的礦石圖像,對(duì)于露天礦復(fù)雜環(huán)境下的爆堆礦石圖像適用性不強(qiáng)。因此,本研究提出一種基于UNet 和改進(jìn)分水嶺算法的露天礦爆堆礦石圖像分割方法解決上述問(wèn)題。該方法首先標(biāo)注爆堆礦石圖像,制作數(shù)據(jù)集;然后基于U-Net 網(wǎng)絡(luò)模型訓(xùn)練并預(yù)測(cè)爆堆礦石分割結(jié)果,進(jìn)一步采用基于距離運(yùn)算的分水嶺算法優(yōu)化分割結(jié)果;最后利用圖像交并比定量評(píng)價(jià)爆堆礦石圖像分割精度。

1 數(shù)據(jù)獲取及預(yù)處理

1.1 試驗(yàn)數(shù)據(jù)

本研究利用無(wú)人機(jī)(大疆精靈4 RTK)采集遼寧省鞍山市鞍千礦業(yè)啞巴嶺露天采場(chǎng)(東經(jīng)123°08'13″,北緯41°36'11″)的爆堆照片制作數(shù)據(jù)集,數(shù)據(jù)格式為jpg 格式,分辨率為6 000×4 000 像素,獲取的爆堆礦石圖像如圖1 所示。

圖1 無(wú)人機(jī)拍攝的爆堆礦石圖像Fig.1 Exploded ore images captured by UAV

1.2 數(shù)據(jù)預(yù)處理

首先利用labelme 圖像標(biāo)注工具手動(dòng)提取爆堆礦石圖像中的礦石目標(biāo),獲取的爆堆礦石圖像分割結(jié)果如圖2 所示。

圖2 爆堆礦石圖像分割結(jié)果Fig.2 Segmentation result of exploding ore image

由于原始爆堆礦石圖像尺寸較大,因此將原始爆堆礦石圖像與其對(duì)應(yīng)的分割結(jié)果進(jìn)行裁剪,裁剪尺寸為512×512 像素?？紤]到爆堆礦石圖像數(shù)量較少,因此利用圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)、圖像去噪、圖像加噪、亮度變化等算法增強(qiáng)爆堆礦石圖像數(shù)據(jù)集,在增強(qiáng)樣本多樣性的同時(shí),避免了出現(xiàn)模型過(guò)擬合現(xiàn)象。同時(shí)為了減少模型訓(xùn)練和預(yù)測(cè)時(shí)間,將爆堆礦石圖像進(jìn)行灰度化處理,最終得到的數(shù)據(jù)集中包含6 000 幅爆堆礦石圖像,部分結(jié)果如圖3 所示。

圖3 爆堆礦石圖像數(shù)據(jù)集(部分)Fig.3 Dataset of blast pile ore images (part)

2 研究方法

爆堆礦石圖像邊緣模糊,內(nèi)部語(yǔ)義信息相似,結(jié)合高級(jí)語(yǔ)義信息和低級(jí)語(yǔ)義信息后可有效描述圖片信息,而U-Net 網(wǎng)絡(luò)架構(gòu)可有效結(jié)合圖像高級(jí)語(yǔ)義信息和低級(jí)語(yǔ)義信息,因此本研究采用U-Net 網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練模型,并預(yù)測(cè)爆堆礦石圖像分割結(jié)果。由于爆堆礦石圖像中礦石目標(biāo)分布密集、相互堆疊,經(jīng)U-Net模型預(yù)測(cè)后的分割結(jié)果仍存在部分欠分割現(xiàn)象,而采用基于距離運(yùn)算的分水嶺算法優(yōu)化U-Net 模型的分割結(jié)果,可有效處理欠分割現(xiàn)象。根據(jù)上述分析,本研究提出了一種U-Net 和基于距離運(yùn)算的分水嶺算法相結(jié)合的爆堆礦石圖像分割方法,以提升爆堆礦石分割精度。該方法首先對(duì)無(wú)人機(jī)圖像進(jìn)行預(yù)處理,裁剪、標(biāo)注數(shù)據(jù)集,數(shù)據(jù)集增強(qiáng);然后基于爆堆礦石圖像數(shù)據(jù)集訓(xùn)練U-Net 網(wǎng)絡(luò),得到爆堆礦石圖像分割模型,再用該模型對(duì)爆堆礦石圖像進(jìn)行預(yù)測(cè),得到UNet 模型預(yù)測(cè)的分割結(jié)果;最后利用基于距離運(yùn)算的分水嶺算法優(yōu)化U-Net 模型預(yù)測(cè)的分割結(jié)果。

2.1 U-Net 網(wǎng)絡(luò)模型構(gòu)建與訓(xùn)練

在語(yǔ)義分割過(guò)程中,為了獲得性能更強(qiáng)的分割模型,需在充分保留高級(jí)語(yǔ)義信息的同時(shí),最大程度地利用低級(jí)語(yǔ)義信息訓(xùn)練模型。U-Net 網(wǎng)絡(luò)基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convultional Neural Network,FCN)進(jìn)行改進(jìn),在下采樣過(guò)程中不斷提取爆堆礦石圖像特征信息,并在上采樣的同時(shí)將對(duì)應(yīng)的特征進(jìn)行融合,可充分融合圖像的高級(jí)語(yǔ)義信息和低級(jí)語(yǔ)義信息進(jìn)行模型訓(xùn)練,U-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。有別于原始U-Net 網(wǎng)絡(luò),本研究U-Net 網(wǎng)絡(luò)架構(gòu)采用ELU 激活函數(shù)。

圖4 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 U-Net network structure

ELU 激活函數(shù)有效結(jié)合ReLu 激活函數(shù)和sigmoid 激活函數(shù),當(dāng)輸入為正值時(shí),可有效避免梯度下降現(xiàn)象,當(dāng)輸入為負(fù)值時(shí),相較于直接設(shè)置為0,可有效保持激活函數(shù)對(duì)負(fù)值的敏感響應(yīng)。輸入圖像為分辨率512×512 像素的單通道灰度圖。

由于卷積核為3×3,故而將輸入圖像經(jīng)過(guò)卷積運(yùn)算后分辨率在長(zhǎng)寬上表現(xiàn)為減小2,同時(shí)增加圖像深度,然后進(jìn)行下采樣,將圖像尺寸縮減為之前的1/2,經(jīng)4 次下采樣之后,再利用雙線性插值算法進(jìn)行上采樣,同時(shí)融合與之對(duì)應(yīng)的圖像。最后針對(duì)每一個(gè)像素利用softmax 函數(shù)進(jìn)行特征運(yùn)算,將運(yùn)算結(jié)果和真實(shí)標(biāo)簽利用損失函數(shù)進(jìn)行損失運(yùn)算得到損失值,進(jìn)一步糾正分割差異,預(yù)測(cè)結(jié)果精度越高,則損失值越小。由于爆堆礦石圖像分割屬于圖像二分類任務(wù),因此在U-Net網(wǎng)絡(luò)架構(gòu)中,本研究采用二分類交叉熵?fù)p失函數(shù)。二分類交叉熵?fù)p失函數(shù)可表示為

式中,y為真實(shí)數(shù)據(jù);yhat為預(yù)測(cè)結(jié)果;L為函數(shù)值。

建立U-Net 網(wǎng)絡(luò)模型后,將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集,其中訓(xùn)練集4 800 幅,驗(yàn)證集為1 200 幅,作為網(wǎng)絡(luò)模型輸入,由于服務(wù)器顯卡限制,設(shè)置批處理尺寸(batchsize)為2,即每次訓(xùn)練2 幅圖像,epoch設(shè)置為60,在訓(xùn)練過(guò)程中,Loss值多次不再下降時(shí),自動(dòng)停止模型訓(xùn)練,同時(shí)采用Adam 優(yōu)化器訓(xùn)練網(wǎng)絡(luò)模型。

2.2 基于距離運(yùn)算的分水嶺算法

基于距離運(yùn)算的方法常被用來(lái)改進(jìn)分水嶺算法。對(duì)于二值圖像,若兩個(gè)黑色斑點(diǎn)連在一起,則在地形表面只會(huì)形成一個(gè)最小值和匯水盆地。為了利用分水嶺對(duì)連通斑點(diǎn)進(jìn)行分割,對(duì)二值圖像進(jìn)行歐式距離運(yùn)算,將每個(gè)像素的位置信息轉(zhuǎn)換為灰度信息,然后利用分水嶺算法尋找邊界點(diǎn)來(lái)分離粘連的礦石目標(biāo)。

2.3 爆堆礦石圖像分割結(jié)果評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)模型性能和預(yù)測(cè)結(jié)果精度,計(jì)算預(yù)測(cè)圖像和真實(shí)圖像的混淆矩陣。引入損失(Loss)值、像素準(zhǔn)確率(accuracy)和F1值評(píng)價(jià)模型性能,同時(shí)引入圖像交并比運(yùn)算方式定量評(píng)價(jià)模型預(yù)測(cè)結(jié)果和優(yōu)化后結(jié)果精度。

(1)Loss值。Loss值是在網(wǎng)絡(luò)訓(xùn)練時(shí)根據(jù)ELU損失函數(shù)計(jì)算而來(lái),反映模型預(yù)測(cè)結(jié)果和真實(shí)結(jié)果之間的差異,通常損失值越小,模型訓(xùn)練效果越好。

(2)準(zhǔn)確率。即為分類模型預(yù)測(cè)結(jié)果中所有預(yù)測(cè)正確的像素點(diǎn)個(gè)數(shù)與模型預(yù)測(cè)出的礦石目標(biāo)像素點(diǎn)個(gè)數(shù)的比值,取值越大,表明其具有更高的泛化能力。

(3)F1值。F1值可同時(shí)評(píng)價(jià)精準(zhǔn)率和召回率,其取值范圍為[0,1],越接近于1,則模型性能越強(qiáng),效果越好。計(jì)算公式為

式中,R為所有正類別樣本中,被正確識(shí)別為正類別樣本的比例;P為被識(shí)別為正類別的樣本中,為正類別的比例。

(4)圖像交并比。圖像交并比(IOU)用礦石目標(biāo)的預(yù)測(cè)結(jié)果和真實(shí)值的交集和并集的比值來(lái)表示,交并比越大,表明數(shù)據(jù)越接近真實(shí)。公式為

式中,C為本研究方法分割結(jié)果;G為基于labelme 工具的標(biāo)準(zhǔn)分割結(jié)果。

3 結(jié)果分析

經(jīng)訓(xùn)練后,本研究U-Net 網(wǎng)絡(luò)模型訓(xùn)練時(shí)間為990.13 min,在第55 次epoch時(shí)損失值不再下降,停止訓(xùn)練。其Loss值為0.060 1,充分表明模型在訓(xùn)練過(guò)程中能更好地更新模型參數(shù),有效降低模型風(fēng)險(xiǎn)。模型像素準(zhǔn)確率為0.965 4,說(shuō)明該網(wǎng)絡(luò)模型具有較強(qiáng)的預(yù)測(cè)能力。模型F1值為0.952 5,表明該模型針對(duì)爆堆礦石圖像預(yù)測(cè)性能良好,模型可應(yīng)用于爆堆礦石圖像分割。將爆堆礦石圖像(圖5(a))作為模型輸入,經(jīng)預(yù)測(cè)后得到爆堆礦石圖像初步分割結(jié)果,如圖5(b)所示。

圖5 U-Net 網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果Fig.5 Prediction results of U-Net network model

由圖5 可知:分割結(jié)果中存在分割粘連現(xiàn)象,這是由于爆堆礦石圖像中礦石目標(biāo)分布密集、邊緣對(duì)比度低和相互堆疊所致?；诰嚯x運(yùn)算的分水嶺算法可有效消除圖像分割結(jié)果中的欠分割現(xiàn)象。因此,本研究采用基于距離運(yùn)算的分水嶺算法進(jìn)一步優(yōu)化UNet 網(wǎng)絡(luò)預(yù)測(cè)后的爆堆礦石圖像分割結(jié)果,同時(shí)利用形態(tài)學(xué)運(yùn)算優(yōu)化其結(jié)果,結(jié)果如圖6 所示。

圖6 基于距離運(yùn)算的分水嶺算法優(yōu)化結(jié)果Fig.6 Optimization results of watershed algorithm based on distance operation

通過(guò)對(duì)比分析圖5(b)和圖6 可知:優(yōu)化后的結(jié)果可有效解決U-Net 網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果中的欠分割現(xiàn)象,進(jìn)一步提升爆堆礦石圖像分割的準(zhǔn)確性。

為了定量評(píng)價(jià)本研究方法精度,利用labelme 手動(dòng)標(biāo)注工具標(biāo)注上述原始爆堆礦石圖像,獲取爆堆礦石圖像真實(shí)分割結(jié)果,并結(jié)合U-Net 網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果和基于距離運(yùn)算的分水嶺算法優(yōu)化結(jié)果,計(jì)算交并比。結(jié)果表明:U-Net 網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果交并比為90.75%,利用基于距離運(yùn)算的分水嶺算法優(yōu)化后結(jié)果的交并比為91.22%,表明利用基于距離運(yùn)算的分水嶺算法可有效提升U-Net 網(wǎng)絡(luò)預(yù)測(cè)精度,為露天礦爆破大塊率統(tǒng)計(jì)提供更可靠的依據(jù)。

4 結(jié) 語(yǔ)

大塊率準(zhǔn)確解算是智能評(píng)價(jià)爆破效果的重要前提,本研究依據(jù)現(xiàn)場(chǎng)爆破礦石圖片,提出了一種基于U-Net 和改進(jìn)分水嶺算法的露天礦爆堆礦石圖像分割方法,可精準(zhǔn)統(tǒng)計(jì)爆破大塊率。所得結(jié)論如下:

(1)本研究所構(gòu)建U-Net 網(wǎng)絡(luò)模型針對(duì)爆堆礦石圖像分割具有較強(qiáng)的預(yù)測(cè)能力,且性能良好,其Loss值、像素準(zhǔn)確度和F1值分別為0.060 1、0.965 4、0.952 5。

(2)基于距離運(yùn)算的分水嶺算法能夠有效處理U-Net 模型預(yù)測(cè)結(jié)果中的欠分割現(xiàn)象,有效提升爆堆礦石圖像分割精度。

(3)利用本研究方法可較為準(zhǔn)確地分割爆破礦石圖像,有助于高效解決礦石目標(biāo)分布密集、邊緣對(duì)比度低及欠分割等問(wèn)題,對(duì)于提高爆破效果評(píng)價(jià)的智能化水平大有裨益。