嚴(yán)良平，潘月梁，姜雄彪，陸秋雨，徐暢

1. 新疆阜康抽水蓄能有限公司，新疆 烏魯木齊 830032

2. 浙江寧海抽水蓄能有限公司，浙江 寧波 315612

3. 河海大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 常州 213022

堆石料開采過程中常采取爆破直采的方法[1]。堆石壩的填筑材料需要具有良好的級(jí)配，以保證壩體的穩(wěn)定性[2]。同時(shí)堆石料的級(jí)配性狀直接影響到石壩的力學(xué)特性和抗?jié)B性能[3-4]。因此需要對(duì)堆石料進(jìn)行準(zhǔn)確的測量，將石料的粒徑控制在一定的范圍內(nèi)。傳統(tǒng)的巖石顆粒篩分以人工的方式進(jìn)行，通過肉眼估計(jì)或手工測量的方法，需要花費(fèi)大量的人力和時(shí)間成本，效率低下且精確度不夠。相較于傳統(tǒng)的人工篩分法，圖像分割技術(shù)具有簡單、快速、花費(fèi)小的優(yōu)點(diǎn)，能夠?qū)崿F(xiàn)更智能化的堆石料巖石顆粒參數(shù)測量和分析[5]。

通過圖像處理技術(shù)，對(duì)巖石顆粒圖像進(jìn)行分割后獲取巖石顆粒的形狀等信息，能夠測算堆石料的級(jí)配數(shù)據(jù)。在巖石圖像分割方面，目前有很多學(xué)者進(jìn)行了大量的研究。文獻(xiàn)[5]提出一種基于Mask R-CNN 和分水嶺算法的巖石顆粒圖像分割方法，能避免圖像過分割和欠分割的問題，但網(wǎng)絡(luò)訓(xùn)練過程耗時(shí)較長；文獻(xiàn)[6]通過分類器學(xué)習(xí)圖像的特征，利用圖像特征對(duì)像素進(jìn)行分類后實(shí)現(xiàn)分割，但方法對(duì)巖石顆粒圖像的分割精度低；文獻(xiàn)[7]提取圖像感興趣的區(qū)域后進(jìn)行統(tǒng)計(jì)區(qū)域合并（statistical region merging，SRM）圖像分割，對(duì)小面積區(qū)域進(jìn)行合并處理得到最終的分割結(jié)果。但該方法無法準(zhǔn)確分割復(fù)雜的巖石顆粒圖像，效果較差；文獻(xiàn)[8]利用改進(jìn)的圖論歸一化割算法來分割礦巖顆粒圖像，分割精度低；文獻(xiàn)[9]結(jié)合深度信息和圖像區(qū)域特征聚類的算法進(jìn)行顯著性目標(biāo)檢測，分割效果較好。

傳統(tǒng)的分割算法大多只使用到了顏色、灰度等特征信息，同時(shí)算法應(yīng)用的待分割圖像中目標(biāo)數(shù)較少，目標(biāo)與背景區(qū)分明顯，分割任務(wù)較為簡單。當(dāng)面對(duì)目標(biāo)數(shù)多、形狀不規(guī)則、顏色相近的巖石圖像分割任務(wù)時(shí)，通常難以實(shí)現(xiàn)準(zhǔn)確的分割，存在一定的局限性[10-12]。隨著深度傳感器技術(shù)的發(fā)展，有效利用深度信息這一重要的視覺信息成為了可能，并為圖像分割提供了新的解決方案，有效提高了分割的精確度[13-17]。針對(duì)巖石圖像難以精確分割的問題，本文提出了一種深度圖像引導(dǎo)的巖石顆粒分割方法，有效利用了深度圖像所提供的三維距離信息輔助分割[8,16,18]。協(xié)同利用可見光圖像和深度圖像的信息冗余性和互補(bǔ)性，大幅提高了巖石顆粒圖像分割的準(zhǔn)確性[19-22]。首先對(duì)深度圖像進(jìn)行預(yù)處理，去除深度圖像中的噪聲；然后通過神經(jīng)網(wǎng)絡(luò)提取深度圖像和可見光圖像中的隨機(jī)特征和顯著性特征，并對(duì)隨機(jī)特征進(jìn)行多次采樣得到多組不同的隨機(jī)特征；最后結(jié)合顯著性特征和多組不同的隨機(jī)特征，得到多個(gè)圖像分割預(yù)測結(jié)果圖像，并選擇最優(yōu)的分割結(jié)果。實(shí)驗(yàn)結(jié)果證明，該算法在分割目標(biāo)數(shù)目多、邊界模糊的復(fù)雜場景下能實(shí)現(xiàn)準(zhǔn)確的分割。對(duì)精確分割堆石壩石料，保障堆石壩填筑材料的良好級(jí)配，提高壩體穩(wěn)定性有著極大的應(yīng)用價(jià)值。

1 圖像分割算法

1.1 算法流程

如圖1 所示，本文提出的深度圖像引導(dǎo)的巖石顆粒分割方法的流程如下：

圖1 本文方法思路框圖

1）通過深度圖校正網(wǎng)絡(luò)優(yōu)化深度圖像，去除原始深度圖像D中的噪聲；

2）通過先驗(yàn)網(wǎng)絡(luò)對(duì)深度圖像D與可見光圖像I進(jìn)行卷積操作，將RGBD 圖像對(duì)映射至低維的特征空間，提取圖像中的隨機(jī)特征Ss；

3）通過顯著性網(wǎng)絡(luò)提取優(yōu)化后的深度圖像和可見光圖像I的顯著性特征Sd；

4）對(duì)隨機(jī)特征進(jìn)行多次采樣，并結(jié)合顯著性特征，得到多個(gè)圖像分割預(yù)測結(jié)果；

5）通過顯著性共識(shí)網(wǎng)絡(luò)，根據(jù)每個(gè)預(yù)測結(jié)果給出各個(gè)位置的像素值，投票選出對(duì)應(yīng)位置的像素值，得到最終的圖像分割結(jié)果。

1.2 特征提取

1.2.1 深度圖像校正

深度圖像的獲取主要采用深度傳感器或雙目立體相機(jī)計(jì)算深度的方式。不論是深度傳感器獲取得到的深度，還是雙目立體相機(jī)計(jì)算得到的深度圖像，深度圖像中都會(huì)存在一定的噪聲[23]。同時(shí)，由于遮擋、光照等原因，深度圖像中存在由無效點(diǎn)構(gòu)成的缺失區(qū)域。深度圖像的灰度值變化反映了場景中距離信息的變化，可以近似地認(rèn)為深度圖像的邊緣與可見光圖像的邊緣具有一致性。因此，可以利用可見光圖像的邊緣信息對(duì)深度圖像進(jìn)行校正處理。通過基于語義引導(dǎo)的深度圖校正網(wǎng)絡(luò)[24]，得到處理后的深度圖像D'。

深度圖校正網(wǎng)絡(luò)的編碼部分采用VGG16 網(wǎng)絡(luò)[24]前五級(jí)作為輸入圖像的編碼器，并刪去了網(wǎng)絡(luò)第5 個(gè)池化層之后的全連接層。 S1 ～S5分別表示為VGG16 網(wǎng)絡(luò)刪去第5 個(gè)池化層后的全連接層之后，剩余網(wǎng)絡(luò)部分的5 組卷積層和池化層。解碼部分由4 個(gè)連續(xù)卷積層和雙線性上采樣操作組成。

網(wǎng)絡(luò)通過邊界IOU 損失函數(shù)進(jìn)行正則化處理，網(wǎng)絡(luò)損失函數(shù)定義為

圖2 顯著性特征提取網(wǎng)絡(luò)結(jié)構(gòu)

1.2.3 隨機(jī)特征提取

圖3 PriorNet 網(wǎng)絡(luò)結(jié)構(gòu)

同時(shí)，通過對(duì)隨機(jī)特征Ss進(jìn)行多次采樣得到多組不同的隨機(jī)特征，以此在預(yù)測網(wǎng)絡(luò)部分產(chǎn)生多組不同的分割預(yù)測結(jié)果。

1.3 巖石圖像分割

圖4 顯著性共識(shí)示意

2 實(shí)驗(yàn)結(jié)果及分析

針對(duì)實(shí)際場景下堆石料巖石顆粒圖像具有不同的巖塊類型情況，本文使用ZED2 雙目相機(jī)拍攝了多種類型的巖石顆粒圖像，并制作數(shù)據(jù)集。其中，數(shù)據(jù)集共包含巖石顆粒RGBD 圖像1 000組。部分RGBD 圖像以及人工標(biāo)注的真值圖像GT如圖5 所示。訓(xùn)練集與測試集以9:1 的比例進(jìn)行劃分。訓(xùn)練集包含900 組巖石顆粒的RGBD 圖像及真值圖像GT；測試集包含100 組巖石顆粒的RGBD 圖像及真值圖像GT。

圖5 RGBD 巖石顆粒分割數(shù)據(jù)集示意

2.1 分割結(jié)果預(yù)測實(shí)驗(yàn)

本文算法針對(duì)不同類型的巖石圖像進(jìn)行分割實(shí)驗(yàn)對(duì)比，并與傳統(tǒng)分割算法OTSU 分割算法，分水嶺分割算法以及深度學(xué)習(xí)算法UNet[26]、RTFNet[27]進(jìn)行比較，驗(yàn)證本文算法的分割效果與成功率。

對(duì)測試集中100 組RGBD 圖像進(jìn)行算法分割結(jié)果預(yù)測實(shí)驗(yàn)，部分結(jié)果示意圖如圖6 所示。

圖6 不同算法的巖石圖像分割結(jié)果

其中圖6(a) 為巖石原圖，根據(jù)巖石形狀、大小、堆疊以及遮擋情況將實(shí)驗(yàn)圖像劃分為4 組。其中，A 組圖像巖石數(shù)目以及形狀較為簡單，巖石之間間隔大，易于區(qū)分；B 組圖像巖石形狀、大小復(fù)雜，有堆疊、粘連的問題，同時(shí)有較多的非巖石目標(biāo)物；C 組圖像巖塊之間的堆疊現(xiàn)象較為嚴(yán)重，難以區(qū)分巖石邊界；D 組圖像巖石的堆疊、粘連現(xiàn)象嚴(yán)重，存在有非巖石目標(biāo)物遮擋的情況。

2.1.1 傳統(tǒng)分割算法結(jié)果

圖6(b) 為OTSU 分割算法的分割結(jié)果圖像，OTSU 分割算法通過最大化類間方差劃分圖像中的目標(biāo)和背景。對(duì)于A 組巖石圖像，OTSU 分割算法能夠較好地處理圖像，但是分割結(jié)果并不精確，同時(shí)并未很好地區(qū)分前景與背景，還出現(xiàn)了錯(cuò)誤分割的問題；對(duì)于B 組巖石圖像，OTSU 分割算法對(duì)光照較為敏感，同時(shí)無法處理巖石之間的粘連部分，出現(xiàn)了錯(cuò)誤分割的問題；對(duì)于C 組巖石圖像，OTSU 無法區(qū)分前景與背景，在巖石堆疊部分的分割出現(xiàn)錯(cuò)誤；對(duì)于D 組巖石圖像，OTSU分割算法無法區(qū)分非巖石目標(biāo)物，對(duì)其他目標(biāo)物出現(xiàn)了錯(cuò)誤的分割。

圖6(c)為分水嶺分割算法的分割結(jié)果圖像。分水嶺分割算法將待分割圖像按照像素灰度值進(jìn)行排序，局部極小值處被視為集水盆地，盆地的邊界構(gòu)成分水嶺。對(duì)于4 組巖石圖像，分水嶺算法的分割效果均較差，無法實(shí)現(xiàn)巖石的正確分割。

根據(jù)分割結(jié)果可知，2 種傳統(tǒng)的圖像分割算法，OTSU 分割算法與分水嶺分割算法對(duì)于巖石圖像分割的效果均較差。其中，OTSU 分割算法對(duì)巖石圖像能夠進(jìn)行較好的處理，然而其分割結(jié)果并不準(zhǔn)確，背景存在有明顯的噪聲；分水嶺分割算法完全無法實(shí)現(xiàn)巖石圖像的正確分割。

2.1.2 深度學(xué)習(xí)分割算法結(jié)果

圖6(d)為UNet 算法的分割結(jié)果圖像，在網(wǎng)絡(luò)訓(xùn)練過程中，僅使用可見光圖像作為網(wǎng)絡(luò)的輸入，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)率rlearning大小為0.001，訓(xùn)練周期epoch為100。對(duì)于A 組巖石圖像，UNet 算法有錯(cuò)誤分割的問題，部分待分割目標(biāo)缺失，分割效果不佳；對(duì)于B 組巖石圖像，UNet 算法對(duì)粘連和堆疊部分的巖石分割效果較差，對(duì)于陰影部分的巖石圖像分割錯(cuò)誤；對(duì)于C 組巖石圖像，UNet 算法對(duì)無法處理巖石的堆疊部分，分割結(jié)果形狀不準(zhǔn)確；對(duì)于D 組巖石圖像，UNet 算法分割結(jié)果丟失了部分待分割圖像，對(duì)于非巖石目標(biāo)的分割不準(zhǔn)確，算法精度低。

圖6(e)為RTFNet 算法的分割結(jié)果圖像，在網(wǎng)絡(luò)訓(xùn)練過程中，使用RGBD 圖像對(duì)作為網(wǎng)絡(luò)的輸入，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)率rlearning大小為0.01，訓(xùn)練周期epoch為100。對(duì)于4 組圖像，RTFNet 算法的分割精度和效果相較于UNet 算法有所提高，但仍然有錯(cuò)誤分割的問題，分割結(jié)果的形狀不準(zhǔn)確，與真值圖像GT有較大差異。

圖6(f)為本文算法的分割結(jié)果圖像，根據(jù)實(shí)驗(yàn)結(jié)果可知，相較于傳統(tǒng)圖像分割算法以及基于深度學(xué)習(xí)的分割算法，本文所提出的深度圖像引導(dǎo)的巖石顆粒分割方法在巖石圖像粘連、堆疊以及遮擋較為嚴(yán)重的情況下，依舊能夠?qū)崿F(xiàn)巖石之間的準(zhǔn)確區(qū)分，分割效果良好。同時(shí)，本文算法對(duì)光照、噪聲具有較強(qiáng)的魯棒性，不易受影響。

2.2 定量分析

2.2.1 評(píng)價(jià)指標(biāo)

本文選取平均絕對(duì)誤差(mean absolute error,MAE)[28]、F-measure[29]、 加 權(quán)F-measure[30]、Emeasure[31]、S-measure[32]以及曲線下面積（area under the curve，AUC）作為算法性能的評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)中各個(gè)算法對(duì)100 組測試圖像均做了多次重復(fù)實(shí)驗(yàn)，結(jié)果取平均值。

1）MAE( σMAE)： σMAE的 計(jì) 算 方 法 如 式(1)所示，通過計(jì)算分割結(jié)果中每個(gè)像素點(diǎn)的值與人工標(biāo)注圖像之間絕對(duì)差的均值得到，代表了誤差相對(duì)于真實(shí)值的大小，值越小反映誤差越小。

6）AUC（AUC）：AUC 為接收者操作特征(receiveroperating characteristic，ROC)曲線下的區(qū)域面積[33]。其中，ROC 曲線是評(píng)價(jià)分類器性能的一種二維曲線，橫坐標(biāo)為假正率（false positive rate，F(xiàn)PR）RFP，縱坐標(biāo)為真正率（true positive rate，TPR）RTP。AUC的數(shù)值越大，表示分類器的性能越好。首先在真值圖中選取目標(biāo)區(qū)域像素點(diǎn)作為正樣本，并隨機(jī)選取同樣數(shù)量背景區(qū)域的像素點(diǎn)作為負(fù)樣本，計(jì)算獲取各個(gè)分割算法的FPR 與TPR 值，然后繪制ROC 曲線并計(jì)算各算法的AUC 值。

2.2.2 實(shí)驗(yàn)對(duì)比

將本文算法與OTSU、分水嶺算法、UNet、RTFNet 進(jìn)行對(duì)比實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)如表1 所示。相比于其他算法，本文算法在各項(xiàng)評(píng)價(jià)指標(biāo)中均最優(yōu)。根據(jù)實(shí)驗(yàn)結(jié)果可知：本文算法的準(zhǔn)確度更高，對(duì)于巖石圖像具有更優(yōu)的分割效果。

表1 巖石圖像分割結(jié)果定量分析

2.3 方法應(yīng)用

采用數(shù)字圖像處理技術(shù)的方式，對(duì)巖石顆粒圖像進(jìn)行分割，能夠?qū)崿F(xiàn)無接觸地測量巖石參數(shù)信息。相較于人工篩分的方式具有較大的優(yōu)勢，能夠?qū)崿F(xiàn)更智能化的堆石料巖石顆粒參數(shù)測量和分析。然而單獨(dú)使用可見光圖像所提供的顏色、形狀和紋理等信息難以實(shí)現(xiàn)巖石目標(biāo)的精確分割，進(jìn)而影響到巖石參數(shù)測量的準(zhǔn)確性。

如圖7 所示，讀取巖石目標(biāo)的可見光圖像與深度圖像，協(xié)同使用可見光圖像提供的細(xì)節(jié)信息以及深度圖像提供的三維距離信息，完成對(duì)巖石圖像的精確分割。

然后，通過連通域分析方法，標(biāo)記出圖像分割結(jié)果圖像中的巖石目標(biāo)，并測量出巖石的面積等參數(shù)信息。有助于在堆石壩建設(shè)過程對(duì)堆石料巖石實(shí)現(xiàn)精確地分割后獲取堆石料巖石顆粒準(zhǔn)確的參數(shù)信息，保證堆石料良好的級(jí)配，提高壩體的穩(wěn)定性。

3 結(jié)論

本文提出了一種深度圖像引導(dǎo)的巖石顆粒分割方法，利用深度圖像所提供的三維距離信息輔助分割巖石顆粒并測量參數(shù)。

1）算法對(duì)初始的深度圖像進(jìn)行優(yōu)化，增加深度圖像的語義和幾何信息。通過模擬標(biāo)注真值圖像的不確定性，網(wǎng)絡(luò)輸出多組圖像分割預(yù)測結(jié)果并選擇最優(yōu)的分割圖像。

2）由于堆石料巖石顆粒圖像具有待分割目標(biāo)多、巖石間堆疊粘連以及目標(biāo)與背景相近的問題，現(xiàn)有的大部分圖像分割算法無法實(shí)現(xiàn)精確的圖像分割。本文算法有效利用了深度圖像的三維距離信息，大幅提高了圖像分割的精確度。

本文算法協(xié)同使用巖石RGBD 圖像進(jìn)行分割，算法在多個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于對(duì)比算法，分割精度高。算法后續(xù)可以應(yīng)用到巖石顆粒度評(píng)估的場景中，獲取巖石顆粒的形狀等信息，測算堆石料的級(jí)配數(shù)據(jù)。