楊 俊， 孫葉青， 申屠南瑛， 李 青

(中國(guó)計(jì)量大學(xué) 災(zāi)害監(jiān)測(cè)技術(shù)與儀器國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，浙江 杭州 310018)

1 引 言

在尾礦壩潰壩事故頻發(fā)的背景下[1]，相關(guān)部門(mén)規(guī)定尾礦庫(kù)必須安裝在線(xiàn)監(jiān)測(cè)系統(tǒng)并保證正?？煽窟\(yùn)行。因此，研發(fā)一種在線(xiàn)監(jiān)測(cè)的新方法成為了當(dāng)務(wù)之急。尾礦壩用于堆貯各種礦石尾料，是排出尾礦的場(chǎng)所；而干灘長(zhǎng)度是指干灘頂至尾礦庫(kù)內(nèi)水線(xiàn)之間的最短水平距離，是決定尾礦庫(kù)能否安全可靠運(yùn)作的重要指標(biāo)之一，示意圖如圖1所示。

圖1 尾礦庫(kù)組成結(jié)構(gòu)Fig.1 Tailings pond structure

近年來(lái)圖像處理和視覺(jué)測(cè)量等方法[2，3]被應(yīng)用于尾礦壩干灘長(zhǎng)度測(cè)量系統(tǒng)中，這些方法對(duì)尾礦壩實(shí)地圖片進(jìn)行處理，對(duì)水線(xiàn)進(jìn)行分割，再配合設(shè)置的標(biāo)定物進(jìn)行測(cè)量工作。此類(lèi)方法存在著一些問(wèn)題：(1) 沒(méi)有考慮水面倒影、邊界不清晰等情況下的水線(xiàn)難以分割性，僅限于分析理想情況下的圖片，在適用范圍上具有局限性；(2) 僅限于單類(lèi)圖片的研究，無(wú)法進(jìn)行在線(xiàn)監(jiān)測(cè)，實(shí)用性不夠；(3) 不適用于非理想天氣條件下的測(cè)量。改進(jìn)的分水嶺算法[4]以及基于視覺(jué)測(cè)量的方法[5,6]都只選擇良好天氣情況下的圖片進(jìn)行分析，手動(dòng)剔除噪聲部分面積，將問(wèn)題進(jìn)行簡(jiǎn)化，不能進(jìn)行實(shí)時(shí)監(jiān)測(cè)。此外，這兩種方法都在測(cè)量過(guò)程中采用人為安放標(biāo)志物的方法作為水線(xiàn)坐標(biāo)參考物，不僅存在安全隱患，還增加了誤差來(lái)源。至少存在兩種誤差：第一，在人為安放標(biāo)志物過(guò)程中產(chǎn)生的誤差，導(dǎo)致參照系不合理，并影響后續(xù)測(cè)量的真實(shí)值；第二，由于標(biāo)志物在全圖中所占比例小，標(biāo)志物坐標(biāo)需要人為提取，會(huì)產(chǎn)生像素坐標(biāo)誤差，影響測(cè)量值。

Mask R-CNN算法是CNN(卷積神經(jīng)網(wǎng)絡(luò))算法的一種，本文利用此算法訓(xùn)練出能自動(dòng)對(duì)監(jiān)控畫(huà)面進(jìn)行水域和干灘分割的神經(jīng)網(wǎng)絡(luò)模型。在無(wú)需人工安放標(biāo)志物及手工提取像素坐標(biāo)值的情況下直接進(jìn)行水灘分割，獲取水線(xiàn)輪廓及其像素坐標(biāo)。將坐標(biāo)輸入給擬合出的計(jì)算公式即可獲得干灘長(zhǎng)度，從而建立起了端對(duì)端模式的干灘長(zhǎng)度實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，且適用于多類(lèi)圖片。

2 干灘攝像系統(tǒng)

本實(shí)驗(yàn)選取地點(diǎn)為某銅礦尾礦庫(kù)， 尾礦庫(kù)等級(jí)為Ⅲ級(jí)。

隨著自然因素變化，水際線(xiàn)在兩岸間的相對(duì)位置會(huì)發(fā)生變化，從而使得感興趣區(qū)域(region of interest, ROI)在不斷改變[7]。本文在尾礦庫(kù)兩岸各安裝一個(gè)攝像頭，一個(gè)安裝于離壩頂水平距離為2 m的平地上，一個(gè)安裝于對(duì)岸的山體上。當(dāng)水位淺時(shí)，水位線(xiàn)靠近山體一側(cè)，山體一側(cè)的攝像頭即可獲得高清畫(huà)面，從而輸出干灘長(zhǎng)度值。

區(qū)別于其它安裝于尾礦壩頂處的干灘監(jiān)控系統(tǒng)，本文采用2個(gè)監(jiān)控?cái)z像頭，既不會(huì)受由于子壩堆積而產(chǎn)生的位置變化的影響又能提供高質(zhì)量圖像，安裝位置如圖2所示。

圖2 攝像頭安裝位置Fig.2 Camera installation locations

3 干灘長(zhǎng)度測(cè)量算法

監(jiān)控畫(huà)面中包含了廢砂廢水、水面化學(xué)漂浮物、周邊山體以及植物倒影等干擾內(nèi)容。此外，尾砂的排放、季節(jié)、光照等條件的變化也是測(cè)量干擾項(xiàng)。為了測(cè)得干灘長(zhǎng)度，首先需要定位干灘所在的區(qū)域，先識(shí)別出水線(xiàn)，從水線(xiàn)位置到壩岸的水平距離即是干灘長(zhǎng)度。

目前，使用深度學(xué)習(xí)方法進(jìn)行圖像處理已經(jīng)成為研究熱點(diǎn)。與傳統(tǒng)的分割算法相比，神經(jīng)網(wǎng)絡(luò)能夠自主學(xué)習(xí)目標(biāo)特征，區(qū)別圖中的前景和背景，提高識(shí)別的準(zhǔn)確性。本文基于水與干灘之間的特征差異以及水線(xiàn)自身特征(像素間梯度差異)，訓(xùn)練出能自動(dòng)識(shí)別干灘的神經(jīng)網(wǎng)絡(luò)模型，繼而獲得水線(xiàn)坐標(biāo)。在測(cè)量過(guò)程中，本文將干灘長(zhǎng)度值量化為水線(xiàn)坐標(biāo)來(lái)進(jìn)行分析，直接由水線(xiàn)坐標(biāo)來(lái)測(cè)得干灘長(zhǎng)度，大大減小了誤差?；诖耍捎肕ask R-CNN算法[8]，首先準(zhǔn)確分開(kāi)水域和干灘，即可進(jìn)一步測(cè)量干灘長(zhǎng)度。方案設(shè)計(jì)如圖3所示。

圖3 方案設(shè)計(jì)框架Fig.3 Program design framework

3.1 Mask R-CNN 算法結(jié)構(gòu)

Mask R-CNN算法以R-CNN系列，F(xiàn)PN(feature pyramid networks)，F(xiàn)CIS(fully convolutional instance segmentation)等神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法為基礎(chǔ)。在Faster R-CNN[9]對(duì)每個(gè)候選區(qū)域輸出類(lèi)別和邊界框(bounding boxs)進(jìn)行偏移的基礎(chǔ)上，Mask R-CNN又增加了1個(gè)分支得以輸出物體掩膜(object mask)。本文中掩膜區(qū)域邊界即是水線(xiàn)。

3.1.1 RPN網(wǎng)絡(luò)

在Mask R-CNN網(wǎng)絡(luò)中，RPN(區(qū)域候選網(wǎng)絡(luò))與FPN相結(jié)合，RPN的特點(diǎn)在于通過(guò)滑動(dòng)窗口的方式實(shí)現(xiàn)候選框的提取，每個(gè)滑動(dòng)窗口位置生成9個(gè)不同尺度、不同寬高的候選窗口，提取對(duì)應(yīng)9個(gè)候選窗口的特征，用于目標(biāo)分類(lèi)和邊框回歸，與Fast R-CNN[10]類(lèi)似。基于此，目標(biāo)分類(lèi)需要區(qū)分候選框內(nèi)特征是否為水域，邊框回歸確定更精確的水域位置，從而能夠獲取水線(xiàn)，RPN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 RPN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 RPN network structure diagram

3.1.2 FPN網(wǎng)絡(luò)

對(duì)物體檢測(cè)網(wǎng)絡(luò)而言，低層的特征語(yǔ)義信息少，但目標(biāo)位置準(zhǔn)確；高層的特征語(yǔ)義信息比較豐富，但目標(biāo)位置比較粗略。用FPN網(wǎng)絡(luò)結(jié)合低層高分辨率的特征，能把更抽象、語(yǔ)義更強(qiáng)的高層特征圖進(jìn)行上取樣，并把該特征橫向連接(lateral connections)至前一層特征，因此高層特征得到加強(qiáng)。橫向連接中使用1×1的卷積核來(lái)產(chǎn)生最粗略的特征圖，3×3的卷積核對(duì)每個(gè)融合結(jié)果進(jìn)行卷積，消除上采樣的混疊效應(yīng)，以生成最后需要的特征圖。添加FPN網(wǎng)絡(luò)使得水域定位更為準(zhǔn)確，F(xiàn)PN網(wǎng)絡(luò)如圖5所示。

圖5 FPN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 FPN network structure diagram

3.2 損失函數(shù)方程

計(jì)算損失值之前，要設(shè)定錨(anchors)的標(biāo)定方法。本文的檢測(cè)目標(biāo)為水域，樣本標(biāo)定規(guī)則為：

(1) 如果錨框?qū)?yīng)的參考框(reference box)與實(shí)際情況(ground truth)的比值(IOU)最大，記為正樣本。

(2) 如果IOU>0.7，標(biāo)定為正樣本[11]；對(duì)于一些極端情況，例如所有的IOU≤0.7，可以采用第(1)規(guī)則生成。

(3) 如果IOU<0.3，則標(biāo)記為負(fù)樣本。

(4) 剩下的既不是正樣本也不是負(fù)樣本，不用于最終訓(xùn)練。

訓(xùn)練區(qū)域候選網(wǎng)絡(luò)(RPN)的損失值由分類(lèi)損失和回歸損失按一定比重組成。計(jì)算歸一化指數(shù)函數(shù)損失(softmax loss)需要根據(jù)錨對(duì)應(yīng)的實(shí)際情況的標(biāo)定結(jié)果和預(yù)測(cè)結(jié)果進(jìn)行計(jì)算，計(jì)算方法如下：

tx=(x-xa)/wa，ty=(y-ya)/ha

(1)

tw=lg(w/wa)，th=lg(h/ha)

(2)

(3)

(4)

(5)

L=Lcls+Lreg+Lmask

(6)

(7)

(8)

由于在實(shí)際過(guò)程中，2個(gè)損失值差距過(guò)大，用參數(shù)λ=Nreg/Ncls平衡二者。使得網(wǎng)絡(luò)損失計(jì)算過(guò)程中能夠均勻考慮。式(7)中損失函數(shù)sL1的計(jì)算公式為：

(9)

Lmask為實(shí)例分割損失，輸出大小為K·m2，其中K為類(lèi)別數(shù)量，m表示RoI Align特征圖的大小。對(duì)每一個(gè)像素應(yīng)用sigmoid，然后取RoI上所有像素的交叉熵的平均值作為L(zhǎng)mask。在本文模型中，總損失值包括定位水域、水灘分割以及在目標(biāo)區(qū)域填充掩膜時(shí)產(chǎn)生的誤差，繼而用梯度下降法降低損失，最終即可定位到準(zhǔn)確的水域，從而獲取準(zhǔn)確的水線(xiàn)坐標(biāo)。

3.3 Mask R-CNN算法流程

Mask R-CNN是一個(gè)兩階段的框架：在第1階段掃描圖片并且產(chǎn)生提議(proposal)；第2階段是將生成的提議進(jìn)行分類(lèi)，并且產(chǎn)生邊界框和掩膜。整體網(wǎng)絡(luò)在系統(tǒng)中完成了3個(gè)重要步驟：(1) 目標(biāo)檢測(cè)，繪制目標(biāo)框；(2) 分類(lèi)目標(biāo)，區(qū)分物體類(lèi)別[12]；(3) 像素級(jí)目標(biāo)分割，對(duì)于每個(gè)目標(biāo)，在像素層面區(qū)分其前景和背景。網(wǎng)絡(luò)框圖如圖6所示。

圖6 Mask R-CNN算法框圖Fig.6 Mask R-CNN Algorithm block diagram

4 網(wǎng)絡(luò)模型

4.1 直方圖均衡化

直方圖均衡化是通過(guò)拉伸像素強(qiáng)度分布范圍來(lái)增強(qiáng)圖像對(duì)比度的一種方法。本文使用直方圖均衡化操作對(duì)圖像進(jìn)行預(yù)處理[13]，轉(zhuǎn)化水與干灘之間像素梯度值，放大水土之間特征差異，從而能夠提升神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效率以及模型識(shí)別準(zhǔn)確率。圖7(a)、(b)分別為處理前后結(jié)果對(duì)比圖，直方圖均衡化處理后的圖(b)比圖(a)有更好的邊緣細(xì)節(jié)捕捉能力。

圖7 處理前后對(duì)比圖Fig.7 Comparison before and after processing

4.2 模型參數(shù)調(diào)試

Anchors大小、ROI個(gè)數(shù)、訓(xùn)練圖像維度決定了算法能否捕捉細(xì)微邊界從而準(zhǔn)確地分割圖像[14]。本文通過(guò)實(shí)驗(yàn)研究，對(duì)參數(shù)進(jìn)行了多次設(shè)定，最終獲得了在合理的區(qū)間內(nèi)的3項(xiàng)主要參數(shù)值，如表1所示。此外，訓(xùn)練過(guò)程中batch-size為1，采用學(xué)習(xí)率權(quán)值衰減方法，初始值為0.001，每次衰減0.000 1，動(dòng)量為0.9。取了表1中5種不同參數(shù)進(jìn)行訓(xùn)練，其損失值如圖8所示。

圖8 損失值Fig.8 Loss value

表1 參數(shù)設(shè)定值Tab.1 Parameter setting

結(jié)果表明：在50個(gè)訓(xùn)練周期內(nèi)，每個(gè)周期訓(xùn)練100次的情況下可完好擬合。此時(shí)，將參數(shù)值設(shè)定為表1中的值時(shí)，損失值都為理想值，都能獲得良好的訓(xùn)練結(jié)果。

5 實(shí)驗(yàn)和結(jié)果分析

5.1 實(shí)驗(yàn)樣本集

為了增強(qiáng)模型泛化能力，本實(shí)驗(yàn)挑選出不同特征的尾礦庫(kù)圖像作為數(shù)據(jù)集，每張圖大小均為2 560×1 440 像素。訓(xùn)練集圖片來(lái)自不同時(shí)間，分為4種情況，其中晴朗天氣下共150張，陰暗條件下共150張，暴雨后鏡頭模糊情況下150張，雪天150張，共計(jì)600張圖片作為訓(xùn)練集。部分訓(xùn)練集圖片如圖9(a)～圖9(d)所示。

圖9 訓(xùn)練樣本Fig.9 Training samples

每張圖片都采用手工打標(biāo)簽的方式，每張圖中有水域和背景2個(gè)類(lèi)別，標(biāo)簽示意圖如圖10所示。

圖10 標(biāo)簽示意圖Fig.10 Labeled image

5.2 訓(xùn)練結(jié)果

本實(shí)驗(yàn)的硬件環(huán)境為Intel Core CPU i7-8750，GPU為NVIDIA GTX1060，內(nèi)存6 GB。該實(shí)驗(yàn)基于TensorFlow框架并使用Python實(shí)現(xiàn)。結(jié)果圖為圖11所示，在不同時(shí)間下的監(jiān)控圖片中，下部灰色區(qū)域?yàn)樗颉Ｆ渲醒┖髨D的水域識(shí)別與其他3張不同，是因?yàn)橹挥猩惩敛糠秩繚駶?rùn)才算作干灘，雪天時(shí)候沙土全部濕潤(rùn)，是正確的識(shí)別。

圖11 識(shí)別結(jié)果Fig.11 Recognition results

5.3 水線(xiàn)識(shí)別

在水灘分割的基礎(chǔ)上，提取水線(xiàn)坐標(biāo)用于最終的干灘長(zhǎng)度測(cè)量?；诖耍疚氖褂肙penCV閾值分割及輪廓提取算法[15]，對(duì)水域進(jìn)行輪廓提取并自動(dòng)輸出輪廓最高點(diǎn)坐標(biāo)，得到水線(xiàn)在圖片上的所屬位置。由于水域面積已經(jīng)被填充為灰色，且輪廓是閉合的理想曲線(xiàn)，直接提取灰色區(qū)域外輪廓即可獲取水線(xiàn)并輸出最高點(diǎn)坐標(biāo)。具體步驟為：將圖片進(jìn)行閾值分割并獲取水線(xiàn)，做水線(xiàn)的外接矩形，矩形最高點(diǎn)縱坐標(biāo)即為水線(xiàn)縱坐標(biāo)。識(shí)別結(jié)果如圖12所示，輸出水線(xiàn)的外接矩形最高點(diǎn)縱坐標(biāo)為1 030。

圖12 原圖及最終結(jié)果圖Fig.12 Original image and final result image

5.4 測(cè)量模型

圖片上水線(xiàn)位置代表著實(shí)際位置，兩者同步變化，且具有強(qiáng)線(xiàn)性關(guān)系。攝像頭的位置固定，因此每張圖片的大小相同。自變量?jī)H為水線(xiàn)坐標(biāo)，因此只要輸出每張圖片輪廓的縱坐標(biāo)并與實(shí)地測(cè)量得到的干灘長(zhǎng)度進(jìn)行對(duì)比分析，即可擬合出干灘長(zhǎng)度測(cè)量模型。測(cè)得圖片中水線(xiàn)坐標(biāo)以及實(shí)際測(cè)量距離，如表2所示。

表2 水線(xiàn)坐標(biāo)-實(shí)測(cè)距離對(duì)比Tab.2 Comparison of waterline coordinates and measured distances

使用OriginPro 8軟件對(duì)數(shù)據(jù)進(jìn)行分析，在經(jīng)過(guò)多種方式擬合后，得知在Polynomial Order=5時(shí)，擬合情況最佳。本文使用95%置信區(qū)間進(jìn)行參數(shù)擬合，水線(xiàn)坐標(biāo)與干灘實(shí)測(cè)值的函數(shù)繪制圖如圖13所示。

圖13 水線(xiàn)坐標(biāo)-實(shí)測(cè)值擬合曲線(xiàn)Fig.13 Fitting curve of waterline coordinates and measured values

曲線(xiàn)擬合的自由度為14，殘差平方和為3.041 02，標(biāo)準(zhǔn)差為0.259 02，校正相關(guān)系數(shù)平方R2=0.999，擬合度高。已知此模型后，輸入水線(xiàn)坐標(biāo)即可獲得干灘的真實(shí)長(zhǎng)度。將有效位數(shù)展開(kāi)至6位，可在一定程度上減小由高階項(xiàng)計(jì)算所帶來(lái)的誤差，此時(shí)得到函數(shù)表達(dá)式為：

f(x)=-1.688 70×10-2x5+9.060 95×104x4
-1.942 19×10-2x3+0.207 867×102x2
-1.110 76×104x+2.370 69×106

(11)

5.5 測(cè)量結(jié)果

在Maple工具下，將圖11中反饋得到的像素坐標(biāo)值1 030 dpi帶入圖13中的擬合函數(shù)f(x)，得到185.262 m，與真實(shí)值185.4 m之間誤差為0.138 m，誤差小于1‰，滿(mǎn)足干灘長(zhǎng)度測(cè)量精度要求。將上述20點(diǎn)全部帶入函數(shù)中，平均誤差僅為1.16‰。

6 結(jié)束語(yǔ)

本文將深度學(xué)習(xí)算法應(yīng)用于干灘長(zhǎng)度的測(cè)量，算法模型分為兩部分：

(1) 訓(xùn)練出能自動(dòng)分割水域的神經(jīng)網(wǎng)絡(luò)模型，之后自動(dòng)識(shí)別水線(xiàn)輪廓并輸出坐標(biāo)值。

(2) 將圖像中水線(xiàn)輪廓坐標(biāo)與實(shí)際干灘長(zhǎng)度進(jìn)行回歸分析，擬合出測(cè)量算法公式；將坐標(biāo)值輸入給計(jì)算公式后，即可輸出干灘實(shí)際長(zhǎng)度，且精度滿(mǎn)足實(shí)際要求。

本文方法解決了傳統(tǒng)圖像分割算法中存在的不完全分割以及過(guò)分割問(wèn)題，又采用簡(jiǎn)便的線(xiàn)性回歸計(jì)算即可省去復(fù)雜的模型推導(dǎo)，為干灘長(zhǎng)度測(cè)量提供了準(zhǔn)確、實(shí)時(shí)的計(jì)算方法。