朱大慶，曹 國

(南京理工大學(xué)計算機科學(xué)與工程學(xué)院，江蘇 南京 210094)

0 引 言

近年來，隨著土木工程產(chǎn)業(yè)的快速發(fā)展，國內(nèi)外各類建筑行業(yè)對砂石的需求量不斷增多，從高樓建筑到高速公路建造均對砂石粒徑有一定的規(guī)格要求。不同粒徑的碎石按照一定比例混合起來，達到符合要求的密實度，則稱這些碎石為級配碎石[1]。在對不同粒徑大小的砂石進行混合之前，首先要做的是要獲得砂石的粒徑大小。因此，良好的砂石粒徑檢測方法對后期的砂石混合精確度起著至關(guān)重要的影響，也對鋪設(shè)的高速公路質(zhì)量以及樓房質(zhì)量有著決定性的影響[2]。傳統(tǒng)的砂石粒徑檢測方法是通過人工抽樣進行檢測，耗時費力；或者是通過工業(yè)砂石篩分機[3]進行篩分，獲得的結(jié)果較為粗略，并不能獲得砂石粒徑的精確大小數(shù)據(jù)，因此會影響后期的砂石級配的精度。

除了使用上述人工或者工業(yè)砂石篩分機方法，也可以從計算機視覺的角度出發(fā)，利用傳統(tǒng)的圖像分割技術(shù)對砂石圖像進行砂石目標分割，然后計算砂石的粒徑大小。傳統(tǒng)的圖像分割方法主要有基于閾值的分割方法[4]、基于區(qū)域的分割方法[5]以及基于邊緣的分割方法[6]等。閾值分割方法適用于分割目標與背景像素差異較大的圖像，而本文處理的砂石圖像，砂石目標互相遮擋，被遮蓋的砂石目標成為了表面砂石目標的背景，因此前景與背景的差異很小，所以無法選定一個合適的閾值將砂石目標準確地分割開來。分水嶺分割方法是常見的區(qū)域分割方法，由于砂石緊密粘連，不符合目標區(qū)域封閉且獨立的條件，因此該類分割方法對于砂石圖像的分割效果也較差?；谶吘壍姆指罘椒ㄍㄟ^邊緣像素與背景像素間的梯度差異來解決分割問題，對于緊密粘連的砂石，無法獲得魯棒的邊緣線，因此無法進行后續(xù)的砂石粒徑計算操作。

傳統(tǒng)圖像分割方法可以適用于常見的普通圖像分割任務(wù)，但對緊密相連的復(fù)雜砂石圖像分割效果均不理想。為此，本文從深度學(xué)習(xí)角度出發(fā)，使用基于全卷積網(wǎng)絡(luò)的分割模型對砂石圖像進行分割，獲得更好的分割效果。目前在深度學(xué)習(xí)領(lǐng)域可以對圖像進行目標分割的方法中，主要是基于語義分割的全卷積網(wǎng)絡(luò)(FCN)[7]以及在其基礎(chǔ)上發(fā)展的醫(yī)學(xué)圖像領(lǐng)域的U型網(wǎng)絡(luò)(U-Net)[8]等。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)能夠?qū)D片進行分類[9-13]，而FCN可以對圖像進行像素級的分類，解決了語義級別的圖像分割(Semantic Segmentation)問題。通常CNN網(wǎng)絡(luò)在卷積層之后會接上若干個全連接層(Fully connected layer)，將卷積層產(chǎn)生的特征圖映射成一個固定長度的特征向量。而全卷積網(wǎng)絡(luò)與CNN不同，F(xiàn)CN把CNN最后的全連接層換成卷積層，輸出的是一張標記好的圖片。除了全連接層，使用卷積神經(jīng)網(wǎng)絡(luò)進行語義分割存在的一個問題是池化層(Pooling layer)的存在造成了像素位置信息的丟失，但是，語義分割又需要保留像素的位置信息。為了解決這一問題，在醫(yī)學(xué)圖像分割領(lǐng)域，出現(xiàn)了一種基于編碼器-解碼器結(jié)構(gòu)的U-Net網(wǎng)絡(luò)。U-Net約有20個卷積層，4個下采樣，4個上采樣，整個網(wǎng)絡(luò)沒有全連接層，只有卷積和上下采樣，網(wǎng)絡(luò)形狀似U型，故得名U型網(wǎng)絡(luò)。FCN可以對常見的圖像目標進行語義分割，U-Net可以對醫(yī)學(xué)圖像進行分割，然而，對于本文研究的砂石目標，由于其體積微小、緊密粘連且存在相互遮擋，所以現(xiàn)如今的FCN、U-Net等分割模型在砂石圖像的目標分割任務(wù)上，效果并不令人滿意。

本文通過兩階段深度學(xué)習(xí)網(wǎng)絡(luò)模型(分割模型、分離模型)進行砂石目標的分割和分離，可以將砂石目標很好地分割開，得到每個獨立的砂石目標，提升了計算砂石粒徑大小的精度。

1 方法過程總述

本文最終目的為獲得砂石粒徑大小，在粒徑計算之前，首先要做的是將砂石目標分割開來，所以實驗過程總體上分為2個部分：砂石分割和粒徑計算。

對于砂石分割部分，首先構(gòu)建一個砂石分割網(wǎng)絡(luò)模型，在訓(xùn)練模型階段，選取部分原圖手工標記砂石目標邊緣作為分割模型的訓(xùn)練樣本，訓(xùn)練完成后得到砂石分割模型；在檢測階段，將原圖直接經(jīng)過分割模型處理，再經(jīng)過形態(tài)學(xué)處理后得到初次分割結(jié)果圖。然后再構(gòu)建一個砂石分離模型，在模型訓(xùn)練階段，選取部分初次分割結(jié)果圖手工標記砂石粘連處的凹點作為分離模型的訓(xùn)練樣本，訓(xùn)練完成后得到砂石分離模型；在檢測階段，將初次分割結(jié)果圖經(jīng)過分離模型處理后得到自動標記了凹點的結(jié)果圖，經(jīng)過凹點匹配得到最終分割且分離的結(jié)果圖。

對于粒徑計算部分，對得到的最終分割且分離的結(jié)果圖，計算砂石目標的最長徑，取均值后得到砂石圖像的平均粒徑大小。砂石圖像粒徑檢測的總體流程如圖1所示。

圖1 砂石粒徑檢測方法流程圖

2 砂石目標分割與分離

2.1 分割模型

在進行砂石粒徑大小計算之前，需要先將砂石目標分割開，本文構(gòu)建了如圖2所示的基于全卷積的神經(jīng)網(wǎng)絡(luò)，用于砂石目標的分割任務(wù)，它是由4個數(shù)據(jù)輸入層(Data)、6個卷積層(Convolution)、6個激活層(Activation function)、1個輸出層(Output)和1個計算損失層(Loss)串聯(lián)而成。

其中卷積層中使用的參數(shù)Output為該卷積層中卷積核的個數(shù)，也是輸出的數(shù)量；Pad為是否對輸入image進行padding操作，此處根據(jù)所用的卷積核大小選用不同的padding大小，可以保證卷積操作所得的特征圖(feature map)與原圖尺寸一致；Conv_kernel為卷積核的內(nèi)核大??；Stride為卷積核的步長；Weight為權(quán)值的初始化方法，本模型中使用了高斯分布初始化權(quán)值(gaussian)；Bias為偏置項的初始化方法，本模型中使用了constant，且值為0。對于卷積層的參數(shù)配置詳情，如表1所示。

圖2 砂石目標分割模型結(jié)構(gòu)圖

表1 卷積層中各個參數(shù)配置表

其中在激活層中，對輸入數(shù)據(jù)進行激活操作(即函數(shù)變換)，本模型的激活函數(shù)采用線性整流函數(shù)(ReLU)[14]，其函數(shù)表達式為：

f(x)=max (0,x)

(1)

在神經(jīng)網(wǎng)絡(luò)中ReLU作為神經(jīng)元的激活函數(shù)，定義了將神經(jīng)元在線性變換wTx+b之后的非線性輸出結(jié)果，也就是說，對于神經(jīng)元的來自上一層網(wǎng)絡(luò)的輸入向量x，使用ReLU激活函數(shù)的神經(jīng)元的輸出為：

max (0,wTx+b)

(2)

在計算損失層(Loss)中，計算模型得到的結(jié)果score與真實結(jié)果label之間的誤差，本模型采用Caffe中的SoftmaxWithLoss，即多項邏輯損失層(Multinomial Logistic Loss Layer)和Softmax層。

對獲得的原始砂石圖像，預(yù)處理后隨機抽取部分圖像作為訓(xùn)練樣本，使用Photoshop進行手工標記砂石目標的邊緣，作為訓(xùn)練集標簽。通過如圖2所示的分割模型的訓(xùn)練學(xué)習(xí)，測試后可以得到如圖3所示的分割結(jié)果圖，其中圖3(b)為模型直接得出的結(jié)果圖，圖3(c)為對圖3(b)進行二值化處理[15]以及形態(tài)學(xué)操作[16]后的效果圖，以此作為初次分割結(jié)果圖。

圖3 砂石目標分割結(jié)果圖

2.2 分離模型

在分割模型處理后，對得到的初次分割效果圖的研究發(fā)現(xiàn)，結(jié)果圖中仍有很多砂石目標粘連在一起，這將無法進行后續(xù)的砂石粒徑計算工作，所以本文構(gòu)建了如圖4所示的基于全卷積網(wǎng)絡(luò)的分離模型，用于砂石目標的分離任務(wù)。由于分離模型的模型結(jié)構(gòu)與參數(shù)配置和分割模型相同，所以在本節(jié)不再重復(fù)介紹。在分離模型中，輸入圖像為初次分割效果圖，輸出圖像為模型自動標記了凹點的結(jié)果圖。其中凹點是指砂石目標粘連處的轉(zhuǎn)折點，標記粘連處的一對凹點，將這對凹點連接即可實現(xiàn)粘連的分離效果。

圖4 砂石目標分離模型結(jié)構(gòu)圖

對分割模型獲得的初次分割效果圖，隨機選取部分圖像作為訓(xùn)練樣本，手工標記砂石目標粘連處的凹點，作為分離模型的訓(xùn)練集標簽，通過如圖4所示的分離模型訓(xùn)練學(xué)習(xí)，測試后可以得到如圖5所示的自動標記了凹點的結(jié)果圖，其中圖5(a)為手工標記的凹點，圖5(b)為模型自動標記凹點的結(jié)果圖。由圖中可以看到模型能夠準確地標記出砂石圖像中的凹點。

當通過分離模型自動獲得砂石目標的凹點之后，需要做的就是將凹點配對連接[17]，實現(xiàn)砂石目標的最終分割且分離的效果。對于得到的砂石凹點圖，首先去掉不在砂石邊緣上的無效凹點，再將距離非常接近的凹點過濾為一個凹點，然后根據(jù)“凹點匹配規(guī)則”進行凹點配對[18-19]。對于凹點匹配規(guī)則，如圖6所示，點A1、A2分別為2個凹點，向量A1M1、A1N1分別為凹點A1前后2邊邊界的切線，向量A2M2、A2N2分別為凹點A2前后2邊邊界的切線。如果凹點A1、A2是一對凹點對，則應(yīng)滿足以下條件：凹點A1、A2連線在向量A1M1與向量A1N1的夾角和向量A2M2與向量A2N2的夾角之間。滿足此配對條件的2個凹點將其歸類為一對，凹點配對成功。將一對凹點間的連線作為砂石粘連處的分割線，最終實現(xiàn)砂石粘連的分離效果。

(a) 手工標記 (b) 自動標記圖5 砂石目標凹點標記圖

圖6 凹點匹配規(guī)則示意圖

至此砂石圖像的分割、分離操作已完成，得到了分割最終的效果圖如圖7所示。圖中分別使用橢圓和矩形標記出2處對應(yīng)位置的砂石分離結(jié)果作為示例，其他位置的分離結(jié)果與示例類似。其中圖7(a)為初次分割結(jié)果圖，發(fā)現(xiàn)很多砂石粘連在一起，圖7(b)為最終分割且分離的結(jié)果圖，對比發(fā)現(xiàn)大部分的粘連處均已實現(xiàn)目標分離。

(a) 初次分割結(jié)果 (b) 最終分割且分離的結(jié)果圖7 砂石目標最終分割分離結(jié)果圖

2.3 網(wǎng)絡(luò)訓(xùn)練

本實驗所使用的砂石圖像數(shù)據(jù)集均為手工拍照采集，共12張砂石圖像，其中選取6張圖像進行手工標記作為訓(xùn)練樣本。

訓(xùn)練時使用的參數(shù)test_iter為完成一次測試需要的迭代次數(shù)；test_interval為測試間隔；base_lr為基礎(chǔ)學(xué)習(xí)率，在參數(shù)梯度下降優(yōu)化的過程中，學(xué)習(xí)率會有所調(diào)整；lr_policy為學(xué)習(xí)率在梯度優(yōu)化過程中的變化策略，本次訓(xùn)練采用的是“step”，因此還需要一個stepsize參數(shù)，表示學(xué)習(xí)率變化的頻率，momentum表示上一次梯度更新的權(quán)重；weight_decay表示權(quán)重衰減，用于防止過擬合；gamma表示學(xué)習(xí)率變化指數(shù)。對于網(wǎng)絡(luò)訓(xùn)練過程中的參數(shù)配置詳情，如表2所示。

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)配置表

3 砂石目標最長徑計算

當分割且分離完成得到最終效果圖后，就可以計算砂石目標的最長徑了[20-21]。對于分割分離結(jié)果圖，獲得圖像中每個砂石目標的邊界后[22]，對于每一個砂石目標邊界，邊界上的所有像素點記為一個集合U。對于集合U中的每一個像素點i，使用歐氏距離公式計算i到集合U中其余像素點的距離，取最大值，作為從i出發(fā)到砂石目標邊界的最遠距離，記為L(i)。對于集合U中所有像素點的最遠距離，取其最大值作為集合U所成邊界的最大直徑，記為max(L(i))。由此，max(L(i))即為每個砂石目標邊界的最長徑。

值得注意的是，由于砂石目標存在緊密相連且相互遮擋的情況，所以砂石圖像中的那些非常小的砂石個體并不能代表真實數(shù)據(jù)，因此需要有所舍棄。本實驗中，當獲得一張分割分離效果圖中所有砂石目標的最長徑后，一方面舍棄最長徑max(L(i))小于10個像素值的砂石目標，另一方面，在剩余的砂石目標中，按最長徑max(L(i))從大到小排序，取其前70%的最長徑數(shù)據(jù)作為有效數(shù)據(jù)。圖8展示了獲得砂石最長徑后的效果圖。

圖8 砂石目標最長徑效果圖

4 實驗結(jié)果分析

4.1 數(shù)據(jù)集

本實驗的研究對象為砂石圖像，由于目前已有的對砂石圖像的研究并不多，并沒有公共數(shù)據(jù)集，所以本實驗所用的砂石圖像均為手工拍照獲得。共12張砂石圖像，圖像尺寸為1296×972，由于圖像尺寸較大且圖像中的砂石目標眾多且緊密粘連，所以12張圖像數(shù)據(jù)已足夠?qū)嶒炈?。實驗拍攝器材使用?？迪鄼C，型號為MV-CE100-30DC。為了保證本實驗方法能夠具有較高的魯棒性，拍攝圖像來自于不同場景下的砂石樣本，其光照條件、砂石本身顏色差異、砂石顆粒尺寸等因素均互不相同。

4.2 評價指標

本實驗雖然以砂石分割過程為研究重點，但最終目的為計算砂石粒徑大小，所以對實驗結(jié)果的評價分為2個部分：砂石分割準確度評價和砂石粒徑計算精確度評價。

1)在砂石分割準確度評價方面，本文采用了重疊率來度量砂石圖像分割模型的性能[23]。重疊率表示分割預(yù)測砂石區(qū)域與真實標記砂石區(qū)域之間的重疊比例，重疊率計算方式為：

(3)

其中，AR表示本實驗網(wǎng)絡(luò)預(yù)測的砂石目標區(qū)域(Result Area)，AGT表示實際的砂石目標區(qū)域(Ground Truth Area)，此分割結(jié)果對應(yīng)的Ground Truth為手工標記砂石目標獲得。使用Photoshop對砂石目標邊緣進行標記，將砂石個體與模糊不清的無效背景區(qū)分開，然后對標記圖進行二值化，砂石目標為白色，無效背景為黑色，最終得到的砂石個體相互獨立的圖像作為Ground Truth。Score越大，表明預(yù)測砂石目標區(qū)域與實際砂石目標區(qū)域的重疊部分越多，表示分割越接近真實，即分割效果越好。

2)砂石粒徑計算精確度評價方面，本文采用了計算誤差來表示砂石粒徑計算結(jié)果與真實結(jié)果間的差距，單位為像素，計算誤差的計算方式為：

error = |NumR-NumT|

(4)

其中，NumR表示計算結(jié)果數(shù)據(jù)(Result Number)，NumT為砂石粒徑大小真實數(shù)據(jù)(True Number)。其中計算結(jié)果數(shù)據(jù)，由本實驗運行結(jié)束后自動獲得，數(shù)據(jù)形式為砂石目標的最長徑所占的像素數(shù)。而砂石粒徑大小真實數(shù)據(jù)，為人工抽樣測量獲得。人工測量時，使用3個人分別對采集到的6張砂石樣本測試圖，每張圖像隨機抽取60顆砂石目標，對抽取到的砂石樣本進行人工測量其最長徑所占像素數(shù)，取這3×60顆砂石樣本測量所得數(shù)據(jù)的均值作為本張圖像的粒徑平均真實大小。對于“砂石圖像最長徑所占像素數(shù)”的人工測量方法，使用Windows系統(tǒng)下自帶的“畫圖”軟件，標記出砂石顆粒兩端的像素坐標，即可計算得到“砂石顆粒最長徑所占像素數(shù)”。

4.3 結(jié)果分析

在砂石分割效果上，為了體現(xiàn)本實驗方法中砂石圖像分割分離效果的優(yōu)越性，將本文方法和U-Net分割網(wǎng)絡(luò)進行了對比。圖9展示了2張不同批次的砂石圖像在使用本文方法和U-Net網(wǎng)絡(luò)方法分割效果的對比。圖中分別以矩形和橢圓標記出分割效果對比示例，其他位置的效果對比與示例類似。由圖中可見，本文方法基本上可以分割且分離粘連的砂石目標，而使用U-Net網(wǎng)絡(luò)分割方法，大部分砂石目標模糊且依舊粘連在一起，因此無法進行后續(xù)的粒徑計算工作，由此可以體現(xiàn)出本文分割方法的優(yōu)越性。

(a) 原圖 (b) 本文方法 (c) U-Net網(wǎng)絡(luò)分割方法圖9 不同方法分割效果對比

為了量化體現(xiàn)本文方法的有效性，表3展示了6張測試圖的分割重疊率和砂石粒徑計算結(jié)果。在分割重疊率方面，對比可以發(fā)現(xiàn)U-Net網(wǎng)絡(luò)分割重疊率均小于兩階段分割方法，這正是從量化的角度說明了在砂石圖像的分割能力上U-Net網(wǎng)絡(luò)弱于兩階段分割法。從表中可以發(fā)現(xiàn)3號圖像和4號圖像砂石粒徑最大，其分割結(jié)果重疊率最高，算法計算所得粒徑大小與手工測量粒徑大小誤差最小；而5號圖像和6號圖像砂石粒徑最小，其分割結(jié)果重疊率最低，算法計算所得粒徑大小與手工測量粒徑大小誤差最大。由此可以得出的結(jié)論是，當砂石顆粒較大時，分割效果較好，粒徑計算結(jié)果也較為準確；相反，當砂石顆粒較小時，分割效果較差，粒徑計算結(jié)果的誤差也較大。雖然5號圖像和6號圖像的計算誤差較大，但綜合來看，整體的計算誤差均能控制在10個像素之內(nèi)，由此可見本文方法計算砂石粒徑大小較為精確。

表3 砂石分割結(jié)果與粒徑計算統(tǒng)計表

對于本文實驗的分割算法時間性能分析方面，在實驗中，使用的計算機硬件設(shè)備CPU為Intel八代I5、GPU為NVIDIA GeForce GTX 1080Ti。對于6張尺寸為1296×972的測試圖像，兩階段分割法平均每張砂石圖像測試時間為：分割階段1.3 s、分離階段1.1 s，而U-Net網(wǎng)絡(luò)平均每張砂石圖像測試時間為3.1 s。與U-Net網(wǎng)絡(luò)相比，兩階段分割法由于網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，只有6層卷積層，而U-Net網(wǎng)絡(luò)包括了編碼、解碼等一系列操作，所以兩階段分割法的平均運行速度要快于U-Net網(wǎng)絡(luò)。因此可以說明本文的兩階段分割算法能夠快速分割砂石目標。

5 結(jié)束語

本文提出了一種基于全卷積網(wǎng)絡(luò)的砂石圖像粒徑檢測方法，能夠快速分割砂石目標，并準確計算出砂石粒徑大小。在砂石目標分割效果方面，使用其他現(xiàn)有的傳統(tǒng)方法或者深度網(wǎng)絡(luò)模型，分割結(jié)束后仍然有大量的砂石個體粘連在一起，而本文方法創(chuàng)新點在于使用2次網(wǎng)絡(luò)，先將砂石目標進行分割，但由于砂石目標緊密粘連，初次分割效果并不理想，所以需要對網(wǎng)絡(luò)模型進行再訓(xùn)練，將已經(jīng)分割的砂石目標進行分離，最終得到分割且分離完成的砂石目標。在砂石粒徑大小計算方面，計算精度雖然受砂石顆粒大小的影響，但依舊可以控制在可接受范圍內(nèi)，計算精度較為準確。

本文方法已按“基于深度學(xué)習(xí)的砂石圖像粒徑檢測方法”申請專利(專利號：201910201075.9)，而且還可以應(yīng)用于細胞檢測及計數(shù)，接下來的研究重點將會放在更加微小的砂石目標圖像的分割任務(wù)上，嘗試優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，以期獲得更好的微小目標分割效果。