程小龍,胡煦航,張 斌

(江西理工大學土木與測繪工程學院,江西 贛州 341000)

1 引 言

滲漏水是盾構(gòu)隧道安全危害最大的病害之一,盾構(gòu)隧道滲漏水的位置通常是管片的接縫、管片自身小裂縫、注漿孔和手孔。盾構(gòu)隧道滲漏水容易導致地下水侵入隧道,損壞其內(nèi)部結(jié)構(gòu)與其附屬的管線,減少盾構(gòu)隧道和附屬管線的使用壽命[1],也容易引起水土流失、不均勻沉降等,從而影響民眾出行安全。因此,對盾構(gòu)隧道滲漏水快速精準的檢測,是有效控制及整治盾構(gòu)隧道滲漏水的基礎(chǔ)[2]。近年來,深度學習[3]發(fā)展迅速,為盾構(gòu)隧道滲漏水病害識別提供了研究思路。高新聞等人[4]提出了一種將FCN與視場柱面投影相結(jié)合的隧道滲漏水檢測方法,提高了計算滲漏水面積的準確度。薛亞東等人[5]基于Faster R-CNN的深度學習框架,結(jié)合特征優(yōu)化網(wǎng)絡(luò)模型,對隧道滲漏水進行檢測,能夠提高單一病害識別的準確度。Xiong等人[6]將漏水圖像分為六類,每類都提取深度特征用于圖像識別,通過改進FCN并對隧道圖像分類進行漏水識別。Huang等人[7]運用FCN網(wǎng)絡(luò)模型,對裂縫、漏水兩種危害采用兩種不同的算法進行識別,提高了檢測準確度和效率。同時為克服傳統(tǒng)數(shù)字影像光照條件要求高等問題,Cheng等人[8]利用移動激光雷達的強度圖像進行盾構(gòu)隧道滲漏自動檢測,同時獲取盾構(gòu)隧道的點云和強度信息,對原始強度數(shù)據(jù)進行距離效應(yīng)校正,生成強度圖像,基于全卷積網(wǎng)絡(luò)(FCN)的深度學習網(wǎng)絡(luò)結(jié)構(gòu)VGG-19,實現(xiàn)強度圖像的隧道泄漏準確檢測。上述基于深度學習的方法都集中在監(jiān)督學習領(lǐng)域,相較于傳統(tǒng)的方法在一定程度上提升了檢測、識別的準確性、精確度以及速度,但監(jiān)督學習的方法想要獲得良好的識別效果,就必須要有大量的標注訓練數(shù)據(jù)。生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[9-10]可標注少量樣本數(shù)據(jù)實現(xiàn)圖像的檢測。V-GAN[11]是一種使用生成對抗訓練生成精確的視網(wǎng)膜血管圖的方法,在主流數(shù)據(jù)上達到了先進的性能,V-GAN原有任務(wù)是對視網(wǎng)膜血管進行語義分割,分割方法與分割形式和滲水檢測任務(wù)相似。因此,為了在標記少量樣本的情況下,實現(xiàn)盾構(gòu)隧道滲漏水的檢測,本文以LiDAR強度圖像作為數(shù)據(jù)源,提出了一種基于改進V-GAN生成對抗網(wǎng)絡(luò)的盾構(gòu)隧道LiDAR強度圖像滲漏水半監(jiān)督語義分割網(wǎng)絡(luò)模型,實現(xiàn)盾構(gòu)隧道強度圖像滲漏水的自動檢測。

2 研究方法

針對原有V-GAN模型中生成器和判別器所運用的模型復雜度較低,難以適應(yīng)盾構(gòu)隧道滲漏水提取任務(wù)中復雜的環(huán)境,為提高模型的抗遮擋能力、分割完整性,本文在原有的V-GAN模型中,建立了一種Dense塊作為編碼器,殘差塊作為解碼器的Unet[12]模型作為生成器網(wǎng)絡(luò),在Dense塊之間加了轉(zhuǎn)置層與空間通道壓縮與激活模塊[13],強調(diào)重要特征抑制無意義特征,并運用空洞空間卷積池化金字塔模塊作為編碼器與解碼器之間的橋接,擴大感知范圍。運用一種改進的深度殘差Unet(Improved-ResUnet)作為判別器網(wǎng)絡(luò)。

2.1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

本文構(gòu)建的生成器網(wǎng)絡(luò)是由密集塊與殘差塊組成的Unet(Dense-ResUnet,DRUnet),如圖1所示。在編碼器部分使用密集單元替代了原有的單元,在每一個密集單元之間加入scSE模塊,利用對通道以及空間的擠壓重新校準特征圖,再對校準之后的特征圖進行激活,激活之后經(jīng)過轉(zhuǎn)置輸入下一個密集塊。利用ASPP(空洞空間卷積池化金字塔)模塊作為橋接部分,擴大感受野,有效捕獲多尺度信息,使得分割更加完整;如圖2所示,該模塊使用具有不同采樣率的多個并行空洞卷積層,為每個采樣率提取的特征在單獨的分支中進一步處理,并融合以生成最終結(jié)果。通過不同的空洞率構(gòu)建不同感受野的卷積核,用來獲取多尺度信息。在解碼器部分使用殘差單元替代了原有的上采樣部分,簡化網(wǎng)絡(luò)訓練,在提升性能的同時能夠減少參數(shù)量。

圖1 DRUnet生成器網(wǎng)絡(luò)結(jié)構(gòu)

圖2 ASSP模塊的功能

2.2 判別器網(wǎng)絡(luò)結(jié)構(gòu)

本文構(gòu)建的判別器網(wǎng)絡(luò)是如圖3所示,在原有Unet(ResUnet)模型中,首先用卷積與空洞卷積并行結(jié)構(gòu)替換原有的殘差塊(Res block),提高信息傳遞能力;然后在密集塊之間加入轉(zhuǎn)置層和空間通道壓縮與激活(scSE)模塊,對空間和通道進行重新校準,強調(diào)重要特征抑制無用特征;最后利用空洞空間卷積池化金字塔(ASPP)模塊連接編碼器與解碼器,提取多尺度特征。改進的深度殘差Unet(Improved-ResUnet)具有卷積與空洞卷積并行結(jié)構(gòu)組成的編碼器,普通卷積與鋸齒狀疊加的空洞卷積使得網(wǎng)絡(luò)模型的感受野能夠覆蓋整個輸入圖像而且不會出現(xiàn)缺失的現(xiàn)象,增強了空間相關(guān)性;由殘差塊組成的解碼器能夠簡化網(wǎng)絡(luò)訓練,使得梯度爆炸問題[14]得到了緩解;在解碼器與編碼器模塊之間加入了空間通道壓縮與激勵模塊、空洞空間金字塔池化[15]模塊,從空間與通道上對輸出特征進行校準,增強有意義的特征忽略無關(guān)特征。

圖3 Improved-ResUnet判別器網(wǎng)絡(luò)結(jié)構(gòu)

在訓練中生成器和判別器很難達到同步,為了使得網(wǎng)絡(luò)訓練更穩(wěn)定,在判別器中本文討論運用Leaky Relu和Tanh激活函數(shù)替換原有網(wǎng)絡(luò)中的Relu與Sigmoid激活函數(shù)。

為了訓練判別器D做出正確的判定,則希望D(x,y)能夠最大化,同時需要最小化D(x,G(x))。生成器通過產(chǎn)生于真實數(shù)據(jù)無法區(qū)分的輸入結(jié)果來防止判別器做出正確的判定,最終目標是從生成器獲得真實的輸出,因此目標函數(shù)被定義為目標的極小與極大化。同時分割任務(wù)還可以添加損失函數(shù)來運用地面真值圖像,損失函數(shù)能夠懲罰(penalize)地面真值與輸出結(jié)果之間的距離。在本實驗中運用二元交叉熵函數(shù)[16]來促進目標的識別與分割。因此,在綜合了GAN的目的與損失函數(shù)后,將目標函數(shù)定義為:

(1)

其中,λ表示目標函數(shù)的平衡因子,在本文中遵循原文的設(shè)定,將λ設(shè)置為10。

綜上,本文所設(shè)計的DRUnet-Improved-ResUnet(DRUnet-IRUnet)生成對抗網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4所示。將少量的盾構(gòu)隧道滲漏水圖像輸入生成器網(wǎng)絡(luò)中,生成與輸入圖像大小相同的滲漏水提取圖像。判別器通過結(jié)合地面真值來確定所輸入判別器的圖像是來自于生成器所生成的還是地面真值,根據(jù)判別的結(jié)果交替的更新、訓練生成器與判別器,最后實現(xiàn)收斂。

圖4 本文改進的DRUnet-Improved-ResUnet生成對抗網(wǎng)絡(luò)模型結(jié)構(gòu)

3 實驗結(jié)果與結(jié)論

3.1 數(shù)據(jù)集選擇

本文利用改正后強度數(shù)據(jù)進行實驗所需數(shù)據(jù)集的制作。首先,將改正后的強度圖像進行分割,分割大小為224×224,并通過Labelme軟件對分割后的強度圖像進行標注。標注分為一個前景滲漏水區(qū)域和一個背景區(qū)域兩類,圖像中滲漏區(qū)域被標記為白色,同時背景區(qū)域被標記為黑色以便于區(qū)分,標注的原始強度圖像為1000張。首先選取500張滲漏水強度圖像作為訓練數(shù)據(jù)集,之后減少輸入數(shù)據(jù)集至200張,最后減少至100張,以驗證本文所提出的生成對抗網(wǎng)絡(luò)在人工標記少量樣本的情況下,對盾構(gòu)隧道強度圖像滲漏水半監(jiān)督語義分割的有效性。

3.2 模型訓練

本文的算法在win10環(huán)境下采用python開發(fā),采用的框架是Keras和Tensorflow。算法中通過調(diào)用圖像處理器(Graphics Processing Unit,GPU)和專用深度神經(jīng)網(wǎng)絡(luò)加速庫(CUDA deep neural network library,cuDNN)進行快速并行計算。計算機硬件配置為Intel Xeon Gold 5122@3.60 GHz 雙處理器、128 GB內(nèi)存和NVIDIA Quadro P5000顯卡。模型的損失函數(shù)為二元交叉熵函數(shù),在訓練過程中使用Adam優(yōu)化算法進行優(yōu)化,固定學習率為2×10-4,β1=0.5加快收斂,批大小設(shè)置為8。

3.3 預測結(jié)果與分析

本文使用受試者操作特征曲線下面積(Area Under Curve for Receiver Operating Characteristic,ROC-AUC)、精度和召回曲線下面積(Area Under Curve for Precision and Recall Curve,PR-AUC)來評估本文所改進的網(wǎng)絡(luò)的性能。在本文所建立的盾構(gòu)隧道滲漏水數(shù)據(jù)集上,本文將所提出的生成對抗網(wǎng)絡(luò)與原模型V-GAN以及DRUnet作為生成器,FCN作為判別器的生成對抗網(wǎng)絡(luò)(DRUnet-FCN-GAN)進行了對比,采用了500張圖像作為訓練集輸入訓練,運用100張未參與訓練的盾構(gòu)隧道滲漏水圖像進行測試驗證,表1顯示了所提出網(wǎng)絡(luò)與V-GAN、DRUnet-FCN-GAN的比較結(jié)果,更優(yōu)的結(jié)果加粗表示。

表1 不同的模型在500張盾構(gòu)隧道滲漏水

從對比表中可以看出,DRUnet-FCN-GAN、DRUnet-IRUnet-GAN所得到的受試者操作特征曲線下面積、精度和召回曲線下面積與V-GAN相比都有不同的提高,定量的證明了DRUnet-IRUnet-GAN良好性能,同時當樣本數(shù)量為500時,DRUnet-FCN-GAN相比于DRUnet-IRUnet-GAN能夠達到更好的效果。

從定量的角度分析來看,本文所提出的網(wǎng)絡(luò)模型在評價指標上已經(jīng)優(yōu)于原網(wǎng)絡(luò)V-GAN。圖5顯示了三組實驗在測試集圖像上對于滲漏水提取的可視化對比。從圖中可以看出,當圖像中存在電線時,由于電線呈片狀橫向的遮擋,使得滲漏水的區(qū)域若隱若現(xiàn),原網(wǎng)絡(luò)V-GAN在電線遮擋較多的區(qū)域?qū)τ跐B漏水區(qū)域的提取不準確,甚至有些情況下出現(xiàn)了提取斷裂無法提取到滲漏水區(qū)域的問題。相對于原網(wǎng)絡(luò)V-GAN、DRUnet-IRUnet-GAN具有一定的提升,對于滲漏水區(qū)域提取的整體性要優(yōu)于原網(wǎng)絡(luò)V-GAN,對于電線的遮擋具有一定的抵抗能力,但是在對于裂縫的干擾的情況下還具有一定的優(yōu)化空間。

圖5 在部分測試集上提取可視化結(jié)果

為了進一步研究本文所提出的網(wǎng)絡(luò)模型的性能,減少輸入數(shù)據(jù)集至200張圖像,運用100張未參與訓練的盾構(gòu)隧道滲漏水圖像進行測試驗證,表2顯示了所提出網(wǎng)絡(luò)與V-GAN、DRUnet-FCN-GAN的比較結(jié)果,其中更優(yōu)的結(jié)果加粗表示。

表2 不同的模型在200張盾構(gòu)隧道滲漏水數(shù)據(jù)

本文所改進的網(wǎng)絡(luò)雖然在兩組精度指標上稍微也有下降,但是與V-GAN、DRUnet-FCN-GAN相比,依然有不同的提高。定量的證明了在只有200張圖像的少量樣本情況下DRUnet-IRUnet-GAN檢測性能最佳。

在可視化的對比中,從圖6可以看出,對于滲漏水比較嚴重或者作為漏水點,會使得點云的強度值更大,投影到二維平面時圖像上出現(xiàn)RGB值更大的區(qū)域,與周圍滲漏水區(qū)域RGB值不相同對原網(wǎng)絡(luò)V-GAN的判斷造成了干擾,同時原網(wǎng)絡(luò)V-GAN對于與隧道裂縫重合的線狀滲漏水痕跡也造成了部分滲漏水情況無法識別的情況。本文的方法對于滲漏水比較嚴重區(qū)域或者漏水點、線狀滲漏水痕跡的識別與分割能夠做的更好。

圖6 在部分測試集上提取可視化結(jié)果

最后本文將輸入生成對抗網(wǎng)絡(luò)的訓練數(shù)據(jù)減少至100張,表3展示了在100張訓練集上V-GAN、DRUnet-FCN-GAN和本文改進網(wǎng)絡(luò)的對比結(jié)果,其中更優(yōu)的結(jié)果加粗表示。

表3 不同的模型在100張盾構(gòu)隧道滲漏水數(shù)據(jù)上的提取結(jié)果對比

當數(shù)據(jù)減少到只有100張時,本文提出的DRUnet-IRUnet-GAN所得到的受試者操作特征曲線下面積、精度和召回曲線下面積與其他兩組網(wǎng)絡(luò)相比都有不同的提高。但與500張訓練數(shù)據(jù)集相比,雖然在ROC-AUC指標上下降的不多,但是在PR-AUC上下降了大約10 %。

圖7展示了三組實驗的可視化對比,由于樣本的減少,使得訓練集中可以學習的特征數(shù)量也相應(yīng)的減少,三組網(wǎng)絡(luò)在對于大面積滲漏水區(qū)域的識別中展現(xiàn)的能力不足,特別是對滲漏水內(nèi)部識別會出現(xiàn)缺損的情況。但是對于橫置管道的干擾,三種網(wǎng)絡(luò)都能很好的識別并且削弱了這種干擾。雖然DRUnet-IRUnet-GAN展現(xiàn)了三組網(wǎng)絡(luò)中對于滲漏水區(qū)域識別的相對比較完整的效果,但是在面對電線的干擾時卻出現(xiàn)了誤判,存在識別中斷的情況。

圖7 在部分測試集上提取可視化結(jié)果

3.4 討 論

表4展現(xiàn)了三組生成對抗網(wǎng)絡(luò)的可訓練參數(shù)量。從表中可以看到,DRUnet-FCN-GAN、DRUnet-IRUnet-GAN、V-GAN的總參數(shù)量依次遞減。V-GAN、DRUnet-FCN-GAN、DRUnet-IRUnet-GAN訓練所需要的時間(以100張訓練數(shù)據(jù)集為例)依次遞增。這是因為DRUnet-FCN-GAN中雖然網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量最多,但是參數(shù)量主要在判別器網(wǎng)絡(luò)FCN中,而GAN的訓練方式是首先訓練判別器,使得判別器具有一定能判別能力之后再訓練生成器,訓練生成器網(wǎng)絡(luò)直到生成器所生成的結(jié)果使得判別器難以判定時再次訓練判別器。而DRUnet-IRUnet-GAN網(wǎng)絡(luò)中,生成器與判別器的參數(shù)量相差不多,所以使得在GAN的訓練中生成器與判別器的交替訓練次數(shù)較多,所以使得訓練時間要多于V-GAN、DRUnet-FCN-GAN。

表4 三組模型參數(shù)量與運行時間對比

4 總 結(jié)

針對現(xiàn)有滲漏水檢測方法數(shù)據(jù)采集效率低、現(xiàn)場采集環(huán)境要求高、訓練數(shù)據(jù)樣本量大等問題,本文提出了基于改進V-GAN的盾構(gòu)隧道強度圖像滲漏水提取方法。在原有的V-GAN模型的基礎(chǔ)上,通過改進生成器網(wǎng)絡(luò)以及判別器網(wǎng)絡(luò),得到DRUnet-IRUnet-GAN生成對抗模型,進行對抗訓練。實驗結(jié)果表明,當輸入500張、200張、100張少量樣本時,本文所提出的網(wǎng)絡(luò)模型對滲漏水區(qū)域有著較好的識別,在精度評價指標上都要高于V-GAN,同時對于背景物如電纜線、支架,螺栓孔等干擾具有一定的魯棒性。同時當樣本數(shù)量為200時,本文方法在樣本數(shù)量和檢測效果及檢測精度上達到了相對最優(yōu)。本文實驗對于滲漏水痕跡的識別與分割能夠到達良好的效果,但是對于滲漏水區(qū)域的邊界分割精度還需進一步提升。下一步研究工作將致力于優(yōu)化模型結(jié)構(gòu),減少模型參數(shù)量,縮短模型的訓練時間,進一步提升滲水區(qū)域邊界分割精度。