高新聞，王龍坤

(1.上海大學 機電工程與自動化學院， 上海 200444;2.上海大學 上海城建(集團)公司建筑產業(yè)化研究中心，上海 201400)

0 引言

地鐵是當今城市人民的主要公共交通基礎設施，在世界范圍內有廣泛的應用，由于隧道在地下受到綜合壓力的作用會發(fā)生變形[1-2]，嚴重時盾構隧道襯砌表面會出現(xiàn)滲漏、裂縫、腐蝕、缺損等病害[3-4]，隧道內病害的出現(xiàn)對隧道的安全帶來了巨大的安全隱患，比如，裂縫的出現(xiàn)會引起隧道內的襯砌表面出現(xiàn)滲水、漏水，滲水和漏水的出現(xiàn)會引起隧道內的鋼制結構出現(xiàn)電化學腐蝕，電化學腐蝕進一步導致滲漏水的發(fā)生，導致隧道內的病害出現(xiàn)惡性循環(huán)，嚴重的影響了隧道的使用壽命和正常的運營。人工檢測的方法，具有較高的主觀性，并且隨著視覺的疲勞會引起誤檢、漏檢等，這種主觀性較強的檢測方法是很低效的，而且隧道中檢測人員的安全也是一個需要考慮的問題。傳統(tǒng)的基于視覺的方法來完成隧道病害的檢測[5-6]；因此，人們開發(fā)了基于圖像處理的半自動和全自動方法以促進隧道內的健康檢測,機器人的應用減少了人工的干預并且提高了檢測人員的安全性.此外隧道的照明條件較差，因此開發(fā)自動檢測的方法變得尤為重要。

1 檢測系統(tǒng)組成及檢測方法原理

地鐵隧道一般位于地下，其工作環(huán)境較差，而對于上?？琰S浦江的越江隧道，其工作環(huán)境惡劣，地下能夠行走的空間狹小，光線微弱，空氣尤為污濁。為此，本課題組設計了一種履帶式巡檢機器人進行地下隧道中結構病害的檢測，該巡檢機器人由履帶式行走本體和激光掃描儀、拍攝隧道結構病害的運動相機、避障的紅外傳感器等組成。由于該巡檢機器人工作環(huán)境中光照非常弱，導致拍攝的隧道視頻質量具有較低的清晰度和較多的陰影，甚至拍攝的視頻還具有一定的虛影。同時，由于本巡檢車檢測的越江隧道的結構襯砌由于工作年限比較長，在其表面很多地方都覆蓋了一層修補的混凝土或環(huán)氧樹脂，導致在該隧道中拍攝的視頻具有較多的相似性，這為后期的高精度隧道結構病害自動檢測帶來了一定的困難。

本研究針對地下隧道的特殊環(huán)境設計了一種殘差融合模塊網(wǎng)絡(Resfmnet)；Resfmnet網(wǎng)絡主要包括7個部分：1)特征提取網(wǎng)絡resnet50用于提取隧道圖像的特征；2)PFnet網(wǎng)絡塊，此網(wǎng)絡塊的作用是進行不同層次間的特征融合；3)RFB-F網(wǎng)絡塊，RFB-F網(wǎng)絡塊主要是為了針對隧道圖像中具有模糊和陰影而設計的；4)TRI-T網(wǎng)絡塊用來檢測不同尺度的目標；5)FPN模塊，利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到預測的效果；6)分類模塊(C模塊)，用來確定病害的類別信息；7)回歸模塊(C模塊)，用來確定病害的位置信息。本研究設計的Resfmnet網(wǎng)絡的具體結構如圖1所示。

2 相關研究

隨著人工智能的發(fā)展，特別是深度學習在計算機視覺上的應用，為基于圖像的目標檢測提供了新的機遇，如今深度學習技術已經被應用于工程設施的檢測和維護，而且被證明了是一種有效的方法[7-8],深度學習在圖像分類[9-10]、目標檢測[11]、語義分割[7,12]等方面表出了較好的性能；近年來隨著深度學習的發(fā)展，計算機視覺中的像素級語義分割得到迅速的發(fā)展[13-17]。高[18]等人提出一種將DenseNet用于隧道裂縫的檢測，該算法對隧道裂縫的分類取得了較好地效果，但是其檢測方法偏向一種病害檢測；Long[22]等人首先提出了全卷積神經網(wǎng)絡[FCN]進行語義分割，與普通的CNN相比，F(xiàn)CN可以接受任意大小的輸入，通過高效的推理和學習輸出相應大小的圖像，F(xiàn)CN的應用已經解決了許多難題[4,19-20];Ren[21]等人提出了一種基于改進的深度全卷積神經網(wǎng)絡，用于進行密集的像素級裂縫分割，提出的網(wǎng)絡由骨干網(wǎng)絡、擴張卷積、空間金字塔池化和跳接模塊組成，提高了網(wǎng)絡對裂縫的檢測能力。

使用深度學習對地鐵盾構隧道襯砌表面的病害進行識別可以分為3個主要目標：包括目標分類、目標檢測和語義分割:目標分類是將圖像中的物體進行類別劃分，目標檢測不僅要將圖像中的物體進行分類，而且還要確定物體的位置；由于要進行病害檢測的一張圖像上可能含有多種病害，而且需要對檢測的病害進行分類和定位，以便于后期評估和檢測人員的觀察，而語義分割側重于對每個像素進行分類。因此，本文將采用目標檢測的方法，實現(xiàn)對隧道的病害檢測。

本文主要研究對越江隧道中的電纜通道襯砌表面的多病害進行檢測；越江隧道為了防止江水的灌入，在隧道的襯砌表面采取了防護措施，比如在隧道的表面覆蓋了一層混凝土，受到隧道襯砌表面混凝土的影響，采集的圖像中相似性特征較多；雖然開發(fā)的移動機器人能夠提供光源，但是光源還是不足以提供足夠的光照強度，拍攝的視頻序列圖像的清晰度相對較弱，并且部分圖像中還具有陰影，大大增加了對隧道病害檢測的難度；由于越江隧道的電纜通道中沒有軌道，我們需要自己鋪設移動機器人的行駛路線，以保證移動機器人按照合理的路線行駛，機器人在隧道中行駛會出現(xiàn)一定的擺動，導致采集的視頻具有一定量的虛影，也增加了對隧道病害的檢測難度。因此，本文提出了一種新的網(wǎng)絡結構來進行隧道多病害的檢測與分類，以便于后期人員的維護，數(shù)據(jù)的采集是由自主開發(fā)的機器人獲得。

3 檢測方法

本文所提出的Resfmnet檢測算法結構如圖1所示。該算法主要包括4個部分：1)特征提取網(wǎng)絡resnet50用于提取隧道圖像的特征；2)PFnet網(wǎng)絡塊，此網(wǎng)絡的作用是進行不同層次間的特征融合；3)RFB-F網(wǎng)絡塊，RFB-F網(wǎng)絡塊主要是為了針對隧道圖像具有模糊和陰影而設計的；4)TRI-T網(wǎng)絡塊用來檢測不同尺度的目標。

圖1 Resfmnet檢測算法網(wǎng)絡結構圖

3.1 數(shù)據(jù)集的采集和制作

本實驗用到的數(shù)據(jù)集采自于上海的一條越江地鐵隧道中的電纜通道，地鐵隧道是一種位于地下的管狀結構，一般光照環(huán)境較差，為了捕獲越江隧道的襯砌表面的圖像數(shù)據(jù)，自行開發(fā)一種移動機器人，機器人具有3個Gopro像機、1個光源(LED燈)、1個激光雷達、監(jiān)視器、電池組成，使用的相機具有單線光敏傳感器，為單色互補金屬氧化物半導體(CMOS)，靜態(tài)有效像素1 200萬，視頻拍攝規(guī)格為4 K。

移動機器人在隧道內以一定的速度行駛，設定拍攝視頻時的幀率為30幀/s；在提取視頻時以每60幀提取一張視頻序列圖像；總共提取出1 961張有病害的圖像；由于訓練數(shù)據(jù)集有限，減少圖像數(shù)據(jù)過度擬合的一種常用方法是通過標簽保留變換人為地擴大數(shù)據(jù)集。為了增加數(shù)據(jù)集的數(shù)量和考慮到光照強度的影響，因此，在本實驗中對現(xiàn)有的數(shù)據(jù)集實施了數(shù)據(jù)增強，數(shù)據(jù)增強后總共獲取7 964張病害圖像，最終將訓練數(shù)據(jù)集的圖像數(shù)量與測試數(shù)據(jù)集的數(shù)量和驗證集數(shù)據(jù)集的數(shù)量之比按0.8∶0.1∶0.1進行隨機分配，訓練集用于訓練模型參數(shù)，驗證集用以驗證當前模型泛化能力，而測試集用于評估最終模型的準確性。

3.2 模型的骨干網(wǎng)絡

傳統(tǒng)的CNN網(wǎng)絡，如果只是簡單的增加網(wǎng)絡的深度，會導致梯度消失或梯度爆炸，對于梯度消失或爆炸的問題，我們一般采用正則化和batch normalization的方法，但是這種方法會引起梯度退化問題，即在訓練集上準確率會出現(xiàn)過飽和甚至下降的情況，為了解決梯度退化的問題，引入了殘差連接。Resnet網(wǎng)絡引入殘差塊來解決網(wǎng)絡的梯度退化問題，深度殘差網(wǎng)絡能通過連接前面網(wǎng)絡的特征，使得后面的網(wǎng)絡能夠學習到殘差特征。

本節(jié)針對地鐵盾構隧道的病害(滲漏、裂縫、腐蝕、缺損)構建網(wǎng)絡架構；采用的深度學習架構是keras，來完成這項任務；本文采用renet50作為基線網(wǎng)絡，如圖1所示。

3.3 子模塊網(wǎng)絡的設計

在本節(jié)中我們選擇了多尺度融合的思想，我們的思想是進行跨尺度的多級融合，利用低層次的特征可以檢測小目標，但是低層次的語義信息較低，導致檢測的準確性較低。而特征金字塔網(wǎng)絡[FPN]通過自頂向下的過程和橫向連接來解決低層次語義信息較低的問題，保持低層次特征有利于檢測小目標而且能提高檢測精度。為了能較好地融合不同層次的語義信息，在將骨干網(wǎng)絡提取的特征C5、C4、C3導入FPN網(wǎng)絡之前先進行層級融合，受到單向信息流的限制，我們采用一個自底向上和跨尺度的連接來解決這個問題；在跨尺度融合之前先將不同尺度的特征圖調整為相同大小的分辨率，然后對其進行求和，其次求和后的特征進行1×1的卷積,最后進行3×3的卷積，融合的方式如式(1)～(6)所示。具體的網(wǎng)絡結構參考圖2。

圖2 PFnet網(wǎng)絡的結構圖

(1)

C41=Conv1×1(C4)

(2)

C31=Conv1×1(C3)

(3)

C5out=Conv3×3(C51+C41vp)

(4)

C4out=Conv3×3(C41+C31vp)

(5)

C3out=Conv3×3(C31+C51vp)

(6)

其中：C5、C4、C3代表上一級網(wǎng)絡的輸出即Resnet網(wǎng)絡的輸出，C51vp、C41vp、C31vp代表C51、C41、C31的上采樣，C5out、C4out、C3out是PFnet網(wǎng)絡的輸出，Conv1×1、Conv3×3分別代表1×1和3×3的卷積，F(xiàn)代表通道數(shù)。

在隧道中由于光照強度非常弱，需要為移動機器人提供光源，但是人為提供的光源強度還是相對來說較弱，甚至還由于遮擋物的干擾，造成拍攝的視頻中具有陰影。移動機器人在隧道中行駛會遇到障礙，受到顛簸的移動機器人拍攝的視頻具有一定的虛影，為了更好地檢測那些具有黑暗和低對比度的圖像，我們加入了RFB-F網(wǎng)絡和TRI-T網(wǎng)絡中，在網(wǎng)絡中加入了擴張卷積保持了網(wǎng)絡的分辨率和感受野，可以對病害的類別進行更準確的預測。圖3是RFB-F網(wǎng)絡結構圖，圖4是TRI-T網(wǎng)絡結構圖，其中d代表擴張率。

圖3 RFB-F網(wǎng)絡結構圖

圖4 TRI-T網(wǎng)絡結構圖

RFB-F網(wǎng)絡有3部分組成：1)用不同尺度的卷積核用來提取不同尺度的特征；2)對不同尺度的特征圖進行擴張卷積；從而用不同尺度的感受野來描述提取的特征；3)跳接塊用來防止梯度消失，解決了網(wǎng)絡退化的問題。RFB-F網(wǎng)絡的公式如下：

Input1=Conv1×1(Input)

(7)

Output1=Conv1×1,d=1Conv1×1(Input1)

(8)

Output2=Conv1×1,d=1Conv3×1(Input1)

(9)

Output3=Conv1×1,d=3Conv1×3(Input1)

(10)

Output4=Conv1×1,d=3Conv3×3(Input1)

(11)

Output5=Conv1×1,d=5Conv5×5(Input1)

(12)

Output=Conv1×1(Input1+Outputi)

鼻竇及鼻腔炎性肌纖維母細胞瘤（IMT）是少見病，發(fā)病年齡40歲左右，臨床過程多為良性，CT表現(xiàn)特征為病變上頜竇多見，多均勻或不均勻軟組織密度影，呈膨脹性單側生長，具有侵襲性，有骨質吸收破壞，可以骨質增生與骨質破壞并存，少有鼻中隔受侵、 淋巴結及遠隔轉移。術后易復發(fā)。

(13)

其中:Input是上一級網(wǎng)絡的輸出即為{C5out、C4out、C3out}中的任意一個，Output是RFB-F網(wǎng)絡的輸出，Outputi(i=1,2,3,4,5)是RFB-F網(wǎng)絡的中間計算結果，Output是RFB-F網(wǎng)絡的輸出結果，F(xiàn)代表通道數(shù)，d代表擴張率。

TRI-T網(wǎng)絡有2部分組成：1)3×3的卷積和不同大小的空洞卷積；用于提高檢測尺度的敏感性；2)跳接塊用來防止梯度消失，解決了網(wǎng)絡退化的問題。TRI-T網(wǎng)絡的公式如下：

Input1=Conv1×1(Input)

(14)

Output1=Conv1×1Conv3×3,d=j(Input1)

(15)

Output=Conv1×1(Input1+Output1)

(16)

其中：Input是上一級網(wǎng)絡的輸出,Output是TRI-T網(wǎng)絡的中間計算結果Conv1×1代表1×1的卷積，Conv3×3,d=j代表了3×3的卷積，其中d代表擴張率,j={1,3,5}，F(xiàn)代表通道數(shù)。

3.4 模型的訓練

本文所采用的實驗均在臺式計算機上實現(xiàn)，其詳細的參數(shù)為：1個Intel core i7-4790@3.60 Hz CPU 8核處理器，1個16 GB RAM，1個NVIDIA GTX1070 GPU和GPU內存 8 G，64位系統(tǒng)類型。基于深度學習的算法中使用GPU進行訓練網(wǎng)絡，并且部署了CUDNN深度神經網(wǎng)絡庫，在Resfmnet網(wǎng)絡中，將多尺度特征進行融合對目標進行準確的識別和定位,在本實驗中設置訓練輪次Epoch=100。該算法的步驟為：

1)隨機初始化網(wǎng)絡的權重；

3)計算預測值與標簽值之間的差別；

4)更新網(wǎng)絡的權重wt：

(17)

其中：α是學習率，L是損失函數(shù)，代表預測值與真實值之間的差別，wt表示t次迭代時的權重，為了解決類別的不平衡問題我們選擇了Focal loss損失函數(shù):

Lp=-αt(1-pt)γlog(pt)

(18)

其中：αt，γ是固定值，αt調節(jié)正負樣本的比例，pt是不同類別的概率。最終將隧道的數(shù)據(jù)集運行在此深度學習網(wǎng)絡上，經過多個輪次的調參之后，以最大化損失函數(shù)向全局最優(yōu)的收斂，訓練過程中的模型在每個 epoch 后保存，并監(jiān)控最小損失值。然后在測試集上驗證Resfmnet模型的準確性，并將具有最高準確性的模型保存為最終模型。

4 實驗分析

在隧道運營過程中，隧道土建結構維護較為復雜，有著眾多干擾，如圖5所示，其主要有以下幾種病害：裂縫、滲漏水、缺損、腐蝕、起殼、樹脂修補和混凝土出現(xiàn)漏筋。在對本文做試驗的越江隧道實際檢查后發(fā)現(xiàn)，起殼、樹脂修補和漏筋出現(xiàn)較少，因此本文主要對腐蝕、裂縫、缺損和滲漏4種病害進行檢測，其中腐蝕病害的數(shù)量有499個，裂縫病害的數(shù)量有1 760個，缺損的數(shù)量有1 306個，滲漏的數(shù)量有13 726個。腐蝕占比為0.028 8，裂縫占比為0.101 8，缺損的占比為0.075 5，滲漏的占比為0.793 9；數(shù)據(jù)存在嚴重的不平衡現(xiàn)象。為了較好地評估網(wǎng)絡的檢測結果，根據(jù)目標檢測的特性選取了一些評價指標。

圖5 隧道襯砌表面及影響識別的干擾物

4.1 評價指標

深度學習在評估模型的時候，經常會使用一些特定的評價指標，根據(jù)數(shù)據(jù)集的分布和側重的效果選擇不同的評價標準，一般的評價指標有F1-score、AP和mAP。在多目標檢測中一般選擇AP和mAP作為評價指標。因此本文選擇AP和mAP作為評價指標，用來綜合評價本文模型檢測結果的準確性。

(19)

(20)

(21)

(22)

其中：TP表示實際上是正樣本，預測的結果也是正樣本，F(xiàn)P實際為正樣本，預測結果為負樣本，F(xiàn)N:實際為負樣本，預測結果為正樣本，q是隧道中病害的類別數(shù)量，P是精確率,R是召回率,AP是每個類別的平均精確率,mAP是檢測的所有類別的平均精確率。

4.2 結果對比

表1列出了Resfmnet與Retinanet對比的評估指標對比結果。從表1可以看出Resfmnet的方法在各方面的指標均優(yōu)于Retinanet的方法,Resfmnet的mAP比Retinanet高出0.064 6;說明了Resfmnet的方法更有利于提高隧道中病害的檢測能力，與傳統(tǒng)的網(wǎng)絡相比本文的算法采用了模塊化設計，而且每個模塊都是單獨的，可以根據(jù)實際需要進行更換或刪除相關模塊，從而大大方便了更換網(wǎng)絡的效率。

表1 算法指標對比

表2 檢測算法對不同病害的誤檢率結果對比

表2顯示了Resfmnet檢測算法與Retinanet檢測算法對不同病害的誤檢率結果對比，通過對比可以發(fā)現(xiàn)Resfmnet檢測方法的平均誤檢率低于Retinanet方法，說明對于惡劣的隧道環(huán)境Resfmnet方法具有較好的表現(xiàn)性能。為了驗證本文提出的方法的準確性，將Resfmnet與Retinanet的方法的檢測結果進行對比，比較結果如圖6所示，圖6(a)是漏水檢測原圖，圖6(d)是裂縫檢測原圖，從圖6(b)、(c)漏水檢測可以看出，Retinanet方法檢測的結果在同一個病害上出現(xiàn)了兩個錨框，而Resfmnet的方法只有一個錨框，說明了Resfmnet的方法能有效地提高檢測的準確率，從而對同一病害進行有效的區(qū)分；從圖6(e)、(f)可以看出，Retinanet方法對病害的檢測結果出現(xiàn)了漏檢，而Resfmnet的方法能有效地將病害檢測出來，說明了我們的方法對清晰度較低的圖像或有陰影的圖像，甚至出現(xiàn)了模糊的圖像，仍然具有較好地檢測效果。

圖6 檢測算法對不同病害的檢測結果對比

5 結束語

本文提出了一種針對越江隧道襯砌病害快速識別的目標檢測方法，針對網(wǎng)絡層次的加深出現(xiàn)飽和的問題，提出了PFnet網(wǎng)絡進行層級融合，為了解決在隧道中拍攝視頻時，移動機器人的光照強度不足，導致圖像出現(xiàn)黑暗、對比度和亮度的微弱變化，本文加入了RFB-F模塊和TRI-T模塊。通過對比Resfmnet與Retinanet的方法的檢測結果，驗證了Resfmnet的方法具有較高的準確率。隨著深度學習技術特別是目標檢測技術的快速發(fā)展，使得深度學習技術越來越多的應用到建筑領域的維護方面，對于民用技術設施的檢測和維護提供了強有力的技術支持。在隧道檢測領域深度學習技術被證明是一項可靠、安全的技術。