馬鐸，方宏遠，王念念，胡浩幫，董家修

(1.鄭州大學(xué)水利科學(xué)與工程學(xué)院，河南 鄭州 450000；2.國家地方重大基礎(chǔ)設(shè)施檢測與修復(fù)技術(shù)聯(lián)合工程實驗室，河南 鄭州 450000)

1 引 言

排水管網(wǎng)是城市的生命線，廣泛埋置于城市地下，對城市排水、排污起到重要作用。近年來，由于地基的不均勻沉降[1]，微生物腐蝕[2]等多種因素的作用，形成了多種管道缺陷，如破漏，錯口，腐蝕，障礙物等。這些缺陷造成了管道的擁堵、泄露，甚至?xí)l(fā)城市內(nèi)澇，路面塌陷，嚴重影響了人民的生命財產(chǎn)安全。因此，應(yīng)當(dāng)定期檢測排水管道，為養(yǎng)護修復(fù)工作提供支持。

現(xiàn)有的排水管道檢測主要通過電視檢測和潛望鏡檢測采集圖像或視頻數(shù)據(jù)，人工判讀的方法，費時費力，效率低下。隨著計算機性能的不斷發(fā)展，計算機視覺算法廣泛應(yīng)用于食品[3]、基礎(chǔ)工程[4]等領(lǐng)域。計算機視覺算法同樣可以應(yīng)用于排水管道檢測領(lǐng)域。現(xiàn)有的基于計算機視覺的排水管道檢測方法主要包括：傳統(tǒng)算法[5]、機器學(xué)習(xí)[6，7]和深度學(xué)習(xí)。由于排水管道內(nèi)部環(huán)境復(fù)雜，傳統(tǒng)算法和機器學(xué)習(xí)算法僅分析了少量缺陷特征，無法滿足排水管道檢測準確度要求。

近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，王新穎等人[8]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的燃氣管道泄漏檢測方法，與基于機器學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)相比，該方法更加準確穩(wěn)定，提高了燃氣管道泄漏故障的診斷能力。Kumar等人[9]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的多種類排水管道缺陷圖像分類方法，提高了模型的泛化能力。

但是，單層卷積無法捕獲遠距離特征，卷積算子的感受野具有局限性。為了擴大網(wǎng)絡(luò)的關(guān)注區(qū)域，需要堆疊多層“卷積-池化”結(jié)構(gòu)，增加網(wǎng)絡(luò)深度，從而提高檢測精度[10，11]。但是，這種方法獲得的有效感受野以中心為原點向外高斯衰減，造成了信息損失，阻礙了檢測精度的進一步提升。針對以上問題，本文構(gòu)建了一種基于自注意力的排水管道缺陷檢測方法。該方法采用自注意力機制和Transformer代替了卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，通過多層感知機和Softmax函數(shù)為缺陷圖像預(yù)測分類標簽。

2 方 法

標準的Transformer是用于解決機器翻譯問題的模型，輸入值為一維語義序列[12]。如圖1所示，為了處理二維圖像，本文首先將原始圖像分割為9個區(qū)塊。然后，將各二維區(qū)塊向量化為Transformer模型可以接收的一維有效序列(x1，x2，x3，…，x9)。接下來，通過全連接層，將一維序列轉(zhuǎn)換為固定長度的內(nèi)容向量。為了增加區(qū)塊的位置信息，對每個區(qū)塊增加位置編碼信息，最終，嵌入內(nèi)容向量，得到語義序列(z1，z2，z3，…，z9)。最終，通過多層感知機和Softmax函數(shù)，將獲得的特征向量轉(zhuǎn)化為預(yù)測的分類結(jié)果，從而實現(xiàn)了對管道缺陷的檢測。

圖1 基于Transformer的多種類管道病害檢測算法結(jié)構(gòu)圖

2.1 注意力機制

注意力模型(AM，Attention model)最初被用于機器翻譯，用于解決長期依賴的問題，現(xiàn)已成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個重要概念[13]。如圖2所示，Transformer中的注意力機制是通過計算輸入序列的注意力分布，得到與當(dāng)前預(yù)測值相關(guān)的注意力值，這個過程實際上是注意力機制緩解神經(jīng)網(wǎng)絡(luò)模型復(fù)雜度的體現(xiàn)。通過權(quán)重大小，注意力機制模擬了人類處理信息的注意力側(cè)重，有效地提高了模型的性能，降低了計算量[12]。

圖2 注意力機制結(jié)構(gòu)圖

2.2 Transformer模型

傳統(tǒng)的機器翻譯等任務(wù)采用循環(huán)神經(jīng)網(wǎng)絡(luò)。但是，循環(huán)神經(jīng)網(wǎng)絡(luò)難以處理長序列輸入問題。Transformer模型拋棄了傳統(tǒng)的“編碼-解碼”模型的固有模式，僅采用自注意力機制，減少了計算量，不損害最終的實驗結(jié)果[14]。

通過堆疊自注意力矩陣，可以獲得“多頭”注意機制，每個查詢矩陣、關(guān)鍵矩陣、值矩陣保持獨立，從而產(chǎn)生不同的權(quán)重矩陣。如圖3所示，Transformer結(jié)構(gòu)是全連接層和多頭自注意力層的連接。通過堆疊多層Transformer結(jié)構(gòu)，算法能夠提取長期序列的輸入特征，從而用于預(yù)測或分類問題。

圖3 Transformer結(jié)構(gòu)圖

3 管道缺陷分類模型的構(gòu)建

3.1 多種類管道缺陷數(shù)據(jù)庫

(1)數(shù)據(jù)采集

與深度卷積神經(jīng)網(wǎng)絡(luò)相同，基于Transformer的神經(jīng)網(wǎng)絡(luò)模型也需要大量的圖像數(shù)據(jù)。通過管道機器人，本文采集了鄭州市和天津市的地下排水管道圖像。但是，由于排水管道內(nèi)部環(huán)境復(fù)雜，原始圖像存在模糊、各類缺陷數(shù)量不均衡等問題。本文對原始圖像進行了嚴格的挑選，組成了清晰度高，數(shù)量均衡的原始排水管道缺陷數(shù)據(jù)集。該數(shù)據(jù)集包含4類缺陷：錯口、腐蝕、破漏、障礙物。

如表1所示，本文將原始圖像隨機分為訓(xùn)練集、驗證集和測試集。

多種類管道缺陷數(shù)據(jù)庫組成表 表1

(2)數(shù)據(jù)增強

數(shù)據(jù)增強是指基于有限的數(shù)據(jù)生成更多等價數(shù)據(jù)，豐富訓(xùn)練數(shù)據(jù)分布，提高模型泛化能力的方法[15]。為了保證驗證集和測試集圖像的真實性，本文沒有對這兩種圖片進行數(shù)據(jù)增強。因此，驗證集和測試集的圖像數(shù)量仍保持不變。

(3)多種類管道病害數(shù)據(jù)庫的構(gòu)建

由于僅僅對訓(xùn)練集圖像進行了增強處理，因此，管道病害圖像數(shù)據(jù)庫中訓(xùn)練集、驗證集和測試集的圖像比例沒有保持6∶2∶2的比例。最終，管道病害圖像數(shù)據(jù)庫包含 7 576張管道病害圖像，其中訓(xùn)練集共 6 496張圖像，1 516張錯口圖像，1 492張破漏圖像、1 616張腐蝕圖像，1 872張障礙物圖像，驗證集和測試集圖像數(shù)量保持不變，分別包含540張圖像。

3.2 模型的訓(xùn)練與驗證

(1)遷移學(xué)習(xí)

相比于卷積神經(jīng)網(wǎng)絡(luò)，Transformer更加依賴于大量的訓(xùn)練數(shù)據(jù)。隨著數(shù)據(jù)集規(guī)模的增大，Transformer模型的檢測效果能夠逐漸超越卷積神經(jīng)網(wǎng)絡(luò)[16]?，F(xiàn)有的公開數(shù)據(jù)集，如ImageNet[17]等，包含大量的圖像數(shù)據(jù)，因此，能夠獲得優(yōu)異的檢測效果。但是，由于管道內(nèi)部環(huán)境復(fù)雜，現(xiàn)有的管道內(nèi)表面缺陷圖像數(shù)量較少。

遷移學(xué)習(xí)是指遷移相關(guān)領(lǐng)域的知識結(jié)構(gòu)，改進目標領(lǐng)域?qū)W習(xí)效果的方法。本文遷移了在ImageNet數(shù)據(jù)集上訓(xùn)練最優(yōu)的預(yù)訓(xùn)練模型作為初始參數(shù)，提高了管道病害識別模型的收斂速度和準確率。如圖4所示，損失函數(shù)曲線跌宕下降。本文設(shè)置每次循環(huán)記錄一次訓(xùn)練集損失值和驗證集準確率，用來繪制損失值下降曲線和準確率曲線，把握收斂速率，控制模型迭代次數(shù)?？梢钥闯觯?0次循環(huán)后，損失曲線保持平穩(wěn)，模型收斂。24次循環(huán)時，準確率達到了94.59%。

圖4 損失函數(shù)下降曲線和準確率曲線

(2)超參數(shù)

超參數(shù)調(diào)優(yōu) 表2

對于深度學(xué)習(xí)算法，模型參數(shù)可分為普通參數(shù)和超參數(shù)。普通參數(shù)是各層網(wǎng)絡(luò)連接的權(quán)重參數(shù)，通過反向傳播，不斷訓(xùn)練模型，從而得到最優(yōu)參數(shù)。超參數(shù)是指在開始深度學(xué)習(xí)訓(xùn)練前人為設(shè)置的參數(shù)。通常情況下，需要對超參數(shù)進行優(yōu)化，提高學(xué)習(xí)的性能和效果。通過對不同超參數(shù)模型訓(xùn)練，并在驗證集圖像上對比檢測準確度，可以得出最優(yōu)的超參數(shù)組合方式。本文設(shè)置的超參數(shù)具體如下：最大循環(huán)次數(shù)為24次，學(xué)習(xí)率為 0.000 5，反向傳播方法為隨機梯度下降算法(SGD)，動量設(shè)置為0.9，每批次訓(xùn)練4張圖片。

3.3 模型的測試

混淆矩陣也稱誤差矩陣，是模型測試的一種標準評價格式，用于比較每組實測圖像的預(yù)測分類與真實分類。如表3所示，對于一個二分類系統(tǒng)，將實例分為正類(Positive)、負類(Negative)，則該分類器有四種分類結(jié)果：真陽性(TP，True Positive)：正類實例被預(yù)測為正類；假陰性(FN，F(xiàn)alse Negative)：正類實例被預(yù)測為負類，代表了漏報的數(shù)量；假陽性(FP，F(xiàn)alse Positive)：負類實例被預(yù)測為正類，代表了誤報的數(shù)量；TN(True Negative)：負類實例被預(yù)測成負類。

混淆矩陣 表3

如方程1所示，準確率表示預(yù)測正確的樣本(真陽性與真陰性的和)與所有樣本的比率。

(1)

如表4所示，錯口，腐蝕，破漏，障礙的檢測準確率分別為100.0%，97.01%，87.10%，99.36%。其中，錯口，腐蝕，障礙的檢測準確率均在90%以上，平均準確率為96.11%。

雖然準確率能夠判斷總的正確率，但是在樣本不均衡的情況下，并不能作為很好的指標來衡量結(jié)果。在樣本不平衡的情況下，得到的高準確率沒有任何意義，此時準確率就會失效。

地下管道缺陷分類模型檢測結(jié)果分析 表4

4 Transformer與卷積神經(jīng)網(wǎng)絡(luò)對比

為了檢驗基于Transformer的多種類管道缺陷檢測方法的檢測效果，本文對比了Inceptionv3、Inceptionv1、Resnet-101和VGG16經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，并且，對比了兩個現(xiàn)有的排水管道缺陷檢測網(wǎng)絡(luò)(兩級分層卷積神經(jīng)網(wǎng)絡(luò)、管道病害分類網(wǎng)絡(luò))。如表5所示，本模型的準確度為96.11%，比兩級分層卷積神經(jīng)網(wǎng)絡(luò)高1.21%。相比于卷積神經(jīng)網(wǎng)絡(luò)，Transformer模型在特征提取方面更具優(yōu)勢。

Transformer與卷積神經(jīng)網(wǎng)絡(luò)對比分析表 表5

5 總 結(jié)

排水管道是城市的生命線，應(yīng)當(dāng)定期檢測管道缺陷。但是現(xiàn)有的檢測手段主要依靠CCTV視頻檢測和人眼判斷的方式，費時費力?，F(xiàn)有的計算機檢測方法以傳統(tǒng)算法、機器學(xué)習(xí)和深度學(xué)習(xí)為主，分別具有人工特征單一、提取特征維度低、感受野局限的缺點。針對以上問題，本文提出了一種基于自注意力的排水管道缺陷檢測方法。該方法采用Transformer和自注意力機制替代了卷積神經(jīng)網(wǎng)絡(luò)作為管道缺陷的特征提取器，通過多層感知機和Softmax函數(shù)為缺陷圖像預(yù)測分類標簽。相比于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)和現(xiàn)有的排水管道檢測方法，本方法的準確度達到了96.11%，效果更優(yōu)。以上研究證明了：Transformer算法在排水管道缺陷圖像分類領(lǐng)域的可行性，提高了檢測的準確度，為排水管道檢測提供了一種新思路。