何 敏, 齊程程, 陳家雪, 戶 瑩
(西安理工大學(xué)土木建筑工程學(xué)院, 西安 710048)
城市地下排水管道在現(xiàn)代城市的正常運(yùn)行過程中起著重要作用。一方面,它們是保證城市運(yùn)行的重要基礎(chǔ)設(shè)施和生命線;另一方面,排水管道故障會嚴(yán)重影響市民正常生活。因此,定期檢查既有的排水管道,及時(shí)找出排水管道缺陷并采取合理有效維護(hù)措施尤為重要[1]。近年來,以管道閉路電視檢測(closed circuit television, CCTV)檢測技術(shù)為代表的管道內(nèi)窺檢測技術(shù)在管道缺陷檢測領(lǐng)域得到廣泛應(yīng)用,但是存在耗時(shí)久,勞動力成本高及檢測效果不穩(wěn)定,取決于操作員的經(jīng)驗(yàn)水平和圖像質(zhì)量的問題[2]。
自2006年Hinton等[3]首次提出了深度學(xué)習(xí)概念以來,出現(xiàn)了AlexNet[4]、VGGNet[5]、ResNet[6]等優(yōu)秀的網(wǎng)絡(luò)架構(gòu)。隨著深度學(xué)習(xí)的不斷發(fā)展,深度卷積神經(jīng)網(wǎng)絡(luò)模型開始逐漸應(yīng)用于排水管道缺陷檢測。Rahman[7]分別訓(xùn)練多個(gè)深度神經(jīng)網(wǎng)絡(luò),區(qū)分管道單一缺陷和正常圖像,總體準(zhǔn)確度達(dá)到90%,但是數(shù)據(jù)集類型較為單一。Sinha等[8]提出將模糊邏輯測試與神經(jīng)網(wǎng)絡(luò)(artificial neutral network,ANN)相結(jié)合的神經(jīng)模糊分類器來測試管道中缺陷的分類。2018年,Myrans等[9]使用隱馬爾可夫模型和順序遺忘濾波來平滑預(yù)測序列,機(jī)器學(xué)習(xí)在靜止圖像上的分類檢測精度達(dá)到80%以上。Cheng等[10]訓(xùn)練Faster R-CNN對CCTV采集的四種管道缺陷圖像進(jìn)行分類,并建立了一個(gè)新模型來研究模型性能的影響因素。Kumar等[11]開發(fā)了一種卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)來對根部侵入、沉積和裂縫3種管道缺陷進(jìn)行分類,其測試準(zhǔn)確性、準(zhǔn)確性和召回率分別為86.2%、87.7%和90.6%。近年來, Li等[12]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的管道缺陷分層分類方法,該方法分類不平衡數(shù)據(jù)集的性能優(yōu)于傳統(tǒng)方法。呂兵等[13]結(jié)合排水管道的CCTV 測繪作業(yè)流程及拍攝到的視頻缺陷特點(diǎn),提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的CCTV視頻中排水管道缺陷的檢測方法,該方法極大地提高了排水管道缺陷檢測的智能化和自動化,節(jié)省了內(nèi)業(yè)作業(yè)的人力,同時(shí)滿足城市排水管道缺陷檢測的需求。王慶等[14]在Faster R-CNN算法基礎(chǔ)上,利用聚類分析方法改進(jìn)候選區(qū)域設(shè)置,提出一種優(yōu)化的排水管道缺陷檢測模型,優(yōu)化后的Faster R-CNN網(wǎng)絡(luò)能夠有效提高排水管道缺陷檢測的識別正確率。鄭茂輝等[15],結(jié)合極限學(xué)習(xí)機(jī)(extreme learning machine,ELM) 神經(jīng)網(wǎng)絡(luò)和CCTV檢測,建立了一個(gè)數(shù)據(jù)驅(qū)動的排水管道缺陷診斷模型,該模型采用遺傳算法(genetic algorithm,GA)算法優(yōu)化ELM 神經(jīng)網(wǎng)絡(luò)輸入連接權(quán)值和隱含層偏置,能夠避免參數(shù)隨機(jī)初始化造成的分類結(jié)果不穩(wěn)定、準(zhǔn)確率偏低的弊端。
目前,已有的基于深度學(xué)習(xí)技術(shù)的排水管道缺陷識別研究所識別的缺陷種類和數(shù)據(jù)集樣本均較少,不能全面反映排水管網(wǎng)缺陷信息的實(shí)際情況。并且所建模型與方法在實(shí)際工程中應(yīng)用也較少。為此,結(jié)合規(guī)程規(guī)范要求,結(jié)合深圳市大空港、龍崗、光明3個(gè)片區(qū)的大量管道缺陷圖像人工標(biāo)注成果,構(gòu)建了工程常見的10種典型管道缺陷數(shù)據(jù)集樣本;分別采用AlexNet和ResNet50為骨干網(wǎng)絡(luò)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,對影響模型準(zhǔn)確度的學(xué)習(xí)參數(shù)進(jìn)行深入研究,對比得到穩(wěn)定且分類準(zhǔn)確度高的排水管道缺陷識別網(wǎng)絡(luò)模型;將所建立的排水管缺陷識別模型應(yīng)用到位于深圳市東北部某水質(zhì)凈化廠服務(wù)范圍涉及的3個(gè)街的排水道缺陷識別,以輔助檢測人員快速且準(zhǔn)確地判定管道缺陷。
根據(jù)《城鎮(zhèn)排水管道檢測與評估技術(shù)規(guī)程(CJJ 181—2012)》的規(guī)定,排水管道缺陷有破裂、變形、沉積、結(jié)構(gòu)等16種功能性和結(jié)構(gòu)性缺陷[16],管道缺陷類別較多,且這些缺陷對排水管道的正常運(yùn)行影響程度不一,因此根據(jù)缺陷發(fā)生概率高、危害大、特征明顯的原則選取了、結(jié)垢腐蝕、樹根、錯(cuò)口、障礙物、支管暗接、接口材料脫落、破裂、變形、沉積、浮渣十種缺陷來進(jìn)行識別[17],10種缺陷類型及特征分析如表1所示。
表1 缺陷類型及特征分析表Table 1 Defect type and characteristic analysis
2012年,Krizhevsky等[4]提出了AlexNet網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。AlexNet為8層結(jié)構(gòu),其中前5層為卷積層,后3層為全連接層,學(xué)習(xí)參數(shù)6千萬個(gè),神經(jīng)元65萬個(gè)。區(qū)域候選網(wǎng)絡(luò)(region proposal network, RPN)層在第1、2個(gè)卷積層之后,Max pooling層在RPN層及第5個(gè)卷積層后,ReLU在每個(gè)卷積層及全連接層后。
AlexNet網(wǎng)絡(luò)的特點(diǎn)有:①成功使用ReLU作為CNN的激活函數(shù),相較于Sigmoid加快了訓(xùn)練速度,也解決了Sigmoid在網(wǎng)絡(luò)較深時(shí)的梯度彌散問題;②ReLU得到的結(jié)果需要進(jìn)行歸一化,歸一化有助于網(wǎng)絡(luò)快速收斂,增強(qiáng)模型泛化能力;③將Dropout實(shí)用化,證實(shí)了Dropout可以避免模型過擬合;④AlexNet全部使用最大池化,避免平均池化的模糊化效果,提升了特征的豐富性。
圖2 排水管道缺陷分類AlexNet模型Fig.2 The AlexNet model of drainage pipeline defect
D指管道直徑圖3 研究路線圖Fig.3 Research roadmap
ResNet(residual neural network)由He等[6]于2015年提出,通過使用ResNet Unit成功訓(xùn)練152層神經(jīng)網(wǎng)絡(luò)。ResNet結(jié)構(gòu)中加入了殘差學(xué)習(xí)模塊[18],極快地加速了神經(jīng)網(wǎng)絡(luò)訓(xùn)練,也提升了模型準(zhǔn)確率,之后很多識別和分割方法都建立在ResNet50或ResNet101的基礎(chǔ)上完成。
ResNet50,網(wǎng)絡(luò)分為五部分:conv1、conv2_x、conv3_x、conv4_x、conv5_x。首先,為1個(gè)7×7×64的輸入卷積層,然后經(jīng)過3+4+6+3=16個(gè)building block,每個(gè)block為3層,所以有16×3=48層,最后為1個(gè)用于分類的全連接層,所以共1+48+1=50層。
綜上所述,本文中研究路線如圖3所示。
數(shù)據(jù)集對深度學(xué)習(xí)算法的準(zhǔn)確性至關(guān)重要,本文中研究的排水管道缺陷目前還沒有公共數(shù)據(jù)集,所以通過網(wǎng)絡(luò)收集渠道采集本次訓(xùn)練數(shù)據(jù)。經(jīng)過網(wǎng)絡(luò)收集獲得每類缺陷100張圖像,將其處理為256×384像素大小,jpg格式,數(shù)據(jù)集標(biāo)簽號按照結(jié)垢腐蝕、樹根、錯(cuò)口、障礙物、支管暗接、接口材料脫落、破裂、變形、沉積、浮渣的順序?yàn)?~10。
為了提高模型訓(xùn)練識別效果,需要對數(shù)據(jù)集進(jìn)行預(yù)處理,過濾圖像中無關(guān)信息,增強(qiáng)增強(qiáng)特征提取的可靠性。圖像數(shù)據(jù)集的預(yù)處理分為兩部分,數(shù)據(jù)增強(qiáng)和單個(gè)圖像處理。
3.1.1 數(shù)據(jù)增強(qiáng)
成功的神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練,本次試驗(yàn)數(shù)據(jù)集數(shù)量較少,因此使用圖像抖動、圖像平移、圖像旋轉(zhuǎn)、Fancy principal component analysis(Fancy PCA)等數(shù)據(jù)增強(qiáng)方法來擴(kuò)大初始數(shù)據(jù)集,以增加訓(xùn)練數(shù)據(jù)量和噪聲數(shù)據(jù),提高模型的泛化能力和魯棒性,圖像增強(qiáng)效果如圖4所示。
關(guān)鍵詞時(shí)區(qū)視圖可以看出某一領(lǐng)域的研究趨勢,突發(fā)詞可以反映某一領(lǐng)域研究的潛在熱點(diǎn)和研究前沿。在Citespace軟件中選擇“TimeZone”,得到網(wǎng)絡(luò)信息行為關(guān)鍵詞的時(shí)區(qū)視圖(圖5),并選擇”Export”中的”network summary table”得到高頻關(guān)鍵詞的頻次及突發(fā)詞信息,整理可得表7。
圖4 數(shù)據(jù)增強(qiáng)效果圖Fig.4 Data enhancement map
3.1.2 單個(gè)圖像處理
對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng),對單個(gè)圖片進(jìn)行直方圖均值化、歸一化和白化操作。直方圖均值化可以增強(qiáng)圖像對比度、優(yōu)化視覺效果,其處理結(jié)果如圖5所示。圖像歸一化是指對圖像進(jìn)行一系列標(biāo)準(zhǔn)的處理變換,使之變換為一個(gè)固定標(biāo)準(zhǔn)形式的過程,本實(shí)驗(yàn)使用最大最小值歸一化方法,歸一化處理可以防止仿射變換[18]的影響,加快梯度下降求最優(yōu)解的速度。圖像白化處理可對過度曝光或低曝光的圖像進(jìn)行處理,將圖像像素值轉(zhuǎn)化為零均值和單位方差,從而獲取圖像中重要的恒定信息,降低輸入數(shù)據(jù)的冗余性。
圖5 直方圖均值化Fig.5 Histogram averaging
完成以上預(yù)處理后將數(shù)據(jù)集隨機(jī)分成3個(gè)子集,分別用于訓(xùn)練,驗(yàn)證和測試,70%的數(shù)據(jù)用于訓(xùn)練,剩余的30%均分為驗(yàn)證集和測試集。
3.2.1 AlexNet網(wǎng)絡(luò)訓(xùn)練
由于本次訓(xùn)練使用的管道缺陷圖像樣本較少,為避免小規(guī)模樣本造成過擬合現(xiàn)象,使用CIFAR-10公共數(shù)據(jù)集對AlexNet網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,之后將該網(wǎng)絡(luò)遷移應(yīng)用于本文圖像集,在遷移學(xué)習(xí)管道缺陷圖像時(shí),需要對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào),對不同的學(xué)習(xí)率(learning rate, lr)和迭代次數(shù)(epoch)組合下的管道缺陷網(wǎng)絡(luò)收斂狀況和分類準(zhǔn)確率進(jìn)行比較分析,以得到最優(yōu)參數(shù)組合。部分訓(xùn)練集和驗(yàn)證集在不同參數(shù)組合下的損失(loss)曲線圖如圖6所示,測試集在不同參數(shù)組合下的準(zhǔn)確率如表2所示,當(dāng)epoch=25、lr=10-3時(shí),模型誤差迅速收斂趨于穩(wěn)定,測試集的準(zhǔn)確率也達(dá)到最高,所以將其設(shè)置為AlexNet管道缺陷識別網(wǎng)絡(luò)的最佳參數(shù)。
表2 測試集準(zhǔn)確率統(tǒng)計(jì)表Table 2 The accuracy of test set under different parameter combinations
3.2.2 ResNet50網(wǎng)絡(luò)訓(xùn)練
同樣結(jié)合遷移學(xué)習(xí),使用本文中數(shù)據(jù)集訓(xùn)練ResNet50預(yù)訓(xùn)練模型,經(jīng)過微調(diào)最終設(shè)定學(xué)習(xí)率為0.001,批次大小為16,優(yōu)化算法為SGDM (semi-global block matching),模型經(jīng)過迭代40訓(xùn)練,訓(xùn)練集和驗(yàn)證集的誤差和準(zhǔn)確率變化如圖7所示,訓(xùn)練集和驗(yàn)證集訓(xùn)練25次后誤差分別收斂于0和0.65,準(zhǔn)確率分別穩(wěn)定在100%和80%左右。將epoch=25、lr=10-3作為ResNet50管道缺陷識別網(wǎng)絡(luò)的最佳參數(shù),保存該參數(shù)組合訓(xùn)練完成的模型。使用測試集對該模型進(jìn)行測試,混淆矩陣如圖8所示。由圖8可見總的分類準(zhǔn)確率達(dá)到96.5%。
圖7 ResNet50網(wǎng)絡(luò)訓(xùn)練損失和準(zhǔn)確率曲線圖Fig.7 Training loss and accuracy curve of ResNet50 network
圖8 測試集混淆矩陣Fig.8 Testing confusion matrix
研究區(qū)域位于深圳市東北部某水質(zhì)凈化廠服務(wù)范圍涉及的3個(gè)街道,服務(wù)建成區(qū)總面積43 km2,服務(wù)人口61.57萬。
若直接對研究區(qū)域內(nèi)所有管道進(jìn)行CCTV檢測,成本太高,排查效率低,所以借助監(jiān)測手段,通過管網(wǎng)診斷分析,篩選重點(diǎn)區(qū)域,為CCTV檢測提供基礎(chǔ)依據(jù)。
(1)CCTV抽檢管段。對2016—2018年已實(shí)施CCTV檢測的管道,近幾年已經(jīng)整治及正在整治的,不進(jìn)行復(fù)核,對剩余管道缺陷部分進(jìn)行抽檢,抽檢率為10%,本次抽檢管段長度約為16.2 km。
(2)根據(jù)缺陷臺賬確定CCTV檢測管段。根據(jù)有關(guān)部門提供的缺陷臺賬進(jìn)行梳理,對其中的對應(yīng)管段實(shí)施CCTV檢測,檢測長度約為2 km。
(3)根據(jù)水質(zhì)水量檢測結(jié)果確定CCTV檢測管段。根據(jù)市政管線成果,在排查分區(qū)范圍內(nèi)污水干管上的所有接入排口上按順序布置快檢點(diǎn)位,針對COD(chemical oxygen demand)和NH3-N濃度偏低的管段按照相同原則繼續(xù)布點(diǎn)上溯至源頭,找到問題管段并進(jìn)行CCTV檢測,檢測長度約為62.9 km。
根據(jù)以上原則,研究區(qū)域需要做CCTV檢測的管段范圍如圖9所示。
圖9 CCTV檢測管段分布圖Fig.9 Distribution map of pipe sections that need CCTV inspection
根據(jù)上述確定的CCTV檢測管段和技術(shù)路線,對研究區(qū)域市政管道進(jìn)行CCTV檢測,之后在所采集的視頻中進(jìn)行關(guān)鍵幀提取,共提取5 000張管道圖像,提取的部分圖像如圖10所示。之后對提取出的圖像進(jìn)行直方圖均值化、歸一化和白化操作等預(yù)處理,將預(yù)處理完成的圖像輸入訓(xùn)練完成的AlexNet網(wǎng)絡(luò)和ResNet50網(wǎng)絡(luò)進(jìn)行自動識別分類。
圖10 實(shí)測排水管道缺陷圖Fig.10 The images of measured drainage pipe defect
兩種網(wǎng)絡(luò)均在2 min之內(nèi)快速識別分類,缺陷分類結(jié)果如表4所示。以專家判斷的缺陷類別為標(biāo)準(zhǔn),對兩種網(wǎng)絡(luò)的分類結(jié)果進(jìn)行準(zhǔn)確率指標(biāo)計(jì)算,準(zhǔn)確率的計(jì)算方法如表3、式(1)所示。
表3 混淆矩陣Table 3 Confusion matrixs
表4 缺陷分類結(jié)果Table 4 The results of defect classification
(1)
從準(zhǔn)確率的計(jì)算結(jié)果可以看出,在實(shí)際工程中AlexNet和ResNet50均取得較好的分類效果,準(zhǔn)確率分別為85.41%和87.94%,ResNet50模型的分類性能更優(yōu)。相對于其他缺陷類別,障礙物的分類準(zhǔn)確率略低,結(jié)合工程實(shí)際分析,這是由于勘測管道中障礙物形態(tài)多樣,而訓(xùn)練模型的圖像中的障礙物形態(tài)較為單一。
基于排水管道檢測圖像,采用AlexNet和ResNet50作為骨干網(wǎng)絡(luò),利用CIFAR-10數(shù)據(jù)集預(yù)訓(xùn)練后遷移應(yīng)用于收集的管道缺陷圖像數(shù)據(jù)集,構(gòu)建了輔助檢測人員快速地準(zhǔn)確識別管道缺陷類型智能方法,得到如下結(jié)論。
(1)為了提高分類準(zhǔn)確率,使用常用的圖像數(shù)據(jù)增加方法來增加樣本集的數(shù)量,并對樣本集進(jìn)行直方圖均值化、歸一化和白化處理是必要的。
(2) AlexNet網(wǎng)絡(luò)和ResNet50網(wǎng)絡(luò)在實(shí)際工程項(xiàng)目中獲得較好的分類效果,準(zhǔn)確率分別為85.41%和87.94%。ResNet50模型的識別準(zhǔn)確率較AlexNet有所提高。實(shí)驗(yàn)證明,基于檢測圖像的深度學(xué)習(xí)管道缺陷識別方法節(jié)省大量時(shí)間,并有較高的識別能力,可以有效輔助缺陷檢測人員識別管道缺陷。
(3)使用深度學(xué)習(xí)模型對排水管道檢測圖像進(jìn)行缺陷分類,能夠取得較好的識別分類效果,但是數(shù)據(jù)集即檢測圖像收集是構(gòu)建方法的關(guān)鍵,本次實(shí)驗(yàn)數(shù)據(jù)量較少,復(fù)雜工程環(huán)境應(yīng)用效果有待進(jìn)一步考證。因此,今后需要進(jìn)一步擴(kuò)大管道缺陷樣本庫,進(jìn)一步發(fā)展先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)來識別更多缺陷,以更好地輔助管道缺陷檢測人員提升識別效果。