徐 峰,徐穎昕
(1.濟南市水務服務中心,濟南250011;2.濟南市水務集團,濟南 250014)
近幾十年來,我國的城鎮(zhèn)化進程不斷發(fā)展,地下排水管道作為城市重要的基礎設施,對于城市的生產(chǎn)生活具有重要影響,為了保障排水系統(tǒng)的正常運作,延長排水管道的使用壽命,必須做好管道的日常清理和定期檢測維護工作[1-3]。
管道閉路電視(CCTV)檢測系統(tǒng)是目前最常用的管道檢測設備,但該系統(tǒng)在管道圖像采集和缺陷判斷的過程中需要大量的人工參與,尤其是在管道缺陷分類方面,受人為主觀判斷的影響很大,如果工作人員缺乏工作經(jīng)驗或者工作狀態(tài)不佳,很可能導致缺陷判別結果出現(xiàn)較大的偏差[4-6]。為減少管道缺陷識別過程中對工作人員的依賴,一些學者提出了智能檢測和自動識別技術,但該技術的可靠性并沒有形成一個統(tǒng)一的定論,而且在分類正確率方面也有待提高。當前,基于機器學習的圖像處理技術在醫(yī)學、人臉識別、路橋缺陷檢測等領域得到了廣泛應用并取得了不錯的成效,借鑒于上述經(jīng)驗,也可將基于機器學習的圖像處理技術應用到排水管道的缺陷檢測當中,從而在提高缺陷分類正確率的同時,大大降低人工成本[7-8]。
筆者提出了基于支持向量機學習的管道缺陷檢測技術流程,并重點對紋理特征提取方法和缺陷分類進行了研究,以期為城市排水管道結構性缺陷檢測提供新的思路和方法。
按照《城鎮(zhèn)給排水管道檢測規(guī)程》中的相關規(guī)定,可將給排水管道的缺陷類型劃分為結構性缺陷和功能性缺陷兩大類。結構性缺陷主要包括裂紋腐蝕、錯口、接口材料脫離、滲漏等,其中裂紋、錯口、腐蝕3種缺陷最為常見,一般情況下需要使用一定的修復手段進行修復,而功能性缺陷一般僅需要日常的保養(yǎng)維護即可,包括殘墻、結垢、樹根、浮渣等。常見的管道缺陷如圖1所示。
圖1 常見的管道缺陷外觀
給排水管道結構性缺陷檢測流程如圖2所示,具體如下:首先利用管道爬行機器人攜帶CCTV檢測系統(tǒng)對濟南市某段地下排水管道進行拍攝,得到原始數(shù)據(jù);然后利用Video Reader函數(shù)讀取視頻原始數(shù)據(jù),根據(jù)視頻采集速率設置提取幀畫面間隔值T(2 s為宜),保存提取對應幀下的管道圖像;接著,對抓取得到的管道圖像進行粗分類(區(qū)分有無缺陷),去除圖像中的無關文字信息,再通過灰度變換、直方圖均衡化處理、限制對比度自適應直方圖均衡化處理、自適應中值濾波處理、邊緣輪廓增強處理等措施,對有缺陷的圖像進行預處理,從而獲取缺陷子圖集(包括裂紋、錯口、腐蝕3類),管道缺陷子圖集如圖3所示;接著采用灰度共生矩陣(Gray Level Co-occurrence Matrix,GLCM)法[9]、改進的灰度共生矩陣復合特征向量提取(Block Gray Level Co-occurrence Matrix,B_GLCM)法[10]、灰度-梯度共生矩陣(Gray Gradient Co-occurrence Matrix, GGCM)法[11]、Gabor法[12]以及局部二值模式(Local Binary Patterns, LBP)法[13-14]等5種不同圖像紋理特征提取方法,對缺陷子圖集進行圖像特征提??;最后通過構建基于向量機學習的二分類支持向量機(BSVM)分類器對提取到的缺陷數(shù)據(jù)進行訓練和分類,最終得到排水管道的缺陷檢測結果。
圖2 給排水管道結構性缺陷檢測流程圖
圖3 管道結構缺陷子圖集
不同缺陷紋理特征的提取方法流程如圖4所示。
(1) GLCM方法通過計算某特定空間中的像素點出現(xiàn)的次數(shù),從而獲得圖像內(nèi)部像素點之間灰度與空間的相互關系,其流程見圖4(a),共分為6步:① 讀取缺陷子圖集中的圖片;② 灰度級數(shù)壓縮,灰度級數(shù)影響GLCM的計算量,每增加一個灰度級數(shù),就會使灰度共生矩陣紋理特征提取所耗費的時間增大2倍;在確保紋理質量的前提下,筆者將灰度級數(shù)設置為16,即灰度共生矩陣為256×256(行×列)的矩陣,共包含216個元素;③ 構建灰度共生矩陣,計算灰度值,距離取值為1,方向分別為0°,45°,90°,135°;④ 對圖像中的每一個元素進行歸一化處理;⑤ 灰度共生矩陣二次統(tǒng)計量計算,統(tǒng)計量包括角二階矩(能量)、對比度(慣性矩)、相關系數(shù)、熵和逆差分矩;⑥ 通過計算二次統(tǒng)計量在4個方向上的均值和標準差,構建特征向量,從而得到管道不同缺陷的特征數(shù)據(jù)庫。
(2) GLCM法是對整個圖像的灰度共生矩陣進行統(tǒng)計量的計算從而獲取特征向量的,這樣可能會導致一些局部特征無法很好地得到體現(xiàn),由于局部特征在某些特定情況下對紋理特征提取結果的影響很大,可能使紋理特征提取出現(xiàn)偏差,為了減少出現(xiàn)類似現(xiàn)象,筆者提出應先對缺陷圖像進行分區(qū)分塊處理,再通過對各分區(qū)進行GLCM計算得到分區(qū)特征向量,最后對各分區(qū)特征向量進行串聯(lián)操作,從而獲得整體的復合特征向量,從而增大圖像局部特征在全局特征中所占比例,提高分類精度,筆者將此方法稱之為改進的灰度共生矩陣復合特征向量提取(B_GLCM)法。B_GLCM紋理特征提取流程如圖4(b)所示。
圖4 不同缺陷紋理特征的提取方法流程
(3) GGCM法不僅考慮了圖像的灰度信息,而且還考慮圖像的梯度信息,是利用灰度和梯度的綜合信息進行圖像紋理特征提取的一種方法,GGCM法紋理特征提取流程如圖4(c)所示,共分為6步:① 讀取缺陷子圖集中的圖片;② 獲取梯度圖像;③ 根據(jù)梯度圖像獲取歸一化梯度矩陣;④ 構建灰度-梯度共生矩陣;⑤ 計算10個或者15個統(tǒng)計特征量;⑥ 構建特征向量,得到特征數(shù)據(jù)庫。
(4) Gabor小波變換最早于20世紀50年代由Dennis Gabor提出,主要目的是為了彌補傅里葉變換在非平穩(wěn)信號方面存在的缺點,在進行圖像特征提取時,濾波器需要與目標圖像進行卷積操作,而Gabor小波變換具有不同尺度和方向上的濾波器,不同的濾波器對計算效率和結果的影響較大,當尺度和方向取值均較大時,需要對數(shù)據(jù)進行降維處理,Gabor法圖像特征提取流程如圖4(d)所示,共分為5步:① 讀取缺陷子圖集中的圖片,同時構建Gabor小波濾波器;② 將濾波器與目標圖像進行卷積計算,獲取濾波后的圖像;③ 進行高斯平滑處理,得到特征圖像;④ 通過特征圖像獲取幅值;⑤ 構建特征向量,得到特征數(shù)據(jù)庫。
(5) LBP法是通過定義的窗口對圖像進行逐步掃描,對中心位置像素點8個領域內(nèi)進行二值化處理并以中心點位置的灰度為閾值,當周圍領域內(nèi)灰度超過此閾值時,計為1,反之計為0,按逆時針順序獲得一個二進制數(shù),如此反復操作,可獲得圖像的LBP直方圖,并將此直方圖作為圖像特征,從而獲取管道缺陷特征數(shù)據(jù)庫。LBP法紋理特征提取流程如圖4(e)所示。
不同紋理特征提取方案下的提取效果如圖5所示。由圖5可知,采用GLCM法進行特征提取時(方案1),特征維數(shù)為10;采用B_GLCM法進行特征提取時(方案25),特征維數(shù)隨著分區(qū)的減小而逐漸降低,起到了較好的降維效果;GGCM法的特征維數(shù)與統(tǒng)計特征個數(shù)一致(方案6~7);Gabor 小波變換提取時(方案8~12),特征維數(shù)相比其他方法高得多。
圖5 不同紋理特征提取方案下的提取效果
Gabor小波變換特征維數(shù)較高的原因主要與維數(shù)計算方式有關,當采用小波提取時,特征維數(shù)=尺度數(shù)×角度個數(shù)×圖像像素個數(shù),且尺度對特征維數(shù)的影響略大于方向對特征維數(shù)的影響程度,當尺度和方向均取大值時,特征維數(shù)將顯著增大;而LBP法(方案13~20)無論領域或者像素塊如何取值,特征維數(shù)均為59,對特征維數(shù)沒有影響。B_GLCM法與GLCM法相比,在提取耗費時間上有一定程度減少,但隨著分區(qū)的減小(特征維數(shù)減小),提取耗費的時間會逐漸增多;GGCM法在5種提取方法中的耗費時間最少,提取效率最高;當采用Gabor小波變換法時,尺度和方向越大,特征提取耗費時間越長;當采用LBP法時,在相同像素塊大小下,(8×2)領域下的提取耗費時間略長于(3×3)領域下的提取耗費時間,這是因為在采用(8×2)的圓形領域時,需要進行線性插值算法來提取相關值,所以在對缺陷進行特征提取時耗費的時間更長一些。
當獲取缺陷的特征數(shù)據(jù)后,接下來就需要根據(jù)特征數(shù)據(jù)對缺陷進行分類處理,文章基于支持向量機(SVM)原理,采取一對一分類投票的方式對缺陷樣本進行分類訓練。假設缺陷樣本種類為N,那么就需要構造N(N-1)/2個二分類支持向量機(BSVM)分類器,并使用對應的訓練樣本集對這些BSVM分類器進行訓練,最后對不同BSVM分類器訓練得到的“投票”結果進行統(tǒng)計,得票最高者,則代表訓練樣本屬于該類。
由于主要針對排水管道裂紋、錯口和腐蝕三種缺陷特征進行提取和分類,所以僅需要構建3個BSVM分類器進行樣本訓練即可,在訓練過程中,每一個SVM都采用150個訓練樣本,30個測試樣本,支持向量機的核函數(shù)選擇徑向積核函數(shù)(RBF),并使用網(wǎng)格搜索算法和交叉驗證算法對向量機核函數(shù)參數(shù)進行優(yōu)化,最后對3個BSVM分類器進行編號(裂紋缺陷為BSVM1,對應的響應為1;錯口缺陷為BSVM2,對應的響應為2;腐蝕缺陷為BSVM3,對應的響應為3),得票高者為最終的缺陷分類類型。管道缺陷BSVM分類流程如圖6所示。
圖6 管道缺陷BSVM分類流程
對不同特征提取方案下的特征數(shù)據(jù)進行BSVM分類,其結果如圖7所示。由圖7可知,對于裂紋缺陷,GLCM法的分類正確為93.5%,當采用B_GLCM法時,分區(qū)≤5×5時,分類正確率均大于90%,最大可達95%,采用其他3種方法提取時分類正確率均較差;對于錯口和裂紋缺陷,采用GLCM法和B_GLCM法提取后的分類正確率較高,其他3種方法比較低;對于腐蝕缺陷,采用GLCM法、B_GLCM法、GGCM法以及Gabor法提取時,分類正確率均大于90%,而采用LBP法提取時,分類正確率較低,隨著高像素塊的增大,分類正確率越來越低。
圖7 BSVM分類結果
從整體分類效果上來看,20種紋理特征提取方法中,第2種方案分類測試所需的時間最長,達到了82.9 s,其余方案的分類測試時間均少于30 s;B_GLCM法相比其他提取法,能提升BSVM分類正確率,但前提是選擇合適的分區(qū)數(shù),當分區(qū)數(shù)大小合適時,才能達到分類準確率和效率均較高的雙重目的。對比這20種提取方案,選用方案4時,整體分類正確率最高,達到了96.8%,且在此方案下,裂紋缺陷、錯口缺陷以及腐蝕缺陷等單種缺陷的分類效果均較好,整體的分類測試時間僅為10.3 s。因此,綜合對比分類效果,筆者認為最佳的紋理提取方案為:B_GLCM法;分區(qū)大小為3×3。
(1) 采用CCTV檢測系統(tǒng)對城市地下排水管道進行了拍攝,并基于拍攝數(shù)據(jù)構建了給排水管道結構性缺陷的檢測流程,為給排水管道的無損檢測提供了新的技術和經(jīng)驗。
(2) 采用GLCM、B_GLCM、GGCM、Gabor、LBP等5種方法對管道缺陷圖像進行了紋理特征提取,并構建了不同方法的提取流程,提取效果顯示,Gabor法提取得到的特征維數(shù)遠大于其他4種方法的,且耗費時間隨著尺度和方向的增大而增加;GGCM法和LBP法紋理特征提取耗費時間均較短;B_GLCM法相比GLCM法,在提取耗費時間上有一定程度減少,但隨著分區(qū)的減小(特征維數(shù)減小),提取耗費的時間會逐漸增多。
(3) 基于支持向量機原理,提出利用一對一分類投票的方式,對裂紋、錯口和腐蝕三種缺陷特征進行BSVM分類器訓練,訓練結果表明當采用B_GLCM法和GLCM法時,管道缺陷的分類正確率較高,考慮到分類效率,建議采用B_GLCM法,且分區(qū)大小為3×3最為適宜。