韓彥芳,楊海馬,楊志豪,張裕聰,王紫菲
(上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院,上海 200093)
隧道內(nèi)電纜以卡具固定在水泥墻面上,電纜脫落會帶來嚴(yán)重的安全問題。人工巡視耗時長、步行檢測效率低,易疲勞,車行檢測易漏檢。在巡視車上安裝圖像采集裝置獲取圖像,采用圖像處理技術(shù)進(jìn)行檢測能極大提高檢測效率和精確度。但成像環(huán)境的影響,常常導(dǎo)致成像光照不均,而隧道中水泥墻面的潮濕使墻面和電纜成像灰度相近,使光照不均和墻面干擾成為影響圖像分割結(jié)果的關(guān)鍵,尤其在工程應(yīng)用中,更需要簡單、高效的方法來解決這一問題。
在光照不均方面,受益于Land 等[1]提出的人眼視覺亮度與色彩感知模型——Retinex 理論,許多研究者提出了多種有效方法[2]。如同態(tài)濾波[3],通過設(shè)計頻域?yàn)V波器在傅立葉域?qū)Σ煌庠捶至康念l率成分進(jìn)行濾波,從而實(shí)現(xiàn)灰度均衡化。傳統(tǒng)方法通過線性和非線性灰度變換如伽馬校正等[4]方法增強(qiáng)對比度從而消除光照不均的影響;以及基于灰度統(tǒng)計直方圖方法進(jìn)行灰度均衡等[5]。近年流行的深度學(xué)習(xí)方法在廣泛的樣本訓(xùn)練基礎(chǔ)上可以得到比傳統(tǒng)方法更好的效果,但是其訓(xùn)練過程的不可解釋,導(dǎo)致其訓(xùn)練往往無法考慮圖像工程中更高一級處理的需求[6]。在基于數(shù)學(xué)形態(tài)學(xué)理論方面,Liu 等[7]提出用Top-Hat 變換結(jié)合灰度變換的方法進(jìn)行光照不均帶鋼表面圖像處理,改善了后續(xù)二值化結(jié)果。這些方法在不同應(yīng)用領(lǐng)域均取得了很好的效果。但以上方法基于灰度值進(jìn)行全局增強(qiáng),而沒有考慮圖像灰度值的空間分布特點(diǎn)。對隧道電纜圖像而言,其光照的不均衡導(dǎo)致目標(biāo)和背景灰度相同或相近,使全局灰度均衡的方法沒辦法將目標(biāo)和背景的灰度區(qū)分開,因而導(dǎo)致基于灰度特征相似性的圖像分割方法失效。
另一方面,隧道不同位置存在墻面潮濕、剝落、污跡、帶狀干擾等不利因素的影響,導(dǎo)致墻面成像灰度與電纜灰度相近,傳統(tǒng)基于特征相似性的區(qū)域分割方法很難區(qū)分兩者[8-9],而基于特征不連續(xù)性的邊緣檢測方法受墻面和電纜表面噪聲的影響也存在很大困難[10]?;谏疃葘W(xué)習(xí)的方法可以充分挖掘多種圖像特征,但需要大量樣本的歸類、整理和標(biāo)記工作以進(jìn)行網(wǎng)絡(luò)訓(xùn)練[11-12]。區(qū)域生長方法[13-16]可以同時利用空間和灰度分布信息,但往往耗時長、因噪聲和光照不均的影響,會出現(xiàn)空洞和過分割現(xiàn)象。
文中以隧道電纜檢測為應(yīng)用背景,根據(jù)電纜圖像空間和灰度分布特點(diǎn),探討改進(jìn)區(qū)域生長電纜分割方法。針對光照不均、墻面不利因素影響以及耗時長問題,在分析電纜圖像空間和灰度分布特性的基礎(chǔ)上,采用灰度均值投影包絡(luò)擬合離差,對電纜ROI 進(jìn)行定位,從而消除光照不均和墻面對圖像分割的影響;同時,結(jié)合電纜空間位置信息,初始化種子點(diǎn)并設(shè)定終止準(zhǔn)則,大大減少了待處理數(shù)據(jù)量。
隧道電纜圖像采集系統(tǒng)由巡視車上加載光源、圖像采集卡、運(yùn)動控制卡構(gòu)成,獲取圖像數(shù)據(jù)及與圖像相對應(yīng)的公里標(biāo)數(shù)和工作距離數(shù)據(jù),將相應(yīng)數(shù)據(jù)輸入計算機(jī)進(jìn)行存儲、分析,公里標(biāo)數(shù)和工作距離用于對檢測結(jié)果圖像所對應(yīng)的實(shí)際地點(diǎn)進(jìn)行定位,以通知人工及時檢修。隧道電纜圖像采集系統(tǒng)見圖1。
圖1 隧道電纜圖像采集系統(tǒng)Fig.1 Tunnel cable image acquisition system
從工程應(yīng)用需求和數(shù)據(jù)采集效率的角度考慮,視頻采集系統(tǒng)獲取的只有光強(qiáng)信號,沒有波譜信息。圖像采集過程中,巡視車行進(jìn)方向與電纜平行,墻面正對光源中心區(qū)域較亮,遠(yuǎn)離光源部分的墻面較暗,導(dǎo)致所采集圖像光照不均。同時,潮濕墻面與大部分電纜成像灰度值都較低,導(dǎo)致常用的OTSU 閾值法無法將電纜從背景中提取出來。圖2 所示原始圖像大小為1 000×1 800,其OTSU 二值化結(jié)果可明顯看出光照不均的影響。圖2 中,左邊一列為原始圖像,右邊一列為對應(yīng)的OTSU 閾值化結(jié)果。
由圖2 可知,由于光源能量隨距離增大而衰減,使照度在水平方向上呈現(xiàn)出從中心向兩側(cè)遞減,光源行進(jìn)方向(垂直方向)照度均衡的特點(diǎn)。同時,電纜在圖像中也具有明顯的垂直走向,所以如果將像素灰度值向垂直方向投影,可以結(jié)合空間和灰度值特征對墻面較暗區(qū)域與電纜區(qū)域的特點(diǎn)進(jìn)行分析?;谶@一思想,提出如下垂直方向投影法進(jìn)行灰度分布分析。
設(shè)圖像為f(x,y),圖像大小為M×N,則定義垂直方向灰度均值投影V為:
依據(jù)式(1)對圖2 中原始圖像a—f 進(jìn)行計算,得到垂直方向灰度均值投影,如圖3 所示,橫坐標(biāo)為圖像的列數(shù),縱坐標(biāo)為計算出的列向灰度均值投影V,其結(jié)果分別與圖2 中a—f 原始圖像對應(yīng)。
圖2 電纜原始圖像及OTSU 閾值化結(jié)果Fig.2 Original image and OTSU thresholding results of cable
圖3 垂直方向灰度均值投影Fig.3 Vertical projection of gray mean
通過圖像采集系統(tǒng)獲取了1 km 的隧道視頻,共3 098 幅圖像。經(jīng)統(tǒng)計,發(fā)現(xiàn)不論是墻面潮濕、污跡、涂畫、裂紋還是電纜位置靠左或右側(cè)邊、表面污損,其灰度均值投影曲線包絡(luò)都表現(xiàn)為二次曲線走勢。其中,電纜在空間上對應(yīng)于曲線的谷點(diǎn)位置,光源中心對應(yīng)峰值位置,而在水平方向,隨著遠(yuǎn)離中心位置,灰度列均值急劇衰減,以致圖像左右兩側(cè)灰度甚至低于電纜區(qū)域灰度;當(dāng)墻面整體潮濕(圖3b)而電纜表面反射光較強(qiáng)時,電纜對應(yīng)曲線兩谷值中間包括一個峰值所在的區(qū)域;當(dāng)電纜位于圖像左右兩端位置時,與墻面的灰度相近,其可區(qū)分度降低(如圖3d 所示)。
4)當(dāng)墻面有形似電纜的低灰度區(qū)域時,(如圖3f)曲線會有多個谷點(diǎn),而電纜傾斜角度較低,區(qū)域內(nèi)部特征一致性較高,對應(yīng)的谷點(diǎn)一般最小。
通過以上分析,發(fā)現(xiàn)投影曲線谷點(diǎn)區(qū)域?qū)?yīng)于電纜所在位置,因電纜在圖像中為豎直走向,所以以谷點(diǎn)為中心的矩形區(qū)即電纜所在ROI(Region Of Interest)。如果提取ROI 區(qū)域進(jìn)行電纜分割,則可以避開光照不均衡和墻面潮濕、剝落、涂畫、裂紋等多種不利因素的影響。同時,大大降低待處理的數(shù)據(jù)量。基于這種設(shè)想,文中提出基于灰度投影谷點(diǎn)檢測的ROI 提取方法以進(jìn)行電纜圖像分割。
基于最小二乘法,采用二次多項(xiàng)式對灰度投影曲線V外包絡(luò)函數(shù)進(jìn)行擬合得到擬合曲線C,則定義離差r為:
由于電纜在投影曲線中往往對應(yīng)最遠(yuǎn)離包絡(luò)函數(shù)的谷點(diǎn),所以可通過求取離差最大值獲取電纜位置l。
式中:arg(x)為求x對應(yīng)的坐標(biāo)。
由圖2a—f 得到的包絡(luò)曲線及其擬合離差結(jié)果見圖4。其中,圖4a—f 為灰度均值垂直方向投影曲線包絡(luò)擬合結(jié)果,圖4g—l 為根據(jù)式(2)計算得到的包絡(luò)離差曲線圖。兩類圖的橫坐標(biāo)均為圖像列數(shù),左欄圖縱坐標(biāo)為圖像灰度均值垂直方向投影包絡(luò)擬合值,右欄圖縱坐標(biāo)為擬合離差值。從圖4 中看出,包絡(luò)離差曲線的峰值非常明顯,對應(yīng)于電纜所在列位置。
圖4 投影包絡(luò)擬合及離差Fig.4 Envelop fitting and deviation of projection
基于以上分析,可知線纜區(qū)域內(nèi)像素點(diǎn)具有如下特征。
1)像素列坐標(biāo)均在擬合離差最大值坐標(biāo)附近。
2)線纜區(qū)域內(nèi)部像素一致性較高。
3)墻面剝落嚴(yán)重時,區(qū)域灰度變化大。
4)卡具寬度比線纜大。
因此,定義特征量如下。
1)設(shè)ROI 圖像為f(x,y)其大小為M×N,擬合離差最大值列坐標(biāo)為l,則定義空間偏移量d為:
2)設(shè)r為表示列數(shù)的隨機(jī)變量,L為列數(shù),V(i)為第i列像素灰度均值投影,Vpeak表示灰度均值投影的峰值,定義為:
根據(jù)H,尋找曲線低谷對應(yīng)的坐標(biāo)范圍,即得卡具所在的行坐標(biāo)范圍,在此行坐標(biāo)范圍內(nèi),可對卡具在水平方向的分布范圍進(jìn)行搜索定位,從而得到卡具水平方向跨度D。
基于先驗(yàn)知識和以上特征分析,采用區(qū)域生長算法模型進(jìn)行電纜分割,可以方便地將灰度分布特征和空間分布特征結(jié)合起來。為此,提出如下種子點(diǎn)選擇、生長準(zhǔn)則和終止準(zhǔn)則。
種子點(diǎn)選擇:在ROI 內(nèi),根據(jù)式(3)選擇列坐標(biāo)為l的所有像素為種子點(diǎn)S,種子點(diǎn)個數(shù)為N,種子點(diǎn)灰度均值為m。
生長準(zhǔn)則:對于種子點(diǎn)四鄰域中待檢測像素點(diǎn)x(i,j)的判斷準(zhǔn)則為:|m-x|<T,T為閾值。當(dāng)x滿足生長準(zhǔn)則時,將x加入種子點(diǎn)集合,S的個數(shù)N增加1,更新種子點(diǎn)灰度均值m。
終止準(zhǔn)則:根據(jù)卡具水平方向分布范圍結(jié)果,設(shè)定空間偏移量閾值為D,根據(jù)式(4),當(dāng)待檢測像素點(diǎn)空間偏移量d>D或當(dāng)待檢測點(diǎn)灰度值與種子平均灰度值m之差大于閾值T時,停止生長。
基于灰度均值投影和區(qū)域生長模型,在原始圖像上的電纜分割流程見圖5。
圖5 ROI 區(qū)域生長流程Fig.5 Flow chart of ROI region growing
設(shè)原始圖像為f(x,y),大小為M×N。
1)讀入圖像。
2)灰度投影包絡(luò)擬合。根據(jù)式(1)對圖像做垂直灰度均值投影,得到V(i),i=1,2,…,N,基于最小二乘原則,采用二次多項(xiàng)式對V進(jìn)行包絡(luò)擬合,得到包絡(luò)曲線C(i)i=1,2, …,N。
3)ROI 提取,種子點(diǎn)初始化。根據(jù)式(2)計算包絡(luò)離差ri,根據(jù)式(3)得到離差最大值對應(yīng)的列坐標(biāo)l;由l確定電纜ROI 區(qū)域,并以圖像中第l列所有像素點(diǎn)初始化區(qū)域生長種子點(diǎn)。
4)卡具寬度估計。根據(jù)式(8)計算ROI 水平方向灰度均值投影,尋找谷點(diǎn),對應(yīng)于卡具所在行范圍,以此區(qū)域內(nèi)所有像素垂直灰度均值投影確定卡具水平方向跨度D。
5)頻域高斯低通濾波。根據(jù)式(5)—(7)計算ROI 二階矩μ2,根據(jù)μ2大小判斷墻面剝落和涂畫情況,用以確定頻域高斯低通濾波器截止頻率D0,當(dāng)μ2較大時,選擇較小D0進(jìn)行濾波;
6)區(qū)域生長。計算種子點(diǎn)平均灰度值m,計算種子點(diǎn)四鄰域中像素點(diǎn)灰度值與m差值,及其空間偏移量d,根據(jù)生長準(zhǔn)則生長。
7)終止條件判定。根據(jù)式(4),判斷待檢測像素空間偏移量d是否大于D,若d大于D,則停止生長;若d小于D,則判斷待檢測像素灰度值與種子點(diǎn)灰度均值之差是否小于閾值T,如果是,則將當(dāng)前像素點(diǎn)加入種子點(diǎn)集合,更新種子點(diǎn)個數(shù)N,更新種子點(diǎn)灰度均值m,返回第6 步;如果否,停止生長。
8)輸出分割結(jié)果。
光照不均、墻面裂紋、墻面潮濕、剝落和涂畫等是所有隧道成像中影響分割的主要原因。但各種狀況影響分割算法的角度不同,一種全局分割方法很難同時對所有墻面狀況下的圖像分割都取得好的效果。根據(jù)影響因素的不同,對巡視車圖像采集系統(tǒng)獲取的一公里隧道墻面數(shù)據(jù)共3 098 幅灰度圖像進(jìn)行分類,構(gòu)建了6 個數(shù)據(jù)集,分別對應(yīng)于六種墻面狀況,即單純光照不均、墻面潮濕、污跡、裂紋、電纜位于圖像一端(暗區(qū)域)、條帶狀干擾等,圖2a—f 所示原始圖像分別展示了不同墻面類別的特點(diǎn)。所有圖像均存在光照不均問題,其中圖2a 所屬數(shù)據(jù)集墻面不利因素較少,主要為單純光照不均;圖 2b 所屬數(shù)據(jù)集主要為墻面潮濕而電纜表面特征一致性差;圖2c 所屬數(shù)據(jù)集主要為墻面潮濕且存在潮濕輪廓干擾;圖2d 所屬數(shù)據(jù)集主要為電纜位于圖像的一端暗區(qū)域中;圖2e 所屬數(shù)據(jù)集為墻面存在嚴(yán)重剝落和裂紋;圖2f 所屬數(shù)據(jù)集為墻面上存在與電纜形似的潮濕區(qū)域。為驗(yàn)證算法的有效性,每個數(shù)據(jù)集由30 幅圖像構(gòu)成。
對比實(shí)驗(yàn)基于 6 個數(shù)據(jù)集進(jìn)行。分別采用K-means 聚類和全局區(qū)域生長等傳統(tǒng)分割方法、目前得到廣泛關(guān)注的Unet 語義分割方法和文中的ROI 區(qū)域生長法進(jìn)行實(shí)驗(yàn)。
Unet 是一種基于編碼解碼結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò),對小訓(xùn)練樣本問題非常有效,在語義分割中得到廣泛關(guān)注和成功應(yīng)用。首先從每個數(shù)據(jù)集中取3 幅圖像進(jìn)行標(biāo)注,將每幅圖像分成240×448 的圖像塊,對Unet網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后利用訓(xùn)練好的Unet 網(wǎng)絡(luò)對每個數(shù)據(jù)集進(jìn)行語義分割。Unet 網(wǎng)絡(luò)的訓(xùn)練在單CPU 上進(jìn)行,迭代次數(shù)為90 次,用時2 小時6 分鐘,訓(xùn)練準(zhǔn)確度和損失曲線見圖6。
圖6 Unet 訓(xùn)練過程Fig.6 Process of Unet training
實(shí)驗(yàn)在Windows10 操作系統(tǒng)下進(jìn)行,對不同數(shù)據(jù)集,進(jìn)行高斯核函數(shù)同態(tài)濾波后,分別采用K-means 聚類和全局區(qū)域生長進(jìn)行分割,利用訓(xùn)練好的Unet 網(wǎng)絡(luò)和ROI 區(qū)域生長算法,分別對每一個數(shù)據(jù)集進(jìn)行測試,實(shí)驗(yàn)在相同的軟硬件環(huán)境下進(jìn)行,每種數(shù)據(jù)集中每張圖像的平均運(yùn)行時間見表1。
從表1 中看出,全局區(qū)域生長方法耗時長的問題非常明顯,不考慮Unet 網(wǎng)絡(luò)訓(xùn)練時間,只統(tǒng)計使用訓(xùn)練好的Unet 網(wǎng)絡(luò)處理測試樣本時間,每種數(shù)據(jù)集的每張圖像平均運(yùn)行時間也都在30 s 以上?;赗OI的區(qū)域生長由于極大降低了待處理數(shù)據(jù)量,算法運(yùn)行時間大大降低。
表1 平均運(yùn)行時間對比Tab.1 Comparison of average running time s
采用Unet 語義分割、K-means 聚類、全局區(qū)域生長與文中的ROI 區(qū)域生長分割分別對6 類數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對比。每類數(shù)據(jù)集取出典型實(shí)驗(yàn)結(jié)果見圖7—12。
從圖7—12 可看到,光照不均和墻面不同狀況對基于全局灰度特征的圖像分割方法帶來極大困難,雖然Unet 網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確度達(dá)到95%,但在測試中,背景干擾的影響和細(xì)節(jié)丟失的問題比較嚴(yán)重,雖然通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法,可以改善Unet 網(wǎng)絡(luò)的處理效果,但其處理測試樣本的時間也值得關(guān)注?;诨叶韧队俺跏蓟N子點(diǎn)的全局區(qū)域生長法在墻面狀況較好時可以提取出電纜區(qū)域,但電纜表面一致性差或者墻面存在嚴(yán)重剝落和裂紋時(如圖8 和圖11),全局區(qū)域生長法也受到了很大影響。在不同墻面狀況下,基于ROI 的區(qū)域生長法避開了光照不均和墻面的影響,成功實(shí)現(xiàn)了電纜分割。
圖7 數(shù)據(jù)集1 實(shí)驗(yàn)結(jié)果對比Fig.7 Comparison of segmentation result of data set 1
圖8 數(shù)據(jù)集2 實(shí)驗(yàn)結(jié)果對比Fig.8 Comparison of segmentation result of data set 2
圖9 數(shù)據(jù)集3 實(shí)驗(yàn)結(jié)果對比Fig.9 Comparison of segmentation result of data set 3
圖10 數(shù)據(jù)集4 實(shí)驗(yàn)結(jié)果對比Fig.10 Comparison of segmentation result of data set 4
圖11 數(shù)據(jù)集5 實(shí)驗(yàn)結(jié)果對比Fig.11 Comparison of segmentation result of data set 5
圖12 數(shù)據(jù)集6 分割結(jié)果對比Fig.12 Comparison of segmentation result of data set 6
分別對各種方法的分割正確率進(jìn)行了對比。正確率的衡量應(yīng)以滿足更高層應(yīng)用需求為標(biāo)準(zhǔn)。鑒于圖像分割目的是為了得到獨(dú)立而完整的電纜區(qū)域,以用于最終的電纜脫落狀態(tài)識別,所以將正確率的衡量標(biāo)準(zhǔn)定為能否正確提取目標(biāo),而不受背景干擾。為此,采用2 個指標(biāo)進(jìn)行統(tǒng)計:誤把電纜當(dāng)做背景的漏分率(TF)和錯把背景當(dāng)做目標(biāo)的誤分率(FT),其中,當(dāng)電纜區(qū)域空洞面積大于電纜面積一半的情況,記為漏分TF。對每個數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)觀察和統(tǒng)計,得出漏分率TF 和錯分率FT 的結(jié)果如表2 所示。
表2 誤分率FT 和漏分率TF 結(jié)果對比Tab.2 Comparison of false segmentation rate FT and miss segmentation rate TF
為具體比較分割結(jié)果的準(zhǔn)確程度,分別對每個數(shù)據(jù)集取出 3 幅圖像共 18 幅圖像進(jìn)行標(biāo)注得到groundtruth 數(shù)據(jù),計算各方法分割結(jié)果與groundtruth之間的平均Dice 系數(shù),如表3 所示。Dice 系數(shù)反映了分割結(jié)果與groundtruth 的重合程度,其值介于[0,1]之間。
表3 平均Dice 指數(shù)對比Tab.3 Comparison of average Dice parameter
由表2 和表3 可知,Unet、K-means 方法在墻面情況復(fù)雜時,漏分割和錯分割的比例很高,尤其是當(dāng)墻面剝落和裂紋嚴(yán)重時,這2 種方法的平均Dice 系數(shù)不到0.2,算法幾乎失效。而大部分情況下,這2種算法受到墻面干擾的影響而會把墻面錯分為電纜;全局區(qū)域生長法因?yàn)槔昧硕ㄎ恍畔⑦M(jìn)行種子點(diǎn)初始化,所以對于單純光照不均、墻面潮濕和電纜位于圖像一端暗區(qū)域范圍時,平均Dice 系數(shù)在0.9 以上,分割效果相對較好,但在墻面存在條帶狀暗區(qū)域干擾時,平均Dice 系數(shù)不到0.2,該方法也會失效;不論是哪一類數(shù)據(jù)集,ROI 區(qū)域生長法的平均Dice 系數(shù)都在0.9 以上,獲得了很好的效果,只有在電纜表面一致性很差時,電纜內(nèi)部會稍有小面積空洞(如圖8所示)。
隧道電纜脫落圖像檢測具有重要安全意義和實(shí)用價值。其中,電纜圖像分割是實(shí)現(xiàn)電纜狀態(tài)識別的關(guān)鍵。通過分析隧道成像數(shù)據(jù),建立了6 種墻面情況的數(shù)據(jù)集:單純光照不均、墻面潮濕、剝落、污跡、裂紋,基于特征相似性的圖像分割方法很難同時對所有數(shù)據(jù)集實(shí)現(xiàn)有效電纜分割。傳統(tǒng)區(qū)域生長法受種子點(diǎn)選擇、生長準(zhǔn)則和終止準(zhǔn)則的影響很大,往往存在耗時長、空洞和過分割問題。文中通過對電纜圖像空間分布和灰度分布特征分析,利用灰度均值投影包絡(luò)擬合離差,簡單、快速實(shí)現(xiàn)電纜ROI 定位,在ROI上通過區(qū)域生長實(shí)現(xiàn)電纜分割。針對種子點(diǎn)對區(qū)域生長算法的影響,充分利用定位信息進(jìn)行種子點(diǎn)初始化,針對區(qū)域生長耗時長的問題,利用定位信息確定了區(qū)域生長空間范圍,極大降低了待處理數(shù)據(jù)量。與傳統(tǒng)分割方法及目前流行的Unet 語義分割的對比實(shí)驗(yàn)結(jié)果表明,文中方法有效避開了光照不均和墻面多種不利因素對分割算法的影響,獲得了更好的效果,為進(jìn)一步電纜狀態(tài)識別提供了有力支撐。