李 平，梁 丹，梁冬泰，吳曉成，陳 興

自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測方法

李 平，梁 丹*，梁冬泰，吳曉成，陳 興

寧波大學(xué)機(jī)械工程與力學(xué)學(xué)院，浙江 寧波 315211

針對管道檢測過程中圖像采集光照不均勻、缺陷邊緣提取不準(zhǔn)確的問題，提出一種基于自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測方法。首先設(shè)計單尺度Retinex自適應(yīng)圖像增強(qiáng)算法，利用引導(dǎo)濾波對圖像進(jìn)行照度分量估計，經(jīng)自適應(yīng)Gamma矯正得到光照均衡圖像，實(shí)現(xiàn)自適應(yīng)圖像增強(qiáng)；再對傳統(tǒng)Canny邊緣檢測方法進(jìn)行改進(jìn)，采用雙邊濾波平滑圖像，通過迭代閾值法進(jìn)行缺陷圖像分割，根據(jù)邊緣像素相似性進(jìn)行連接，實(shí)現(xiàn)缺陷輪廓的有效提取。搭建基于自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測系統(tǒng)，利用履帶式小車搭載云臺攝像機(jī)，對管道內(nèi)壁缺陷進(jìn)行全方位視覺檢測。實(shí)驗結(jié)果表明，本文的檢測方法可自適應(yīng)矯正圖像亮度，圖像亮度不均勻明顯改善，相比次優(yōu)算法，圖像信息熵提升2.4%，圖像平均梯度提升2.3%，峰值信噪比提升4.4%，可有效提取出管道缺陷邊緣，缺陷識別準(zhǔn)確率達(dá)到97%。

管道機(jī)器人；自適應(yīng)圖像增強(qiáng)；Gamma矯正；缺陷檢測

1 引 言

隨著管道系統(tǒng)的廣泛應(yīng)用，常常出現(xiàn)人為的損壞、老化、機(jī)械性斷裂及破損等故障[1-3]，管道檢測和維護(hù)問題越來越突出，因此有必要對管道進(jìn)行定期檢測維修。傳統(tǒng)的管道檢測方法，如超聲波法[4]、三維激光掃描法[5]、渦流法[6]和漏磁法[7]等設(shè)備復(fù)雜、檢測成本較大，并且不易實(shí)現(xiàn)缺陷可視化。機(jī)器視覺法采用管道機(jī)器人搭載光源和攝像機(jī)，可直接對管道內(nèi)部圖像進(jìn)行實(shí)時圖像采集、傳輸和處理，利用圖像處理技術(shù)進(jìn)行無損非接觸式檢測，提高管道檢測效率的同時減少人為主觀因素影響。

在管道缺陷的快速視覺檢測方面，國內(nèi)外學(xué)者已開展大量相關(guān)研究[8-9]。楊仲元等[10]提出了一種新的用于管道形貌檢測的全方位視覺檢測系統(tǒng)，能夠?qū)崟r獲取管道內(nèi)壁的紋理和深度信息，高質(zhì)量地測量和重建管道三維模型，訓(xùn)練后的R-CNN在速度和精度上都取得了較好的檢測效果，但該方法拍攝圖像極易受機(jī)器人位姿影響導(dǎo)致測量失敗。王穎等[11]提出了一種圓結(jié)構(gòu)光三維視覺管道檢測系統(tǒng)，通過對圓結(jié)構(gòu)光檢測系統(tǒng)進(jìn)行標(biāo)定實(shí)現(xiàn)管內(nèi)三維測量，該系統(tǒng)標(biāo)定不確定度為0.081 mm，三維測量精度較高，但缺少顏色紋理信息且現(xiàn)場標(biāo)定對不同管徑適應(yīng)性較差。吳斌等[12]提出了一種引入外部光源、反射出內(nèi)部圖像的基于360°全景錐鏡、視像管的機(jī)器視覺檢測系統(tǒng)，針對光學(xué)部件的姿態(tài)調(diào)整進(jìn)行深入研究，給出了姿態(tài)調(diào)整流程，建立了較為理想的微細(xì)管道內(nèi)部缺陷測量系統(tǒng)，但得到的環(huán)形缺陷圖像經(jīng)展開后會變得模糊。Haertel等[13]設(shè)計了一種利用三目立體視覺實(shí)現(xiàn)管道內(nèi)壁幾何形狀測量的檢測系統(tǒng)，利用反三角剖分法對每個圖像平面進(jìn)行數(shù)學(xué)投影，并對標(biāo)定好的真實(shí)管道和仿真管道進(jìn)行實(shí)驗，平均誤差為0.3 mm，標(biāo)準(zhǔn)偏差為0.2 mm，但該系統(tǒng)結(jié)構(gòu)復(fù)雜、體積較大，不適合進(jìn)入管道進(jìn)行長距離自動化檢測。雖然目前大部分管道視覺檢測方法均可得到管道內(nèi)表面圖像，但處理后的缺陷圖像較為模糊，且由于噪聲、光照不均勻現(xiàn)象會嚴(yán)重影響缺陷提取效果。

Retinex理論[14]是一種將人眼觀測圖像劃分為低頻照射分量和高頻反射分量的顏色恒常知覺計算理論，通過對反射分量處理可以獲得較好的圖像增強(qiáng)效果。傳統(tǒng)Retinex算法在圖像增強(qiáng)過程中易出現(xiàn)光暈、圖像細(xì)節(jié)模糊、較亮圖像處理效果不佳等缺點(diǎn)。另外在缺陷邊緣提取中，Canny算子相比其他邊緣檢測算法，信噪比和檢測精度較高，在圖像邊緣檢測方面得到了很大應(yīng)用，但傳統(tǒng)的Canny算法檢測結(jié)果偽邊緣和圖像噪聲較多、邊緣不連續(xù)，無法準(zhǔn)確提取出缺陷邊緣信息，算法邊緣提取的連續(xù)性、去噪能力和準(zhǔn)確性有待改善。

針對管道缺陷檢測過程中圖像采集光照不均勻、缺陷邊緣提取不準(zhǔn)確的問題，本文提出一種基于自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測方法。根據(jù)Retinex理論，設(shè)計基于引導(dǎo)濾波的單尺度Retinex自適應(yīng)圖像增強(qiáng)算法，利用引導(dǎo)濾波估計圖像照射分量，通過反射分量的自適應(yīng)Gamma矯正，達(dá)到圖像增強(qiáng)目的；對Canny算子進(jìn)行改進(jìn)，用雙邊濾波抑制噪聲的同時多方向保留圖像梯度信息，用自適應(yīng)閾值進(jìn)行圖像分割并有效保留邊緣連續(xù)性，實(shí)現(xiàn)管道缺陷準(zhǔn)確提??；最后，通過視覺檢測實(shí)驗對本文方法有效性進(jìn)行驗證。

2 管道檢測機(jī)器人結(jié)構(gòu)方案

管道視覺檢測機(jī)器人總體結(jié)構(gòu)如圖1，主要包括機(jī)器人本體、圖像采集模塊和控制模塊。機(jī)器人本體由履帶式機(jī)器人、支架、云臺組成，通過支架可調(diào)節(jié)圖像采集模塊高度，以適應(yīng)不同管徑檢測要求。機(jī)器人本體采用履帶驅(qū)動方式，搭配直流減速驅(qū)動電機(jī)，加大與管道底部的受力面積，增大摩擦，在保持車體穩(wěn)定的條件下，使機(jī)器人有較強(qiáng)的管道越障能力和負(fù)載牽引能力，可裝備圖像采集模塊和其他控制模塊。

該機(jī)器人攝像機(jī)云臺有和兩個方向的旋轉(zhuǎn)自由度，通過對齒輪減速電機(jī)和同步帶的控制，圖像采集模塊可實(shí)現(xiàn)左右滾轉(zhuǎn)和前后俯仰運(yùn)動，極大地提高CCD攝像機(jī)的拍攝范圍，其結(jié)構(gòu)如圖2所示。

圖1 管道機(jī)器人結(jié)構(gòu)示意圖。(a) 管道機(jī)器人模型圖；(b) 管道機(jī)器人實(shí)物圖

圖2 機(jī)器人相機(jī)云臺結(jié)構(gòu)示意圖

在封閉管道內(nèi)部作業(yè)時，控制模塊控制機(jī)器人本體進(jìn)行移動，圖像采集模塊實(shí)時采集管道內(nèi)壁全景圖像，并將獲取的管道內(nèi)壁圖像實(shí)時傳輸給上位機(jī)，進(jìn)行快速自適應(yīng)閾值的二值化[15]處理，根據(jù)二值化后缺陷在圖像中的位置，來初步確定缺陷與相機(jī)的大致位置關(guān)系，調(diào)整相機(jī)云臺至缺陷處于圖像中間位置時，即表明相機(jī)云臺已調(diào)節(jié)到正對缺陷位置，隨后再對缺陷進(jìn)行定點(diǎn)圖像采集，利用本文檢測算法實(shí)現(xiàn)管道缺陷的準(zhǔn)確識別。

利用管道機(jī)器人對管道內(nèi)部圖像進(jìn)行圖像采集，再傳輸給上位機(jī)進(jìn)行視覺圖像處理，以提取出管道內(nèi)壁缺陷。基于自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測方法的算法總體流程如圖3所示，主要包括兩部分：

1) 基于引導(dǎo)濾波的單尺度Retinex自適應(yīng)圖像增強(qiáng)算法。先將采集的不均勻光照RGB(Red, Green, Blue)圖像轉(zhuǎn)換到HSV(Hue, Saturation, Value)顏色空間，再利用引導(dǎo)濾波對HSV圖像分量進(jìn)行照度分量估計，經(jīng)自適應(yīng)Gamma矯正得到光照均衡圖像，實(shí)現(xiàn)圖像增強(qiáng)。

2) 基于雙邊濾波與自適應(yīng)閾值的缺陷檢測算法。在完成自適應(yīng)圖像增強(qiáng)后，對圖像進(jìn)行灰度化處理將圖像轉(zhuǎn)換為灰度圖像，隨后采用雙邊濾波去噪平滑圖像并保持圖像邊緣細(xì)節(jié)信息，通過迭代閾值法對圖像進(jìn)行閾值分割，并根據(jù)邊緣像素相似性進(jìn)行缺陷邊緣連接；最后利用最小外接矩形法確定缺陷區(qū)域，實(shí)現(xiàn)管道機(jī)器人缺陷檢測。

2.1 基于引導(dǎo)濾波的單尺度Retinex自適應(yīng)圖像增強(qiáng)算法

Retinex算法是基于人類視覺系統(tǒng)恒常知覺的計算理論，入射光照射在反射物體上，經(jīng)過反射物體的反射從而進(jìn)入人眼成像，用公式表示為

其中：(,)表示進(jìn)入人眼獲得的原始圖像；(,)表示照度圖像，代表了圖像像素的動態(tài)范圍；(,)表示反射圖像，表示圖像的內(nèi)在性質(zhì)。

單尺度Retinex(single-scale Retinex，SSR)算法基本原理為：對原始圖像進(jìn)行高斯函數(shù)卷積操作，將得到的濾波圖像作為當(dāng)前圖像的照射分量，并運(yùn)用上式求得反射分量，即為增強(qiáng)后圖像。

其中：SSR()表示單尺度Retinex增強(qiáng)后的圖像，“*”為卷積符號，()表示高斯濾波函數(shù)，為高斯尺度因子。

單尺度Retinex算法運(yùn)算中通過高斯卷積后，濾除了圖像的照射分量，將得到的反射分量圖像作為增強(qiáng)后的圖像，還原了圖像的真實(shí)度，但因其尺度單一、高斯函數(shù)平滑細(xì)節(jié)的同時模糊了邊緣信息，并且不能根據(jù)圖像亮度進(jìn)行自適應(yīng)調(diào)節(jié)，易出現(xiàn)顏色信息失真、

細(xì)節(jié)信息缺失、圖像模糊等現(xiàn)象。為了更好地改善圖像增強(qiáng)質(zhì)量，矯正光暈、光照過暗等光照不均勻現(xiàn)象，并針對不同亮度圖像實(shí)現(xiàn)參數(shù)自適應(yīng)，本文對傳統(tǒng)的單尺度Retinex方法進(jìn)行改進(jìn)，提出了一種基于引導(dǎo)濾波的單尺度Retinex自適應(yīng)圖像增強(qiáng)算法。由于直接利用圖像、、分量進(jìn)行處理會出現(xiàn)顏色失真現(xiàn)象，本文將原始圖像轉(zhuǎn)換到HSV顏色空間，利用引導(dǎo)濾波估計照射分量，再對照射分量進(jìn)行自適應(yīng)Gamma矯正，并對矯正后合成的亮度分量進(jìn)行二次Gamma矯正，再將HSV轉(zhuǎn)換到RGB顏色空間，得到增強(qiáng)后的圖像，算法流程圖如圖4所示。

圖3 基于自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測算法總體流程圖

自適應(yīng)引導(dǎo)濾波的圖像增強(qiáng)算法步驟如下：

1) 構(gòu)造引導(dǎo)圖像 將RGB圖像變換為HSV圖像后，對亮度通道計算局部亮度的歸一化標(biāo)準(zhǔn)差：

對亮度通道進(jìn)行多尺度高斯平滑處理得到平滑后的亮度圖像s：

其中：F為第個高斯函數(shù)，其相應(yīng)的權(quán)重系數(shù)為，c為高斯函數(shù)F的尺度因子，本文取1=250，2=80，3=15。

2) 引導(dǎo)濾波器估計照射分量

將平滑后的亮度通道s作為引導(dǎo)圖像，利用引導(dǎo)濾波器對平滑后圖像s進(jìn)行照射分量估計：

最小時，利用最小二乘法求解有：

3)反射分量提取并降噪

根據(jù)Retinex理論，通過對數(shù)運(yùn)算可得反射分量(,)：

提取出的反射分量(,)為圖像高頻部分，而噪聲大多分布在高頻，所以對(,)進(jìn)行局域濾波處理：

圖4 自適應(yīng)圖像增強(qiáng)算法流程

其中：￠(,)為濾波后的反射分量值，(x,y)表示以(,)為中心的′的鄰域窗口，t(,)表示像素(,)的時域權(quán)重，v(,)表示像素(,)的值域權(quán)重，為歸一化常數(shù)，有：

其中：(,)表示像素點(diǎn)(,)的強(qiáng)度值，(,)表示像素點(diǎn)(,)的強(qiáng)度值。

4) 照射分量自適應(yīng)增強(qiáng)

采用改進(jìn)的Gamma矯正系數(shù)1(,)根據(jù)不同圖像照射分量(,)，對照射分量進(jìn)行自適應(yīng)矯正：

其中：,分別為圖像的寬、高，為平均照射分量系數(shù)。

當(dāng)照射分量(,)的平均灰度值較大時，較小，1(,)主要由圖像亮度決定，對亮像素點(diǎn)Gamma增強(qiáng)系數(shù)1(,)趨近于1，圖像亮度增強(qiáng)很小，接近原圖；對暗像素點(diǎn)Gamma增強(qiáng)系數(shù)1(,)較小，使得暗像素點(diǎn)進(jìn)行了較大增強(qiáng)。當(dāng)照射分量(,)的平均灰度值較小時，較大，對暗像素點(diǎn)1(,)小于1，增強(qiáng)幅度較大；對亮像素點(diǎn)1(,)接近或大于1，像素亮度得到抑制。

5) 照射分量自適應(yīng)直方圖均衡化CLAHE

6) 亮度分量二次Gamma矯正

根據(jù)Retinex理論，可得到自適應(yīng)引導(dǎo)濾波增強(qiáng)后的亮度分量￠：

針對矯正后的亮度分量￠圖像可獲得一定程度上的亮度矯正，但是前期矯正很大程度上針對暗像素進(jìn)行增強(qiáng)，并且針對過暗或過強(qiáng)圖像，前期矯正有限，這里針對矯正后的亮度分量￠進(jìn)行二次自適應(yīng)Gamma矯正：

7) 飽和度分量自適應(yīng)修正

為平衡處理后的亮度分量和飽和度的關(guān)系，對飽和度分量進(jìn)行自適應(yīng)修正：

其中：￠為修正后的飽和度分量，為常數(shù)，為調(diào)整系數(shù)，且有：

8) HSV轉(zhuǎn)RGB

將增強(qiáng)后的亮度分量2(,)、飽和度分量￠(,)和色調(diào)分量(,)分量進(jìn)行整合恢復(fù)，得到增強(qiáng)后的HSV空間圖像，最后將圖像由HSV空間轉(zhuǎn)換為RGB空間則可得到最終增強(qiáng)后的圖像。

圖像處理流程如圖5所示，即a→b→c→d→e→f→ g→h→i→j。從圖中可以明顯看出，采用自適應(yīng)引導(dǎo)濾波圖像增強(qiáng)算法能夠很好地矯正光照不均的圖像，采用引導(dǎo)濾波得到的圖像反射分量邊緣信息保持效果較好，在光照亮度突變邊緣處能較好地保留與光照突變無光的細(xì)節(jié)信息。采用的不同的Gamma系數(shù)，分別對照射分量圖、亮度分量圖進(jìn)行自適應(yīng)Gamma矯正，可根據(jù)圖像的照射分量值不同進(jìn)行自適應(yīng)系數(shù)調(diào)整，得到光照較為均勻的圖像。

2.2 管道缺陷檢測

在完成自適應(yīng)圖像增強(qiáng)后，根據(jù)圖像RGB分量加權(quán)平均法，先將圖像轉(zhuǎn)換為灰度圖像：

其中：f(x,y)為灰度化后的圖像像素值，R(x,y)、G(x,y)、B(x,y)為RGB圖像三個分量，α、β、γ分別為各自的權(quán)重系數(shù)，根據(jù)人眼對綠色敏感度最高、藍(lán)色敏感度最低，通常取α=0.299，β=0.578，γ=0.114。

傳統(tǒng)的Canny算法實(shí)現(xiàn)過程主要有：首先對圖像進(jìn)行高斯模糊，去除圖像噪聲，然后計算圖像梯度幅值和方向，隨后對圖像進(jìn)行非極大值抑制，細(xì)化圖像邊緣，最后設(shè)置高低閾值去除假邊緣并進(jìn)行邊緣連接。

針對傳統(tǒng)Canny邊緣提取算法中高斯去噪會減弱圖像邊緣信息，并且閾值手動設(shè)定，使得處理不同灰度差異圖像時適應(yīng)性較差、易出現(xiàn)偽邊緣的問題，本文提出一種基于雙邊濾波與自適應(yīng)閾值的缺陷檢測算法，采用雙邊濾波進(jìn)行圖像噪聲平滑處理保留圖像邊緣信息，利用3′3鄰域模板計算圖像多方向梯度，更好地反映圖像梯度方向變化規(guī)律，采用迭代算法計算圖像最佳閾值，可對不同灰度圖像進(jìn)行閾值自適應(yīng)處理，最后根據(jù)邊緣像素相似性對分割邊緣進(jìn)行連接，可改善不連續(xù)邊緣。具體實(shí)現(xiàn)步驟如下：

1) 雙邊濾波平滑

雙邊濾波在普通高斯濾波的基礎(chǔ)上加入了像素相似度，通過各個點(diǎn)到中心點(diǎn)的空間鄰近度計算各個權(quán)值進(jìn)行優(yōu)化，將其優(yōu)化為空間鄰近度計算的權(quán)值s和像素值相似度計算的權(quán)值r的乘積，優(yōu)化后的權(quán)值再與圖像作卷積運(yùn)算，即：

其中：(,)為雙邊濾波后的像素值，(,)表示以(,)為中心的(2+1)′(2+1)大小的鄰域，(,,,)為加權(quán)系數(shù)，其值為空間鄰近度因子s和亮度相似度因子r的乘積，s和r分別為各自的高斯因子。

2) 梯度幅值計算

傳統(tǒng)Canny算子采用2′2模板計算圖像梯度，鄰域中心非圖像整數(shù)位置，并且兩個方向的梯度不能充分表現(xiàn)圖像邊緣特征，因此，采用基于Sobel算子3′3模板八鄰域像素的一階偏導(dǎo)數(shù)有限差分來計算平滑后的圖像梯度：

其中：為平滑后圖像，“*”代表卷積，為圖像梯度幅值，G為圖像方向的一階導(dǎo)數(shù)，S為各方向?qū)?yīng)的Sobel卷積因子：

3) 非極大值抑制

對圖像進(jìn)行梯度計算后，僅僅基于梯度值提取的邊緣仍然很模糊，因此，按照梯度方向比較同一方向上梯度強(qiáng)度的大小，保留局部梯度強(qiáng)度最大的梯度值，抑制其他梯度值，可實(shí)現(xiàn)邊緣有且只有一個準(zhǔn)確的響應(yīng)，從而達(dá)到細(xì)化邊緣的目的。非極大值抑制的方法為尋找某一像素值在其8鄰域內(nèi)是否為最大值，如果其灰度是鄰域內(nèi)的局部極大值，則當(dāng)前像素點(diǎn)為待定邊緣點(diǎn)，否則為非邊緣點(diǎn)。

4) 迭代求分割閾值

采用迭代閾值法，可有效降低噪聲，并且減少不同圖像差異對閾值選取的影響，實(shí)現(xiàn)最佳閾值自適應(yīng)。

首先設(shè)定圖像中最大、最小灰度值的均值為初始閾值0，計算高于初始閾值部分圖像的灰度均值h和低于初始閾值部分圖像的灰度均值l，取h和l均值作為新的閾值1，如此反復(fù)迭代直到求得的閾值不再發(fā)生變化或達(dá)到指定要求，取最終的h和l值作為最佳高、低閾值對圖像進(jìn)行閾值分割。

5) 邊緣連接

邊緣檢測易產(chǎn)生不連續(xù)的邊界，可根據(jù)邊緣像素相似性判別當(dāng)前邊緣是否連續(xù)：

① 梯度值：

其中：Δ為相鄰像素梯度差值，(,)，(1,1)分別為圖像相鄰像素的梯度值，為梯度判斷閾值。

② 梯度方向：

其中：ξ為梯度方向角度差值，(,)，(1,1)分別為圖像相鄰像素的梯度方向值，為角度閾值。

③ 兩點(diǎn)距離：

其中：d為邊緣點(diǎn)(,)與候選邊緣(1,1)的距離，為距離閾值。

分別計算以(,)為中心的3′3鄰域內(nèi)像素的梯度幅值、梯度方向、距離來判斷是否為與(,)相連的邊緣像素，從而進(jìn)行邊緣連接，評價函數(shù)為

在3′3的鄰域內(nèi)，取=0.6，=0.3，=0.1。選擇鄰域內(nèi)評價函數(shù)最大的像素點(diǎn)作為邊緣進(jìn)行連接，最后利用最小外接矩形法確定缺陷區(qū)域。

3 實(shí)驗結(jié)果

3.1 圖像增強(qiáng)

由于機(jī)加工、焊接應(yīng)力和載荷應(yīng)力等因素，蒸汽管道在長時間使用后易出現(xiàn)裂紋、腐蝕等缺陷。本文針對飽和蒸汽Q235A管道(f300′8 mm)的裂紋和孔洞缺陷進(jìn)行視覺檢測實(shí)驗。利用履帶式小車裝載樹莓派RASPBERRY PI3作為圖像處理模塊，Arduino作為機(jī)器人驅(qū)動控制模塊，微型攝像機(jī)(分辨率為1024×768)作為圖像采集模塊，光源為組合LED燈光，對管道內(nèi)部視覺缺陷檢測處理。首先調(diào)整相機(jī)云臺至管道中心位置，檢測管道環(huán)形圖像中缺陷位置，識別并控制云臺攝像機(jī)跟蹤定位缺陷進(jìn)行準(zhǔn)確檢測。

采集管道內(nèi)的缺陷圖像，分別利用基于Retinex理論的多尺度算法(multi-scale Retinex，MSR)(尺度因子分別為15、80和250)、直方圖均衡化算法、SVLM(space-variant luminance map)算法、局部均方差算法和同態(tài)濾波算法，與本文算法進(jìn)行矯正效果比較，結(jié)果如圖6所示。由圖可以看出，針對管道檢測在LED照射下形成的光暈、光照過強(qiáng)等圖像，六種算法均有一定的增強(qiáng)效果。其中，MSR算法和同態(tài)濾波算法針對強(qiáng)光照圖像的矯正效果較差，如圖6(b)和圖6(f)所示，對亮度進(jìn)行了適當(dāng)均勻化處理，但是處理后的圖像整體偏亮，圖像細(xì)節(jié)丟失；如圖6(c)所示，直方圖均衡化算法將光照強(qiáng)、弱部分進(jìn)行了明顯的分離，形成光照突變邊界；SVLM算法能夠很好地減弱光照過強(qiáng)的圖像，但是噪聲放大嚴(yán)重，如圖6(d)所示；局部均方差算法有一定的光照矯正效果，但是矯正效果不明顯，如圖6(e)所示；而本文算法可同時減弱圖像光照過亮部分、增強(qiáng)圖像過暗部分，實(shí)現(xiàn)圖像亮度均衡化，有效改善了圖像因光照不均造成的細(xì)節(jié)丟失現(xiàn)象，并較好地保持了圖像紋理細(xì)節(jié)。

圖6 不同圖像增強(qiáng)算法處理結(jié)果對比。(a) 原始圖像；(b) MSR處理結(jié)果圖；(c) 直方圖均衡化處理結(jié)果；(d) SVLM處理結(jié)果圖；(e) 局部均方差處理結(jié)果；(f) 同態(tài)濾波處理結(jié)果；(g) 本文處理結(jié)果

為了客觀評價不同算法圖像增強(qiáng)后的效果，分別利用均值、信息熵[16]、平均梯度、標(biāo)準(zhǔn)差和峰值信噪比對圖6所示圖像進(jìn)行定量分析，結(jié)果如表1。均值反映圖像的整體亮度；信息熵是衡量圖像信息量大小的標(biāo)準(zhǔn)，信息熵越大則圖像所包含的信息越多；平均梯度反映了圖像的清晰度和紋理變化，平均梯度越大則圖像越清晰；標(biāo)準(zhǔn)差反映了圖像像素間的離散分布情況，標(biāo)準(zhǔn)差越小，說明圖像像素分布越均勻；峰值信噪比(peak signal to noise ratio，PSNR)是衡量圖像失真或噪聲水平的標(biāo)準(zhǔn)，PSNR越大表示失真越小。

可以看出，對比其他幾種圖像增強(qiáng)算法，本文算法處理后的圖像均值明顯下降，圖像過亮部分得到明顯抑制，過暗部分得到增強(qiáng)；圖像信息熵、平均梯度、峰值信噪比都得到了提升，且效果優(yōu)于其他算法，相比次優(yōu)算法，圖像信息熵提升2.4%，圖像平均梯度提升2.3%，標(biāo)準(zhǔn)差降低73.9%，峰值信噪比提升4.4%，圖像像素總體趨于平均。綜上可知，通過本文算法的處理，可以有效實(shí)現(xiàn)非均勻光照圖像的矯正，在保持原圖像細(xì)節(jié)信息的同時，減弱圖像光照過亮部分、增強(qiáng)光照過暗部分，并且提高了圖像的局部對比度，圖像灰度分布均勻，管道表面缺陷細(xì)節(jié)清晰保持較好，矯正效果較其他五種圖像增強(qiáng)算法有明顯優(yōu)勢。

3.2 缺陷檢測

在圖像增強(qiáng)后，根據(jù)2.2所述方法進(jìn)行缺陷邊緣提取并檢測出缺陷區(qū)域，對本文基于雙邊濾波與自適應(yīng)閾值的缺陷檢測方法進(jìn)行驗證。分別用文獻(xiàn)[2]、文獻(xiàn)[5]、文獻(xiàn)[17]、文獻(xiàn)[18]的方法以及本文的檢測算法對管道缺陷圖像進(jìn)行檢測，結(jié)果如圖7和圖8所示。

表1 不同圖像增強(qiáng)算法客觀指標(biāo)評價

圖8 管道孔洞缺陷邊緣檢測算法對比圖。(a) 原始圖像；(b) 文獻(xiàn)[2]；(c) 文獻(xiàn)[5]；(d) 文獻(xiàn)[17]；(e) 文獻(xiàn)[18]；(f) 處理結(jié)果

可以看出，文獻(xiàn)[2]算法在缺陷邊緣連貫性上表現(xiàn)較好，但是檢測效果敏感，易將圖像噪聲識別為缺陷部分，檢測準(zhǔn)確性還有待提高；文獻(xiàn)[5]算法檢測的缺陷邊緣較為完整、清晰，但極易受光照不均影響，偽邊緣現(xiàn)象明顯；文獻(xiàn)[17]算法可對噪聲進(jìn)行有效抑制并去除偽邊緣，但缺陷邊緣連續(xù)性較差，容易出現(xiàn)缺陷邊緣中斷或較弱缺陷邊緣未能識別的現(xiàn)象；文獻(xiàn)[18]算法較好地檢測出了管道缺陷邊緣，缺陷邊緣寬度較大且明顯，從而使得缺陷定位能力降低，并且存在細(xì)小噪聲干擾；而本文算法保留了圖像邊緣信息的同時平滑了圖像細(xì)小噪聲，自適應(yīng)閾值分割后的邊緣連接使得提取的輪廓清晰明顯，連續(xù)性較好。

本文采用文獻(xiàn)[19]的4連通域指數(shù)/與8連通域指數(shù)/、文獻(xiàn)[20]的品質(zhì)因素作為量化指標(biāo)對圖7邊緣檢測算法處理結(jié)果進(jìn)行定量評價，結(jié)果如表2所示。/反映提取的邊緣像素的連續(xù)性，值越小則邊緣越連續(xù)；/反映單個像素邊緣所占的比例，值越小則占比越大，越符合單一像素準(zhǔn)則；反映的是理想邊緣與實(shí)際邊緣的距離指數(shù)，取手工標(biāo)注的缺陷邊緣為理想圖像邊緣，值越大則實(shí)際邊緣越接近理想邊緣。從表2中可以看出，本文算法/和/的值均小于其余四種算法，即本文算法檢測可較好地去掉偽邊緣和噪聲干擾，在去噪和邊緣連續(xù)性上優(yōu)于其它四種算法；品質(zhì)因素的值均比其余四種算法要大，表明該本文算法提取的缺陷邊緣更接近理想邊緣。

為驗證檢測算法的準(zhǔn)確度，對同一管道內(nèi)壁檢測到的100個表面裂紋和孔洞缺陷樣本分別利用以上五種算法進(jìn)行對比測試，測試結(jié)果如表2所示。在檢測過程中，若檢測算法所得單個缺陷區(qū)域與實(shí)際標(biāo)注缺陷區(qū)域重合度大于80%，即表示識別出了該處缺陷。從表2中可以看出，本文算法相比文獻(xiàn)[2]、文獻(xiàn)[5]和文獻(xiàn)[17]算法有明顯的優(yōu)勢；文獻(xiàn)[18]識別準(zhǔn)確率較高，但是提取的邊緣粗大不利于管道缺陷定位；本文算法管道表面缺陷識別效果更準(zhǔn)確，準(zhǔn)確率高達(dá)97%。由于本文檢測缺陷主要適用于定性分析，所以對位置和形狀的精度要求不高，存在細(xì)小較弱缺陷漏檢情況，以后工作可進(jìn)一步改善檢測系統(tǒng)組成，優(yōu)化檢測算法，針對具體應(yīng)用需求提高檢測精度。

表2 邊緣檢測效果指標(biāo)評估

4 結(jié) 論

在封閉管道視覺檢測中，內(nèi)部照明系統(tǒng)光照不均嚴(yán)重影響管道缺陷識別與提取，缺陷檢測準(zhǔn)確率有待提高。本文提出一種基于自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測方法?；谝龑?dǎo)濾波的單尺度Retinex自適應(yīng)圖像增強(qiáng)算法，采用引導(dǎo)濾波分離出圖像HSV空間分量的低頻照射分量和高頻反射分量，通過Gamma矯正、圖像濾波處理后，得到自適應(yīng)增強(qiáng)后的光照均衡圖像，利用改進(jìn)的Canny檢測算法實(shí)現(xiàn)管道內(nèi)壁缺陷邊緣檢測。搭建管道機(jī)器人缺陷檢測系統(tǒng)，使用樹莓派作為圖像處理系統(tǒng)，Arduino模塊作為驅(qū)動控制履帶式小車，搭載攝像機(jī)云臺進(jìn)行圖像采集與處理，實(shí)現(xiàn)管道內(nèi)壁缺陷全方位檢測。結(jié)果表明，本文的自適應(yīng)圖像增強(qiáng)算法處理后的圖像亮度不均勻現(xiàn)象明顯改善，相比次優(yōu)算法，信息熵提升2.4%，平均梯度提升2.3%，峰值信噪比提升4.4%，標(biāo)準(zhǔn)差降低73.9%，圖像像素總體趨于平均穩(wěn)定?；陔p邊濾波與自適應(yīng)閾值的缺陷檢測算法在4連通域指數(shù)/、8連通域指數(shù)/和品質(zhì)因素評價指標(biāo)上，均優(yōu)于其余四種算法，可得到清晰、連續(xù)的缺陷邊緣，缺陷識別準(zhǔn)確率達(dá)到97%。本文提出的檢測方法提高了封閉管道檢測的自動化水平與檢測效率。

[1] Hong D H, Wang H L, Li W P,. Study on the defects in welded joint of hot reheat steam pipe of ultra supercritical units after long-term service[J]., 2017, 53(18): 113–120.

洪鼎華, 王環(huán)麗, 李武平, 等. 在役P92鋼蒸汽管道焊接接頭中缺陷的研究[J]. 機(jī)械工程學(xué)報, 2017, 53(18): 113–120.

[2] Yang X F, Wu Y Y, Zhao L. Pipeline crack detection algorithm based on Canny detector[J]., 2018, 39(3): 798–803.

楊先鳳, 吳媛媛, 趙玲. 基于Canny改進(jìn)算子的油管裂紋檢測算法[J]. 計算機(jī)工程與設(shè)計, 2018, 39(3): 798–803.

[3] Sun L, Sun Q Q, Ren L,. A new method for underground pipeline corrosion monitoring applied FBG[J]., 2012, 41(1): 6–10.

孫麗, 孫茜茜, 任亮, 等. 應(yīng)用光纖布喇格光柵傳感器監(jiān)測地下管道腐蝕的新方法研究[J]. 光子學(xué)報, 2012, 41(1): 6–10.

[4] Cao J S, Cao Z, Zhao L F,. Detecting techniques of surface crack of pipeline based on laser ultrasonic[J]., 2016, 43(3): 1–6.

曹建樹, 曹振, 趙龍飛, 等. 激光超聲管道表面裂紋檢測技術(shù)[J]. 光電工程, 2016, 43(3): 1–6.

[5] Zhang P, Chen Z D, Li X X,. X-ray digital image of weld defect based on wavelet transform edge detection[J]., 2016(3): 41–43.

張盼, 陳志東, 李曉旭, 等. 基于小波變換的X射線數(shù)字圖像焊縫缺陷邊緣檢測[J]. 管道技術(shù)與設(shè)備, 2016(3): 41–43.

[6] Wang Z G, Luo Q W, Shi Y B,. Analysis of eddy current coil coupling in ferromagnetic pipe and pipe’s parameter detection[J]., 2014, 35(12): 2843–2851.

王志剛, 羅清旺, 師奕兵, 等. 鐵磁性管道內(nèi)渦流線圈耦合分析與管道參數(shù)檢測[J]. 儀器儀表學(xué)報, 2014, 35(12): 2843–2851.

[7] Yang J X, Li C, Xia S,. Magnetostrictive guided wave flaw detection system for pipeline[J]., 2017(6): 95–97, 167.

楊金旭, 李策, 夏勝, 等. 基于磁致伸縮導(dǎo)波的管道缺陷檢測系統(tǒng)[J]. 儀表技術(shù)與傳感器, 2017(6): 95–97, 167.

[8] Su T C, Yang M D. Application of morphological segmentation to leaking defect detection in sewer pipelines[J]., 2014, 14(5): 8686–8704.

[9] Vriesman D, Britto A S, Zimmer A,. Automatic visual inspection of thermoelectric metal pipes[J]., 2019, 13(5): 975–983.

[10] Yang Z Y, Lu S H, Wu T,. Detection of morphology defects in pipeline based on 3D active stereo omnidirectional vision sensor[J]., 2018, 12(4): 588–595.

[11] Wang Y, Zhang R. In-pipe surface circular structured light 3D vision inspection system[J]., 2014, 43(3): 891–896.

王穎, 張瑞. 管道內(nèi)表面圓結(jié)構(gòu)光視覺三維測量系統(tǒng)[J]. 紅外與激光工程, 2014, 43(3): 891–896.

[12] Wu B, Shao Z Y, Zhang Y H. A new technology of building up defect measuring system for inner micro-pipe[J]., 2014, 25(2): 293–298.

吳斌, 邵震宇, 張云昊. 微細(xì)管道內(nèi)壁缺陷測量系統(tǒng)構(gòu)建和技術(shù)[J]. 光電子·激光, 2014, 25(2): 293–298.

[13] Haertel M E M, da Costa Pinto T L F, Júnior A A G. Trinocular stereo system with object space oriented correlation for inner pipe inspection[J]., 2015, 73: 162–170.

[14] Land E H, McCann J J. Lightness and retinex theory[J]., 1971, 61(1): 1–11.

[15] Bradley D, Roth G. Adaptive thresholding using the integral image[J]., 2007, 12(2): 13–21.

[16] Wei W Y, Ren X K. Quadtree image retrieval based on image entropy[J].2005, 23(4)511–514, 521.

魏偉一, 任小康. 基于圖像信息熵的四叉樹檢索算法[J]. 佳木斯大學(xué)學(xué)報(自然科學(xué)版), 2005, 23(4): 511–514, 521.

[17] Ren H E, Liu M, Dong B Z. Edge detection algorithm of wood-flour based on modified morphological operator[J]., 2015, 51(5): 183–186.

任洪娥, 劉冕, 董本志. 基于改進(jìn)形態(tài)學(xué)算子的木粉邊緣檢測算法[J]. 計算機(jī)工程與應(yīng)用, 2015, 51(5): 183–186.

[18] Hao L H, Wang M Q. Application of improved canny algorithm in defect edge detection of straight weld image[J]., 2017, 42(7): 52–55.

郝利華, 王明泉. 改進(jìn)的Canny算法在直焊縫圖像缺陷邊緣檢測中的應(yīng)用[J]. 火力與指揮控制, 2017, 42(7): 52–55.

[19] Lin H, Zhao C S, Shu N. Edge detection based on Canny operator and evaluation[J]., 2003, 17(2): 3–6, 16.

林卉, 趙長勝, 舒寧. 基于Canny算子的邊緣檢測及評價[J]. 黑龍江工程學(xué)院學(xué)報, 2003, 17(2): 3–6, 16.

[20] Chen H X. Study on the objective evaluation of the performance of edge detection operator based on the quality factor[J]., 2015(8): 8–10.

陳宏希. 基于品質(zhì)因數(shù)的邊緣檢測算子性能優(yōu)劣客觀評價研究[J]. 自動化與儀器儀表, 2015(8): 8–10.

Research on defect inspection method of pipeline robot based on adaptive image enhancement

Li Ping, Liang Dan*, Liang Dongtai, Wu Xiaocheng, Chen Xing

Faculty of Mechanical Engineering and Mechanics, Ningbo University, Ningbo, Zhejiang 315211, China

Pipeline defect visual inspection image processing

Overview:Digital image processing technology is widely used in the regular detection and maintenance of damaged, aged, faulted pipeline, on account of the virtue of high efficiency, accurate identification, non-contact detection, etc. Aiming at the problem of uneven image acquisition and inaccurate edge extraction in closed pipeline detection process, a pipeline robot defect detection system based on adaptive image enhancement is designed with the pan-tilt-zoom camera as the image acquisition module, Raspberry PI as the image processing system and Arduino as the driving control module to carry on the omni-directional visual inspection to the pipeline inner wall.

A single-scale Retinex adaptive image enhancement algorithm based on guided filtering is proposed. According to the single-scale Retinex theory, the low frequency irradiation component and the high frequency reflection component can be effectively separated from the Value component of HSV space (converted form RGB images) by using the guided filter. The local filter is used to reduce the noise of the reflection component which is mostly distributed in the high frequency part, and the irradiation component is corrected by the adaptive Gamma algorithm. Finally, the integrated restoration of the corrected RGB image of pipeline defect is realized, and the adaptive image enhancement is achieved.

In order to solve the problem of edge blur and threshold setting in traditional Canny detection, bilateral filtering is used to smooth the image and maintain the image edge information effectively. The gradient amplitude is calculated in multiple directions for non-maximum suppression, the adaptive optimal threshold is obtained by iterative threshold method, and the threshold segmentation of the image is carried out. Finally, the edge connection is carried out according to the similarity of edge pixels to realize the accurate extraction of pipeline defect edges.

The experimental results show that the detection system can adapt to correct the image brightness, the uneven illumination of the acquired images is improved obviously. Compared with the suboptimal algorithm, the information entropy of the defect image increases by 2.4%, the average gradient increases by 2.3%, the peak signal to noise ratio increases by 4.4%, and the improved Canny detection algorithm can extract the edge of pipeline defects effectively with the detection accuracy up to 97%. In this paper, the defect detection system of pipeline robot based on adaptive image enhancement can be used to detect and identify pipeline defects in closed pipeline under uneven illumination environment with high detection accuracy, compact structure and strong applicability.

Citation: Li P, Liang D, Liang D T,Research on defect inspection method of pipeline robot based on adaptive image enhancement[J]., 2020, 47(1): 190304

Supported by National Natural Science Foundation of China (51805280) and Natural Science Foundation of Zhejiang Province (LQ18E050005)

* E-mail: liangdan@nbu.edu.cn

Research on defect inspection method of pipeline robot based on adaptive image enhancement

Li Ping, Liang Dan*, Liang Dongtai, Wu Xiaocheng, Chen Xing

Faculty of Mechanical Engineering and Mechanics, Ningbo University, Ningbo, Zhejiang 315211, China

In view of the problem about uneven image acquisition and inaccurate edge extraction in pipeline detection process, a pipeline robot defect inspection method based on adaptive image enhancement is proposed. Firstly, a single-scale Retinex adaptive image enhancement algorithm is designed, which uses the guided filter to estimate the illumination component of the Value component of the image, and gets the illumination equilibrium image by adaptive Gamma correction, so as to realize the image enhancement. Then, the traditional Canny edge detection method is improved, using bilateral filtering to smooth the image. Besides, the defect images are segmented by the iterative threshold method, and the edge connection is carried out according to the edge pixel similarity. Therefore, the defect contour of the pipe-wall is extracted effectively. Thirdly, a pipeline robot defect detection system based on adaptive image enhancement is built, and a crawler car equipped with the pan-tilt-zoom camera conducts all-round visual inspection of the defects in the pipeline inner wall. The experimental results show that the detection method in this paper can adaptively correct the image brightness, and the uneven brightness of the image is significantly improved. Compared with the sub-optimal algorithm, the information entropy of the image is increased by 2.4%, the average gradient of the image is increased by 2.3%, and the peak signal to noise ratio is increased by 4.4%, and the pipeline defect edges are extracted effectively with the detection accuracy up to 97%.

pipeline robot; adaptive image enhancement; Gamma correction; defect inspection

TP391.41

A

李平，梁丹，梁冬泰，等. 自適應(yīng)圖像增強(qiáng)的管道機(jī)器人缺陷檢測方法[J]. 光電工程，2020，47(1): 190304

10.12086/oee.2020.190304

: Li P, Liang D, Liang D T,. Research on defect inspection method of pipeline robot based on adaptive image enhancement[J]., 2020,47(1): 190304

2019-06-04；

2019-09-04基金項目：國家自然科學(xué)基金資助項目(51805280)；浙江省自然科學(xué)基金資助項目(LQ18E050005)

李平(1994-)，男，碩士研究生，主要從事機(jī)器視覺與機(jī)器人技術(shù)的研究。E-mail：liping4204@163.com

梁丹(1989-)，男，博士，講師，主要從事仿生視覺系統(tǒng)、機(jī)器人及圖像處理技術(shù)的研究。E-mail：liangdan@nbu.edu.cn