袁明道，譚 彩，李 陽，徐云乾，張旭輝，楊靜學(xué)

基于圖像融合和改進閾值的管道機器人探測圖像增強方法

袁明道1，譚 彩1，李 陽2，徐云乾1，張旭輝1，楊靜學(xué)1

(1. 廣東省水利水電科學(xué)研究院，廣東 廣州 510610；2. 天津理工大學(xué)計算機科學(xué)與工程學(xué)院，天津 300384)

管道機器人探測能快速、準(zhǔn)確和直觀地識別管道結(jié)構(gòu)性和功能性隱患，受管道內(nèi)環(huán)境限制，探測的圖像存在光照不均、對比度低和細節(jié)模糊等問題。為此，提出了一種管道機器人探測圖像的增強技術(shù)。首先采用限制對比度自適應(yīng)直方圖均化(Contrast Limited Adaptive Histogram Equalization，CLAHE)和同態(tài)濾波(Homomorphic Filtering，HF)處理光照不均勻和對比度低的問題，并將2種方法結(jié)果進行融合。而后將融合的圖像進行非下采樣輪廓波變換(Nonsubsampled Contourlet Transform，NSCT)，并采用改進的Bayes-Shrink閾值對高頻系數(shù)進行噪聲去除。最后采用非線性映射函數(shù)對細節(jié)進行增強，并進行NSCT逆變換得到最終增強圖像。選取5幅典型管道機器人探測圖像進行增強處理，并與4種常見的圖像增強技術(shù)進行對比。結(jié)果表明，基于圖像融合和改進閾值的管道機器人探測圖像增強技術(shù)可有效提高圖像的整體和局部對比度，并有效增強圖像的細節(jié)，能有效解決管道機器人探測圖像存在的主要問題。

管道機器人；圖像融合；非下采樣輪廓波變換；同態(tài)濾液；對比度自適應(yīng)直方圖均化

我國目前大壩總數(shù)高達8萬余座，其中絕大部分為20世紀(jì)中葉修建的中小型土壩，作為重要的三大構(gòu)成之一的輸水涵管，結(jié)構(gòu)性和功能性缺陷是導(dǎo)致該類土壩出現(xiàn)病險的主要原因之一。因此，消除輸水涵管病害是全面落實“河長制”，切實保障水安全的重要一環(huán)。為科學(xué)有效地消除輸水涵管病害，須先對其進行探測，查明其存在的結(jié)構(gòu)性和功能性缺陷。

管道機器人探測是目前管道探測最有效、最安全的手段，能快速、準(zhǔn)確和直觀地識別管道結(jié)構(gòu)性和功能性隱患[1]。然而受水利管道內(nèi)環(huán)境條件限制，探測的圖像存在光照不均勻、對比度低、細節(jié)模糊等問題，導(dǎo)致探測結(jié)果失真，圖像分析困難，隱患難以全部探明，嚴(yán)重影響管道安全運行。因此，有必要對管道機器人探測圖像進行增強處理。

圖像增強是一種重要的圖像處理方法，能有效增強圖像中的細節(jié)信息，抑制噪聲，提高圖像質(zhì)量[2-3]。目前圖像增強方法主要有：直方圖均衡化(Histogram Equalization，HE)、引導(dǎo)濾波(Guided Filtering)、同態(tài)濾波(Homomorphic Filtering，HF)、小波變換、多尺度幾何變換等[4-7]。直方圖均衡化運算速率快且能有效增大圖像對比度，但圖像局部的對比度提升能力弱，且會將不同的灰度級像素歸為同一級，造成信息丟失?；诜謮K處理思想提出的自適應(yīng)直方圖均衡化(Adaptive Histogram Equalization，AHE)，能有效增強局部對比度，但同時噪聲也會放大，限制對比度自適應(yīng)直方圖均化(Contrast Limited Adaptive Histogram Equalization，CLAHE)采用閾值對噪聲進行限制，但圖像細節(jié)無法得到增強。引導(dǎo)濾波是一種保持邊緣的圖像增強方法，可有效地增強圖像邊緣細節(jié)信息，但對噪聲敏感[5]。HF可有效改善光照不均問題，但不能較好地增強圖像邊緣細節(jié)信息[8]。小波變換[4]具有時頻局域化特點，可有效捕捉圖像高頻信息，在圖像處理中得到廣泛的使用，但小波變換只有3個方向，Contourlet(CT)可得到更多的方向，是種“正真”的圖像二維表示方法，可有效捕捉圖像各個方向的高頻信息，但是其不具備平移不變性，存在頻譜混疊現(xiàn)象，表現(xiàn)“吉布斯”效應(yīng)[9]。NSCT在分解重構(gòu)過程中繼承了傳統(tǒng)CT對圖像表示的多方向性和各向異性，且具有傳統(tǒng)CT不具備的平移不變性[10-11]。NSCT可以有效地增強圖像的細節(jié)，但不能較好提升圖像整體對比度?，F(xiàn)有的基于NSCT增強的方法主要是先使用NSCT分解，對低頻信息進行拉伸，再對高頻信息進行增強，因此，若原圖像對比度較低，則NSCT難以較好地捕捉邊緣信息進而增強圖像的細節(jié)信息[12-14]。

本文針對管道機器人探測圖像光照不均、對比度低、細節(jié)模糊的特點，融合CLAHE、HF和NSCT各自的優(yōu)點提出了一種組合的圖像增強方法，根據(jù)Bayes-Shrink閾值提出改進的閾值，并采用人為評價和客觀評價對其增強效果進行評價。

1 管道機器人探測

管道機器人探測技術(shù)又稱CCTV(Closed Circuit Television，CCTV)探測技術(shù)，是目前最有效和最安全的管道探測手段。管道機器人主要由控制器、自動電纜盤、帶高清晰度攝影成像的爬行車、存儲器和伸縮控制桿等部件組成。管道機器人通過爬行車爬入管道內(nèi)部，通過自帶的攝影成像系統(tǒng)將管道內(nèi)部情況實時顯示于控制面板顯示器，并通過存儲器存儲。管道機器人爬行車尺寸長310 mm×寬110 mm × 高90 mm，質(zhì)量6 kg，最大防水深度10 m。其中攝像系統(tǒng)尺寸長168 mm×寬81 mm×高72 mm，質(zhì)量1.5 kg，感光度1 Lux，水平分辨率460線，光學(xué)變焦10x，數(shù)碼變焦12x，視角60°，LED照明。檢測系統(tǒng)可顯示并自動更新電纜校準(zhǔn)點到攝像頭間的距離，精度可達分米級。

近年來，廣東省水利水電科學(xué)研究院開展了近百宗管道機器人探測，為各種管道工程復(fù)核計算和安全評價提供依據(jù)，為落實“河長制”保障水安全提供了技術(shù)支撐[1]。然而管道內(nèi)由于光線昏暗，空氣潮濕，大量顆粒懸浮等問題使得探測的圖像普遍存在以下缺陷(圖1)：a.管道內(nèi)光線不足，其主要光源為管道機器人自帶的LED燈，光照分布不均。當(dāng)物體距光源較遠時，光照度不足導(dǎo)致物體整體輪廓模糊，而距光源較近時，光照度過強產(chǎn)生鏡面反射導(dǎo)致圖像中出現(xiàn)亮白一片；b.管道機器人自帶的LED燈與自然光成像明顯不同，管道中懸浮顆粒會散射和吸收物體表面反射光，光照度明顯不足，對比度低，細節(jié)模糊；c.圖像呈灰、白和黑色，圖像處理時，可利用色彩信息少。管道機器人探測圖像缺陷嚴(yán)重影響輸水涵管隱患評判與分析，危及管道安全運行。因此，為保障涵管探測分析結(jié)果可靠性，必須首先對管道機器人探測圖像光照不均、對比度低、細節(jié)模糊的問題進行處理。

圖1 典型管道機器人探測圖像

2 基于圖像融合和改進閾值的圖像增強技術(shù)

為有效解決管道機器人獲取的圖像存在的光照不均、對比度低、細節(jié)模糊等問題，提出了一種基于圖像融合和改進閾值的圖像增強技術(shù)，該技術(shù)流程圖如圖2所示。其設(shè)計思路為根據(jù)管道機器人獲取圖像對光照不均和對比度較低的特點，首先融合了HF和CLAHE方法的優(yōu)勢，提高圖像的對比度和亮度；其次根據(jù)Bayes-Shrink閾值提出改進的閾值，使用NSCT對圖像進行噪聲抑制；最后使用映射函數(shù)對圖像細節(jié)進行增強。

圖2 圖像增強技術(shù)流程圖

2.1 基于空域融合的對比度增強

進行對數(shù)變換，得到兩個加性分量，即：

進行傅立葉變換，得到其對應(yīng)的頻率表示系數(shù)：

設(shè)計一個頻率濾波器，進行頻率域濾波操作，并進行傅立葉反變換，返回空域?qū)?shù)圖像，取指數(shù)，即可得到空域結(jié)果圖像。

CLAHE與普通自適應(yīng)直方圖均衡的主要不同在于其對比度限幅，為克服AHE的過度放大噪聲的問題，在CLAHE中對每個小區(qū)域都進行了對比度限幅。雖然同態(tài)濾波和CLAHE都能提高圖像的對比度，但是這2種方法各有優(yōu)勢，因此，本文提出對同態(tài)濾波和CLAHE的結(jié)果加權(quán)融合，公式如式(4)：

式中和分別為HF和CLAHE結(jié)果圖像，和為融合加權(quán)系數(shù)，為融合結(jié)果圖像，如圖4所示?？芍?，空域融合圖像包含了HF和CLAHE兩種方法的優(yōu)點，提高了圖像的局部對比度也改善了亮度不均。

2.2 改進閾值函數(shù)

受探測環(huán)境限制，管道機器人獲取的圖像噪聲較大，且CLAHE和HF在增強圖像時會將噪聲放大，需對圖像進行去噪處理，NSCT是一種新型平移不變，多尺度、多方向性的快速變換，是基于非下采樣金字塔(Nonsubsampled Pyramid，NSP)和非下采樣方向濾波器(Nonsubsampled Directional Filter Band，NSDFB)的一種變換。其操作方法為首先采用NSP對輸入圖像進行塔形分解，得到高通和低通2個部分，然后使用NSDFB將高頻子帶分解為多個方向子帶，低頻部分繼續(xù)進行如上分解。圖像通過NSP進行多尺度分解減少了采樣在濾波器中的失真，獲得了平移不變性。NSDFB是一個雙通道的濾波器，將分布在同方向的奇異點合成NSCT的系數(shù)。每個尺度下的方向子圖的的大小都和原圖同樣大小。

在小波域中，假設(shè)小波系數(shù)服從廣義高斯分布，Bayes-Shrink閾值[17]能獲得接近于理想閾值的去噪效果。而圖像經(jīng)過NSCT變換后，其高頻系數(shù)也符合廣義高斯分布，故引入BayesShrink閾值：

噪聲經(jīng)過NSCT多層分解之后，其值逐漸衰減變小，而邊緣細節(jié)的值經(jīng)過多層分解后逐漸變大，因此，在NSCT域中，在不同尺度、不同方向的子帶系數(shù)均有差異，所以對每一層均需采取不同的閾值。為此，提出了一種改進的閾值：

通過改進，可以更多地保留高層子帶的系數(shù)，抑制底層子帶的噪聲，有助于增強圖像的清晰度。

2.3 細節(jié)增強

由于CLAHE和HF不能較好地對圖像細節(jié)進行增強，通過NSCT高頻系數(shù)操作可實現(xiàn)圖像細節(jié)的增強。為便于NSCT對圖像細節(jié)的提取和增強，首先對圖像對比度進行了有效的增強。由于NSCT可有效地捕捉圖像每個方向的細節(jié)，故僅需對細節(jié)系數(shù)進行合理地調(diào)節(jié)，即可獲得理想的結(jié)果。

NSCT高頻系數(shù)可分為3種：噪聲系數(shù)、弱邊緣系數(shù)和強邊緣系數(shù)。噪聲系數(shù)絕對值相對較小，需對其進行抑制，采用本文改進的BayesShrink噪聲閾值對其進行簡單的置零操作即可抑制噪聲；弱邊緣系數(shù)絕對值大小適中，對其進行適當(dāng)?shù)姆糯?，則可有效地增強弱邊緣；強邊緣系數(shù)絕對值相對較大，不需要進行增強處理，直接保留。細節(jié)增強操作可表示為：

3 實驗

3.1 實驗設(shè)置

為驗證提出的基于圖像融合和改進閾值的管道機器人探測圖像增強技術(shù)的有效性，選取5幅典型管道機器人探測圖像，分別編號為P1、P2、P3、P4和P5，并將本文方法與4種圖像增強方法(HE、CLAHE、HF和文獻[14]中的方法)進行對比實驗，其中文獻[14]中的方法為一種目前最新的圖像增強方法。操作平臺為Windows 7，內(nèi)存為16 GB，編程軟件為Matlab2016a。本文方法和文獻[14]中的方法使用的方向濾波器為“dmaxflat7”，金字塔濾波器使用的是“maxflat”。通過多次參數(shù)設(shè)定測試，將同態(tài)濾波中濾波器的截止頻率設(shè)定為80 Hz，高頻增益設(shè)置為2.2，低頻增益設(shè)定為0.5，銳化系數(shù)設(shè)定為1.6；同態(tài)濾波和CLAHE的融合參數(shù)1和2分別設(shè)置為0.4和0.6。管道機器人探測圖像為彩色的，故分別對圖像的RGB三個通道進行增強處理。

3.2 實驗結(jié)果與分析

管道機器人探測原圖像與采用5種方法增強后的圖像如圖5—圖9所示?？芍篐E雖然增強了整體對比度但不能較好地增強局部對比度；CLAHE方法可有效地增強局部的對比度；HF可以提高圖像的整體和局部對比度，但是其沒有CLAHE對局部對比度提升的好；文獻[14]雖然增強了圖像的細節(jié)，但是對圖像的對比度沒有太大的提升；本文方法結(jié)合了HF、CLAHE和NSCT的優(yōu)勢，可有效地提高圖像的整體和局部對比度，并有效地增強圖像的細節(jié)。

圖5 P1原圖及不同方法的增強圖像結(jié)果對比圖

圖6 P2原圖及不同方法的增強圖像結(jié)果對比圖

圖7 P3原圖及不同方法的增強圖像結(jié)果對比圖

圖8 P4原圖及不同方法的增強圖像結(jié)果對比圖

3.3 增強評價

目前圖像增強的評價方法主要有人為評價和客觀評價2種方法。人為評價是通過人眼的直觀感受對增強結(jié)果進行評價，本次邀請了10位評價者，憑借人類視覺感知對5種增強方法進行打分，分?jǐn)?shù)從0.1~1.0按0.1的梯度從低到高分為10個等級，分?jǐn)?shù)越高說明圖像增強效果越好，根據(jù)評分結(jié)果剔除差異性較大的樣本，取剩余樣本的平均值作為管道機器人探測圖像增強主觀評價結(jié)果，不同方法增強圖像平均主觀質(zhì)量分?jǐn)?shù)如表1所示?？芍?，本文提出的方法對管道機器人探測圖像增強主觀評價分?jǐn)?shù)最好，增強效果最好。

圖9 P5原圖及不同方法的增強圖像結(jié)果對比圖

人為評價具有一定的可信度，但易受個人主觀因素的影響，為增強評價結(jié)果可靠性，對5種增強方法處理的管道機器人探測圖像進行客觀評價。客觀評價方法為信息熵評價法和對比度增加指數(shù)評價法，信息熵[18]計算公式為

對比度增加指數(shù)[5]計算公式為

5種方法增強圖像信息熵和對比度增加指數(shù)的值如表1所示。從表1可知，CLAHE信息熵較高，說明圖像中包含了更多的信息；HE信息熵較低，包含的信息較少；文獻[14]的方法只對細節(jié)進行增強，因此，其信息熵也較低；HF雖然可以消除光照不均，但在提升圖像對比度上并沒有太大的優(yōu)勢；本文方法充分使用了CLAHE、HF和NSCT方法的優(yōu)勢，有效地提升局部對比度和細節(jié)信息，因此信息熵較高，包含的細節(jié)信息最多。HE、CLAHE和本文方法在對圖像對比度增強上效果較好，本文方法對比度增加值最高，圖像最容易辨識。

表1 不同方法圖像增強效果評價參數(shù)表

注：S1為平均主觀質(zhì)量分?jǐn)?shù)；S2為信息熵；S3為對比度增加指數(shù)。

4 結(jié)論

a.針對管道機器人探測圖像普遍存在的光照不均、對比度低和細節(jié)模糊等問題，提出了一種適用于管道機器人探測圖像的增強方法。

b. 提出的圖像增強方法平均主觀質(zhì)量分?jǐn)?shù)、信息熵和對比度增加指數(shù)均明顯優(yōu)于實驗采用的其他方法，對比度增加值最高、細節(jié)信息最豐富，增強后的圖像最容易辨識。

c. 提出的圖像增強方法能有效解決管道機器人探測圖像存在的主要問題，為隱患探測、圖像識別提供有效的解決方案，但該方法目前亦存在系數(shù)跳躍可能造成結(jié)果震蕩以及只能在增強的同時抑制高斯白噪聲等不足之處。

[1] 徐云乾. CCTV和三維激光掃描技術(shù)在水利工程輸排水管道隱患探測中的應(yīng)用[J]. 中國農(nóng)村水利水電，2014(3)：68–70. XU Yunqian. The application of CCTV and 3D laser scanning technology in the detection of hidden dangers of drainage pipeline in water conservancy engineering[J]. China Rural Water and Hydropower，2014(3)：68–70.

[2] GUO X，LI Y，LING H. LIME：Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2017，26(2)：982–993.

[3] LIU H，LU H，ZHANG Y. Image enhancement for outdoor long-range surveillance using IQ-learning multiscale Retinex[J]. Iet Image Processing，2017，11(9)：786–795.

[4] KAUR A，SINGH C. Contrast enhancement for cephalometric images using wavelet-based modified adaptive histogram equalization[J]. Applied Soft Computing，2017，51：180–191.

[5] 李陽，常霞，紀(jì)峰. 圖像增強方法研究新進展[J]. 傳感器與微系統(tǒng)，2015，34(12)：9–12. LI Yang，CHANG Xia，JI Feng. New progress of research on image enhancement method[J].Transducer and Microsystem Technologies，2015，34(12)：9–12.

[6] GHARBI M，CHEN J，BARRON J T，et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics，2017，36(4)：118.

[7] WANG Y，PAN Z. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization[J]. Infrared Physics & Technology，2017，86：59–65.

[8] VOICU L I. Practical considerations on color image enhancement using homomorphic filtering[J]. Journal of Electronic Imaging，1997，6(1)：108–113.

[9] YANG L，XIA C，CHANG J. Image edge detection based on gaussian mixture model in nonsubsampled contourlet domain[J]. Journal of Electrical and Computer Engineering，2016(10)：1–10.

[10] HEPSIBAH K，HEAVEN M S，SARAVANAN M. Image enhancement based on nonsubsampled contourlet transform using matrix factorization techniques[J]. International Journal of Computer Applications，2015，123(6)：35–38.

[11] 閆利，向天燭. NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合[J]. 電子學(xué)報，2016，44(4)：761– 766. YAN Li，XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica，2016，44(4)：761–766.

[12] 周飛，賈振紅，楊杰，等. 基于NSCT和改進模糊的遙感圖像增強方法[J]. 計算機工程與應(yīng)用，2017，53(15)：206–209. ZHOU Fei，JIA Zhenhong，YANG Jie，et al. Enhancement method of remote sensing image based on NSCT and improved fuzzy contrast[J]. Computer Engineering and Applications，2017，53(15)：206–209.

[13] 吳一全，史駿鵬. 基于多尺度Retinex的非下采樣Contourlet域圖像增強[J]. 光學(xué)學(xué)報，2015，35(3)：79–88.WU Yiquan，SHI Junpeng. Image enhancement in non-subsampled Contourlet transform domain based on multi-scale Retinex[J]. Acta Optica Sinica，2015，35(3)：79–88.

[14] 王峰，程詠梅. 基于MSSTO與NSCT變換的可見光與紅外圖像增強融合[J]. 控制與決策，2017，32(2)：269–274. WANG Feng，CHENG Yongmei. Visible and infrared image enhanced fusion based on MSSTO and NSCT transform[J]. Control and Decision，2017，32(2)：269–274.

[15] XIAO L，LI C，WU Z，et al. An enhancement method for X-ray image via fuzzy noise removal and homomorphic filtering[J]. Neurocomputing，2016，195：56–64.

[16] 肖進勝，單姍姍，段鵬飛，等. 基于不同色彩空間融合的快速圖像增強算法[J]. 自動化學(xué)報，2014，40(4)：697–705. XIAO Jinsheng，SHAN Shanshan，DUAN Pengfei，et al. A fast image enhancement algorithm based on fusion of di?erent color spaces[J]. 2014，40(4)：697–705.

[17] HE H，LEE W J，LUO D S，et al. Insulator infrared image denoising method based on wavelet generic gaussian distribution and map estimation[J]. IEEE Transactions on Industry Applications，2017，53(4)：3279–3284.

[18] 付曉薇，丁明躍，周成平，等. 基于量子概率統(tǒng)計的醫(yī)學(xué)圖像增強算法研究[J]. 電子學(xué)報，2010，38(7)：1590–1596. FU Xiaowei，DING Mingyue，ZHOU Chengping，et al. Research on image enhancement algorithms of medical images based on quantum probability statistics[J]. Acta Electronica Sinica，2010，38(7)：1590–1596.

A pipeline robot detection image enhancement method based on image fusion and improved threshold

YUAN Mingdao1, TAN Cai1, LI Yang2, XU Yunqian1, ZHANG Xuhui1, YANG Jingxue1

(1. Guangdong Research Institute of Water Resources and Hydropower, Guangzhou 510610, China;2. Department of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300384, China)

Pipeline robot detection technology can quickly, accurately and intuitively identify the structure and hidden functional troubles of pipeline. However, due to the restriction of the pipeline environment, the detected images have problems such as uneven illumination, low contrast and blurred details. Therefore, an enhancement technique for detected image of pipeline robot is proposed. First, the contrast limited adaptive histogram equalization(CLAHE) and homomorphic filtrate(HF) are applied to deal with the problem of uneven illumination and low contrast, and the result images of the two methods are fused. Secondly, the fusion images are transformed by the Nonsubsampled Contourlet Transform(NSCT), and the improved Bayes-Shrink threshold is used to remove the noise of the high frequency coefficient. Finally, the nonlinear mapping function is used to enhance the details, and the NSCT inverse transform is used to get the final enhanced image. In order to verify the effectiveness and superiority of the method for pipeline robot detection image, 5 typical pipeline robot detection images were selected and enhanced by this method, and compared with 4 common image enhancement technologies. The results show that image enhancement method for pipeline robot detection image by using image fusion and improved threshold can effectively improve the overall and local contrast image, and effectively enhance the image details. It can solve the main problems in pipeline robot detected image effectively.

pipeline robot; image fusion; nonsubsampled contourlet transform(NSCT); homomorphic filtering(HF); contrast limited adaptive histogram equalization(CLAHE)

TP751

A

10.3969/j.issn.1001-1986.2019.04.027

1001-1986(2019)04-0178-08

2018-08-25

深圳市水務(wù)發(fā)展專項資金科技創(chuàng)新基金項目(20170103)；國家自然科學(xué)基金項目(41401485)；廣東省水利科技創(chuàng)新基金項目(2014-09)

Water Resource Science and Technology Innovation Program of Shenzhen(20170103)；National Natural Science Foundation of China(41401485)；Water Resource Science and Technology Innovation Program of Guangdong Province，China(2014-09)

袁明道，1972年生，男，博士，教授級高級工程師，研究方向為水工結(jié)構(gòu). E-mail：gzymd@qq.com

袁明道，譚彩，李陽，等. 基于圖像融合和改進閾值的管道機器人探測圖像增強方法[J]. 煤田地質(zhì)與勘探，2019，47(4)：178–185.

YUAN Mingdao，TAN Cai，LI Yang，et al. A pipeline robot detection image enhancement method based on image fusion and improved threshold[J]. Coal Geology & Exploration，2019，47(4)：178–185.

(責(zé)任編輯 聶愛蘭)