雷芳,熊建斌,張磊,郭斯羽
(1. 廣東石油化工學(xué)院 計算機與電子信息學(xué)院,廣東 茂名 525000; 2. 廣東技術(shù)師范學(xué)院 自動化學(xué)院,廣東 廣州 510665; 3. 湖南大學(xué) 電氣與信息工程學(xué)院,湖南 長沙 410082)
金屬材料受到環(huán)境因素的影響其腐蝕表面呈現(xiàn)形貌紋理、灰度、顏色等不同特征。通過對這些特征的分析可識別材料腐蝕的程度和腐蝕的類型[1-2]。在腐蝕無損檢測的遠(yuǎn)程視覺檢測(remote vision inspection,RVI)檢測中,主要是使用視覺設(shè)備來獲取腐蝕信息。對于金屬外部腐蝕,可以采用攝像機或CCD相機獲取腐蝕圖像,設(shè)備內(nèi)部腐蝕圖像的獲取主要有管窺鏡、自動爬行器等設(shè)備。通常為了提高腐蝕原圖像質(zhì)量,可以從內(nèi)部和外部兩方面來進行實施[3]:1)對圖像采集的外部環(huán)境進行改善;2)對采集的原圖像質(zhì)量進行有效增強。而眾所周知,在對金屬設(shè)備的腐蝕自動視覺檢測中,其外部環(huán)境往往比較難以控制,比如,距離、角度、光源等影響腐蝕圖像質(zhì)量的因素都會受到所處環(huán)境的限制。所以,通常為了后續(xù)腐蝕形貌的檢測與識別工作,對采集的腐蝕原圖像進行有目的性的增強就顯得意義十分重大[4-6]。
當(dāng)前,圖像增強算法主要有直接針對像素灰度處理的增強算法[7-8]、基于色感一致性模型的單尺度Retinex及多尺度Retinex(MSR)增強算法[9-11]、同態(tài)濾波增強算法[12-13]、基于暗通道先驗理論的去霧增強算法[14-15]等。在上述圖像增強算法中,對像素值的直接處理可改善圖像亮度動態(tài)范圍但易丟失細(xì)節(jié)信息或色彩失真;Retinex增強和同態(tài)濾波增強都進行了對數(shù)變換,前者是通過估計照度分量得到物體的反射分量,在圖像亮度保持和細(xì)節(jié)這兩方面的處理效果都比較好,但容易造成偏色等色彩失真現(xiàn)象[16],后者是利用同態(tài)濾波函數(shù)壓縮低頻分量與增強高頻分量來改善光照不均的影響;而去霧增強算法是將每個顏色通道中接近零的灰度值描述為暗通道并將其近似為圖像中霧的濃度,通過去霧實現(xiàn)增強,但該算法對不滿足暗通道原理的圖像增強效果并不理想[17]。在有關(guān)Retinex和基于暗通道原理的去霧彩色圖像增強算法中,王建新等[15]在HSI模型中建立了去霧模型,秦緒佳等[16]在HSV模型中建立Retinex增強模型,這兩種模型都需要根據(jù)亮度分量的調(diào)整進而調(diào)整單一飽和度或同時調(diào)整色度與飽和度分量,這使得色彩保真度在顏色恢復(fù)過程中將受到對應(yīng)分量調(diào)整的影響。小波變換具有時頻與多尺度特性,針對不同分辨率下的小波系數(shù)進行非線性增強可以實現(xiàn)圖像的增強[18]。文獻(xiàn)[19]中,孫慧賢等提出了基于小波變換和同態(tài)濾波的內(nèi)窺圖像增強算法,該算法是在傳統(tǒng)同態(tài)濾波中用小波變換替代傅里葉變換,然后對不同分辨率下的小波系數(shù)進行非線性增強,該算法的不足是在圖像經(jīng)過了對數(shù)運算后再對不同尺度下小波系數(shù)的非線性調(diào)整,因此重構(gòu)圖像易出現(xiàn)“偽像”的問題。
針對現(xiàn)有算法存在的問題,本文受到自適應(yīng)細(xì)節(jié)增強[19]算法的啟發(fā),結(jié)合同態(tài)濾波具有全局性質(zhì)的特點但同時存在局部對比度增強效果不理想的問題,提出一種HSI模型下的多尺度細(xì)節(jié)自適應(yīng)增強與同態(tài)濾波的金屬腐蝕區(qū)域圖像增強算法。本文算法具體如下:首先將腐蝕圖像從RGB顏色空間轉(zhuǎn)換至HSI顏色空間,提取亮度分量;利用小波變換的多尺度特點對腐蝕細(xì)節(jié)進行局部對比度增強然后將細(xì)節(jié)增強后的圖像作分塊同態(tài)濾波;最后,將新的亮度分量與原飽和度和色度分量一起轉(zhuǎn)換為RGB圖像,得到增強后的腐蝕圖像。實驗結(jié)果表明,本文算法在不改變H分量和S分量的基礎(chǔ)上,能很好地增強腐蝕缺陷細(xì)節(jié)并且腐蝕色彩特征保持良好,增強后的圖像有利于進一步的金屬材料腐蝕損傷分析。
腐蝕圖像的增強問題主要是腐蝕暗細(xì)節(jié)的加強以及光照不均影響的消除。在保留腐蝕產(chǎn)物顏色特征的同時,能將腐蝕斑或腐蝕坑等腐蝕細(xì)節(jié)很好的顯現(xiàn)出來。
本文方法整體流程如圖1所示:選取HSI模型提取金屬腐蝕圖像的亮度分量,然后再對細(xì)節(jié)進行多尺度增強后采用分塊同態(tài)濾波的方式改善圖像的亮度。在整體處理中避免改變H分量和S分量,只在I分量上做增強處理,因此不會改變原圖像中的彩色種類,使最后圖像在色彩上和原始圖像保持一致。
圖1 提出方法流程圖Fig.1 Flow chart of proposed algorithm
原始獲取的圖像是RGB顏色空間,圖像中像素的顏色采用紅(R)、綠(G)、藍(lán)(B)三原色的不同比例來描述,該模型適合于人眼對上述3種顏色的敏感性,但不適合解釋顏色。HSI(色調(diào)、飽和度、亮度)模型更加符合人眼視覺系統(tǒng)描述和顏色的解釋[20],該模型能將顏色與亮度分開,更適合腐蝕圖像中的暗細(xì)節(jié)表示。
RGB模型轉(zhuǎn)換為HSI模型的公式如式(1):
由式(1)可以看出,H分量表示整體色調(diào)值,其在0~2π之間變化。當(dāng)像素只有R分量時,H值為0度;只有G分量時,H值對應(yīng)120°;只存在B分量時,其在240°。而S分量在0~1之間,如果當(dāng)前像素缺少RGB中某一個分量,S值為1,即S值越接近于1,表示顏色越純。而在RGB成分相同時,即為灰色時,S值為0。對于I值,它是原始圖像RGB 3個通道的平均,因此整體反映圖像亮度的信息。
針對腐蝕圖像顏色特點,由文獻(xiàn)[5]可知,對于金屬腐蝕表面來說,其色調(diào)分量的值通常在黃色和紅色波長之間;由于金屬表面通常以淺灰色和白色涂覆,所以被腐蝕的金屬表面的飽和度分量的值通常更大,即顏色較深;而未腐蝕的表面的顏色則傾向于高亮度的白色波長。本文選取HSI模型對腐蝕顏色進行描述,保留腐蝕色彩的色度分量和飽和度分量,只對亮度分量進行圖像增強處理。在最后將其還原回RGB空間表示,這時由HSI模型轉(zhuǎn)換為RGB模型的公式如式(2)所示:
由于腐蝕細(xì)節(jié)的尺寸大小不一,與背景的對比度也有強有弱,因此在不同分辨率下對腐蝕細(xì)節(jié)進行對比度分析比單一分辨率下分析更具優(yōu)越性。小波分析具有很好的多尺度特性,選取合適的小波基函數(shù)可以將圖像分解為不同尺度的近似圖像和細(xì)節(jié)圖像,在變換的每一層中圖像都被分解為4個四分之一大小的圖像[21]。在小波逐級分解過程中,需選擇合適的分解層數(shù),如果分解級數(shù)太少則近似圖像中將包含過多細(xì)節(jié)分量使得細(xì)節(jié)增強不夠,而分解級數(shù)過多會使得計算量增大。本文對小波進行3級分解,可滿足腐蝕細(xì)節(jié)增強要求。
為了對腐蝕圖像的細(xì)節(jié)進行多尺度增強,需要調(diào)整不同尺度下細(xì)節(jié)分量的系數(shù)。關(guān)于各細(xì)節(jié)分量系數(shù)的調(diào)整,若直接設(shè)置具體的數(shù)值,將會使得算法受限不具備自適應(yīng)性。根據(jù)文獻(xiàn)[18],小波分解的細(xì)節(jié)圖像的系數(shù)自適應(yīng)調(diào)整,是通過計算其相同尺度的近似圖像的全局對比度得到。
如圖2所示,為圖像進行3級小波變換后近似分量中像素點P的3×3鄰域。算法思路為:先計算近似分量中每個像素點鄰域內(nèi)的對比度(最大值與最小值之差)并歸一化,再求所有像素點的對比度之后,得到近似分量的全局對比度Cglobal,最后由全局對比度計算出各細(xì)節(jié)分量的權(quán)重調(diào)整因子 K,并對細(xì)節(jié)增強圖像進行重構(gòu)。相關(guān)公式及具體過程如下:
圖2 近似分量中像素點P的3×3鄰域Fig.2 3×3 neighbor of pixel P in similar component
1) 計算圖像 f (x,y)的 最大值 fmax和最小值 fmin。
2) 對每級分解圖像近似分量進行非線性濾波 , f(xi,yi)=(max(xi)-min(xi))/(fmax-fmin)。 其 中max(xi) 和 m in(xi) 為濾波過程中心像素鄰域內(nèi)的最大值和最小值。
3) 計算第 i 級圖像近似分量的全局對比度,其值為 Cglobali=c0·Lsumi/num(fi) 。 其中, Lsumi為非線性濾波輸出圖像的像素值之和, n um(fi) 為圖像的像素點個數(shù), c0為對比度調(diào)節(jié)因子,一般取值范圍為 1.0~1.1。
4) 引入第 i 級全局對比度權(quán)重因子 Ki,其中,。將其與細(xì)節(jié)分量的系數(shù)相乘,調(diào)整細(xì)節(jié)圖像。
5) 在調(diào)節(jié)細(xì)節(jié)分量的同時,也可根據(jù)實際需要將近似分量乘以亮度因子 L0,其一般取值范圍為 1.0~1.2。
在步驟6)圖像重構(gòu)過程中,首先是對第3級小波分解的細(xì)節(jié)分量和近似分量進行系數(shù)調(diào)整和圖像重構(gòu),然后依次調(diào)整第2級和第1級各分量并重構(gòu),最后獲得細(xì)節(jié)增強的亮度圖像。
對于金屬腐蝕圖像而言,由于大部分自然環(huán)境中采集的腐蝕圖像受到光照不均勻影響,使得一些圖像整體亮度不夠,易導(dǎo)致經(jīng)多尺度自適應(yīng)增強后的細(xì)節(jié)淹沒在暗的背景中。腐蝕細(xì)節(jié)不能正常識別,將不利于對金屬腐蝕狀態(tài)進行診斷,分塊同態(tài)濾波可以減少圖像亮度的動態(tài)范圍以及增強對比度從而使背景處的暗細(xì)節(jié)顯示出來。
同態(tài)濾波的原理是將圖像看作光源的入射光分量和物體的反射分量的乘積,可用g(x,y)=i(x,y)·r(x,y)描 述。其中, i (x,y) 被視為圖像的入射光分量,它通常變化緩慢因此主要集中在低頻帶,r(x,y)被視為反射分量,反射光通常變化快,主要反映在高頻帶。對圖像進行同態(tài)濾波的優(yōu)點主要體現(xiàn)在它能壓縮圖像的低頻成分并增加其高頻成分,從而減少光照變化,有效彌補光照不均對物體的影響,同時還能銳化圖像的邊緣或細(xì)節(jié)[22]。
同態(tài)濾波算法的實現(xiàn)原理如圖3所示,先對多尺度細(xì)節(jié)自適應(yīng)增強圖像取對數(shù)運算實現(xiàn)將其入射光分量和反射分量分開的目的;應(yīng)用快速傅里葉(DFT)算法,將其從空域變換至頻域,接下來選擇合適的同態(tài)濾波函數(shù) H (u,v) 對圖像進行濾波,然后對濾波后的圖像進行傅里葉逆變換(IDFT),將圖像從頻域轉(zhuǎn)換為空域,最后再取指數(shù)得到增強后的亮度分量圖像。
圖3 同態(tài)濾波流程圖Fig.3 Flow chart of homomorphic
在圖像同態(tài)濾波過程中,對于能否達(dá)到理想的濾波效果,濾波函數(shù)的選取至關(guān)重要。一般同態(tài)濾波函數(shù)均選擇能減少低頻分量和增加高頻分量的濾波器,其中最常用的濾波器有高斯型同態(tài)濾波器和巴特沃斯型同態(tài)濾波器。本文同態(tài)濾波傳遞函數(shù)選用高斯型同態(tài)濾波器,如式(3)所示:
式中: rH、 rL為亮度調(diào)節(jié)因子, rH增強高頻分量,其值越大圖像越亮,而 rL抑制低頻分量,其值在不超過 rH時,對增強效果影響不大。一般 rL<1,rH>1 , c 為常數(shù),在上述兩個因子之間取值,通常取1.0。 n 為濾波器的階數(shù), D0為截止頻率,它的值與入射分量和反射分量有關(guān),其值越小則意味著濾波后留下的低頻分量越多,圖像越暗,相反則圖像越亮,其值的快速計算方法可通過對D(u,v)進行中值運算實現(xiàn)。 D (u,v) 為 點 ( u ,v) 到傅里葉變換中心的距離。根據(jù)圖像大小為 M ×N 的傅里葉變換中心位置為 M/2、 N /2 , 可得 D (u,v) 計算公式:
圖像的同態(tài)濾波可按整體的方式進行也可局部或分塊進行。由文獻(xiàn)[13]的對比實驗可知,對圖像進行同態(tài)濾波時,從整體的方式出發(fā)會導(dǎo)致增強后的圖像某些部分過亮,造成一些細(xì)節(jié)損失,而采用分塊的方式則增強后的圖像明暗適中,細(xì)節(jié)清晰。
根據(jù)上述分析,本文采用分塊的方式進行同態(tài)濾波,如圖4所示??紤]到濾波過程是在圖像子塊中進行,增強后的整體圖像在子圖像塊之間的邊界處不可避免地會產(chǎn)生塊效應(yīng)。圖4中,粗線條表示產(chǎn)生塊效應(yīng)的子圖像邊界,灰顏色方格則表示需要修改像素值的像素位置。為此,在圖像按塊方式同態(tài)濾波后還要從水平和垂直兩個方向?qū)D像進行塊效應(yīng)消除。為降低計算復(fù)雜度,本文采用鄰域均值法去除塊效應(yīng),即將塊與塊圖像邊界處的像素值取以邊界像素為中心的3×3鄰域內(nèi)的均值作為該位置的像素值,具體見式(5)~(8)。
圖4 同態(tài)濾波及其塊效應(yīng)Fig.4 Homomorphic and block effect
式中:L 和 R 為水平方向上的子圖像,U 和 D 為垂直方向上的子圖像,M 和 N 為鄰域模板的大小,n0= fl oor(N/2),m0= fl oor(M/2)。
本文對金屬腐蝕區(qū)域圖像的增強算法進行了研究,提出了HSI模型下多尺度細(xì)節(jié)自適應(yīng)增強與同態(tài)濾波的腐蝕圖像增強算法,并將算法應(yīng)用于金屬管道腐蝕圖像的增強。為了研究金屬管道材料在特定環(huán)境下自然腐蝕的情況,實驗中使用的腐蝕圖像均采集于某輸油站場內(nèi)暴露于自然環(huán)境下已經(jīng)被腐蝕的金屬管道材料,圖5為現(xiàn)場實物圖,從圖中可以看出金屬管道的許多區(qū)域已經(jīng)受到了自然環(huán)境的腐蝕。
圖5 自然環(huán)境下受到腐蝕的金屬管道Fig.5 Corrosion metal pipeline in natural environment
為了驗證提出算法的增強效果,本文選取3幅腐蝕形態(tài)相異,亮度不均勻、腐蝕細(xì)節(jié)對比度低的腐蝕原圖像作為實驗圖像,腐蝕原圖及其亮度分量如圖6所示。
圖6 腐蝕原圖像及I分量Fig.6 Corrosion image and I component
在對管道腐蝕圖像增強算法的對比實驗上,采用小波自適應(yīng)增強算法、同態(tài)濾波算法、MSR增強算法、暗通道去霧增強算法以及本文算法作比較。上述所有算法在實驗中都只針對金屬腐蝕圖像的I分量進行增強,再將增強后的I分量圖像與原圖像的H分量、S分量進行色彩空間變換轉(zhuǎn)換為RGB圖像,最后得到增強的金屬腐蝕圖像。具體實驗結(jié)果見圖7~9。
圖7 腐蝕圖像1增強效果比較Fig.7 Enhancement results comparison in corrosion image 1
圖8 腐蝕圖像2增強效果比較Fig.8 Enhancement results comparison in corrosion image 2
圖9 腐蝕圖像3增強效果比較Fig.9 Enhancement results comparison in corrosion image 3
實驗中,小波變換的基函數(shù)名稱為db1,參數(shù)c0取 1.0,L0取 1.2;其中,c0作為圖像的對比度調(diào)節(jié)因子,用來調(diào)節(jié)圖像的細(xì)節(jié)分量;而L0為圖像的亮度因子,調(diào)節(jié)圖像的亮度分量。在分塊同態(tài)濾波中,其中的參數(shù)rH取1.2,rL取0.5;它們分別用來調(diào)節(jié)圖像的低頻部分和高頻部分;同態(tài)濾波器的階數(shù)n=1,其中心截止頻率D0=median(median(D))。
關(guān)于不同圖像增強算法效果的評價,本文采用人眼觀察的主觀評價和圖像信息熵的客觀評價兩種方式進行評價。主要包含兩部分:1)根據(jù)人眼視覺主觀感受去比較增強圖像與原圖像之間的區(qū)別;2)用度量圖像信息量大小、圖像細(xì)節(jié)豐富程度的指標(biāo)熵對圖像增強效果進行客觀評價。
首先,從圖7~9中的(a)圖發(fā)現(xiàn),金屬腐蝕區(qū)域圖像均出現(xiàn)原圖整體亮度偏暗的問題,造成圖像中某些部分的腐蝕暗細(xì)節(jié)根本無法從背景中被識別出來,從而直接影響被檢區(qū)域的腐蝕程度檢測;圖中的(b)為小波自適應(yīng)增強算法后的結(jié)果圖,可以看出小波增強結(jié)果圖相較于原圖雖然對腐蝕細(xì)節(jié)分量有很強的增強效果,但由于無法提高腐蝕圖像整體亮度,從而使得腐蝕斑點或腐蝕坑區(qū)域更加不易從背景暗區(qū)域中被識別出;圖中的(c)為同態(tài)濾波后的增強圖,從對比實驗中發(fā)現(xiàn)對腐蝕原圖像同態(tài)濾波后能很好的提升圖像的整體亮度,彌補了光照分布不均的缺陷,使得人眼能夠很容易從圖像中看出腐蝕斑點或腐蝕坑位置,但不足之處是某些位置的暗細(xì)節(jié)被弱化了,從而導(dǎo)致腐蝕坑等區(qū)域不被發(fā)現(xiàn);圖中的(d)為MSR算法增強后圖像,從圖中可以看出增強后圖像可以很好的將腐蝕缺陷細(xì)節(jié)顯現(xiàn)出來,但是在亮度改善上效果并不明顯,而且在一些區(qū)域上出現(xiàn)了色彩的失真;圖中的(e)為暗通道去霧增強算法,去霧后的圖像比較清晰,但很多腐蝕細(xì)節(jié)不能從背景中識別;圖中的(f)即本文算法,從實驗結(jié)果圖發(fā)現(xiàn)本文算法在腐蝕細(xì)節(jié)顯現(xiàn)、亮度改善及色彩保真上均優(yōu)于上述幾種算法。
表1為對圖6所示的原圖像亮度分量信息熵與采用不同增強算法后亮度分量的信息熵。表2是在一個包含20幅腐蝕圖像的數(shù)據(jù)集中計算圖像信息熵的均值與方差。熵是衡量圖像信息豐富程度的一個重要指標(biāo),熵越大表示圖像包含的信息量越多,信息越豐富則圖像質(zhì)量也越好[23-24]。因此,本文通過計算增強后亮度圖像的信息熵來對增強圖像進行客觀評價。
表1 各圖像亮度分量的信息熵Table1 Entropy of intensity component in each image
表2 圖像集的信息熵指標(biāo)對比Table2 Entropy index comparison in image set
從表1中數(shù)據(jù)發(fā)現(xiàn),不同增強算法對腐蝕原圖像亮度分量信息熵的影響不一樣。對表1的每一列進行比較,發(fā)現(xiàn)小波自適應(yīng)、MSR與本文算法均增加了原圖像亮度分量的信息熵;同態(tài)濾波和暗通道去霧算法并沒有增加每幅圖像的信息熵,甚至還出現(xiàn)了顯著下降;在對圖像信息熵有明顯增加的3類算法中,MSR算法和本文算法的增加效果最為明顯,其中,除了圖3的熵值本文算法低于MSR算法,圖像1和圖像2的熵值本文算法均高于MSR算法。從圖9中可以看到圖3的各算法效果增強圖,MSR增強圖雖然在細(xì)節(jié)凸顯上高于本文算法,但色彩及紋理有失真,而本文算法既能凸顯腐蝕細(xì)節(jié)又保證了腐蝕顏色特征的不失真。
從表2中數(shù)據(jù)發(fā)現(xiàn),在對腐蝕圖像集應(yīng)用本文算法后得到的平均信息熵高于其它幾種算法,且本文算法的信息熵方差最小。因此,相較于其它增強算法,本文算法增強效果的整體性與一致性更好。
根據(jù)腐蝕圖像增強的實際應(yīng)用要求,綜合上述主客觀分析可知,應(yīng)用本文算法對金屬腐蝕區(qū)域圖像進行增強可以得到較好的主觀視覺效果,同時還可以提高原圖像的信息熵。
本文通過HSI模型提取金屬腐蝕圖像的亮度分量,并對亮度分量中的腐蝕細(xì)節(jié)進行多尺度增強,以及同態(tài)濾波來改善圖像光照不均的影響,從而實現(xiàn)對金屬腐蝕區(qū)域圖像的增強。本文算法雖應(yīng)用了小波多尺度變換與同態(tài)濾波的理論,但不是同已有文獻(xiàn)一樣將小波變換替代同態(tài)濾波里的傅里葉變換,而是先對圖像進行多尺度細(xì)節(jié)增強重構(gòu)然后再應(yīng)用分塊同態(tài)濾波。在不改變圖像色度和飽和度分量的基礎(chǔ)上,本文算法相比其它算法具有更好的色彩保真度和細(xì)節(jié)對比度,能有效的用于金屬腐蝕區(qū)域圖像的增強,對金屬腐蝕產(chǎn)物的進一步研究分析具有重要的意義。
由于本文算法需要進行多尺度細(xì)節(jié)增強與分塊同態(tài)濾波兩步處理,使得算法的時間開銷比較大,因此本文下一步的工作主要為提高算法的實時性。