楊亞絨,李恒,趙磊,王海瑞

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650500)

目前,人類仍在不斷地探索海洋世界,海洋資源蘊(yùn)藏著豐富的生物、礦產(chǎn)和能源等,因此人們可以充分地利用海洋資源,而捕獲水下圖像是獲取海洋信息的關(guān)鍵,如何獲得優(yōu)質(zhì)的水下圖像成為一個(gè)重要問(wèn)題。水下成像不同于普通成像,圖像因光強(qiáng)隨水深的變化而出現(xiàn)不同程度的色彩異常、細(xì)節(jié)模糊、低對(duì)比差等問(wèn)題[1],這嚴(yán)重影響了重要信息的準(zhǔn)確獲取。

圖像復(fù)原和圖像增強(qiáng)是水下圖像清晰化的主要方法[2]。前者建立了水下成像退化模型,對(duì)退化圖像根據(jù)此模型進(jìn)行逆求解,以獲得復(fù)原圖像;后者則根據(jù)實(shí)際需求對(duì)圖像信息進(jìn)行增強(qiáng),改善原始圖像中模糊的地方。近年來(lái),國(guó)內(nèi)外學(xué)者對(duì)水下圖像處理進(jìn)行了深入研究,取得了一定的成績(jī),但還存在一些弊端。圖像復(fù)原方法有Pan等[3]提出一個(gè)多尺度迭代框架去除散射,再采用白平衡算法去除色偏,最后把圖像轉(zhuǎn)換到NSCT域去除噪聲并進(jìn)行邊緣增強(qiáng),該算法可以提高圖像的視覺(jué)效果,但不能有效地去除深海區(qū)域的藍(lán)色背景。He等[4]提出尋找暗通道中最亮的像素作為背景光強(qiáng)度的單幅圖像去霧算法,該算法可以有效地改善大氣霧化圖像,但不適用于水下圖像處理。Galdran等[5]對(duì)成像模型的紅色通道進(jìn)行了改進(jìn),該算法提高了圖像的可見(jiàn)度,但未能改善圖像細(xì)節(jié)信息。水下圖像增強(qiáng)大致分3類,分別是Retinex、直方圖和圖像融合[6]。Wen等[7]為了估計(jì)紅色通道透射率,提出暗通道與藍(lán)綠色通道相結(jié)合的算法,該算法可以有效地增強(qiáng)圖像細(xì)節(jié),但圖像還存在偏色現(xiàn)象。Iqbal等[8]提出無(wú)監(jiān)督模型對(duì)低質(zhì)量圖像進(jìn)行顏色校正,該算法可以有效地去除藍(lán)色偏色并改善低照度圖像,但處理沒(méi)有偏藍(lán)色現(xiàn)象的圖片效果不理想。Ancuti等[9]提出圖像融合算法對(duì)水下圖像及視頻進(jìn)行增強(qiáng),該算法可以改善視覺(jué)效果,但對(duì)于深藍(lán)色圖像處理效果不佳。Ghani等[10]提出瑞利拉伸提高水下圖像質(zhì)量,該算法增強(qiáng)了可視性和對(duì)比度,但圖像顏色被過(guò)度增強(qiáng)。Iqbal等[11]使用集成色彩模型來(lái)增強(qiáng)水下圖像算法,該算法可以均衡圖像顏色對(duì)比度,但圖像細(xì)節(jié)不清晰。

近年來(lái),水下圖像增強(qiáng)的研究焦點(diǎn)主要在圖像融合,該方法在處理色偏、低對(duì)比度和低清晰度等方面有很大改善。本文結(jié)合光在水體環(huán)境中呈指數(shù)衰減特點(diǎn),根據(jù)先去除色偏,后增強(qiáng)對(duì)比度且均勻亮度的思路,提出了改進(jìn)的同態(tài)濾波與多尺度融合的水下圖像增強(qiáng)方法。首先利用色彩平衡算法對(duì)顏色進(jìn)行校正,獲得色彩校正的輸入圖像;然后使用限制對(duì)比度直方圖均衡化算法增強(qiáng)對(duì)比度,獲得對(duì)比度增強(qiáng)的輸入圖像;同時(shí)用改進(jìn)的同態(tài)濾波算法降低噪聲,降低光線過(guò)強(qiáng)區(qū)域的亮度,增強(qiáng)光線過(guò)弱區(qū)域的亮度,增強(qiáng)細(xì)節(jié)信息,獲得亮度均勻的輸入圖像;最后采用多尺度融合算法對(duì)3個(gè)輸入圖像進(jìn)行融合,得到最終增強(qiáng)圖像。

1 水下圖像成像模型

根據(jù)Jaffe-McGlamery成像模型[12],水下相機(jī)接收到的光分為直接分量ED、前向散射分量EF及后向散射分量EB,如圖1所示。

圖1 水下圖像成像模型

直接分量是指物體表面反射光經(jīng)過(guò)衰減直接到相機(jī)的光的分量,其表達(dá)式為

ED(x,λ)=J(x,λ)e-η(λ)d(x)=J(x,λ)t(x)

(1)

式中:J(x,λ)為物體當(dāng)前位置的光強(qiáng);η(λ)為總的減弱因數(shù);d(x)為相機(jī)與物體的間距;t(x)為透射率。

前向散射分量是指物體表面反射光先遇到水介質(zhì)中的細(xì)小微粒形成小偏角,隨后再經(jīng)過(guò)衰減到達(dá)相機(jī)的光的分量。當(dāng)相機(jī)與物體距離無(wú)限接近時(shí),前向散射分量可忽略。后向散射分量是指背景反射光在到相機(jī)的過(guò)程中,遇到水體中的微粒而發(fā)生小角度的散射,這是引起圖像對(duì)比度低的主要因素,其表達(dá)式為

EB(x,λ)=A∞(λ)[1-e-η(λ)d(x)]=A∞(λ)[1-t(x)]

(2)

式中A∞(λ)為背景光。

因此,當(dāng)前向散射分量忽略不計(jì)時(shí),由式(1)、式(2)可得簡(jiǎn)化的水下光學(xué)成像模型為

I(x,λ)=ED+EB=J(x,λ)t(x)+A∞(λ)[1-t(x)]

(3)

式中:J(x,λ)為輸出圖像;I(x,λ)為退化圖像。

2 水下圖像增強(qiáng)算法

2.1 色彩平衡

由于不同波長(zhǎng)的光在水下衰減速率不同,引起光能大量減少,導(dǎo)致水下圖像與真實(shí)場(chǎng)景之間存在顏色偏差,對(duì)于這個(gè)問(wèn)題,本文采用最簡(jiǎn)單的色彩平衡算法[13]。該算法先將圖像中RGB顏色通道的最大值即最亮部分記為白色,最小值即最暗部分記為黑色;其次把圖像中其余部分的紅綠藍(lán)三通道進(jìn)行對(duì)比度拉伸;最后對(duì)每個(gè)通道進(jìn)行仿射變換以占據(jù)最大范圍[0,255]。由于部分圖像存在0～255的異常像素值,所以在進(jìn)行仿射變換之前,將具有最高值的小百分比像素飽和到255,并將具有最低值的小百分比像素飽和到0。

顏色校正的主要方法包括白平衡方法和帶色彩恢復(fù)的多尺度視網(wǎng)膜(MSRCR)增強(qiáng)方法。白平衡方法又包括最大RGB、灰度世界以及灰度陰影。圖2展示了各顏色校正算法的試驗(yàn)結(jié)果,可以看出最大RGB算法處理后的圖像色彩亮度低;灰度世界處理后的圖像仍存在嚴(yán)重的偏色問(wèn)題;灰度陰影雖去除了綠色基調(diào),但顏色飽和度不足;MSRCR算法處理后的圖像顏色過(guò)度亮艷,色彩飽和度偏高;而色彩平衡算法較好地消除了顏色失真,適當(dāng)?shù)鼗謴?fù)了圖像的顏色飽和度,較自然地還原了色彩,更貼近人眼的視覺(jué)感受。

圖2 顏色校正對(duì)比圖

2.2 CLAHE算法

限制對(duì)比度自適應(yīng)直方圖均衡化(CLAHE)算法經(jīng)過(guò)約束部分直方圖高度,以縮小噪聲,達(dá)到減弱局部對(duì)比度極度增強(qiáng)的目的。色彩校正圖像被CLAHE算法劃分為毫不重復(fù)的等距區(qū)域,再分別對(duì)各個(gè)等距區(qū)域進(jìn)行灰度映射,即

(4)

式中:n=0,1,…,N-1;M為各個(gè)等距區(qū)域像素;N為灰度級(jí)數(shù)量;h(k)為各個(gè)區(qū)域第k個(gè)灰度級(jí)像素量。把鄰域的4個(gè)子區(qū)域映射函數(shù)組合構(gòu)成一張圖像的灰度映射P(n)。因?yàn)樵趫D像處理的過(guò)程中會(huì)引進(jìn)噪聲,所以P(n)的斜率受到一定程度約束。在重新劃分灰度值的過(guò)程中,使用P(n)能夠擴(kuò)大灰度值動(dòng)態(tài)范圍,顯著提高對(duì)比度。

直方圖均衡化算法(HE)和自適應(yīng)直方圖均衡化算法(AHE)是常用的對(duì)比度增強(qiáng)方法,圖3展示了各對(duì)比度增強(qiáng)算法結(jié)果,可以看出HE算法處理后的圖像局部細(xì)節(jié)出現(xiàn)了較黑現(xiàn)象;AHE算法處理后的圖像部分區(qū)域過(guò)白,產(chǎn)生了對(duì)比度過(guò)度增強(qiáng)的問(wèn)題;而CLAHE算法相比其他兩種算法優(yōu)化了圖像細(xì)節(jié)信息,但圖像中的部分區(qū)域也存在過(guò)度增強(qiáng)現(xiàn)象,通過(guò)和其他兩張輸入圖像進(jìn)行融合可以得到適當(dāng)改善。

圖3 對(duì)比度增強(qiáng)圖

2.3 改進(jìn)的同態(tài)濾波

為了均衡圖像亮度,采用改進(jìn)的同態(tài)濾波算法對(duì)顏色校正后的圖像進(jìn)行增強(qiáng)處理。采用傳統(tǒng)同態(tài)濾波器獲得的圖像整體亮度失衡,沒(méi)有有效改善暗區(qū)域亮度,對(duì)高光或高亮圖像的處理效果不佳。只使用高通或低通濾波器中的任何一個(gè)都不能使圖像得到較好改變,這是由于低頻部分主要用來(lái)表示圖像關(guān)鍵內(nèi)容,高頻部分主要用來(lái)表示圖像細(xì)節(jié)和邊緣信息,因此本文對(duì)同態(tài)濾波器進(jìn)行改進(jìn),把圖像的高、低頻分別處理,以便減少圖像細(xì)節(jié)損失,最后把得到的結(jié)果進(jìn)行整合。

傳統(tǒng)同態(tài)濾波傳遞函數(shù)為

(5)

改進(jìn)后的同態(tài)濾波表達(dá)式為:

(6)

(7)

式(5)～(7)中:rH為高頻增加倍數(shù),rL為低頻衰減倍數(shù),c為銳化系數(shù),rL

本文參數(shù)c=3,rL=0.7,rH=5, 式(6)為高頻分量的傳遞函數(shù), 由于圖像中的大部分邊緣(輪廓)信息和細(xì)節(jié)信息都存在于高頻部分, 所以需要加強(qiáng)圖像中的高頻信號(hào), 選擇高頻成分大于1的傳遞函數(shù), 這樣就可以增強(qiáng)圖像的對(duì)比度; 式(7)為低頻分量的傳遞函數(shù), 由于低頻分量是對(duì)整幅圖像強(qiáng)度的綜合度量, 描述了一個(gè)較大范圍內(nèi)圖像整體的亮度變化, 所以需要對(duì)圖像中的低頻信號(hào)進(jìn)行壓制, 選擇低頻成分小于1的傳遞函數(shù), 這樣圖像的整體變化就較為均勻, 從而可以壓縮圖像的動(dòng)態(tài)范圍。 故使用式(6)和式(7)既能增強(qiáng)圖像的對(duì)比度又能壓縮圖像的亮度范圍, 以達(dá)到均衡圖像亮度、增強(qiáng)圖像細(xì)節(jié)信息的目的。

首先對(duì)濾波后的兩張圖像分別使用傅里葉變換進(jìn)行處理,再進(jìn)行逆變換,其次對(duì)其取指數(shù),然后線性疊加高、低頻分量,最后再進(jìn)行歸一化處理,以獲得增強(qiáng)圖像。對(duì)色彩恢復(fù)圖像使用傳統(tǒng)同態(tài)濾波進(jìn)行處理,獲得的圖像亮度不勻稱;而改進(jìn)后的同態(tài)濾波算法獲得圖像不但極大地增強(qiáng)了亮度且優(yōu)化了細(xì)節(jié)。如圖4所示為傳統(tǒng)同態(tài)濾波算法、改進(jìn)后同態(tài)濾波算法的對(duì)比圖和RGB通道直方圖。

圖4 算法對(duì)比圖和RGB通道直方圖

改進(jìn)的同態(tài)濾波算法的RGB通道直方圖與傳統(tǒng)的同態(tài)濾波算法RGB通道直方圖相比而言,不但RGB通道強(qiáng)度分散較均勻,而且整個(gè)灰度級(jí)也得到了有效增強(qiáng),改進(jìn)后的同態(tài)濾波算法獲取的圖像噪聲少且亮度均勻。

2.4 多尺度融合

2.4.1 融合權(quán)重

為了得到具有顯著優(yōu)勢(shì)的最佳圖像,使用4種權(quán)重,以確定在融合過(guò)程中輸入圖像所占的比重,其分別是拉普拉斯對(duì)比度權(quán)重(Wlap,k)、局部對(duì)比度權(quán)重(Wcont,k)、顯著性權(quán)重(Wsal,k)和飽和度權(quán)重(Wsat,b)[14]。

1) 拉普拉斯對(duì)比度權(quán)重

拉普拉斯算子能夠有效地處理圖像邊沿信息,把拉普拉斯濾波器運(yùn)用在每個(gè)輸入圖像的亮通道上,并計(jì)算其絕對(duì)值,以得到全局對(duì)比度[15]。

2) 局部對(duì)比度權(quán)重

局部對(duì)比度權(quán)重是指輸入圖像中每個(gè)像素亮度與其相鄰像素亮度平均值之間的偏差關(guān)系,使局部對(duì)比度在融合的過(guò)程中得以增強(qiáng)。其計(jì)算公式為

Wcont,k=|Lk-Lωhc,k|

(8)

3) 顯著性權(quán)重

顯著性權(quán)重是指水體環(huán)境中不突出的物體,主要是增強(qiáng)亮暗區(qū)域?qū)Ρ榷?增強(qiáng)圖像整體對(duì)比度。其計(jì)算公式為

Wsal,k=‖Iμ,k-Iωhc‖

(9)

4) 飽和度權(quán)重

飽和度權(quán)重用于調(diào)整圖像中的飽和區(qū)域,以獲得飽和度均勻的融合圖像。其計(jì)算公式為

(10)

式中Lb表示輸入圖像灰度圖。

5) 歸一化權(quán)重

對(duì)上述權(quán)重進(jìn)行歸一化處理,其計(jì)算公式為:

Wk=Wlap,k+Wcont,k+Wsal,k+Wsat,b

(11)

(12)

2.4.2 圖像融合

由于單尺度融合易產(chǎn)生光暈現(xiàn)象,所以本文采用多尺度融合算法。整個(gè)經(jīng)過(guò)如下:第一步把3張輸入圖分解成拉普拉斯金字塔;第二步把3張歸一化權(quán)重圖分解成高斯金字塔;第三步分別對(duì)第一、二步結(jié)果圖在各l層進(jìn)行融合,得到多尺度融合圖像Fl(x);第四步對(duì)Fl(x)進(jìn)行向上采樣,獲得輸出圖像。多尺度融合計(jì)算公式為

(13)

式中:l為金字塔層數(shù);k為輸入圖像數(shù)目;G為高斯金字塔分解;L為拉普拉斯金字塔分解。

3 本文算法流程

本文算法針對(duì)復(fù)雜多變的水下光學(xué)成像特性,基于色彩平衡理論先去除色偏,再使用CLAHE提高對(duì)比度,同時(shí)改進(jìn)傳統(tǒng)同態(tài)濾波器,使用改進(jìn)后的算法削弱了噪聲,獲得光照強(qiáng)度勻稱的圖像,最后對(duì)這3張具有顯著優(yōu)勢(shì)的圖像使用融合算法,以求得最終的增強(qiáng)圖像。本文算法整體流程圖如圖5所示。

圖5 算法流程圖

4 結(jié)果分析

本文實(shí)驗(yàn)采用的數(shù)據(jù)集來(lái)源于大連理工大學(xué)-獐子島聯(lián)合實(shí)驗(yàn)室和其他論文中常用的圖像數(shù)據(jù)。為了檢驗(yàn)該方法的可行性,選取5組光在水體中衰減程度不同的圖像進(jìn)行處理,本文實(shí)驗(yàn)結(jié)果分別與文獻(xiàn)[4]、文獻(xiàn)[7]、文獻(xiàn)[8]、文獻(xiàn)[9]、文獻(xiàn)[10]和文獻(xiàn)[11]進(jìn)行對(duì)比。

4.1 主觀評(píng)價(jià)

圖6～圖10展示了本實(shí)驗(yàn)和其他6篇參考文獻(xiàn)算法得出的結(jié)果。由處理結(jié)果可知,采用文獻(xiàn)[4]算法處理得到的圖6b),圖7b),圖8b),圖9b),圖10b)可以看出顏色失真嚴(yán)重,表明大氣暗原色去霧化算法在水下圖像不適合;采用文獻(xiàn)[7]算法處理得到圖10c)可以看出色彩在一定程度上得到了還原,圖6c)、圖7c)及圖9c)可以看出物體輪廓更清晰,但偏色現(xiàn)象加劇了;采用文獻(xiàn)[8]算法處理得到的圖6d)～圖10d)可以看出對(duì)比度增強(qiáng)了,但圖像顏色偏黃,顏色恢復(fù)效果不理想;采用文獻(xiàn)[9]算法處理得到的圖6e)～圖10e)可以看出雖然圖像顏色改善了,但細(xì)節(jié)不清晰;采用文獻(xiàn)[10]算法處理得到的圖6f)～圖8f)可以看出色彩鮮艷,顏色還原度高,但圖像出現(xiàn)了過(guò)度曝光現(xiàn)象,圖9f)和圖10f)的紅色通道出現(xiàn)了過(guò)補(bǔ)償現(xiàn)象,圖像中的某些區(qū)域偏紅;采用文獻(xiàn)[11]算法處理得到的圖7g)可以看出對(duì)比度在一定程度下提高了,但圖像仍存在顏色失真的現(xiàn)象;相比而言,本文算法處理得到的圖6h)～圖10h)可以看出:本文算法在處理具有綠色(深綠色和淺綠色)和藍(lán)色背景的水下圖像時(shí),能獲得色彩較自然、對(duì)比度強(qiáng)和清晰度高的圖像,不但可以削減噪音,解決偏色問(wèn)題,而且可以改善過(guò)度曝光問(wèn)題。

圖6 第1組光在水體中衰減程度不同的圖像

圖7 第2組光在水體中衰減程度不同的圖像

圖8 第3組光在水體中衰減程度不同的圖像

圖9 第4組光在水體中衰減程度不同的圖像

圖10 第5組光在水體中衰減程度不同的圖像

4.2 客觀評(píng)價(jià)

使用3種性能指標(biāo)來(lái)評(píng)估圖像,即均方誤差(MSE)、峰值信噪比(PSNR)和水下圖像質(zhì)量(UIQM)。通過(guò)本文算法和其他參考文獻(xiàn)算法處理后的圖像均方誤差越大,表明在實(shí)驗(yàn)過(guò)程中引入的噪聲越多;經(jīng)過(guò)本文算法和其他參考文獻(xiàn)算法處理后的圖像峰值信噪比越小,表明在實(shí)驗(yàn)過(guò)程中圖像的顏色失真越嚴(yán)重;UIQM是綜合性評(píng)價(jià)指標(biāo),包括對(duì)比度、色度和飽和度[16]。經(jīng)過(guò)本文算法和其他參考文獻(xiàn)算法處理后的UIQM值越小,表明圖像質(zhì)量越不好。采用該指標(biāo)對(duì)5組不同的圖像進(jìn)行評(píng)估,表1展示了本文及其他6篇參考文獻(xiàn)算法的實(shí)驗(yàn)結(jié)果。

表1 水下圖像質(zhì)量評(píng)價(jià)

為了快速且準(zhǔn)確地得出實(shí)驗(yàn)結(jié)論,把表1表示成如圖11～圖13所示的對(duì)比直方圖。

圖11 均方誤差對(duì)比直方圖

圖12 峰值信噪比對(duì)比直方圖

圖13 水下圖像質(zhì)量對(duì)比直方圖

由圖11～圖13可直觀看出:1) 從均方誤差對(duì)比直方圖可看出,經(jīng)本文算法處理后的圖像MSE值相對(duì)較小,說(shuō)明圖像在處理的過(guò)程中帶進(jìn)了極少噪聲,圖像質(zhì)量更優(yōu);2) 從峰值信噪比對(duì)比圖可看出,經(jīng)本文算法處理后的圖像PSNR值相對(duì)較大,說(shuō)明圖像具有良好的保真度;3) 從水下圖像質(zhì)量對(duì)比直方圖可看出,經(jīng)本文算法處理后的圖像UIQM值最高,說(shuō)明圖像的總體質(zhì)量效果最好,具有最自然的色彩,同時(shí)也有效增強(qiáng)了圖像對(duì)比度及清晰度。

從圖11和圖12可看出,文獻(xiàn)[9]的MSE值最小、PSNR值最大,但數(shù)值越高并不意味圖像具有最佳的視覺(jué)效果。從圖6～圖10可看出,顏色過(guò)于鮮艷,圖像出現(xiàn)了顏色過(guò)飽和現(xiàn)象。

5 結(jié)論

由于水下拍攝相比大氣拍攝環(huán)境較惡劣,引起采集的水下圖像不但存在藍(lán)綠色偏和對(duì)比度低的特點(diǎn),且存在模糊不清和亮度不均等問(wèn)題。因此本文提出了一種改進(jìn)的同態(tài)濾波與多尺度融合的水下增強(qiáng)方法。該算法不涉及水介質(zhì)參量,直接從退化圖像著手,先基于色彩平衡校正顏色,從整體和局部恢復(fù)色彩;然后使用CLAHE提高對(duì)比度,改善圖像細(xì)節(jié);同時(shí)采用改進(jìn)的同態(tài)濾波算法均衡圖像亮度,增強(qiáng)光強(qiáng)較弱的暗區(qū)域亮度;最后使用多尺度融合權(quán)重對(duì)圖像進(jìn)行融合,獲得主客觀性能最佳的高質(zhì)量水下圖像。雖然本文取得了較好效果,但對(duì)于深藍(lán)色的水下圖像處理效果一般,這在未來(lái)研究中有待進(jìn)一步優(yōu)化。