楊愛萍，田?鑫，楊炳旺，王?建, 2

?

基于多特征融合的單幅水下圖像清晰化

楊愛萍1，田?鑫1，楊炳旺1，王?建1, 2

(1. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2. 國家海洋技術(shù)中心，天津 300112)

水體對(duì)光有較強(qiáng)的吸收和散射作用，從而造成水下圖像顏色失真、對(duì)比度下降和細(xì)節(jié)模糊等問題．針對(duì)上述問題，基于圖像融合框架提出一種水下圖像清晰化方案．首先，結(jié)合水下成像模型，提出了基于景深估計(jì)的顏色校正方法，其可以有效去除水下圖像的藍(lán)(綠)色基調(diào)，同時(shí)有效解決紅通道過補(bǔ)償問題．然后，對(duì)水下圖像進(jìn)行顏色校正和對(duì)比度增強(qiáng)得到兩幅輸入圖像；最后，結(jié)合亮度、對(duì)比度、飽和度、顯著性等特征構(gòu)造權(quán)重圖將兩輸入圖進(jìn)行多尺度融合，得到最后的復(fù)原圖像．實(shí)驗(yàn)結(jié)果表明，該算法可以有效地去除水下圖像顏色失真，同時(shí)能夠大幅提升圖像的對(duì)比度和清晰度．

多尺度融合；顏色校正；對(duì)比度增強(qiáng)；權(quán)重圖

近些年，水下圖像在海洋能源勘探、海洋環(huán)境監(jiān)測與保護(hù)、海洋軍事等領(lǐng)域應(yīng)用廣泛[1-2]，但由于水體對(duì)光有較強(qiáng)的吸收和散射作用，造成水下圖像出現(xiàn)對(duì)比度下降、顏色失真和細(xì)節(jié)模糊等問題[3]，使得水下圖像清晰化逐漸成為研究的熱點(diǎn)．

現(xiàn)有的水下圖像清晰化方法主要分為兩類：一類是基于水下成像模型的復(fù)原方法；一類是基于圖像增強(qiáng)的方法．復(fù)原方法是基于水下圖像成像模型估計(jì)相關(guān)參數(shù)，反演得到清晰圖像．很多學(xué)者利用與霧天成像相似性，基于暗通道先驗(yàn)去霧的方法來復(fù)原水下圖像[4-5]．但該類方法在暗通道計(jì)算過程中，基于最小化運(yùn)算得到的暗通道值很可能是紅通道分量，求得的暗通道值偏小，導(dǎo)致估計(jì)的透射率偏大，復(fù)原圖像偏暗．針對(duì)該問題，文獻(xiàn)[6]提出了基于藍(lán)、綠通道的暗通道方法，但該方法會(huì)因缺少紅通道信息而導(dǎo)致透射率估計(jì)偏?。墨I(xiàn)[7]通過紅通道反轉(zhuǎn)，提出了一種基于紅通道的水下圖像復(fù)原方法．

基于圖像增強(qiáng)的方法包括基于Retinex理論的增強(qiáng)方法、空間濾波方法以及圖像融合方法等．文獻(xiàn)[8]基于Retinex理論提出一種有效的水下圖像增強(qiáng)方法，該方法能大幅度提高圖像的對(duì)比度，但是易出現(xiàn)顏色失真等問題．文獻(xiàn)[9]利用同態(tài)濾波增強(qiáng)圖像，該方法能處理水下光照不均問題，但該方法導(dǎo)致高頻區(qū)域過增強(qiáng)，且容易放大噪聲．文獻(xiàn)[10]提出了一種基于圖像融合的水下圖像增強(qiáng)方法，該方法可有效增強(qiáng)圖像的亮度和細(xì)節(jié)，但其沒有考慮水下圖像降質(zhì)過程，不能實(shí)現(xiàn)均勻增強(qiáng)，同時(shí)復(fù)原后圖像局部偏紅. 文獻(xiàn)[11]提出基于PCA(principal component analysis)的融合方法，但是該方法忽略了光在水下的衰減和散射問題．文獻(xiàn)[12]提出了一種基于自適應(yīng)直方圖均衡化的融合方法，但該方法未考慮水下3通道衰減差異性，處理后圖像顏色不自然．

針對(duì)目前水下圖像清晰化存在的問題，本文提出一種基于多特征融合的水下圖像清晰化方案．首先，從單幅圖像出發(fā)，基于水下成像模型估計(jì)場景深度，由此提出準(zhǔn)確的光源估計(jì)方法，并將顏色校正圖像和對(duì)比度增強(qiáng)圖像作為融合輸入圖；然后，提取兩輸入圖的多種特征構(gòu)造融合權(quán)重圖；最后，對(duì)兩輸入圖進(jìn)行多尺度融合得到復(fù)原圖像．

1?水下圖像成像模型

根據(jù)Jaffe-McGlamery水下成像模型，水下圖像可以表示成3個(gè)分量的線性組合，分別是：直接分量、前向散射分量及背景散射分量，如圖1所示．

圖1?水下圖像成像模型

一般情況下，由于物體與相機(jī)的距離較小，可以忽略前向散射分量造成的影響．水下成像模型可以簡化為

?(1)

?(2)

2?基于多特征融合的水下圖像清晰化

針對(duì)傳統(tǒng)圖像融合方法用于水下圖像清晰化時(shí)所出現(xiàn)的問題，本文基于水下圖像成像模型和圖像融合方法，提出一種新的水下圖像清晰化方案：首先，基于顏色校正和對(duì)比度增強(qiáng)設(shè)計(jì)融合輸入圖；然后，提取2個(gè)輸入圖的多種特征作為融合權(quán)重圖；最后，對(duì)兩輸入圖進(jìn)行多尺度融合．基于以上思路，本文所提出的方法主要包括：①輸入圖設(shè)計(jì)；②輸入圖特征提??；③多尺度融合．

2.1?基于顏色校正的輸入圖設(shè)計(jì)

水下圖像存在色偏，Gray World算法[13]對(duì)在大氣中拍攝因光源導(dǎo)致顏色失真的圖像處理效果良好，但其認(rèn)為場景對(duì)3個(gè)顏色通道的平均反射率是相等的．而水下環(huán)境獲取的圖像顏色衰減嚴(yán)重，且3通道衰減存在差異性，該算法處理后的圖像出現(xiàn)紅通道過補(bǔ)償現(xiàn)象．

為解決上述問題，本文對(duì)Gray World算法進(jìn)行改進(jìn)：①為解決3通道衰減存在差異性的問題，在光源顏色估計(jì)中加入各通道顏色衰減因子；②針對(duì)Gray World算法出現(xiàn)紅通道過補(bǔ)償現(xiàn)象，改進(jìn)各通道輸出增益，使其適用于水下圖像．

2.1.1?光源顏色估計(jì)

水下圖像顏色衰減過程可以表示為

?(3)

由此，可以通過估計(jì)光源顏色并去除來實(shí)現(xiàn)水下圖像顏色校正．首先，求出各通道顏色衰減因子，對(duì)因介質(zhì)導(dǎo)致的顏色衰減進(jìn)行補(bǔ)償；然后，將圖像中的藍(lán)(綠)色基調(diào)看作光源顏色，利用Gray World算法估計(jì)光源顏色后并去除．光源顏色估計(jì)可表示為

?(4)

2.1.2?基于各通道衰減差異估計(jì)景深函數(shù)

式(4)中，求取各通道衰減因子的關(guān)鍵在于場景景深以及海水衰減系數(shù)估計(jì)．文獻(xiàn)[14]給出水體對(duì)光的選擇性吸收和散射與波長的關(guān)系，但將得到的透射率作為全局透射率估計(jì)，未考慮不同顏色光的衰減差異性，且背景光估計(jì)方法易受場景中白色物體的影響，導(dǎo)致復(fù)原圖像背景過亮，掩蓋了圖像細(xì)節(jié)．因此，本文結(jié)合水下圖像的特點(diǎn)，提出基于各通道衰減差異估計(jì)景深函數(shù)，分別求出3通道的衰減因子．

對(duì)于水下場景而言，由于紅光的嚴(yán)重衰減，其背景中的紅通道的強(qiáng)度非常低，同時(shí)光的散射將導(dǎo)致藍(lán)或綠通道的強(qiáng)度相對(duì)較高．考慮到3通道衰減差異性，本文根據(jù)紅通道暗通道先驗(yàn)與藍(lán)綠通道暗通道先驗(yàn)的最大值求背景光

???(5)

?(6)

?(7)

?(8)

根據(jù)文獻(xiàn)[15]，可計(jì)算出紅色光與綠色光相對(duì)于藍(lán)色光的衰減比，即

?(9)

由式(9)可求得另外2個(gè)通道的衰減因子為

?(10)

2.1.3?基于紅通道判定的暗通道修正

He等[16]針對(duì)室外無霧圖像提出暗通道先驗(yàn)：在大多數(shù)非天空區(qū)域的圖像局部域中，某些像素總會(huì)有至少一個(gè)彩色通道具有非常低的強(qiáng)度值，甚至趨近于0，即

?(11)

首先，對(duì)于紅通道的強(qiáng)度設(shè)置一個(gè)閾值，然后對(duì)紅通道求均值，若均值大于設(shè)定的閾值，則將紅通道信息加入暗通道先驗(yàn)，否則就只考慮藍(lán)綠通道．則將暗通道修正為

???(12)

2.1.4?改進(jìn)各通道輸出增益

?(13)

?(14)

?(15)

針對(duì)上述問題，本文對(duì)圖像的輸出增益進(jìn)行改進(jìn)：令每個(gè)通道的增益與其所占圖像3通道強(qiáng)度值的比率呈正相關(guān)，同時(shí)為了充分利用圖像中紅通道的信息，使得紅通道的增益與該通道所占比率呈反相關(guān)．

首先，計(jì)算出圖像3通道強(qiáng)度值為

?(16)

然后，分別計(jì)算出R、G、B通道的比率

?(17)

最后，分別求出R、G、B通道的增益

?(18)

由式(18)可以得到R、G、B通道的輸出

?(19)

圖2?Grey Word算法與第2.1節(jié)算法對(duì)比

2.2?基于對(duì)比度增強(qiáng)的輸入圖設(shè)計(jì)

2.3?基于多特征提取的權(quán)重圖設(shè)計(jì)

為了進(jìn)一步改善水下圖像復(fù)原質(zhì)量，本文提取兩輸入圖的特征信息，由此定義融合權(quán)重圖，即亮度圖、顯著性圖、局部對(duì)比度圖和飽和度圖，可根據(jù)圖像局部特征自適應(yīng)保留輸入圖信息，確保融合后的圖像具有較高的亮度、顯著度、局部對(duì)比度以及飽和?度等．

2.3.1?亮度圖設(shè)計(jì)

圖像模糊區(qū)域飽和度相對(duì)較低，清晰度高的區(qū)域具有較高的飽和度．亮度圖可將高飽和度值分配于高可見度區(qū)域，將低飽和度值分配于其他區(qū)域，即確保可見度較高的區(qū)域在輸出圖像中所占比例大于較低可見度區(qū)域，使得輸出圖像具有較高的可見度．將輸入圖從RGB空間轉(zhuǎn)換到HSV空間，計(jì)算每個(gè)輸入圖的R、G、B通道與對(duì)應(yīng)的亮度通道的標(biāo)準(zhǔn)差，由此得到的亮度圖為

?(20)

2.3.2?顯著圖設(shè)計(jì)

?(21)

2.3.3?局部對(duì)比度圖設(shè)計(jì)

?(22)

2.3.4?飽和度圖設(shè)計(jì)

針對(duì)水下圖像顏色失真問題，本文通過處理模糊圖像的飽和度增益來減小顏色失真．本文通過飽和度圖來體現(xiàn)圖像的色彩信息，表示為

?(23)

2.4?多尺度融合算法

?(24)

基于輸入圖及其相應(yīng)的標(biāo)準(zhǔn)化權(quán)值圖，采用多尺度融合方法對(duì)水下圖像進(jìn)行增強(qiáng)．輸出圖像由輸入圖及其對(duì)應(yīng)的標(biāo)準(zhǔn)化權(quán)值圖加權(quán)求和得到

?(25)

首先，對(duì)標(biāo)準(zhǔn)化權(quán)值圖進(jìn)行高斯金字塔分解，對(duì)輸入圖進(jìn)行拉普拉斯金字塔分解，然后對(duì)其分層加權(quán)融合．由于高斯金字塔和拉普拉斯金字塔具有相同的層數(shù)，則輸入圖與相應(yīng)權(quán)值的融合可在每一層中分別進(jìn)行，即

?(26)

基于IHS空間融合和基于正交多項(xiàng)式變換融合是圖像融合中常用的方法，兩類方法融合結(jié)果如圖5所示．由實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)，使用IHS空間融合的方法處理后的圖像出現(xiàn)過飽和及顏色失真等現(xiàn)象；經(jīng)正交變換融合后的圖像提高了局部對(duì)比度，但圖像的某些區(qū)域仍保持黑暗．相比之下，本文融合方法得到的水下圖像，可顯著提升圖像的對(duì)比度，物體顏色更自然.

圖4?融合過程

圖5 Coral基于IHS方法、正交變換方法及本文方法結(jié)果

3?本文算法流程

綜上，提出本文基于多特征融合的水下圖像清晰化算法如下．

輸入：水下圖像

步驟7?得到最終的清晰圖像．

結(jié)束

4?實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)使用的Matlab R2016b 實(shí)現(xiàn)算法編程，PC處理器為3.4,GHz Intel(R)Core(TM)i7-6700，RAM為16,GB．實(shí)驗(yàn)過程中，實(shí)驗(yàn)圖像均來自于網(wǎng)絡(luò)或文獻(xiàn)．

4.1?主觀評(píng)價(jià)

為了說明本文算法的有效性，首先與文獻(xiàn)[8]基于Retinex理論的帶色彩恢復(fù)的MSR算法進(jìn)行對(duì)比，結(jié)果如圖6、圖7所示．可以發(fā)現(xiàn)，MSR算法雖然能很好地恢復(fù)圖像細(xì)節(jié)，擴(kuò)大場景可見范圍，但是所恢復(fù)的圖像泛白，色彩失真嚴(yán)重．相比之下，本文算法得到的水下圖像，物體顏色鮮艷，細(xì)節(jié)清晰可見，視覺效果更自然．

圖6?MSR算法與本文算法效果對(duì)比(圖像1)

圖7?MSR算法與本文算法效果對(duì)比(圖像2)

同時(shí)，將所提算法與文獻(xiàn)[6]基于藍(lán)綠通道的復(fù)原方法、文獻(xiàn)[10]基于圖像融合的增強(qiáng)方法、文獻(xiàn)[14]基于景深估計(jì)的圖像復(fù)原方法和文獻(xiàn)[18]基于導(dǎo)向三角雙邊濾波的方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖8～13所示．可以看出，文獻(xiàn)[6]復(fù)原的圖像遠(yuǎn)景處紅色分量被過度補(bǔ)償，且未有效恢復(fù)圖像細(xì)節(jié)；文獻(xiàn)[10]雖然有效地增強(qiáng)了圖像的亮度和細(xì)節(jié)，但是處理后的圖像不能均勻增強(qiáng)，得到的圖像顏色顯得不自然，且近景處出現(xiàn)紅通道過補(bǔ)償現(xiàn)象；文獻(xiàn)[14]依然存在較嚴(yán)重的背景散射影響且圖像顏色偏黃，顏色失真較嚴(yán)重；文獻(xiàn)[18]能夠較好的處理近景，但是不能很好地處理遠(yuǎn)景；相比之下，本文算法可以有效地去除水下圖像的顏色失真，同時(shí)提高圖像的對(duì)比度，恢復(fù)出更多的圖像細(xì)節(jié)，具有更好的視覺效果．本文以6組圖像為例，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)對(duì)大量數(shù)據(jù)統(tǒng)計(jì)有類似結(jié)果．

圖8?Coral清晰化效果對(duì)比

圖9?Multi-fish清晰化效果對(duì)比

圖10?Flower清晰化效果對(duì)比

圖11?Shrimp清晰化效果對(duì)比

圖12?Single-fish清晰化效果對(duì)比

圖13?Carp清晰化效果對(duì)比

4.2?客觀評(píng)價(jià)

為了進(jìn)一步驗(yàn)證算法的性能，計(jì)算兩種客觀評(píng)價(jià)指標(biāo)：色偏檢測和對(duì)比度．

?(28)

表1?各方法相關(guān)指標(biāo)對(duì)比

Tab.1?Comparison results of related measuring index of various methods

5?結(jié)?語

由于水下特殊的成像環(huán)境，導(dǎo)致水下圖像顏色失真、對(duì)比度下降．針對(duì)目前水下圖像清晰化存在的缺陷，本文提出一種基于多特征融合的水下圖像清晰化方案．首先，結(jié)合水下圖像成像模型估計(jì)場景景深，并利用景深信息改進(jìn)顏色校正方法；然后，將自適應(yīng)增強(qiáng)圖像和顏色校正圖像作為相融合的兩幅輸入圖；分別提取兩輸入圖的多種特征，作為融合權(quán)重圖，最后對(duì)兩輸入圖進(jìn)行多尺度融合，得到清晰化圖像．所提方法可有效去除顏色失真，增強(qiáng)圖像對(duì)比度，恢復(fù)更多圖像細(xì)節(jié)．需要說明的是，由于算法未考慮人工光源影響，部分圖像色偏指標(biāo)稍高，有待進(jìn)一步改進(jìn).

［1］ Lu Huimin，Li Yujie，Zhang Yudong，et al. Underwater optical image processing：A comprehensive review [J].2017，26(11)：1-8.

［2］ Wang Yi，Liu Hui，Chau L P. Single underwater image restoration using adaptive attenuation-curve prior[J].2017，26(99)：1-11.

［3］ Guo Jichang，Cong Runming，et al. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J].，2016，25(12)：5664-5677.

［4］ Borkar S，Bonde S V. Underwater image restoration using single color channel prior[C]//(). Vishnupuri，India，2017：1-4.

［5］ Drews P，Nascimento E R，Botelho S，et al. Underwater depth estimation and image restoration based on single images[J].，2016，36(2)：24-35.

［6］ Wen Haocheng，Tian Yonghong，Huang Tiejun，et al. Single underwater image enhancement with a new optical model[C]//(). Beijing，China，2013：753-756.

［7］ Galdran A，Pardo D，Picon A，et al. Automatic red-channel underwater image restoration[J].，2015，26：132-145.

［8］ Fu Xueyang，Zhuang Peixian，Huang Yue，et al. A retinex-based enhancing approach for single underwater image[C]//(). Paris，F(xiàn)rance，2014：4572-4576.

［9］ Bazeille S，Quidu I，Jaulin L，et al. Automatic underwater image pre-processing[C]//. Brest，F(xiàn)rance，2006：145-152.

［10］ Ancutic C，Ancutic C O，Haber T，et al. Enhancing underwater images and videos by fusion[C]//(). Providence，USA，2012：81-88.

［11］ Ansar M K，Krishnan V. Performance evaluation of image fusion algorithms for underwater images：A study based on PCA and DWT[J].，，2014，6(12)：65-69.

［12］ Ritu S，Mantosh B. Adaptive histogram equalization based fusion technique for hazy underwater image en-hancement[C]//Chennai，India，2017：1-5.

［13］ Buchsbaum G. A spatial processor model for object color perception[J].，1980，310(1)：1-26.

［14］ Thomas S，Peter F，Stefan W，et al. Model based image restoration for underwater images[C]//. Calfornia，USA，2015：87911F-9.

［15］ Zhao Xinwei，Jin Tao，Qu Song. Deriving inherent optical properties from background color and underwater image enhancement[J].，2015，94(15)：163-172.

［16］ He Kaiming，Sun Jian，Tang Xiaoou. Single image haze removal using dark channel prior[J].，2011，33(12)：2341-2353.

［17］ Achantay R，Hemamiz S，Estraday F，et al. Frequency-tuned salient region detection[C]//. Miami，F(xiàn)L，USA，2009：1597-1604.

［18］ Serikawa S，Lu H. Underwater image dehazing using joint trilateral filter[J].，2014，40(1)：41-50.

［19］ Li Fang，Wu Jinyong，Wang Yike，et al. A color cast detection algorithm of robust performance[C]//. Nanjing，China，2012：662-664.

(責(zé)任編輯：王曉燕)

Single Underwater Image Sharpening Based on Multi-Feature Fusion

Yang Aiping1，Tian Xin1，Yang Bingwang1，Wang Jian1, 2

‘(1．School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China；2．National Ocean Technology Center，Tianjin 300112，China)

Due to the absorption and scattering effect on light when traveling in water，there are three major problems of underwater imaging：low contrast，color distortion and fuzzy image details．In view of the above problems，a scheme for sharpening underwater images has been proposed based on image fusion framework．First of all，combined with the underwater imaging model，a color correction method based on depth estimation was proposed which can effectively remove the blue(green)color tone of the underwater image and solve the problem of red channel overcompensation．Then，two input images were obtained by color correction and contrast enhancement of the underwater image．Finally，the restored image was obtained by utilizing the multi-scale fusion strategy which is based on the weighted maps constructed by combining the features of brightness，contrast，saturation and saliency．The experimental results show that this algorithm can effectively remove the color distortion of underwater images and greatly improve the contrast and sharpness of images.

multi-scale fusion；color correction；contrast enhancement；weighted map

TP751.1

A

0493-2137(2018)10-1031-11

10.11784/tdxbz201801065

2018-01-14；

2018-04-08.

楊愛萍（1977— ），女，博士，副教授.

楊愛萍，yangaiping@tju.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(61372145，61472274，61771329).

the National Natural Science Foundation of China(No.,61372145，No.,61472274 and No.,61771329).