顏 陽(yáng)，王 穎，丁雪妍，王 玨，付先平

(大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026)

0 引 言

受到水中介質(zhì)的散射、吸收等影響，光線在水中傳播時(shí)會(huì)產(chǎn)生衰減現(xiàn)象，這使得水下圖像存在著細(xì)節(jié)模糊、顏色失真、對(duì)比度低下等問題。傳統(tǒng)的水下圖像增強(qiáng)方法如Chang等[1]提出的限制對(duì)比度自適應(yīng)直方圖均衡(contrast limited adaptive histogram equalization，CLAHE)算法實(shí)現(xiàn)簡(jiǎn)單，在實(shí)際工作中解決了水下圖像對(duì)比度低下的問題，但仍存在顏色失真、放大噪聲等缺陷。為了更好地消除色偏對(duì)水下圖像的影響，諸如白平衡等[2,3]的色彩校正方法被應(yīng)用于水下圖像增強(qiáng)，但該方法復(fù)原結(jié)果的細(xì)節(jié)和對(duì)比度方面都不夠理想。Ghani等[4]在RGB和HSV兩個(gè)模型中分別拉伸顏色通道和亮度通道。其效果有了明顯的改進(jìn)。Fu等[5]提出了水下圖像增強(qiáng)的兩步方法：第一步使用色彩校正策略來(lái)處理色偏，第二步采用最優(yōu)對(duì)比度改進(jìn)方法減少偽影，有效處理低對(duì)比度。近年來(lái)基于有監(jiān)督深度學(xué)習(xí)的圖像增強(qiáng)方法表現(xiàn)突出。Cai等[6]提出了一種名為 DehazeNet 的端到端的網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)，將該方法應(yīng)用在水下圖像增強(qiáng)中時(shí)需要大量包括水下原始圖像及其對(duì)應(yīng)的ground-truth圖像的訓(xùn)練集，使得該方法存在時(shí)效性問題。而無(wú)論是基于傳統(tǒng)還是深度學(xué)習(xí)方法，在同時(shí)兼顧圖像增強(qiáng)的健壯性、有效性等方面仍有欠缺。為此本文提出了一種基于圖像融合的自適應(yīng)水下圖像增強(qiáng)方法。實(shí)驗(yàn)結(jié)果表明，該方法能對(duì)水下圖像進(jìn)行自適應(yīng)處理，有效解決色偏、細(xì)節(jié)模糊、低對(duì)比度的問題。

1 基于圖像融合的自適應(yīng)水下圖像增強(qiáng)方法

考慮到水下圖像的固有特性和成像特點(diǎn)，本文提出一種基于圖像融合的自適應(yīng)水下圖像增強(qiáng)方法。具體方法如圖1所示。首先，對(duì)原始水下圖像用顏色校正算法[7]進(jìn)行顏色均衡化預(yù)處理去除色偏，并獲得優(yōu)化后的亮度分量；然后對(duì)L進(jìn)行Gamma校正，提升亮度圖像的對(duì)比度；接著，對(duì)兩個(gè)亮度分量執(zhí)行三級(jí)小波分解，分別得到兩組低頻和高頻分量，對(duì)低頻分量進(jìn)行線性融合，同時(shí)對(duì)高頻分量進(jìn)行基于L2范數(shù)的自適應(yīng)融合，得到融合后的亮度圖像。最后，將其結(jié)合顏色通道A和B并轉(zhuǎn)化到RGB空間輸出最終結(jié)果。

圖1 整體方法結(jié)構(gòu)

值得一提的是，本文提出了一個(gè)基于融合的水下圖像增強(qiáng)方法，實(shí)驗(yàn)驗(yàn)證該方法相比于現(xiàn)有的方法可以達(dá)到更好的水下圖像增強(qiáng)效果。

1.1 基于改進(jìn)白平衡算法的顏色校正

(1)

其中，C代表RGB這3個(gè)通道。如式(1)分別對(duì)RGB這3個(gè)通道進(jìn)行拉伸，得到顏色校正后的圖像IC C。

1.2 Gamma校正

顏色校正將各通道像素值拉伸至[0，255]范圍，雖去除了色偏，圖像中仍存在著亮度過(guò)大的問題。因此在L通道上應(yīng)用Gamma校正[8]，通過(guò)對(duì)輸入的亮度圖像灰度值進(jìn)行指數(shù)變換s，進(jìn)而校正亮度偏差。表達(dá)式定義為

LG=A*Lγ

(2)

其中，L是IC C的亮度通道。A是常數(shù)，這里取A=1。 指數(shù)γ是Gamma值，其大小可以影響圖像的亮度。當(dāng)γ<1時(shí)，照射強(qiáng)度變強(qiáng)，相反，當(dāng)γ>1時(shí)，光強(qiáng)度變?nèi)?。大量?shí)驗(yàn)分析表明，令γ=2時(shí)，可以使結(jié)果圖像達(dá)到最合適的亮度。

1.3 多尺度融合策略

(1)小波分解

對(duì)上述步驟得到的兩個(gè)亮度通道L和LG分別采用小波分解得到高頻和低頻信息作為融合的輸入。本文選擇Db4小波基[9]對(duì)L和LG做三層小波分解，第一層小波分解將圖像分解為低頻信息和高頻信息，第二層小波分解是在第一層的基礎(chǔ)上把低頻信息部分再分解為低頻與高頻兩部分，依此類推，直至分解到第三層。若分解層次過(guò)少，會(huì)導(dǎo)致亮度圖像的輪廓信息分解不完全，若分解層次過(guò)多則會(huì)導(dǎo)致低頻部分過(guò)度丟失，同時(shí)還伴隨著計(jì)算量越來(lái)越大的問題。綜合考量以上原因，既要保證結(jié)果圖像的細(xì)節(jié)增強(qiáng)又要避免算法計(jì)算復(fù)雜度的問題，本文對(duì)兩個(gè)亮度圖采取三層小波分解。

(2)融合規(guī)則

圖像融合的一般思想是多個(gè)特征圖通過(guò)一定的融合規(guī)則，使其重要的特征信息在結(jié)果圖像中得以保留，起到圖像增強(qiáng)的效果。為了達(dá)到自適應(yīng)增強(qiáng)圖像的目的，本文提出了一種融合規(guī)則，對(duì)亮度LL和LLG分別進(jìn)行三級(jí)小波分解，得到的高頻帶特征圖采用基于L2范數(shù)[10]的自適應(yīng)融合，以達(dá)到增強(qiáng)細(xì)節(jié)，提高對(duì)比度的作用；同時(shí)，為了防止細(xì)節(jié)過(guò)度校正產(chǎn)生過(guò)多噪點(diǎn)對(duì)低頻帶進(jìn)行線性融合。最后將融合結(jié)果重構(gòu)得到最終的融合亮度通道，具體步驟如下：

1)高頻帶融合規(guī)則：L和LG小波分解后的每一層高頻帶都包含亮度在垂直、水平以及對(duì)角線方向的信息，為了保留其中重要的特征信息，對(duì)高頻帶分量采用基于L2范數(shù)[10]的自適應(yīng)融合策略。該融合策略要達(dá)到的目的是計(jì)算出L和LG每一層各個(gè)方向所包含信息的最優(yōu)融合解，相當(dāng)于結(jié)合了L和LG每一層的重要特征信息。公式描述為

(3)

為了更容易對(duì)式(3)進(jìn)行求解，可以將其看作是一個(gè)最小二乘的問題，使用快速傅立葉變換(fast fourier transformation，F(xiàn)FT)得到式(3)的近似解如下

(4)

2)低頻帶融合規(guī)則：對(duì)小波分解后的低頻分量LL和LLG采用線性融合規(guī)則，引入兩個(gè)權(quán)重系數(shù)λ1，λ2， 對(duì)LL和LLG進(jìn)行加權(quán)操作，得到融合后的低頻分量，公式如下

LL′=λ1LL+λ2LLG

(5)

其中，λ1+λ2=1， 且λ1=λ2=0.5時(shí)融合效果最佳。對(duì)低頻分量線性融合可達(dá)到防止高頻分量融合產(chǎn)生過(guò)度校正的目的。

經(jīng)過(guò)上述步驟，得到了亮度L和LG融合后的高頻和低頻信息，將這兩組信息分別重構(gòu)，便得到校正后的亮度通道L′。 然后結(jié)合亮度通道，并轉(zhuǎn)換圖像為RGB空間，得到最終的增強(qiáng)圖像。亮度通道優(yōu)化前后的結(jié)果對(duì)比如圖2所示，可以看出，優(yōu)化后的結(jié)果在圖像細(xì)節(jié)與對(duì)比度方面都明顯加強(qiáng)。

圖2 亮度通道優(yōu)化結(jié)果

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與分析

為了驗(yàn)證本文方法的有效性，本文以水下圖像作為實(shí)驗(yàn)對(duì)象精心設(shè)計(jì)了一系列實(shí)驗(yàn)，水下圖像色偏嚴(yán)重， 對(duì)比度低且細(xì)節(jié)模糊。在運(yùn)行本文算法的同時(shí)，使用文獻(xiàn)[1，2，6]幾種算法對(duì)水下圖像進(jìn)行處理，為了保證實(shí)驗(yàn)過(guò)程的公正性，所有圖像均無(wú)損地預(yù)處理為600*400像素大小，實(shí)驗(yàn)所用處理器：Intel Core i7-7700K@4.2 GHz，內(nèi)存8.00 GB，在Matlab R2017a環(huán)境下進(jìn)行實(shí)驗(yàn)。

2.2 定性分析

圖3所示是本文方法和文獻(xiàn)[1，2，6]的增強(qiáng)結(jié)果的視覺比較。圖中可以明顯看出，對(duì)于不同種類的水下圖像，Shades-of-grey對(duì)水下圖像進(jìn)行了有效的顏色校正，但處理后的圖像仍然很模糊。CLAHE實(shí)際上可以很好地增強(qiáng)水下圖像的對(duì)比度，但在去除色偏和增強(qiáng)細(xì)節(jié)方面表現(xiàn)不佳。而 DehazeNet 的結(jié)果對(duì)水下圖像只有一點(diǎn)增強(qiáng)?？梢钥闯?，與這些方法相比，本文方法處理的圖像細(xì)節(jié)更豐富，色彩失真更小，對(duì)比度更好。

圖3 不同方法增強(qiáng)結(jié)果比較

圖4是水下采集到的原始圖像與文獻(xiàn)[1,2,6]以及本文方法增強(qiáng)后的圖像的RGB這3個(gè)通道的直方圖對(duì)比結(jié)果。直方圖是一種統(tǒng)計(jì)報(bào)告圖，圖像各個(gè)通道的直方圖可以直觀顯示圖像各通道的灰度分布情況，通過(guò)直方圖分析圖像的質(zhì)量是對(duì)圖像的一種常用評(píng)價(jià)方法。圖中從上到下3行分別代表RGB這3個(gè)通道，可以看出，在水中直接獲取到的退化圖像的每個(gè)通道像素值的大小相差較大，且只分布在集中區(qū)域，這表示原始圖像存在對(duì)比度低和色偏的問題；Shades-of-grey恢復(fù)了色彩偏差；CLAHE和DehazeNet只對(duì)直方圖起到了拉伸的作用；而本文方法對(duì)每個(gè)通道的灰度值進(jìn)行了拉伸，且3個(gè)通道的像素值大小均衡，與其它3種方法的結(jié)果圖相比，增強(qiáng)效果明顯更好。

圖4 RGB通道直方圖對(duì)比結(jié)果

SURF(speeded up robust features)[11]是一種高效而穩(wěn)健的局部特征點(diǎn)檢測(cè)和描述算法，本文采用SURF算法對(duì)原始圖像和幾種方法增強(qiáng)后的圖像進(jìn)行特征點(diǎn)提取，并對(duì)提取后的圖像進(jìn)行特征點(diǎn)匹配。質(zhì)量高的圖像細(xì)節(jié)清晰，特征點(diǎn)明顯，因此對(duì)特征點(diǎn)的檢測(cè)與匹配結(jié)果可以用來(lái)評(píng)估圖像的質(zhì)量，提取的特征點(diǎn)越多，匹配到的特征點(diǎn)比例越高，驗(yàn)證圖像質(zhì)量越高。如圖5所示是各方法結(jié)果圖像的SURF匹配結(jié)果。

圖5 各方法SURF匹配結(jié)果

圖5中可以看出，前面評(píng)估中在去除色偏方面表現(xiàn)比較優(yōu)秀的Shades-of-grey方法檢測(cè)到的特征點(diǎn)卻最少；CLAHE方法由于大大加強(qiáng)了原始圖像的對(duì)比度，其結(jié)果圖5(b)檢測(cè)出的特征點(diǎn)明顯增多；DehazeNet的結(jié)果圖5(c)表明該方法在匹配特征點(diǎn)上沒有明顯的增強(qiáng)；而本文檢測(cè)到的特征點(diǎn)圖5(d)是幾種方法中最多的，且匹配到的特征點(diǎn)成功率也極高。該對(duì)比實(shí)驗(yàn)結(jié)果表明本文算法對(duì)水下圖像處理效果的有效性，在顏色保真的同時(shí)恢復(fù)了對(duì)比度并突出了圖像的細(xì)節(jié)。

2.3 定量分析

從人眼視覺角度分析得到本文結(jié)果在這些方法中都獲得了最好的增強(qiáng)效果。在此基礎(chǔ)上，使用PCQI(patch-based contrast quality index)[12]和Blur Metric[13]定量評(píng)估指標(biāo)進(jìn)一步支持上述主觀結(jié)論，表1為圖3中4組圖像的評(píng)價(jià)指標(biāo)對(duì)比結(jié)果：其中PCQI是用于評(píng)估圖像對(duì)比度的度量，其值越大，代表圖像對(duì)比度越高；Blur Metric則是一種估計(jì)圖像模糊效果的度量，其值越小，表示圖像視覺越好。從表1中可以看出，在圖像對(duì)比度和模糊程度上本文方法所得到的增強(qiáng)后的圖像質(zhì)量在這幾種方法中幾乎可以達(dá)到最好，也就是可以得到最適應(yīng)于人類視覺效果的圖像。

表1 增強(qiáng)結(jié)果評(píng)估

3 結(jié)束語(yǔ)

由于水中環(huán)境復(fù)雜，水下圖像都呈現(xiàn)出較差的視覺效果，本文方法主要從顏色校正與亮度調(diào)節(jié)兩方面入手，自適應(yīng)提升水下圖像的清晰度。與現(xiàn)有的水下圖像增強(qiáng)方法相比，本文方法的融合策略可以自適應(yīng)的對(duì)不同類型的水下圖像起到恰當(dāng)?shù)脑鰪?qiáng)效果，最終獲得清晰的水下圖像。定性與定量分析可以看出本文方法有效提高了水下圖像的清晰度，增強(qiáng)了圖像細(xì)節(jié)。盡管本文方法獲得了良好的增強(qiáng)效果，但是仍然在以下方面存在不足：本文方法提出的自適應(yīng)融合策略雖然可以達(dá)到去除色偏、增強(qiáng)細(xì)節(jié)的目的，但是如果采集到的圖像過(guò)于暗淡，本文方法則不能達(dá)到最優(yōu)效果。