朱恒軍 王天落 馬利浩

（齊齊哈爾大學(xué)通信與電子工程學(xué)院 齊齊哈爾 161006）

1 引言

神秘的海洋世界蘊(yùn)藏著豐富的資源，令人心向往之。但水會先吸收長波光，導(dǎo)致水下以紅、綠和藍(lán)光為主；水的散射特性及光源不足又降低可見性。這讓采集的水下圖像呈現(xiàn)對比度差、色偏嚴(yán)重和模糊問題。因此，校正色偏和提高圖像對比度是水下圖像的研究熱點(diǎn)，也為后續(xù)水下科學(xué)研究提供真實水下信息。隨著研究深入，單幅水下圖像去霧方法被廣泛應(yīng)用，有以下幾種方法。

圖像恢復(fù)方法，通過構(gòu)建退化模型來進(jìn)行圖像恢復(fù)。水下圖像和去霧圖像類似，He等人［1］提出的暗通道先驗去霧算法（DCP）被應(yīng)用到水下圖像的恢復(fù)中。Galdran 等［2］提出使用紅色通道方法（ARC）來恢復(fù)圖像顏色和提高對比度，并降低人造光源影響；Peng等［3］提出基于圖像模糊和光吸收的深度估計方法（IBLA），解決基于暗通道或最大強(qiáng)度先驗方法對水下場景深度估計不準(zhǔn)確問題；Marques 等［4］提出的L2UWE 算法，從局部對比度信息中推導(dǎo)出一種高效的大氣照明模型來恢復(fù)低光照水下圖像。但這類方法嚴(yán)重依賴模型，在極端水體中恢復(fù)效果差。

深度學(xué)習(xí)方法，通過大量數(shù)據(jù)集訓(xùn)練，深度學(xué)習(xí)方法在簡單圖像處理中效果喜人。李微等［5］改進(jìn)的U-Net 網(wǎng)絡(luò)可將圖像的目標(biāo)部分和背景部分進(jìn)行對比度增強(qiáng)，能夠有效提升水下圖像清晰度；Liu 等［6］提出一種基于條件生成對抗網(wǎng)絡(luò)（GAN）的深度多尺度特征網(wǎng)絡(luò)來校正水下圖像顏色。然而這類方法數(shù)據(jù)集大，訓(xùn)練時間長。

圖像增強(qiáng)方法，通過簡單的像素調(diào)整，便可得到清晰圖像。Hummel［7］提出的HE 算法，通過全局拉伸對失真圖像進(jìn)行全局增強(qiáng)，但造成局部細(xì)節(jié)不清晰；Zuiderveld［8］在HE 算法基礎(chǔ)上提出的CLAHE算法，將圖片劃分多區(qū)域來增強(qiáng)局部對比度，但存在偽影。

由于各種算法都存在一定局限性，融合算法便受到重視，它結(jié)合不同算法的優(yōu)勢提高圖像質(zhì)量。Rajni 等［9］將直方圖均衡圖像和對比度拉伸圖像進(jìn)行融合得到良好的效果。在本文中，為解決色偏問題，提出一種統(tǒng)計學(xué)方法恢復(fù)顏色；為增強(qiáng)圖像細(xì)節(jié)，使用CCI［10］來改進(jìn)ACE［11］算法；為調(diào)整圖像的亮度，采用CLAHE算法對圖像進(jìn)行處理；最后使用多尺度融合的方法解決輸出圖像的偽影問題。結(jié)果表明，本文提出的方法，不需要先驗信息和構(gòu)建物理模型，便能夠大幅度提升水下圖像的質(zhì)量。

2 算法原理

2.1 顏色校正

有研究者考慮到水下圖像易出現(xiàn)藍(lán)綠色畸變，提出白平衡的方法進(jìn)行顏色補(bǔ)償。陳浩等［12］提出對圖像的每一個通道都進(jìn)行補(bǔ)償。但這種方法只是簡單的對顏色通道進(jìn)行輸入補(bǔ)償，其結(jié)果會受到全局對比度低和藍(lán)色通道衰減的影響。考慮到渾濁泥沙水體中存在著同沙塵暴天氣類似的大量懸浮顆粒，在Fu 等［13］使用的顏色矯正方法基礎(chǔ)上，本文提出使用統(tǒng)計學(xué)方差的辦法來矯正水下圖像顏色。

將水下圖像定義為I，并計算顏色通道中的最大值和最小值，最終校正后圖像為。

其中c?{R，G，B}，是顏色通道均值，是顏色通道的方差。β是飽和度參數(shù)，經(jīng)過實驗取值在（0～0.15）之間，如果取值太小，雖色彩上會有較好的外觀，但會過度曝光；取值太大，圖像會變模糊。幾種不同取值的實驗結(jié)果如圖1 所示，在本文中對β取值為0.085。

圖1 實驗結(jié)果

2.2 改善曝光圖像

在進(jìn)行顏色矯正時，圖像進(jìn)行了全局處理，使得校正后圖像出現(xiàn)局部的曝光現(xiàn)象，這會造成圖像的亮度失衡和對圖像細(xì)節(jié)丟失的問題。為改善此類問題，本文中使用CLAHE 算法來對顏色矯正后圖像進(jìn)行改善，抑制圖像噪聲干擾，平衡亮度。該算法通過局部區(qū)域的對比度限幅來調(diào)整圖像中過于明亮或者過于黑暗的區(qū)域和提高圖像的局部對比度。

2.3 對比度代碼圖像

在圖像處理過程中通常使用單一大小的鄰域。較小的鄰域雖然突出更多圖像細(xì)節(jié)，但會使亮度過飽和（非自然色）；較大的鄰域能夠很好地估計和消除霧霾，但是在強(qiáng)度不連續(xù)的部分會出現(xiàn)光暈問題。因此，為確定顏色矯正后圖像ICR每個像素的最佳鄰域尺寸，因此引入對比度代碼圖像CCI，計算過程為

其中σ代表鄰域Ωa內(nèi)部強(qiáng)度間的標(biāo)準(zhǔn)差；Ωa(x)?ICR代表以像素x為中心的正方形鄰域，其尺寸大小表示為 (2a+1) ×(2a+1)，其中的a={1，2，...，7}。

2.4 改進(jìn)的局部自適應(yīng)對比度增強(qiáng)算法

獲取信息時，人眼更關(guān)注高頻信號。因此，虞等［11］通過提高高頻信息來獲得更多圖像細(xì)節(jié)，但該算法的鄰域大小影響著處理結(jié)果的好壞。為此，本文提出使用CCI來改進(jìn)ACE算法。

ACE 算法可分為低頻的反銳化掩模部分和高頻部分。實際應(yīng)用中，通常取局部的像素平均值表示低頻部分。定義x(i，j)為圖像某點(diǎn)灰度值，局部區(qū)域定義為：以(i，j)為中心，則(2n+1) ×(2n+1)為局部區(qū)域，n為整數(shù)，通常為定值。本文中對ACE 算法的改進(jìn)是局部區(qū)域的大小通過CCI 來確定，即n=CCI(x)。圖像的低頻部分為式（5），局部方差為式（6）：

其中σx(i，j)代表局部標(biāo)準(zhǔn)差；f(i，j)表示為x(i，j)增強(qiáng)后的像素值：

其中的函數(shù)G(i，j)表示高頻放大系數(shù)（CG）。為保證高頻成分[x(i，j)-mx(i，j)]得到增強(qiáng)，CG 應(yīng)大于1。通常CG 為常量，但此時，圖像中的高頻部分放大程度一樣。因此在本文中采用自適應(yīng)方法：

其中D為常數(shù)，表示圖像的全局平均值；而α作用是控制高頻部分的增強(qiáng)程度，文中設(shè)置為1.5。

通過CCI 對ACE 算法改進(jìn)的實驗結(jié)果如圖2所示。普通的ACE 算法對水下圖像進(jìn)行處理時，會提高圖像的目標(biāo)區(qū)域和背景區(qū)域的對比度，使得圖像顯現(xiàn)出來更多的目標(biāo)輪廓，但是該算法使用單一大小鄰域處理，也使得圖像的輪廓出現(xiàn)光暈，破壞了圖像本身的細(xì)節(jié)信息；經(jīng)過改進(jìn)后的ACE 算法，提高了圖像的細(xì)節(jié)對比度，恢復(fù)更多有用信息的同時也解決了圖像目標(biāo)出現(xiàn)的光暈問題。

圖2 通過CCI對ACE算法改進(jìn)的實驗結(jié)果

2.5 多尺度融合

進(jìn)行多尺度融合時需對三個權(quán)重圖進(jìn)行計算：顯著性權(quán)重圖、亮度權(quán)重圖、局部對比度權(quán)重圖。其能夠保證輸入圖像的顯著性和對比度高的區(qū)域，或者有邊緣和紋理變化的區(qū)域，在融合輸出過程中得到強(qiáng)化。

顯著權(quán)重圖：作用是突出顯著區(qū)域，可由輸入圖像的高斯平滑圖像減去輸入圖像的平均強(qiáng)度值來得到：

其中x表示輸入圖像Pk的一個空間坐標(biāo)，k={1，}2。Gs是對每個輸入的圖像進(jìn)行高斯平滑操作時用的5×5 高斯核：

亮度權(quán)重圖：該權(quán)重圖為良好的可視性像素分配高值，可通過輸入圖像的RGB 顏色通道和亮度間的偏差來獲得，可由式（10）表示。其中Rk，Gk，Bk代表每個輸入圖像的三通道。而Tk為輸入圖像中每一像素x處的三通道平均值。

局部對比權(quán)重圖：作用是突出輸入圖像局部強(qiáng)度變化大的地方。具體方法可通過使用為的拉普拉斯核對Tk計算獲得。

將獲得的三個權(quán)重圖進(jìn)行合并得到；通過歸一化得到歸一化權(quán)重圖----。為保證歸一化過程中分母不為零［14］，引入δ，設(shè)其值為0.001。

最終用多尺度融合的辦法解決融合過程中的偽影問題，計算過程為

其中的O為融合后圖像；l為高斯金字塔和拉普拉斯金字塔的層數(shù)，本文中設(shè)置為5層。

3 仿真結(jié)果與討論

在本文中，實驗處理器為Intel（R）Core（TM）i7-7500U CPU @ 2.70GHz 2.90GHz；軟件環(huán)境是MATLAB R2018b、PyCharm2020.1 和Python3.7；實驗的數(shù)據(jù)集是Li 等［15］提出的UIEB 數(shù)據(jù)集中的890幅可參考圖像；對比算法為ARC 算法、IBLA 算法、L2UWE算法和HE算法。

3.1 圖像定性評估

在顏色矯正方面，如圖3 所示的（a）、（b）兩行圖像。考慮到水下圖像常出現(xiàn)藍(lán)綠色畸變，選擇兩張以藍(lán)色和綠色的為主的圖像進(jìn)行實驗。可以明顯看出IBLA 和L2UWE 矯正藍(lán)綠色圖像的效果最差；ARC 次之；HE 雖突出圖像各區(qū)間的色彩對比，但改變原來圖像的色彩，造成圖像失真；本文算法效果更接近于文獻(xiàn)［15］中的參考圖像，色彩校正效果最好。如圖3 所示的（c）、（d）兩行圖像；對于泥沙較多的水下圖像，ARC的效果為全局的高亮不清晰，HE 也出現(xiàn)局部的高亮，使局部模糊；L2UWE 會對水體中的懸浮顆粒過度增強(qiáng)，嚴(yán)重影響圖像外觀；IBLA 雖能夠抑制懸浮物的影響，但整體的區(qū)分度較低，不易獲得有效信息；本文算法的效果圖同參考圖像相近，能夠恢復(fù)出來清晰的水下圖像，可以達(dá)到去除霧霾模糊的效果。

圖3 不同方法的顏色校正和霧霾去除效果對比圖

如圖4 所示的（a）、（b）兩行圖像，L2UWE 對水下微光圖像的增強(qiáng)效果更符合人眼對圖像增強(qiáng)的評價體系；ARC、IBLA 和HE 都存在對原始圖像的明亮區(qū)域過度增強(qiáng)和較暗區(qū)域增強(qiáng)較弱的問題；本文算法，對明亮區(qū)域增強(qiáng)較弱，不會出現(xiàn)過度曝光，對暗區(qū)域進(jìn)行亮度均衡，使圖像整體亮度一致。如圖4 所示的（c）、（d）兩行圖像，對細(xì)節(jié)增強(qiáng)效果進(jìn)行對比。L2UWE 能夠有效地將圖片中的細(xì)節(jié)紋路凸顯出來，但圖像邊緣會出現(xiàn)光暈；本文算法不僅將紋路細(xì)節(jié)刻畫清晰，且圖像邊緣沒有光暈，較之參考圖像也能顯示更多細(xì)節(jié)；反觀HE和IBLA則會丟失部分細(xì)節(jié)。ARC 會使得圖像的內(nèi)容和背景不易區(qū)分，細(xì)節(jié)凸顯度低。

圖4 不同方法的亮度提升和細(xì)節(jié)增強(qiáng)效果對比圖

3.2 圖像定量評估

在定量評估時，一類是需要參考圖像的評價指標(biāo)：峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM）、基于patch 的對比度質(zhì)量（PCQI）指標(biāo)［16］；另一類是不需要參考圖像的評價指標(biāo)：水下圖像質(zhì)量測度（UIQM）指標(biāo)［17］和水下彩色圖像質(zhì)量指標(biāo)（UCIQE）［18］。表格中加粗的數(shù)據(jù)是五種算法中的最好結(jié)果。

PSNR指標(biāo)是基于像素誤差求取的，其值越大，圖像失真越小。SSIM 指標(biāo)通過對比度、曝光度和結(jié)構(gòu)信息三方面計算獲得的，其值越大，圖像的相似性越高。如表1所列，在PSNR指標(biāo)和SSIM指標(biāo)評比中，本文算法的結(jié)果都獲得了很高的的數(shù)值，表明本文算法處理后的圖像同參考圖像的結(jié)構(gòu)相似。

表1 利用PSNR、SSIM指標(biāo)對不同水下圖像增強(qiáng)方法進(jìn)行定量評價

PCQI 指標(biāo)采用局部的方法來對數(shù)據(jù)進(jìn)行統(tǒng)計。PCQI 是由兩圖象相同局部間的平均強(qiáng)度、結(jié)構(gòu)改變和對比度變化三部分組成，是評價圖像對比度變化的優(yōu)秀指標(biāo)。其結(jié)果越大，圖像的對比度越為明顯。如表2所列，本文算法能獲得更高的PCQI值，更能提高圖像對比度。

表2 利用PCQI對水下圖像增強(qiáng)方法進(jìn)行定量評價

UIQM 指標(biāo)是由圖像色彩度（UICM）、圖像清晰度（UISM）和圖像對比度（UIConM）組成。UIQM 的值越大，表明圖像的視覺效果越好。而UCIQE 指標(biāo)是由水下圖像的色度、對比度和飽和度進(jìn)行線性組合得到，其值越大，則圖像恢復(fù)效果越好。實驗結(jié)果如表3所列，在進(jìn)行UIQM指標(biāo)實驗時，本文算法和L2UWE 算法都采用CCI 引導(dǎo)圖像，都對局部細(xì)節(jié)進(jìn)行增強(qiáng)，使圖像對比度更明顯圖像更加清晰，所以獲得最優(yōu)結(jié)果。IBLA 算法的UCIQE 值是最好的，其原因是該算法采用基于圖像模糊和光吸收的水下場景深度估計方法，對水下圖像去霧效果好些，但整體視覺效果較差；本文使用的是一種簡便的統(tǒng)計學(xué)方法，勝在計算簡單，并且本文算法獲得的UICQE指標(biāo)和其余幾種算法是較為接近的。

表3 利用UIQM、UCIQE指標(biāo)對不同水下圖像增強(qiáng)方法進(jìn)行定量評價

在進(jìn)行定量評估時，僅展現(xiàn)圖3 和圖4 中8 張圖片的指標(biāo)數(shù)據(jù)，考慮到實驗的個異性，又展示890 張圖片的指標(biāo)均值，結(jié)果如表4 所列。本文算法的UIQM 指標(biāo)排列第一，表明圖像在細(xì)節(jié)提升、色彩度恢復(fù)方面最好；PSNR、SSIM、PCQI 指標(biāo)排列第二，極接近最好算法所得結(jié)果，說明同真實圖像間有更高的相似度且引入更少噪聲；但UCIQE 平均值卻差強(qiáng)人意，雖然IBLA 算法有較高的UCIQE值，但是由圖3和圖4不難看出IBLA處理的圖片有較多的紅色偏移和偽影存在；也可能較高的UCIQE不符合人類的視覺系統(tǒng)。

表4 五種定量評價方法的平均值

4 結(jié)語

從渾濁泥沙水體中采集到的圖像特點(diǎn)出發(fā)，提出使用方差的統(tǒng)計學(xué)辦法來恢復(fù)圖像色彩；針對圖像對比度低及通常算法的領(lǐng)域大小固定問題，本文提出由對比度代碼圖像（CCI）來確定ACE 算法的最佳鄰域大小，這種改進(jìn)方法能顯示更多圖像細(xì)節(jié)；對曝光圖像進(jìn)行適當(dāng)調(diào)整；為更好地解決以上問題及輸出偽影問題，采用了多尺度融合算法進(jìn)行處理。通過實驗證明，所提出的算法在圖像的對比度方面遠(yuǎn)遠(yuǎn)優(yōu)秀于現(xiàn)有算法，能夠顯示更多細(xì)節(jié)；對渾濁水體圖像和嚴(yán)重的色偏圖像有很好的色彩恢復(fù)效果。