王永鑫，刁 鳴，韓 闖

WANG Yongxin1，2,DIAO Ming1,HAN Chuang2

1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001

2.哈爾濱理工大學(xué) 測控技術(shù)與儀器黑龍江省高校重點實驗室，哈爾濱 150080

1.College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China

2.The Higher Educational Key Laboratory for Measuring&Control Technology and Instrumentations of Heilongjiang Province,Harbin University of Science and Technology,Harbin 150080,China

1 引言

高質(zhì)量的水下圖像是人類開發(fā)海洋資源，探索水下生態(tài)環(huán)境，進行海洋工程的基本要素[1]。光信號的衰減作用是制約水下圖像質(zhì)量的主要因素。水體對于分屬三個不同波長區(qū)間的三基色信號的衰減幅度不一致，例如紅色通道在水下的衰減程度遠大于藍、綠通道，因此水下圖像的色彩偏重于藍綠色。這一現(xiàn)象易造成水下圖像色彩失真，對比度下降，細節(jié)不清晰等問題[2-3]。

針對這一問題，近年來國內(nèi)外學(xué)者提出了一些有效的圖像增強方法用于改善水下圖像的圖像質(zhì)量。Chiang等[4]通過霧天圖像成像模型對水下圖像成像進行建模，再估計出目標(biāo)與觀測者之間的距離圖。根據(jù)成像模型和距離圖，對水下圖像進行人造光補償，進而提高水下圖像的可視化效果。楊愛萍等[5]提出一種水下復(fù)原方法用于克服水下圖像顏色衰減與霧化效果。該方法首先根據(jù)暗通道先驗的方式分別對三個色彩通道進行色彩校正，再根據(jù)散射作用與光線波長的關(guān)系對透射率進行估計，繼而修復(fù)了水下圖像的色彩偏差并抑制了水體對于背景光的散射作用。Borker等[6]將水下圖像增強看作是兩個子圖的融合過程。首先，通過對水下圖像進行對比度拉伸，從而生成抑制霧化效果的子圖1。其次，對三個顏色通道進行自適應(yīng)直方圖均衡化方法，從而生成顏色恒定的子圖2。最后，通過對子圖1和子圖2進行基于PCA的圖像融合方法，進而合成色彩不失真、細節(jié)清晰的水下圖像。Galdran等[7]提出一種自動R通道水下圖像恢復(fù)方法。該方法分為三個步驟：根據(jù)R通道的亮度，對水下場景的背景光進行估計；在已知背景光的前提下，對各像素的透射比進行估計；根據(jù)對水下成像模型進行逆變換，結(jié)合已估計的背景光和透射比對未衰減的目標(biāo)亮度進行校正。實驗結(jié)果驗證了該算法對校正色偏，水下圖像去模糊均有較好的效果。

雖然上述方法對于水下圖像的視覺效果具有一定的改善作用，但是圖像的細節(jié)、清晰度、色彩恒定性仍有待進一步提高。為了改善水下圖像不清晰以及色彩失真問題，本文提出一種基于同態(tài)濾波的水下圖像增強與色彩校正模型。該模型通過比爾-朗伯定律以及路徑輻射分量建立未衰減前目標(biāo)亮度與衰減后目標(biāo)亮度之間的對應(yīng)關(guān)系。通過剩余能量比估計出水體對于三基色通道亮度的衰減程度。通過同態(tài)濾波抑制由目標(biāo)與觀測值之間的距離分量所引起的圖像霧化效果。對水下成像模型進行級數(shù)展開，在不給出目標(biāo)與觀測者之間的距離的前提下，推導(dǎo)出一種有效的水下圖像色彩校正模型。實驗部分從主、客觀兩方面驗證了本文的有效性。

2 本文算法

2.1 水下成像模型

水下成像模型主要由兩部分組成[8]。第一部分是正透射作用，即水體對于目標(biāo)亮度的衰減作用。正透射對于光線的衰減作用可以由比爾-朗伯定律[9]來構(gòu)造。第二部分是路徑輻射，即由環(huán)境光所引起的后向散射作用[10]。因此水下成像模型可以表示為：

其中x代表像素的空間位置，λ代表不同顏色通道，J表示未經(jīng)過衰減的目標(biāo)亮度值，I表示經(jīng)過正透射和路徑輻射目標(biāo)的亮度值，Aλ表示環(huán)境光的亮度值，t表示透射比。

根據(jù)比爾-朗伯定律透射比可以表示為：

其中β表示介質(zhì)的消光系數(shù)，d代表目標(biāo)與觀測者的直線距離，N表示標(biāo)準化剩余能量比。將式（2）帶入式（1）中得到如式（3）所示的更新后的水下成像模型。

Chiang等[4]對于多種類型的水體進行實驗，總結(jié)出標(biāo)準化后的剩余能量比應(yīng)滿足如式（4）所示的關(guān)系：

由式（4）可知，水體對于波長較長的紅色光信號衰減程度較大，對于波長較短的綠色和藍色信號衰減程度較小。根據(jù)文獻[4]可知，環(huán)境光的亮度值可以表示為：

其中Ω(x)表示以坐標(biāo)x為中心的局部方形區(qū)域。本文選用5×5的局部方形區(qū)域用于估計環(huán)境光的亮度值。

2.2 基于同態(tài)濾波的水下圖像亮度估計方法

根據(jù)2.1節(jié)的論述可知，如式（3）所示的水下成像模型中只有目標(biāo)與觀測者之間的直線距離d未知。由于距離信號d是變化緩慢的低頻信號[11]，因此本文通過濾波的思想將距離信號過濾掉。根據(jù)公式（3）可知，距離信號位于指數(shù)部分，因此首先需要通過同態(tài)濾波提取距離信號。對公式（3）進行整理得到如式（6）所示的等式：

對公式（6）等號兩邊分別進行指數(shù)運算得到如式（7）所示的等式：

由于目標(biāo)亮度Jλ屬于頻率變化較快的高頻信號，而距離d屬于低頻信號，對公式（7）進行低通濾波得到水下圖像低頻分量（即ln(Nλ)×d(x)），再用水下圖像減去這一低頻分量就能得到不受距離影響的目標(biāo)亮度分量。這一過程如式（8）所示。

其中LPF表示低通濾波。對公式（8）進行整理，得到如式（9）所示的 Jλ計算方法。

2.3 色彩恒定模型

由于公式（9）是一個關(guān)于Iλ的非線性方程，因此如果分別對紅、綠、藍三通道進行如式（9）所示的圖像增強方法，則會產(chǎn)生偏色現(xiàn)象進而導(dǎo)致影響圖像的色彩恒定性。為了保持色彩的恒定性，本文提出一種水下圖像色彩恒定模型。該模型的推導(dǎo)過程如下：

首先，對公式（3）進行整理得到如式（10）所示的形式。

令 f是關(guān)于d(x)的函數(shù)，即。通過一階麥克勞林級數(shù)對 f進行級數(shù)展開，得到以下形式：

將公式（11）帶入公式（10）中得到如式（12）的表達式：

為了推導(dǎo)方便，這里對公式（12）進行變量替換，即公式（13）成立。

其次，令I(lǐng)Σ(x)和JΣ(x)表示由三原色混合而成的像素 x的亮度值。IΣ(x)和JΣ(x)的表達式如式（14）所示。

根據(jù)公式（14）可知 JΣ(x)由 Jr(x)、Jg(x)、Jb(x)三個變量線性疊加而成，而紅、綠、藍三通道的亮度值均滿足如式（12）、式（13）的關(guān)系。因此式（15）成立。

對公式（15）進行移項、整理得到任意顏色通道的亮度值，即

其中 ξλ(x)的值由公式（4）、公式（5）所確定，JΣ(x)由2.2節(jié)提出的基于同態(tài)濾波的水下圖像對比度增強方法所確定。求解JΣ(x)的方法如下：根據(jù)公式（14）的子方程（1）求解 IΣ(x)；將公式（9）下標(biāo) λ用 Σ 替代，將 IΣ(x)帶入公式（5）得到 AΣ；將公式（9）下標(biāo) λ用 Σ 替代，將IΣ(x)和 AΣ帶入公式（9）得到 JΣ。最后將 JΣ和 IΣ(x)帶入公式（16）中得到色彩恒定的彩色水下圖像。

3 實驗結(jié)果與分析

實驗過程采用CPU i5-7500，內(nèi)存DDR4-2133，顯卡GTX1050作為硬件仿真環(huán)境。軟件仿真環(huán)境是Matlab 2012b，Win 10操作系統(tǒng)。

3.1 水下成像模型參數(shù)設(shè)置方法

本文所采用的原始水下成像模型（如式（3）所示）中包括一個可以自由選取的參數(shù)N（標(biāo)準化剩余能量比）。盡管Chiang等[4]根據(jù)不同的水質(zhì)將N的范圍設(shè)定在如式（4）所示的一段比較小的范圍內(nèi)，但是仍然需要根據(jù)水體的類型去設(shè)定該參數(shù)值。這種方式不利于實現(xiàn)算法的通用性。

3.1.1 參數(shù)的選取對于圖像質(zhì)量的影響

對公式（3）進行整理，可以得到如式（17）所示的計算未衰減目標(biāo)亮度Jλ的表達式。

根據(jù)公式（17）可知，未經(jīng)衰減的目標(biāo)亮度 Iλ(x)由衰減后的目標(biāo)亮度Iλ和環(huán)境光的亮度Aλ兩項相加而構(gòu)成。Iλ的權(quán)重系數(shù)是1/，Aλ的權(quán)重系數(shù)是1-1/。

根據(jù)公式（17）可知，如果參數(shù)的估計值大于N的真值，則Iλ的權(quán)重變小，而Aλ的權(quán)重變大，因此Jλ的估計值則會更偏向于環(huán)境光的亮度值。根據(jù)公式（5）可知，全體局部區(qū)域像素亮度最小值的最大值決定了環(huán)境光的亮度。因此當(dāng)估計值大于N的真值時，盡管增強圖像整體上較為明亮，但是增強圖像的對比度下降，繼而導(dǎo)致增強圖像的清晰度變差。另外，如果參數(shù)的估計值小于N的真值，則Iλ的權(quán)重變大，而Aλ的權(quán)重變小，因此Jλ的估計值則會更偏向于衰減后的目標(biāo)亮度值。因此當(dāng)估計值小于N的真值時，增強圖像的視覺效果與衰減后的圖像相近。

3.1.2 參數(shù)設(shè)置方法

綜上所述，只有當(dāng)參數(shù)的估計值逼近于N的真值時，增強圖像的圖像質(zhì)量、清晰度、對比度才能與未衰減的圖像保持一致。為了確定合適的參數(shù)值，本文利用不同的N值進行實驗得到一組增強圖像，再從這組增強圖像中選出最清晰的圖像作為最終的實驗結(jié)果。實驗部分采用的原始水下圖像如圖1所示。為了驗證參數(shù)N對于增強水下圖像的圖像質(zhì)量的影響，本文對于N值的有效范圍(N∈[0,1])進行五十等分，分割后區(qū)間的區(qū)間端點即為所選取的N值。圖2選取了五個具有代表性的N值對應(yīng)的水下增強圖像。

圖1 原始水下圖像cave和turtle

圖2 中每個子圖所對應(yīng)的N值如表1所示。

圖2 不同N值對應(yīng)的實驗結(jié)果對比

表1 各圖組對應(yīng)的N參數(shù)值

從圖2可以看出不同子圖的模糊度、亮度、明暗對比均不同。例如圖像cave的子圖（c）的清晰度較高，輪廓紋理較清晰，并且圖像的明暗對比效果較佳，因此子圖（c）對應(yīng)的N值更接近于參數(shù)N的真實值。子圖（a）、（b）對應(yīng)的陰影部分（兩個巖壁以及圖像下部的巖石區(qū)域）亮度較為昏暗，不利于人眼觀察。另外當(dāng)N值較小時，增強圖像整體的視覺效果與如圖1（a）所示的原始圖像的視覺效果較為接近；子圖（c）、（d）的高光區(qū)域過于明亮，圖像整體的霧化效果較為嚴重，圖像清晰度較差。另外，根據(jù)圖2可知，不同N值對應(yīng)的增強圖像的主觀視覺效果與3.1.1節(jié)的理論分析結(jié)果保持一致。

由于信息熵主要對圖像的細節(jié)、清晰度進行評價，圖像的信息熵越大，則增強圖像清晰度和圖像細節(jié)就越好，反之亦然。因此本文采用信息熵作為衡量圖像模糊化程度的測度，信息熵最高的圖像就是最終圖像增強結(jié)果。圖2各子圖的信息熵如表2所示。

表2 各子圖對應(yīng)的信息熵

由表2可知圖像cave的子圖（c）以及圖像turtle的子圖（c）的信息熵最高。因此這兩幅子圖像為最終的圖像增強結(jié)果。

3.2 實驗結(jié)果對比

對比算法包括：Chiang算法[4]、Borker算法[6]、Galdran算法[7]，以及本文算法。其中本文算法采用上文所述的方法自適應(yīng)地決定參數(shù)N的值。圖3是需要增強的名為rock和aquatic的水下圖像。

圖3 原始水下圖像rock和aquatic

由圖3（a）可知，原始圖像的亮度較低，圖像兩側(cè)巖石表面的圖像細節(jié)難以辨識。由圖3（a）可知，原始圖像的顏色飽滿程度較低，圖像整體的色調(diào)較為暗淡，低照度的陰影部分嚴重降低了圖像質(zhì)量。圖4、圖5分別是如圖3所示的原始水下圖像對應(yīng)的圖像增強結(jié)果。

圖4 水下圖像rock的主觀結(jié)果對比

由圖4可知：Chiang算法在一定程度上提升了圖像的照度，但是圖像左右兩側(cè)巖石部分的亮度差異過大，導(dǎo)致人眼無法分辨右側(cè)巖石部分的圖像細節(jié)。Borker算法對應(yīng)的增強圖像整體亮度得到一定提升，但是圖像的清晰度不高，圖像的細節(jié)較為模糊不清；Galdran算法對應(yīng)的增強圖像的對比度優(yōu)于Borker算法，高照度區(qū)域的圖像層次、紋理適于人眼的主觀觀察，但是低照度區(qū)域（例如圖像4（c）右側(cè)巖石部分）的亮度較低主觀視覺效果較差。相比而言，本文算法對應(yīng)的增強圖像的亮度較高，圖像的紋理、細節(jié)較為突出，圖像的整體層次感較好。

從圖像的亮度和對比度的角度上來說，圖5的主觀效果與圖4基本保持一致，即本文算法對應(yīng)的增強圖像的層次感和細節(jié)表現(xiàn)力較強。從圖像的色彩方面來看，本文算法的色彩豐富、逼真，圖像的整體顏色表現(xiàn)力好于另三種算法。

圖5 水下圖像aquatic的主觀結(jié)果對比

表3和表4分別是衡量圖像質(zhì)量的客觀評價指標(biāo)。色階映射圖像質(zhì)量評價系數(shù)（Tone Mapped Image Quality Index，TMQI）[12]是衡量增強圖像的色彩與原始圖像色彩一致性的指標(biāo)。TMQI源于Wang等[13]提出的圖像結(jié)構(gòu)相似度指標(biāo)（Structural Similarity Index Measure，SSIM）。TMQI改進了SSIM只能用于無色圖像這一缺點，將改進后的SSIM值分別用于測量紅、綠、藍三通道的相似程度。TMQI的值越大，則色彩的一致性越好，反之亦然。TMQI-R，TMQI-G，TMQI-B分別代表紅、綠、藍三通道的色彩恒定性評價系數(shù)。

表3 圖像rock的客觀評價指標(biāo)

表4 圖像aquatic的客觀評價指標(biāo)

由表3、表4可知本文算法對應(yīng)的信息熵和三個顏色通道對應(yīng)的TMQI指標(biāo)均高于另外三種對比算法。因此本文算法對應(yīng)的圖像細節(jié)、色彩恒定性優(yōu)于另外三種相關(guān)算法。

4 結(jié)束語

為了提高水下圖像的圖像質(zhì)量，本文提出一種基于同態(tài)濾波的圖像增強與色彩恒定模型。本文在由比爾-朗伯定律和路徑輻射分量建立的水下光線衰減模型的基礎(chǔ)上，通過同態(tài)濾波克服了由具有低頻性質(zhì)的距離分量引起的圖像模糊效果。通過麥克勞林級數(shù)對該模型進行級數(shù)展開，推導(dǎo)出一種水下圖像色彩恒定模型。實驗部分通過主觀對比與客觀評價兩方面，驗證了本文方法能夠有效地提高水下圖像的圖像質(zhì)量，增強圖像的對比度、細節(jié)、色彩都得到了一定程度的提升。

參考文獻：

[1]郭繼昌，李重儀，郭春樂，等.水下圖像增強和復(fù)原方法研究進展[J].中國圖象圖形學(xué)報，2017，22（3）：273-287.

[2]Park D，Han D K，Ko H.Enhancing underwater color images via optical imaging model and non-local means denoising[J].Ieice Transactions on Information&Systems，2017，E100.D（7）：1475-1483.

[3]Tripathi A，Gupta P，Richaria V.Haze removal and color compensation of underwater image and denoising[J].International Journal of Computer Science&Information Technolo，2014.

[4]Chiang J Y，Chen Y C.Underwater image enhancement by wavelength compensation and dehazing[J].IEEE Transactions on Image Processing，2012，21（4）：1756.

[5]楊愛萍，鄭佳，王建，等.基于顏色失真去除與暗通道先驗的水下圖像復(fù)原[J].電子與信息學(xué)報，2015，37（11）：2541-2547.

[6]Borker S，Bonde S.Contrast enhancement and visibility restoration of underwater optical images using fusion[J].International Journal of Intelligent Engineering&Systems，2017，10（4）：217-225.

[7]Galdran A，Alvarez-Gila A，Alvarez-Gila A.Automatic red-channel underwater image restoration[J].Journal of Visual Communication&Image Representation，2015，26（C）：132-145.

[8]Shwartz S，Namer E，Schechner Y Y.Blind haze separation[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006：1984-1991.

[9]Gordon H R.Can the Lambert-Beer law be applied to the diffuse attenuation coefficient of ocean water?[J].Limnology&Oceanography，1989，34（8）：1389-1409.

[10]Stephan T，Beyerer J.Computergraphical model for underwater image simulation and restoration[C]//Computer Vision for Analysis of Underwater Imagery，2014：73-79.

[11]Petit F，Capellelaize A S，Carre P.Underwater image enhancement by attenuation inversionwith quaternions[C]//IEEE International Conference on Acoustics，Speech and Signal Processing，2009：1177-1180.

[12]Yeganeh H，Wang Z.Objective quality assessment of tonemapped images[J].IEEE Transactions on Image Processing，2013，22（2）.

[13]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）：600-612.