楊福豪, 史啟超, 藍方鳴, 彭宗舉

基于色彩衰減補償和Retinex的水下圖像增強

楊福豪, 史啟超, 藍方鳴, 彭宗舉*

（寧波大學 信息科學與工程學院, 浙江 寧波 315211）

針對水下圖像存在的色偏、霧狀模糊、低曝光和非均勻光照問題, 提出一種基于色彩衰減補償和Retinex的水下圖像增強算法. 首先, 為校正水下圖像的色偏, 利用水體對不同波長光線衰減不一致的特性自適應地補償其R、G、B通道. 然后, 使用基于多尺度導向濾波的Retinex去除霧狀模糊, 增強對比度. 最后, 根據水下圖像和自然圖像的直方圖分布特征對其進行歸一化處理, 從而在保存圖像主要信息的前提下增強其紋理和曝光. 實驗結果表明, 該算法不但具有較優(yōu)的視覺感知效果, 而且具有較高的圖像質量評價分數. 該算法具有較強的適應性, 有助于計算機視覺算法在水下的應用.

水下圖像增強; 色彩補償; 導向濾波; 對比度

水下圖像在海洋礦產資源開發(fā)、海洋生物研究、海底管道檢測、海洋軍事應用等方面起著重要作用. 然而, 光照條件、拍攝深度、雜質類型、水體渾濁度等因素致使水下成像環(huán)境復雜多樣. 此外, 水體對光線具有吸收和散射的物理衰減特性[1]. 因此, 水下圖像具有不同程度的色彩偏差、霧狀模糊、低曝光、非均勻光照等退化現象, 導致圖像的對比度、能見度和清晰度下降, 嚴重影響其視覺感知效果及進一步的視覺應用. 所以, 提高水下圖像質量的研究具有重要意義.

當前, 水下圖像清晰化技術研究主要從基于硬件[2-3]和基于算法[4-13]兩個方面展開. 其中, Amer等[2]使用低通偏振濾波器來去除水下成像中因后向散射造成的模糊. 呂文磊等[3]使用距離選通水下激光成像系統(tǒng)只接收來自物體反射的光線, 從而消除散射對成像的影響. 而基于算法的水下圖像清晰化處理可進一步分為水下圖像增強[4-6]、水下圖像復原[7-10]以及基于深度學習的方法[11-13]. 黃冬梅等[4]依據水下圖像的特點, 提出在兩種顏色模型下進行自適應直方圖拉伸的水下圖像增強方法, 具有較好的增強效果. Zhang等[5]提出基于色彩校正和光照調整的水下圖像增強模型, 利用Retinex對色彩校正后的圖像亮度通道進行光照調整, 從而恢復水下真實場景. Ghani等[6]提出了集成同態(tài)濾波、基于重疊遞歸的限制對比度自適應直方圖規(guī)定化和雙圖像小波融合的深水圖像增強方法. 由于水下圖像與霧天圖像類似, 因此有學者提出基于改進暗通道的水下圖像復原方法. Drews等[7]提出只針對藍綠通道的水下暗通道先驗方法, 取得比直接應用暗通道更好的增強效果. 王鑫等[8]利用稀疏表示對水下圖像的暗通道進行優(yōu)化, 融合暗通道先驗和稀疏表示理論, 提高了水下圖像復原質量. Yang等[9]建立了基于暗通道分解和局部散射光估計的水下圖像復原模型, 并將近海環(huán)境中光線衰減系數的統(tǒng)計先驗引入模型中, 進而提出復原近海水下圖像的方法. Li等[10]提出一種分別對藍綠通道去霧和對紅通道色彩校正的方法, 其思想分別來自暗通道和灰度世界理論, 并利用自適應曝光解決非均勻光照問題. Lu等[11]通過實驗得到在CycleGAN (Cycle-consistent Generative Adversarial Networks)網絡中采用不同尺度的損失函數會增強不同的景深區(qū)域. 因此, 其將多尺度損失函數引入融合了暗通道先驗的CycleGAN網絡中, 在校正色偏的同時增強圖像的對比度. Chen等[12]提出基于生成對抗網絡的方法用于實時自適應地復原水下圖像, 并被應用于水下物體抓取中. Cheng等[13]改進了應用于超分辨率的生成對抗網絡, 并利用其對色彩校正后的圖像去除模糊. 以上算法雖然提高了水下圖像的質量, 但仍存在以下問題: (1)校正色偏時沒有考慮水下成像中色彩通道衰減不一致的問題, 處理后的圖像存在色彩失真現象; (2)去除霧狀模糊的效果不夠理想, 圖像的紋理細節(jié)不夠豐富; (3)低曝光和非均勻光照問題沒有得到有效解決.

針對以上問題, 本文提出了一種基于色彩衰減補償和Retinex的水下圖像增強算法, 主要包括: (1)針對水下成像中色彩通道衰減不一致的物理特性, 引入通道衰減補償系數, 消除因通道衰減差異而造成的色彩失真; (2)利用Retinex對水下圖像進行分解, 從而去除霧狀模糊, 還原被隱藏的邊緣細節(jié); (3)基于水下圖像的直方圖分布特征對去模糊后的圖像進行歸一化處理, 在增強細節(jié)的同時提高亮度.

1 基于色彩衰減補償和Retinex的水下圖像增強

針對水下圖像存在的色偏、霧狀模糊、低曝光、非均勻光照等退化問題, 本文提出一種基于色彩衰減補償和Retinex的水下圖像增強算法, 包括色彩校正和清晰度提高兩部分, 算法流程如圖1所示. 在色彩校正中, 由輸入圖像的色偏來確定R、G、B三通道的衰減補償系數, 并依此自適應地進行通道衰減補償以達到色彩校正的目的. 在清晰度提高方面, 首先, 對色彩校正后圖像的紅通道進行中值濾波, 但此步驟只針對偏藍的輸入圖像. 由于偏藍圖像的紅通道受到嚴重的衰減, 所以上述處理去除了噪聲對增強算法的影響. 然后, 在Retinex理論下, 利用具有邊緣保持特性的導向濾波估計其光照圖像, 并得到其對應的反射圖像. 在多尺度條件下, 對多幅反射圖像進行加權平均得到其最終的反射圖像, 從而恢復出更多被模糊隱藏的紋理. 最后, 依據水下圖像的直方圖分布特征對反射圖像進行歸一化處理, 使輸出圖像具有更高的對比度和亮度.

1.1 水下圖像色彩校正

由于水體對不同波長的光線具有不同的吸收率, 光線隨著傳播距離的增加被衰減為偏色光. 所以, 水下圖像中存在綠、黃、藍等色調的偏色現象. 偏色的水下圖像既影響人們的視覺感知, 又對水下物體真實色彩信息的提取造成干擾. 因此, 本文首先對水下圖像進行色彩校正.

在灰度世界假說中, 對于色彩豐富的無色偏圖像, 其R、G、B三通道均值相近. 然而, 水下圖像各通道的均值因介質對光線衰減的不同而存在較大差異, 且圖像整體色調偏向均值最大通道的顏色. Zhang等[5]提出的色彩校正方法在灰度世界假說上, 分別利用各通道的均值和標準差確定其通道對應的新動態(tài)范圍, 并將之拉伸到全動態(tài)范圍, 從而使色彩校正后圖像的三通道具有相近的均值, 即:

,(1)

1.2 水下圖像清晰度提高

水下圖像經上述處理后, 雖然其色彩感知質量得到提高, 但仍存在霧狀模糊和低曝光的問題. 因此, 提出基于多尺度導向濾波的Retinex去除模糊以及增強曝光的歸一化后處理方法, 從而提高圖像的清晰度.

1.2.1基于多尺度導向濾波的Retinex去模糊

水下圖像因水體對光線的吸收衰減而存在一定程度的低曝光現象. 在分解光照圖像與反射圖像時, 對上式取對數, 既可將復雜的乘法轉化為減法, 同時也可對圖像的低值區(qū)域進行擴展拉伸, 進而對低曝光現象進行補償, 即:

由于同一像素被包含在不同的局部窗口內, 所以對包含此像素的窗口線性系數取均值即可得到該像素的線性變換系數. 當導向圖像與待濾波圖像一致時, 此時導向濾波器能夠在平滑圖像平坦區(qū)域的同時較好地保持圖像的邊緣細節(jié).

在利用導向濾波進行平滑處理時, 大尺度下得到的光照圖像含有物體的輪廓邊緣, 而小尺度下得到的光照圖像則含有豐富的細節(jié)紋理. 因此, 本文選取不同尺度的導向濾波來估計光照圖像, 并對各光照圖像對應的反射圖像加權平均作為最終的反射圖像, 可在平滑與保持邊緣之間達到合理的平衡, 即:

1.2.2基于直方圖分布特征的歸一化

由于反射圖像會在平坦區(qū)域出現負值, 所以需要對其進行歸一化處理. 對數變換不但可拉伸圖像的低值區(qū)域, 而且符合人眼的感知特性. 所以, 本文在對數域進行歸一化處理. 若采用反射圖像各通道最大最小值為目標歸一化范圍, 則輸出圖像的亮度較弱, 紋理細節(jié)不夠突出. 本文對大量水下圖像和具有良好視覺感知的自然場景圖像進行分析, 得到其直方圖分布特征. 如圖2所示, 水下圖像的三通道分布因衰減呈現明顯差異且集中于某一動態(tài)區(qū)間, 而自然圖像的三通道分布相似且遍及整個動態(tài)范圍. 為增強水下圖像的紋理細節(jié)和曝光, 提高其視覺感知效果, 依據上述自然圖像的直方圖分布特征對反射圖像進行歸一化處理.

圖2 圖像及其直方圖

2 實驗結果與分析

為驗證本文算法的性能, 選取多種算法在水下退化圖像數據集上進行對比實驗, 并從主觀視覺效果和客觀評價指標兩方面對實驗結果進行分析. 本文實驗平臺: Inter(R)-Core(TM) i5-8300H@ 2.30GHz, 8G RAM, MATLAB R2017b.

2.1 數據集和參數設置

復雜的水下成像環(huán)境導致水下圖像退化呈現多樣性, 本文收集了100張水下圖像組成數據集以驗證算法的魯棒性. 數據集除含有各種色偏外, 還同時具有霧狀模糊、低曝光、非均勻光照等典型退化現象, 能夠較全面地反映水下圖像的退化現象.

2.2 主觀視覺效果分析

水下圖像存在的主要問題是色偏和低清晰度, 本文算法分兩步來校正色偏和提高清晰度. 因此, 對實驗結果的主觀視覺效果分析也從以上兩個角度進行.

2.2.1色彩校正結果分析

選擇Gray-World[18]、Gray-Edge[19]和Zhang[5]的色彩校正方法作為對比算法, 在多種典型的水下偏色圖像上驗證算法的魯棒性, 結果如圖3所示.

圖3 色彩校正結果

由于只分析校正色偏的效果, 所以只對各算法的色彩保真度進行分析. 首先, 可以看出Gray- Edge算法對水下圖像沒有校正色偏的效果. 其次, 經Gray-World算法校正后的多幅圖像皆存在嚴重的紅色偏色現象, 尤其在偏藍圖像的水體部分出現大面積的紅色區(qū)域. 而Zhang的算法雖在色彩和對比度方面都有不錯的提高, 但其被校正圖像內也存在紅色分量被過度增強的現象, 與人眼的色彩恒常感知存在差異. 雖然本文算法在整體效果上與Zhang算法存在差距, 但其結果在色彩保真度方面更符合人眼的色彩恒常感知, 與物體的真實色彩更加相近, 且算法的魯棒性更強. 通過比較色彩校正結果, 可以說明引入色彩衰減補償思想的正確性. 此外, 本文算法結果中的霧狀模糊和低曝光對色彩感知的準確性亦造成一定的影響, 故需去除模糊和增強曝光.

2.2.2整體增強結果分析

由于本文色彩校正結果在清晰度上仍存在不足, 所以提出去模糊和增強曝光的算法提高其清晰度和能見度. 為比較算法的整體性能, 選取了圖像增強算法MSR (Multi-Scale Retinex)[15]、去霧算法CAP (Color Attenuation Prior)[20]、水下圖像復原算法UDCP (Underwater Dark Channel Prior)[7]和Zhang[5]的水下圖像增強算法作為對比算法. 在多幅具有典型退化現象的水下圖像上測試上述算法的增強效果, 實驗結果如圖4所示.

通過對比多種算法的視覺效果可以發(fā)現, MSR算法的結果不僅在色彩還原上存在明顯的失真現象, 而且圖像中依然存在白色霧狀模糊, 降低了圖像的對比度和清晰度. 而去霧算法CAP的結果在整體感知上幾乎和原始圖像保持一致, 除去色彩偏差沒有得到校正, 圖像中的霧狀模糊也沒有得到有效去除. 雖然水下成像環(huán)境類似霧天成像環(huán)境, 但去霧算法CAP應用到水下退化圖像上的效果卻不盡如人意, 更加復雜的水下成像環(huán)境使水下圖像質量提高更具挑戰(zhàn)性. 對于UDCP算法的結果, 綜合多張圖像可以看出其算法雖然增強了圖像的對比度, 使圖像的清晰度得到一定的提高, 但其在色彩還原上卻存在明顯不足, 圖像仍然存在較為明顯的色彩偏差. 在UDCP和Zhang的結果對比中, 首先, 可以看出UDCP的結果具有更高的清晰度, Zhang的結果中存在可感知的霧狀模糊. 但是, UDCP結果中的暗區(qū)域卻被加強, 細節(jié)被損失. 其次, 在色彩偏差校正上, Zhang算法具有更好的校正效果, 但其結果中紅色被過度增強的現象依然存在, 與物體的真實色彩仍有一定偏差.

對于本文算法的增強結果, 首先, 在整體上可以感受到其具有最高的清晰度和能見度. 其次, 圖像中物體的色彩更加真實、自然, 更符合人眼的色彩恒常特性. 在色彩偏差校正、模糊去除、低曝光增強和非均勻光照改善等方面, 選取的局部放大圖像可以直觀地反映出本文算法的優(yōu)異效果. 在圖5的第1幅圖中, 本文算法對珊瑚和石頭的色彩還原更加真實, 物體外觀更加自然. 在第2幅圖中, 本文算法去除霧狀模糊的效果更加優(yōu)異, 圖像的清晰度和能見度更高. 在第3幅圖中, 本文算法增強了圖像中的暗區(qū)域, 細節(jié)紋理更加豐富, 不均光照現象得到改善.

2.3 客觀質量分析

為準確衡量增強圖像的客觀質量, 本文除采用針對水下圖像的無參考質量評價方法UCIQE (Underwater Color Image Quality Evaluation)[21]和UIQM (Underwater Image Quality Measure)[22]外, 還采用了衡量對比度變化的PCQI (Patch-based Contrast Quality Index)[23]和信息熵(Entropy)作為水下圖像質量評價指標. 針對水下圖像具有色偏、模糊、低對比度等特點, UCIQE從色度、飽和度和對比度方面對水下圖像進行質量評價, 而UIQM則依據色彩、清晰度和對比度對水下圖像進行評價. 為驗證算法的魯棒性, 在收集的100張水下退化圖像上進行對比實驗, 并使用上述的客觀評價指標對各算法結果進行評測. 各算法增強結果在不同評價指標上的均值見表1.

圖4 不同算法增強效果

圖5 局部放大圖

表1 不同算法的客觀質量評價指標均值

注: 加粗的數字表示在對應評價指標中的最好結果.

由表1可知, 本文算法在各質量評價指標上均表現優(yōu)異, 表明本文算法對水下退化圖像的增強效果顯著, 即對水下退化圖像的色彩校正、模糊去除、清晰度和能見度提高有良好的效果.

3 結論

針對水下圖像存在的偏色、模糊、低曝光和非均勻光照問題, 本文提出一種基于色彩衰減補償和Retinex的水下圖像增強算法. 該算法對多種水下偏色圖像均有較好的校正效果, 且增強后的圖像具有較高的清晰度和能見度, 更加接近自然場景下的圖像. 同時, 對水下圖像的非均勻光照和低曝光問題也有較好的處理效果, 增強后的圖像具有更多暗區(qū)域的紋理細節(jié)和更高的亮度. 實驗結果表明, 與對比算法相比, 本文算法能夠有效增強水下退化圖像, 使其主觀視覺效果和客觀質量分數得以提高. 由于水下圖像的退化呈現多樣性, 而深度學習網絡能夠發(fā)揮大數據量的優(yōu)勢. 目前, 深度學習在圖像處理中得到了廣泛的應用. 因此, 基于深度學習的方法將有助于進一步增強水下圖像的質量.

[1] Wang Y, Song W, Fortino G, et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging[J]. IEEE Access, 2019, 7:140233-140251.

[2] Amer K O, Elbouz M, Alfalou A, et al. Enhancing under- water optical imaging by using a low-pass polarization filter[J]. Optics Express, 2019, 27(2):621-643.

[3] 呂文磊, 張旭, 劉可. 一種距離選通水下激光成像系統(tǒng)設計與實驗研究[J]. 兵器裝備工程學報, 2019, 40(8): 198-202.

[4] 黃冬梅, 王龑, 宋巍, 等. 不同顏色模型下自適應直方圖拉伸的水下圖像增強[J]. 中國圖象圖形學報, 2018, 23(5):640-651.

[5] Zhang W, Li G, Ying Z. A new underwater image enhancing method via color correction and illumination adjustment[C]. 2017 IEEE Visual Communications and Image Processing, 2017:1-4.

[6] Ghani A S A. Image contrast enhancement using an integration of recursive-overlapped contrast limited adaptive histogram specification and dual-image wavelet fusion for the high visibility of deep underwater image[J]. Ocean Engineering, 2018, 162:224-238.

[7] Drews P L J, Nascimento E R, Botelho S S C, et al. Underwater depth estimation and image restoration based on single images[J]. IEEE computer graphics and applications, 2016, 36(2):24-35.

[8] 王鑫, 朱行成, 寧晨, 等. 融合暗原色先驗和稀疏表示的水下圖像復原[J]. 電子與信息學報, 2018, 40(2):264- 271.

[9] Yang M, Sowmya A, Wei Z Q, et al. Offshore underwater image restoration using reflection-decomposition-based transmission map estimation[J/OL]. IEEE Journal of Oceanic Engineering [2019-03-17]. https://ieeexplore. ieee.org/document/8605308.

[10] Li C, Quo J, Pang Y, et al. Single underwater image restoration by blue-green channels dehazing and red channel correction[C]. IEEE International Conference on Acoustics, 2016.

[11] Lu J, Li N, Zhang S, et al. Multi-scale adversarial network for underwater image restoration[J]. Optics & Laser Technology, 2019, 110:105-113.

[12] Chen X, Yu J, Kong S, et al. Towards real-time advancement of underwater visual quality with GAN[J]. IEEE Transactions on Industrial Electronics, 2019, 66(12): 9350-9359.

[13] Cheng N, Zhao T, Chen Z, et al. Enhancement of underwater images by super-resolution generative adversarial networks[C]. Proceedings of the 10th International Conference on Internet Multimedia Computing and Service, ACM, 2018:22.

[14] Land E H. The Retinex theory of color vision[J]. Scientific American, 1977, 237(6):108-129.

[15] Rahman Z U, Woodell G A. Multi-scale Retinex for color image enhancement[C]. International Conference on Image Processing, IEEE, 2002.

[16] He K, Sun J, Tang X. Guided image filtering[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 35(6):1397-1409.

[17] Eustice R, Pizarro O, Singh H, et al. UWIT: Underwater image toolbox for optical image processing and mosaicking in MATLAB[C]. Proceedings of the 2002 International Symposium on Underwater Technology, IEEE, 2002:141-145.

[18] Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin institute, 1980, 310(1):1-26.

[19] van de Weijer J, Gevers T, Gijsenij A. Edge-based color constancy[J]. IEEE Transactions on image processing, 2007, 16(9):2207-2214.

[20] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE transactions on image processing, 2015, 24(11):3522-3533.

[21] Yang M, Sowmya A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12):6062-6071.

[22] Panetta K, Gao C, Agaian S. Human-visual-system- inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2015, 41(3):541-551.

[23] Wang S, Ma K, Yeganeh H, et al. A patch-structure representation method for quality assessment of contrast changed images[J]. IEEE Signal Processing Letters, 2015, 22(12):2387-2390.

Underwater image enhancement based on color attenuation compensation and Retinex

YANG Fuhao, SHI Qichao, LAN Fangming, PENG Zongju*

( Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China )

To tackle the problems of color cast, foggy blur, low exposure and non-uniform illumination in underwater images, an underwater image enhancement algorithm is proposed based on attenuation compensation of color and the theory of Retinex. Firstly, in order to correct the color cast in underwater images, the red, green, and blue channel are adaptively compensated, which is achieved by using the different wavelengths of light attenuated accordingly. Then, the Retinex based on multi-scale guided filtering is used to remove foggy blur and improve contrast. Finally, the deblurred underwater image is normalized according to histogram distribution of the underwater image and the natural image, which enhances its texture and exposure on the premise of retaining the main information of images. The experimental results show that the proposed algorithm not only offers the best visual perception, but also achieves the highest score of image quality evaluation. The proposed algorithm features high adaptability, and may provide references for research in underwater target identification.

underwater image enhancement; color compensation; guided filtering; contrast

TP391

A

1001-5132（2020）01-0058-07

2019?07?06.

寧波大學學報（理工版）網址: http://journallg.nbu.edu.cn/

國家自然科學基金（61771269）; 浙江省自然科學基金（LY17F010005）.

楊福豪（1992－）, 男, 河南汝南人, 在讀碩士研究生, 主要研究方向: 水下圖像處理. E-mail: 306733695@qq.com

彭宗舉（1973－）, 男, 四川南部人, 教授, 主要研究方向: 視頻與圖像信號處理. E-mail: pengzongju@nbu.edu.cn

（責任編輯 韓 超）