楊 淼，王海文，胡 珂，殷 歌，胡金通

一種基于色彩補償?shù)乃聢D像綜合增強算法

楊 淼1,2，王海文1，胡 珂1，殷 歌1，胡金通1

(1. 江蘇海洋大學電子工程學院，江蘇 連云港 222005； 2. 青島海洋科學與技術試點國家實驗室，山東 青島 266237)

針對退化的水下圖像在高級視覺分析任務中無法進行有效的目標檢測及識別的問題，提出了一種通過色彩補償和對比度拉伸，HSV空間校正和亮度通道去模糊系列方法實現(xiàn)了對水下圖像的色彩校正、色彩對比度、飽和度和細節(jié)清晰度的綜合提高。其中，提出了基于高斯濾波的亮度通道去散射方法，并對典型水體水下圖像綜合增強參數(shù)進行了分析。實驗對比了綜合增強方法和其他增強方法對偏藍、偏綠、偏黃、白色近岸淺灘水下圖像的處理結(jié)果并通過目標檢測網(wǎng)絡對7種算法增強后的水下圖像數(shù)據(jù)集進行訓練與測試，對比了平均水下目標識別準確率和檢測到的目標數(shù)量與實際目標數(shù)量的比值來評估各個增強算法對于水下目標識別和檢測任務中的作用。實驗表明，與現(xiàn)有方法相比，該算法不僅可以有效地實現(xiàn)各類水下圖像清晰度和色彩增強，適用范圍廣，而且可以有效地提高水下圖像目標識別任務的準確率和檢測數(shù)量。

水下圖像增強；高斯濾波；亮度通道去散射；目標檢測；水下圖像質(zhì)量評價

水下視覺是海洋探測、海洋生物調(diào)查、水下工程監(jiān)測中重要的科學研究依據(jù)[1-5]。近年來國內(nèi)外學者在基于Retinex模型[6]、暗通道先驗[7-12]、暗通道與色彩校正相結(jié)合[13]、色彩平衡和補償衰減[14]、圖像融合[15]等方面提出了很多水下圖像復原、增強方法。這些傳統(tǒng)方法無法綜合地解決由多種退化混合疊加造成水下圖像質(zhì)量退化，且適應水下環(huán)境變化的能力較差。隨著人工智能技術的發(fā)展，基于深度學習的水下圖像增強算法逐漸成為了研究熱點，如YU等[16]基于生成式對抗網(wǎng)絡的水下圖像復原網(wǎng)絡，模擬水下成像模型獲得一個水下圖像數(shù)據(jù)集；PENG和COSMAN[17]提出了基于深度學習的水下圖像增強網(wǎng)絡，從訓練集中學習退化及恢復的水下圖像之間的特征映射關系，從而實現(xiàn)對測試集中退化的水下圖像進行增強；LI等[18]提出了基于水下場景先驗知識和卷積神經(jīng)網(wǎng)絡的水下圖像增強網(wǎng)絡，無需估計水下成像模型的參數(shù)，可直接生成清晰的水下圖像；YANG等[19]基于條件生成式對抗網(wǎng)絡的水下圖像增強方法，用多尺度生成器實現(xiàn)水下圖像增強。

本文提出了一種可用于水下目標檢測預處理的水下圖像綜合增強方法(underwater image competive enhancement method，UICEM)。處理流程如圖1所示。通過對近岸水下圖像衰減的分析，在補償紅通道衰減的基礎上，進行色偏校正、HSV ((色調(diào))Hue，(飽和度) Saturation，(亮度)Value)顏色空間校正和亮度通道去模糊處理來分別達到衰減補償、提高對比度和清晰度的目的。另外，基于水下圖像光亮度分布的局部尺度特征，提出了一種用于亮度空間的單通道去模糊方法。通過對多種類型水下圖像的主觀和目標檢測實驗證明，本文算法在視覺效果和增強后的評估指標上均明顯優(yōu)于現(xiàn)有的水下圖像復原、增強算法。

圖1 水下圖像綜合增強方法流程圖

1 水下圖像綜合增強算法

根據(jù)Jaffe-McGlamery水下成像模型，退化的水下圖像可描述為

1.1 水下圖像紅通道色彩補償

1.2 色彩校正

1.3 HSV均衡和去模糊

1.3.1 HSV均衡

γ校正曲線如圖2所示，對歸一化后灰度圖像，當α3k<1時，低灰度值動態(tài)范圍變大，高灰度值動態(tài)范圍變小，圖像整體的灰度值變大。相反，當α3k>1時，低灰度值動態(tài)范圍變小，高灰度值動態(tài)范圍變大。因此對于存在低對比度的水下圖像，選取大于1的α3k值，可提高目標對比度。

1.3.2 亮度去模糊

1.4 參數(shù)估計

2 實 驗

本節(jié)對比了UICEM和其他增強方法對偏藍、偏綠、偏黃、白色近岸淺灘水下圖像的處理結(jié)果。選取的比較方法主要包括：文獻[7]、[10]、[13]、[6]和文獻[15]提出的方法。還將本文方法與基于深度學習的UWCNN (underwater image enhancement convolutional neural network)方法[18]進行了單獨比較。在實驗中，暗通道和高斯濾波器的濾波窗口大小為15×15，1=1.0，2=2.3，3H=2.9，3S=2.3，3V=2.3，其他用于對比的各種方法中的參數(shù)均參照原文設置。

2.1 4類水下圖像增強結(jié)果對比

實驗結(jié)果如圖3和圖4?？梢钥闯?，文獻[13]、文獻[6]和文獻[15]提出的方法對4類水下圖像都取得了一定程度的色彩復原，但無法同時取得比較好的增強效果。文獻[7]的紅通道法對偏藍水下圖像色彩復原效果不佳，對存在黃色目標的水下圖像，由于補償紅色而使得復原后圖像中的黃色目標偏綠，如圖3(b)中第1幅圖片。文獻[13]方法存在暗區(qū)域模糊和色彩偽影問題；文獻[10]和文獻[13]增強后的圖像暗區(qū)域的對比度均較低；文獻[6]方法輸出圖像存在邊緣模糊的問題。而本文方法對4類水下圖像均取得了色彩和對比度的提高，且圖像細節(jié)的清晰度也得到了增強。本文從UIEBD (an underwater image enhancement benchmark dataset and beyond)數(shù)據(jù)集[21]中選取了偏色和低對比度的水下圖像用UWCNN方法[18]和本文方法分別進行增強。實驗結(jié)果如圖4所示，可以看出，對偏色水下圖像進行增強時，本文方法可以更有效地校正偏色，并保留圖片細節(jié)；對低對比度水下圖像進行增強時，本文方法能夠更顯著地提高對比度，且未導致偏色。

圖3 4類水下圖像處理結(jié)果對比((a)原始圖像；(b)文獻[7]；(c)文獻[10]；(d)文獻[13]；(e)文獻[6]；(f)文獻[15]；(g)本文UICEM)

圖4 本文UICEM與UWCNN[18]處理結(jié)果對比((a)偏色水下圖像；(b)UWCNN[18]處理結(jié)果；(c)UICEM處理結(jié)果；(d)低對比度水下圖像；(e)UWCNN[18]處理結(jié)果；(f)UICEM處理結(jié)果)

2.2 目標檢測對比

水下圖像增強的目的不僅是為了主觀視覺質(zhì)量的改進，更主要的是為了能夠完成更高級別的視覺分析任務(例如目標識別和檢測)。本文通過目標檢測網(wǎng)絡模型對經(jīng)過7種算法增強后的水下圖像數(shù)據(jù)集進行訓練與測試，對比了平均水下目標識別準確率(mean average precision, mAP)和檢測到目標數(shù)量與實際的目標數(shù)量的比值(Num)來評估各個增強算法對于水下目標識別和檢測任務中的作用。實驗的圖像數(shù)據(jù)來自于RUIE (real-world underwater image enhancement)[22]近海水下圖像數(shù)據(jù)集，該數(shù)據(jù)集提供3類海洋生物，即扇貝、海膽和海參的邊界框和標簽。由于這3種海洋生物的外觀和周圍環(huán)境十分相似，因此對該數(shù)據(jù)集進行目標檢測及識別均具有一定的挑戰(zhàn)性。本文從該數(shù)據(jù)集中選取2 400張標記過的水下圖像作為實驗圖像，圖像歸一化大小為300×400。其中2 000張圖像作為訓練集，400張圖像為測試集。用各種方法增強后的RUIE數(shù)據(jù)集重新訓練目標檢測網(wǎng)絡YOLO-V3[23]并對3種目標進行檢測，結(jié)果如圖5和表1所示。3類目標的識別準確率和檢測率如圖6所示。在圖像未經(jīng)過增強處理前，mAP和Num分別為0.323和0.347。

圖5 部分測試集中水下圖像增強后的目標檢測結(jié)果((a)水下圖像原圖；(b)文獻[11]；(c)文獻[8]；(d)文獻[7]；(e)文獻[6]；(f)文獻[13]；(g)文獻[10]；(h)本文UICEM算法)

表1 目標識別準確率(mAP)及檢測率對比(Num)(%)

圖6 目標識別準確率及檢測數(shù)量比((a)目標識別準確率；(b)檢測數(shù)量比)

從表1可以看出，大多數(shù)增強方法由于改善了水下圖像存在的退化，提高了清晰度和對比度，mAP和Num相較于未增強的圖像均有相應的提高，因此說明了水下圖像增強在高級視覺任務中作為預處理的必要性。圖像對比度的提高對于目標檢測任務具有重要的影響，因此，文獻[6]的方法和本文方法的mAP和Num均高于其他增強方法。而本文的UICEM改善了由于后向散射等造成的模糊，提高了目標清晰度，獲得了最高的93.3%的目標檢測率和85.24%的目標識別準確率。由圖6可以看出，對其他增強方法輸出的圖像進行檢測時，對海參這種與海底環(huán)境較為相似的目標的識別率相對于其他2種目標較低。而本文方法增強后的水下圖像進行識別時，對3類目標均有相近的識別正確率。

3 結(jié) 論

本文提出的UICEM方法旨在通過提高水下圖像質(zhì)量有效地實現(xiàn)對水下彩色圖像進行目標檢測和識別。本文基于色彩補償、色偏校正和HSV空間的對比度提高和去模糊，結(jié)合水下圖像分類參數(shù)分析，實現(xiàn)了對4類水下圖像的有效增強。與其他方法相比，本文UICEM所產(chǎn)生的結(jié)果具有更好的色調(diào)復原及清晰度提高效果，適用于各種水下環(huán)境拍攝的圖像，采用本文方法進行水下圖像預處理，可有效提高高層次水下視覺任務性能。

[1] LI Y J, LU H M, ZHANG L F, et al. Real-time visualization system for deep-sea surveying[J]. Mathematical Problems in Engineering, 2014(1): 1-10.

[2] SPAMPINATO C, PALAZZO S, BOOM B, et al. Understanding fish behavior during typhoon events in real-life underwater environments[J]. Multimedia Tools and Applications, 2014, 70(1): 199-236.

[3] HUANG P X, BOOM B J, FISHER R B. Fish4 knowledge deliverable D1.3 fish recognition and clustering[EB/OL]. (2012-11-01) [2020-07-10]. http://homepages.inf.ed.ac.uk/rbf/Fish4Knowledge/DELIVERABLES/Del13.pdf.

[4] YANG M, HU J T, LI C Y, et al. An in-depth survey of underwater image enhancement and restoration[J]. IEEE Access, 2019, 7: 123638-123657.

[5] YANG M, SOWMYA A, WEI Z Q, et al. Offshore underwater image restoration using reflection- decomposition-based transmission map estimation[J]. IEEE Journal of Oceanic Engineering, 2020, 45(2): 521-533.

[6] FU X Y, ZHUANG P X, HUANG Y, et al. A retinex- based enhancing approach for single underwater image[C]//2014 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2014: 4572-4576.

[7] GALDRAN A, PARDO D, PICóN A, et al. Automatic red-channel underwater image restoration[J]. Journal of Visual Communication and Image Representation, 2015, 26: 132-145.

[8] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[9] YANG M, YIN B, WEI Z Q, et al. Effective estimation of background light in underwater image dehazing[J]. OSA Continuum, 2019, 2(3): 767-785.

[10] PENG Y T, COSMAN P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[11] CARLEVARIS-BIANCO N, MOHAN A, EUSTICE R M. Initial results in underwater single image dehazing[C]//IEEEOceans 2010. New York: IEEE Press, 2010: 1-8.

[12] EMBERTON S, CHITTKA L, CAVALLARO A. Hierarchical rank-based veiling light estimation for underwater dehazing[C]//2015 British Machine Vision Conference. Durham: British Machine Vision Association Press, 2015: 125.1-125.12.

[13] LI C Y, GUO J C, GUO C L, et al. A hybrid method for underwater image correction[J]. Pattern Recognition Letters, 2017, 94: 62-67.

[14] 楊淼, 紀志成. 基于模糊形態(tài)篩和四元數(shù)的水下彩色圖像增強[J]. 儀器儀表學報, 2012, 33(7): 1601-1605. YANG M, JI Z C. Underwater color image enhancement based on quaternion and fuzzy morphological sieves[J]. Chinese Journal of Scientific Instrument, 2012, 33(7): 1601-1605 (in Chinese).

[15] ANCUTI C O, ANCUTI C. Single image dehazing by multi-scale fusion[J]. IEEE Transactions on Image Processing, 2013, 22(8): 3271-3282.

[16] YU X L, QU Y Y, HONG M. Underwater-GAN: underwater image restoration via conditional generative adversarial network[C]//2018 International Conference on Pattern Recognition. Cham: Springer International Publishing, 2018: 66-75.

[17] PENG Y T, COSMAN P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[18] LI C Y, ANWAR S, PORIKLI F. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition, 2020, 98: 107038.

[19] YANG M, HU K, DU Y X, et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing: Image Communication, 2020, 81: 115723.

[20] HOU M J, LIU R S, FAN X, et al. Joint residual learning for underwater image enhancement[C]//The 25th IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2018: 4043-4047.

[21] LI C Y, GUO C L, REN W Q, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376-4389.

[22] LIU R, FAN X, ZHU M, et al. Real-world underwater enhancement: challenges, benchmarks, and solutions[EB/OL]. [2020-07-10]. https://arxiv.org/abs/1901.05320.

[23] REDMON J, FARHADI A. Yolov3: an incremental improvement[EB/OL]. [2020-07-10]. https://arxiv.org/abs/1804.02767.

An underwater image comprehensive enhancement algorithm based on color compensation

YANG Miao1,2, WANG Hai-wen1, HU Ke1, YIN Ge1, HU Jin-tong1

(1. School of Electronic Engineering, Jiangsu Ocean University, Lianyungang Jiangsu 222005, China; 2. Pilot Qingdao National Laboratory for Marine Science and Technology, Qingdao Shandong 266237, China)

A novel underwater image compositive enhancement method was proposed to improve the quality of underwater images, thereby synthetically boosting the performance of high-level visual analysis. A series of operations, including color compensation and correction, gamma correction in the HSV space, and final brightness de-blurring, were combined to realize color restoration, contrast and clarity improvements for underwater images. A method of brightness channel de-scattering based on Gauss filtering was proposed, and the comprehensive enhancement parameters of typical underwater images were analyzed. The experiments in this paper compared the processing results of the compositive enhancement method and other enhancement methods for the bluish, greenish, yellowish, and whitish nearshore shoal underwater images, and trained and tested the underwater image data sets enhanced by seven algorithms through the target detection network. Comparisons were also made between the average underwater target recognition accuracy rate and the ratio of the number of detected targets to the actual target number, so as to evaluate the effect of each enhancement algorithm on underwater target recognition and detection tasks. The experiment results demonstrate that the proposed method can achieve substantial image clarity improvement and color restoration, and is widely applicable, compared with the existing methods. At the same time, it can effectively improve the accuracy of underwater target recognition and the number of the detected objects.

underwater image enhancement; Gauss filtering; brightness channel de-scattering; object detection; underwater image quality evaluation

TP 391

10.11996/JG.j.2095-302X.2021010059

A

2095-302X(2021)01-0059-06

2020-07-17；

17 July，2020；

2020-08-13

13 August，2020

江蘇省基礎研究計劃(自然科學基金) (BK20191469)；江蘇科技大學海洋裝備研究院高技術協(xié)同創(chuàng)新項目(HZ20190005)；江蘇省研究生科研創(chuàng)新項目(KYCX19_2314，KYCX20_2768，KYCX20_2769)；國家自然科學基金青年項目(61601194)

：Jiangsu Basic Research Program (Natural Science Fund) (BK20191469); High-Tech Collaborative Innovation Project of Marine Equipment Research Institute of Jiangsu University of Science and Technology (HZ20190005); Jiangsu Province Graduate Research and Innovation Project (KYCX19_2314, KYCX20_2768, KYCX20_2769); National Natural Science Foundation Youth Project (61601194)

楊 淼(1978-)，女，黑龍江五常人，教授，博士，碩士生導師。主要研究方向為水下視覺、圖像處理、計算機視覺。 E-mail：lemonmiao@gmail.com

YANG Miao (1978-), female, professor, Ph.D. Her main research interests cover underwater vision, image processing and computer vision. E-mail：lemonmiao@gmail.com