邱啟蒙，張亞加，高智強，邵建龍

〈圖像處理與仿真〉

基于顏色校正的水下照明圖像融合方法

邱啟蒙1，張亞加2，高智強3，邵建龍3

（1. 武警貴州省總隊醫(yī)院，貴州 貴陽 550005；2.云南開放大學 城市建筑學院，云南 昆明 650500；3. 昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

針對水下照明圖像存在不均勻色偏、對比度低和細節(jié)模糊等問題，提出了一種基于顏色校正的水下照明圖像融合方法。首先利用圖像通道間的像素相關性，對紅通道進行補償；然后基于顏色校正圖像，利用非線性反銳化掩蔽（Nonlinear unsharp masking）技術獲得銳度增強圖像，采用具有瑞利分布的限制直方圖獲得全局拉伸圖；最后通過多尺度融合策略生成融合圖像。在自建數(shù)據(jù)集（Real underwater lighting image，RULI）上的實驗結果表明：本文方法能夠去除混合光照在成像過程中的不均勻散射干擾，并大幅度提高圖像的細節(jié)清晰度。其圖像質(zhì)量評估指標（Underwater image quality measures，UIQM）和（Image entropy，IE）的平均值分別為4.7399和7.7617，優(yōu)于現(xiàn)有文獻涉及的相關算法。

水下圖像增強；顏色校正；非線性反銳化掩蔽；多尺度融合

0 引言

目前，水下機器人被廣泛應用于深海探測、海洋考古和科研考察等領域[1]。在線視頻圖像是水下機器人獲取信息的主要手段。然而，光在水介質(zhì)中傳輸時會受到吸收和散射作用，導致采集到的圖像存在顏色失真、對比度低和細節(jié)模糊等問題[2]，這給后續(xù)的計算機視覺任務帶來了諸多不利的影響。

近年來，該領域學者不斷探索出針對采集到的水下圖像進行清晰化的方法，按處理方式的不同可分為：基于圖像復原和圖像增強的方法。其中圖像復原的方法[3-12]是利用降質(zhì)圖像的先驗信息完成水下成像模型的逆求解。研究者們在暗通道先驗（Dark Channel Prior，DCP）[3]的基礎上，擴展得到逆向紅色暗通道先驗（Red Dark Channel Prior，RDCP）[4]、廣義暗通道先驗（Generalized Dark Channel Prior，GDCP）[6]以及新型暗通道先驗[8]等方法。此類方法能夠有效去除自然光照在成像中的散射影響，但在深水域探索過程中，通常存在人造光和自然光的混合光照，現(xiàn)有的水下成像模型未能考慮光源造成的散射干擾，導致復原圖像仍存在局部色偏和細節(jié)模糊等問題。因此，趙欣慰等[13]對不同光照條件下的水下成像背景光進行了建模研究，分析得出：水下圖像的背景光強度主要與水體光學參數(shù)、相機到目標的距離、相機到光源的距離以及相機成像角等因素有關，但求解該模型需要手動測量部分參數(shù)，導致圖像重建工作變得復雜。相較于復原的方法，增強方法[14-19]不考慮水下物理成像過程，通過運用圖像處理技術來改善圖像的整體或局部特征，傳統(tǒng)方法主要包括基于直方圖均衡（Histogram Equalization，HE）、限制對比度直方圖均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）以及白平衡算法，但上述方法容易加強源圖像中的噪聲干擾。而在過去幾年中，提出了基于圖像融合[14-15]和顏色恒常性理論[16-17]的方法，能大幅度提高圖像的對比度和清晰度，但此類方法應用在混合光照場景中采集的圖像時，色彩均衡效果不理想。

針對上述問題，本文提出了一種紅通道補償算法以消除各種照明或介質(zhì)衰減特性而導致的色偏、一種基于非線性反銳化掩蔽技術的圖像邊緣增強算法、一種滿足瑞利分布的限制直方圖的圖像全局對比度增強算法，提取融合圖像的顯著特征進行多尺度融合。

1 本文方法

本研究將基于顏色校正圖像獲得融合圖像輸入對，其流程如圖1所示，其中Input1為邊緣銳化圖像，Input2為全局對比度增強圖像。從圖1可以看出，融合過程分為3個步驟：顏色校正、融合圖像對獲取和多尺度融合。

1.1 顏色校正

在自然光稀疏的深水區(qū)，往往需要人造光源的輔助照明。然而，由于照射區(qū)域內(nèi)光子密度較為集中，四周逐漸減小所引起的光照不均勻現(xiàn)象以及成像距離變化導致的光線透過率變化均會在非光照區(qū)域產(chǎn)生顏色畸變。為了糾正圖像色偏，受去馬賽克算法重建顏色樣本的思想啟發(fā)，設計紅通道補償函數(shù)為：

式中：(,)為像素坐標；R(,)為紅通道值；Temp1為補償量；Temp2為補償控制項。為了彌補紅通道的損失，基于以下二個觀察設計函數(shù)：①與紅色通道相比，綠色和藍色通道在水下保存較好；②補償應主要影響紅色通道值較小的像素，而不該改變已經(jīng)包含的紅色分量像素，可理解為既要避免在過度曝光區(qū)域引入紅色偽影，又對高度衰減的區(qū)域中執(zhí)行補償。在數(shù)學上，可將每個像素位置(,)處紅通道進行補償，計算公式為：

式中：Icc是拉伸結果；iin是紅通道補償圖像；omin和omax分別是輸出圖像的最小值和最大值；imin和imax分別是顏色校正圖像的最小值和最大值。圖2展示了顏色校正前后的紅通道圖和直方圖。

1.2 多尺度融合

盡管顏色校正對于恢復圖像顏色至關重要，但僅使用此步驟不足以解決圖像模糊問題。本節(jié)工作將基于多尺度融合策略，引入一對輸入分別增強顏色校正圖像的邊緣銳度和自然度，并定義權重映射，以保留對應輸入的優(yōu)勢。

1.2.1 圖像銳化

反銳化掩蔽（Unsharp masking）技術通過將圖像的模糊背景與邊緣銳化的圖像融合以獲得銳化圖像，如式(4)所示：

＝＋(4)

式中：是增強圖像；是輸入圖像的背景，通常使用低通濾波器獲得；細節(jié)信息可利用輸入圖像減去背景信號：＝－；用作比例因子來控制細節(jié)信息的幅值。在實踐中，反銳化掩蔽技術可能會出現(xiàn)以下兩個問題：①包含了噪聲信號和高頻細節(jié)信息，過大會導致噪聲信號突出以及圖像過飽和；②使用低通濾波器提取背景會在圖像邊緣處產(chǎn)生負作用，進而導致中銳化邊緣的過沖和欠沖現(xiàn)象。因此，本研究考慮了邊緣保持濾波器和自適應增益控制因素，提出用非線性反銳化掩蔽技術對圖像邊緣進行增強，其算法流程如圖3所示。其中⊕和?為廣義系統(tǒng)[20]中的加法和乘法運算，定義為：

?＝－1[()＋()] (5)

式中：表示非線性函數(shù)；和為信號輸入；為增益標量。因此，可以將式(4)用廣義運算表示為：

式中：為保持更高的通用性，函數(shù)()可以是線性的或者非線性的，這表明可以對背景信號進行可選的二次處理。自適應增益()為選擇性地增強邊緣細節(jié)信號的函數(shù)。

從圖3可以看出，該階段可分為背景信號提取、對比度增強和自適應增益3個步驟。在介紹前，首先根據(jù)非線性函數(shù)必須遵循嚴格凸和可微的原則[21]，選擇log變換函數(shù)，數(shù)學表示為：

()＝log[(1＋)/(1－)],?(－1,1) (8)

式中：為輸入圖像，考慮到函數(shù)輸入范圍在(－1,1)之間，首先對輸入圖像進行歸一化處理，然后應用線性變換（:＝2－1），使輸入圖像處于(－1,1)范圍內(nèi)。

圖3 非線性反銳化掩蔽算法流程

然后分別對上述3個步驟進行說明：①為避免在提取背景信號時出現(xiàn)光暈偽影，使用了改進的混合中值濾波器[22]（modified Hybrid Median Filter，mHMF）估計背景信號。mHMF通過計算正方形、交叉和對角線3個窗口中值，然后選擇三者的中間值作為最終結果。來自交叉和對角窗口的信息有助于mHMF更好地保留邊緣區(qū)域；②傳統(tǒng)圖像處理技術中，若先進行直方圖均衡化，再進行高頻加強，圖像亮度會呈現(xiàn)較強的兩級分布，并且獲得的圖像邊緣不突出，對比度差。但提出的技術將輸入圖像分離為背景信號和細節(jié)信號，可以分別對每種信號進行處理，因此本次研究使用了限制對比度自適應直方圖均衡（CLAHE）對背景信號進行二次處理；③細節(jié)信號中包含了：(1)圖像邊緣；(2)高頻噪聲；(3)過沖和欠沖。mHMF濾波可以有效減少過沖和欠沖數(shù)量，此外，由于log變換自動解決了超值問題，因此高頻噪聲的干擾也得到了減少。本文使用了一個簡單的指數(shù)變換，它從最大值max逐漸減小到最小值min，數(shù)學方程如式(9)所示：

()＝＋×exp(－||) (9)

式中：為控制()下降速率的參數(shù)，在實驗測試中，為避免圖像過飽和，設為0.5。細節(jié)信號處于(－1,1)范圍內(nèi)，因此可得：

max＝(0)＝＋(10)

min＝(1)＝(－1)＝＋×(exp(－1)) (11)

要增強圖像細節(jié)，增益必須大于等于1，因此min設為1。較大的max值可以使邊緣銳化更突出，因此本文將max設為5。最終將min和max的值代入式(10)和(11)中，得到和。圖4中展示了反銳化掩蔽和所提方法對圖像增強的結果。

圖4 三種方法的銳化增強結果。(a)源圖像；(b)顏色校正圖像；(c)反銳化掩蔽；(d)非線性反銳化掩蔽

1.2.2 全局對比度增強

非線性反銳化掩蔽旨在增強圖像的邊緣銳度，能彌補顏色校正中損失的細節(jié)部分，但代價是會過度增強圖像的局部區(qū)域。為解決這一問題。根據(jù)文獻[23]可知，瑞利分布對水下圖像保持自然性是理想的，故將具有瑞利分布的直方圖拉伸引入，得到與銳化圖像相對應的第二輸入。瑞利分布的概率分布函數(shù)（PDF）可表示為：

式中：為像素坐標；為輸入圖像；為分布參數(shù)，本次研究默認為0.4。將式(3)代入到式(12)得到限制直方圖的瑞利拉伸分布方程：

所提方法還在拉伸過程中使用限制，且限制僅應用于輸出圖像。從統(tǒng)計數(shù)據(jù)中發(fā)現(xiàn)：輸出圖像的強度值在4%～96%之間可以在局部對比度增強和全局視覺質(zhì)量之間進行很好的權衡，可表示為：

式中：如果輸出圖像的最小拉伸值大于R、G、B通道最小值的4%，則該輸出值設為原始直方圖的最小值，否則，輸出圖像的最小值設為R、G、B通道中的最小值。同樣，輸出圖像的最大拉伸被確定為：

1.2.3 圖像融合

權重圖用于使具有較大權重值的像素突顯在結果當中。因此，它們是基于圖像的顯著性特征來定義的，具體權重圖的定義如下：①拉普拉斯對比度權重L通過計算輸入圖像亮度通道上拉普拉斯濾波器的絕對值來估計全局對比度，賦予邊緣和紋理較高的值。②顯著權重s通過對圖像HSV顏色空間中的色調(diào)、飽和度和亮度分量進行綜合衡量，可表示為：

式中：是一個小的正則化項，確保每個輸入對輸出都有貢獻，這里設為0.1。對應權重如圖5所示。

式中：R()為輸出圖像金字塔；為金字塔層數(shù)，本次研究取5層；final()為最終輸出圖像；U[R()]為＝2－1的上采樣算子。

圖5 融合圖像權重圖。(a)圖像顏色校正前后；(b)融合輸入對；(c)拉普拉斯權重；(d)顯著權重；(e)歸一化權重

2 實驗結果與分析

2.1 實驗對象設定

本文實驗通過MATLAB R2018a平臺實現(xiàn)，主機配置為i7-7700HQ CPU（2.80GHz），16GB內(nèi)存，Windows10操作系統(tǒng)。為了使本文方法更具有代表性，要求數(shù)據(jù)集包含各種深度、各種極端條件（不均勻光和過度曝光等）和各種目標的水下圖像。因此，本文建立了一個真實的水下照明圖像數(shù)據(jù)集，用于水下照明圖像增強算法的研究。數(shù)據(jù)集中的圖像為在Similan Island（斯米蘭島）水深40m內(nèi)使用人造光源輔助拍攝的混合光照場景。根據(jù)不同的場景類型選取了300幅具有代表性的圖像組建數(shù)據(jù)集，并命名為RULI，圖6展示了部分示例。

圖6 RULI數(shù)據(jù)集部分實例

2.2 RULI數(shù)據(jù)集測試

2.2.1 主觀定性評估

本文在RULI數(shù)據(jù)集中進行了實驗測試，在測試過程中將所提方法與幾種具有代表性的方法進行了比較，其中包括文獻[6]中GDCP復原方法、文獻[15]中融合增強（Fusion）方法、文獻[17]方法和文獻[24]方法。從測試結果中選取了6幅具有代表性的圖像，分別為：幼鯊、海星、魚、珊瑚、烏龜和洞穴圖像，此類圖像受混合光照的干擾，存在不均勻色偏以及細節(jié)模糊問題，結果如圖7所示。

圖7 RULI數(shù)據(jù)集上實驗結果。(a)原圖；(b)GDCP；(c)Fusion；(d)文獻[17]；(e)文獻[24]；(f)本文方法

從圖7中可以看出，GDCP方法加劇了圖像的顏色失真，造成這種結果的原因主要是復原類方法沒有使用顏色校正算法處理圖像，容易造成圖像過飽和。而基于Fusion和文獻[24]的方法在糾正人造光照射所帶來的不均勻色偏時，更容易忽略非光照區(qū)域，進而導致局部區(qū)域呈現(xiàn)模糊感。文獻[17]方法雖然在圖像的色偏糾正上有著顯著的效果，但對細節(jié)的處理較為粗糙，使得邊緣輪廓不清晰，圖像整體模糊。相較之下，本文方法不僅能夠準確地糾正不均勻色偏，而且也提高了邊緣細節(jié)的清晰度。

2.2.2 客觀定量評估

接著，選取了兩種常用的水下圖像質(zhì)量評價指標對實驗結果進行定量比較，其中包括水下圖像質(zhì)量指標UIQM[25]和圖像信息熵IE。UIQM使用圖像色彩度量、清晰度度量和對比度度量來評估圖像的質(zhì)量，其值越大，表明圖像的視覺效果越好。IE反映了圖像的平均信息量，IE值越大，表明圖像的清晰度越高，細節(jié)信息越豐富。表1分別為UIQM和IE指標對比結果，其中紅色加粗部分為最優(yōu)值。

從表1可以看出，5種方法按照評估質(zhì)量的平均度量可分為三個等級。第一等級（黑色加粗），基于GDCP和文獻[17]的方法在所有方法中的最優(yōu)值占比最小，這表明色偏嚴重和細節(jié)模糊的圖像不利于指標的評估。第二等級（藍色加粗），對于Fusion和文獻[24]兩種方法，從2.2.1中可以觀察到：兩種方法產(chǎn)生的結果相似，但前者在所有圖像上的評估值均大于后者，這表明與Fusion方法相比，文獻[24]方法在糾正色偏和增強細節(jié)方面仍存在不足。第三等級（紅色加粗），本文方法的UIQM和IE平均值均大于其它對比方法，尤其在UIQM值上提升更為明顯。對于每幅圖像的評價，每項指標都優(yōu)于或接近于其它對比方法。結果表明：本文方法應用在人造光和自然光的混合光照場景時，能有效去除光源造成的不均勻散射干擾，有效均衡了圖像色彩，提高了圖像的細節(jié)清晰度。

表1 指標定量評價結果

3 結語

本文針對水下照明圖像存在不均勻色偏、對比度低和細節(jié)模糊等問題，提出了一種基于顏色校正的水下照明圖像融合方法。該方法首先對源圖像進行顏色校正，用以糾正人造光照射所帶來的不均勻色偏，然后分別采用非線性反銳化掩蔽和滿足瑞利分布的直方圖拉伸方法獲得一對互補的增強圖像，實現(xiàn)了圖像的多尺度融合。最后在自建數(shù)據(jù)集（RULI）上的實驗結果表明，與現(xiàn)有文獻提出的方法相比，本文方法在不需要任何先驗信息的條件下，能夠從水下照明圖像中有效糾正不均勻色偏和提高圖像的對比度和清晰度，為水下計算機視覺任務提供了預處理手段。但本文方法仍有局限性。例如，紅通道補償算法是對源圖進行像素級的補償，增加了計算復雜度。如何準確快速地進行圖像色偏糾正，是未來一項重要的工作。

[1] MENG L S, LIN Y, Gu H, et al. A new type of small un-derwater robot for small scale ocean observation[C]//, 2016: 152-156.

[2] LI C Y, Anwar S, Hou J, et al. Underwater image enhancement via medium transmission- guided multi-color space embedding[J]., 2021, 30: 4985-5000.

[3] HE K M, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.

[4] Galdran A, Pardo D, Picón A, et al. Automatic red-channel underwater image restoration[J]., 2015, 26: 132-145.

[5] Drews P L J, Nascimento E R, Botelho S S C, et al. Underwater depth estimation and image restoration based on single images[J]., 2016, 36(2): 24-35.

[6] PENG Y T, CAO k, Cosman P C. Generalization of the dark channel prior for single image restoration[J]., 2018, 27(6): 2856-2868.

[7] 朱佳琦, 周麗麗, 閆晶晶, 等. 結合改進紅通道先驗與冪律校正CLAHE的水下圖像復原方法[J]. 紅外技術, 2021, 43(7): 696-701. ZHU J Q, ZHOU L L, YAN J J, et al. Underwater image restoration method combining improved red channel prior and power law correction-based CLAHE algorithm[J]., 2021, 43(7): 696-701.

[8] SONG W, WANG Y, HUANG D, et al. Enhancement of underwater images with statistical model of background light and optimization of transmission map[J]., 2020, 66(1): 153-169.

[9] 劉玉珍, 遲凱晨, 林森. 基于背景光估計與透射率優(yōu)化的水下圖像復原[J]. 激光與光電子學進展, 2020, 57(14): 141010. LIU Y Z, CHI K C, LIN S. Underwater imagerestoration based on background light estimation and transmittance optimization[J]., 2020, 57(14): 141010.

[10] ZHOU J C, WANG Y Y, ZHANG W S, et al. Underwater image restoration via feature priors to estimate background light and optimized transmission map[J]., 2021, 29(18): 28228-28245.

[11] 簡夢真, 李旦, 張建秋. 基于非均勻入射光成像模型的水下圖像復原[J].光學學報, 2021, 41(15): 1501003. JIAN M Z, LI D, ZHANG J Q. Underwater image restoration based on non-uniform incident light imaging model[J]., 2021, 41(15): 1501003.

[12] YU H, LI X, LOU Q, et al. Underwater image enhancement based on color-line model and homomorphic filtering[J]., 2022, 16(1): 83-91.

[13] 趙欣慰, 金韜, 池灝, 等. 不同光照條件下水下成像背景光的建模與研究[J].物理學報, 2015, 64(10): 104201. ZHAO X W, JIN T, CHI H, et al. Modeling and simulation of the background light in underwater imaging under different illumination conditions[J]., 2015, 64(10): 104201.

[14] Ancuti C, Ancuti C O , Haber T, et al. Enhancing underwater images and videos by fusion[C]//, 2012: 81-88.

[15] Ancuti C O, Ancuti C, De Vleeschouwer C, et al. Color balance and fusion for underwater image enhancement[J]., 2018, 27(1): 379-393.

[16] 張彩珍, 康斌龍, 李穎, 等. 基于差異通道增益及改進Retinex的水下圖像增強[J]. 激光與光電子學進展, 2021, 58(14): 1410004. ZHANG C Z, KANG B L, LI Y, et al. Underwater image enhancement based on differential channel gain and improved retinex[J]., 2021, 58(14): 1410004.

[17] LI C, TANG S, Kwan H K, et al. Color correction based on cfa and enhancement based on Retinex with dense pixels for underwater images[J]., 2020, 8: 155732-155741.

[18] ZHANG W D, PAN X P, XIE X Y, et al. Color correction and adaptive contrast enhancement for underwater image enhancement[J]., 2021, 91: 106981.

[19] LI C Y, Anwar S, HOU J, et al. Underwater image enhancement via medium transmission-guided multi-color space embedding[J]., 2021, 30: 4985-5000.

[20] DENG G. A Generalized unsharp masking algorithm[J]., 2011, 20(5): 1249-1261.

[21] Nielsen F, Nock R. Sided and symmetrized bregman centroids[J]., 2009, 55(6): 2882-2904.

[22] KIM G, LEE S, KANG B, Single image haze removal using hazy particle maps[J]., 2018, E101-A(11): 1999-2002.

[23] Ghani A S A, Isa N A M. Underwater image quality enhancement through integrated color model with Rayleigh distribution[J]., 2015, 27: 219-230.

[24] ZHANG W, ZHUANG P, SUN H H, et al. Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement[J]., 2022, 31: 3997-4010.

[25] Panetta K, Gao C, Agaian S. Human-visual-system-inspired underwater image quality measures[J]., 2016, 41(3): 541-551.

Underwater Illumination Image Fusion Method Based on Color Correction

QIU Qimeng1，ZHANG Yajia2，GAO Zhiqiang3，SHAO Jianlong3

(1. General Hospital of Police in Guizhou Province (GHPGP), Guiyang 550005, China;2. College of Urban Construction, Yunnan Open University, Kunming 650500, China;3. Faculty of information engineering and automation, Kunming University of Science and Technology, Kunming 650500, China)

We proposed a color-corrected underwater illumination image fusion method based on color correction to address uneven color shifts, low contrast, and blurred details in underwater illumination images. First, we exploited the pixel correlation between image channels to compensate for the red channel. Then, based on the color-corrected image, a sharpness-enhanced image is obtained using a nonlinear unsharp masking technique, and a global stretching map is obtained using a restricted histogram with Rayleigh distribution. Finally, we generated the fused image using a multi-scale fusion strategy. The experimental results on a self-built dataset (RULI) showed that the proposed method could remove the inhomogeneous scattering interference of mixed illumination in the imaging process and substantially improve the detail sharpness of the image. The mean values of the image quality assessment metrics UIQM and IE were 4.7399 and 7.7617, respectively, better than those of related algorithms in the existing literature.

underwater image enhancement, color correction, nonlinear unsharp masking, multiscale fusion

TP751.1

A

1001-8891(2023)11-1153-08

2022-09-14；

2022-11-14.

邱啟蒙（1998-），男，碩士，研究方向：圖像處理和計算機視覺。E-mail：1057709887@qq.com。

邵建龍（1965-），男，碩士，教授，研究方向：智能信息處理。E-mail：sj-long@163.com。

國家自然科學基金（61971208）。