周景春 衛(wèi)曉靖 史金余

(大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院 大連 116000)

1 引言

近年，水下計(jì)算機(jī)視覺技術(shù)越來越受到更多關(guān)注，推動(dòng)水下環(huán)境勘測、海洋生物研究、海洋資源開發(fā)和海洋軍事等領(lǐng)域的快速發(fā)展，水下圖像研究具有實(shí)際應(yīng)用價(jià)值和重要理論意義[1]。水下環(huán)境復(fù)雜多變，光被水選擇性吸收以及水中懸浮微顆粒對(duì)光線的散射作用，導(dǎo)致成像設(shè)備無法獲取高質(zhì)量的水下圖像。退化的水下圖像通常具有較低對(duì)比度和顏色偏差問題[2]，嚴(yán)重限制了目標(biāo)識(shí)別、特征提取和特征點(diǎn)匹配等應(yīng)用。因此，獲得清晰的水下圖像已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域中一個(gè)迫切待解決問題。

為了恢復(fù)高質(zhì)量的水下圖像，現(xiàn)有的水下圖像處理方法主要由3部分組成，分別為水下圖像復(fù)原方法[3]、水下圖像增強(qiáng)方法[4]和深度學(xué)習(xí)方法[5]。水下圖像增強(qiáng)方法直接根據(jù)像素值之間的數(shù)學(xué)關(guān)系改變像素值，使水下圖像的色彩可視性更強(qiáng)，對(duì)比度更高。楊愛萍等人[6]提出基于顏色失真去除與暗通道先驗(yàn)的方法，該方法校正水下圖像的色彩，并未提高水下圖像的對(duì)比度。代成剛等人[7]提出基于亮通道色彩補(bǔ)償與融合的水下圖像增強(qiáng)，結(jié)合水下成像模型和灰度世界假設(shè)，對(duì)紅綠藍(lán)3通道線性補(bǔ)償，導(dǎo)致紅通道補(bǔ)償過度。楊愛萍等人[8]提出基于加權(quán) L1正則化的水下圖像清晰化算法，結(jié)合水下圖像成像模型，將水下圖像分為單一的藍(lán)色基調(diào)或綠色基調(diào)進(jìn)行色彩補(bǔ)償。Song等人[9]依賴水下成像模型提出多尺度融合和雙模型全局拉伸的水下圖像增強(qiáng)算法，只提取綠色通道的信息對(duì)色彩進(jìn)行補(bǔ)償，忽略了藍(lán)色通道的重要性。Wen等人[10]提出基于藍(lán)色和綠色通道對(duì)色彩進(jìn)行補(bǔ)償，沒有對(duì)水下圖像場景進(jìn)行分析研究，因缺少紅通道信息導(dǎo)致色彩補(bǔ)償率出現(xiàn)誤差。上述方法在一定程度上改善了水下圖像的質(zhì)量，但沒有考慮到水下場景的多樣性，無法徹底解決不同場景和退化程度水下圖像退化問題。

針對(duì)上述方法存在問題，本文提出一種基于藍(lán)綠通道自適應(yīng)色彩補(bǔ)償水下圖像增強(qiáng)方法。本文主要貢獻(xiàn)如下：

(1) 結(jié)合水下成像模型特點(diǎn)，設(shè)計(jì)藍(lán)綠通道色彩補(bǔ)償?shù)纳市Ｕ椒?，將水下場景分?個(gè)等級(jí)。首先計(jì)算藍(lán)色通道和綠色通道像素值均值占比，估計(jì)場景深度變化，自適應(yīng)補(bǔ)償紅綠藍(lán)3通道的色彩。

(2) 提出暗區(qū)域映射對(duì)比度增強(qiáng)方法增強(qiáng)圖像對(duì)比度，根據(jù)1維灰度級(jí)直方圖強(qiáng)度，將水下圖像分為暗調(diào)、中間暗調(diào)、中間亮調(diào)、亮調(diào)4個(gè)區(qū)域。利用暗區(qū)域映射函數(shù)將暗調(diào)和中間暗調(diào)的高密度像素值離散分布到中間亮調(diào)和亮調(diào)區(qū)域，利用雙線性插值解決區(qū)域塊效應(yīng)。

(3) 通過主觀視覺和客觀評(píng)價(jià)多方面驗(yàn)證本文方法具有較好的魯棒性。真實(shí)水下數(shù)據(jù)集實(shí)驗(yàn)驗(yàn)證，本文方法有效改善水下圖像色彩和提升對(duì)比度，在主觀視覺和客觀評(píng)價(jià)等方面均表現(xiàn)優(yōu)異。

2 算法原理

2.1 藍(lán)綠通道自適應(yīng)顏色校正

水下成像模型(圖1)需要考慮到吸收和散射的作用。水體對(duì)光存在散射作用，分為3種：直接散射、前向散射、后向散射[6]。直接散射是成像系統(tǒng)接收到的主要光線；前向散射懸浮顆粒將小角度偏移的光傳輸?shù)匠上裣到y(tǒng)，導(dǎo)致細(xì)節(jié)模糊；后向散射是光線被懸浮顆粒反射后被攝像機(jī)接收的散射現(xiàn)象。

圖1 水下成像模型

水下成像模型下的水下圖像可以看作3種散射的線性疊加，定義為

表1 水下場景深度等級(jí)劃分

2.2 暗區(qū)域映射對(duì)比度增強(qiáng)

將水下圖像灰度圖像的劃分成暗調(diào)、中間暗調(diào)、中間亮調(diào)、亮調(diào)4個(gè)區(qū)域，其中暗調(diào)區(qū)域的像素值為[0-100]，中間暗調(diào)區(qū)域的像素值為[100-150]，中間亮調(diào)區(qū)域的像素值為[150-200]，亮調(diào)區(qū)域的像素值為[200-255]。水下圖像的像素值大部分位于暗調(diào)和中間暗調(diào)區(qū)域，將其定義為暗區(qū)域。利用像素密度函數(shù)重新調(diào)整像素的亮度分布，提高水下圖像對(duì)比度，使大部分的像素值位于亮調(diào)和中間亮調(diào)，定義為亮區(qū)域。直方圖拉伸重新調(diào)整像素的亮度分布，保證灰度直方圖均勻分布，但灰度直方圖某一區(qū)域密度較大時(shí)，拉伸后的分布較松散。當(dāng)水下圖像中有大塊暗區(qū)域或亮區(qū)域，利用直方圖拉伸會(huì)放大噪聲。

首先統(tǒng)計(jì)每個(gè)灰度級(jí)的像素?cái)?shù)個(gè)數(shù)，計(jì)算水下圖像的像素密度為

圖3 算法流程圖

3 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)所需要的水下圖像，來自UIEBD(Underwater Image Enhancement Benchmark Dataset)數(shù)據(jù)集[11]。本文實(shí)驗(yàn)使用MATLAB R2019a平臺(tái)，主機(jī)設(shè)備為i7-6700HQ， CPU (2.60GHz)，16GB內(nèi)存，Windows10 操作系統(tǒng)。

3.1 色彩校正實(shí)驗(yàn)

為了驗(yàn)證本文方法在色彩校正方面的有效性，將本文方法與水下圖像增強(qiáng)和復(fù)原方法進(jìn)行比較。所選對(duì)比方法包括：水下暗通道先驗(yàn)UDCP方法[12]，只考慮了藍(lán)綠通道的光，忽略了紅色光的指數(shù)型衰減?；赗etinex的單幅水下圖像增強(qiáng)RBE[13]方法，以顏色恒常性為依據(jù)，恢復(fù)水下圖像的視覺效果。TSP方法[14]，沒有考慮到多場景，對(duì)帶有人工光照的水下圖像紅通道補(bǔ)償過度?；趫D像模糊和光吸收的水下圖像恢復(fù)方法IBLA[15]，基于圖像成像模型，在處理有自然光照和人工光源的水下圖像時(shí)，處理效果不佳。暗通道先驗(yàn)推廣單幅圖像復(fù)原GDCP[16]，依據(jù)水下場景深度反演水下真實(shí)圖像。基于自適應(yīng)參數(shù)獲取的相對(duì)全局直方圖拉伸水下圖像增強(qiáng)RGHS[17]，只使用某一場景的水下圖像，不能處理多場景的水下圖像。藍(lán)綠通道去霧和紅通道校正單幅水下圖像復(fù)原GBDRC[18]，依據(jù)灰度世界假設(shè)對(duì)水下圖像進(jìn)行顏色校正，導(dǎo)致紅通道補(bǔ)償過度。Retinex貝葉斯水下圖像增強(qiáng)BRUIE[19]，可以提高水下圖像的對(duì)比度，但色彩暗淡，細(xì)節(jié)部分可視性差。

利用3D散點(diǎn)圖展示水下圖像的色彩分布，實(shí)驗(yàn)結(jié)果如圖4所示。UDCP方法、IBLA方法和RGHS方法的3D散點(diǎn)圖綠色分布較廣。RBE方法和BRUIE色彩不夠豐富，紅綠藍(lán)3通道像素值集分布集中，導(dǎo)致圖片整體出現(xiàn)灰色。TSP方法對(duì)紅色通道補(bǔ)償過度。GBDRC方法不能將水下圖像的像素值提高到亮度區(qū)域，圖像色彩較暗。從3D像素散點(diǎn)圖分布可以看出，本文方法紅綠藍(lán)3通道色彩均衡，像素值遍布[0，255]。實(shí)驗(yàn)表明本文方法可以更好地校正水下圖像的色彩。

圖4 不同方法色彩校正對(duì)比結(jié)果

3.2 主觀評(píng)價(jià)

為了驗(yàn)證本文方法可以恢復(fù)高質(zhì)量的水下圖像，采用UIEBD數(shù)據(jù)集進(jìn)行試驗(yàn)，選用的對(duì)比方法包括UDCP[12]，RBE[13]，TSP[14]，IBLA[15]，GDCP[16]，RGHS[17]，GBDRC[18]和BRUIE[19]。選取5張代表性的水下圖像，圖像1為自然光照水下圖像，圖像2為色彩豐富水下圖像，圖像3為遠(yuǎn)景水下圖像，圖像4為人工光照水下圖像，圖像5為近景水下圖像。主觀實(shí)驗(yàn)對(duì)比結(jié)果如圖5所示。

在圖5中，UDCP方法和GBDRC方法沒有考慮水下場景因素，對(duì)圖片1和圖片5的藍(lán)色通道補(bǔ)償過度。RBE方法和BRUIE方法可以恢復(fù)水下圖像的色彩，但過度增強(qiáng)，導(dǎo)致部分細(xì)節(jié)丟失。IBLA方法在處理具有自然光的圖像1時(shí)紅通道補(bǔ)償過度。GBDRC方法基于灰度世界算法，假定色彩豐富的情況下3通道的平均值趨于同一個(gè)值，忽略了紅色光衰減系數(shù)最大，導(dǎo)致對(duì)紅色通道補(bǔ)償過度。本文方法有效校正水下圖像色彩，增強(qiáng)水下圖像對(duì)比度。本文方法充分考慮了水下場景的多樣性，可以恢復(fù)高質(zhì)量的水下圖像。本文選取遠(yuǎn)景水下圖像3中的細(xì)節(jié)部分和近景水下圖像5中的細(xì)節(jié)部分，分別用紅色框和黃色框標(biāo)注，進(jìn)行細(xì)節(jié)對(duì)比試驗(yàn)，如圖6所示，圖1為水下圖像3中的紅色框標(biāo)注細(xì)節(jié)，圖2為水下圖像5中的黃色框標(biāo)注細(xì)節(jié)，本文方法細(xì)節(jié)部分色彩更飽和，對(duì)比度更高，可以有效恢復(fù)水下圖像細(xì)節(jié)部分的色彩和對(duì)比度。

圖2 不同等級(jí)水下場景

圖5 不同方法在UIEBD數(shù)據(jù)集真實(shí)水下圖像上的處理效果

圖6 圖5中部分場景細(xì)節(jié)放大圖

3.3 客觀指標(biāo)

采用水下圖像客觀評(píng)價(jià)指標(biāo)對(duì)本文方法的性能進(jìn)行客觀評(píng)價(jià)，客觀指標(biāo)包括AG (Average Gradient)，EI (Image Information Entropy)，PCQI(Patch-based Contrast Quality)，UCIQE (Underwater Color Image Quality Evaluation)[20]和UIQM (Underwater Image Quality Measurement)。其中AG的值越大，表明水下圖像的細(xì)節(jié)特征越多，圖像清晰度越好。EI值越大動(dòng)態(tài)范圍越大，圖像質(zhì)量越高。PCQI值用于評(píng)價(jià)用于評(píng)價(jià)圖像的對(duì)比度，值越大表明圖像對(duì)比度越高。UCIQE是評(píng)判色彩濃度、色彩飽和度和對(duì)比度的綜合性指標(biāo)，圖像的質(zhì)量越高其值越大。UIQM是根據(jù)人眼視覺系統(tǒng)色彩恒常性提出的評(píng)價(jià)指標(biāo)，其值越大，表示色彩越接近人眼視覺、清晰度越高、對(duì)比度越佳。

本文隨機(jī)選擇100張真實(shí)水下圖像，求取不同方法的5個(gè)指標(biāo)的平均值，處理結(jié)果的平均指標(biāo)如表2所示。本文方法的PCQI， UCIQE和UIQM指標(biāo)均排名第一，在圖像清晰度、色彩和對(duì)比度方面均優(yōu)于其他對(duì)比方法。UDCP方法沒有校正水下圖像的色彩，導(dǎo)致細(xì)節(jié)不明顯，圖片質(zhì)量不高。UDCP方法具有較好的UIQM的指標(biāo)值，但對(duì)藍(lán)色通道過度補(bǔ)償，視覺效果不佳，從主觀結(jié)果和客觀指標(biāo)綜合考慮，本方法處理效果更佳。TSP方法提高了水下圖像的對(duì)比度，但是在色彩校正方面效果不佳，因此只有PCQI值較高。IBLA， GDCP，RGHS和GBDRC方法在圖像色彩和對(duì)比度方面都沒有獲得較好的處理效果。BRUIE方法可以很好地恢復(fù)水下圖像邊緣細(xì)節(jié)，獲取較高的AG和EI平均指標(biāo)值，但圖像的飽和度不高，導(dǎo)致PCQI值和UCIQE值較低。本方法針對(duì)性地對(duì)不同場景的水下圖像自適應(yīng)恢復(fù)水下圖像的色彩，并對(duì)顏色校正后的水下圖像進(jìn)行對(duì)比度增強(qiáng)。從色彩恢復(fù)和提高對(duì)比度兩方面恢復(fù)清晰的水下圖像。綜合主觀結(jié)果和客觀指標(biāo)，本文方法針對(duì)色彩和對(duì)比度能更好地恢復(fù)水下圖像的色彩和對(duì)比度。

表2 100張水下圖像不同方法處理結(jié)果的客觀指標(biāo)平均值(紅色粗體：第1指標(biāo)值；藍(lán)色粗體：第2指標(biāo)值)

3.4 圖像分割應(yīng)用測試

從圖像分割角度驗(yàn)證本文方法的實(shí)用性。分割是根據(jù)一些特定的和獨(dú)特的屬性將圖像劃分為幾個(gè)互不相交且同質(zhì)的區(qū)域。本文采用基于超像素的快速FCM聚類算法[21]，它有著快速和穩(wěn)健的彩色圖像分割效果，不同方法的對(duì)比結(jié)果如圖7所示，對(duì)圖7的結(jié)果進(jìn)行圖像分割實(shí)驗(yàn)，如圖8所示。在圖8中，分割方法不能展現(xiàn)對(duì)比方法結(jié)果圖像1中目標(biāo)物體的整體輪廓，本文方法結(jié)果能夠更好地識(shí)別邊緣，達(dá)到更高的圖像分割效果。分隔方法不能分割對(duì)比方法結(jié)果圖像2中目標(biāo)物體的細(xì)節(jié)部分，本文方法結(jié)果圖能夠提供更多的細(xì)節(jié)特征，對(duì)魚身分割更加精細(xì)。分割實(shí)驗(yàn)證明本文方法可以恢復(fù)水下圖像具有更多的邊緣細(xì)節(jié)，有更高的對(duì)比度。

圖7 不同方法在UIEBD數(shù)據(jù)集真實(shí)水下圖像上的處理結(jié)果

圖8 水下圖像分割結(jié)果

4 結(jié)束語

水下圖像成像環(huán)境復(fù)雜，存在對(duì)比度低、細(xì)節(jié)丟失和色彩失真等問題。本文提出基于藍(lán)綠通道自適應(yīng)色彩補(bǔ)償水下圖像增強(qiáng)方法，以提高不同場景水下圖像的視覺效果，為后續(xù)場景深度的研究提供了具體方案。提出暗區(qū)域映射對(duì)比度增強(qiáng)方法，將低強(qiáng)度值拉伸映射到高強(qiáng)度值，利用雙線性插值解決分區(qū)域引入的塊效應(yīng)。大量主客觀實(shí)驗(yàn)表明，本文方法有效去除水下圖像的偏色，增強(qiáng)了水下圖像的對(duì)比度，提高水下圖像質(zhì)量。與大部分水下圖像復(fù)原和增強(qiáng)方法相比，在主觀評(píng)價(jià)、客觀評(píng)價(jià)和圖像分割應(yīng)用方面均表現(xiàn)優(yōu)異。