劉镕滔,柳稼航
(南京航空航天大學(xué) 航天學(xué)院, 江蘇 南京 210016)
海洋蘊含豐富的礦產(chǎn)資源,開發(fā)和利用海洋資源是解決人類資源短缺的重要途徑。對于大洋海底探測,自然光線難以到達(dá)探測深度,光學(xué)成像主要依靠主動點光源進行照明。由于在水體中,光的衰減與光程呈指數(shù)關(guān)系增長,且不同波長衰減程度不同,因而在點光源視場的任意截面上照度不同。水體對光的散射特性同樣會造成光學(xué)圖像模糊、對比度低等問題[1],不但影響對海底真實環(huán)境的認(rèn)知,還影響圖像信息的解譯。因此,水下光學(xué)圖像質(zhì)量改善與恢復(fù)具有重要應(yīng)用價值。
近年來,隨著海洋探測和開發(fā)不斷深入,對水下光學(xué)圖像質(zhì)量改善和復(fù)原的研究逐漸成為熱點,并取得一系列研究成果。根據(jù)方法機理的不同,水下光學(xué)圖像恢復(fù)可以分為非物理模型方法和物理模型方法。非物理模型方法針對水下圖像的特點,利用經(jīng)典空域法和頻域法來進行水下圖像增強[2]。Henke 等基于灰度世界假設(shè)條件,分離水下圖像的前景和背景,采用白平衡算法對水下圖像的前景進行處理[3]。Fu 等基于Retinex 方法通過不同策略增強分離的光照分量,進而改善水下圖像的清晰度[4]。楊衛(wèi)中等采用對比度受限自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization, CLAHE)方法解決圖像對比度差的問題[5]。Xiang 等[6]提出了一種紅通道加權(quán)補償與伽馬校正(Red channel Weighted Compensation and Gamma Correction model,RWCGC)算法,利用通道間的關(guān)系補償紅通道后再對圖像進行直方圖歸一化,糾正圖像偏色問題并提高對比度。
物理模型方法主要依據(jù)光在水體中的傳播和衰減機理建模,通過成像模型來恢復(fù)觀測圖像的原本面貌。鑒于暗通道先驗法[7]在大氣去霧方面的顯著效果,被學(xué)者廣泛應(yīng)用于水下圖像去散射。Chiang 等結(jié)合水下光選擇性衰減的特點,根據(jù)暗通道先驗去霧算法提出了水下圖像復(fù)原方法[8]。Adrian Galdran 等針對水下紅通道衰減快的特點,以暗通道先驗為基礎(chǔ),提出紅通道先驗(Red Channel Prior, RCP)方法,取得良好的效果[9]。Xie 等認(rèn)為背景光估計是否精確直接影響去散射的效果,為避免圖像中白色像素或亮像素的干擾,利用物體前景與背景水體的非相關(guān)性將二者分開,對背景水體進行背景光估計[10]。王一斌等提出自適應(yīng)估計圖像背景光與非局部先驗相結(jié)合的方法有效進行單幅水下圖像復(fù)原[11]。
非物理模型和物理模型法雖然針對一些應(yīng)用場景取得了較好的效果,但依然存在一些亟待解決的問題。非物理模型法未考慮水下成像機理,圖像處理后易出現(xiàn)鬼影、不自然或過度補償?shù)膯栴}。物理模型法對背景光估計要求高,而背景光估計方法多針對特殊的應(yīng)用場景,實用性較差,同時仍需要非物理模型方法進行顏色校正。隨著深度學(xué)習(xí)的廣泛應(yīng)用,學(xué)者們嘗試將深度網(wǎng)絡(luò)模型用于水下圖像處理。林森等利用多輸入融合的對抗網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的編解碼結(jié)構(gòu)進行水下圖像增強[12]。Li 等利用水下場景先驗信息合成的水下圖像數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(Underwater Convolutional Neural Network, UWCNN)用于增強水下圖像[13]。深度學(xué)習(xí)方法對水下圖像樣本數(shù)據(jù)量和質(zhì)量要求高,在處理特定問題時無法獲得可靠的同場景自然環(huán)境光下的圖像。同時,鮮有針對水下圖像照度不均勻問題提出解決辦法。
本文針對水下光學(xué)成像的特點,基于海水的光輻射傳輸衰減特性,采用相對輻射校正原理來剝離并補償光程差引起的衰減,然后對校正后的圖像進行增強處理,以提升圖像質(zhì)量。同時,采用大洋探測現(xiàn)場采集的真實圖像進行實驗,并與近年來提出的幾種主要方法進行了對比和分析,經(jīng)主、客觀評價,驗證了本文算法的有效性和可行性。
由于海水的強衰減作用,以太陽作為光源的自然光線在海水中的傳輸距離很短[14]。因此,大洋海底光學(xué)成像探測采用主動光源進行照明。由于點光源具有成本優(yōu)勢,應(yīng)用上多采用其作為照明光源進行水下主動光學(xué)成像探測[15]。
圖1 是水下理想點光源垂直照射時垂直中心光線截面上的光照強度分布示意圖。由于水體對光強的衰減作用,即便是理想點光源也因各光線的光程不同,導(dǎo)致到達(dá)探測截面的光強不同。光照中心光程最短,所以海水對中心光線衰減的程度最小。在距離光照中心半徑為r的點上,由于入射光光程比中心光線的光程更長,因而衰減程度更大,亮度更暗(圖1(a))。當(dāng)海底為平整、均一的表面時,這一過程的結(jié)果可由圖1(b)表示。亮度在光照中心最大,并沿中心向外呈輻射狀連續(xù)、快速降低。由于入射照度的不同,必然導(dǎo)致觀測表面圖像的亮度不同。而這種不同并不是由于觀測目標(biāo)自身反射率的不同導(dǎo)致的,而是由于海水對不同光程的光衰減程度不同造成的。同時,由于海水的選擇性吸收作用,最終導(dǎo)致觀測圖像的亮度和色彩產(chǎn)生畸變。
圖1 點光源垂直照射下的照度相對分布示意圖。(a)理想點光源垂直照射示意圖;(b)光照強度衰減示意圖Fig. 1 Relative distribution of illuminance under vertical illumination of the point light source . (a) Schematic of vertical illumination of the ideal point light source and (b) schematic of light intensity attenuation
理想的點光源,滿足各向同性特點,可以利用圖1 所示的物理機理計算出各處的衰減量,進而進行亮度補償,但實際應(yīng)用中的光源并不滿足這一條件。同時,相機等硬件系統(tǒng)和安裝參數(shù)未知,限制了物理模型的實際應(yīng)用。
由于海底勘探的特殊性,主動光源中心指向與相機光軸指向一致,且大致垂直指向海底,其工作模式如圖2 所示。
圖2 海底主動光學(xué)成像示意圖Fig. 2 Schematic diagram of seabed active optical imaging
圖2 中,Ls為光源中心光線,其與海底的交點為Os( 這里稱為光照中心),Lc是相機的光軸指向,Oc為Lc與海底的交點(這里稱為成像中心)。假定光源發(fā)出的光為各向同性,且海水均勻,則光源發(fā)出的各個方向的光到達(dá)海底的衰減程度僅與光程有關(guān)。這一過程反映為海底被照亮區(qū)域,其亮度從光照中心Os向周圍呈輻射狀減弱,并快速衰減到難以被探測到的程度。當(dāng)Ls垂直海底照射時,光照衰減呈圓形逐次增大;當(dāng)Ls非垂直照射時,光照衰減呈橢圓或其它形式逐次增大。點光源發(fā)出的光經(jīng)海水衰減后到達(dá)海底,被海底反射后上行至相機被接收。同時,由于海水的散射作用,部分后向散射光也被相機接收。
事實上,對于勻質(zhì)的海底表面,在近垂直觀測時可以近似為朗伯面。相機接收到的能量主要來源于兩部分,一部分是海底反射的上行輻射Eref;另一部分是海水前向散射(即環(huán)境光)Eenv,成像模型可由式(1)簡化表示。
不同像素亮度主要取決于對應(yīng)海底地元入射光的強度和該地元的反射率,當(dāng)入射光強相同時,圖像的亮度就直接反映地物自身的反射特性。但由于點光源的照明特性和海水的強衰減作用,使得觀測場景內(nèi)不同位置上的入射光強度不同,進而導(dǎo)致對應(yīng)位置上的圖像亮度失真。當(dāng)海底表面與成像系統(tǒng)(光源和相機)的觀測距離不變時,圖像上每個位置的總光程差將保持不變,海水對圖像亮度造成的衰減量也基本保持不變。
海底反射亮度是決定相機入瞳能量的主要因素。但由于海水衰減作用,即使海底物質(zhì)比較均一(即反射率相同),同樣會導(dǎo)致相機采集到的圖像在不同圖像位置上亮度不同。這種并非海底目標(biāo)自身輻射特性造成的輻射畸變是影響圖像質(zhì)量的重要因素,須首先剝離。
圖3 所示是大洋海底探測的實際光學(xué)影像。盡管海底比較均勻,基本是由砂礫組成。但由于相機光軸與光源指向不同,海浪等多種因素耦合作用下,不但最大亮度不在圖像中心,而且衰減程度也不以最大亮度為中心呈規(guī)則的圓形分布。造成這種現(xiàn)象的主要原因是由于光照中心Os與成像中心Oc不重合,光照中心Os偏向圖像右上角,導(dǎo)致圖像上最亮的地方并不在圖像的中心,右上部分圖像亮度比其它地方更亮。
圖3 點光源照明下的均勻海底光學(xué)圖像Fig. 3 Underwater optical image of a uniform seafloor illuminated by the point light source
上述現(xiàn)象表明,由于相機視場內(nèi)海底表面各處接收到的照度本身不同,即使是均勻表面也會導(dǎo)致其圖像亮度不同,造成輻射畸變。這是造成水下光學(xué)圖像亮度畸變的主要原因。同時,由于海水對光的衰減與波長有關(guān),短波散射相對較強而吸收相對較弱,長波散射相對較弱但吸收較強,導(dǎo)致水下光學(xué)圖像的色彩一般呈藍(lán)綠色調(diào),這是造成水下光學(xué)圖像顏色畸變的主要因素。由于亮度畸變與色彩畸變機理不同,本文從亮度補償和色彩恢復(fù)兩個方面對水下退化圖像進行增強。此外,由于實際應(yīng)用中光源并不完全滿足理想光源的條件,且相機及系統(tǒng)參數(shù)、海水衰減系數(shù)等未知,難以利用物理模型恢復(fù)亮度。故本文將從圖像自身特點入手,進行圖像亮度和色彩恢復(fù)。
海底探測光學(xué)成像為典型的點光源主動照明成像。當(dāng)光源為理想點光源,且光源中心指向與相機光軸重合且嚴(yán)格標(biāo)定、成像系統(tǒng)與海底準(zhǔn)確距離和海水光學(xué)參數(shù)已知時,可以通過物理模型進行亮度校正和色彩恢復(fù)。
事實上,海底形貌和環(huán)境探測對成像探測系統(tǒng)并不進行嚴(yán)格的標(biāo)定和高精度的裝配,光源、相機及海水等相關(guān)參數(shù)未知,再加上海浪等環(huán)境作用,實際成像狀態(tài)與理想物理狀態(tài)之間存在較大差距,物理模型無法使用。這就需要對光源及成像系統(tǒng)無特殊要求,且能適應(yīng)動態(tài)應(yīng)用環(huán)境的處理方法來解決實際應(yīng)用問題?;诖?,本文提出基于相對輻射校正的思想對海底探測圖像的亮度進行補償。
電荷耦合器件(CCD)是成像系統(tǒng)的重要元件,主要用于光/電轉(zhuǎn)換。由于制造等原因,CCD 器件的每個單元對相同輸入的響應(yīng)不一致,致使被探測對象的圖像亮度失真。為了消除這種因響應(yīng)不一致造成的輻射畸變,遙感成像探測中主要采用相對輻射校正來進行處理。其基本思想是利用成像設(shè)備對相同光照條件下的均勻輻射場成像,由于每個像素上的輻照度相同、反射率相同,那么造成圖像上各像素值不同的原因可以等效為成像系統(tǒng)在每個CCD 單元上的響應(yīng)不同。當(dāng)給每個像素乘以特定系數(shù)或者加以特定偏置,就可以使每個像素在輸入相同時產(chǎn)生相同的輸出,實現(xiàn)各像素響應(yīng)一致,達(dá)到相對輻射校正的目的[16]。這種方式不但可以消除系統(tǒng)響應(yīng)不一致的問題,還可以消除大氣輻射傳輸造成的誤差,是遙感觀測最為重要的定標(biāo)方式之一。
海底光學(xué)探測圖像各通道的亮度由海底自身反射率、入射照度和總光程決定。假定成像相機的CCD 響應(yīng)是一致的,當(dāng)海底物質(zhì)均一時每一地元反射率相同,此時像元的輸出亮度就決定于入射照度和總光程。如圖1 所示,點光源照明其輻射呈放射狀,海底被照亮區(qū)域的相對亮度與其到光照中心Os的距離有關(guān)。由于每一地元到光照中心的距離不同,進而導(dǎo)致圖像上不同像素的亮度不同。對水下圖像輻射校正的目的是剝離海水對光線衰減造成的非均勻性輻射畸變,這一過程可以等效為相同的入射輻射而成像系統(tǒng)的器件單元響應(yīng)不同,因而可以采用相對輻射校正原理來消除圖像上不同位置上的亮度畸變。那么,只要估計出每個像元衰減系數(shù)或者衰減量,再利用這些系數(shù)或者衰減量就可以實現(xiàn)各像素的相對亮度補償。
(1) 參考圖像選擇
相對輻射校正需要表面反射較為均一且地形平坦的區(qū)域作為輻射校正場。在大洋探測中可以選擇同一海域中海底相對均勻、平整區(qū)域的圖像作為參考。對于相同光源、相同光學(xué)系統(tǒng)和相同的海水特性,光輻射衰減主要與對應(yīng)像元到海底的距離有關(guān)。當(dāng)這一距離相對變化較小時,其衰減可以近似相同,從而采用相同的參數(shù)實現(xiàn)不同圖像的亮度校正。在大洋海底探測任務(wù)中,如圖3 所示的圖像大量存在,可以作為亮度相對校正的參考圖像。
(2) 基準(zhǔn)參考亮度估計
理想的輻射參考源表面光滑、均一,為良好的朗伯體。但在實際應(yīng)用常常不能滿足這一條件,因而需要對參考圖像進行預(yù)處理,構(gòu)造出連續(xù)、光滑、趨勢一致性的參考基準(zhǔn)。
由于海水對不同波長的光衰減作用不同,因此將基準(zhǔn)參考圖像(圖3)拆分成3 幅獨立的灰度影像,分別代表紅、綠、藍(lán)3 個通道(圖4 第一排),并進行獨立的亮度校正。
圖4 第二排為3 個通道灰度值分布的三維俯視圖,灰度值近似呈橢圓狀從中心向四周衰減。考慮到實用性、方便性和直觀性,本文采用多項式對各通道圖像的亮度進行曲面擬合。為了獲得合適的多項式次數(shù),進行了系列實驗,分別使用二次、三次、四次和五次多項式對基準(zhǔn)參考圖像(如圖3 所示)各通道的亮度進行擬合。采用二次多項式時,三通道的R2值分別為0.908 5、0.944 1 和0.940 2,三次多項式中的R2值分別0.931 6、0.953 2和0.950 8,四次多項式中的R2值分別0.939 3、0.966 3和0.970 8,五次多項式中的R2分別0.940 8、0.969 9和0.973 7。
圖4 參考圖像的各通道圖像及其亮度擬合曲面。(a)~(c)參考圖像的紅、綠、藍(lán)通道;(d)~(f)紅、綠、藍(lán)通道的三維俯視圖;(g)~(i)紅、綠、藍(lán)通道的擬合曲面Fig. 4 Each channel of the reference image and their brightness fitting surface (a)-(c) red, green, blue channels of the reference image; (d)-(f) 3D top view of the red, green and blue channels; (g)-(i) fitting surface of the red, green, blue channels
由此可知,采用五次多項式時擬合效果最好。但由于高次多項式計算復(fù)雜度高,四次多項式與五次多項式的擬合結(jié)果R2很相近,且在多次不同的實驗中四次多項式均可以獲得很好的擬合效果,故采用四次多項式進行曲面擬合。
多項式曲面方程可以統(tǒng)一用式(2)表示,
其中n代表多項式的次數(shù),aij為多項式的系數(shù)項,(x,y)代表圖像中的像元位置p(x,y)。當(dāng)n=4 時,aij有15 個系數(shù)待解,因而至少需要15 個分布均勻的樣本點。這里,為了獲得穩(wěn)健的結(jié)果,首先對原始圖像進行中值濾波,然后采用最小二乘解求系數(shù),結(jié)果如表1 所示。
表1 參考圖像各通道灰度曲面四次多項式擬合參數(shù)Tab.1 Quartic polynomial fitting parameters of the gray surface of each channel of the reference image
由前述分析可知,當(dāng)成像系統(tǒng)與海底的距離基本保持不變時,海水對光源相同光線的衰減保持不變。當(dāng)光源穩(wěn)定且成像系統(tǒng)距離海底的距離基本保持不變時,不管下墊面如何,海水對光的綜合衰減作用可以認(rèn)為是相同的。因此,對于同批次(成像系統(tǒng)與海底的相對高度基本一致)的海底探測影像,可以直接使用由參考基準(zhǔn)估算出的衰減量進行計算而不必重新估計。但當(dāng)高度變化較大,光源特性改變,或者光源與成像系統(tǒng)相對安裝位置發(fā)生變化時,需要重新利用上述原理進行參考基準(zhǔn)估計,利用新的估計參數(shù)對待處理圖像進行校正。
(3)亮度衰減量計算
用η 表示參考圖像的亮度擬合曲面,它描述了水下光學(xué)圖像不同位置上各種因素造成的衰減量的相對分布。由于參考基準(zhǔn)圖像的下墊面是同一種物質(zhì)形成的均一表面,當(dāng)入射光強相同時,其圖像應(yīng)具有相同的亮度。為了獲得海水對下行和上行光的總衰減量,以擬合曲面(圖4(g)~4(i))的頂點(即最大亮度所在點)為參考點,并設(shè)定該點的衰減量為零。設(shè)擬合曲面最大亮度值為IMax,假定過曲面頂點的平面γ與相機光軸垂直,那么圖像上每個像素(x,y)的亮度補償量δ(x,y)定義為該像素在曲面η與在平面γ對應(yīng)像素值之間的差,即:
獲得每個像素的亮度補償量之后,可以將補償量按像素位置補充到原始圖像上,獲得亮度補償結(jié)果。圖5 第一排所示是按上述方法分別針對圖3 三個通道計算獲得的亮度補償值。圖中亮度越大,意味著補償值就越大。圖5 第二排是經(jīng)過亮度補償后的圖像。對比原圖可以看出,校正后的圖像整體亮度均一,很好地消除了原圖中遠(yuǎn)離光照中心的輻射畸變。
圖5 參考圖像分通道亮度補償結(jié)果。(a)~(c)分別為紅、綠、藍(lán)三通道的亮度補償量;(d)~ (f)補償后的紅、綠、藍(lán)單通道影像Fig. 5 Individual brightness compensation for each channel of the reference image (a)-(c) Degree of compensation of the red,green and blue channels; (d)-(f) compensated red, green and blue single channel images
在獲得參考圖像的亮度補償后,直接應(yīng)用到同批次的其它圖像上。圖6 所示是與參考圖像(圖3)同批次圖像,第一排從左到右所示分別是原始圖像的紅、綠、藍(lán)三通道灰度圖像,第二排所示為利用上述參考圖像亮度補償量直接進行亮度補償?shù)慕Y(jié)果。對比原圖可知,補償后的圖像亮度整體均勻,消除了因總光程不同造成的亮度衰減。特別是距離中心較遠(yuǎn)的四角區(qū)域的亮度,也得到了很好的補償,圖像細(xì)節(jié)得以凸顯。
圖6 采用參考圖像校正參數(shù)對同批次的圖像補償。(a)~(c)紅綠藍(lán)三通道原始灰度圖像;(d)~(f)補償后的紅綠藍(lán)影像Fig. 6 The compensation process of the image in the same batch with reference image correction parameters. (a)-(c) Original gray images of the red, green and blue channels, (d)-(f) compensated images of the three channels
由于可見光傳播衰減的特殊性,水下圖像紅通道的像素均值偏小,在利用傳統(tǒng)圖像增強方法進行色彩全局性恢復(fù)時,紅通道普遍會被過度增大,導(dǎo)致增強后的水下圖像出現(xiàn)嚴(yán)重的紅色偽影。為解決水下圖像中嚴(yán)重衰減的通道在Retinex 方法中過度增強的問題,本文提出基于灰度世界的通道間自適應(yīng)的補償方法,對水下圖像中衰減嚴(yán)重的通道進行預(yù)處理,以避免在亮度校正補償后的水下圖像色彩恢復(fù)過程中出現(xiàn)通道過度補償問題。
在水下圖像中,藍(lán)、綠通道比紅通道保留了更多信息。由于人眼對于綠光較為敏感,研究表明在實驗過程中以綠光為基準(zhǔn)處理后的圖像色彩更符合人類色彩感受[17]。本文選取亮度補償后圖像的綠通道為參考,基于灰度世界理論利用圖像本身信息建立了通道間的自適應(yīng)補償關(guān)系:(1)待補償圖像綠通道與其它通道均值之差和其它通道本身各像素值大小為權(quán)重作為加性補償;(2)以圖3 作為參考圖像,計算亮度補償后的參考圖像三通道的均值間的比例關(guān)系作為乘性補償。如公式(4)所示:
Retinex 顏色恒常理論認(rèn)為人眼感知物體的亮度取決于環(huán)境的照明和物體表面對照射光的反射[18],對處理由于散射導(dǎo)致模糊和色彩失真的圖像有較好的效果。其數(shù)學(xué)表達(dá)如式(5)所示:
式中I(x,y),L(x,y) 為環(huán)境光的照射分量,R(x,y)表示攜帶圖像細(xì)節(jié)的目標(biāo)體的反射分量。將圖像轉(zhuǎn)換到對數(shù)域并進行變換,得到公式(6):
該理論的核心思想是從被觀察圖像I(x,y)中去除或減弱估計量L(x,y)以消除照射分量,獲得物體的反射分量,還原物體原本的顏色并提升清晰度。多尺度Retinex 增強方法(Multi-Scale Retinex, MSR)[19]利用高斯濾波近似估計環(huán)境光的照射分量。對圖像進行高斯濾波時,濾波尺度σ小的高斯核函數(shù)側(cè)重于圖像的邊緣細(xì)節(jié)增強;σ較大的高斯核函數(shù)則更側(cè)重于增強對比度和確定顏色保真性。多尺度增強將這兩種尺度的優(yōu)點相結(jié)合,較單一尺度的增強圖像有更好的處理效果,計算模型如式(7)所示:
式中, λN=1/N為高斯核的個數(shù),LMSR(x,y)表示多尺度增強后的照射分量,LS R,n表示利用第n個高斯函數(shù)的標(biāo)準(zhǔn)差增強的照射分量。由于Retinex 方法在對數(shù)域估計并減去照射分量時可能會出現(xiàn)負(fù)值,再轉(zhuǎn)換回實數(shù)域得到的圖像整體亮度和對比度會下降。因此,本文引入式(8),在不影響Retinex 理論色彩恢復(fù)結(jié)果的前提下提高圖像的對比度,以提高人眼視覺效果。其中avg=127,percent 為對比度調(diào)整因子,經(jīng)實驗取0.5 時可以得到較為理想的圖像,最后對圖像直方圖進行歸一化,使圖像像素分布于[0, 255]內(nèi),以提高圖像的清晰度。
利用公式(7) 經(jīng)驗性地取N等于3,σ按大、中、小3 個尺度分別選取300,100,40,對比分析引入了幾種處理方法的圖像增強效果,如圖7(彩圖見期刊電子版)所示。從對比結(jié)果可以看出,預(yù)處理方法對MSR 本文引入的通道預(yù)補償方法符合灰度世界假設(shè),能有效抑制水下圖像增強中對紅通道過度補償帶來的紅色偽影問題,獲得更接近原始場景的圖像,較好地恢復(fù)了圖像的自然色彩。
圖7 不同圖像增強方法效果對比。(a)預(yù)補償輸入圖像;(b)~(f)分別是灰色世界、本文預(yù)處理方法、MSR、灰色世界算法+MSR、本文預(yù)處理方法+MSR 方法結(jié)果Fig. 7 Comparison of image enhancement with different pre-processing methods. (a) Pre-compensation image; (b)-(f) compensated results with Gray world, the proposed pre-processing method, MSR, Gray world + MSR, and the proposed pre-processing method + MSR methods
為了驗證本文方法的有效性,根據(jù)上述原理開發(fā)了實驗程序,使用大洋海底探測的實際圖像對本文提出的算法進行測試。實驗圖像是由海洋科考船采用拖曳方式拍攝的水下圖像,軟件開發(fā)平臺為MATLAB R2016a。同時,為了能進一步展示本文方法的效果,還與MSR[19]、CLAHE[5]、RCP[9]、RWCGC[6]和UWCNN[13]等圖像增強方法進行實驗對比,分別采用主觀和客觀相結(jié)合的方式對結(jié)果評價。
主觀評價方法是目前圖像質(zhì)量評價的主要且可靠的方法。為了對比不同方法對水下圖像的色彩恢復(fù)性能,圖8(彩圖見期刊電子版)給出了不同方法對亮度校正后參考圖像增強的最終結(jié)果。圖8 上排圖像分別是采用MSR、CLAHE、RCP 3 種方法的增強結(jié)果,下排分別是RWCGC、UWCNN 和本文方法的處理結(jié)果。
參考圖像對應(yīng)的海底是砂礫表面,其近似為灰體且平整,故其恢復(fù)后的彩色圖像不應(yīng)呈現(xiàn)出明顯的彩色特性。圖8 第一排左一MSR 方法的校正結(jié)果中,圖像明顯出現(xiàn)由于過度增強導(dǎo)致的偽影,部分區(qū)域處理仍偏綠色調(diào),圖像整體色調(diào)不一致,與圖像原本色調(diào)相差較大。CLAHE 方法的處理結(jié)果沒能很好地校正偏色問題,也沒能校正亮度失真的問題。RCP、RWCGC 和UWCNN 色彩恢復(fù)方面比CLAHE 效果更好一些,但RCP 和UWCNN 使圖像亮度大幅降低,同時這些處理方法對圖像的亮度校正效果都沒有改善。第二排右一是利用本文方法對參考圖像的增強結(jié)果,結(jié)果顯示本文方法不但很好地校正了圖像的亮度,使得圖像不同位置亮度整體均勻、一致,而且也取得了很好的色彩平衡效果,海底的灰體特性經(jīng)過亮度校正和色彩平衡之后得到較好的復(fù)原。原本灰色的砂礫呈現(xiàn)出灰體特性,接近于灰色調(diào),海底的少量巖石和廢棄物呈現(xiàn)出彩色調(diào),且色澤均勻,整體效果更優(yōu)。
圖8 不同算法對參考圖像校正的結(jié)果。(a)MSR;(b)CLAHE;(c)RCP;(d)RWCGC;(e)UWCNN;(f)本文方法Fig. 8 Comparison of correction results of the underwater image processed by different algorithms. (a) MSR; (b) CLAHE;(c) RCP; (d) RWCGC; (e) UWCNN; (f) The proposed method
圖9(彩圖見期刊電子版) 所示是與參考圖像同批次采集的海底圖像以及不同方法的處理結(jié)果。圖9 第2 行至第6 行分別是利用MSR、CLAHE、RCP、RWCGC 和UWCNN 5 種方法的增強結(jié)果。與參考圖像的結(jié)果類似,在MSR 的結(jié)果中(圖9 第2行),圖像亮度有一定的校正,但原圖像偏暗的地方明顯出現(xiàn)紅色偽影。使用CLAHE 方法增強的圖像(圖9 第3 行)的對比度有較好的提升,但圖像的亮度均勻性和色彩均未得到有效校正,圖像四角的亮度仍然偏暗,且整體與原圖相似,均偏藍(lán)色調(diào)。RCP 的處理結(jié)果(圖9 第4 行),圖像的亮度整體明顯偏暗,且亮度的均勻性未得到有效校正,特別是四角區(qū)域偏暗。RWCGC 的校正結(jié)果(圖9 第5 行),圖像的偏色問題得到一定程度的解決,同時圖像的對比度有較好的提升,但圖像亮度均勻性尚未得到有效改善,且因為經(jīng)過伽馬校正處理,圖像的亮度和暗部區(qū)別更加明顯。對于UWCNN 處理后的圖像(圖9 第6 行),原始圖像偏藍(lán)色調(diào)的問題有一定的改善,但改善效果有限,圖像亮度不均問題未得到有效補償,處理后的圖像較為偏暗。
圖9 最后一行是利用本文方法經(jīng)通道亮度校正、紅通道補償與色彩粗平衡、色彩校正后的增強結(jié)果。觀察圖像可以明顯看出,圖像的整體亮度比較均勻,無論是圖像中心還是圖像角部或者邊緣,亮度都較好地恢復(fù)到相對均勻的程度。圖中包含了大量的巖石和不少的砂質(zhì)表面,對于砂質(zhì)表面,其色彩經(jīng)驗上應(yīng)呈現(xiàn)出灰色調(diào),本文方法的增強結(jié)果基本上呈現(xiàn)出這一特點。同時,對于海底巖石,呈現(xiàn)出青色調(diào)。本文方法的結(jié)果無論是圖像亮度均勻性校正,還是色調(diào)的平衡,都達(dá)到了較好的效果。從圖7~圖9 不同方法處理結(jié)果的對比可知,利用本文提出的海底探測光學(xué)影像質(zhì)量恢復(fù)方法的處理結(jié)果,無論是亮度還是色彩的視覺效果,整體上均優(yōu)于其它方法。
為了定量評價算法性能,除上述主觀評價外,還采用了定量評價方法進行比較。很多學(xué)者提出了多種評價指標(biāo)[2],本文采用無參考的水下圖像質(zhì)量評價(Underwater Image Quality Evaluation,UIQM)[20],以及水下彩色圖像質(zhì)量評價(Underwater Color Image Quality Evaluation, UCIQE)[21]作為定量評價指標(biāo)。針對水下圖像的退化機理和光學(xué)成像特點,UIQM 方法采用色彩測量分量UICM、清晰度測量分量UISM 和對比度測量分量UIConM,由加權(quán)系數(shù)線性組合作為評價水下圖像質(zhì)量的依據(jù)。UCIQE 方法基于CIELab 顏色空間,專門用于水下圖像質(zhì)量評測的指標(biāo),其值為圖像的色度、飽和度和對比度三者加權(quán)線性組合的綜合指標(biāo)。UIQM 和UCIQE 具體計算細(xì)節(jié)詳見文獻[20] 和文獻[21]。表2~表5 給出了參考圖像和圖9 采用不同方法處理后圖像的UIQM和UCIQE 計算結(jié)果。
表2 參考圖像及其在不同算法處理后的客觀評價結(jié)果Tab.2 Objective image quality evaluation results of the reference image and images processed by different algorithms
表3 對于圖9 第一列影像不同算法的客觀評價結(jié)果Tab.3 Objective image quality evaluation results of the first column of Fig. 9 processed by different algorithms
表4 對于圖9 第二列影像不同算法的客觀質(zhì)量評價指標(biāo)Tab.4 Objective image quality evaluation indexes of the second column of Fig. 9 processed by different algorithms
表5 對于圖9 第三列影像不同算法的客觀質(zhì)量評價指標(biāo)Tab.5 Objective image quality evaluation indexes of the third column of Fig. 9 processed by different algorithms
圖9 水下圖像常用增強處理算法的結(jié)果對比。(a)原始圖片;(b)~(g)分別使用MSR、CLAHE、RCP、RWCGC、UWCNN 和本文方法的增強結(jié)果Fig. 9 Comparison of underwater image enhancement processed by different algorithms. (a) Original images; (b)-(g) the results obtained by MSR, CLAHE, RCP, RWCGC, UWCNN and the proposed method
由表2~表5 可以發(fā)現(xiàn),本文方法處理后的圖像UIQM 指標(biāo)最優(yōu);對于UCIQE 指標(biāo),因RWCGC 方法參考圖像中沒有校正亮度,其對比度比本文方法處理后的結(jié)果高,本文方法計算指標(biāo)略低于RWCGC 方法,顯著高于CLAHE 等其它方法的結(jié)果。目前,就無參考圖像質(zhì)量評價而言,仍然以人眼主觀評價為主、客觀評價為輔的方式進行。結(jié)合對圖8 和圖9 不同方法的視覺感受,可以看出本文提出的方法具有較好亮度校正和色彩平衡能力,對水下光學(xué)圖像的增強具有明顯的優(yōu)勢和實用價值。
本文通過分析水下光傳輸機制和光源輻射的物理機理,采用相對輻射校正來剝離并補償光程差引起的衰減,提出了基于相對輻射校正的主動光學(xué)探測圖像增強算法。該方法分兩階段增強,在亮度補償階段首先對原始圖像進行分通道亮度均勻性校正,消除光程差和光源非均勻性造成的圖像輻射畸變,使各通道圖像照度相對一致。在此基礎(chǔ)上進行色彩恢復(fù),對紅通道進行自適應(yīng)預(yù)補償和色彩平衡,然后基于Retinex 方法對圖像進行色彩恢復(fù),避免了后續(xù)增強紅通道過度補償?shù)膯栴},還原海底圖像的自然色調(diào)。實驗對比結(jié)果表明,本文方法的處理結(jié)果圖像亮度均勻、色彩自然,整體上具有很好的效果,UIQM 和UCIQE相較原始圖像分別提升了4 倍和1.4 倍以上,為海底主動光學(xué)探測圖像處理提供了一種實用且有效的方法。