楊 鋒,趙維駿,顧 燕,朱 波,呂 揚,焦國力,閔超波

(1.北方夜視科技(南京)研究院有限公司,江蘇 南京 211102;2.河海大學,江蘇 常州 213022)

1 引 言

目前,計算機視覺技術(shù)被廣泛應(yīng)用于多種領(lǐng)域,如夜視[1-2]、遙感[3]、工業(yè)檢測[4]和醫(yī)學成像[5]。而計算機視覺所依賴的基礎(chǔ)是各類光電成像傳感器所提供的圖像。毫無疑問,輸入圖像的質(zhì)量對機器視覺的性能起到?jīng)Q定性的作用。然而,由于成像傳感器的限制、相機參數(shù)設(shè)置不當、或光照分布不均勻等原因,傳感器的原始圖像通常會存在亮度低、動態(tài)范圍窄、對比度低和細節(jié)損失[6]等缺陷,從而對計算機視覺造成不利影響。因此低光增強是非常必要的,這也是本文的研究重點。

Retinex[7]分解將采集圖像視為反射層和照度層的結(jié)果,通過各種基于Retinex的模型從采集圖像中重新恢復(fù)反射層,因此在圖像增強中廣泛使用。單尺度Retinex(Single Scale Retinex,SSR)[8]和多尺度Retinex(Multi Scale Retinex,MSR)[9]是基于Retinex圖像增強的早期嘗試,它們在對比度增強方面表現(xiàn)良好,但很容易導(dǎo)致輸入圖像暗區(qū)域的細節(jié)丟失。一些基于Retinex的低光圖像增強方法,例如反射層和照度層聯(lián)合估計(Simultaneous Reflectance and Illumination Estimation,SRIE)[10]、利用亮度映射估計的低光圖像增強(Low-Light Image Enhancement,LIME)[11]、基于結(jié)構(gòu)恢復(fù)的低光圖像增強和低階正則化Retinex模型(Low-Rank Regularized Retinex Model,LR3M)[12],可以彌補SSR和MSR的不足。這些方法將低光增強轉(zhuǎn)化為一個多塊凸優(yōu)化問題,并使用交替方向最小化技術(shù)聯(lián)合估計輸入圖像的反射層和照度層。這些基于聯(lián)合估計的方法大大提高了低光增強的性能,然而,也使得圖像增強算法的結(jié)構(gòu)越來越復(fù)雜,導(dǎo)致運算復(fù)雜度高,工程化實現(xiàn)困難。許多研究人員已經(jīng)意識到了這個問題,因此不少增強方法都提出了自己的加速策略。然而,多塊凸優(yōu)化技術(shù)的復(fù)雜性使得低光增強算法的實際應(yīng)用面臨巨大困難。

本文提出了一種基于正則化高斯場(Regularized Gaussian Fields,RGF)的優(yōu)化函數(shù),利用梯度下降算法同時估計反射層和照度層,從而提高低光增強的性能。該方法在正則化高斯場中的實現(xiàn)了Retinex分解,將反射層和照度層的聯(lián)立估計轉(zhuǎn)化為一個無約束優(yōu)化問題。首先,構(gòu)建了基于RGF的Retinex分解模型,該模型可微,因此采用高效簡單的梯度下降技術(shù)(例如擬牛頓法)進行反射層和照度層的聯(lián)合估計。最后,構(gòu)建基于高斯核校正模型,對估計出的反射層進行進一步優(yōu)化,以保持增強圖像的細節(jié)和自然度。實驗結(jié)果表明,與其他同類方法相比,該方法在增強效果和效率方面都具有一定優(yōu)勢。

2 基于正則化高斯場模型的低光增強

2.1 問題表述

Retinex模型解釋了可見圖像的形成,如下所示:

S=R°L

(1)

其中,S表示采集圖像;R表示反射層;L表示照度層。操作°表示按元素相乘。一般來說,R中包含了場景中的細節(jié),L為場景的光照分布。在本文中,S、R和L是m×n的二維矩陣。

為了從采集圖像S中估計R和L,大多數(shù)方法將等式(1)轉(zhuǎn)換為對數(shù)域:s=r+l,其中s=ln(S),r=ln(R),l=ln(L)。因此,估算r和l的目標函數(shù)可以寫成:

(2)

其中,‖·‖F(xiàn)表示F范數(shù)。

最小化目標函數(shù)(2)是一個不適定問題。這很難簡單而準確地解決。為了同時估計反射層和照度層將其轉(zhuǎn)化為無約束優(yōu)化問題,構(gòu)建了基于RGF的Retinex分解優(yōu)化函數(shù),如下所示:

λΦ(fl,fr)

(3)

高斯場模型是連續(xù)可微的,并且在計算方便性方面具有優(yōu)勢。為了確保基于RGF的優(yōu)化函數(shù)(3)是可微的,定義反射層和照度層的映射函數(shù)如下:

(4)

(5)

其中,D是多項式的階數(shù);βd和αdk是多項式系數(shù)。本文將反射層視為采集圖像的映射。因此,使用映射函數(shù)(4)來描述從采集圖像s到反射層r的變換模式。同時,場景中照明分布的規(guī)則模式被表示為映射函數(shù)(5)。高階多項式能較好地擬合真實光照的平滑性和非線性。很明顯,等式(4)和(5)是可微的,因為它們是在多項式上構(gòu)建的。此外,高階多項式能夠處理反射層和照度層規(guī)則模式的復(fù)雜非線性問題。

(6)

(7)

其中,so表示通過從s中刪除奇數(shù)列而創(chuàng)建的1/2大小的輸入圖像;xo是相應(yīng)的坐標矩陣。

(8)

其中,so表示通過從s刪除偶數(shù)列而創(chuàng)建的1/2大小的輸入圖像;xo是相應(yīng)的坐標矩陣。顯然,se與so相似。

從等式(7)中可以發(fā)現(xiàn),由于照明層(5)的映射函數(shù)的平滑性,fl傾向于在輸入圖像so中描述的照明分布的規(guī)則模式。由于fr(so)和so之間的相關(guān)性,fr(so)比fl(xo)對最小化等式(8)的貢獻更大。因此,映射函數(shù)fl主要由等式(7)確定。在這種情況下,公式(8)通過使用Retinex模型使fr(s)接近最佳反射層。因此,基于RGF的優(yōu)化函數(shù)可以同時估計反射層和照度層。

2.2 優(yōu) 化

(9)

公式(9)的相應(yīng)導(dǎo)數(shù)如下所示:

(10)

通過使用導(dǎo)數(shù)公式(10),可以使用基于梯度的數(shù)值優(yōu)化方法,如擬牛頓法,來求解最佳參數(shù)PD,然后實現(xiàn)同時估計反射層和照度層。

由于映射函數(shù)fl和fr是正則的,因此不必使用輸入圖像s的所有像素來解決基于RGF的優(yōu)化問題。因此,可以通過sr=imresize(s,r)壓縮s的尺寸,其中imresize(s,r)返回sr,即s大小的r2倍,r介于0和1之間。然后,將sr代入基于RGF的優(yōu)化函數(shù)(9)和導(dǎo)數(shù)(10),可以估計最優(yōu)fr(s)。此步驟的優(yōu)點是減少優(yōu)化的時間復(fù)雜性,避免過度擬合問題。

2.3 校 正

圖1 RGF的函數(shù)曲線

圖2 基于RGF的優(yōu)化函數(shù)直接估計反射層的示例

從圖2(b)中可知,在輸入圖像的明亮區(qū)域中存在重要的細節(jié)。因此,為了從fr(s)中恢復(fù)正確的反射層,采用以下操作:

rf=ηω(s)°fr(s)+ω(1-s)°s

(11)

其中,s和fr(s)被歸一化。通過使用高斯核ω(sij)=exp{-τ(sij)2},其中τ決定高斯核的范圍,fr(s)與輸入的圖像進行融合。比例參數(shù)η∈(0,1)用于限制fr(s)的強度范圍,以避免過度曝光。校正結(jié)果如圖2(c)所示,可以看出,基于高斯核的校正可以提高增強圖像的細節(jié)保持和自然度。

2.4 計算復(fù)雜度分析

算法1:基于正則化高斯場模型的低光增強方法輸入:灰度圖像S,參數(shù)σ,λ,D,r,τ,η1.s=ln(S),sr=imresize(s,r);2.通過式(6)從sr中生成s^r;3.將sr和s^r代入式(9)和(10),然后用擬牛頓法估計最佳反射層模型frs();4.通過公式(11)從標準化frs()中恢復(fù)R。輸出:最終增強的結(jié)果rf

2.5 實現(xiàn)細節(jié)

該方法有五個參數(shù)需要設(shè)置:σ,λ,D,r,τ和η。參數(shù)σ決定了基于RGF的優(yōu)化函數(shù)中高斯場的范圍。參數(shù)λ用于調(diào)整優(yōu)化中數(shù)據(jù)估計與平滑度之間的權(quán)衡。參數(shù)D控制反射和照度映射函數(shù)的順序。參數(shù)r是用于PD估算中sr的縮小比例。參數(shù)τ和η用于校正fr(s),以實現(xiàn)反射層的恢復(fù)。

在增強性能和計算效率方面,通過多次實驗確定的最佳設(shè)置為:σ=5,λ=0.02,D=4,r=0.2,τ=0.62和η=0.67。優(yōu)化之前,PD初始化為0。輸入圖像的灰度范圍必須壓縮至[0∶1]。

3 實驗與討論

在本節(jié)中,定性和定量地比較了本文方法與幾種最先進的方法,包括對比度受限自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[13]、SRIE、LIME、低照度水下圖像增強(Low-Light Underwater Image Enhancer,L2UWE)[14]、LR3M和半解耦分解低光圖像增強(Semi-Decoupled Decomposition,SDD)[15]。然后,測試了不同參數(shù)的影響,并對反射層模型進行了消融研究。以上方法的Matlab代碼由作者提供。本文中所有實驗都是在一臺windows10操作系統(tǒng)(64位)的計算機上進行的,該計算機采用Intel Core i7-10750H CPU @2.60GHz,內(nèi)存16GB。本實驗中所有增強結(jié)果都是在沒有任何預(yù)處理和去噪算法的情況下實現(xiàn)的。

3.1 數(shù)據(jù)集

本文測試圖像是從公開數(shù)據(jù)集MIT-Adobe FiveK Dataset[16]中選取的173幅圖像。在此數(shù)據(jù)集中,對每種場景的圖像利用Adobe Lightroom進行手動調(diào)節(jié)亮度,生成5個不同版本的圖像。選擇最暗的版本作為輸入的低光圖像,最亮的版本作為定量比較的參考。圖3顯示了數(shù)據(jù)集中的一些樣本,可以看出數(shù)據(jù)集中的大多數(shù)圖像對比度低、亮度不足、動態(tài)范圍窄、光照不均勻,這些都增加了圖像增強的難度。

圖3 輸入圖像和其參考圖像的示例

3.2 RGF優(yōu)化函數(shù)的消融實驗

圖4 用s代替的RGF優(yōu)化函數(shù)的估計結(jié)果

圖5 RGF優(yōu)化函數(shù)收斂結(jié)果示例

3.3 定性比較

在公開數(shù)據(jù)集上,本文定性測試了CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和本文方法在彩色圖像上的性能。針對RGB彩色圖像,首先將輸入圖像轉(zhuǎn)換為HSV色彩空間,然后在圖像的V通道上執(zhí)行CLAHE和本文方法,最后將處理后結(jié)果從HSV轉(zhuǎn)換回RGB色彩空間。LR3M、LIME、L2UWE和SDD可以直接增強彩色圖像,從而將輸入圖像作為初始值。圖6提供了通過不同方法獲得的增強結(jié)果之間的若干比較?？梢钥闯?所有輸入圖像的亮度分布是不均勻的,這有助于測試增強算法在非均勻照明下的性能。

圖6 CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和

從比較中可以看出,在一定程度上,所有方法都可以從暗區(qū)域中恢復(fù)信息。就照明暗區(qū)的質(zhì)量而言,SRIE和LIME在大多數(shù)給定示例中優(yōu)于CLAHE、L2UWE、LR3M和SDD,但比本文方法差。特別是在放大的斑塊中,本文方法可以適當?shù)乇Ａ艏毠?jié),并大大提高暗區(qū)域的對比度。相比之下,LR3M和SDD在去噪方面表現(xiàn)良好,但在低光增強方面表現(xiàn)不佳。同時,L2UWE和SRIE的結(jié)果總是存在過增強。與幾種最先進的方法相比,本文方法更好地保留和增強了明亮區(qū)域的紋理細節(jié)信息。從圖6(a)和(d)中的水面以及圖6(b)中的建筑物可以看出,低光圖像中的亮區(qū)和暗區(qū)都得到了適當?shù)脑鰪?因此本文方法的增強結(jié)果具有優(yōu)秀的可視性和自然性。圖7顯示了本文方法的更多結(jié)果,進一步佐證了這一點。

圖7 所提出方法的增強結(jié)果示例

3.4 定量比較和計算時間

由于單個度量不能全面反映增強的性能,因此本文在定量評估中使用了三個基于參考圖像的度量和一個無參考圖像質(zhì)量分數(shù)。亮度順序誤差(Lightness Order Error,LOE)[17]表示增強圖像的自然度。結(jié)構(gòu)相似性(Structural Similarity,SSIM)通常用于衡量增強圖像與參考圖像之間的相似性?；诰植康膶Ρ榷荣|(zhì)量指數(shù)(Patch-Based Contrast Quality Index,PCQI)[18]可用于測量增強圖像的整體和局部對比度質(zhì)量。自然圖像質(zhì)量評估器(Natural Image Quality Evaluator,NIQE)[19]是一種盲圖像質(zhì)量評估模型。

本文使用的數(shù)據(jù)集定量結(jié)果報告在表1中,↓ 指示值越高表示質(zhì)量越低?！?指示值越低表示質(zhì)量越低。粗體顯示的值表示每個指標中最好的三個分數(shù)。很明顯,本文方法在數(shù)據(jù)集上通常具有最好的質(zhì)量。L2UWE的PCQI和NIQE得分高于本文方法,表明存在強烈的對比。這是因為L2UWE通常會過度增強輸入的低光圖像,如圖6中L2UWE的結(jié)果所示。在所有客觀測量中,本文方法的結(jié)果都排在前三位。

表1 定量比較CLAHE、SRIE、LIME、L2UWE、LR3M、SDD和本文方法

從定性和定量比較中可以發(fā)現(xiàn):LIME的性能與本文方法相當。然而,本文方法比LIME快得多。對于900×600的輸入圖像,LIME的平均運行時間為35.36 s,在同樣的計算資源條件下,本文方法的平均運行時間為15.13 s。一般來說,本文方法比LIME快約2.5倍。此外,SRIE、LR3M和SDD的平均運行時間分別為17.3 s、366.2 s和33.8 s,均高于本文方法。這表明,與基于交替方向最小化技術(shù)的反射層估計相比,基于RGF的優(yōu)化可以更快地收斂到最優(yōu)值。

3.5 參數(shù)配置測試

該方法有五個參數(shù)需要設(shè)置:σ,λ,D,r,τ和η。從式(9)中,可以看出參數(shù)σ和D是最重要的,因為它們可以直接決定基于RGF的優(yōu)化函數(shù)的性能。參數(shù)σ和D對基于RGF的優(yōu)化函數(shù)的影響如表2所示,↓指示值越高表示質(zhì)量越低,↑指示值越低表示質(zhì)量越低。為了分別測試不同參數(shù)的影響,我們改變一個參數(shù)的值,同時保持另一個參數(shù)不變。根據(jù)表2中的定量測量結(jié)果可以看到:σ=5和D=4時,本文方法在低光增強方面的性能最好。

表2 參數(shù)σ和D的影響

表3顯示了本文方法在不同r下的定量結(jié)果和運行時間,↓ 指示值越高表示質(zhì)量越低,↑ 指示值越低表示質(zhì)量越低。由于基于RGF的估計中使用的像素很少,當r<0.2時圖像增強方面的性能有限。另一方面,當r>0.2時,用于優(yōu)化處理的像素更多,可以略微地提高增強的質(zhì)量,但本文方法的運行時間也大幅提高。因此,r=0.2的方法在低光增強和計算復(fù)雜度方面都具有最佳性能。

表3 參數(shù)r的影響

4 結(jié) 論

本文提出了基于RGF的Retinex分解優(yōu)化函數(shù),利用梯度下降算法實現(xiàn)了反射層和照度層的聯(lián)合估計。并且基于高斯核對反射層進行細化,以保持增強圖像的細節(jié)和自然度。該方法結(jié)構(gòu)簡單,計算效率高。使用主觀和客觀評估對所提出的方法進行了綜合實驗,與同類方法相比,該算法在計算速度和增強質(zhì)量方面都具有一定優(yōu)勢。