馮 維，吳貴銘，趙大興，劉紅帝

(1.湖北工業(yè)大學(xué) 機械工程學(xué)院，湖北 武漢 430068；2.現(xiàn)代制造質(zhì)量工程湖北省重點實驗室，湖北 武漢 430068)

1 引 言

高質(zhì)量圖像為圖像的后續(xù)處理提供保障，而在弱光照環(huán)境中，僅通過設(shè)備往往不能直接獲取清晰、高對比度的圖像，因此圖像增強成為了圖像應(yīng)用于特定場合與系統(tǒng)的重要方法。目前，圖像增強已應(yīng)用于各種科學(xué)和工程領(lǐng)域，如大氣科學(xué)、衛(wèi)星遙感、計算機視覺、人體醫(yī)學(xué)及交通領(lǐng)域[1-4]等，因此，對于在外界光照不充足或圖像采集設(shè)備進光量不足時獲得的弱光圖像進行增強處理，是圖像處理領(lǐng)域一個必不可少而又極為重要的研究內(nèi)容。目前，基于直方圖均衡化方法、基于Retinex理論方法和基于圖像去霧算法等增強算法已經(jīng)被廣泛應(yīng)用于通過設(shè)備采集圖像后處理的過程中，以便于后續(xù)圖像處理步驟。

基于Retinex算法主要解決分解后照明圖信息的準確估計問題和結(jié)構(gòu)信息的有效保存問題。反射圖包含圖像彩色和紋理信息，其被處理后很容易造成顏色失真，通常是對照明圖估計來得到更好的對比度和細節(jié)特征增強，例如經(jīng)典的單尺度Retinex(Single-Scale Retinex，SSR)、多尺度Retinex(Multi-Scale Retinex，MSR)、帶顏色恢復(fù)的多尺度Retinex(Multi-Scale Retinex with Color Restoration，MSRCR)[5-7]，SSR，MSR以及之后的一些對數(shù)域照明估計方法及改進方法不能有效保留細節(jié)信息和圖像自然度，出現(xiàn)局部欠增強或過增強現(xiàn)象。對于照明圖和反射圖不能有效估計問題，F(xiàn)u等提出同步反射率和光照估計的加權(quán)變分模型(Simultaneous Reflectance and Illumination Estimation，SRIE)[8]，能夠有效估計照度和反射率，保持反射圖細節(jié)，但是合成之后的增強有一定的局部欠增強和顏色失真問題。對于圖像自然度保存問題，Wang等[9]提出非均勻弱光圖像自然度保持(Naturalness Preserved Enhancement，NPE)算法，在增強圖像的同時有效地保留圖像照度信息，但是最終增強結(jié)果對非均勻光照圖像存在細節(jié)模糊現(xiàn)象。隨后，F(xiàn)u等[10]提出基于多圖像融合的弱光照圖像增強算法同時提高圖像對比度和亮度，多圖像通過不同采樣信息進行融合同時提升對比度和顏色特征提取，但是沒有考慮不同融合圖像結(jié)構(gòu)信息的相似性，在局部光照突變處細節(jié)信息不清晰。

基于此，本文提出一種基于Retinex理論的多圖像融合弱光圖像增強算法，通過加權(quán)最小二乘濾波方法對多幅照明圖進行加權(quán)估計，實驗結(jié)果表明該算法增強圖像全局對比度的同時，還有效的保持了圖像自然度和細節(jié)特征。

2 相關(guān)理論

2.1 Retinex理論

Retinex理論是建立在人對顏色感知的恒常性上，通過將圖像分解為照明圖像和反射圖像，并通過多種方式估計照明圖像，最后去除照明圖像從而得到增強之后的圖像，其基本表達式為：

I(x，y)=L(x，y)*R(x，y)，

(1)

其中：I(x，y)表示原始圖像，L(x，y)表示照明圖像，R(x，y)表示反射圖像。

圖1所示為對數(shù)域Retinex照明估計。Retinex可以在動態(tài)范圍內(nèi)壓縮、對比度增強等方面達到平衡，因此對于不同類型圖像有著自適應(yīng)增強效果。對照明圖像的估計算法，一般是基于對數(shù)域?qū)崿F(xiàn)Retinex算法，將公式(1)轉(zhuǎn)換到對數(shù)域中，采用局部高斯濾波或中心環(huán)繞函數(shù)對光照進行估計等，整體亮度提升后再從對數(shù)域還原，即得增強后圖像。

圖1 對數(shù)域Retinex照明估計Fig.1 Log domain illumination estimation of Retinex

對數(shù)域照明估計方法，雖考慮了光照強度的非線性變化的特點，卻會產(chǎn)生邊緣偽影，同時沒有考慮真實圖像的反射率要求。在自然條件下，圖像的反射率在區(qū)間[0， 1]內(nèi)。當反射率接近于1時，圖像接近自然光照的最大值，而對數(shù)域照明估計對圖像局部區(qū)域的反射率有時會達到1.5以上，這就會導(dǎo)致局部區(qū)域過增強而顯得不真實。本文通過在圖像R，G和B通道中找到最大值來估計圖像每個像素的亮度，保證圖像反射率在[0， 1]之間，同時由于光照在每個通道的空間光滑性[11]，所以能保持圖像的細節(jié)信息。初始照明估計表示為：

(2)

其中：Sc(x，y)表示原始圖像的像素位置，c表示顏色通道，Linit(x，y)表示與原始圖像像素位置相對應(yīng)的初始照明估計圖。

2.2 伽馬矯正與雙對數(shù)變換

伽馬矯正[12]是一種非線性圖像亮度增強方法，輸出圖像是通過輸入圖像的指數(shù)變換，使得輸出圖像整體對比度更符合人眼對光線感受，表示如下：

Vout(x，y)=BVin(x，y)γ，

(3)

其中：Vin(x，y)表示原始圖像每一個像素，Vout(x，y)表示伽馬矯正之后的圖像對應(yīng)像素，B表示系數(shù)，γ表示伽馬值。對于弱光照圖像，伽馬值小于1時，圖像的整體亮度值得到提升。本文通過伽馬變換得到照明估計圖，并作為初始照明融合圖。

雙對數(shù)變換是一種對數(shù)域直方圖規(guī)定化處理，對于空間域通過映射函數(shù)將均衡化的原始圖像灰度分布對應(yīng)到某一特定形狀的直方圖分布。而對數(shù)域直方圖變換能完成圖像灰度級的擴展和壓縮[13-14]，有利于圖像局部增強處理，從而實現(xiàn)局部亮度增強和細節(jié)保持。本文通過雙對數(shù)變換得到輸入圖像到細節(jié)保持圖像的映射關(guān)系以實現(xiàn)局部對比度增強。又因為對數(shù)域變換會使得直方圖正規(guī)化輸出圖像的亮度變得非常相似，根據(jù)文獻[9]，適當增加低灰度值的數(shù)量，可得到新的加權(quán)直方圖分布為：

(4)

其中：Lr(x，y)表示原始照明輸入圖像，P(x，y)表示脈沖函數(shù)，當x=y時，P(x，y)=1，否則P(x，y)=0，log(Lr(i，j))表示原始照明圖像對應(yīng)的對數(shù)域照明圖像，ε表示修正系數(shù)，實驗中設(shè)置為1。因此可得到修正之后的目標圖像的累計分布函數(shù)(Cumulative Distribution Function，CDF)為：

(5)

按照直方圖規(guī)定化的定義，概率密度直方圖對應(yīng)強度值以下的面積相等，因此可得到輸入圖像和目標圖像之間的映射關(guān)系，本文利用雙對數(shù)變換即可得到局部增強和細節(jié)保持的照明增強圖，用式(6)、式(7)可求得：

pr(Ocdf)=Icdf(z)，(z=0，1，2，…，L-1)，

(6)

(7)

其中：Icdf(z)表示輸入圖像對數(shù)域直方圖均衡化得到的累計分布函數(shù)，Pr(z)表示目標圖像與輸入圖像累計分布函數(shù)的映射關(guān)系。通過公式(7)映射函數(shù)反變換，即得照明圖L1雙對數(shù)變換之后的圖像L3。

2.3 加權(quán)最小二乘估計

加權(quán)最小二乘濾波算法(Weighted Least Square Filtering，WLS)是一種邊緣保持性濾波算法，可表示為：

(8)

其中：p代表像素的位置，up代表濾波輸出圖像，gp代表輸入圖像，ax，ay代表權(quán)重系數(shù)。公式(8)中第1項代表輸出濾波圖像和輸入圖像的相似度差異；第2項是正則化項，通過對x，y方向求偏導(dǎo)，使得輸出圖像越平滑越好。加權(quán)最小二乘濾波通過最小化相似度差異，保留圖像的結(jié)構(gòu)信息。

3 反射圖與照明圖估計

3.1 反射圖估計

圖2所示為反射圖估計，針對原始弱光圖像，在R，G和B通道中找到最大值來估計圖像每個像素的亮度，通過公式(2)得到初始照明圖。為便于在反射圖中保留顏色信息，假設(shè)3個通道具有相同的反射率，則反射圖為：

(9)

其中：Rinit表示初始照明估計圖，ε為微小實數(shù)，避免分母為0。

初始照明圖是通過通道最大值來獲得的，由于未考慮到R，G和B 3個通道之間的聯(lián)系，因此通過公式(9)得到的初始反射圖的局部細節(jié)特征粗糙。因此，本文提出采用形態(tài)學(xué)閉合的方式調(diào)整反射圖，彌補反射圖的細節(jié)損失，使得反射圖具有更清晰的細節(jié)特征，調(diào)整反射圖可表示為：

Radjust(x，y)=Rinit(x，y)°Estruc，

(10)

其中：Estruc表示圓盤形結(jié)構(gòu)元素，Radjust(x，y)表示初始反射圖對應(yīng)像素位置得到的調(diào)整反射圖，°表示形態(tài)學(xué)閉合操作。

(a)原圖(a)Original image(b)初始照明圖(b)Initial illumination map(c)初始反射圖(c)Initial reflection map(d)調(diào)整反射圖(d)Adjust reflection map(e)局部放大圖(e)Local amplification image圖2 反射圖估計Fig.2 Reflection map estimation

3.2 加權(quán)最小二乘圖像融合照明估計

本文提出的多圖像融合策略中，選擇3幅圖像作為初始融合照明圖，圖3所示為通過最小二乘濾波照明估計圖。第1幅照明圖像I1是初始照明估計圖Iinit，它是整個融合策略的基礎(chǔ)，包含了原始弱光圖像的結(jié)構(gòu)信息和基準色調(diào)，結(jié)構(gòu)信息的保留避免了后續(xù)處理對原始圖像特征造成扭曲?；鶞噬{(diào)保留了圖像復(fù)原過程中對比度信息。第2幅照明圖I2是伽馬矯正照明估計圖，通過伽馬矯正提升了初始照明圖的整體對比度，較暗的區(qū)域被增強而過亮的區(qū)域又能夠被抑制。第3幅照明圖像I3是直方圖規(guī)定化照明估計圖，通過雙對數(shù)變換處理，保留照明圖更多的自然度信息。本文算法可表示為：

(11)

式中：B是伽馬矯正的調(diào)整系數(shù)，Pr表示通過雙對數(shù)變換得到的映射關(guān)系。

(12)

其中：λ表示平滑因子，控制WLS濾波圖像對于原始圖像的平滑程度，λ越大得到的濾波圖像越平滑，但局部細節(jié)特征會變得模糊，Ik表示第k個照明圖像，LIk是2.3節(jié)中WLS公式的矩陣形式，Dx，Dy分別表示前向差分矩陣，Ax，Ay表示權(quán)重分配值。

(13)

其中上標d和s分別表示濾波所得到的細節(jié)層和平滑層。

圖3 照明估計與濾波圖Fig.3 Illumination estimation and filtering image

對于平滑層圖像融合，結(jié)合對比度和細節(jié)融合的特點，本文采用一種根據(jù)融合圖像本身和圖像之間的差異性自適應(yīng)的分配權(quán)重策略，使得對比度較高的照明圖像能分配較高的權(quán)重，同時對比度有著較大差異的區(qū)域融合后有著較高的相似度，保證光照分量平滑過渡。權(quán)重有兩部分組成，第一部分是對比度權(quán)重，每一幅對比度權(quán)重分別由與其對應(yīng)的照明圖得到；第二部分是相似度權(quán)重，由相鄰圖像相似度所共同決定的，如公式(14)所示：

(14)

式中：μ表示均值變換因子，σ表示方差變換因子，A∈(0，1]表示權(quán)重調(diào)節(jié)系數(shù)，調(diào)節(jié)對比度占比，通過對多幅圖像的融合實驗表明對比度權(quán)重對圖像增強效果顯著，而相似度對于融合效果的起著微調(diào)作用，因此設(shè)置權(quán)重調(diào)節(jié)系數(shù)改善融合效果。

平滑層WLS自適應(yīng)加權(quán)融合公式如下所示：

(15)

其中分母表示總權(quán)重歸一化項。

(16)

結(jié)合公式(15)和公式(16)，可得到最終照明估計：

Lfinal(x，y)=Ls(x，y)+Ld(x，y)，

(17)

其中Lfinal即是通過自適應(yīng)WLS得到的最終照明估計圖，如圖4所示。

當?shù)玫秸{(diào)整之后的反射和照明估計圖后，通過Retinex分解原理即可重構(gòu)之后的增強圖，可表示為：

(18)

(a)平滑層融合(a)Fusion of smooth layer(b)細節(jié)層融合(b)Fusion of detail layer(c)最終照明融合(c)Fusion of final illumination(d)局部放大圖(d)Local amplification image圖4 照明融合圖Fig.4 Fusion of illumination image

為了避免圖像采集過程中噪聲因素對后續(xù)圖像處理的影響，同時為了減少運算時間，本文首先通過下采樣操作降低圖像分辨率，然后根據(jù)上述增強算法得到初始照明和反射圖，最后融合、合成得到最終增強之后的圖像。表1描述了本文算法的流程。

表1 整體算法流程

4 對比實驗

4.1 對比方法及參數(shù)設(shè)置

本文所提出弱光照增強算法在電腦配置為CPU：Intel Core i5-9300H，主頻：2.40 GHz，內(nèi)存：4 G環(huán)境下的Matlab軟件中運行的。為了表明本文所提算法的優(yōu)越性，分別與其他6種弱光增強算法進行對比實驗，具體包括兩種基于Retinex的方法： MSR，MSRCR；一種基于灰度直方圖的弱光增強算法：上下文及變分對比度增強算法(Contextual and Variational Contrast Enhancement，CVC)[15]；兩種基于照明估計的增強算法：SRIE，NPE；Fu提出的一種多圖像融合增強算法[10]。通過主觀評價方法和客觀評價方法對增強圖像進行評估，由于與低照度圖像相對應(yīng)的正常光照圖像未知，針對增強之后的圖像質(zhì)量，本文采用盲圖像質(zhì)量評價(Natural Image Quality Evaluator，NIQE)[16]；對于增強圖像與原始弱光照圖像的對比，則采用亮度順序差(Lightness-Order-Error，LOE)[9]指標評價。另外實驗參數(shù)設(shè)置如表2所示。

表2 實驗參數(shù)設(shè)置

4.2 主觀對比增強結(jié)果對比

圖5所示為對比實驗圖，原圖為弱光自然場景圖，樹木和部分建筑有背光，且和白色的柱子有較高對比度差異。MSR算法對遠景天空色彩失常，且暗光區(qū)域效果不明顯；MSRCR算法在顏色增強上有了很大提升，但是對局部區(qū)域有過增強，且對比度增強效果依賴由于人工參數(shù)調(diào)整；CVC算法不能有效增強暗區(qū)域，而且高對比度區(qū)域增強效果不能有效體現(xiàn)；SRIE算法對光照有較好的提升，但是部分背光區(qū)域卻看不清晰；NPE算法對圖像整體自然度有較高保持，但是過增強明顯，而且遠景細節(jié)模糊；Fu的算法對于圖像增強對比度和圖像細節(jié)有較大提高，但左上角光照突變處邊緣輪廓模糊；而本文算法不僅對整體對比度進行增強，沒有局部欠增強和過增強現(xiàn)象，而且通過對照明的有效估計，對細節(jié)區(qū)域有自然度保持效果。

(a)原圖(a)Original image(b)MSR(b)MSR(c)MSRCR(c)MSRCR(d)CVC(d)CVC

(e)SRIE(e)SRIE(f)NPE(f)NPE(g)Fu的算法(g)Fu’s algorithm(h)本文算法(h)Our algorithm圖5 典型弱光圖像對比實驗結(jié)果Fig.5 Experimental results of typical low light image contrast

圖6為某校圖書館自然弱光圖，背景是傍晚稍暗的天空，全圖不僅整體對比度低而且前后景都存在背光現(xiàn)象。從增強的效果來看，MSR對背景天空產(chǎn)生嚴重的顏色扭曲；MSRCR算法對背景天空和圖書館上部分別產(chǎn)生了過增強和欠增強現(xiàn)象；CVC算法對暗光區(qū)域沒起到增強作用而且彩色失真；SRIE算法整體光照和對比度欠增強，而且部分前景，如樹木和雕塑欠增強明顯；NPE算法較原圖對比度有明顯增強作用，且整體自然度較高，但是樹木和雕塑不能有效光照補償；Fu的算法對前后景光照變化(雕塑與臺階)處有邊緣模糊現(xiàn)象；本文算法不僅對整體對比度有效增強、漸變的背景天空很好地保留了自然度，而且前景的樹木、雕塑、花圃都清晰地表現(xiàn)出來，相較于其他方法對弱光圖像的單一屬性的增強，本文算法對對比度、色彩和局部細節(jié)特征能同時起到增強的效果。

(a)原圖(a)Original image(b)MSR(b)MSR(c)MSRCR(c)MSRCR(d)CVC(d)CVC

(e)SRIE(e)SRIE(f)NPE(f)NPE(g)Fu的算法(g)Fu’s algorithm(h)本文算法(h)Our algorithm圖6 自然弱光圖像對比實驗結(jié)果Fig.6 Experimental results of natural low light image contrast

4.3 客觀評價指標

表3和表4分別為圖5和圖6對應(yīng)方法的客觀評價數(shù)據(jù)，為減少計算量，圖5和圖6的分辨率分別為下采樣之后的像素120×80 pixel，120×80 pixel。從表中數(shù)據(jù)可知，本文算法的LOE值略低于NPE算法，但在所有弱光增強算法中對圖像自然度的保持效果最好。同時，本文算法的NIQE指標在所有方法中是最低的，這表明本文方法在增強圖像對比度的同時沒有較大的細節(jié)模糊和顏色失真，在不考慮圖像噪聲情況下，光照增強的過渡相對平滑。在算法運行效率方面，除去只在空間域進行映射增強的CVC算法運行時間最短外，基于多圖像融合的Fu的算法和本文算法較其他方法運行時間更短，但本文算法避免了多次尺寸調(diào)整求權(quán)，運算效率更高。

表3 圖5對應(yīng)圖像LOE和NIQE指標

表4 圖6對應(yīng)圖像LOE和NIQE指標

5 結(jié) 論

為了在圖像弱光增強過程中同時提高對比度和保持自然度，本文提出一種基于Retinex的多圖像融合算法，根據(jù)Retinex理論和通道最大值分別得到初始照明圖和反射圖，并通過形態(tài)學(xué)閉合的方式，彌補了圖像細節(jié)的損失。對于照明圖，本文通過設(shè)計一種自適應(yīng)加權(quán)最小二乘濾波多圖像融合的策略，根據(jù)伽馬變換和雙對數(shù)變換調(diào)整初始照明圖分別得到全局對比度增強圖和自然度保持圖，再對濾波得到的平滑層和細節(jié)層分別融合和像素級相加以得到最終照明估計圖，最后將調(diào)整反射圖和照明圖合成增強之后的圖像。結(jié)果表明，對實驗中實際自然弱光場景的LOE，NIQE值分別降到4.12和3.25，較其他方法有更好的增強效果，表明本文算法在弱光圖像增強方面有優(yōu)越的性能。