郭 倩 朱振峰 常冬霞 趙 耀

(1. 北京交通大學(xué)信息科學(xué)研究所,北京 100044； 2. 北京市現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100044)

1 引言

隨著現(xiàn)代網(wǎng)絡(luò)與多媒體的快速發(fā)展,圖像的應(yīng)用已成為生活中不可或缺的一部分。但是,由于拍攝環(huán)境條件差,如雨天[1]、霧天[2]、夜間[3]、逆光[4]等,造成采集圖像中的景物出現(xiàn)可見(jiàn)度降低、顏色退化等問(wèn)題。為提高這些低質(zhì)圖像的可用性,需對(duì)其進(jìn)行增強(qiáng)處理。本文主要針對(duì)逆光圖像的增強(qiáng)問(wèn)題開(kāi)展研究。逆光圖像產(chǎn)生的原因是被拍攝物體恰好處于光源與捕獲設(shè)備之間。由于逆光,采集圖像背景亮度遠(yuǎn)遠(yuǎn)高于被攝主體(如行人、車(chē)輛等),進(jìn)而造成圖像有意義的區(qū)域可視質(zhì)量降低。

常見(jiàn)的逆光圖像增強(qiáng)技術(shù)可分為兩類(lèi)[5]：全局與局部處理的方法?；谌值膱D像增強(qiáng)技術(shù)主要包括：對(duì)數(shù)變換、β函數(shù)變換[6]及直方圖均衡化[7- 8](Histogram Equalization,HE)等。其中,直方圖均衡化最為典型,它利用灰度的統(tǒng)計(jì)特征,將原始圖像的灰度分布從較為集中的區(qū)間映射到整個(gè)灰度區(qū)域均勻分布,從而達(dá)到圖像增強(qiáng)的目的。Fu等人基于顏色統(tǒng)計(jì)提出的顏色估計(jì)模型[9](Color Estimation Model,CEM),可以提高低照度圖像的亮度,恢復(fù)圖像的細(xì)節(jié)與顏色信息。但是,在圖像灰度分布不均勻的情況下,通過(guò)全局增強(qiáng)的圖像會(huì)出現(xiàn)局部區(qū)域增強(qiáng)不足的問(wèn)題。

不同于圖像的全局增強(qiáng),局部增強(qiáng)方法則利用圖像局部區(qū)域像素點(diǎn)相關(guān)性較大的性質(zhì),在一定程度上克服了全局增強(qiáng)方法對(duì)圖像局部區(qū)域的亮度增強(qiáng)不足的問(wèn)題。常見(jiàn)的局部處理方法包括Retinex算法[10-11]與平均保持雙直方圖均衡[12](Brightness Preserving Bi-Histogram Equalization,BBHE)等。Retinex系列算法包括單尺度Retinex[10](Single Scale Retinex,SSR)和多尺度Retinex[11](Multi-Scale Retinex,MSR)等。經(jīng)過(guò)SSR增強(qiáng)的圖像雖然可以恢復(fù)細(xì)節(jié)與顏色信息,但增強(qiáng)性能極易受到尺度參數(shù)的影響。在SSR的基礎(chǔ)上,為降低尺度對(duì)增強(qiáng)性能的影響,MSR對(duì)不同的尺度分配不同的權(quán)重。因此,基于MSR增強(qiáng)的圖像擁有較好顏色保真度與較高的壓縮能力。BBHE根據(jù)原圖的灰度均值將輸入圖像分割成兩個(gè)子圖像,然后對(duì)兩個(gè)子圖像分別進(jìn)行均衡化處理,以達(dá)到保持圖像亮度的目的。但是,局部增強(qiáng)方法在增強(qiáng)圖像的同時(shí)也易于放大噪聲,造成邊緣模糊的問(wèn)題。

綜合上述對(duì)全局與局部區(qū)域增強(qiáng)方法的分析,本文提出一種融合全局與局部區(qū)域亮度的逆光圖像增強(qiáng)方法。為避免CEM模型對(duì)局部暗區(qū)的過(guò)度增強(qiáng)導(dǎo)致的“虛化”現(xiàn)象,提出了亮度保持的顏色估計(jì)模型(Brightness Preserving Color Estimation Model,BPCEM)。此外,針對(duì)全局增強(qiáng)與局部區(qū)域增強(qiáng)方法間的平衡問(wèn)題, 通過(guò)引入圖像局部塊信息熵,有效地實(shí)現(xiàn)它們之間的自適應(yīng)融合。

2 逆光圖像增強(qiáng)算法流程圖

圖1為本文提出的逆光圖像增強(qiáng)算法流程。該流程主要由三部分組成：1)圖像全局增強(qiáng)：基于逆光圖像的全局統(tǒng)計(jì)特性,通過(guò)CEM模型對(duì)圖像進(jìn)行整體亮度增強(qiáng),同時(shí)保持圖像的細(xì)節(jié)信息；2)圖像局部區(qū)域增強(qiáng)：對(duì)經(jīng)過(guò)分割后得到的圖像亮區(qū)與暗區(qū)分別采用BPCEM模型進(jìn)行局部增強(qiáng),在保持亮度的同時(shí),避免過(guò)度增強(qiáng)導(dǎo)致的虛化問(wèn)題；3)圖像融合：通過(guò)引入局部塊信息熵,實(shí)現(xiàn)全局增強(qiáng)與局部增強(qiáng)的自適應(yīng)融合,從而改善逆光圖像的光照質(zhì)量。最后利用雙邊濾波器對(duì)融合后的圖像進(jìn)一步濾波以減少噪聲影響。

圖1 逆光圖像增強(qiáng)算法流程圖

3 基于顏色估計(jì)模型的圖像全局增強(qiáng)

顏色估計(jì)模型[9](Color Estimation Model,CEM)是Fu等人提出的一種映射方法,它可以將較小的灰度值映射為較大的灰度值,從而提高圖像的整體亮度。對(duì)于逆光圖像I,通過(guò)CEM增強(qiáng)后得到的圖像IGE為：

(1)

這里,fCEM(I)為單調(diào)映射函數(shù)。對(duì)于CEM模型,fCEM(I)有如下形式：

(2)

其中,λ為調(diào)節(jié)參數(shù)(參考文獻(xiàn)[9],本文取值：1.33),MI為圖像I的灰度均值。

圖2所示為通過(guò)CEM對(duì)逆光圖像進(jìn)行全局增強(qiáng)的結(jié)果。從圖中可以看出,利用CEM對(duì)逆光圖像(圖2(a))進(jìn)行全局增強(qiáng),可以提高輸入圖像的整體亮度,恢復(fù)圖像的顏色與細(xì)節(jié)信息。但是,在圖像較暗區(qū)域(圖2(b)的紅色圓圈標(biāo)記區(qū)域),其增強(qiáng)效果并不理想。

圖2 基于CEM模型的全局圖像增強(qiáng)

通過(guò)分析CEM模型可以發(fā)現(xiàn),逆光圖像的增強(qiáng)質(zhì)量受到圖像灰度統(tǒng)計(jì)均值MI的影響。圖3為不同均值對(duì)應(yīng)的增強(qiáng)曲線,從中可以看出灰度均值越大,圖像的增強(qiáng)幅度反而越小。其中,純黑曲線為針對(duì)圖2(a)R分量的增強(qiáng)曲線。

4 基于亮度保持的圖像局部區(qū)域增強(qiáng)

當(dāng)逆光圖像中存在局部較亮區(qū)域時(shí)(如圖2(a)的天空),由于整幅圖像的均值偏大,導(dǎo)致增強(qiáng)后圖像的較暗區(qū)域的亮度增強(qiáng)不足(如圖2(b))。為此,本文引入局部暗區(qū)增強(qiáng)思想。

圖3 不同均值對(duì)應(yīng)的CEM增強(qiáng)曲線

4.1 局部暗區(qū)提取

逆光會(huì)使拍攝圖像的局部區(qū)域亮度降低。然而,在逆光圖像中,行人、車(chē)輛等目標(biāo)通常位于圖像較暗的區(qū)域。針對(duì)該現(xiàn)象,本文引入“亮區(qū)”與“暗區(qū)”概念。顧名思義,“亮區(qū)”為逆光圖像中灰度值較高的區(qū)域,一般情況下為背景；“暗區(qū)”為逆光圖像中灰度值較低的區(qū)域,此區(qū)域主要包含被攝主體。通常,“暗區(qū)”可被視為有意義的區(qū)域。

基于以上分析,本文采用如下方式提取逆光圖像的“暗區(qū)”：

(3)

其中,x∈I為逆光圖像的像素點(diǎn)；上標(biāo)D表示“暗區(qū)”,B表示“亮區(qū)”；T為灰度值門(mén)限(本文中,T取值為80)。圖4所示為逆光圖像暗區(qū)的提取結(jié)果。

圖4 暗區(qū)提取效果圖

4.2 亮度保持的顏色估計(jì)模型

如圖5所示,對(duì)于逆光圖像的亮區(qū)與暗區(qū),當(dāng)利用CEM模型對(duì)其進(jìn)行基于局部統(tǒng)計(jì)的增強(qiáng)時(shí),圖像的暗區(qū)亮度得到明顯提高,但同時(shí)呈現(xiàn)“虛化”的現(xiàn)象(圖5(a)),尤其圖中紅色圓圈標(biāo)記區(qū)域出現(xiàn)邊緣模糊的問(wèn)題。圖5(b)是圖5(a)標(biāo)記區(qū)域局部塊的放大結(jié)果,從中可以看出,過(guò)度增強(qiáng)后圖像“虛化”現(xiàn)象非常明顯。

圖5 基于CEM的局部區(qū)域增強(qiáng)效果圖

為改善CEM模型對(duì)局部暗區(qū)增強(qiáng)性能的不足,本文提出亮度保持的顏色估計(jì)模型(Brightness Preserving Color Estimation Model,BPCEM),即對(duì)公式(1)中的fCEM(I)進(jìn)行修正：

(4)

其中,μ為調(diào)節(jié)參數(shù),ML為局部暗區(qū)ID或亮區(qū)IB的灰度均值。

進(jìn)一步,結(jié)合公式(1)與(4)可得到應(yīng)用fBPCEM(I)對(duì)圖像進(jìn)行局部區(qū)域增強(qiáng)后的圖像ILE：

(5)

圖6是映射函數(shù)f(I)對(duì)暗區(qū)R分量值的映射曲線以及相應(yīng)的對(duì)其增強(qiáng)后的變化曲線?？梢钥闯?雖然fCEM(I)與fBPCEM(I)具有相似的變化趨勢(shì),但是fBPCEM(I)衰減更慢,尤其在灰度值較低的區(qū)段更加平緩。相應(yīng)地,BPCEM模型在灰度值較低的區(qū)段表現(xiàn)出更加平緩的增強(qiáng)性能。

圖7是基于BPCEM對(duì)逆光圖像進(jìn)行局部區(qū)域增強(qiáng)后的結(jié)果。通過(guò)對(duì)比圖5(b)與圖7(b)可以看出,使用BPCEM模型增強(qiáng)后的圖像比CEM模型具有更好的視覺(jué)質(zhì)量,沒(méi)有出現(xiàn)CEM模型導(dǎo)致的“虛化”現(xiàn)象。圖8給出了針對(duì)圖5(b)與圖7(b)中暗區(qū)R分量的統(tǒng)計(jì)直方圖。不難發(fā)現(xiàn),BPCEM的R分量值多集中于較低的區(qū)段,且含有更多的灰度值分量。上述分析表明,BPCEM模型在不損失圖像細(xì)節(jié)的同時(shí),能夠有效保持局部區(qū)域亮度保真度,避免了CEM模型的過(guò)度增強(qiáng)問(wèn)題。

圖6 針對(duì)暗區(qū)R分量的映射函數(shù)f(I)特性曲線與增強(qiáng)特性曲線

圖7 基于BPCEM的局部區(qū)域增強(qiáng)

圖8 增強(qiáng)圖像R分量直方圖

5 基于局部塊信息熵的自適應(yīng)圖像增強(qiáng)融合

綜合上述對(duì)逆光圖像全局與局部區(qū)域增強(qiáng)的分析,圖像全局增強(qiáng)可以恢復(fù)圖像的細(xì)節(jié)信息,而圖像的局部區(qū)域增強(qiáng)可以提高圖像的整體亮度。為使處理圖像兼具全局與局部區(qū)域增強(qiáng)的優(yōu)點(diǎn),本文提出了基于圖像局部塊信息熵的自適應(yīng)融合方法。

為了使融合圖像符合人類(lèi)的視覺(jué)特性,圖像的自適應(yīng)融合過(guò)程選擇在HSV顏色空間進(jìn)行。圖9給出了圖像融合的具體過(guò)程：首先,對(duì)獲得的全局與局部區(qū)域增強(qiáng)圖像進(jìn)行彩色空間變換到HSV顏色空間,提取各自的V分量圖像；然后,對(duì)各自的V分量圖像進(jìn)行塊劃分；在此基礎(chǔ)上,計(jì)算各局部塊信息熵實(shí)現(xiàn)全局與局部區(qū)域增強(qiáng)圖像的自適應(yīng)融合；最后,對(duì)融合后的V分量以及全局增強(qiáng)圖像的H與S分量進(jìn)行彩色空間轉(zhuǎn)換到RGB顏色空間,得到融合圖像。

具體來(lái)說(shuō),全局與局部區(qū)域增強(qiáng)圖像的融合采用如下方式：

(6)

圖9 基于局部塊信息熵的自適應(yīng)圖像增強(qiáng)融合

信息熵是用來(lái)衡量圖像含有信息量豐富程度的重要指標(biāo),信息熵越大表明圖像含有的信息量越大。假設(shè)圖像中像素點(diǎn)的灰度值是相互獨(dú)立的樣本,信息熵表示灰度分布的聚集特征,則圖像信息熵可以公式(7)表示：

(7)

其中n為灰度級(jí),pi為圖像灰度值為i的概率值。

為使融合圖像盡可能地保持信息熵較大的局部塊特征,本文采用如下權(quán)重分配方式：

(8)

其中,Eig、Eil為對(duì)應(yīng)子塊圖像的信息熵。

6 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的性能,在多幅不同場(chǎng)景的低質(zhì)圖像上進(jìn)行了測(cè)試,并與CEM[9]、HE[7]、BBHE[12]、SSR[10]以及MSR[11]等算法進(jìn)行比較。評(píng)價(jià)指標(biāo)為峰值信噪比(Peak Signal to Noise Ratio,PSNR)與信息熵。

6.1 參數(shù)μ與分塊數(shù)目N的確定

如上文所述,μ與N分別為BPCEM模型的調(diào)節(jié)參數(shù)與圖像融合的分塊數(shù)目。對(duì)于兩個(gè)參數(shù)的選取,圖10與圖11分別給出了兩個(gè)參數(shù)的變化對(duì)融合圖像PSNR與信息熵的影響。從圖中可以看出,當(dāng)μ取值在1.5～1.7之間、N取值為152時(shí),圖像的PSNR與信息熵相對(duì)較高。因此,μ在1.5～1.7取值,參數(shù)N設(shè)置為152。

圖10 參數(shù)μ對(duì)融合圖像的影響

圖11 參數(shù)N對(duì)融合圖像的影響

6.2 圖像增強(qiáng)性能分析

表1與表2為通過(guò)本文算法與其他算法進(jìn)行增強(qiáng)后圖像的PSNR與信息熵值。通過(guò)表1的PSNR值與表2的信息熵值可以看出,CEM模型與HE算法的增強(qiáng)性能比較穩(wěn)定；其他算法則對(duì)于不同的圖像,增強(qiáng)性能表現(xiàn)有所不同；本文算法增強(qiáng)的圖像PSNR值與信息熵值相對(duì)較高,性能相對(duì)比較穩(wěn)定。

為了測(cè)試本文算法處理不同場(chǎng)景圖像的有效性,本文還對(duì)Pece[13]提供的低照度圖像數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。由于Pece[13]數(shù)據(jù)集并沒(méi)有給出對(duì)應(yīng)的高質(zhì)量圖像,實(shí)驗(yàn)部分僅給出了增強(qiáng)圖像的信息熵值,如表3所示。從中可以看出,本文算法相比于比較算法平均信息熵更高,可以提供更多的信息。

表1 不同算法增強(qiáng)圖像的PSNR值

表2 不同算法增強(qiáng)圖像的信息熵

6.3 基于主觀視覺(jué)的性能比較

從視覺(jué)效果上,圖12與圖13給出了本文算法與其他算法對(duì)低質(zhì)圖像增強(qiáng)的效果圖。從中可以看出,CEM、BBHE與HE算法增強(qiáng)的圖像會(huì)出現(xiàn)局部區(qū)域增強(qiáng)不足的現(xiàn)象,以及局部區(qū)域顏色映射錯(cuò)誤的問(wèn)題。此外,SSR與MSR增強(qiáng)的圖像會(huì)出現(xiàn)邊緣虛化的問(wèn)題,同時(shí)受噪聲的影響非常明顯。本文算法可以避免局部區(qū)域增強(qiáng)不足的缺陷,提高輸入圖像的亮度,同時(shí)恢復(fù)圖像的細(xì)節(jié)與顏色信息。

表3 利用本文算法與其他算法對(duì)Pece數(shù)據(jù)集進(jìn)行增強(qiáng)的圖像平均信息熵

圖12 本文算法與其他算法增強(qiáng)效果圖Fig.12 Results of our method and other enhancement methods

圖13 本文算法與其他算法對(duì)Pece數(shù)據(jù)集的增強(qiáng)效果圖Fig.13 Results of our method and other enhancement methods on Pece database

7 結(jié)論

本文提出了一種融合圖像全局與局部區(qū)域亮度的逆光圖像增強(qiáng)算法。利用顏色估計(jì)模型對(duì)逆光圖像進(jìn)行全局增強(qiáng),恢復(fù)圖像的細(xì)節(jié)信息。為保持逆光圖像暗區(qū)的亮度,同時(shí)避免局部區(qū)域增強(qiáng)后的“虛化”現(xiàn)象,提出了局部亮度保持的顏色估計(jì)模型。此外,針對(duì)全局與局部區(qū)域增強(qiáng)的平衡問(wèn)題,提出了基于圖像局部塊信息熵的自適應(yīng)融合方法。

[1]ChenDuanyu,ChenChiencheng,KangLiwei.VisualDepthGuidedColorImageRainStreaksRemovalUsingSparseCoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2014, 24(24):1430-1455.

[2]LiYu,TanRT,BrownMS.NighttimeHazeRemovalwithGlowandMultipleLightColors[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision,Santiago,Chile, 2015:226-234.

[3]GuoXiaojie,LiYu,LingHaibin.LIME:Low-LightImageEnhancementviaIlluminationMapEstimation[J].IEEETransactionsonImageProcessing, 2017, 26(2):982-993.

[4]HuangTH,ShihKT,YehSL,etal.EnhancementofBacklight-ScaledImages[J].IEEETransactionsonImageProcessing, 2013, 22(12):4587- 4597.

[5] 許欣. 圖像增強(qiáng)若干理論方法與應(yīng)用研究 [D]. 南京：南京大學(xué), 2010.

XuXin.ResearchonImageEnhancementMethodsandApplications[D].Nanjing:NanjingUniversity, 2010. (inChinese)

[6] 陳喆, 蔣羽超, 殷福亮. 利用β函數(shù)映射與幀間信息融合的低照度視頻圖像增強(qiáng)方法[J]. 信號(hào)處理, 2013, 29(12): 1632-1637.

ChenZhe,JiangYuchao,YinFuliang.LowContrastVideoEnhancementwithIlluminationNonlinearMappingandInterframeInformationFusion[J].JournalofSignalProcessing, 2013, 29(12): 1632-1637. (inChinese)

[7]ZimmermanJB,PizerSM,StaabEV,etal.AnEvaluationoftheEffectivenessofAdaptiveHistogramEqualizationforContrastEnhancement[J].IEEETransactiononMedicalImaging, 1998, 7(4):304-312.

[8]TsaiCM,YehZM.ContrastEnhancementbyAutomaticandParameter-FreePiecewiseLinearTransformationforColorImages[J].IEEETransactionsonConsumerColor2008, 54(2):213-219.

[9]FuHuiyuan,MaHuadong,WuShixin.NightRemovalbyColorEstimationandSparseRepresentation[C]∥ProceedingsofInternationalConferenceonPatternRecognition.Tsukuba,Japan, 2012: 3656-3659.

[10]JobsonDJ,RahmanZ,WoodellGA.PropertiesandPerformanceofaCenterSurroundRetinex[J].IEEETransactionsonImageProcessing, 1997,6(3): 451- 462.

[11]RahmanZ,JobsonDJ,WoodellGA.Multi-ScaleRetinexforColorImageEnhancement[C]∥ProceedingsofInternationalConferenceonImageProcessing.Lausanne,Switzerland, 1996: 1003-1006.

[12]KimTK,PaikJK,KangBS.ContrastEnhancementSystemusingSpatiallyAdaptiveHistogramEqualizationwithTemporalFiltering[J].IEEETransactionsonConsumerElectronics, 1998, 44(1):82- 87.

[13]PeceF,KautzJ.BitmapMovementDetection:HDRforDynamicScenes[C]∥ProceedingsofInternationalConferenceonVisualMediaProduction.London,UK, 2010, 10(2):1- 8.