張恩齊，孔令勝，郭俊達(dá)，劉虹良

（1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué)，北京 100049）

0 引言

由于光照不足，光源來源復(fù)雜，光照強(qiáng)度不均，使得攝像機(jī)拍攝的圖像經(jīng)常是亮度值低、對(duì)比度低，或者局部光照很強(qiáng)，而其他區(qū)域亮度值低，圖像的細(xì)節(jié)信息無法清晰地顯示，這些低質(zhì)量、低對(duì)比度的圖像會(huì)對(duì)人們的實(shí)際生活產(chǎn)生影響，如夜晚監(jiān)控、車輛識(shí)別、人臉識(shí)別和故障檢測(cè)等[1]。在現(xiàn)實(shí)生活中，無法避免在這種復(fù)雜環(huán)境下拍攝圖像，因此，對(duì)低照度條件下的圖像進(jìn)行圖像對(duì)比度增強(qiáng)是圖像處理領(lǐng)域中的一個(gè)熱點(diǎn)問題，并得到廣泛地研究。

隨著圖像增強(qiáng)算法不斷地研究，很多算法取得了不錯(cuò)的進(jìn)展，其中最常見的是直方圖均衡化，該方法直接對(duì)圖像的直方圖進(jìn)行處理，從而增強(qiáng)圖像對(duì)比度，但該方法是改變圖像的灰度級(jí)，會(huì)使圖像局部過度增強(qiáng)，從而丟失細(xì)節(jié)。近年來，基于視網(wǎng)膜-大腦皮層Retinex理論的算法，漸漸成為圖像增強(qiáng)領(lǐng)域的研究熱點(diǎn)?；赗etinex理論[2]的算法主要是將原始圖像分解為照射圖以及反射圖，其算法認(rèn)為原始圖像中的反射圖像反應(yīng)圖像的本質(zhì)特征，從而著重于消除照射圖在原始圖像中的影響。

較為常見的Retinex算法：?jiǎn)纬叨萊etinex算法（Single-Scale Retinex，SSR）[3]；多尺度Retinex算法（Multi-Scale Retinex，MSR）[4]；具有色彩修復(fù)的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）[5]；可同時(shí)對(duì)反射圖和光照?qǐng)D進(jìn)行處理的加權(quán)變分模型算法（Simultaneous Reflectance andIllumination Estimation，SRIE）[6]；非均勻弱光圖像增強(qiáng)算法（Naturalness-Preserving Enhancement，NPE）[7]；基于照明映射評(píng)估的低亮度圖像增強(qiáng)方法（Low-light Image Enhance-ment，LIME）[8]；多偏差融合算法（Multi-deviation Fusion method，MF）[9]等。這些算法都可以對(duì)低照度圖像進(jìn)行圖像增強(qiáng)，提升圖像對(duì)比度，但其中MSR、MSRCR算法容易對(duì)圖像亮度過于提升，容易得到亮度失真的結(jié)果圖，其余算法都不可避免地?fù)p失一定程度的原始圖像的細(xì)節(jié)及紋理信息。

本文提出了一種簡(jiǎn)化的基于Retinex理論的低照度圖像對(duì)比度增強(qiáng)算法，可對(duì)單張低照度圖像進(jìn)行處理，在圖像對(duì)比度增強(qiáng)的同時(shí)保證圖像的紋理以及細(xì)節(jié)。主要工作包括：基于低秩紋理先驗(yàn)的結(jié)構(gòu)-紋理圖像分解模型于對(duì)圖像進(jìn)行分解，提取原始圖像紋理圖；然后對(duì)原圖像進(jìn)行初始照射圖估計(jì)，對(duì)初始照射圖進(jìn)行中值濾波處理，迭代引導(dǎo)濾波處理，將初始照射圖的紋理去除并且保留其邊緣信息；利用亮度變化函數(shù)對(duì)處理后的照射圖像進(jìn)行亮度提升，利用增強(qiáng)后的照射圖和Retinex理論得到原始圖像的反射圖，最終將反射圖與紋理圖相融合得到最終融合圖像。實(shí)驗(yàn)結(jié)果表明該算法增強(qiáng)圖像全局對(duì)比度的同時(shí)，還有效地保持了圖像自然度和細(xì)節(jié)特征。

1 相關(guān)工作

1.1 圖像分解

圖像基于各種方法可分為不同圖像層，可以基于頻域的方法將圖像分為高頻和低頻信號(hào)，基于Retinex算法將原始圖像分解為照射圖以及反射圖。本文需要原始圖像的紋理信息，所以將圖像分為兩部分結(jié)構(gòu)層和紋理層，利用算法將圖像的紋理信息提取出來。圖像分解的方法有很多，可以使用圖像濾波器進(jìn)行濾波，也可以采用基于TV（Total Variation）全變分模型[10]，彩色紋理圖像分解的VO（Ves-Osher）模型[11]等方法。

本文采用基于低秩紋理先驗(yàn)的結(jié)構(gòu)紋理圖像分解模型[12]的方法，該模型以總變分范數(shù)和全局核范數(shù)分別表征結(jié)構(gòu)和紋理成分。其分解模型不僅非常簡(jiǎn)單，而且對(duì)于全局模式良好的圖像也非常有效，與其他模型相比，該模型可以恢復(fù)更干凈的紋理及細(xì)節(jié)?？梢詫⒃瓐D像充

分提取紋理信息的同時(shí)盡量避免提出結(jié)構(gòu)圖像的邊緣信息，這樣得到的紋理圖像細(xì)節(jié)更多。

1.2 簡(jiǎn)化Retinex模型

Retinex理論是一種自適應(yīng)圖像增強(qiáng)理論。該理論認(rèn)為映入人眼中的光是由環(huán)境照射分量以及物體反射分量組成，其中反射分量為物體的本質(zhì)。簡(jiǎn)單而言該理論是將原圖像視為帶有噪聲的圖像，和圖像去噪目的類似，基于Retinex理論合理地消除噪聲得到的圖像便為增強(qiáng)圖像，公式可表示為：

式中：I(x)為原始圖像；IL(x)為照射圖像；IR(x)為反射圖像。

Retinex理論的思想是減少照射圖像對(duì)視覺效果的影響，保留反射圖像，實(shí)現(xiàn)圖像增強(qiáng)。具體方法為：將式（1）轉(zhuǎn)換為對(duì)數(shù)域。采用濾波等方式對(duì)照射圖像IL(x)進(jìn)行估計(jì)，整體亮度提升后再從對(duì)數(shù)域還原，從而得到代表了圖像中物體的內(nèi)在特性反射圖像IR(x)。如圖1所示。

圖1 Retinex原理圖

1.3 亮度變化函數(shù)

對(duì)于圖像亮度的提升，常常用到的是非線性函數(shù)對(duì)圖像進(jìn)行處理，常見的有伽馬校正。

近年來，Ying[13]提出了新的模型：Beta-Gamma的相機(jī)響應(yīng)模型，該模型是在伽馬校正的基礎(chǔ)上進(jìn)行了改變，在伽馬校正之前對(duì)圖像的像素進(jìn)行了放大，得到了新的亮度變化函數(shù)g(I(x),k)。

式中：g(·)為亮度變換函數(shù)；k為曝光率；β和γ是和曝光率k相關(guān)的兩個(gè)參數(shù)；u為常數(shù)防止曝光率無窮大。

其中，曝光率k計(jì)算公式如下：

最后可得，亮度變化函數(shù)如下：

經(jīng)大量實(shí)驗(yàn)數(shù)據(jù)得知：a=-0.3293；b=1.1258。這種亮度變換函數(shù)具有雙參數(shù)，更能對(duì)圖像的亮度進(jìn)行有效提升。

1.4 圖像增強(qiáng)算法

本文設(shè)計(jì)了一種簡(jiǎn)化的Retinex模型，從而提高低照度圖像的對(duì)比度。首先，基于低秩紋理先驗(yàn)的結(jié)構(gòu)-紋理圖像分解模型，將原圖像分解為結(jié)構(gòu)圖像和紋理圖像，如式（7）所示，本文只需紋理圖像信息。

式中：IS(x)為結(jié)構(gòu)圖像；IT(x)為紋理圖像；I(x)為原始圖像。

然后，對(duì)I(x)原圖像進(jìn)行處理，基于Retinex理論，將原圖像分為照射圖以及反射圖，如下所示：

式中：I(x)為原圖像；IR(x)為反射圖像；IL(x)為照射圖。

根據(jù)Retinex理論，本文需要求取IL(x)照射圖，從而得到IR(x)反射圖像。

初始照射圖可采用Max RGB技術(shù)，得到原始圖像中最亮的通道：

式中：(r,g,b)為圖像的3個(gè)通道；I(x)為原圖像；IM(x)為初始照射圖。

采用Max RGB技術(shù)是由于得到的IM(x)保留了輸入的I(x)結(jié)構(gòu)信息，更利于后續(xù)操作。

本文需要得到的照射圖邊緣清晰，紋理模糊，所以需將該照射圖進(jìn)行處理，將圖中的紋理細(xì)節(jié)進(jìn)一步地平滑掉，本文選用中值濾波器進(jìn)行處理：

其中，M(·)為中值濾波；處理后的照射圖IP(x)能保持圖像中各個(gè)物體的邊緣信息，又可以盡可能的去除細(xì)小的紋理信息，但只經(jīng)過中值濾波后，IP(x)的紋理和邊緣信息還會(huì)有一定程度的模糊，為了使照射圖邊緣盡可能清晰，本文采用自迭代多次引導(dǎo)濾波方法對(duì)照明圖IP(x)進(jìn)行處理，引導(dǎo)濾波具有細(xì)節(jié)平滑的同時(shí)保持邊緣的優(yōu)點(diǎn)，相較于雙邊濾波器[14]其時(shí)間復(fù)雜度更低。

不同于傳統(tǒng)的引導(dǎo)濾波，本文將每一次濾波后的圖像都將作為下一次引導(dǎo)濾波的引導(dǎo)圖，如式（11）所示。這種迭代式的引導(dǎo)濾波方法，可以有效細(xì)化照射圖像，得到更為清晰的邊緣信息，以及光滑的紋理信息。

本文經(jīng)試驗(yàn)迭代4次左右效果最佳，本文采用亮度變換函數(shù)對(duì)圖像IN(x)的亮度進(jìn)行處理，其亮度轉(zhuǎn)換函數(shù)為：

其中，β=eb(1-ka)；γ=ka；g(·)為亮度變換函數(shù)；經(jīng)實(shí)驗(yàn)得知a=-0.3293，b=1.1258；k為曝光率；β和r是和曝光率k相關(guān)的2個(gè)參數(shù)；u為常數(shù)防止曝光率無窮大，公式如下：

最終經(jīng)亮度變換函數(shù)后，照射圖IL(x)為：

經(jīng)本文圖像對(duì)比度增強(qiáng)算法，得到低照度原圖像的反射圖像IR(x)為：

最后，本文將增強(qiáng)的反射圖像和紋理層融合在一起得到最終的結(jié)果：

算法流程圖如圖2所示。

圖2 本文算法流程

2 實(shí)驗(yàn)結(jié)果及分析

2.1 主觀評(píng)價(jià)

為了驗(yàn)證本文方法，本文利用公開的DICM數(shù)據(jù)集以及LIME數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境為：i5-6300HQ CPU@2.30 GHz，Matlab 2018a。并將近年來6種圖像增強(qiáng)算法與本文算法進(jìn)行對(duì)比，這6種算法分別為圖像去霧（Dehazing-based，Dong）[15]算法、亮度增強(qiáng)（Illumination Estimation-based Method，LIME）算法、多尺度Retinex融合（Multiscale Retinex，MSR）算法、多偏差融合（Multi-deviation，F(xiàn)usion，MF）算法、非均勻弱光圖 像 增 強(qiáng)（Naturalness Preserved Enhance-ment，NPE）算法、基于加權(quán)變分模型圖像增強(qiáng)（Simultaneous Reflection and Illumination Estimation，SRIE）算法作為實(shí)驗(yàn)對(duì)比算法。

圖3所示為本實(shí)驗(yàn)在數(shù)據(jù)集DICM選取的圖像，原圖為室外低照度圖，峽谷兩側(cè)為背光。Dong算法過于區(qū)分峽谷和天空的分界處，邊緣輪廓過于清晰；LIME算法對(duì)局部區(qū)域有過增強(qiáng)；MSR算法處理后的圖像亮度有些失真；MF算法對(duì)局部區(qū)域有欠增強(qiáng)；NPE算法對(duì)圖像有著較好的亮度增強(qiáng)，但是峽谷區(qū)域有些不清晰，細(xì)節(jié)模糊；SRIE算法對(duì)峽谷兩側(cè)有些欠增強(qiáng)；而本文算法沒有局部欠增強(qiáng)和過增強(qiáng)現(xiàn)象，細(xì)節(jié)清晰，起到了圖像增強(qiáng)的效果。

圖3 實(shí)驗(yàn)對(duì)比結(jié)果1

圖4所示為本實(shí)驗(yàn)在數(shù)據(jù)集LIME選取的圖像，原圖為室內(nèi)低照度圖像。Dong算法局部細(xì)節(jié)不是很清晰；LIME算法對(duì)局部區(qū)域有過增強(qiáng)；MSR算法處理后顏色亮度失真；MF算法處理后圖像對(duì)比度得到了明顯增強(qiáng)，但喪失了一定的細(xì)節(jié)信息；NPE算法處理后圖像的整體自然度較高，但細(xì)節(jié)光照沒有得到很好補(bǔ)償；SRIE算法處理后圖像整體偏暗；而本文算法在對(duì)整體對(duì)比度有效增強(qiáng)的同時(shí)，保持了局部細(xì)節(jié)。

圖4 實(shí)驗(yàn)對(duì)比結(jié)果2

2.2 客觀評(píng)價(jià)

為了更好地評(píng)價(jià)圖像質(zhì)量，本文使用視覺信息保真度（Visual Information Fidelity，VIF）、自然統(tǒng)計(jì)特性（Natural image quality evaluator，NIQE）來對(duì)結(jié)果圖進(jìn)行評(píng)估，表1和表2分別為圖3和圖4對(duì)應(yīng)的客觀評(píng)價(jià)數(shù)據(jù)。視覺信息保真度VIF的測(cè)量標(biāo)準(zhǔn)為圖像VIF值高，證明圖像質(zhì)量越好，但圖像VIF值過高，圖像則會(huì)的過亮。如LIME、MSR算法處理圖像，圖像亮度會(huì)過大，本文算法的VIF值低于LIME、MSR算法，但高于其余算法證明圖像亮度得到提高，同時(shí)保持住了圖像質(zhì)量。

表1 視覺信息保真度（VIF）

表2 自然統(tǒng)計(jì)特性（NIQE）

自然統(tǒng)計(jì)特性NIQE值越低，圖像質(zhì)量越好。本文算法的NIQE值在所有方法中是最低的，表明本文方法在增強(qiáng)圖像對(duì)比度的同時(shí)細(xì)節(jié)保持較好，整體效果略好于其他方法。

3 結(jié)束語

為了對(duì)低照度圖像進(jìn)行圖像增強(qiáng)，并且保持細(xì)節(jié)，本文將圖像分解、亮度轉(zhuǎn)化函數(shù)及Retinex理論相結(jié)合，提出了一種簡(jiǎn)化的基于Retinex理論的低照度圖像對(duì)比度增強(qiáng)算法。首先基于低秩紋理先驗(yàn)的卡通-紋理圖像分解模型對(duì)圖像進(jìn)行分解，提取原始圖像紋理圖，對(duì)原圖像進(jìn)行初始照射圖估計(jì)，對(duì)初始照射圖進(jìn)行中值濾波處理，迭代引導(dǎo)濾波處理，將照射圖的紋理去除并且保留其邊緣信息，以及利用亮度變化函數(shù)對(duì)處理后的照射圖像進(jìn)行亮度提升，基于Retinex理論得到原始圖像的反射圖，最終將反射圖像與紋理圖相融合得到最終融合圖像。

實(shí)驗(yàn)結(jié)果表明，本文所提出算法具有更好的圖像質(zhì)量，證明了本文算法在圖像對(duì)比度增強(qiáng)的同時(shí)保證圖像的紋理以及細(xì)節(jié)。相較于近年來各種圖像增強(qiáng)算法，本文算法自然統(tǒng)計(jì)特性NIQE值更低，在低照度圖像對(duì)比度增強(qiáng)方面有優(yōu)越的性能。