韓夢妍，李良榮，蔣 凱

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025）

0 概述

在目標(biāo)檢測、目標(biāo)跟蹤等計(jì)算機(jī)視覺領(lǐng)域進(jìn)行下一步處理的關(guān)鍵是有高質(zhì)量的輸入圖像。但是，在低光照條件下拍攝的圖像通常對比度較低，大量細(xì)節(jié)難以識別，不但降低了人眼的視覺感知，而且難以滿足更高級的計(jì)算機(jī)視覺系統(tǒng)中的算法對輸入圖像的要求。因此，低照度圖像增強(qiáng)技術(shù)是當(dāng)前圖像處理和計(jì)算機(jī)視覺的研究熱點(diǎn)之一。

近年來，低照度圖像增強(qiáng)的常用算法分為直方圖均衡法、基于反轉(zhuǎn)圖像去霧的方法、基于Retinex的方法以及基于深度學(xué)習(xí)的增強(qiáng)法4 類。直方圖均衡法通過一種灰度映射使像素均勻地分布在更多的灰度級上，從而提高圖像的對比度。這種灰度映射雖然擴(kuò)大了像素的動態(tài)范圍，但也增大了量化間隔，導(dǎo)致灰度級合并，出現(xiàn)偽輪廓現(xiàn)象，致使圖像細(xì)節(jié)丟失?；诠庹?反射模型的Retinex 理論最早由美國物理學(xué)家LAND［1］提出，其核心思想是：反射分量決定物體本質(zhì)信息，準(zhǔn)確估計(jì)出光照分量，是實(shí)現(xiàn)圖像增強(qiáng)的關(guān)鍵步驟。JOBSON 等提出單尺度Retinex（SSR）［2］多尺度Retinex（MSR）［3］以及帶顏色恢復(fù)的MSR 算法（MSRCR）［4］。FU 等［5］提出加權(quán)變分模型（SRIE），運(yùn)用一種亮度階次誤差度量，既增強(qiáng)了圖像的細(xì)節(jié)，又保持了圖像的自然度。DONG 等［6］對低光照圖像進(jìn)行反轉(zhuǎn)后，發(fā)現(xiàn)非天空區(qū)域至少有一個顏色通道具有低強(qiáng)度，類似于有霧圖像，因此將去霧算法應(yīng)用于反轉(zhuǎn)的低光圖像以進(jìn)行圖像增強(qiáng)。LI等［7］提出一種新的結(jié)合對比度增強(qiáng)和去噪的低光圖像增強(qiáng)框架，將低光圖像分割成超像素進(jìn)行自適應(yīng)降噪，進(jìn)一步提高了視覺質(zhì)量。近年來，劉超等［8］提出利用卷積自編碼網(wǎng)絡(luò)的方法，該方法運(yùn)用自建數(shù)據(jù)訓(xùn)練集學(xué)習(xí)圖像特征復(fù)原低照度圖像，但增強(qiáng)的圖像在細(xì)節(jié)及色彩方而有所欠缺。CHEN 等［9］基于FCN 模型結(jié)構(gòu)采用端到端訓(xùn)練模式，提出了一種在黑暗中也能快速生成清晰的成像系統(tǒng)，此方法直接使用原始傳感器數(shù)據(jù)，改善了大量的傳統(tǒng)圖像處理流程，但是僅在構(gòu)建的數(shù)據(jù)集上表現(xiàn)良好。

本文提出一種基于光照圖估計(jì)的Retinex 低照度圖像增強(qiáng)算法，旨在通過估計(jì)其光照圖來增強(qiáng)低光圖像。通過找到三顏色通道中每個像素通道的最大值并利用L2范數(shù)［10］構(gòu)建照明圖，利用照明結(jié)構(gòu)細(xì)化光照圖，運(yùn)用基于相對總變差（Relative Total Variation，RTV）形式的改進(jìn)模型對亮通道進(jìn)行平滑處理，并提取亮通道的結(jié)構(gòu)圖像。最終對細(xì)化光照圖進(jìn)行自適應(yīng)Gamma 校正，利用Retinex 模型合成增強(qiáng)圖。

1 基本模型

1.1 Retinex 模型

根據(jù)文獻(xiàn)［1］提出的Retinex 模型，一幅給定的圖像可分解為光照圖像和反射圖像，表達(dá)式如下：

其中：I(x，y)為原圖像；R(x，y)為反射圖像，其反映物體本身的顏色信息，不受入射光的影響，對應(yīng)圖像的局部細(xì)節(jié)和高頻分量；T(x，y)為光照圖像，表示入射光，其大小決定了一幅圖像像素所能達(dá)到的動態(tài)范圍，對應(yīng)圖像的全局自然性和低頻信息［11］。由于不易直接獲得反映物體本質(zhì)信息的反射分量R(x，y)，需要通過估計(jì)入射分量T(x，y)來消除其對原始圖像的影響，還原出物體的本來面貌，進(jìn)而達(dá)到圖像增強(qiáng)的目的。因此，對光照圖像的準(zhǔn)確估計(jì)對還原圖像十分重要。

1.2 相對總變差模型

XU 等［12］在全變差理論的基礎(chǔ)上提出了基于相對總變差模型，該模型可以有效地分解圖像中的結(jié)構(gòu)信息和紋理，并且無需特別指定紋理是否規(guī)則或者對稱。構(gòu)造的目標(biāo)函數(shù)如下：

其中：式（2）中Ip為輸入圖像，Sp為輸出的結(jié)構(gòu)圖像，p為二維圖像像素索引，λ是一個自定義的控制參數(shù)，用于控制圖像平滑程度；式（3）中Dx(p)、Dy(p)分別為任意像素點(diǎn)p在x方向和y方向的窗口全變差，即在窗口R(p)內(nèi)的空間絕對差分，窗口全變差衡量的是圖像區(qū)域中結(jié)構(gòu)的強(qiáng)度和顯著性，引入窗口全變差可以強(qiáng)化圖像中的主要結(jié)構(gòu)；式（4）中Lx(p)、Ly(p)捕獲整體空間變化，是像素點(diǎn)在x、y兩個方向的窗口固有變分，含有大量紋理信息區(qū)域的窗口固有變差值比含有主要結(jié)構(gòu)邊緣區(qū)域要小，所以窗口固有變差成為保留圖像主要結(jié)構(gòu)并去除紋理信息的關(guān)鍵；式（5）中g(shù) p.q為高斯核函數(shù)，函數(shù)dist(x，y)用于測量位置x和y之間的空間歐幾里得距離。

2 本文算法

本文算法流程如圖1 所示。

圖1 本文算法流程Fig.1 Algorithm procesdure of this paper

2.1 初始光照圖估計(jì)

MAX-RGB 是傳統(tǒng)Retinex 圖像增強(qiáng)所采用的算法，它通過尋找R、G、B 3 個顏色通道的最大值來估計(jì)光照分量，但這種估計(jì)只能增強(qiáng)全局照明。為了處理非均勻照明，本文首先采取以下初始估計(jì)，認(rèn)為三通道圖像都是共享同一個光照圖：

在低照度情況下，因?yàn)榫植抗庹辗呛愣?，所以觀察到的原始圖像的光照分量是變化的。因此，照度較低的區(qū)域受相鄰高像素值的影響會導(dǎo)致所估計(jì)的照度較高，在亮度相差較大的邊緣處會產(chǎn)生光暈偽影并傳播到MAX-RGB 中。本文利用L2范數(shù)來平滑光照分量，定義初始光照圖為：

其中：Ic為R、G、B 通道輸入圖像的顏色分量；‖ ? ‖2表示L2范數(shù)。L2范數(shù)會產(chǎn)生較小的權(quán)重，考慮更多的模型特征，使數(shù)據(jù)偏移對結(jié)果造成較小的影響，從而增強(qiáng)模型的泛化能力，防止過擬合。

2.2 細(xì)化光照圖求解

在低照度圖像中，由于光線較暗，圖像主結(jié)構(gòu)的邊界不是很清晰，整體梯度較小，因此很難與周圍的細(xì)節(jié)部分區(qū)分開。為了保證照度分量的整體結(jié)構(gòu)、平滑紋理細(xì)節(jié)和大小范圍3 個約束條件，本文提出一種基于RTV 的改進(jìn)模型對初始光照圖進(jìn)行細(xì)化處理，優(yōu)化的目標(biāo)函數(shù)如下：

其中：Tc是初始光照圖；T是細(xì)化光照圖；p為二維圖像像素索引，第1 項(xiàng)為使用L2范數(shù)的圖像相似性約束項(xiàng)，考慮初始光照圖Tc與細(xì)化后光照圖T之間的保真度，第2 項(xiàng)為梯度約束項(xiàng)，是用于主結(jié)構(gòu)和紋理分離模型的正則項(xiàng)，考慮平滑度；λ是自定義的控制參數(shù)，用于平衡第1 項(xiàng)和梯度約束項(xiàng)，λ越大，梯度的相對總變差的權(quán)重越大，輸出圖像中的梯度就越稀疏，意味著圖像越平滑，但是過度增加λ也會造成圖像模糊，并且紋理反而保留下來；g p.q與RTV 中所代表的含義相同，是由具有標(biāo)準(zhǔn)偏差σ的高斯核產(chǎn)生，為高斯核函數(shù)。

運(yùn)用式（8）模型，使得梯度約束項(xiàng)可以擬合大范圍的顯著邊緣并提高圖像對比度，將顯著邊緣部分全局銳化，更有利于提取圖像的主要結(jié)構(gòu)。

根據(jù)XU 等［12］的描述，在x方向上式（8）可以分解如下：

在y方向上求解類似，將目標(biāo)函數(shù)式（8）分解成非線性項(xiàng)和二次項(xiàng)的形式，最后轉(zhuǎn)化為矩陣形式：

2.3 Gamma 校正

Gamma 變換通過使用2 個變化參數(shù)γ和c來 控制圖像的整體亮度［13］。伽馬函數(shù)如下：

其中：Iin表示輸入圖像強(qiáng)度；Iout表示輸出圖像強(qiáng)度；γ和c都用于調(diào)整伽馬函數(shù)的形狀，在c=1 的情況下，輸入和輸出圖像的值范圍為[0，1]。不同的γ會產(chǎn)生不同的拉伸效果。

經(jīng)反復(fù)實(shí)驗(yàn)，本文改進(jìn)自適應(yīng)的Gamma 校正因子［13］，該因子可以較好地校正細(xì)化光照圖，使得增強(qiáng)后的圖像視覺效果更佳。校正因子如下：

其中：σ為圖像標(biāo)準(zhǔn)差；μ為圖像均值。

根據(jù)得到的γ值對細(xì)化光照圖進(jìn)行伽馬校正：

其中：T為細(xì)化光照圖。

2.4 基于Retinex 增強(qiáng)

為避免出現(xiàn)分母為零和增強(qiáng)后的圖像過飽和的情況，基于Retinex 模型，本文加入一個非常小的參數(shù)ε（ε=0.001）對低光圖像的光照分量進(jìn)行非均勻地增強(qiáng)：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 本文算法實(shí)驗(yàn)效果

本文所有算法統(tǒng)一在Matlab 軟件平臺下實(shí)現(xiàn)，計(jì)算機(jī)配置是英特爾酷睿i7 4 GHz 處理器、8 GB RAM、Windows 7 操作系統(tǒng)。

經(jīng)多次實(shí)驗(yàn)，本文算法所采用的自定義控制參數(shù)設(shè)置為λ=0.03，ε=0.001 時效果最佳。

本文算法處理的步驟及效果如圖2所示。圖2（d）為經(jīng)過本文改進(jìn)模型處理后的細(xì)化光照圖，它將低光照圖像的主結(jié)構(gòu)完整地提取出來，平滑了不必要的紋理細(xì)節(jié)，有助于得到高質(zhì)量增強(qiáng)圖像；圖2（e）提升了光照圖像的亮度，使最后增強(qiáng)結(jié)果顏色更加鮮艷自然；圖2（f）為最終得到的增強(qiáng)圖像，圖像對比度及清晰度相較于原始低光圖像明顯提高，圖像細(xì)節(jié)也較好地保留下來?？傊總€中間步驟都有其自身的重要性，有助于提高視覺質(zhì)量。

圖2 本文算法各步驟處理的效果Fig.2 Effect of each step in this paper algorithm

3.2 本文算法的有效性驗(yàn)證

為驗(yàn)證對RTV 模型改進(jìn)的有效性，將RTV 算法與本文算法實(shí)現(xiàn)的圖像增強(qiáng)效果進(jìn)行主觀和客觀的對比分析。實(shí)驗(yàn)結(jié)果對比如圖3 所示。

圖3 本文算法與基于RTV 模型的對比效果Fig.3 Effect comparison of algorithm in this paper and based on RTV model

處理效果的主客觀評價如下：

1）處理效果的主觀評價

圖3（a）、圖3（d）、圖3（g）、圖3（j）分別為選取的4幅低光照圖像，從圖3 可以看出，經(jīng)本文算法處理后的視覺效果比RTV 算法的更好。部分細(xì)節(jié)對比分析如下：圖3（c）是本文算法的處理效果，其調(diào)色盤中的各種顏色比圖3（b）RTV 算法的對比度更高，色彩更鮮亮，區(qū)分更明顯；對比圖3（f）本文算法的天空部分紫色閃電顏色更加鮮艷，云朵細(xì)節(jié)更突出，窗戶及燈光的對比度更加明顯；而圖3（i）本文算法的巖石細(xì)節(jié)更突出；圖3（l）本文算法的路燈照亮路面區(qū)域，明暗對比更加明顯等。

2）處理效果的客觀評價

本文選用的5 個客觀評價指標(biāo)如下：

（1）峰值信噪比（PSNR）［14］。能夠表明增強(qiáng)后的圖像相對于真實(shí)正常光照圖像的失真程度，其值越大，說明增強(qiáng)后的圖像質(zhì)量越高，即失真越少。

（2）結(jié)構(gòu)相似性（SSIM）［15］。是一種衡量兩幅圖像相似度的指標(biāo)，其值越大，表明增強(qiáng)后的圖像與真實(shí)正常光照圖像的結(jié)構(gòu)特征越相似。

（3）色階映射圖像質(zhì)量評價系數(shù)（TMQI）［16］。源于SSIM，是衡量增強(qiáng)圖像的色彩與原始圖像色彩一致性的指標(biāo)。TMQI 值越大，圖像質(zhì)量越好。

（4）自然圖像質(zhì)量評價指標(biāo)（NIQE）［17］。是一種基于空間自然場景統(tǒng)計(jì)（NSS）模型構(gòu)建的質(zhì)量感知統(tǒng)計(jì)特征集合。NIQE 值越低，說明圖像質(zhì)量越高，越符合人眼的主觀評價標(biāo)準(zhǔn)。

（5）基于塊的對比度質(zhì)量指數(shù)（PCQI）［18］。是一種基于局部塊的客觀質(zhì)量評估方法，它能夠生成局部對比度質(zhì)量圖。PCQI 值越高，增強(qiáng)后的圖像對比度越大，圖像質(zhì)量更好。

本文算法與RTV 算法處理效果的客觀評價指標(biāo)如表1 所示。

表1 基于RTV 模型算法與本文算法的客觀評價指標(biāo)Table 1 Objective evaluation indicators based on RTV model algorithm and this algorithm

從表1可以看出，本文算法處理4幅圖像的PSNR值、SSIM 值、PCQI值、TMQI值和NIQE值均優(yōu)于RTV模型算法。

3.3 算法對比

為驗(yàn)證本文算法的性能優(yōu)勢，仍然用上述4 幅低照度圖像，選用文獻(xiàn)［19］的Retinex-Net、文獻(xiàn)［20］的LIME、文獻(xiàn)［21］的SRIE、文獻(xiàn)［22］的TIAN 等算法分別對其進(jìn)行增強(qiáng)處理，然后與本文算法處理的效果進(jìn)行性能評價。

1）實(shí)驗(yàn)結(jié)果的主觀評價

本文算法與4 種算法的實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 5 種算法的結(jié)果對比Fig.4 Results comparison of five algorithms

從圖4 可以看出，經(jīng)本文算法增強(qiáng)后的圖像在對比度上有明顯的提升，且圖像還原度高，沒有過度增強(qiáng)或者增強(qiáng)不足的現(xiàn)象，色彩鮮艷自然，其視覺質(zhì)量較好。

2）實(shí)驗(yàn)結(jié)果客觀評價

本文算法與其他4 種算法的5 個客觀評價指標(biāo)如表2～表6 所示。

表2 不同算法PSNR 值的結(jié)果比較Table 2 Result comparison of PSNR values of different algorithms

表3 不同算法SSIM 值的結(jié)果比較Table 3 Result comparison of SSIM values of different algorithms

表4 不同算法TMQI 值的結(jié)果比較Table 4 Result comparison of SSIM values of different algorithms

表5 不同算法NIQE 值的結(jié)果比較Table 5 Result comparison of NIQE values of different algorithms

表6 不同算法PCQI 值的比較結(jié)果Table 6 Result comparison of PCQI values of different algorithms

從表2～表6 的分析可以看出，本文算法的5 個指標(biāo)要好于其他算法。

4 結(jié)束語

本文針對低照度圖像的低信噪比、低對比度、低分辨率等問題，提出一種基于光照圖估計(jì)的Retinex低照度圖像增強(qiáng)算法。采用L2范數(shù)對光照進(jìn)行近似，并對RTV 模型的梯度約束項(xiàng)進(jìn)行優(yōu)化，使得在保留圖像自然性的前提下給出圖像的整體結(jié)構(gòu)，并在MATLAB 仿真實(shí)驗(yàn)中確定適用于低照度圖像的GAMMA 校正因子的取值。經(jīng)Retinex 模型進(jìn)行增強(qiáng)后的實(shí)驗(yàn)結(jié)果表明，本文算法圖像處理的效果在視覺上及客觀評價指標(biāo)方面都優(yōu)于RTV 算法。下一步將對本文算法在單幅低照度圖像增強(qiáng)方面進(jìn)行優(yōu)化，減少算法時間復(fù)雜度，并應(yīng)用于視頻處理，以實(shí)現(xiàn)硬件系統(tǒng)中的視頻圖像增強(qiáng)處理。