都雙麗，黨慧，趙明華，石爭(zhēng)浩

西安理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，西安 710048

0 引言

在夜間或逆光等條件下，圖像采集設(shè)備獲取的影像常存在大面積暗區(qū)、對(duì)比度低、有效信息少以及噪聲污染嚴(yán)重等問題，這些降質(zhì)給后續(xù)高級(jí)視覺任務(wù)帶來了極大挑戰(zhàn)。低照度圖像增強(qiáng)旨在通過一些原理和方法盡可能地恢復(fù)場(chǎng)景的真實(shí)信息。早期研究主要面向編碼后的圖像格式，如PNG（portable network graphics）、JPEG（joint photographic experts group）等（余春艷 等，2017）。近年來，隨著硬件計(jì)算能力的提升，面向原始光學(xué)傳感器數(shù)據(jù)（Raw）的增強(qiáng)算法越來越多（Wei 等，2020）。然而，很多便攜式采集設(shè)備仍不支持Raw 數(shù)據(jù)格式，且在一些特殊的應(yīng)用中，只可獲取編碼后的圖像。本文基于Retinex（retina cortex）模型提出一種面向編碼后的低照度圖像增強(qiáng)算法。目前，面向該類影像的增強(qiáng)算法可分為傳統(tǒng)模型驅(qū)動(dòng)算法和基于深度學(xué)習(xí)的算法兩類。

基于深度學(xué)習(xí)的低照度圖像增強(qiáng)算法取得了顯著的性能提升。如，Ren 等人（2019）采用兩個(gè)分支分別預(yù)測(cè)場(chǎng)景信息和圖像邊緣細(xì)節(jié)。Lim 和Kim（2021）在圖像域和特征域使用拉普拉斯金字塔來調(diào)整全局光照和恢復(fù)局部細(xì)節(jié)信息。黃鐄等人（2019）提出一種基于條件生成對(duì)抗網(wǎng)絡(luò)的增強(qiáng)方法，采用一個(gè)有編解碼功能的網(wǎng)絡(luò)作為生成模型，將一個(gè)具備二分類功能的網(wǎng)絡(luò)作為判別模型。這類有監(jiān)督的算法需“弱光—正常曝光”圖像對(duì)，而捕獲這類數(shù)據(jù)比較困難，且正常曝光圖像很難唯一設(shè)定。因此，基于端到端策略學(xué)習(xí)到的模型用于新數(shù)據(jù)時(shí)，常會(huì)出現(xiàn)亮度偏移、顏色失真等問題。為了提升模型的泛化性，一些非監(jiān)督算法涌現(xiàn)出來。如，Jiang 等人（2021）基于生成對(duì)抗網(wǎng)絡(luò)提出EnlightenGAN（enlighten with generative adversarial network）方法，利用全局—局部判別器來處理光照不均勻的問題。Li等人（2022）提出一種無需參考圖像的像素級(jí)動(dòng)態(tài)范圍調(diào)整曲線估計(jì)法（zero-reference deep curve estimation，Zero-DCE）。

為了進(jìn)一步提高深度模型的普適性，一些學(xué)者用物理成像模型來指導(dǎo)表示學(xué)習(xí)。Retinex 是最常用的模型，認(rèn)為圖像中任意一點(diǎn)的像素值由光照分量和反射分量相乘得到。Zhao 等人（2022）不需要任何參考圖像，將Retinex 分解轉(zhuǎn)換為基于高斯噪聲的圖像生成問題。Yang 等人（2021）利用光照分量的平滑性假設(shè)，構(gòu)建了稀疏梯度約束分解網(wǎng)絡(luò)。江澤濤等人（2021）引入注意力機(jī)制和密集卷積模塊以提升分解性能。Wu 等人（2022）先構(gòu)建光照分量和反射分量的優(yōu)化問題，然后將其展開為可學(xué)習(xí)的深度網(wǎng)絡(luò)來求解。

基于Retinex 的傳統(tǒng)方法也是低照度圖像增強(qiáng)領(lǐng)域的研究熱點(diǎn)。由于靈活性強(qiáng)、計(jì)算效率高，基于變分的Retinex 增強(qiáng)算法得到廣泛關(guān)注。該類算法主要尋求具有何種結(jié)構(gòu)的光照分量和反射分量，經(jīng)Gamma 校正后可還原暗區(qū)細(xì)節(jié)，常利用先驗(yàn)假設(shè)，對(duì)兩個(gè)分量的視覺結(jié)構(gòu)表象構(gòu)建約束。為此，涌現(xiàn)出很多有效的變分變體及加權(quán)變分約束模型。Ng和Wang（2011）為了抑制明亮區(qū)域梯度的變化幅度，將原始圖像經(jīng)對(duì)數(shù)變換到對(duì)數(shù)域。Fu 等人（2016）證明在對(duì)數(shù)域進(jìn)行Retinex 分解并不理想，提出一種加權(quán)變分模型（weighted variational model，WVM）。Cai 等人（2017）依據(jù)局部平均變分（mean local variance，MLV）構(gòu)建像素級(jí)加權(quán)變分模型，可放大暗區(qū)的梯度變化幅度，恢復(fù)圖像細(xì)節(jié)。Xu 等人（2020）發(fā)現(xiàn)利用指數(shù)級(jí)局部平均變分（exponentiated mean local variance，EMLV）作為加權(quán)權(quán)重，在Retinex 分解時(shí)，可生成原圖的卡通—紋理圖。

上述算法在暗區(qū)細(xì)節(jié)信息恢復(fù)上的性能提升明顯，但多是面向普通低照度圖像，應(yīng)用到照度特別低的圖像時(shí)，不能較好地平衡Gamma 校正因子取值與亮度提升及顏色失真之間的關(guān)系，出現(xiàn)色彩失真和圖像欠增強(qiáng)間的不可調(diào)和問題。其次，除亮度提升和色彩恢復(fù)外，低照度圖像增強(qiáng)還需考慮噪聲放大的問題。一些基于Retinex 的算法假設(shè)光照分量平滑、無噪聲，則低照度圖像中的噪聲顯現(xiàn)在反射分量中。Li等人（2018）通過調(diào)整反射分量中梯度幅度小的點(diǎn)來抑制噪聲，該方法不適用于高強(qiáng)度噪聲。Hao 等人（2020）聯(lián)合高斯全變分（Gaussian total variation，GTV）和普通全變分（total variation，TV）從反射層中去噪。Ren 等人（2020）利用圖像非局部自相似性（non-local self-similarity，NSS）原理，為反射分量構(gòu)建基于低秩矩陣恢復(fù)的去噪模型。這些算法僅借助反射分量的自身信息，即內(nèi)部先驗(yàn)來區(qū)分噪聲與圖像紋理，去噪性能受限，圖像紋理常連同噪聲信息一同去除。

針對(duì)上述問題，本文提出一種基于Retinex 的低照度圖像增強(qiáng)與去噪算法，旨在提高圖像亮度和恢復(fù)色彩時(shí)，剔除噪聲。為了能處理照度特別低的圖像，首先估計(jì)輸入圖像的全局光照強(qiáng)度，并對(duì)圖像進(jìn)行初始光照校正。其次，構(gòu)建了基于內(nèi)外雙重先驗(yàn)約束的去噪機(jī)制，為反射分量構(gòu)建基于自身的內(nèi)部先驗(yàn)約束，為增強(qiáng)后的圖像構(gòu)建基于正常曝光自然圖像的外部先驗(yàn)約束，使內(nèi)外約束相互制約。大量實(shí)驗(yàn)結(jié)果表明，所提算法有著良好的圖像增強(qiáng)結(jié)果。

1 研究動(dòng)機(jī)

Retinex 理論認(rèn)為人眼或圖像采集設(shè)備所感知的物體亮度由物體本身的反射分量和環(huán)境光照兩個(gè)因素決定，數(shù)學(xué)模型為

式中，I是觀測(cè)圖像，環(huán)境光照分量L反映環(huán)境光到達(dá)物體表面的光照強(qiáng)度，反射分量R反映物體的固有屬性，°表示矩陣的Hadamard 乘積?，F(xiàn)有增強(qiáng)算法主要通過對(duì)光照分量進(jìn)行Gamma 校正實(shí)現(xiàn)增強(qiáng)，即

式中，Ien為增強(qiáng)后圖像，γ是Gamma校正因子。通過式（2）增強(qiáng)的關(guān)鍵是如何進(jìn)行Retinex 分解，求取有效的光照分量和反射分量。Retinex 分解在數(shù)學(xué)上屬于病態(tài)問題，存在無數(shù)解。學(xué)者依據(jù)兩個(gè)分量的物理意義，提出了很多有效的正則化方法來約束分解結(jié)果。例如，WVM（Fu 等，2016）、JieP（joint intrinsic extrinsic prior）（Cai 等，2017）和STAR（structure and texture aware Retinex）（Ren 等，2020），常認(rèn)為光照強(qiáng)度變化相對(duì)緩慢，屬于圖像的低頻部分，反射分量攜帶圖像的大部分細(xì)節(jié)，屬于圖像的高頻部分。這類基于Retinex 的方法用于普通低照度圖像增強(qiáng)時(shí)，效果明顯，如圖1（a）示例1 所示。但直接用到極低照度圖像時(shí)，會(huì)出現(xiàn)γ取值較大時(shí)，亮度提升不足；γ取值較小時(shí)，色彩失真明顯等問題，如圖1（a）示例2所示，其max(Ic)，c∈{r，g，b}的值均小于0.15，全局環(huán)境光照較低。Wang等人（2019）提出了低照度下的吸收—散射成像模型（absorption light scattering model，ALSM），增強(qiáng)效果提升明顯，如圖1（e）所示。

圖1 不同光照條件下的低照度圖像增強(qiáng)結(jié)果對(duì)照?qǐng)DFig.1 Comparison of low-light image enhancement in different illumination conditions（（a）low-light images；（b）histogram of max(Ic)，c∈{r，g，b}；（c）JieP，γ=0.454；（d）STAR，γ=0.454；（e）ALSM；（f）ours，γ=0.454；（g）JieP，γ=0.125；（h）STAR，γ=0.125）

其次，低照度圖像常伴有隱藏噪聲，增強(qiáng)后噪聲會(huì)放大，如圖1（g）（h）所示。因此，噪聲抑制也是低照度圖像增強(qiáng)需要考慮的問題之一。由于噪聲隱藏在低照度圖像中，可判別性特征不明顯，現(xiàn)有方法常在反射分量中進(jìn)行噪聲去除，反射分量是高頻部分，噪聲會(huì)凸顯出來。常用去噪方法包括數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)。數(shù)據(jù)驅(qū)動(dòng)算法利用大量外部圖像學(xué)習(xí)噪聲圖像和不含噪聲圖像間的映射關(guān)系，通過挖掘外部先驗(yàn)知識(shí)，去噪性能極大提升，但當(dāng)測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)中的噪聲特性差異較大時(shí)，性能明顯下降。模型驅(qū)動(dòng)算法多基于稀疏表達(dá)理論，利用圖像自身，通過發(fā)掘內(nèi)部先驗(yàn)知識(shí)來重建圖像。由于依據(jù)信息受限，圖像紋理常伴隨噪聲一同被剔除。在低照度圖像增強(qiáng)中，去噪的最終目的是去除增強(qiáng)圖像Ien中的噪聲，這屬于正常光照?qǐng)D像的去噪任務(wù)。

目前，對(duì)于能否基于深度學(xué)習(xí)為Ien構(gòu)建外部先驗(yàn)約束，為反射分量構(gòu)建內(nèi)部先驗(yàn)信息，使內(nèi)外先驗(yàn)相互約束從而提高去噪性能，尚無相關(guān)研究。對(duì)此，本文針對(duì)這些方面進(jìn)行探索。

2 基于Retinex的低照度圖像增強(qiáng)與去噪

本文提出的圖像增強(qiáng)與去噪算法流程圖如圖2所示，主要包括基于場(chǎng)景全局光照的初始光照校正、Retinex分解及基于內(nèi)外雙重先驗(yàn)約束的去噪這3個(gè)模塊，其中Retinex 分解采用順序分解策略，先估計(jì)光照分量，再估計(jì)反射分量，并確保待增強(qiáng)圖像中的噪聲都顯現(xiàn)在反射分量中。

圖2 本文算法示意圖Fig.2 The flow chart of the proposed method

2.1 環(huán)境全局光照估計(jì)與光照校正

本文基于暗通道先驗(yàn)原理（He 等，2011），對(duì)低照度圖像I拍攝環(huán)境的的全局光照進(jìn)行估計(jì)。首先將圖像的亮度值歸一化到區(qū)間［0，1］，再計(jì)算暗通道圖Idark，在暗通道圖中選取亮度值排在前10%的像素點(diǎn)，令這些像素點(diǎn)構(gòu)成集合Ω1，則每個(gè)顏色通道的光照強(qiáng)度Ac，c∈{r，g，b}的計(jì)算式為

式中，Ic(p)表示待增強(qiáng)圖像I的c顏色通道圖在像素點(diǎn)p處的值，num(Ω1)表示集合Ω1中元素的個(gè)數(shù)。則待增強(qiáng)圖像I的全局光照A為

如果全局光照A＜0.5，則對(duì)待增強(qiáng)圖像進(jìn)行光照校正，進(jìn)行亮度提升，可避免伽馬校正階段由于校正因子選取不當(dāng)引起的部分區(qū)域過亮或過暗；如果全局光照A≥ 0.5，則屬于普通低照度圖像，無需處理，校正方法為

2.2 Retinex分解

Retinex 分解可采用交替優(yōu)化求解和順序求解兩種策略。交替優(yōu)化求解時(shí)，將反射分量和光照分量中的一個(gè)看做常量，再更新另一個(gè)分量值。通過這種方式，不斷地交替更新兩個(gè)分量，直至達(dá)到收斂條件，但反射分量中的噪聲會(huì)不斷干擾光照分量的計(jì)算。受LR3M（low-rank regularized Retinex model）算法（Ren 等，2020）啟發(fā)，本文采用順序求解策略，先估計(jì)光照分量，再估計(jì)反射分量，并使噪聲顯現(xiàn)在反射分量中，記為Rnoise，則Retinex分解可表示為

該分解在RGB（red，green，blue）顏色空間實(shí)施，RGB 值能真實(shí)反映環(huán)境光的強(qiáng)度，有利于色彩保真。由于增強(qiáng)是通過對(duì)L進(jìn)行Gamma 校正實(shí)現(xiàn)，本文發(fā)現(xiàn)，光照分量中豐富的紋理信息會(huì)有效增強(qiáng)暗區(qū)細(xì)節(jié)。為此，通過優(yōu)化目標(biāo)函數(shù)，可使L具有與Ilow相似的紋理特征且無噪聲。具體為

式中，Gσ是標(biāo)準(zhǔn)偏差為σ的高斯濾波器。

根據(jù)Retinex 理論，利用式（7）求取光照分量后，可直接計(jì)算反射分量Rnoise，具體為

式中，?表示兩個(gè)矩陣中對(duì)應(yīng)元素相除，max(L，ε)用于防止分母為零。Rnoise中含有大量噪聲，為此本文構(gòu)建了基于內(nèi)外雙重互補(bǔ)先驗(yàn)約束的去噪機(jī)制。

2.3 基于雙重互補(bǔ)先驗(yàn)約束的去噪機(jī)制

根據(jù)式（7）和式（9）求取光照分量和反射分量后，可用Gamma 校正獲取含噪聲的增強(qiáng)圖像Ien_noise，具體為

式中，Lγ是經(jīng)過Gamma 校正的光照分量，不含噪聲，顯現(xiàn)在Rnoise中的噪聲也體現(xiàn)在增強(qiáng)圖像Ien_noise中。不同于單獨(dú)利用反射分量或增強(qiáng)圖像進(jìn)行去噪，本文基于Rnoise和Ien_noise的特點(diǎn)，為它們各自構(gòu)建去噪約束，使其相互制約，以提高算法的魯棒性和普適性。Ien_noise屬于正常曝光圖像，可看做普通自然圖像去噪問題，因此，可利用大量自然圖像，基于深度學(xué)習(xí)技術(shù)為其構(gòu)建約束，具體為

式中，Ien代表去噪聲后的增強(qiáng)圖像，Θ(Ien)是正則化項(xiàng)，代表提前構(gòu)建的深度即插即用模塊。Rnoise的視覺結(jié)構(gòu)特征動(dòng)態(tài)依賴于低照度圖像和Retinex 分解模型，本文通過挖掘其自身的統(tǒng)計(jì)特征進(jìn)行去噪。非局部自相似性（NSS）原理是常用的圖像處理技術(shù)，依據(jù)該原理，本文利用低秩矩陣恢復(fù)理論對(duì)反射分量構(gòu)建去噪約束，具體為

式中，R表示去噪后的反射分量，‖· ‖*表示核范數(shù)。矩陣Nij(R)依據(jù)圖像的非局部自相似原理構(gòu)建，具體如下：1）確定R中以像素點(diǎn)(i，j)為中心、大小為b×b的圖像塊Rij；2）在R中搜索到n個(gè)與Rij相似的圖像塊，使這些塊連接構(gòu)成矩陣Nij(R)∈

將式（11）構(gòu)建的外部先驗(yàn)約束和式（12）構(gòu)建的內(nèi)部先驗(yàn)約束相結(jié)合，形成基于雙重互補(bǔ)先驗(yàn)約束的聯(lián)合優(yōu)化目標(biāo)函數(shù)。具體為

為了求解式（13），先需消除約束項(xiàng)Ien=Lγ°R，本文采用拉格朗日乘子法，通過引入變量H，得到新的目標(biāo)函數(shù)，具體為

式中，α是正則化參數(shù)，式（14）可通過交替優(yōu)化求解R與Ien。

1）R子問題。式（14）中低照度圖像Ilow、光照分量L和增強(qiáng)后的噪聲圖像Ien_noise已知，初始化H為元素全為0 的矩陣。然后固定變量Ien和H，求解反射分量子問題為

式（15）可簡(jiǎn)化為

式（16）是經(jīng)典的低秩矩陣恢復(fù)模型，可采用奇異值收縮法（singular value thresholding，SVT）求取反射分量R，α·Lγ表示對(duì)Lγ中每個(gè)元素乘以α。

2）Ien子問題。在式（14）中固定變量R和H，求解Ien的子問題為

式（17）可簡(jiǎn)化為優(yōu)化目標(biāo)函數(shù)，具體為

可將(α(Lγ°R+H)+Ien_noise)/(1+α) 輸入到提前訓(xùn)練好的深度即插即用模塊里，求解得到Ien。

3）H子問題。根據(jù)式（16）和式（18）求取R和Ien后，可更新變量H，具體方法為

綜上所述，所提出的基于Retinex 的低照度圖像增強(qiáng)與去噪算法的具體步驟如下：

輸入：低照度圖像I。

輸出：增強(qiáng)圖像Lγ°R。

1）用式（3）和式（4）估計(jì)場(chǎng)景全局光照強(qiáng)度A。

2）用式（5）進(jìn)行光照校正，得到Ilow。

3）用式（7）估計(jì)光照分量L。

4）用式（9）估計(jì)有噪聲的反射分量Rnoise。

5）用Gamma 校正（式（10））求取含噪聲的增強(qiáng)Ien_noise。

6）Fort=1：T

用式（16）估計(jì)R。

用式（18）估計(jì)Ien。

用式（19）估計(jì)H。

7）得到最后增強(qiáng)結(jié)果Lγ°R。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)從DICM（digital images from commercial cameras）（Lee 等，2013）、LIME（low-light image enhancement）（Guo 等，2017）和ExDark（exclusively dark）（http：//web.fsktm.um.edu.my/cschan/source/CVIU/ExDark.zip）公開的低照度圖像增強(qiáng)數(shù)據(jù)集中挑選140幅普通低照度圖像（全局光照大于0.5），從LOL（low-light）數(shù)據(jù)集（Yang 等，2021）中選162 幅極低照度圖像（全局光照小于0.15）用于驗(yàn)證本文算法的有效性。

本文算法采用MATLAB 在個(gè)人計(jì)算機(jī)上實(shí)現(xiàn)，主要配置為Intel Core i7-10700K，處理器3.8 GB 和內(nèi)存128 GB。關(guān)于外部去噪先驗(yàn)約束Θ()，任何深度去噪模型均可用來構(gòu)建該約束，本文采用快速靈活 的FFDNet（fast and flexible denoising network）（Zhang 等，2018），使用作者提供的預(yù)訓(xùn)練模型（https：//github.com/cszn/FFDNet）作為Θ()，該模型允許用戶輸入噪聲強(qiáng)度參數(shù)來適應(yīng)不同強(qiáng)度的噪聲。在實(shí)驗(yàn)中，下列參數(shù)固定不變。

1）num(Ω1)（式（3）），集合Ω1的元素個(gè)數(shù)，本文選用圖像像素點(diǎn)數(shù)的1/10，依據(jù)Ω1的構(gòu)建特點(diǎn)，提高該比例，對(duì)于普通低照度圖像，其估計(jì)的全局光照強(qiáng)度會(huì)降低，會(huì)被誤分為極低照度圖像，但對(duì)極低照度圖像的全局光照強(qiáng)度估計(jì)影響較小，因?yàn)槠湎袼亓炼榷己艿颓曳浅＝咏?/p>

2）ε=10-6（式（7）），用于防止分母為0；

3）高斯濾波Gσ（式（8））的標(biāo)準(zhǔn)偏差σ=3，σ取值會(huì)影響權(quán)重矩陣W，進(jìn)而影響光照分量L，圖3 顯示σ越大，L越光滑；

圖3 σ取值對(duì)光照分量的影響Fig.3 The influence of the value of σ on illumination component（（a）low-light image；（b）illumination component obtained with σ=3；（c）illumination component obtained with σ=7）

4）構(gòu)建內(nèi)部去噪先驗(yàn)時(shí)，圖像塊尺寸b×b設(shè)置為8 × 8，相似塊數(shù)量n=70；在去噪階段，α設(shè)置為0.5，其對(duì)去噪結(jié)果的影響在3.2.1小節(jié)討論；

5）Gamma校正因子γ=0.454，循環(huán)次數(shù)T=3。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 雙重互補(bǔ)先驗(yàn)約束去噪結(jié)果

不同先驗(yàn)約束下的去噪結(jié)果對(duì)照?qǐng)D及α對(duì)去噪結(jié)果的影響如圖4 所示。圖4（b）顯示，單獨(dú)使用內(nèi)部先驗(yàn)知識(shí)可去除明顯的噪聲點(diǎn)，但塊偽影多，導(dǎo)致背景失真明顯。圖4（c）顯示，單獨(dú)使用外部先驗(yàn)，去噪結(jié)果中仍有大量噪點(diǎn)，主要原因是測(cè)試數(shù)據(jù)特征與訓(xùn)練數(shù)據(jù)特征差異大，但色彩保真度高。圖4（d）顯示使用雙重互補(bǔ)先驗(yàn)約束，可有效去除塊偽影且過濾大量噪聲。依據(jù)式（18），α表示Lγ°R參與增強(qiáng)結(jié)果的表征權(quán)重，即內(nèi)部先驗(yàn)的表征權(quán)重，如圖4（b）所示，內(nèi)部先驗(yàn)可有效剔除噪聲點(diǎn)，故α越大，剔除噪聲點(diǎn)越多（如圖4（e））。

圖4 不同先驗(yàn)約束下的去噪結(jié)果對(duì)照?qǐng)D及α對(duì)去噪結(jié)果的影響Fig.4 Comparison of denoising under different prior constraints and the impact of α on denoising results（（a）low-light images；（b）internal prior；（c）external prior；（d）dual-prior constraints α=0.5；（e）dual-prior constraints α=0.7）

3.2.2 本文方法與其他方法對(duì)比

為了驗(yàn)證本文算法的有效性，與SRM（structure revealing model）（Li等，2018）、LR3M（Ren等，2020）、RetinexDIP（Zhao 等，2022）、EnlightenGan（江澤濤等，2021）、Zero-DCE（Li 等，2022）及URetinexNet（Wu 等，2022）算法進(jìn)行比較。SRM 和LR3M 是基于Retinex 的傳統(tǒng)模型驅(qū)動(dòng)算法，有處理噪聲模塊，它們的Gamma 校正因子分別取值0.454 和0.333。RetinexDIP、EnlightenGan、Zero-DCE 和URetinexNet是基于深度學(xué)習(xí)的算法，其中RetinexDIP 和 EnlightenGan 的網(wǎng)絡(luò)模型考慮了噪聲抑制。在對(duì)比實(shí)驗(yàn)中，這4 種算法采用默認(rèn)參數(shù)設(shè)置和作者提供的訓(xùn)練模型。

1）主觀評(píng)價(jià)。圖5 和圖6 展示了不同方法在極低照度圖像和普通低照度圖像上的視覺增強(qiáng)對(duì)比。結(jié)果顯示：（1）在極低照度條件下，本文方法和URetinexNet 均取得了相當(dāng)好的結(jié)果，亮度提升明顯，色彩保真度高，相較于其他5 種算法，優(yōu)勢(shì)明顯，且本文方法去噪時(shí)能平衡噪聲去除與紋理保持間的關(guān)系，邊緣清晰；（2）在普通光照條件下，本文方法也取得了很好的增強(qiáng)效果，較好地還原了物體本真的色彩，如圖6（i）中的船體和塔尖的色彩；與其他算法相比，色彩豐富性降低，因?yàn)楸疚乃惴ㄍㄟ^對(duì)低照度圖像采用平滑濾波的方式求取光照分量，較好地保留了RGB 三原色之間的關(guān)系，而反射分量經(jīng)去噪后（圖6（n））包含的色彩信息非常少，致使圖像高頻部分?jǐn)y帶的色彩信息丟失，故增強(qiáng)結(jié)果的色彩（圖6（i））與校正后光照分量的色彩（圖6（l））基本一致；而SRM 和LR3M 在HSV（hue，saturation，value）色彩空間增強(qiáng)，求取的反射分量色彩豐富（圖6（k）），深度學(xué)習(xí)方法依據(jù)訓(xùn)練數(shù)據(jù)學(xué)到了色彩映射關(guān)系，均不保留原圖像RGB 三原色間的關(guān)系，加之噪聲的影響，色彩呈現(xiàn)豐富；（3）由于Zero-DCE 沒有考慮噪聲，增強(qiáng)后噪聲明顯放大，雖然RetinexDIP 和EnlightenGan 含有噪聲抑制模塊，但模塊簡(jiǎn)單，僅依賴于外部先驗(yàn)知識(shí)，去噪性能受限，當(dāng)測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)特征差異大時(shí)，無法有效判定噪聲，故去噪效果與Zero-DCE 相似；（4）SRM 可有效抑制低強(qiáng)度噪聲，但僅依據(jù)反射分量的梯度變化判定噪聲，不考慮噪聲的空間特征，去噪性能受限，如圖6 中第1 幅測(cè)試圖像所示；（5）LR3M 去噪性能良好，幾乎可去除所有噪聲，但由于僅依賴于反射分量的內(nèi)部先驗(yàn)來判定噪聲，圖像紋理常伴隨噪聲一同被剔除；（6）雖然URetinexNet 沒有噪聲抑制模塊，但其通過展開的深度網(wǎng)絡(luò)來迭代優(yōu)化反射分量和光照分量，以數(shù)據(jù)驅(qū)動(dòng)的方式自適應(yīng)地?cái)M合隱式先驗(yàn)，達(dá)到抑噪目的；故測(cè)試數(shù)據(jù)的噪聲特征與訓(xùn)練數(shù)據(jù)的噪聲特征相近時(shí)，URetinexNet 可有效抑噪（如圖5），反之不能抑制噪聲（如圖6）；（7）本文算法能有效增強(qiáng)極低照度圖像，且能剔除隱藏噪聲，主要是本文算法先根據(jù)場(chǎng)景全局光照強(qiáng)度進(jìn)行了初步光照校正，將極低照度圖像增強(qiáng)任務(wù)轉(zhuǎn)換為普通低光照增強(qiáng)問題，且通過結(jié)合反射分量的內(nèi)部先驗(yàn)約束和增強(qiáng)圖像的外部先驗(yàn)約束提升了噪聲的可判別性，故可有效平衡噪聲去除和紋理保持間的關(guān)系。

圖5 極低照度圖像增強(qiáng)視覺感受對(duì)照Fig.5 Comparison of visual perception for extreme low-light image enhancement（（a）low-light images；（b）RetinexDIP；（c）EnlightenGan；（d）Zero-DCE；（e）URetinexNet；（f）ground truth；（g）SRM；（h）LR3M；（i）ours）

圖6 普通低照度圖像增強(qiáng)視覺感受對(duì)照Fig.6 Comparison of visual perception for general low-light image enhancement（（a）low-light images；（b）RetinexDIP；（c）EnlightenGan；（d）Zero-DCE；（e）URetinexNet；（f）SRM；（g）LR3M；（h）ours without denoising；（i）ours；（j）illumination obtained by LR3M+Gamma correction；（k）reflection obtained by LR3M；（l）illumination obtained by ours+Gamma correction；（m）reflection obtained by ours without denoising；（n）reflection obtained by ours）

2）客觀評(píng)價(jià)。除主觀視覺評(píng)價(jià)外，對(duì)增強(qiáng)結(jié)果做了定量評(píng)價(jià)。由于普通低照度圖像測(cè)試集無曝光良好的圖像可參考，本文采用3 個(gè)無參考指標(biāo)進(jìn)行評(píng)價(jià)和分析，包括BTMQI（blind tone-mapped quality index）（Gu 等，2016）、NIQMC（no-reference image quality metric for contrast distortion）（Gu 等，2017）和NIQE（natural image quality evaluator）。BTMQI 通過分析圖像自然度和結(jié)構(gòu)來評(píng)價(jià)色調(diào)映射圖像質(zhì)量；NIQMC結(jié)合局部結(jié)構(gòu)和全局語義來評(píng)價(jià)對(duì)比度畸變的圖像質(zhì)量。其中，NIQE 和BTMQI 評(píng)分越低，圖像越自然，質(zhì)量越高。NIQMC評(píng)分越高，代表圖像質(zhì)量越好。而極低照度圖像測(cè)試集提供了正常曝光圖像做參考，因此，除無參考質(zhì)量評(píng)價(jià)外，還用峰值信噪比（peak signal-to-noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity index，SSIM）兩種有參考指標(biāo)進(jìn)行度量分析，它們的值越高，代表與正常曝光圖像越接近。

表1 顯示了在140 幅普通低照度圖像上各指標(biāo)點(diǎn)的均值?？梢钥闯?，本文算法在指標(biāo)點(diǎn)BTMQI 和NIQE 上均取得了次優(yōu)值，在NIQMC 上表現(xiàn)不佳，但與兩種基于Retinex的傳統(tǒng)算法接近。4種基于深度學(xué)習(xí)的算法NIQMC 指標(biāo)較高，因?yàn)樗鼈兛衫猛獠孔匀粓D像的對(duì)比度先驗(yàn)來校正增強(qiáng)圖像的對(duì)比度。雖然本文算法也利用了外部先驗(yàn)知識(shí)Θ()，但訓(xùn)練Θ()是采用無噪聲與有噪聲圖像對(duì)，故Θ()在對(duì)比度提升方面的先驗(yàn)信息有限。

表1 普通低照度圖像上增強(qiáng)結(jié)果定量評(píng)價(jià)Table 1 Quantitative evaluation of general low-light image enhancement

表2 顯示了在162 幅極低照度圖像上各指標(biāo)點(diǎn)的均值?？梢钥闯觯疚乃惴ㄔ谥笜?biāo)點(diǎn)NIQMC、PSNR 和SSIM 上優(yōu)勢(shì)明顯，在指標(biāo)點(diǎn)BTMQI 上與EnlightenGan 性能相近，在指標(biāo)點(diǎn)NIQE 上與URetinexNet 性能相近。因?yàn)楸疚姆椒▽?duì)圖像進(jìn)行了兩次光照提升，第1 次光照校正時(shí)使RGB 三通道的值相等，接近于自然光照，且Retinex 分解在RGB 空間進(jìn)行，使增強(qiáng)圖像色彩還原度高，亮度提升明顯。URetinexNet 也取得了較好的增強(qiáng)效果，而其他5 種算法主要面向普通低照度圖像設(shè)計(jì)，用于照度特別低的圖像時(shí)，亮度提升不明顯。相對(duì)于極低照度圖像，在普通低照度圖像上，本文算法優(yōu)勢(shì)不明顯，因?yàn)閰⑴c對(duì)比的傳統(tǒng)方法SRM 和LR3M 以及深度學(xué)習(xí)方法均取得了明顯的亮度提升和細(xì)節(jié)恢復(fù)，雖然有些結(jié)果含有大尺度的噪聲，但色彩豐富，看上去很似場(chǎng)景紋理信息，本文算法雖然過濾掉了噪聲，但色彩豐富性降低。

表2 極低照度圖像上增強(qiáng)結(jié)果定量評(píng)價(jià)Table 2 Quantitative evaluation of extreme low-light image enhancement

綜合可見，本文算法可用于不同光照條件下的低照度圖像增強(qiáng)，在亮度提升、色彩保真及噪聲去除方面均有優(yōu)勢(shì)，且增強(qiáng)效果穩(wěn)定。

4 結(jié)論

由于現(xiàn)有低照度圖像增強(qiáng)算法多是面向普通低照度圖像構(gòu)建，用于照度特別低的圖像時(shí)，常會(huì)出現(xiàn)亮度提升不足、色彩失真嚴(yán)重等問題，且低照度圖像增強(qiáng)后會(huì)伴隨噪聲放大現(xiàn)象。為此，本文提出一種基于Retinex 分解的增強(qiáng)與去噪算法。本文方法通過暗通道先驗(yàn)原理，估計(jì)場(chǎng)景光照強(qiáng)度，并對(duì)照度極低的圖像進(jìn)行第一次亮度提升，有效解決了亮度提升和色彩失真間的不可調(diào)和問題。實(shí)驗(yàn)表明，該方法可有效增強(qiáng)不同光照條件下的低照度圖像，色彩還原度高。為了去除噪聲，本文方法構(gòu)建了基于內(nèi)外雙重互補(bǔ)先驗(yàn)約束的去噪機(jī)制，利用反射分量的內(nèi)部先驗(yàn)約束，并為初始增強(qiáng)后的噪聲圖像構(gòu)建了外部去噪先驗(yàn)，讓兩種約束相互制約。實(shí)驗(yàn)表明，該方法可平衡噪聲去除與紋理保持間的關(guān)系，使增強(qiáng)后的圖像邊緣清晰。本文提前用深度網(wǎng)絡(luò)模型訓(xùn)練的外部先驗(yàn)約束在高斯—泊松混合噪聲上效果好，但用于去除增強(qiáng)時(shí)產(chǎn)生的尺度較大的噪聲塊時(shí)效果欠佳。下一步的工作將放在外部先驗(yàn)約束的訓(xùn)練模塊上，提高算法的魯棒性。