李治杰，陳 明，馮國(guó)富

上海海洋大學(xué) 信息學(xué)院，上海 201306

受限于傳感器靈敏度、實(shí)時(shí)處理等，在昏暗環(huán)境下拍攝得到的低光圖像存在著低對(duì)比度、顏色失真和大量噪聲等問(wèn)題。低光圖像增強(qiáng)任務(wù)需要對(duì)圖像進(jìn)行亮度增強(qiáng)，正確的顏色恢復(fù)、噪聲抑制，提高圖像信噪比，提升低光圖像質(zhì)量?；谏疃葘W(xué)習(xí)的方法在圖像恢復(fù)和增強(qiáng)方面取得了顯著的進(jìn)步，然而大部分基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的低光圖像增強(qiáng)方法需要相互配對(duì)的數(shù)據(jù)進(jìn)行訓(xùn)練，在缺乏成對(duì)訓(xùn)練數(shù)據(jù)的情況下，低光圖像增強(qiáng)問(wèn)題仍然十分具有挑戰(zhàn)性。

目前基于CNN的低光圖像增強(qiáng)技術(shù)大多數(shù)需要配對(duì)的數(shù)據(jù)集去進(jìn)行監(jiān)督學(xué)習(xí)。Wei 等[1]提出的RetinexNet 將Retinex[2]理論與CNN 相結(jié)合增強(qiáng)低光圖像，通過(guò)一個(gè)分解網(wǎng)絡(luò)（Decom-Net）將圖像分解為反射和光照，然后增強(qiáng)網(wǎng)絡(luò)（Enhance-Net）對(duì)光照從多尺度角度調(diào)節(jié)和進(jìn)行噪聲抑制，最后對(duì)調(diào)整后的反射和光照進(jìn)行重建輸出增強(qiáng)結(jié)果。Lyu 等[3]提出了多分支網(wǎng)絡(luò)MBLLEN通過(guò)特征提取模塊（feature extraction module，F(xiàn)EM）、增強(qiáng)模塊（enhancement module，EM）、融合模塊（fusion module，F(xiàn)M）三個(gè)模塊對(duì)圖像增強(qiáng)、抑制噪聲和偽影，通過(guò)FEM 提取圖像豐富的不同層次特征，EM 分別增強(qiáng)多層次特征，F(xiàn)M 多分支融合獲得最終輸出。Zhang等[4]提出的StableLLVE是一種基于光流法實(shí)現(xiàn)低光視頻增強(qiáng)的新方法，利用光流來(lái)表示動(dòng)態(tài)場(chǎng)景的視頻幀之間發(fā)生的運(yùn)動(dòng)，通過(guò)用相應(yīng)的光流扭曲圖像來(lái)模擬相鄰的幀，增強(qiáng)模型時(shí)間一致性。基于CNN 的方法需要獲取配對(duì)的低光圖像和正常光圖像，十分耗時(shí)耗力，場(chǎng)景單一有限，通常使用一些算法合成數(shù)據(jù)，其增強(qiáng)性能在很大程度上依賴(lài)于數(shù)據(jù)集。由于合成數(shù)據(jù)不能完全模擬真實(shí)場(chǎng)景下的退化，這些方法的結(jié)果并不理想。

為了解決監(jiān)督學(xué)習(xí)中對(duì)配對(duì)數(shù)據(jù)的依賴(lài)，Guo 等[5]提出了Zero-DCE 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特定曲線(xiàn)估計(jì)，估計(jì)像素和高階曲線(xiàn)的動(dòng)態(tài)范圍調(diào)整給定的圖像，在訓(xùn)練過(guò)程中不需要任何配對(duì)或未配對(duì)的數(shù)據(jù)，然而其增強(qiáng)后的部分圖像邊緣會(huì)產(chǎn)生輕微模糊。Liu 等[6]提出了RUAS，基于Retinex模型設(shè)計(jì)了照明估計(jì)模塊（illumination estimation module，ⅠEM）來(lái)估計(jì)照明圖，噪聲去除模塊（noise removal module，NRM）來(lái)抑制噪聲，利用特征蒸餾技術(shù)搜索ⅠEM 和NRM 的理想結(jié)構(gòu)，但是會(huì)產(chǎn)生增強(qiáng)過(guò)度或不足的問(wèn)題。Jiang等[7]提出的EnlightenGAN 基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的技術(shù)，通過(guò)加入灰度圖注意力模塊進(jìn)行低光圖像增強(qiáng)，在無(wú)配對(duì)數(shù)據(jù)集的情況下進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練，但其訓(xùn)練需要200 次迭代，訓(xùn)練時(shí)間偏長(zhǎng)，部分圖像增強(qiáng)后存在顏色失真情況。

現(xiàn)有大部分基于深度學(xué)習(xí)的低光圖像增強(qiáng)方法需要配對(duì)的數(shù)據(jù)集；細(xì)節(jié)保留較差，增強(qiáng)后圖像邊緣存在模糊；噪聲抑制不足，可能產(chǎn)生噪聲放大。本文參考EnlightenGAN 采用生成對(duì)抗網(wǎng)絡(luò)技術(shù)擺脫對(duì)配對(duì)數(shù)據(jù)集的依賴(lài)，同時(shí)借鑒文獻(xiàn)[8]使用雙分支結(jié)構(gòu)在保留原圖像細(xì)節(jié)的同時(shí)，提升圖像去霧效果的方法，其通過(guò)當(dāng)前數(shù)據(jù)擬合子網(wǎng)（current data fitting sub-net）以全分辨率保持圖像精細(xì)的特征，但模型過(guò)于龐大，容易產(chǎn)生過(guò)擬合問(wèn)題。因此將生成對(duì)抗網(wǎng)絡(luò)技術(shù)與雙分支結(jié)構(gòu)相結(jié)合，提出了網(wǎng)絡(luò)模型的改進(jìn)，設(shè)計(jì)了FEN和DPN兩個(gè)分支網(wǎng)絡(luò)，并且采用輕量化結(jié)構(gòu)，減少訓(xùn)練時(shí)間，在低光圖像和正常光圖像無(wú)配對(duì)的情況下，進(jìn)行端到端訓(xùn)練，同時(shí)加入了total variation loss來(lái)抑制圖像噪聲，進(jìn)一步提升低光圖像增強(qiáng)質(zhì)量。

1 模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文模型由一個(gè)生成器，兩個(gè)判別器組成，用于實(shí)現(xiàn)低光圖像和正常光圖像的非配對(duì)數(shù)據(jù)端到端的訓(xùn)練。生成器采用雙分支結(jié)構(gòu)，在提高亮度的同時(shí)，保留圖像細(xì)節(jié)，抑制圖像噪聲。第一個(gè)分支網(wǎng)絡(luò)為包含跳躍連接的類(lèi)似U-Net[9]編碼器-解碼器體系結(jié)構(gòu)的特征提取網(wǎng)絡(luò)（feature extraction network，F(xiàn)EN），學(xué)習(xí)低光圖像到正常光圖像上下文的特征映射，另一個(gè)分支網(wǎng)絡(luò)為全分辨率的輕量級(jí)的細(xì)節(jié)保留網(wǎng)絡(luò)（detail preservation network，DPN），以低光圖像的全分辨率來(lái)保留原圖像的紋理和細(xì)節(jié)，最后將兩個(gè)分支網(wǎng)絡(luò)輸出的特征映射拼接后輸入融合層（fusion layer），輸出的結(jié)果為提高亮度后的圖像。兩個(gè)判別器分別是全局判別器和局部判別器，整體結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall network structure

1.2 生成器模型

1.2.1 特征提取網(wǎng)絡(luò)（FEN）

特征提取網(wǎng)絡(luò)（FEN）以U-Net 為基礎(chǔ)結(jié)構(gòu)，U-Net是編碼器-解碼器（encoder-decoder）模式，可以從輸入的低光圖像學(xué)習(xí)提取全局特征表示，橫向連接通過(guò)將編碼器部分的特征圖（feature map）與解碼器部分的特征圖拼接，有助于保留底層結(jié)構(gòu)提取的細(xì)節(jié)。FEN結(jié)構(gòu)如圖2所示。

圖2 FEN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of FEN

FEN 網(wǎng)絡(luò)采用了輕量化設(shè)計(jì)，最大拓展到256 通道，極大降低了計(jì)算量。降采樣采用最大池化，上采樣使用雙線(xiàn)性插值算法，避免圖像出現(xiàn)棋盤(pán)格效應(yīng)，然而網(wǎng)絡(luò)體積的減小使其不能良好地對(duì)非配對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)泛化，會(huì)在圖像局部出現(xiàn)大量的偽影，所以需要加入下文的另一分支網(wǎng)絡(luò)DPN，進(jìn)而提取保留原圖更多的紋理細(xì)節(jié)。

由于低光圖像局部光照不均勻，雖然圖像大部分區(qū)域非常暗，但是可能局部區(qū)域比較亮，所以這部分區(qū)域無(wú)須再增強(qiáng)，如反射較強(qiáng)的地方或者有光源的地方會(huì)發(fā)生過(guò)曝的現(xiàn)象。FEN 采用橫向連接可以保留原圖語(yǔ)義上下文信息，同時(shí)在連接過(guò)程中使用了EnlightenGAN的特征注意模塊，其應(yīng)用了1-gray單通道圖作為特征注意，由RGB 圖像先轉(zhuǎn)換為灰度圖（gray），計(jì)算公式如式（1）所示，該公式為OpenCV庫(kù)函數(shù)。

特征注意模塊通過(guò)上述公式得到gray，最后1-gray與編碼器部分得到的特征圖相乘，因此得到的特征注意可以作為暗區(qū)域的放大因子，亮區(qū)域的抑制因子，將原圖亮區(qū)域變暗，而暗區(qū)域變亮。

1.2.2 細(xì)節(jié)保留網(wǎng)絡(luò)（DPN）

細(xì)節(jié)保留網(wǎng)絡(luò)（DPN）主要由2個(gè)卷積層，15個(gè)殘差塊，1 個(gè)Batch 歸一化層，通道注意力模塊（SE module）和空間注意力模塊（SA module）構(gòu)建了一個(gè)輕量級(jí)網(wǎng)絡(luò)，DPN結(jié)構(gòu)如圖3所示。

圖3 DPN結(jié)構(gòu)Fig.3 Network structure of DPN

DPN 網(wǎng)絡(luò)通道數(shù)最大為32 通道，該分支網(wǎng)絡(luò)通過(guò)避免下采樣和上采樣操作，如去除池化層等，池化操作雖然通過(guò)減小圖像的大小來(lái)降低計(jì)算量，提高計(jì)算速度，但是在前向傳播過(guò)程中通常會(huì)丟棄大量有用的信息。為了最大程度保持原圖的細(xì)節(jié)特征，所有卷積層的卷積核大小設(shè)置為3×3，步長(zhǎng)為1，這樣可以以全分辨率的形式保留原始圖像的全局細(xì)節(jié)。

神經(jīng)網(wǎng)絡(luò)對(duì)圖像的低頻特征可以較容易學(xué)習(xí)得到，而圖像的高頻特征需要在神經(jīng)網(wǎng)絡(luò)的深層學(xué)習(xí)，因此通過(guò)殘差模塊保留原圖的顏色和紋理。SE module 來(lái)自于SENet[10]，從空間的角度來(lái)看，通道注意力是全局的，利用全局平均池化將通道全局空間信息轉(zhuǎn)化為通道描述符，通過(guò)通道注意力機(jī)制來(lái)關(guān)注不同通道間對(duì)亮度的貢獻(xiàn)的大小，學(xué)習(xí)低光圖像與正常亮度圖像通道映射之間的相關(guān)性。SA module 來(lái)源于CBAM[11]，由于光在傳播過(guò)程中受到衰減，物體反射吸收等情況，會(huì)造成不同圖像像素上光照分布不均勻，因此使用空間注意力充分利用特征圖中光照分布的不同位置信息，去擬合低光圖像到正常亮度圖像光照的分布表示。SA module 采用平均池化和最大池化兩種方式來(lái)分別利用不同的信息，最大池化編碼了低光圖像光照分布最顯著的部分，而平均池化編碼了低光圖像全局的統(tǒng)計(jì)信息。因此，同時(shí)使用這兩個(gè)特征可以最大化擬合正常光圖像的光照分布。

1.2.3 融合層（fusion layer）

FEN 和DPN 分別輸出一個(gè)通道數(shù)為32 的特征圖，然后將兩個(gè)分支網(wǎng)絡(luò)提取的特征拼接后生成64通道的特征圖送入融合層得到最后輸出。融合層使用了兩個(gè)卷積層和一個(gè)tanh激活函數(shù)，卷積層的卷積核大小都設(shè)置為3×3，步長(zhǎng)為1，第一個(gè)卷積層將64通道壓縮為3通道，第二個(gè)卷積層只需要微調(diào)第一個(gè)卷積層的特征圖，最后輸出的結(jié)果即增亮后的圖像，由于訓(xùn)練時(shí)將圖像歸一化到[-1，1]，tanh 激活函數(shù)可以使輸出保持在相同的范圍。

1.3 判別器模型

網(wǎng)絡(luò)通過(guò)兩個(gè)判別器來(lái)區(qū)分生成器增強(qiáng)后的生成圖像與真實(shí)的正常光圖像。兩個(gè)判別器都使用Patch-GAN[12]結(jié)構(gòu)，全局判別器對(duì)生成圖像和正常光圖像進(jìn)行判別，以整幅圖像作為輸入，輸出圖像的真實(shí)度。然后在生成圖像和正常光圖像上分別隨機(jī)裁剪出5張32×32的圖像塊送入局部判別器，輸出每個(gè)圖像小塊的真實(shí)度，可以改善圖像局部細(xì)節(jié)。

1.4 損失函數(shù)

1.4.1 對(duì)抗損失（adversarial loss）

像素化的損失函數(shù)，如L1 loss、L2 loss，通常不能提供足夠的信息來(lái)訓(xùn)練網(wǎng)絡(luò)恢復(fù)圖像真實(shí)的細(xì)節(jié)。因此采用對(duì)抗性損失來(lái)使增強(qiáng)后的圖像的光照分布接近于正常光圖像的光照分布。

全局判別器損失選用了基于最小二乘損失（least squares GAN，LS-GAN[13]）形式的相對(duì)判別器（relativistic GAN[14]），局部判別器損失采用原始的LS-GAN 形式。LS-GAN提供更平滑和非飽和梯度，幫助網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定，relativistic GAN估計(jì)正常光圖像比生成圖像更真實(shí)的概率。

全局判別器的對(duì)抗損失，如式（2）所示：

式中，Preal代表正常光圖像分布，Pfake代表生成圖像分布，y和xf分別采樣于分布Preal和Pfake。

局部判別器的對(duì)抗損失，如式（3）所示：

1.3.3 處理分析數(shù)據(jù)快捷。大數(shù)據(jù)能時(shí)時(shí)對(duì)變化的環(huán)境進(jìn)行策略改變，對(duì)于海量數(shù)據(jù)、處理數(shù)據(jù)、分析數(shù)據(jù)及挖掘數(shù)據(jù)都能快速做出處理和相應(yīng)，具有低密度性。

式中，Preal-patches代表從正常光圖像裁剪出的圖像塊分布，Pfake-patches代表從生成圖像裁剪出的圖像塊分布，y和xf分別采樣于分布Preal-patches和Pfake-patches。

生成器總對(duì)抗損失，如式（6）所示：

1.4.2 感知損失（perceptual loss）

感知損失[15]證明了VGG[16]網(wǎng)絡(luò)底層更加關(guān)注圖像的顏色和紋理，而在網(wǎng)絡(luò)高層特征空間可以充分保留圖像內(nèi)容和整體空間結(jié)構(gòu)。通過(guò)對(duì)VGG網(wǎng)絡(luò)提取的特征圖進(jìn)行instance歸一化，減輕圖像亮度的影響，使網(wǎng)絡(luò)關(guān)注圖像內(nèi)容，提取圖像的內(nèi)容細(xì)節(jié)。本文采用VGG-16網(wǎng)絡(luò)在ⅠmageNet數(shù)據(jù)集上預(yù)訓(xùn)練權(quán)重。損失表示為生成圖像與輸入的低光圖像之間的歐氏距離，如式（7）所示：

式中，xr代表輸入的低光圖像，G(?)代表生成器，?j(?)代表VGG16網(wǎng)絡(luò)的第j層卷積層，CjHjWj代表第j層卷積層輸出的特征圖維度為Cj×Hj×Wj，C、H、W代表特征圖的通道數(shù)、高度、寬度，代表L2 loss。

1.4.3 全變差損失（total variation loss）

噪聲可能在圖像亮度增強(qiáng)的同時(shí)而被保留或者放大。為了抑制噪聲，本文采用全變差損失[17]，通過(guò)式（8）來(lái)平滑圖像：

式中，C、H、W代表低光圖像的通道數(shù)、高度、寬度，?x和?y分別表示對(duì)圖像水平方向和垂直方向梯度運(yùn)算。

式中，λa、λp、λt分別為損失Ladv、Lper、Ltv的權(quán)重，分別設(shè)為1、1、0.1。

1.4.5 判別器總損失

判別器總損失如式（10）所示：

2 實(shí)驗(yàn)

2.1 訓(xùn)練細(xì)節(jié)

數(shù)據(jù)集選用了EnlightenGAN 作者提供的訓(xùn)練集，共1 930 張，包含低光圖像914 張和正常光圖像1 016張。訓(xùn)練時(shí)將圖片尺寸隨機(jī)裁剪為320×320，通過(guò)90°、180°、270°的隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)來(lái)擴(kuò)充訓(xùn)練集，Batch 設(shè)為8，訓(xùn)練次數(shù)為100 代。生成器和兩個(gè)判別器都采用Adam 優(yōu)化器，β1和β2分別設(shè)為0.5 和0.999，學(xué)習(xí)率設(shè)為0.000 1。網(wǎng)絡(luò)經(jīng)過(guò)兩個(gè)階段的訓(xùn)練：第一階段，先固定兩個(gè)判別器，然后訓(xùn)練生成器；第二階段，固定生成器之后分別對(duì)全局判別器和局部判別器進(jìn)行訓(xùn)練更新。

實(shí)驗(yàn)環(huán)境：硬件環(huán)境Ⅰntel Core i7-9700k CPU，NVⅠDⅠA RTX 2080Ti GPU，64 GB 內(nèi)存；軟件環(huán)境：pytroch 1.7，CUDA 10.1，cuDNN 7.6。

2.2 實(shí)驗(yàn)結(jié)果

本文方法與幾種目前較流行的方法進(jìn)行實(shí)驗(yàn)對(duì)比：三種需要配對(duì)數(shù)據(jù)的方法（RetinexNet、MBLLEN、StableLLVE），三種無(wú)須配對(duì)數(shù)據(jù)訓(xùn)練的方法（Zero-DCE、RUAS、EnligthenGAN）。本文測(cè)試集數(shù)據(jù)采用MEF[18]、LⅠME[19]、NPE[20]、VV 以及ExDark[21]、LOL[1]6 個(gè)公開(kāi)圖像集共94張圖像進(jìn)行了定性和定量實(shí)驗(yàn)。MEF數(shù)據(jù)集包含17張低光圖像，圖像內(nèi)容包括室內(nèi)外景觀(guān)、自然景觀(guān)和人造建筑等。LⅠME 數(shù)據(jù)集包含10 張低光圖像。NPE數(shù)據(jù)集含8張低光圖像。VV數(shù)據(jù)集24張圖像具有正確曝光的部分和嚴(yán)重曝光不足或過(guò)度曝光的部分。ExDark數(shù)據(jù)集包含12個(gè)類(lèi)別在真實(shí)低光場(chǎng)景下采集的圖像，可用于目標(biāo)檢測(cè)和圖像增強(qiáng)研究，隨機(jī)選取了20張圖片。LOL 數(shù)據(jù)集包含配對(duì)的低光圖像和正常光圖像，選用了其中15 張低光圖像。根據(jù)客觀(guān)評(píng)價(jià)指標(biāo)以及主觀(guān)評(píng)價(jià)，實(shí)驗(yàn)結(jié)果表明該網(wǎng)絡(luò)在訓(xùn)練到40~50代之間對(duì)圖像增強(qiáng)效果較好，不同算法的增強(qiáng)效果對(duì)比如圖4所示，對(duì)比結(jié)果圖分別從各個(gè)數(shù)據(jù)集中隨機(jī)選取了一張圖片。RetinexNet 增強(qiáng)后顏色失真，StableLLVE 色彩偏淡，RUAS 存在增強(qiáng)不足和過(guò)度問(wèn)題，其他算法增強(qiáng)效果較好。

圖4 不同算法的增強(qiáng)效果對(duì)比Fig.4 Comparison of enhancement effects of different algorithms

2.2.1 定性比較

由于定性比較是人的主觀(guān)評(píng)價(jià)，主要針對(duì)應(yīng)用場(chǎng)景，增強(qiáng)算法需要適應(yīng)各種光照條件，為了描述本文算法的泛化性能，因此根據(jù)人眼感官對(duì)數(shù)據(jù)集中的低光圖像大致分為三種較為典型的場(chǎng)景，在圖5、圖6和圖7分別給出了局部過(guò)曝、整體低亮度和極度黑暗的三種視覺(jué)場(chǎng)景下的各個(gè)方法圖像增強(qiáng)效果對(duì)比，表1、表2 和表3分別給出了增強(qiáng)后圖像效果的文字描述。本文方法對(duì)低光圖像增強(qiáng)效果良好，在減弱了圖像噪聲的同時(shí)，增強(qiáng)后的圖像能夠保持邊緣細(xì)節(jié)清晰，過(guò)曝區(qū)域不會(huì)過(guò)度增強(qiáng)，不會(huì)引起圖像失真。

表1 局部過(guò)曝圖像的定性比較Table 1 Qualitative comparison of local over-exposure images

表2 整體低亮度圖像的定性比較Table 2 Qualitative comparison of overall low-light images

表3 極度黑暗圖像的定性比較Table 3 Qualitative comparison of extremely dark image

圖5 局部過(guò)曝圖像增強(qiáng)結(jié)果Fig.5 Enhancement results of local over-exposure images

圖6 整體低亮度圖像增強(qiáng)結(jié)果Fig.6 Enhancement results of overall low-light images

圖7 極度黑暗圖像增強(qiáng)結(jié)果Fig.7 Enhancement results of extremely dark images

（1）局部過(guò)曝場(chǎng)景

在局部過(guò)曝圖像中，本文方法和StableLLVE、EnligthenGAN增強(qiáng)效果表現(xiàn)良好；RetinexNet生成的圖像有局部偽影；RUAS 存在過(guò)度增強(qiáng)的問(wèn)題，失真較為嚴(yán)重。每組圖像右下角為使用高斯濾波后，通過(guò)sobel算子提取的酒杯邊緣輪廓特征圖。本文方法與RetinexNet、StableLLVE、EnligthenGAN 方法增強(qiáng)后的杯子的邊緣較為清晰；EnligthenGAN 對(duì)杯子背景增強(qiáng)過(guò)度；MBLLEN 雖然減弱了噪聲影響，但同時(shí)丟失了杯子的邊緣細(xì)節(jié)；Zero-DCE 處理后的杯子邊緣存在輕微模糊問(wèn)題。本文方法和MBLLEN、StableLLVE 增強(qiáng)后的墻壁區(qū)域較為平滑；RetinexNet、Zero-DCE、EnligthenGAN對(duì)墻壁區(qū)域的噪聲有明顯放大。DPN 網(wǎng)絡(luò)較好地保留了原圖的細(xì)節(jié)，保持了圖像邊緣的清晰。

（2）整體低亮度場(chǎng)景

在整體低亮度圖像中，本文方法和StableLLVE、Zero-DCE、EnligthenGAN 對(duì)圖像增強(qiáng)效果表現(xiàn)良好；MBLLEN 增強(qiáng)效果較好，但對(duì)處于暗區(qū)域樹(shù)的細(xì)節(jié)增強(qiáng)相對(duì)較弱；RetinexNet 產(chǎn)生過(guò)飽和現(xiàn)象，圖像嚴(yán)重失真；RUAS 對(duì)天空區(qū)域過(guò)度增強(qiáng)，暗區(qū)域增強(qiáng)效果不明顯。EnligthenGAN 對(duì)沙灘區(qū)域的噪聲有明顯增大。MBLLEN、StableLLVE 淡化了天空區(qū)域顏色，對(duì)云層的細(xì)節(jié)保留不足。雙分支結(jié)構(gòu)針對(duì)局部過(guò)曝場(chǎng)景增強(qiáng)能做出較好的平衡。

（3）極度黑暗場(chǎng)景

在極度黑暗圖像中，本文方法和Zero-DCE對(duì)圖像增強(qiáng)效果表現(xiàn)良好；MBLLEN、EnligthenGAN 增強(qiáng)效果較好，但MBLLEN增強(qiáng)后的地面白線(xiàn)模糊，EnligthenGAN對(duì)地面顏色恢復(fù)成黃色而失真；RetinexNet產(chǎn)生過(guò)飽和現(xiàn)象，遠(yuǎn)處座椅較為模糊。StableLLVE增強(qiáng)后圖像整體顏色暗淡，RUAS 對(duì)遠(yuǎn)處座椅無(wú)明顯增強(qiáng)效果，整體較暗。DPN網(wǎng)絡(luò)較多地保留了原圖的顏色信息，因此可以較為準(zhǔn)確地恢復(fù)顏色。

2.2.2 定量比較

本文采用三個(gè)無(wú)參考的客觀(guān)評(píng)價(jià)指標(biāo)：natural image quality evaluator（NⅠQE）[22]、blind/referenceless image spatial quality evaluator（BRⅠSQUE）[23]和perception based image quality evaluator（PⅠQE）[24]。BRⅠSQUE 通過(guò)計(jì)算圖像歸一化亮度系數(shù)接近標(biāo)準(zhǔn)高斯分布的程度來(lái)衡量圖像清晰度。NⅠQE通過(guò)計(jì)算失真圖像和自然圖像多元高斯模型之間的距離來(lái)判斷圖像質(zhì)量。PⅠQE通過(guò)分塊失真估計(jì)計(jì)算圖像的無(wú)參考質(zhì)量分?jǐn)?shù)，由局部塊的質(zhì)量分?jǐn)?shù)得到整體質(zhì)量分?jǐn)?shù)。定量評(píng)價(jià)結(jié)果如表4、表5和表6所示，可以看出，在BRⅠSQUE指標(biāo)上，本文方法在前5個(gè)數(shù)據(jù)集上均取得了最優(yōu)秀的結(jié)果，平均值排名第一。根據(jù)NⅠQE 指標(biāo)，本文方法在NPE、ExDark 數(shù)據(jù)集上取得第一名，在VV 數(shù)據(jù)集上取得第二名，平均值排名第一。在PⅠQE指標(biāo)上，本文算法在MEF、LⅠME、ExDark數(shù)據(jù)集上取得第一名，在NPE、VV、LOL數(shù)據(jù)集上排名第二，平均值排名第一。

表4 基于BRⅠSQUE基準(zhǔn)的定量比較Table 4 Quantitative comparison based on BRⅠSQUE benchmark

表5 基于NⅠQE基準(zhǔn)的定量比較Table 5 Quantitative comparison based on NⅠQE benchmark

表6 基于PⅠQE基準(zhǔn)的定量比較Table 6 Quantitative comparison based on PⅠQE benchmark

本文方法相比于EnlightenGAN的生成器模型文件的大小約為33 MB，訓(xùn)練需要200 次迭代，而本文模型文件約為11 MB，訓(xùn)練迭代次數(shù)只需50 次左右，就能得到較為優(yōu)異的性能，大大減少了訓(xùn)練時(shí)間。相比于其他對(duì)比算法，綜合增強(qiáng)效果較為優(yōu)秀。

2.3 消融實(shí)驗(yàn)

為了進(jìn)一步了解兩個(gè)分支網(wǎng)絡(luò)對(duì)低光圖像增強(qiáng)的效果和total variation loss（TV Loss）的權(quán)重對(duì)噪聲的抑制能力，本文進(jìn)行了消融實(shí)驗(yàn)，分別保留其中一個(gè)分支網(wǎng)絡(luò)和TV Loss進(jìn)行重新訓(xùn)練，消融實(shí)驗(yàn)如下：（1）只使用特征提取網(wǎng)絡(luò)（FEN）+0.1×TV Loss；（2）只使用細(xì)節(jié)保留網(wǎng)絡(luò)（DPN）+0.1×TV Loss；（3）同時(shí)使用FEN+DPN，移除TV Loss；（4）同時(shí)使用FEN+DPN+1×TV Loss；（5）同時(shí)使用FEN+DPN+0.1×TV Loss。消融實(shí)驗(yàn)效果對(duì)比如圖8 所示，（c）組圖樹(shù)木比較清晰，顏色均勻，（f）組圖流蘇的顏色恢復(fù)更為正確自然。定量結(jié)果如表7、表8和表9所示。

表7 消融結(jié)果基于BRⅠSQUE基準(zhǔn)的定量比較Table 7 Ablation results based on quantitative comparisons of BRⅠSQUE benchmarks

表8 消融結(jié)果基于NⅠQE基準(zhǔn)的定量比較Table 8 Ablation results based on quantitative comparisons of NⅠQE benchmarks

表9 消融結(jié)果基于PⅠQE基準(zhǔn)的定量比較Table 9 Ablation results based on quantitative comparisons of PⅠQE benchmarks

圖8 消融結(jié)果效果可視化對(duì)比Fig.8 Visual comparison of ablation results

由實(shí)驗(yàn)（1）、（2）、（5）可知，同時(shí)使用FEN+DPN 網(wǎng)絡(luò)在BRⅠSQUE、NⅠQE 和PⅠQE 三個(gè)指標(biāo)上都獲得了平均值排名第一，實(shí)驗(yàn)結(jié)果證明了雙分支結(jié)構(gòu)提高了圖像的生成質(zhì)量。在BRⅠSQUE 和PⅠQE 指標(biāo)上，同時(shí)使用FEN+DPN 網(wǎng)絡(luò)明顯優(yōu)于只使用FEN 網(wǎng)絡(luò)和只使用DPN 網(wǎng)絡(luò)。根據(jù)NⅠQE 指標(biāo)，只使用FEN 網(wǎng)絡(luò)在MEF數(shù)據(jù)集上表現(xiàn)良好；只使用DPN網(wǎng)絡(luò)在NPE、LOL數(shù)據(jù)集上表現(xiàn)良好，ExDark 數(shù)據(jù)集上次之。在PⅠQE 指標(biāo)上，只使用DPN網(wǎng)絡(luò)在LOL數(shù)據(jù)集上表現(xiàn)良好。

由實(shí)驗(yàn)（3）、（4）、（5）可知，BRⅠSQUE、NⅠQE和PⅠQE三個(gè)指標(biāo)證明了使用TV Loss可以減弱圖像噪聲，改善圖像質(zhì)量。而且TV Loss 的權(quán)重為0.1 時(shí)比1 效果好，因?yàn)闄?quán)重為1 時(shí)，圖像在抑制了圖像噪聲的同時(shí)，邊緣細(xì)節(jié)被破壞，降低了圖像生成質(zhì)量。

3 結(jié)束語(yǔ)

本文通過(guò)在生成器上引入雙分支結(jié)構(gòu)，在保留了圖像細(xì)節(jié)的同時(shí)，有效地提高了圖像增強(qiáng)后的質(zhì)量，增強(qiáng)后的圖像能夠保持邊緣細(xì)節(jié)清晰，過(guò)曝區(qū)域不會(huì)過(guò)度增強(qiáng)，不會(huì)引起圖像失真。針對(duì)細(xì)節(jié)保留問(wèn)題，DPN通過(guò)不降低圖像分辨率，對(duì)FEN 網(wǎng)絡(luò)提取的圖像特征補(bǔ)充了細(xì)節(jié)，減少了圖像增強(qiáng)后的邊緣模糊。另外加入了total variation loss有效抑制了圖像的噪聲，但在減弱噪聲的同時(shí)，邊緣細(xì)節(jié)也被破壞，通過(guò)消融實(shí)驗(yàn)確定了損失的權(quán)重，來(lái)平衡兩者，為0.1時(shí)達(dá)到較好的效果。網(wǎng)絡(luò)采用輕量化設(shè)計(jì)，大大減少了訓(xùn)練時(shí)間。在六個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了本文方法相對(duì)于其他低光圖像增強(qiáng)方法的優(yōu)越性，在BRⅠSQUE 基準(zhǔn)測(cè)試平均值為17.55，NⅠQE 基準(zhǔn)測(cè)試平均值為3.74，PⅠQE 基準(zhǔn)測(cè)試平均值為8.45，綜合性能優(yōu)于其他對(duì)比算法，且泛化性能較好。對(duì)低光圖像存在的低亮度、低對(duì)比度、噪聲等問(wèn)題，能夠從正常光圖像進(jìn)行端到端的訓(xùn)練，學(xué)習(xí)其光照分布，在保留了原圖像細(xì)節(jié)的同時(shí)，增強(qiáng)了圖像的亮度和對(duì)比度。未來(lái)將進(jìn)一步提高對(duì)圖像噪聲的去除效果。