李治杰，陳 明，馮國富

上海海洋大學(xué) 信息學(xué)院，上海 201306

受限于傳感器靈敏度、實時處理等，在昏暗環(huán)境下拍攝得到的低光圖像存在著低對比度、顏色失真和大量噪聲等問題。低光圖像增強任務(wù)需要對圖像進(jìn)行亮度增強，正確的顏色恢復(fù)、噪聲抑制，提高圖像信噪比，提升低光圖像質(zhì)量?；谏疃葘W(xué)習(xí)的方法在圖像恢復(fù)和增強方面取得了顯著的進(jìn)步，然而大部分基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的低光圖像增強方法需要相互配對的數(shù)據(jù)進(jìn)行訓(xùn)練，在缺乏成對訓(xùn)練數(shù)據(jù)的情況下，低光圖像增強問題仍然十分具有挑戰(zhàn)性。

目前基于CNN的低光圖像增強技術(shù)大多數(shù)需要配對的數(shù)據(jù)集去進(jìn)行監(jiān)督學(xué)習(xí)。Wei 等[1]提出的RetinexNet 將Retinex[2]理論與CNN 相結(jié)合增強低光圖像，通過一個分解網(wǎng)絡(luò)（Decom-Net）將圖像分解為反射和光照，然后增強網(wǎng)絡(luò)（Enhance-Net）對光照從多尺度角度調(diào)節(jié)和進(jìn)行噪聲抑制，最后對調(diào)整后的反射和光照進(jìn)行重建輸出增強結(jié)果。Lyu 等[3]提出了多分支網(wǎng)絡(luò)MBLLEN通過特征提取模塊（feature extraction module，F(xiàn)EM）、增強模塊（enhancement module，EM）、融合模塊（fusion module，F(xiàn)M）三個模塊對圖像增強、抑制噪聲和偽影，通過FEM 提取圖像豐富的不同層次特征，EM 分別增強多層次特征，F(xiàn)M 多分支融合獲得最終輸出。Zhang等[4]提出的StableLLVE是一種基于光流法實現(xiàn)低光視頻增強的新方法，利用光流來表示動態(tài)場景的視頻幀之間發(fā)生的運動，通過用相應(yīng)的光流扭曲圖像來模擬相鄰的幀，增強模型時間一致性。基于CNN 的方法需要獲取配對的低光圖像和正常光圖像，十分耗時耗力，場景單一有限，通常使用一些算法合成數(shù)據(jù)，其增強性能在很大程度上依賴于數(shù)據(jù)集。由于合成數(shù)據(jù)不能完全模擬真實場景下的退化，這些方法的結(jié)果并不理想。

為了解決監(jiān)督學(xué)習(xí)中對配對數(shù)據(jù)的依賴，Guo 等[5]提出了Zero-DCE 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特定曲線估計，估計像素和高階曲線的動態(tài)范圍調(diào)整給定的圖像，在訓(xùn)練過程中不需要任何配對或未配對的數(shù)據(jù)，然而其增強后的部分圖像邊緣會產(chǎn)生輕微模糊。Liu 等[6]提出了RUAS，基于Retinex模型設(shè)計了照明估計模塊（illumination estimation module，ⅠEM）來估計照明圖，噪聲去除模塊（noise removal module，NRM）來抑制噪聲，利用特征蒸餾技術(shù)搜索ⅠEM 和NRM 的理想結(jié)構(gòu)，但是會產(chǎn)生增強過度或不足的問題。Jiang等[7]提出的EnlightenGAN 基于生成對抗網(wǎng)絡(luò)（GAN）的技術(shù)，通過加入灰度圖注意力模塊進(jìn)行低光圖像增強，在無配對數(shù)據(jù)集的情況下進(jìn)行無監(jiān)督學(xué)習(xí)訓(xùn)練，但其訓(xùn)練需要200 次迭代，訓(xùn)練時間偏長，部分圖像增強后存在顏色失真情況。

現(xiàn)有大部分基于深度學(xué)習(xí)的低光圖像增強方法需要配對的數(shù)據(jù)集；細(xì)節(jié)保留較差，增強后圖像邊緣存在模糊；噪聲抑制不足，可能產(chǎn)生噪聲放大。本文參考EnlightenGAN 采用生成對抗網(wǎng)絡(luò)技術(shù)擺脫對配對數(shù)據(jù)集的依賴，同時借鑒文獻(xiàn)[8]使用雙分支結(jié)構(gòu)在保留原圖像細(xì)節(jié)的同時，提升圖像去霧效果的方法，其通過當(dāng)前數(shù)據(jù)擬合子網(wǎng)（current data fitting sub-net）以全分辨率保持圖像精細(xì)的特征，但模型過于龐大，容易產(chǎn)生過擬合問題。因此將生成對抗網(wǎng)絡(luò)技術(shù)與雙分支結(jié)構(gòu)相結(jié)合，提出了網(wǎng)絡(luò)模型的改進(jìn)，設(shè)計了FEN和DPN兩個分支網(wǎng)絡(luò)，并且采用輕量化結(jié)構(gòu)，減少訓(xùn)練時間，在低光圖像和正常光圖像無配對的情況下，進(jìn)行端到端訓(xùn)練，同時加入了total variation loss來抑制圖像噪聲，進(jìn)一步提升低光圖像增強質(zhì)量。

1 模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文模型由一個生成器，兩個判別器組成，用于實現(xiàn)低光圖像和正常光圖像的非配對數(shù)據(jù)端到端的訓(xùn)練。生成器采用雙分支結(jié)構(gòu)，在提高亮度的同時，保留圖像細(xì)節(jié)，抑制圖像噪聲。第一個分支網(wǎng)絡(luò)為包含跳躍連接的類似U-Net[9]編碼器-解碼器體系結(jié)構(gòu)的特征提取網(wǎng)絡(luò)（feature extraction network，F(xiàn)EN），學(xué)習(xí)低光圖像到正常光圖像上下文的特征映射，另一個分支網(wǎng)絡(luò)為全分辨率的輕量級的細(xì)節(jié)保留網(wǎng)絡(luò)（detail preservation network，DPN），以低光圖像的全分辨率來保留原圖像的紋理和細(xì)節(jié)，最后將兩個分支網(wǎng)絡(luò)輸出的特征映射拼接后輸入融合層（fusion layer），輸出的結(jié)果為提高亮度后的圖像。兩個判別器分別是全局判別器和局部判別器，整體結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall network structure

1.2 生成器模型

1.2.1 特征提取網(wǎng)絡(luò)（FEN）

特征提取網(wǎng)絡(luò)（FEN）以U-Net 為基礎(chǔ)結(jié)構(gòu)，U-Net是編碼器-解碼器（encoder-decoder）模式，可以從輸入的低光圖像學(xué)習(xí)提取全局特征表示，橫向連接通過將編碼器部分的特征圖（feature map）與解碼器部分的特征圖拼接，有助于保留底層結(jié)構(gòu)提取的細(xì)節(jié)。FEN結(jié)構(gòu)如圖2所示。

圖2 FEN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of FEN

FEN 網(wǎng)絡(luò)采用了輕量化設(shè)計，最大拓展到256 通道，極大降低了計算量。降采樣采用最大池化，上采樣使用雙線性插值算法，避免圖像出現(xiàn)棋盤格效應(yīng)，然而網(wǎng)絡(luò)體積的減小使其不能良好地對非配對數(shù)據(jù)進(jìn)行學(xué)習(xí)泛化，會在圖像局部出現(xiàn)大量的偽影，所以需要加入下文的另一分支網(wǎng)絡(luò)DPN，進(jìn)而提取保留原圖更多的紋理細(xì)節(jié)。

由于低光圖像局部光照不均勻，雖然圖像大部分區(qū)域非常暗，但是可能局部區(qū)域比較亮，所以這部分區(qū)域無須再增強，如反射較強的地方或者有光源的地方會發(fā)生過曝的現(xiàn)象。FEN 采用橫向連接可以保留原圖語義上下文信息，同時在連接過程中使用了EnlightenGAN的特征注意模塊，其應(yīng)用了1-gray單通道圖作為特征注意，由RGB 圖像先轉(zhuǎn)換為灰度圖（gray），計算公式如式（1）所示，該公式為OpenCV庫函數(shù)。

特征注意模塊通過上述公式得到gray，最后1-gray與編碼器部分得到的特征圖相乘，因此得到的特征注意可以作為暗區(qū)域的放大因子，亮區(qū)域的抑制因子，將原圖亮區(qū)域變暗，而暗區(qū)域變亮。

1.2.2 細(xì)節(jié)保留網(wǎng)絡(luò)（DPN）

細(xì)節(jié)保留網(wǎng)絡(luò)（DPN）主要由2個卷積層，15個殘差塊，1 個Batch 歸一化層，通道注意力模塊（SE module）和空間注意力模塊（SA module）構(gòu)建了一個輕量級網(wǎng)絡(luò)，DPN結(jié)構(gòu)如圖3所示。

圖3 DPN結(jié)構(gòu)Fig.3 Network structure of DPN

DPN 網(wǎng)絡(luò)通道數(shù)最大為32 通道，該分支網(wǎng)絡(luò)通過避免下采樣和上采樣操作，如去除池化層等，池化操作雖然通過減小圖像的大小來降低計算量，提高計算速度，但是在前向傳播過程中通常會丟棄大量有用的信息。為了最大程度保持原圖的細(xì)節(jié)特征，所有卷積層的卷積核大小設(shè)置為3×3，步長為1，這樣可以以全分辨率的形式保留原始圖像的全局細(xì)節(jié)。

神經(jīng)網(wǎng)絡(luò)對圖像的低頻特征可以較容易學(xué)習(xí)得到，而圖像的高頻特征需要在神經(jīng)網(wǎng)絡(luò)的深層學(xué)習(xí)，因此通過殘差模塊保留原圖的顏色和紋理。SE module 來自于SENet[10]，從空間的角度來看，通道注意力是全局的，利用全局平均池化將通道全局空間信息轉(zhuǎn)化為通道描述符，通過通道注意力機制來關(guān)注不同通道間對亮度的貢獻(xiàn)的大小，學(xué)習(xí)低光圖像與正常亮度圖像通道映射之間的相關(guān)性。SA module 來源于CBAM[11]，由于光在傳播過程中受到衰減，物體反射吸收等情況，會造成不同圖像像素上光照分布不均勻，因此使用空間注意力充分利用特征圖中光照分布的不同位置信息，去擬合低光圖像到正常亮度圖像光照的分布表示。SA module 采用平均池化和最大池化兩種方式來分別利用不同的信息，最大池化編碼了低光圖像光照分布最顯著的部分，而平均池化編碼了低光圖像全局的統(tǒng)計信息。因此，同時使用這兩個特征可以最大化擬合正常光圖像的光照分布。

1.2.3 融合層（fusion layer）

FEN 和DPN 分別輸出一個通道數(shù)為32 的特征圖，然后將兩個分支網(wǎng)絡(luò)提取的特征拼接后生成64通道的特征圖送入融合層得到最后輸出。融合層使用了兩個卷積層和一個tanh激活函數(shù)，卷積層的卷積核大小都設(shè)置為3×3，步長為1，第一個卷積層將64通道壓縮為3通道，第二個卷積層只需要微調(diào)第一個卷積層的特征圖，最后輸出的結(jié)果即增亮后的圖像，由于訓(xùn)練時將圖像歸一化到[-1，1]，tanh 激活函數(shù)可以使輸出保持在相同的范圍。

1.3 判別器模型

網(wǎng)絡(luò)通過兩個判別器來區(qū)分生成器增強后的生成圖像與真實的正常光圖像。兩個判別器都使用Patch-GAN[12]結(jié)構(gòu)，全局判別器對生成圖像和正常光圖像進(jìn)行判別，以整幅圖像作為輸入，輸出圖像的真實度。然后在生成圖像和正常光圖像上分別隨機裁剪出5張32×32的圖像塊送入局部判別器，輸出每個圖像小塊的真實度，可以改善圖像局部細(xì)節(jié)。

1.4 損失函數(shù)

1.4.1 對抗損失（adversarial loss）

像素化的損失函數(shù)，如L1 loss、L2 loss，通常不能提供足夠的信息來訓(xùn)練網(wǎng)絡(luò)恢復(fù)圖像真實的細(xì)節(jié)。因此采用對抗性損失來使增強后的圖像的光照分布接近于正常光圖像的光照分布。

全局判別器損失選用了基于最小二乘損失（least squares GAN，LS-GAN[13]）形式的相對判別器（relativistic GAN[14]），局部判別器損失采用原始的LS-GAN 形式。LS-GAN提供更平滑和非飽和梯度，幫助網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定，relativistic GAN估計正常光圖像比生成圖像更真實的概率。

全局判別器的對抗損失，如式（2）所示：

式中，Preal代表正常光圖像分布，Pfake代表生成圖像分布，y和xf分別采樣于分布Preal和Pfake。

局部判別器的對抗損失，如式（3）所示：

1.3.3 處理分析數(shù)據(jù)快捷。大數(shù)據(jù)能時時對變化的環(huán)境進(jìn)行策略改變，對于海量數(shù)據(jù)、處理數(shù)據(jù)、分析數(shù)據(jù)及挖掘數(shù)據(jù)都能快速做出處理和相應(yīng)，具有低密度性。

式中，Preal-patches代表從正常光圖像裁剪出的圖像塊分布，Pfake-patches代表從生成圖像裁剪出的圖像塊分布，y和xf分別采樣于分布Preal-patches和Pfake-patches。

生成器總對抗損失，如式（6）所示：

1.4.2 感知損失（perceptual loss）

感知損失[15]證明了VGG[16]網(wǎng)絡(luò)底層更加關(guān)注圖像的顏色和紋理，而在網(wǎng)絡(luò)高層特征空間可以充分保留圖像內(nèi)容和整體空間結(jié)構(gòu)。通過對VGG網(wǎng)絡(luò)提取的特征圖進(jìn)行instance歸一化，減輕圖像亮度的影響，使網(wǎng)絡(luò)關(guān)注圖像內(nèi)容，提取圖像的內(nèi)容細(xì)節(jié)。本文采用VGG-16網(wǎng)絡(luò)在ⅠmageNet數(shù)據(jù)集上預(yù)訓(xùn)練權(quán)重。損失表示為生成圖像與輸入的低光圖像之間的歐氏距離，如式（7）所示：

式中，xr代表輸入的低光圖像，G(?)代表生成器，?j(?)代表VGG16網(wǎng)絡(luò)的第j層卷積層，CjHjWj代表第j層卷積層輸出的特征圖維度為Cj×Hj×Wj，C、H、W代表特征圖的通道數(shù)、高度、寬度，代表L2 loss。

1.4.3 全變差損失（total variation loss）

噪聲可能在圖像亮度增強的同時而被保留或者放大。為了抑制噪聲，本文采用全變差損失[17]，通過式（8）來平滑圖像：

式中，C、H、W代表低光圖像的通道數(shù)、高度、寬度，?x和?y分別表示對圖像水平方向和垂直方向梯度運算。

式中，λa、λp、λt分別為損失Ladv、Lper、Ltv的權(quán)重，分別設(shè)為1、1、0.1。

1.4.5 判別器總損失

判別器總損失如式（10）所示：

2 實驗

2.1 訓(xùn)練細(xì)節(jié)

數(shù)據(jù)集選用了EnlightenGAN 作者提供的訓(xùn)練集，共1 930 張，包含低光圖像914 張和正常光圖像1 016張。訓(xùn)練時將圖片尺寸隨機裁剪為320×320，通過90°、180°、270°的隨機旋轉(zhuǎn)、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)來擴充訓(xùn)練集，Batch 設(shè)為8，訓(xùn)練次數(shù)為100 代。生成器和兩個判別器都采用Adam 優(yōu)化器，β1和β2分別設(shè)為0.5 和0.999，學(xué)習(xí)率設(shè)為0.000 1。網(wǎng)絡(luò)經(jīng)過兩個階段的訓(xùn)練：第一階段，先固定兩個判別器，然后訓(xùn)練生成器；第二階段，固定生成器之后分別對全局判別器和局部判別器進(jìn)行訓(xùn)練更新。

實驗環(huán)境：硬件環(huán)境Ⅰntel Core i7-9700k CPU，NVⅠDⅠA RTX 2080Ti GPU，64 GB 內(nèi)存；軟件環(huán)境：pytroch 1.7，CUDA 10.1，cuDNN 7.6。

2.2 實驗結(jié)果

本文方法與幾種目前較流行的方法進(jìn)行實驗對比：三種需要配對數(shù)據(jù)的方法（RetinexNet、MBLLEN、StableLLVE），三種無須配對數(shù)據(jù)訓(xùn)練的方法（Zero-DCE、RUAS、EnligthenGAN）。本文測試集數(shù)據(jù)采用MEF[18]、LⅠME[19]、NPE[20]、VV 以及ExDark[21]、LOL[1]6 個公開圖像集共94張圖像進(jìn)行了定性和定量實驗。MEF數(shù)據(jù)集包含17張低光圖像，圖像內(nèi)容包括室內(nèi)外景觀、自然景觀和人造建筑等。LⅠME 數(shù)據(jù)集包含10 張低光圖像。NPE數(shù)據(jù)集含8張低光圖像。VV數(shù)據(jù)集24張圖像具有正確曝光的部分和嚴(yán)重曝光不足或過度曝光的部分。ExDark數(shù)據(jù)集包含12個類別在真實低光場景下采集的圖像，可用于目標(biāo)檢測和圖像增強研究，隨機選取了20張圖片。LOL 數(shù)據(jù)集包含配對的低光圖像和正常光圖像，選用了其中15 張低光圖像。根據(jù)客觀評價指標(biāo)以及主觀評價，實驗結(jié)果表明該網(wǎng)絡(luò)在訓(xùn)練到40~50代之間對圖像增強效果較好，不同算法的增強效果對比如圖4所示，對比結(jié)果圖分別從各個數(shù)據(jù)集中隨機選取了一張圖片。RetinexNet 增強后顏色失真，StableLLVE 色彩偏淡，RUAS 存在增強不足和過度問題，其他算法增強效果較好。

圖4 不同算法的增強效果對比Fig.4 Comparison of enhancement effects of different algorithms

2.2.1 定性比較

由于定性比較是人的主觀評價，主要針對應(yīng)用場景，增強算法需要適應(yīng)各種光照條件，為了描述本文算法的泛化性能，因此根據(jù)人眼感官對數(shù)據(jù)集中的低光圖像大致分為三種較為典型的場景，在圖5、圖6和圖7分別給出了局部過曝、整體低亮度和極度黑暗的三種視覺場景下的各個方法圖像增強效果對比，表1、表2 和表3分別給出了增強后圖像效果的文字描述。本文方法對低光圖像增強效果良好，在減弱了圖像噪聲的同時，增強后的圖像能夠保持邊緣細(xì)節(jié)清晰，過曝區(qū)域不會過度增強，不會引起圖像失真。

表1 局部過曝圖像的定性比較Table 1 Qualitative comparison of local over-exposure images

表2 整體低亮度圖像的定性比較Table 2 Qualitative comparison of overall low-light images

表3 極度黑暗圖像的定性比較Table 3 Qualitative comparison of extremely dark image

圖5 局部過曝圖像增強結(jié)果Fig.5 Enhancement results of local over-exposure images

圖6 整體低亮度圖像增強結(jié)果Fig.6 Enhancement results of overall low-light images

圖7 極度黑暗圖像增強結(jié)果Fig.7 Enhancement results of extremely dark images

（1）局部過曝場景

在局部過曝圖像中，本文方法和StableLLVE、EnligthenGAN增強效果表現(xiàn)良好；RetinexNet生成的圖像有局部偽影；RUAS 存在過度增強的問題，失真較為嚴(yán)重。每組圖像右下角為使用高斯濾波后，通過sobel算子提取的酒杯邊緣輪廓特征圖。本文方法與RetinexNet、StableLLVE、EnligthenGAN 方法增強后的杯子的邊緣較為清晰；EnligthenGAN 對杯子背景增強過度；MBLLEN 雖然減弱了噪聲影響，但同時丟失了杯子的邊緣細(xì)節(jié)；Zero-DCE 處理后的杯子邊緣存在輕微模糊問題。本文方法和MBLLEN、StableLLVE 增強后的墻壁區(qū)域較為平滑；RetinexNet、Zero-DCE、EnligthenGAN對墻壁區(qū)域的噪聲有明顯放大。DPN 網(wǎng)絡(luò)較好地保留了原圖的細(xì)節(jié)，保持了圖像邊緣的清晰。

（2）整體低亮度場景

在整體低亮度圖像中，本文方法和StableLLVE、Zero-DCE、EnligthenGAN 對圖像增強效果表現(xiàn)良好；MBLLEN 增強效果較好，但對處于暗區(qū)域樹的細(xì)節(jié)增強相對較弱；RetinexNet 產(chǎn)生過飽和現(xiàn)象，圖像嚴(yán)重失真；RUAS 對天空區(qū)域過度增強，暗區(qū)域增強效果不明顯。EnligthenGAN 對沙灘區(qū)域的噪聲有明顯增大。MBLLEN、StableLLVE 淡化了天空區(qū)域顏色，對云層的細(xì)節(jié)保留不足。雙分支結(jié)構(gòu)針對局部過曝場景增強能做出較好的平衡。

（3）極度黑暗場景

在極度黑暗圖像中，本文方法和Zero-DCE對圖像增強效果表現(xiàn)良好；MBLLEN、EnligthenGAN 增強效果較好，但MBLLEN增強后的地面白線模糊，EnligthenGAN對地面顏色恢復(fù)成黃色而失真；RetinexNet產(chǎn)生過飽和現(xiàn)象，遠(yuǎn)處座椅較為模糊。StableLLVE增強后圖像整體顏色暗淡，RUAS 對遠(yuǎn)處座椅無明顯增強效果，整體較暗。DPN網(wǎng)絡(luò)較多地保留了原圖的顏色信息，因此可以較為準(zhǔn)確地恢復(fù)顏色。

2.2.2 定量比較

本文采用三個無參考的客觀評價指標(biāo)：natural image quality evaluator（NⅠQE）[22]、blind/referenceless image spatial quality evaluator（BRⅠSQUE）[23]和perception based image quality evaluator（PⅠQE）[24]。BRⅠSQUE 通過計算圖像歸一化亮度系數(shù)接近標(biāo)準(zhǔn)高斯分布的程度來衡量圖像清晰度。NⅠQE通過計算失真圖像和自然圖像多元高斯模型之間的距離來判斷圖像質(zhì)量。PⅠQE通過分塊失真估計計算圖像的無參考質(zhì)量分?jǐn)?shù)，由局部塊的質(zhì)量分?jǐn)?shù)得到整體質(zhì)量分?jǐn)?shù)。定量評價結(jié)果如表4、表5和表6所示，可以看出，在BRⅠSQUE指標(biāo)上，本文方法在前5個數(shù)據(jù)集上均取得了最優(yōu)秀的結(jié)果，平均值排名第一。根據(jù)NⅠQE 指標(biāo)，本文方法在NPE、ExDark 數(shù)據(jù)集上取得第一名，在VV 數(shù)據(jù)集上取得第二名，平均值排名第一。在PⅠQE指標(biāo)上，本文算法在MEF、LⅠME、ExDark數(shù)據(jù)集上取得第一名，在NPE、VV、LOL數(shù)據(jù)集上排名第二，平均值排名第一。

表4 基于BRⅠSQUE基準(zhǔn)的定量比較Table 4 Quantitative comparison based on BRⅠSQUE benchmark

表5 基于NⅠQE基準(zhǔn)的定量比較Table 5 Quantitative comparison based on NⅠQE benchmark

表6 基于PⅠQE基準(zhǔn)的定量比較Table 6 Quantitative comparison based on PⅠQE benchmark

本文方法相比于EnlightenGAN的生成器模型文件的大小約為33 MB，訓(xùn)練需要200 次迭代，而本文模型文件約為11 MB，訓(xùn)練迭代次數(shù)只需50 次左右，就能得到較為優(yōu)異的性能，大大減少了訓(xùn)練時間。相比于其他對比算法，綜合增強效果較為優(yōu)秀。

2.3 消融實驗

為了進(jìn)一步了解兩個分支網(wǎng)絡(luò)對低光圖像增強的效果和total variation loss（TV Loss）的權(quán)重對噪聲的抑制能力，本文進(jìn)行了消融實驗，分別保留其中一個分支網(wǎng)絡(luò)和TV Loss進(jìn)行重新訓(xùn)練，消融實驗如下：（1）只使用特征提取網(wǎng)絡(luò)（FEN）+0.1×TV Loss；（2）只使用細(xì)節(jié)保留網(wǎng)絡(luò)（DPN）+0.1×TV Loss；（3）同時使用FEN+DPN，移除TV Loss；（4）同時使用FEN+DPN+1×TV Loss；（5）同時使用FEN+DPN+0.1×TV Loss。消融實驗效果對比如圖8 所示，（c）組圖樹木比較清晰，顏色均勻，（f）組圖流蘇的顏色恢復(fù)更為正確自然。定量結(jié)果如表7、表8和表9所示。

表7 消融結(jié)果基于BRⅠSQUE基準(zhǔn)的定量比較Table 7 Ablation results based on quantitative comparisons of BRⅠSQUE benchmarks

表8 消融結(jié)果基于NⅠQE基準(zhǔn)的定量比較Table 8 Ablation results based on quantitative comparisons of NⅠQE benchmarks

表9 消融結(jié)果基于PⅠQE基準(zhǔn)的定量比較Table 9 Ablation results based on quantitative comparisons of PⅠQE benchmarks

圖8 消融結(jié)果效果可視化對比Fig.8 Visual comparison of ablation results

由實驗（1）、（2）、（5）可知，同時使用FEN+DPN 網(wǎng)絡(luò)在BRⅠSQUE、NⅠQE 和PⅠQE 三個指標(biāo)上都獲得了平均值排名第一，實驗結(jié)果證明了雙分支結(jié)構(gòu)提高了圖像的生成質(zhì)量。在BRⅠSQUE 和PⅠQE 指標(biāo)上，同時使用FEN+DPN 網(wǎng)絡(luò)明顯優(yōu)于只使用FEN 網(wǎng)絡(luò)和只使用DPN 網(wǎng)絡(luò)。根據(jù)NⅠQE 指標(biāo)，只使用FEN 網(wǎng)絡(luò)在MEF數(shù)據(jù)集上表現(xiàn)良好；只使用DPN網(wǎng)絡(luò)在NPE、LOL數(shù)據(jù)集上表現(xiàn)良好，ExDark 數(shù)據(jù)集上次之。在PⅠQE 指標(biāo)上，只使用DPN網(wǎng)絡(luò)在LOL數(shù)據(jù)集上表現(xiàn)良好。

由實驗（3）、（4）、（5）可知，BRⅠSQUE、NⅠQE和PⅠQE三個指標(biāo)證明了使用TV Loss可以減弱圖像噪聲，改善圖像質(zhì)量。而且TV Loss 的權(quán)重為0.1 時比1 效果好，因為權(quán)重為1 時，圖像在抑制了圖像噪聲的同時，邊緣細(xì)節(jié)被破壞，降低了圖像生成質(zhì)量。

3 結(jié)束語

本文通過在生成器上引入雙分支結(jié)構(gòu)，在保留了圖像細(xì)節(jié)的同時，有效地提高了圖像增強后的質(zhì)量，增強后的圖像能夠保持邊緣細(xì)節(jié)清晰，過曝區(qū)域不會過度增強，不會引起圖像失真。針對細(xì)節(jié)保留問題，DPN通過不降低圖像分辨率，對FEN 網(wǎng)絡(luò)提取的圖像特征補充了細(xì)節(jié)，減少了圖像增強后的邊緣模糊。另外加入了total variation loss有效抑制了圖像的噪聲，但在減弱噪聲的同時，邊緣細(xì)節(jié)也被破壞，通過消融實驗確定了損失的權(quán)重，來平衡兩者，為0.1時達(dá)到較好的效果。網(wǎng)絡(luò)采用輕量化設(shè)計，大大減少了訓(xùn)練時間。在六個真實數(shù)據(jù)集上的實驗結(jié)果證明了本文方法相對于其他低光圖像增強方法的優(yōu)越性，在BRⅠSQUE 基準(zhǔn)測試平均值為17.55，NⅠQE 基準(zhǔn)測試平均值為3.74，PⅠQE 基準(zhǔn)測試平均值為8.45，綜合性能優(yōu)于其他對比算法，且泛化性能較好。對低光圖像存在的低亮度、低對比度、噪聲等問題，能夠從正常光圖像進(jìn)行端到端的訓(xùn)練，學(xué)習(xí)其光照分布，在保留了原圖像細(xì)節(jié)的同時，增強了圖像的亮度和對比度。未來將進(jìn)一步提高對圖像噪聲的去除效果。