李天宇，吳 浩，毛艷玲，陳明舉*，石 柱

(1.四川輕化工大學(xué) 人工智能四川省重點(diǎn)實(shí)驗(yàn)室，四川 宜賓 644005；2.四川輕化工大學(xué) 自動(dòng)化與信息工程學(xué)院，四川 宜賓 644005)

0 引言

可見光圖像的成像過程中，周圍環(huán)境的光照強(qiáng)度往往影響著圖像的質(zhì)量。因此，低照度條件下獲取的圖像往往不清晰且識(shí)別率低，缺乏可用性，給后續(xù)的圖像識(shí)別、目標(biāo)檢測以及分割帶來很大的困難[1]。因此，低照度圖像增強(qiáng)是今后一個(gè)非常重要的研究方向。

傳統(tǒng)的低照度圖像增強(qiáng)的主流方法如Pizer等人[2]提出的直方圖增強(qiáng)法(Histogram Equalization，HE)，該方法計(jì)算簡單、速度快，但是存在顏色失真和局部過曝光的現(xiàn)象[3]。同時(shí)，Land[4]提出了Retinex理論，通過模仿人體的視覺系統(tǒng)，利用反射分量來進(jìn)行低照度圖像增強(qiáng)?；诖死碚?，Jobson等人[5-7]進(jìn)一步提出了單尺度Retinex方法(SSR)、多尺度Retinex方法(MSR)以及帶顏色恢復(fù)的Retinex方法(MSRCR)；Fu等人[8]提出了一種基于融合的低照度圖像增強(qiáng)方法；Guo等人[9]提出了通過圖像照度區(qū)域估計(jì)來實(shí)現(xiàn)低照度圖像的增強(qiáng)；Dong等人[10]結(jié)合圖像去霧方法提出了一種新的低照度圖像增強(qiáng)方法。Ying等人[11]設(shè)計(jì)了一個(gè)多曝光融合框架，并基于此提出了一種雙曝光融合算法來提高圖片的對比度。Wang等人[12]提出了一種基于非均勻光照的低光照算法，使得增強(qiáng)后的圖像能夠在很大程度上保持圖像細(xì)節(jié)和自然度。雖然上述傳統(tǒng)的低照度圖像增強(qiáng)方法能夠在一定程度上提高光照效果，但是往往伴隨著顏色失真、像素扭曲等現(xiàn)象，增強(qiáng)后的圖像往往質(zhì)量不高。

隨著深度學(xué)習(xí)算法的快速發(fā)展，許多學(xué)者開始探索將神經(jīng)網(wǎng)絡(luò)應(yīng)用到低照度增強(qiáng)任務(wù)中，利用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)低照度圖像到正常光照圖像的映射關(guān)系。如Lore等人[13]首次提出了使用深度自編碼網(wǎng)絡(luò)來實(shí)現(xiàn)低照度圖像增強(qiáng)；Li等人[14]提出了利用4層卷積網(wǎng)絡(luò)LightenNet來估計(jì)照度圖，并結(jié)合Retinex理論實(shí)現(xiàn)低照度圖像增強(qiáng)；文獻(xiàn)[15]提出了全卷積網(wǎng)絡(luò)RetinexNet，通過分解網(wǎng)絡(luò)將低照度圖片分解為反射圖像和照度圖像，并在此基礎(chǔ)上利用增強(qiáng)網(wǎng)絡(luò)進(jìn)行后續(xù)的低照度增強(qiáng)操作。而Jiang等人[16]利用生成對抗網(wǎng)絡(luò)提出了EnlightenGAN，通過全局—局部鑒別器以及自正則注意力機(jī)制使該網(wǎng)絡(luò)在訓(xùn)練時(shí)不需要成對數(shù)據(jù)也能獲得良好的增強(qiáng)效果。

目前，雖然基于深度學(xué)習(xí)的方法對低照度圖像增強(qiáng)效果較好，但是仍存在整體主觀效果不佳以及一些細(xì)節(jié)恢復(fù)不夠充分的問題。因此，針對當(dāng)前的低照度增強(qiáng)算法，仍有較大的提升空間。本文考慮到現(xiàn)有方法的不足，利用循環(huán)一致性對抗網(wǎng)絡(luò)的學(xué)習(xí)方式，提出了一種改進(jìn)CycleGAN的低照度增強(qiáng)網(wǎng)絡(luò)。該方法以多尺度卷積、殘差空洞卷積構(gòu)建基于U-Net結(jié)構(gòu)的低光照增強(qiáng)模塊，然后引入基于全卷積的照度均衡處理模塊來共同組成生成器網(wǎng)絡(luò)，同時(shí)使用了PatchGAN作為判別器網(wǎng)絡(luò)來構(gòu)成新的循環(huán)一致性對抗網(wǎng)絡(luò)，實(shí)現(xiàn)低照度圖像到正常光照圖像的轉(zhuǎn)換。

1 循環(huán)一致性對抗網(wǎng)絡(luò)基本原理

近年來，生成式對抗網(wǎng)絡(luò)成為了計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的GAN網(wǎng)絡(luò)[17]如pix2pix[18]等都需要成對的數(shù)據(jù)集來進(jìn)行模型訓(xùn)練，而Zhu等人[19]于2017年提出了循環(huán)一致性對抗網(wǎng)絡(luò)CycleGAN，解決了傳統(tǒng)風(fēng)格遷移算法需要成對數(shù)據(jù)集才能實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練的問題。CycleGAN基于pix2pix網(wǎng)絡(luò)架構(gòu)，設(shè)計(jì)了2個(gè)相互對稱的GAN網(wǎng)絡(luò)，利用2個(gè)生成器和2個(gè)判別器來實(shí)現(xiàn)原圖像和生成圖像之間的相互映射，實(shí)現(xiàn)了非配對數(shù)據(jù)集也能夠?qū)崿F(xiàn)數(shù)據(jù)的相互轉(zhuǎn)化。CycleGAN結(jié)構(gòu)示意如圖1所示。

圖1 CycleGAN結(jié)構(gòu)示意Fig.1 Schematic of CycleGAN structure

由圖1可知，CycleGAN擁有G和F兩個(gè)生成器，針對2個(gè)樣本空間A，B包含2個(gè)映射關(guān)系：A-B和B-A。生成器G將圖像樣本A轉(zhuǎn)化成近似圖像樣本B的Generated_B，再利用判別器DB判斷Generated_B是否為真實(shí)圖像；同時(shí)，利用生成器F將生成圖像Generated_B轉(zhuǎn)化為類似樣本圖像A的Generated_A。為了確保最終生成的Generated_A與原本的樣本圖像盡可能地相似，在此引入了一個(gè)循環(huán)一致性損失，來保證網(wǎng)絡(luò)在不斷訓(xùn)練過程中Generated_A與樣本圖像A能夠越來越相似，此過程為前向循環(huán)過程。由于生成器F的輸入均由生成器G傳輸過來，為了保證生成器F的學(xué)習(xí)效果，CycleGAN通過設(shè)置一個(gè)對偶反向循環(huán)過程，實(shí)現(xiàn)樣本圖像B的循環(huán)過程。

如果直接將CycleGAN用于低照度增強(qiáng)，由于其生成器結(jié)構(gòu)較為單一，針對一些細(xì)節(jié)信息恢復(fù)能力不足，且可能會(huì)造成增強(qiáng)后的圖像亮度不均衡。同時(shí),傳統(tǒng)的判別器處理較為簡單，對增強(qiáng)后圖像細(xì)節(jié)問題判斷不足，造成網(wǎng)絡(luò)收斂困難。因此針對CycleGAN的生成器和判別器結(jié)構(gòu)進(jìn)行改進(jìn)，使其更適合于低照度增強(qiáng)任務(wù)。

2 一種改進(jìn)CycleGAN的低照度圖像增強(qiáng)網(wǎng)絡(luò)

2.1 基于U-Net與照度均衡的生成器網(wǎng)絡(luò)結(jié)構(gòu)

一般，生成器網(wǎng)絡(luò)都需要經(jīng)過編碼—解碼過程，但是一般的編解碼操作經(jīng)常會(huì)導(dǎo)致特征信息的丟失，使得最后生成的圖片和原圖有較大差異。為了降低這種信息的損失，構(gòu)建了以U-Net為框架的生成器模型，利用U-Net的跳躍連接結(jié)構(gòu)來避免這種現(xiàn)象的發(fā)生。該生成網(wǎng)絡(luò)主要由低光照增強(qiáng)模塊和照度處理模塊組成，其中低光照增強(qiáng)模塊為改進(jìn)的U-Net結(jié)構(gòu)，主要包含編碼器、轉(zhuǎn)換器和解碼器3部分，用以增強(qiáng)低照度圖像，提高對低照度圖像細(xì)節(jié)的恢復(fù)能力；照度處理模塊為一個(gè)全卷積網(wǎng)絡(luò)，用以平衡不同區(qū)域的亮度，增強(qiáng)整體直覺質(zhì)量。生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network structure

① 低照度增強(qiáng)模塊

編碼器為下采樣過程，用于低照度圖像特征信息的壓縮與提取。首先采用了一個(gè)多尺度卷積模塊對輸入的原圖進(jìn)行特征提取。一般，低照度圖像會(huì)呈現(xiàn)大面積暗黑，導(dǎo)致局部特征較為單一，使用不同大小卷積核有利于生成器獲取更多的特征信息。本文分別使用了1×1，3×3，5×5以及7×7的卷積核來構(gòu)成多尺度卷積模塊，每個(gè)卷積核通道數(shù)為16，并且將卷積后的結(jié)果進(jìn)行通道間的拼接，最后使用1×1的卷積將通道數(shù)調(diào)整至64。隨后，編碼器進(jìn)行3次下采樣操作，將256×256的特征圖壓縮至32×32的大小，每個(gè)下采樣模塊由3×3卷積核(步長為2)、實(shí)例歸一化(Instance Normalization)以及激活函數(shù)ReLU組成。由于在低照度圖像增強(qiáng)任務(wù)中，增強(qiáng)后的結(jié)果依賴某個(gè)圖像實(shí)例，使用批歸一化(Batch Normalization)對整個(gè)batch做歸一化會(huì)影響到最后圖片增強(qiáng)的質(zhì)量。因此本文在卷積操作后使用了實(shí)例歸一化(Instance Normalization)層，分別對特征圖的寬高做歸一化，可以加快模型的收斂速度并保持每個(gè)圖像的獨(dú)立性[20]。

轉(zhuǎn)換器主要用來整合編碼器所提取的圖像特征，本文的轉(zhuǎn)換器共使用6個(gè)殘差塊來完成低照度圖像特征到正常光照圖像特征的轉(zhuǎn)換。轉(zhuǎn)換器中的殘差塊由2個(gè)卷積層組成，2個(gè)卷積層都使用了卷積層+實(shí)例歸一化+非線性激活函數(shù)ReLU的結(jié)構(gòu)，第1個(gè)卷積塊中使用了3×3大小的標(biāo)準(zhǔn)卷積，第2個(gè)卷積塊中使用了3×3的空洞卷積，空洞率依次為2，2，2，4，4，4。引入空洞卷積主要是為了在擴(kuò)大生成網(wǎng)絡(luò)感受野的同時(shí)，還能保留特征圖的許多細(xì)節(jié)信息，提高低照度圖像增強(qiáng)的性能。空洞殘差卷積如圖3所示。

圖3 空洞殘差卷積Fig.3 Hollow residual convolution

解碼器為上采樣部分，主要是將轉(zhuǎn)換器得到正常光照圖像特征進(jìn)一步還原出淺層特征，得到正常光照圖像。上采樣模塊由一個(gè)反卷積層+實(shí)例歸一化層+非線性激活函數(shù)ReLU組合而成，用于將圖像大小恢復(fù)至和輸入一樣。最后一個(gè)解碼塊中取消了實(shí)例歸一化層，使用了7×7的卷積，并將激活函數(shù)調(diào)整為tanh。該激活函數(shù)能夠保持輸入輸出呈非線性單調(diào)上升和下降的關(guān)系，同時(shí)也能夠在一定程度上減少梯度消失的現(xiàn)象發(fā)生。

② 照度均衡處理模塊

一般的低照度增強(qiáng)算法都是對暗光圖片進(jìn)行整體的亮度恢復(fù)，因此增強(qiáng)后的圖像容易出現(xiàn)亮度不均等問題，使得低亮度區(qū)域欠曝光，高亮度區(qū)域過曝光。本文設(shè)計(jì)了一個(gè)由全卷積網(wǎng)絡(luò)構(gòu)成的亮度注意模塊作為分支網(wǎng)絡(luò)，對低照度圖像中的弱光區(qū)域進(jìn)行定位，使得整個(gè)生成器最后增強(qiáng)的圖像亮度分布均勻，提高網(wǎng)絡(luò)的增強(qiáng)效果。

該照度均衡處理模塊為增強(qiáng)網(wǎng)絡(luò)的輔助分支，其結(jié)果與增強(qiáng)網(wǎng)絡(luò)輸出結(jié)果相乘，使得增強(qiáng)后圖片不同光照區(qū)域亮度均衡，進(jìn)一步提高了對低光照圖像的增強(qiáng)效果。其結(jié)構(gòu)如圖2中的照度均衡處理分支所示。首先使用一個(gè)9×9的大卷積來獲取輸入圖片較為全局的特征信息，隨后經(jīng)過5個(gè)3×3的卷積來提取弱光區(qū)域位置信息，輸出弱光位置注意圖。亮度注意力分支網(wǎng)絡(luò)中除最后一層使用卷積+Sigmoid激活函數(shù)結(jié)構(gòu)外，其余各層均是卷積+LeakyReLU的結(jié)構(gòu)，并且網(wǎng)絡(luò)中通道數(shù)均為32。

2.2 基于Patch-GAN的判別器網(wǎng)絡(luò)結(jié)構(gòu)

GAN網(wǎng)絡(luò)基于博弈的概念來學(xué)習(xí)生成圖像和真實(shí)圖像之間的誤差，利用生成器和判別器不斷博弈的過程提升生成圖像的質(zhì)量，其中判別器的作用是確定生成器的生成結(jié)果是否滿足數(shù)據(jù)分布，從而區(qū)分生成圖像的真假。傳統(tǒng)GAN網(wǎng)絡(luò)判別器的輸出結(jié)果是該樣本為真的概率，該值代表的是圖像整體的一個(gè)值，無法體現(xiàn)圖像的局部特征。因此，對于一些對細(xì)節(jié)特征要求較高的任務(wù)存在一定的缺陷。

因此，本文的判別器是建立在Patch-GAN結(jié)構(gòu)上的全卷積網(wǎng)絡(luò)，將判別器的輸出映射為一個(gè)N×N的矩陣，該矩陣中的每一個(gè)值都代表著其所屬感受野區(qū)域?yàn)檎娴母怕?。相比于傳統(tǒng)的判別器，使用一個(gè)矩陣作為輸出能夠更為充分考慮圖像不同區(qū)域的細(xì)節(jié)特征，同時(shí)小尺寸的特征圖計(jì)算也能夠加快網(wǎng)絡(luò)的收斂速度[21]，使網(wǎng)絡(luò)更容易訓(xùn)練。本文設(shè)計(jì)了5層全卷積的判別器模型，前4個(gè)卷積塊包含一個(gè)卷積層、一個(gè)實(shí)例歸一化層和一個(gè)非線性激活函數(shù)LeakyReLU，并且卷積步長設(shè)置為2。此外，最后一個(gè)卷積塊只包含卷積層和激活函數(shù)層，卷積步長為1，通道數(shù)為1。激活函數(shù)不再使用LeakyReLU，而采用值域?yàn)?0，1)的Sigmoid函數(shù)代替。最后判別器網(wǎng)絡(luò)輸出一個(gè)通道數(shù)為1的矩陣，該矩陣上的每個(gè)數(shù)值代表所屬感受野區(qū)域的概率值，以此來判斷生成圖像的真假。

圖4 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Discriminator network structure

2.3 損失函數(shù)

CycleGAN能夠使用非成對數(shù)據(jù)集訓(xùn)練得到與成對數(shù)據(jù)集相同的效果，因此，本文仍使用CycleGAN中的對抗損失函數(shù)和循環(huán)一致性損失函數(shù)進(jìn)行訓(xùn)練。假設(shè)低照度圖像為X，正常光照圖像為Y，則CycleGAN中存在2個(gè)映射關(guān)系，即生成器G：X→Y與生成器F：Y→X。于是針對判別器DY的對抗損失函數(shù)為：

LGAN(G,DY,X,Y)=Ey～Pdata(y)[ln(1-DY(G)(x))]+

Ey～Pdata(y)[lnDY(y)]，

(1)

循環(huán)一致性損失函數(shù)為：

Lcyc(G,F)=Ex～Pdata(x)[‖F(xiàn)(G(x))-x‖1]+

Ey～Pdata(y)[‖G(F(y))-y‖1]。

(2)

一般，對抗損失用來判斷低照度圖像增強(qiáng)后與正常光照圖像的相似度，并通過不斷對抗訓(xùn)練來使得生成的正常光照圖像的質(zhì)量越來越好。循環(huán)一致性損失用來約束原始數(shù)據(jù)集中的圖像和生成圖像的相似程度，使得第2個(gè)生成器轉(zhuǎn)換回來的圖像更為接近原始圖像。CycleGAN中擁有2個(gè)映射關(guān)系，于是總的損失函數(shù)為：

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+

λLcyc(G,F)。

(3)

3 實(shí)驗(yàn)結(jié)果與分析

本文增強(qiáng)算法的實(shí)驗(yàn)在工作站上搭建環(huán)境并進(jìn)行訓(xùn)練，工作站硬件配置CPU(Inter XeonE5-2695)，GPU(NvidiaTITAN XP)，主板(超微X10DRGQ)；操作系統(tǒng)為Windows10專業(yè)版；軟件配置為Anaconda，Pycharm；編程語言為python，深度學(xué)習(xí)框架為keras。

3.1 實(shí)驗(yàn)環(huán)境與訓(xùn)練過程

在LOL數(shù)據(jù)集上進(jìn)行網(wǎng)絡(luò)訓(xùn)練，以485對圖像作為訓(xùn)練集，15對圖像作為測試集。圖像統(tǒng)一歸一化至416 pixel×416 pixel大小輸入網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)Batchsize=1，一共訓(xùn)練200輪(epoch)，優(yōu)化器為Adam，前一百輪學(xué)習(xí)率為0.000 5，后一百輪學(xué)習(xí)率為0.000 1。

實(shí)驗(yàn)采用了峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、信息熵(EN)以及自然圖像質(zhì)量評價(jià)指標(biāo)(NIQE)作為圖像質(zhì)量評價(jià)指標(biāo)。

① PSNR：能夠反映增強(qiáng)后的圖像結(jié)構(gòu)信息的完整程度，其值越高，表示受到的噪聲影響越小，增強(qiáng)后的圖像質(zhì)量越高，失真程度也越?。?/p>

② SSIM：用來衡量2幅圖像的相似程度，其值越大，表示增強(qiáng)后的圖像與正常光照圖像越相似；

③ EN：能夠很好地反映增強(qiáng)后的圖像中紋理信息的豐富程度，其值越大，表明圖像的紋理信息越豐富，越接近于真實(shí)光照圖像；

④ NIQE：是一種基于無監(jiān)督學(xué)習(xí)無參考的圖像質(zhì)量評價(jià)指標(biāo)，其值越低，表示增強(qiáng)后的圖像質(zhì)量越高，越符合真實(shí)圖像。

3.2 對比實(shí)驗(yàn)主觀評價(jià)

為了驗(yàn)證本文低光照增強(qiáng)算法的優(yōu)越性，選取了MSRCR[7]，SRIE[8]，LIME[9]，DONG[10]，MF[11]，NPE[12]和RetinexNet[15]等算法在LOL的測試集中進(jìn)行對比實(shí)驗(yàn)。從LOL數(shù)據(jù)集中隨機(jī)選取了3張圖片，使用上述低照度算法和本文算法進(jìn)行處理，分別從整體主觀效果和細(xì)節(jié)恢復(fù)情況2方面進(jìn)行分析。

(1) 圖像整體增強(qiáng)效果

本文算法與其余對比算法的實(shí)驗(yàn)結(jié)果整體增強(qiáng)效果對比如圖5所示。

圖5 實(shí)驗(yàn)結(jié)果對比Fig.5 Comparison of experimental results

由圖5可以看出，MSRCR算法與SRIE算法相比，前者增強(qiáng)后的圖像曝光嚴(yán)重，后者增強(qiáng)后的圖像整體偏暗，二者增強(qiáng)后的圖像本身的顏色細(xì)節(jié)信息缺失，導(dǎo)致圖像整體不真實(shí)，增強(qiáng)效果距離真實(shí)清晰圖像都有很大的差距。DONG算法圖像整體色彩較SRIE算法有所提高，但是增強(qiáng)后的圖像存在一些噪聲以及偽影出現(xiàn)，細(xì)節(jié)恢復(fù)不到位。LIME算法相較于前3種算法對圖像的整體處理效果更好，增強(qiáng)后的圖像的局部亮度與真實(shí)圖像相比存在一定差距，并且存在一定的細(xì)節(jié)信息丟失。MF算法以及NPE算法增強(qiáng)后圖像整體色彩與真實(shí)圖像較為接近，但是對偏暗區(qū)域亮度的增強(qiáng)效果偏弱，同時(shí)增強(qiáng)圖中各物體之間色彩層次不太明顯，圖像中也有一定的噪聲存在。RetinexNet算法增強(qiáng)后圖像中各物體顏色分明，但是過于增強(qiáng)，相較于真實(shí)圖像存在較多噪聲，導(dǎo)致出現(xiàn)失真現(xiàn)象。本文增強(qiáng)算法的主觀視覺效果要優(yōu)于前面的各種算法，圖像整體亮度接近真實(shí)圖像，圖中各物體的顏色分明，色彩信息得到了較好的恢復(fù)，并且細(xì)節(jié)丟失較少，圖像更加自然。

(2) 細(xì)節(jié)對比分析

更詳細(xì)的細(xì)節(jié)信息對比效果如圖6所示，分別展示了3幅測試圖的2處細(xì)節(jié)信息，實(shí)驗(yàn)對比算法仍然是上述7種低照度增強(qiáng)算法。由圖6可以看出，每幅圖對比2處細(xì)節(jié)信息。

(a) 測試圖1細(xì)節(jié)對比

(b) 測試圖2細(xì)節(jié)對比

(c) 測試圖3細(xì)節(jié)對比圖6 實(shí)驗(yàn)結(jié)果細(xì)節(jié)對比Fig.6 Detailed comparison of experimental results

圖6(a)第1幅測試圖分別對衣柜中衣物顏色還原度和玩偶頭部細(xì)節(jié)恢復(fù)程度進(jìn)行了比較，本文算法增強(qiáng)后的衣物顏色分明，顏色層次更貼近真實(shí)的圖片；同時(shí)玩偶頭部細(xì)節(jié)信息豐富，輪廓明顯，紋理清晰。其余幾種算法，增強(qiáng)后的衣物顏色均存在顏色層次不夠分明的問題，同時(shí)增強(qiáng)后的衣物邊緣信息模糊，存在大量的噪聲；針對玩偶頭部細(xì)節(jié)恢復(fù)，幾種對比算法都有較好的表現(xiàn)，玩偶的顏色以及邊緣細(xì)節(jié)信息較為接近真實(shí)圖片。在圖6(b)第2幅測試圖中，首先針對電飯煲上字體信息，本文算法與各對比算法增強(qiáng)后的字體清晰可辨認(rèn)，但本文算法增強(qiáng)后圖像中電飯煲的顏色層次較其余增強(qiáng)算法與真實(shí)圖像更為接近；其次，本文算法增強(qiáng)圖像的筷筒金屬反光真實(shí)，邊緣輪廓更為清晰。在圖6(c)第3幅測試圖中，首先，本文算法、MSRCR、NPE以及RetinexNet算法增強(qiáng)后圖片中的暗處保齡球擺放較為清晰，余下算法未能體現(xiàn)完整的保齡球個(gè)數(shù)；其次，針對地板倒影，本文算法能夠得到更為光滑和清晰的影像。

3.3 對比實(shí)驗(yàn)客觀評價(jià)

為了進(jìn)一步說明本文的低照度增強(qiáng)方法的優(yōu)越性，在實(shí)驗(yàn)過程中計(jì)算了各增強(qiáng)算法的PSNR，SSIM，NIQE和EN這4個(gè)圖像評價(jià)指標(biāo)來對本實(shí)驗(yàn)中的對比算法進(jìn)行定量評價(jià)，如表1所示。由表1可知，3個(gè)測試圖片中本文算法的PSNR值在3幅測試圖片中最高，同時(shí)本文算法的SSIM值(結(jié)構(gòu)相似性)也為最大，說明本文算法增強(qiáng)后的圖片受噪聲影響小、失真程度小且質(zhì)量高，增強(qiáng)后的圖像與真實(shí)圖像最為接近，相較于其他算法圖像的質(zhì)量更為可靠。其次，針對NIQE值，本文算法最低，表明本文算法增強(qiáng)后的圖像較其他算法視覺質(zhì)量更高，處理出來的圖像最接近于真實(shí)圖像。最后，本文算法在第1幅圖獲得最高EN值，其余2幅圖中略低于LIME算法，說明本文算法在一定程度上能夠較好地保留原始圖像中的細(xì)節(jié)信息。總體來看，本文的低照度增強(qiáng)算法的客觀評價(jià)指標(biāo)最好。

表1 圖像評價(jià)指標(biāo)對比Tab.1 Comparison of image evaluation index

4 結(jié)束語

為解決低照度圖像的亮度恢復(fù)問題，提出了一種基于改進(jìn)CycleGAN的低照度圖像增強(qiáng)方法。該方法利用多尺度卷積和殘差空洞卷積來構(gòu)建基于U-Net結(jié)構(gòu)的低光照增強(qiáng)模塊，并結(jié)合基于全卷積的照度均衡處理模塊共同構(gòu)成生成器網(wǎng)絡(luò)，能夠保留特征圖的許多細(xì)節(jié)信息，增強(qiáng)暗光區(qū)域色彩恢復(fù)，提高低照度圖像增強(qiáng)的性能。同時(shí)，利用Patch-GAN作為判別器網(wǎng)絡(luò)，能夠充分考慮圖像不同區(qū)域的細(xì)節(jié)特征，提高對增強(qiáng)后圖像的鑒別能力，進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的收斂能力。經(jīng)過對比實(shí)驗(yàn)驗(yàn)證，本文的增強(qiáng)方法具有更好的增強(qiáng)效果，增強(qiáng)后的圖像亮度均勻且細(xì)節(jié)損失較少、噪聲較小，圖像質(zhì)量更高。同時(shí)其客觀評價(jià)指標(biāo)PSNR，SSIM，NIQE以及EN的值也表明本文算法較其他對比算法更優(yōu)。因此，本文的低照度增強(qiáng)方法具有一定的學(xué)術(shù)參考價(jià)值和工程應(yīng)用價(jià)值。隨后的研究內(nèi)容將針對對抗損失的問題，引入光照等因素的影響進(jìn)一步優(yōu)化增強(qiáng)網(wǎng)絡(luò)，獲得更好的增強(qiáng)效果。