楊鎮(zhèn)雄，譚臺(tái)哲

（廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 廣東 廣州 510006）

現(xiàn)階段，圖像處理技術(shù)在各個(gè)領(lǐng)域都有廣泛的應(yīng)用，而圖像增強(qiáng)是其中的一個(gè)重要方向。在不同情況下獲取圖像時(shí)，環(huán)境因素會(huì)對(duì)圖像的質(zhì)量造成或多或少的影響。而圖像增強(qiáng)則是處理這些圖像，使圖像中的細(xì)節(jié)增加，去除圖像中因?yàn)榄h(huán)境而出現(xiàn)的噪聲，提高圖像對(duì)比度，從而提高圖像的整體質(zhì)量，使其和現(xiàn)實(shí)中的真實(shí)場(chǎng)景靠攏。特別是其中的低照度圖像，在監(jiān)控、半晚拍照等情況下，由于光線不足，形成圖像的亮度嚴(yán)重不夠，圖像中的許多細(xì)節(jié)缺失[1]，所以低照度圖像增強(qiáng)方法隨之產(chǎn)生。隨著時(shí)間推移，越來越多的研究者開始嘗試通過深度學(xué)習(xí)解決圖像增強(qiáng)任務(wù)[2-3]。

目前基于深度學(xué)習(xí)的圖像增強(qiáng)任務(wù)有LLNet(Low Light Network)[4]，通過增強(qiáng)和去噪2個(gè)階段對(duì)圖像進(jìn)行增強(qiáng)；MSR-Net(Multi-Scale Retinex Network)[5]引入卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)，仿照多尺度的Retinex理論(Multi-Scale Retinex，MSR)，分為多尺度對(duì)數(shù)變換、卷積差分、顏色恢復(fù)3個(gè)模塊；Retinex-Net[6]參考Retinex理論，其分為2個(gè)子網(wǎng)絡(luò)，解耦網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行解耦得到光照?qǐng)D和反射圖，增強(qiáng)網(wǎng)絡(luò)再對(duì)光照?qǐng)D進(jìn)行增強(qiáng)處理，增強(qiáng)后再與反射圖結(jié)合得到結(jié)果圖等。但基于深度學(xué)習(xí)的圖像恢復(fù)和增強(qiáng)方法主要依賴于配對(duì)的數(shù)據(jù)集。

但是，配對(duì)的數(shù)據(jù)集在獲取方面有比較大的困難，在很多場(chǎng)景中，因?yàn)楝F(xiàn)實(shí)光照增強(qiáng)不受控制，想要獲得相對(duì)應(yīng)的正常光圖像和低光圖像幾乎很難實(shí)現(xiàn)[6-7]，所以現(xiàn)有大部分的低照度圖像增強(qiáng)方法基本都是使用合成的配對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練。例如，LLNet[4]使用伽馬校正和添加高斯噪聲來模擬低光環(huán)境，并通過2個(gè)階段把圖像進(jìn)行增強(qiáng)和去噪；LOL數(shù)據(jù)集中的低光照?qǐng)D像則是用Adobe Lightroom接口調(diào)節(jié)得到的[6]。但合成的配對(duì)數(shù)據(jù)集和正常場(chǎng)景相對(duì)比就顯得不夠真實(shí)，通過合成數(shù)據(jù)集訓(xùn)練的模型在現(xiàn)實(shí)場(chǎng)景中的表現(xiàn)難以讓人滿意[2,8]。

因?yàn)榕鋵?duì)數(shù)據(jù)集難以獲得，為了解決這個(gè)問題，在其他圖像生成領(lǐng)域里已經(jīng)有人通過無監(jiān)督學(xué)習(xí)來對(duì)圖像進(jìn)行轉(zhuǎn)化增強(qiáng)[9-10]，而這些方法大多是基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GANs)，在對(duì)抗中生成圖像和目標(biāo)圖像逐漸靠近，從而達(dá)到不依賴于相對(duì)應(yīng)配對(duì)的圖像數(shù)據(jù)集的目的，也可以在低照度圖像和正常亮度圖像之間轉(zhuǎn)換。

目前這些無監(jiān)督生成對(duì)抗模型在圖像增強(qiáng)任務(wù)上可以生成對(duì)比度比較好的圖像[11-14]，循環(huán)生成對(duì)抗網(wǎng)絡(luò)(Cycle-Consistent Generative Adversarial Networks，Cycle-GAN)[15]在圖像轉(zhuǎn)化、超生圖像增強(qiáng)等方面也有較好表現(xiàn)，但在低照度圖像中就顯得有些不足，增強(qiáng)圖像的對(duì)比度和照度沒有那么理想。因?yàn)榈驼斩葓D像中的亮度分布不均勻，在增強(qiáng)過程中可能一些相對(duì)高亮度區(qū)域被增強(qiáng)得過高，也可能對(duì)一些低照度噪音進(jìn)行加強(qiáng)而產(chǎn)生過多的噪音。

針對(duì)低照度圖像增強(qiáng)方法的難點(diǎn)，本文進(jìn)行了以下研究：采用無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)無監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)，解決配對(duì)數(shù)據(jù)集難以獲取的問題；對(duì)生成器引入注意力機(jī)制，把低光照?qǐng)D像中的低光區(qū)域和亮區(qū)域區(qū)分開來，從而促進(jìn)網(wǎng)絡(luò)對(duì)圖像中的低光區(qū)域給予更多的關(guān)注；使用殘差增強(qiáng)網(wǎng)絡(luò)，通過加深網(wǎng)絡(luò)層數(shù)，加強(qiáng)低照度圖像的增強(qiáng)效果；判別器采用全局-局部雙判別器結(jié)構(gòu)，保證生成的正常亮度圖像的所有局部區(qū)域看起來更接近于現(xiàn)實(shí)環(huán)境，避免局部曝光過低。

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是一個(gè)比較特殊的模型[16]，由生成模型和判別模型組成。其中生成器用于處理輸入數(shù)據(jù)，輸入圖像到生成器后產(chǎn)生數(shù)據(jù)樣本，這些數(shù)據(jù)不僅適用于圖像，在文本甚至語音等方面也可以使用[17]。判別器則用來判斷生成器生成圖像相比于真實(shí)圖象的真實(shí)程度。兩者互相更新對(duì)抗，生成器的目的是處理數(shù)據(jù)生成判別器都無法判斷的圖像樣本，而判別器的目的則是提升判斷能力，以確保判斷數(shù)據(jù)更準(zhǔn)確。通過生成器和判別器的互相迭代升級(jí)，使輸出的數(shù)據(jù)更好。

其損失函數(shù)為

式中：x為真實(shí)正常光照?qǐng)D像數(shù)據(jù)，z為真實(shí)正常光照?qǐng)D像數(shù)據(jù)，G為生成器，D為判別器，z通過生成器后輸出，并且和x一起輸入到判別器中，判別器判斷其真實(shí)程度； Ex～Pdata為真實(shí)數(shù)據(jù)的數(shù)學(xué)期望，其中服從概率分布Pdata；Ez～Pz為真實(shí)數(shù)據(jù)的數(shù)學(xué)期望，其中服從概率分布Pz；V(G，D)為二元交叉熵函數(shù)，通常用于二元分類問題。若把判別器的判定標(biāo)準(zhǔn)轉(zhuǎn)換為數(shù)據(jù)顯示，則把真實(shí)的判定真實(shí)的正常光照?qǐng)D像定為1，生成器輸出的不符合真實(shí)數(shù)據(jù)的偽正常光照?qǐng)D像定為0，而生成器的目的是不斷自我升級(jí)，使生成的圖像能夠欺騙判別器，使判別器認(rèn)為生成器輸出的是真實(shí)圖像，判別器也不斷自我升級(jí)使其能更好地進(jìn)行判斷。

1.2 注意力機(jī)制

視覺注意機(jī)制[18]是類似于人類眼睛的視覺，后者是人類在進(jìn)化過程中形成的特殊技能，視覺看到的畫面從人類的眼睛輸入，在腦海故意排除無關(guān)的信息，并對(duì)關(guān)心的對(duì)象領(lǐng)域集中更多的注意力。注意力機(jī)制可以有效利用人類有限的視覺注意力，排除其他無關(guān)因素，專注處理目標(biāo)數(shù)據(jù)。因此，把注意力機(jī)制引入深度學(xué)習(xí)中，使深度學(xué)習(xí)越來越高效化。

注意力機(jī)制主要分為柔性注意力和硬性注意力[19-20]，柔性注意力和硬性注意力都可以分為基于輸入項(xiàng)和基于位置2個(gè)方向。

1.3 殘差網(wǎng)絡(luò)

在網(wǎng)絡(luò)模型中，因?yàn)榫矸e層的層數(shù)加深，會(huì)出現(xiàn)各種各樣的問題，比如過擬合和梯度消失。由若干的殘差塊所構(gòu)成的殘差網(wǎng)絡(luò)(Residual Networks，Res-Net)[21-22]能夠很好地解決以上問題，殘差網(wǎng)絡(luò)已經(jīng)發(fā)展成了一種最為重要的特征提取方法。殘差塊的數(shù)學(xué)模型如下。

式中：xl為 殘差塊的輸入，xl+1為殘差塊的輸出特征圖的映射，F(xiàn)(xl,Wl)為運(yùn)算過程，f()為激活函數(shù)。通常殘差塊是通過卷積操作組成的，每次卷積都有非線性激活函數(shù)。

2 方法

2.1 循環(huán)生成對(duì)抗網(wǎng)絡(luò)

傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)都是需要輸入圖像相對(duì)應(yīng)的真實(shí)數(shù)據(jù)圖像，即輸入圖像通過生成器生成一個(gè)假的數(shù)據(jù)圖像，再通過判別器判斷這個(gè)假數(shù)據(jù)是否屬于真實(shí)圖像，并把結(jié)果發(fā)送回給生成器，生成器通過這個(gè)結(jié)果自我更新，使下次生成的圖像能更接近于答案，通過反復(fù)循環(huán)提高，生成最貼近于真實(shí)圖像的輸出。這樣的設(shè)計(jì)在有相對(duì)應(yīng)的圖像數(shù)據(jù)集的情況下是沒有問題的。

由于現(xiàn)實(shí)中成對(duì)低照度圖像數(shù)據(jù)集難以獲取，并且光照的模式和風(fēng)格種類繁多，人工合成的光照和噪聲通常與自然中的有所不同，導(dǎo)致這些基于合成圖像的低照度增強(qiáng)方法對(duì)來自真實(shí)世界的低照度圖像增強(qiáng)能力有限，可以利用無監(jiān)督學(xué)習(xí)，從循環(huán)生成對(duì)抗網(wǎng)絡(luò)出發(fā)，設(shè)計(jì)一個(gè)網(wǎng)絡(luò)解決當(dāng)前低照度圖像增強(qiáng)方法依賴配對(duì)圖像數(shù)據(jù)集的問題。

循環(huán)生成對(duì)抗網(wǎng)絡(luò)不僅將低照度圖像生成正常亮度圖像，而且將生成的正常亮度圖像作為輸入，讓生成器生成低照度圖像，并和原輸入的低照度圖像進(jìn)行對(duì)比，使兩者更加接近，以此來擺脫對(duì)相應(yīng)數(shù)據(jù)集的依賴。

如圖1所示，循環(huán)生成對(duì)抗網(wǎng)絡(luò)分為2組生成器和判別器，輸入分別為低照度圖像和正常照度圖像，兩者數(shù)據(jù)集不用互相對(duì)應(yīng)。首先，向生成器1輸入低照度圖像，生成的正常光照度圖像通過判別器1判斷是否是正常光照度圖像，同時(shí)輸入生成器2，生成偽低照度圖像，其要與原輸入的低照度圖像盡可能相似。另一組原輸入為正常照度圖像，流程一致。

圖1 Cycle-Gan網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The network structure of the Cycle-Gan

Cycle-GAN的損失函數(shù)總體來說可以分為2部分，一部分是對(duì)抗損失，另一部分是循環(huán)損失。

循環(huán)損失函數(shù)為

式(4)～(6)中： Ex～Pdata(x)和Ey～Pdata(y)分別為循環(huán)生成對(duì)抗網(wǎng)絡(luò)的X和Y兩組輸入圖像在數(shù)據(jù)空間中定義的真實(shí)數(shù)據(jù)的數(shù)學(xué)期望，λ為用于控制循環(huán)一致性損失和對(duì)抗損失之間的相對(duì)權(quán)重。因?yàn)樾枰寡h(huán)生成的低照度圖像和原輸入圖像盡可能接近，所以在生成器1生成正常亮度圖像后，在生成器2中盡可能恢復(fù)成原輸入圖像，除了對(duì)抗損失之外，還需要循環(huán)損失來保證循環(huán)一致性[23]。

2.2 改進(jìn)的網(wǎng)絡(luò)

為了增強(qiáng)低照度圖像的同時(shí)解決圖像噪聲，把網(wǎng)絡(luò)分解[24]為注意力機(jī)制引導(dǎo)網(wǎng)絡(luò)和殘差增強(qiáng)網(wǎng)絡(luò)。如圖2所示，首先輸入圖像通過注意力機(jī)制網(wǎng)絡(luò)區(qū)分低光區(qū)域和亮光區(qū)域，生成注意力機(jī)制圖，以便后續(xù)的增強(qiáng)網(wǎng)絡(luò)能對(duì)其進(jìn)行區(qū)分增強(qiáng)。接著把輸入圖像和注意力機(jī)制圖像通過串接形式一起輸入殘差網(wǎng)絡(luò)，通過注意力機(jī)制圖象的區(qū)域劃分，對(duì)輸入圖像進(jìn)行精準(zhǔn)亮度增強(qiáng)。因?yàn)榈驼斩葓D像中的光線普遍偏暗，所以圖像中的特征信息較少，并且會(huì)有部分噪聲干擾，在這個(gè)基礎(chǔ)上，使用殘差連接構(gòu)建基礎(chǔ)殘差模塊，使網(wǎng)絡(luò)的層數(shù)加深。通過增強(qiáng)模型的弱光圖像，避免由于網(wǎng)絡(luò)加深造成特征損失。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network diagram

2.2.1 注意力機(jī)制網(wǎng)絡(luò)

傳統(tǒng)圖像增強(qiáng)學(xué)習(xí)方法一般針對(duì)圖像整體發(fā)展進(jìn)行不斷增強(qiáng)，而忽略了照片中各個(gè)區(qū)域亮度不一致的情況，進(jìn)而容易造成高亮度區(qū)域過曝光，低亮度區(qū)域相對(duì)欠曝光的問題。為解決低照度圖像中亮度區(qū)域分布不均勻的問題，打算引入注意力機(jī)制，通過注意力機(jī)制網(wǎng)絡(luò)區(qū)分低光區(qū)域和亮光區(qū)域，生成注意力機(jī)制圖象，從而促進(jìn)網(wǎng)絡(luò)對(duì)圖像中的弱光區(qū)域給予更多的關(guān)注和增強(qiáng)。在低照度圖像生成正常圖像時(shí)，盡管圖中的不同區(qū)域進(jìn)行了不同增強(qiáng)，各個(gè)部分的亮度盡可能靠近，但生成亮度還是有所區(qū)別。因此在正常圖像中，也有亮度分配不同的情況，通過對(duì)亮度情況進(jìn)行區(qū)分，同樣也能生成低照度圖像。

U-Net[25]在圖像生成領(lǐng)域特別是圖像恢復(fù)和增強(qiáng)方面有著不錯(cuò)的表現(xiàn)，可以在輸入圖像中獲取不同深度的特征信息，保留比較完整的特征信息，并且利用多層次信息多尺度地生成效果較好的圖像，因此使用類U-Net網(wǎng)絡(luò)作為主要網(wǎng)絡(luò)。

注意力機(jī)制網(wǎng)絡(luò)作為輔助網(wǎng)絡(luò)，其訓(xùn)練得到的注意力圖與原輸入圖像相結(jié)合，以待后續(xù)的加強(qiáng)網(wǎng)絡(luò)對(duì)低光區(qū)域進(jìn)行特別加強(qiáng)，確保低照度圖像中低光區(qū)域的增強(qiáng)效果。

圖3為注意力機(jī)制網(wǎng)絡(luò)，采取類U型網(wǎng)絡(luò)，首先輸入低照度圖像通過下采樣層的池化和卷積，對(duì)輸入圖像進(jìn)行分解，加深維度。卷積操作增加圖像的維度，池化操作減小圖像每一維度的尺寸，以達(dá)到提取特征有效地收集光照信息的目的。再結(jié)合上采樣層得到的光照信息，對(duì)得到的信息進(jìn)行建模，得到注意力圖，如圖4所示。圖中的白色區(qū)域代表輸入圖像的低照度區(qū)域，黑色區(qū)域代表輸入圖像的較亮區(qū)域。

圖3 注意力網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Attention network structure

圖4 低照度圖像和注意力圖像Fig.4 Low illumination images and attention-based images

式中：Ix為 低照度圖像，p ixel(Ix)為輸入圖像本身的像素值，m ax(Ix)為輸入圖像中的最大像素值。

2.2.2 增強(qiáng)網(wǎng)絡(luò)模塊

如圖5所示，殘差增強(qiáng)網(wǎng)絡(luò)分為3個(gè)部分，其中第1部分為卷積層，首先將圖像合并在一起，然后進(jìn)行卷積運(yùn)算，步長為2，即將每一維度的尺寸大小減半。中間的殘差單元部分為第2部分，通過建立連接多個(gè)殘差單元提高低照度圖像的增強(qiáng)能力，通過一系列的殘差塊，利用上采樣恢復(fù)圖像的尺寸以及維度。第3部分為普通卷積層，把前面處理的多特征轉(zhuǎn)換成RGB圖像。

圖5 殘差增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Residuals enhance network architecture

2.3 判別器

在傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)方法中[26]，判別器不能很好地對(duì)光線變化大的低照度圖像發(fā)揮作用，和上述注意力機(jī)制的作用相比，不能很好地處理低照度圖像中特別亮或者特別暗的區(qū)域，原因在于傳統(tǒng)方法中使用的是全局判別器，對(duì)于局部信息變化大的部分不能擁有比較好的自適應(yīng)能力。為了提高判別器對(duì)于低照度圖像任務(wù)的作用，使用了全局加局部的雙判別器結(jié)構(gòu)[27]，其中全局判別器在工作的期間，局部判別器也同時(shí)工作。從生成器輸出的圖像和真實(shí)的光照?qǐng)D像當(dāng)作輸入，輸入全局判別器中，同時(shí)把輸入分解成多個(gè)局部區(qū)域輸入局部判別器中，局部判別器使用PatchGAN對(duì)真實(shí)圖像和輸出圖像進(jìn)行判別，通過對(duì)抗，使輸出圖像包括其局部區(qū)域看起來更加接近于真實(shí)圖像，避免局部過度曝光。

如圖6所示，把生成器生成的圖像和正常亮度的圖像作為輸入在全局判別器中進(jìn)行判定，從全局的角度來保證完整圖像的真實(shí)性；同時(shí)把兩者裁剪數(shù)量相等的若干局部區(qū)域輸入局部判別器中，并輸出每份局部區(qū)域的真實(shí)度，保證圖像中每個(gè)區(qū)域都更靠近真實(shí)圖像。

圖6 全局-局部判別器Fig.6 Global-local discriminator

在全局判別器中，使用LSGAN版本的相對(duì)論平均GAN損失[28]，損失函數(shù)如下。

式中：G為生成器，D為判別器，Pr為真實(shí)圖像的正態(tài)光分布，xr為 其相對(duì)應(yīng)的樣本；Pf為生成圖像的正態(tài)光分布，xf為其相對(duì)應(yīng)的樣本，Exr～Pr和 Exf～Pf分別為真實(shí)數(shù)據(jù)和生成數(shù)據(jù)的數(shù)學(xué)期望。

對(duì)于局部判別器，也采用原始LSGAN損失來進(jìn)行訓(xùn)練，生成器和判別器的損失函數(shù)如下。

3 實(shí)驗(yàn)

在本節(jié)，首先比較每個(gè)模型在Enlighten-GAN的未配對(duì)增強(qiáng)數(shù)據(jù)集中的對(duì)比度和照明增強(qiáng)性能。然后，報(bào)告合成的低光(Low-Light，LOL)數(shù)據(jù)集的對(duì)比度增強(qiáng)后的結(jié)果，這些數(shù)據(jù)集都包含具有明顯噪聲的低光圖像。

3.1 數(shù)據(jù)集

未配對(duì)的增強(qiáng)(Enlighten) 數(shù)據(jù)集：Jiang等[26]收集了一個(gè)未配對(duì)的數(shù)據(jù)集，用于訓(xùn)練對(duì)比度增強(qiáng)模型。訓(xùn)練集由914張較暗但沒有顯著噪聲的低光圖像和1 016張來自公共數(shù)據(jù)集的正光圖像組成。本文使用這個(gè)數(shù)據(jù)集來比較每個(gè)模型的對(duì)比度增強(qiáng)性能。該評(píng)價(jià)集由公共數(shù)據(jù)集的148對(duì)低光/正光圖像對(duì)組成。所有來自訓(xùn)練和評(píng)估集的圖像的分辨率都被重新調(diào)整到400×600。

LOL數(shù)據(jù)集[6]：LOL數(shù)據(jù)集由500對(duì)弱光和正光圖像對(duì)組成，分為485對(duì)訓(xùn)練對(duì)和15對(duì)測(cè)試對(duì)。低光圖像包含了在照片捕獲過程中產(chǎn)生的噪聲。大部分的圖像都是室內(nèi)的場(chǎng)景。為了使數(shù)據(jù)集適應(yīng)本文的無監(jiān)督設(shè)置，這里采用485張訓(xùn)練圖像作為本文的弱光訓(xùn)練集，并采用未配對(duì)增強(qiáng)Enlighten數(shù)據(jù)集中的正光圖像作為正光訓(xùn)練集。測(cè)試映像與LOL數(shù)據(jù)集保持相同。所有圖像的分辨率都為400×600。

3.2 實(shí)施細(xì)節(jié)及評(píng)價(jià)指標(biāo)

使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為1 0-4，批量大小設(shè)置為32。為了對(duì)增強(qiáng)后的圖像進(jìn)行質(zhì)量評(píng)價(jià)，本文采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)[29]2個(gè)指標(biāo)進(jìn)行定量分析。SSIM表示了一種全參考的圖像評(píng)價(jià)質(zhì)量指標(biāo)，代表結(jié)構(gòu)相似性指標(biāo)，包括亮度、對(duì)比度以及圖像具體的結(jié)構(gòu)3個(gè)部分，PSNR是峰值信噪比指標(biāo)。

3.3 Enlighten數(shù)據(jù)集上的實(shí)驗(yàn)

這里比較了本文模型以及包括UNIT[25]、Cycle-GAN[15]和Enlighten-GAN[26]在內(nèi)的低光照?qǐng)D像增強(qiáng)模型在Enlighten數(shù)據(jù)集上的表現(xiàn)。所有的模型都在訓(xùn)練集上進(jìn)行訓(xùn)練，并在測(cè)試集上進(jìn)行評(píng)估。

在圖7中可以看出UNIT模型和Cycle-GAN模型提升了一定的亮度，但對(duì)比其他模型，其色彩有一定的缺失，產(chǎn)生沉重的偽影和遭受輕微的顏色扭曲；而Enlighten-GAN模型的增強(qiáng)效果很明顯，并且色彩鮮艷，在天空和地上行人部分都能得到很好的增強(qiáng)，和本文的模型一樣可以在全局和局部區(qū)域生成具有合理對(duì)比度和清晰度的圖像。

圖7 Enlighten數(shù)據(jù)集上的結(jié)果Fig.7 Results on the Enlighten dataset

除了主觀視覺感官外，本文還報(bào)告了生成圖像的PSNR和SSIM，作為對(duì)未配對(duì)增強(qiáng)數(shù)據(jù)集的數(shù)據(jù)評(píng)價(jià)。結(jié)果如表1所示，本文的模型比現(xiàn)有的模型表現(xiàn)得更好，這與視覺結(jié)果是一致的。

表1 在Enlighten數(shù)據(jù)集和LOL數(shù)據(jù)集上的結(jié)果Table 1 Results on the Enlighten and LOL datasets

3.4 LOL低光圖像增強(qiáng)實(shí)驗(yàn)

在合成數(shù)據(jù)集的LOL弱光圖像增強(qiáng)數(shù)據(jù)集上評(píng)估了本文的方法，并將其與先進(jìn)的無監(jiān)督圖像轉(zhuǎn)換進(jìn)行比較，包括Cycle-GAN和Enlighten-GAN。 圖8顯示了LOL數(shù)據(jù)集的表現(xiàn)結(jié)果。Cycle-GAN的數(shù)據(jù)存在嚴(yán)重的顏色失真，無法保留LOL數(shù)據(jù)集的細(xì)節(jié)。Enlighten-GAN能夠提高圖像的對(duì)比度，但圖像上仍存在噪聲和偽影。

圖8 LOL數(shù)據(jù)集上的結(jié)果Fig.8 Results on the LOL dataset

放大圖8中保齡球道增強(qiáng)的細(xì)節(jié)，如圖9所示，Enlighten-GAN中的球瓶顯示情況并沒有本文方法的清晰，從此細(xì)節(jié)看出本文方法在單一模型的真實(shí)低光圖像增強(qiáng)中同樣具有優(yōu)勢(shì)。

圖9 放大的細(xì)節(jié)圖像Fig.9 Magnified details of the image

同樣，對(duì)于LOL數(shù)據(jù)集的實(shí)驗(yàn)，本文也報(bào)告了生成圖像的PSNR和SSIM，作為LOL數(shù)據(jù)集的數(shù)據(jù)評(píng)價(jià)。結(jié)果如表1所示，本文的模型同樣領(lǐng)先，進(jìn)一步證明了本文模型的優(yōu)越性。

3.5 消融研究

為研究本文模型中的每個(gè)組件對(duì)最終結(jié)果的貢獻(xiàn)設(shè)計(jì)了2個(gè)實(shí)驗(yàn)，分析了使用殘差網(wǎng)絡(luò)而不用注意力機(jī)制網(wǎng)絡(luò)的情況，和使用了注意力機(jī)制網(wǎng)絡(luò)并且調(diào)整殘差塊數(shù)量的情況，對(duì)比整個(gè)模型，明確看出其發(fā)揮的關(guān)鍵作用。

具體來說，第1個(gè)實(shí)驗(yàn)不使用注意力機(jī)制網(wǎng)絡(luò)來進(jìn)行訓(xùn)練并和完整的模型進(jìn)行對(duì)比，以此看出注意力機(jī)制網(wǎng)絡(luò)在本文模型中的作用。第2個(gè)實(shí)驗(yàn)則是因?yàn)楸疚氖褂昧藲埐顗K進(jìn)行增強(qiáng)，并且在殘差增強(qiáng)網(wǎng)絡(luò)中殘差塊的數(shù)量也對(duì)實(shí)驗(yàn)結(jié)果有著一定的差異影響，所以進(jìn)行額外對(duì)比，分別選取數(shù)量為4，6，8，10的殘差塊數(shù)量進(jìn)行對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果如圖10所示，在沒有注意力機(jī)制網(wǎng)絡(luò)時(shí)，結(jié)果與完整模型相比，在兩側(cè)的玻璃和玻璃柜子上的亮度偏低，并且出現(xiàn)了一些亮度噪聲。而殘差塊部分，幾種殘差塊數(shù)量的結(jié)果在感官上大致相差不大。隨著殘差塊數(shù)量的增加，增強(qiáng)網(wǎng)絡(luò)的層數(shù)也增加時(shí)，在一些局部復(fù)雜部分，部分線條會(huì)出現(xiàn)重疊，出現(xiàn)過擬合的現(xiàn)象。殘差塊數(shù)量為6塊時(shí)，得到的圖像最為平滑。

圖10 在Enlighten數(shù)據(jù)集上的消融研究Fig.10 Ablation studies on the Enlighten dataset

同時(shí)，對(duì)于消融實(shí)驗(yàn)，本文報(bào)告了生成圖像的PSNR和SSIM，作為消融實(shí)驗(yàn)的數(shù)據(jù)評(píng)價(jià)。結(jié)果如表2所示，在殘差塊數(shù)量為6塊時(shí)取得的效果最好，雖然隨著數(shù)量增加，PSNR和SSIM數(shù)值同時(shí)也在增加，但是在超過6塊時(shí)，殘差塊數(shù)量增加會(huì)導(dǎo)致模型深度增加，從而使網(wǎng)絡(luò)的復(fù)雜程度和時(shí)間消耗增加。所以選取殘差塊數(shù)量為6塊的殘差網(wǎng)絡(luò)作為增強(qiáng)網(wǎng)絡(luò)是最好的選擇。

表2 在Enlighten數(shù)據(jù)集上消融實(shí)驗(yàn)的結(jié)果Table 2 Results of ablation studies on the Enlighten dataset

4 結(jié)論

本文所介紹的方法采用無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)作為主要網(wǎng)絡(luò)，并把網(wǎng)絡(luò)分解為注意力網(wǎng)絡(luò)和殘差增強(qiáng)網(wǎng)絡(luò)，對(duì)低照度圖像進(jìn)行增強(qiáng)，達(dá)到比較理想的效果。相比較傳統(tǒng)的方法，不僅能適應(yīng)多種低照度環(huán)境下的圖像增強(qiáng)，同時(shí)也提高了增強(qiáng)后圖像的視覺效果。通過實(shí)驗(yàn)表明，本文所提方法，得到的結(jié)果細(xì)節(jié)描述更準(zhǔn)確，色彩深度更豐富，局部對(duì)比度更強(qiáng)，在主觀和客觀驗(yàn)證下都優(yōu)于Enlighten-GAN、Cycle-GAN等方法。