陳亞瑞，丁文強(qiáng)，徐肖陽(yáng)，胡世凱，閆瀟寧，許能華

(1. 天津科技大學(xué)人工智能學(xué)院，天津 300457；2. 深圳市安軟科技股份有限公司，深圳 518131)

單幅圖像超分辨率(single image super-resolution，SSIR)重建是根據(jù)一張低分辨率(low resolution，LR)圖像恢復(fù)出高分辨率(high resolution，HR)圖像的過(guò)程．SSIR作為計(jì)算機(jī)視覺一個(gè)非常重要的研究方向，引起了國(guó)內(nèi)外眾多學(xué)者的廣泛關(guān)注，其研究成果有大量的商業(yè)應(yīng)用．超分辨率重建在醫(yī)學(xué)成像、衛(wèi)星成像、人臉識(shí)別、視頻監(jiān)控以及恢復(fù)重要?dú)v史圖像資料等諸多領(lǐng)域發(fā)揮了非常重要的作用.

在深度學(xué)習(xí)沒有興起之前，傳統(tǒng)的SSIR通常使用插值法[1-3]．插值法具有計(jì)算簡(jiǎn)單、計(jì)算速度快等優(yōu)點(diǎn)，但有時(shí)會(huì)導(dǎo)致生成圖像的邊緣和細(xì)節(jié)模糊．隨著深度學(xué)習(xí)的不斷發(fā)展，深度學(xué)習(xí)在單幅圖像超分辨率領(lǐng)域的優(yōu)異表現(xiàn)，促進(jìn)了單幅圖像超分辨率研究的快速發(fā)展，各種神經(jīng)網(wǎng)絡(luò)的變體也應(yīng)用于單幅圖像超分辨率的研究中，包括卷積神經(jīng)網(wǎng)絡(luò)[4]、對(duì)抗神經(jīng)網(wǎng)絡(luò)[5]以及二者的結(jié)合等[6]．

超分辨率生成對(duì)抗網(wǎng)絡(luò)(super-resolution generative adversarial networks，SRGAN)[7]是將圖像超分辨率與生成對(duì)抗網(wǎng)絡(luò)結(jié)合，生成視覺效果較好的高分辨率圖像．然而，SRGAN模型的訓(xùn)練數(shù)據(jù)由人工構(gòu)造，根據(jù)已知的高分辨率圖像，利用雙三次插值法[3]進(jìn)行下采樣，得到低分辨率圖像．人工構(gòu)造的高分辨率-低分辨率(HR-LR)圖像對(duì)并沒有考慮復(fù)雜情況下的圖像超分辨率問題，例如低光照、模糊、噪聲、運(yùn)動(dòng)等復(fù)雜情況．這導(dǎo)致了用人工構(gòu)造的HR-LR圖像對(duì)訓(xùn)練得到的模型在處理人工生成的低分辨率圖像時(shí)效果很好，但是處理現(xiàn)實(shí)生活中低分辨率圖像的效果往往不盡如人意．SRGAN模型的損失更加關(guān)注峰值信噪比(peak signal-to-noise ratio，PSNR)，而忽略了結(jié)構(gòu)相似性(structural similarity，SSIM)，這使生成的高分辨率圖像雖然有較好的峰值信噪比，但是視覺效果不佳．基于此，本文模型在SRGAN模型的基礎(chǔ)上進(jìn)行了3個(gè)方面的改進(jìn)：首先，構(gòu)造一個(gè)新的損失函數(shù)(光照損失)，解決低光照條件下的圖像超分辨率問題；其次，增加結(jié)構(gòu)相似性損失，平衡生成圖像的PSNR和SSIM，使生成圖像的視覺效果更好；最后，構(gòu)造新的訓(xùn)練數(shù)據(jù)集，在傳統(tǒng)低分辨率圖像的基礎(chǔ)上，通過(guò)減少圖像的灰度值降低圖像的亮度，得到全新的HR-LR圖像對(duì)，此時(shí)的LR圖像不僅是低分辨率而且還是低光照條件．

1 背 景

1.1 圖像超分辨率

從低分辨率圖像估計(jì)其對(duì)應(yīng)高分辨率圖像的挑戰(zhàn)性任務(wù)被稱作超分辨率．傳統(tǒng)的圖像超分辨率方法通常使用插值法，例如雙線性插值法[2]、雙三次插值法[3]、Lanczos[7]重采樣等．插值法具有計(jì)算簡(jiǎn)單、計(jì)算速度快等優(yōu)點(diǎn)，但是生成的圖像往往比較模糊，紋理細(xì)節(jié)通常比較平滑．在深度學(xué)習(xí)興起之后，傳統(tǒng)的圖像超分辨率方法逐漸走向了沒落，而基于深度學(xué)習(xí)的圖像超分辨率方法迅速發(fā)展，研究人員提出了很多新的方法．

基于深度學(xué)習(xí)的圖像超分辨率方法主要包括基于卷積神經(jīng)網(wǎng)絡(luò)[8-12]、基于遞歸神經(jīng)網(wǎng)絡(luò)[13-15]、基于循環(huán)神經(jīng)網(wǎng)絡(luò)[16]、基于對(duì)抗神經(jīng)網(wǎng)絡(luò)[5,17]、基于反饋機(jī)制[18-19]、基于通道注意力機(jī)制[20-22]等．還有一些特殊的圖像超分辨率方法，例如針對(duì)多尺度超分辨率重建[23]、基于弱監(jiān)督學(xué)習(xí)的超分辨率重建[24-25]、基于無(wú)監(jiān)督的超分辨率重建[26-27]、針對(duì)盲超分辨率圖像重建[28-30]等．

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率

由于卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、識(shí)別等領(lǐng)域有著出色的表現(xiàn)，因此Dong等[8]將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)應(yīng)用到超分辨率重建中，提出了超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)(superresolution convolutional neural network，SRCNN)．雖然SRCNN模型只有3層神經(jīng)網(wǎng)絡(luò)，但是相較于傳統(tǒng)的圖像超分辨率方法，取得了顯著的效果．

由于CNN的優(yōu)異表現(xiàn)，越來(lái)越多的研究人員開始嘗試用CNN實(shí)現(xiàn)圖像的超分辨率重建，并提出了許多新的模型．例如，Dong等[9]改進(jìn)了SRCNN模型，提出了快速超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)(fast super-resolution convolutional neural network，F(xiàn)SRCNN)．Kim等[4]提出了超分辨率重建極深卷積神經(jīng)網(wǎng)絡(luò)(very deep convolutional network for super- resolution，VDSR)模型，相比于SRCNN模型，VDSR模型使用了更深的神經(jīng)網(wǎng)絡(luò)，可以提取更多的特征圖，使重建后的圖像細(xì)節(jié)更加豐富．Mao等[10]提出了極深殘差編解碼網(wǎng)絡(luò)(very deep residual encoderdecoder networks，RED-Net)模型，該模型用到了編碼-解碼結(jié)構(gòu)．考慮到DenseNet模型的優(yōu)點(diǎn)，Tong 等[11]提出了SRDenseNet網(wǎng)絡(luò)．Yu等[12]在2018年提出了WDSR模型，并取得了當(dāng)年NTIRE競(jìng)賽的冠軍. 目前，盡管卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建上很難恢復(fù)真實(shí)的紋理和細(xì)節(jié)，生成的圖像比較模糊，但是其在圖像超分辨率領(lǐng)域仍然占據(jù)著重要位置，每年都會(huì)有許多基于CNN的圖像超分辨率模型被提出.

1.3 基于生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率

傳統(tǒng)的圖像超分辨率方法和基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法都是以峰值信噪比作為一項(xiàng)重要的評(píng)判指標(biāo)，導(dǎo)致的結(jié)果就是隨著模型的不斷改進(jìn)，PSNR越來(lái)越大，但是生成的圖像在視覺感知上質(zhì)量較差．這也證實(shí)了，即使PSNR數(shù)值大，圖像的感官質(zhì)量也并不一定就好．為了生成符合人類感官質(zhì)量的圖像，Ledig等[5]提出了SRGAN模型，網(wǎng)絡(luò)主體采用對(duì)抗生成網(wǎng)絡(luò)(generative adversarial net，GAN)，損失函數(shù)采用感知損失與對(duì)抗損失之和．雖然峰值信噪比不是最高，但是SRGAN模型生成的圖像更加自然清晰，更符合人眼的視覺效果．盡管SRGAN模型取得了很好的視覺效果，但是隨著網(wǎng)絡(luò)的加深，SRGAN模型生成的圖像也會(huì)在細(xì)節(jié)上出現(xiàn)模糊，在圖像紋理上出現(xiàn)偽影．

基于SRGAN出現(xiàn)的問題，Wang等[17]對(duì)SRGAN模型進(jìn)行了改進(jìn)，提出了ESRGAN模型. ESRGAN模型對(duì)SRGAN模型進(jìn)行了3個(gè)方面的改進(jìn)．首先，引入沒有批量歸一化的RRDB(residual-inresidual dense block)作為基本的網(wǎng)絡(luò)架構(gòu)單元．其次，使用相對(duì)平均GAN(RaGAN)改進(jìn)判別器網(wǎng)絡(luò)，有助于生成器網(wǎng)絡(luò)恢復(fù)更多的真實(shí)紋理細(xì)節(jié)．最后，提出了一種改進(jìn)的感知損失，使用激活之前的VGG特征代替SRGAN模型中激活之后的VGG特征，調(diào)整之后的感知損失提供了更清晰的圖像邊緣和視覺上更令人滿意的結(jié)果．

1.4 創(chuàng)新與改進(jìn)

不論是傳統(tǒng)的圖像超分辨率方法，還是基于深度學(xué)習(xí)的圖像超分辨率方法，其關(guān)注的研究領(lǐng)域大都是從低分辨率圖像恢復(fù)出高分辨率圖像，較少研究現(xiàn)實(shí)生活中存在的復(fù)雜的低分辨率圖像，例如低分辨率圖像同時(shí)存在低光照、模糊、噪聲等情況．這就導(dǎo)致了在用模型處理現(xiàn)實(shí)中的低分辨率圖像時(shí)，生成圖像的效果并不好．

本文的融合光照損失的圖像超分辨率生成對(duì)抗網(wǎng)絡(luò)(image super-resolution generative adversarial network based on light loss，LSRGAN)模型是在SRGAN模型的基礎(chǔ)上進(jìn)行創(chuàng)新：

(1)LSRGAN模型能夠?qū)崿F(xiàn)在低光照條件下的圖像超分辨率重建．

(2)提出新的損失為光照損失．利用RGB顏色空間與YIQ顏色空間的線性關(guān)系計(jì)算出圖像中的亮度分量，將圖像中的亮度作為損失函數(shù)，更好地恢復(fù)低光照條件下的低分辨率圖像．

(3)將圖像的結(jié)構(gòu)相似性作為損失函數(shù)添加到原有的損失中，這有利于生成更加真實(shí)、自然的圖像，提高圖像的感官質(zhì)量．

(4)構(gòu)建新的訓(xùn)練數(shù)據(jù)集．先將高分辨率圖像進(jìn)行變黑處理，得到人造的低光照?qǐng)D像．然后使用雙三次插值法進(jìn)行下采樣，得到低光照條件下的低分辨率圖像．

2 本文方法

2.1 模型損失函數(shù)

LSRGAN模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示．

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig. 1 Structure diagram of network

LSRGAN模型在對(duì)抗過(guò)程中的目標(biāo)函數(shù)為

其中：G為生成器網(wǎng)絡(luò)，θ為生成器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；D為判別器網(wǎng)絡(luò)，?為判別器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；E為期望，IHR為真實(shí)高分辨率圖像，ILR為低分辨率圖像；Pdata( IHR)為真實(shí)高分辨率圖像的分布，Pdata( ILR)為低分辨率圖像的分布；G ( ILR)為生成器網(wǎng)絡(luò)生成的超分辨率圖像，D ( IHR)為當(dāng)輸入圖像為真實(shí)高分辨率圖像時(shí)判別真?zhèn)?，D (G( ILR))為輸入圖像為超分辨率圖像時(shí)判別真?zhèn)危?/p>

LSRGAN模型生成器網(wǎng)絡(luò)的全部損失函數(shù)為

其中：α、β、γ、δ為模型的超參數(shù)，為光照損失，為內(nèi)容損失，為結(jié)構(gòu)相似性損失，為對(duì)抗損失．

其中：ISR為超分辨率圖像；IHR為高分辨率圖像；Y為圖像亮度，Y = 0.299 R + 0.587G +0.144B，R、G、B分別為圖像的RGB三通道值．

相較于基于像素的內(nèi)容損失，基于式(4)內(nèi)容損失生成的圖像具有更好的視覺效果．

其中：ISR為生成的超分辨率圖像，IHR為真實(shí)的高分辨率圖像；μISR為ISR的平均值，μIHR為IHR的平均值；為 ISR的方差，為 IHR的方差，σISRIHR為ISR和IHR的協(xié)方差；C1=( k1l)2，C2= ( k2l)2，C1和 C2為維持穩(wěn)定的常數(shù)，l為像素值的動(dòng)態(tài)范圍，k1= 0.01，k2= 0.03．結(jié)構(gòu)相似性的范圍為0～1，當(dāng)兩張圖像一模一樣時(shí)，SSIM的值等于1．

對(duì)抗損失lDSR是基于判別器網(wǎng)絡(luò)，判別器網(wǎng)絡(luò)用于區(qū)分真實(shí)的高分辨率圖像和生成的高分辨率圖像，對(duì)抗損失可以有效提高生成圖像的視覺效果，其表達(dá) 式為

其中：G為生成器網(wǎng)絡(luò)，D為判別器網(wǎng)絡(luò)，G ( ILR)為生成器網(wǎng)絡(luò)生成的超分辨率圖像，D (G( ILR))為輸入圖像為超分辨率圖像時(shí)判別真?zhèn)危?/p>

LSRGAN模型在訓(xùn)練過(guò)程中，根據(jù)式(1)中的目標(biāo)函數(shù)，對(duì)生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)進(jìn)行交替優(yōu)化，解決對(duì)抗最小-最大問題，得到最優(yōu)的生成器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)θ和判別器網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)?．

2.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)

生成器網(wǎng)絡(luò)包括特征提取單元、深度殘差單元以及上采樣單元3個(gè)主要部分．生成器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖2所示，其中特征提取單元包括64個(gè)卷積核大小為3×3的卷積層和ReLU層，低分辨率圖像先經(jīng)過(guò)該卷積層進(jìn)行卷積特征提取，然后通過(guò)ReLU函數(shù)進(jìn)行激活．深度殘差單元包括12個(gè)殘差塊，用于進(jìn)一步對(duì)特征提取單元提取到的特征圖進(jìn)行特征學(xué)習(xí)并提取高頻信息．每個(gè)殘差塊內(nèi)部依次為卷積層、批標(biāo)準(zhǔn)化BN層、ReLU層、卷積層、批標(biāo)準(zhǔn)化BN層和殘差邊．卷積層進(jìn)行特征圖的特征提取，批標(biāo)準(zhǔn)化BN層對(duì)特征圖的特征進(jìn)行標(biāo)準(zhǔn)化，以減少模型的計(jì)算量．用ReLU函數(shù)進(jìn)行激活，給學(xué)習(xí)到的特征圖增加非線性元素．殘差邊將輸入和輸出進(jìn)行疊加操作，避免因網(wǎng)絡(luò)層數(shù)太多而導(dǎo)致梯度消失的問題．上采樣單元由1個(gè)反卷積層和ReLU層組成，用于根據(jù)提取的高頻信息將低分辨率圖像進(jìn)行指定倍數(shù)的放大〔本文是將低分辨率(LR)圖像的長(zhǎng)和寬均放大3倍〕，從而得到超分辨率圖像．

圖2 生成器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖 Fig. 2 Structure diagram of generation network

2.3 判別器網(wǎng)絡(luò)結(jié)構(gòu)

判別器網(wǎng)絡(luò)用于區(qū)分超分辨率圖像和真實(shí)的高分辨率圖像，促進(jìn)生成器網(wǎng)絡(luò)生成效果更好的超分辨率圖像．判別器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖3所示．判別器網(wǎng)絡(luò)由卷積塊和全連接層組成．其中卷積塊由卷積核大小為3×3的卷積層、LeakyReLU層以及批標(biāo)準(zhǔn)化BN層組成，用于不斷地提取輸入圖像的特征．

圖3 判別器網(wǎng)絡(luò)的結(jié)構(gòu)示意圖 Fig. 3 Structure diagram of discrimination network

輸入至判別器網(wǎng)絡(luò)的圖像先經(jīng)過(guò)卷積核大小為3×3、通道數(shù)為64的卷積層進(jìn)行特征提取，然后經(jīng)過(guò)LeakyReLU函數(shù)進(jìn)行激活．通過(guò)7個(gè)組成相同的卷積塊進(jìn)一步提取圖像特征，隨著特征圖大小的不斷減少，通道數(shù)不斷增多，分別為64、128、128、256、256、512、512，將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征存儲(chǔ)到通道中．最后經(jīng)過(guò)全連接層進(jìn)行分類，Sigmoid層計(jì)算出輸入圖像是真實(shí)高分辨率圖像的概率．

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在NVIDIA GeForce RTX 3090GPU上訓(xùn)練所有網(wǎng)絡(luò)，所有實(shí)驗(yàn)均在低分辨率和高分辨率圖像之間以3倍的尺度因子執(zhí)行．為了公平比較，所有實(shí)驗(yàn)的PSNR和SSIM度量均使用TensorFlow封裝好的方法計(jì)算．優(yōu)化器為Adam，學(xué)習(xí)率為0.0002，數(shù)據(jù)的批量處理大小為16，更新迭代13000次．

訓(xùn)練數(shù)據(jù)來(lái)自數(shù)據(jù)集 BSDS200[31]、Genral-100[9]、DIV2K[32]和Flickr2K[33]中隨機(jī)采樣的高分辨率圖像，訓(xùn)練數(shù)據(jù)集詳細(xì)信息見表1．BSDS200數(shù)據(jù)集是BSDS500數(shù)據(jù)集的訓(xùn)練子集，由伯克利大學(xué)提供，常用于圖像分割、輪廓檢測(cè)和圖像超分辨率重建．General-100數(shù)據(jù)集有100張圖像，里面包含人物、動(dòng)物、日常景象等．DIV2K數(shù)據(jù)集有1000張高分辨率圖像，其中800張用于訓(xùn)練，100張用于驗(yàn)證，100張用于測(cè)試．Flickr2K數(shù)據(jù)集有2650張高分辨率圖像，里面包含人物、動(dòng)物、日常景象等．

表1 訓(xùn)練數(shù)據(jù)集詳細(xì)信息 Tab. 1 Details of training dataset

測(cè)試數(shù)據(jù)來(lái)自Set5[34]、Set14[35]、BSDS100[36]和Urban100[19]數(shù)據(jù)集，測(cè)試數(shù)據(jù)集詳細(xì)信息見表2. Set5數(shù)據(jù)集有5張圖像，里面含有人物、動(dòng)物、昆蟲等．Set14數(shù)據(jù)集有14張圖像，里面含有人物、動(dòng)物、自然景象等．BSDS100數(shù)據(jù)集有100張圖像，是BSDS500數(shù)據(jù)集的測(cè)試子集．Urban100數(shù)據(jù)集有100張圖像，里面包含各種建筑物．

表2 測(cè)試數(shù)據(jù)集詳細(xì)信息 Tab. 2 Details of test dataset

3.2 構(gòu)建新的訓(xùn)練數(shù)據(jù)集

對(duì)隨機(jī)采樣得到的高分辨率圖像進(jìn)行隨機(jī)裁剪，裁剪成224像素×224像素大小的高分辨率圖像；挑選裁剪后的圖像，剔除不符合要求的圖像；最終得到3428張高分辨率圖像．對(duì)裁剪、挑選后得到的3428張高分辨率圖像先得到其灰度圖，然后通過(guò)減少灰度圖的灰度值減少圖像的亮度，接著使用雙三次插值法進(jìn)行下采樣，得到低光照低分辨率圖像．這一步可以用公式表示為

式中：ILR為所求的低光照低分辨率圖像；IHR為高分辨率圖像；↓s表示下采樣；s為下采樣的尺度因子；f(?)為用于將高分辨率圖像進(jìn)行變黑處理的函數(shù)，其中 f( IHR) =α? IHR+γ? ones(size( IHR))，α為超參數(shù)，γ為黑度參數(shù)．

3.3 精度對(duì)比

對(duì)比Bilinear、SRCNN、SRFBN[19]、SRGAN和LSRGAN這5個(gè)模型在黑度參數(shù)γ分別為-70、 -130和-160條件下的精度，即對(duì)比PSNR和SSIM．

首先在構(gòu)造的訓(xùn)練數(shù)據(jù)集(在數(shù)據(jù)集BSDS200、Genral-100、DIV2K和Flickr2K中隨機(jī)采樣)上進(jìn)行訓(xùn)練，然后在4個(gè)測(cè)試數(shù)據(jù)集BSDS100、Set14、Set5和Urban100上進(jìn)行測(cè)試．測(cè)試時(shí)，先對(duì)測(cè)試數(shù)據(jù)進(jìn)行3.2節(jié)中的變黑處理和下采樣處理，然后對(duì)處理后的測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果見表3和圖4．

圖4 定性結(jié)果實(shí)驗(yàn)對(duì)比 Fig. 4 Qualitative results of experimental comparison

表3 定量結(jié)果實(shí)驗(yàn)對(duì)比 Tab. 3 Quantitative results of experimental comparison

由表3可知：黑度參數(shù)γ的值越小，圖像的亮度就越低，圖像超分辨率重建的難度越大．當(dāng)黑度參數(shù)γ= ? 70時(shí)，測(cè)試圖像的亮度改變不大，亮度減小的程度對(duì)測(cè)試圖像的影響較小，此時(shí)LSRGAN模型在4個(gè)測(cè)試數(shù)據(jù)集上的8個(gè)指標(biāo)中取得了4個(gè)最好的結(jié)果，SRFBN模型取得了2個(gè)最好的結(jié)果，SRCNN模型取得了2個(gè)最好的結(jié)果．當(dāng)黑度參數(shù)γ=? 130時(shí)，測(cè)試圖像的亮度改變較大，亮度減小的程度對(duì)測(cè)試圖像的影響較大，此時(shí)LSRGAN模型在4個(gè)測(cè)試數(shù)據(jù)集上的8個(gè)指標(biāo)中取得了3個(gè)最好的結(jié)果，SRFBN模型取得了2個(gè)最好的結(jié)果，SRGAN模型取得了2個(gè)最好的結(jié)果，SRCNN模型取得了1個(gè)最好的結(jié)果．當(dāng)黑度參數(shù)γ=? 160時(shí)，測(cè)試圖像的亮度改變很大，亮度減小的程度對(duì)測(cè)試圖像的影響很大，此時(shí)僅憑肉眼很難分辨出測(cè)試圖像的內(nèi)容．在這種情況下，LSRGAN模型展現(xiàn)出了絕對(duì)的優(yōu)勢(shì)，在4個(gè)測(cè)試集上的8個(gè)指標(biāo)全部取得了最好的定量結(jié)果．綜上所述，LSRGAN模型在整體上表現(xiàn)最好，且隨著圖像亮度的降低，LSRGAN模型的生成效果越來(lái)越好；當(dāng)圖像的亮度很低且影響到圖像內(nèi)容的觀測(cè)時(shí)，光照損失發(fā)揮了很重要的作用，此時(shí)LSRGAN模型具有很好的生成效果．

由圖4可知：隨著黑度參數(shù)γ的值逐漸減小，圖像的亮度逐漸降低，圖像超分辨率重建的難度逐漸增大，模型的生成能力逐漸減弱．此時(shí)，LSRGAN模型的折線斜率變化最小，這表明LSRGAN模型的生成能力受圖像亮度降低的影響最?。虼丝梢缘贸鼋Y(jié)論，當(dāng)圖像逐漸變暗時(shí)，LSRGAN模型受圖像亮度降低的影響最小，LSRGAN模型依然具有很好的模型生成能力，可以生成視覺效果較好的圖像．

3.4 生成圖像對(duì)比

3.4.1 公共測(cè)試集

為了進(jìn)一步展示5種模型的生成效果，在公共測(cè)試集Set14中隨機(jī)選擇1張圖片，在黑度參數(shù)γ分別為-70、-130和-160時(shí)進(jìn)行生成測(cè)試，生成結(jié)果如圖5所示．

圖5 公共測(cè)試集Set14的模型生成圖像效果展示 Fig. 5 Model generation image effect display of public test Set14

在公共測(cè)試集Urban100中隨機(jī)選擇1張圖片，在黑度參數(shù)γ分別為-70、-130和-160時(shí)進(jìn)行生成測(cè)試，生成結(jié)果如圖6所示．

圖6 公共測(cè)試集Urban100的模型生成圖像效果展示 Fig. 6 Model generation image effect display of public test Urban100

根據(jù)圖5和圖6可知：隨著黑度參數(shù)γ的值越來(lái) 越小，低分辨率圖像的亮度越來(lái)越低；當(dāng)γ=? 1 60時(shí)，圖像幾乎全黑，此時(shí)圖像中包含的有用信息很少，將其恢復(fù)成高分辨率圖像是十分困難的．

從生成圖像的效果可以看出，LSRGAN模型可以實(shí)現(xiàn)在低光照條件下的圖像超分辨率重建，并且生成的圖像具有較好的視覺效果．

3.4.2 真實(shí)圖像

在模型的訓(xùn)練和測(cè)試時(shí)，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的低光照條件都是人為構(gòu)造的，如此得到的低光照?qǐng)D像是線性的，整個(gè)圖像的亮度一起降低．為了進(jìn)一步驗(yàn)證模型的生成能力，收集了現(xiàn)實(shí)生活中的低光照?qǐng)D像進(jìn)行測(cè)試．將現(xiàn)實(shí)生活中的低光照?qǐng)D像進(jìn)行3倍下采樣處理，這里不需要進(jìn)行變黑處理；然后將處理后的圖像輸入模型進(jìn)行測(cè)試，生成結(jié)果如圖7所示.

圖7 現(xiàn)實(shí)生活中的低光照?qǐng)D像的模型生成圖像效果展示 Fig. 7 Model generation image effect display of low light image in real life

由圖7可知：現(xiàn)實(shí)生活中的低光照?qǐng)D像情況比較復(fù)雜，可能存在局部亮度低的問題，并且導(dǎo)致圖像質(zhì)量不高的原因是多方面的．在這種情況下，LSRGAN模型仍然具有較好的圖像超分辨率和恢復(fù)光照的能力，可以處理現(xiàn)實(shí)生活中的低光照?qǐng)D像．

4 結(jié) 論

本文提出了一種融合光照損失的圖像超分辨率生成對(duì)抗網(wǎng)絡(luò)LSRGAN模型，并在實(shí)驗(yàn)中展示了模型定性指標(biāo)PSNR和SSIM的值及模型生成圖像的效果．與經(jīng)典SRGAN模型的對(duì)比實(shí)驗(yàn)顯示，該模型不僅能夠?qū)崿F(xiàn)一般情況下的圖像超分辨率重建，而且可以實(shí)現(xiàn)在低光照條件下的圖像超分辨率重建，并取得了較好的實(shí)驗(yàn)效果．理論分析及實(shí)驗(yàn)結(jié)果表明，LSRGAN模型中的光照損失和結(jié)構(gòu)相似性損失可以幫助恢復(fù)圖像的光照強(qiáng)度，具有較好的恢復(fù)效果，同時(shí)使生成的圖像具有較好的視覺效果．