楊思晨，王華鋒，王月海，李錦濤，王赟豪

（1.北方工業(yè)大學(xué) 信息學(xué)院，北京100144； 2.北京航空航天大學(xué) 軟件學(xué)院，北京100083）

隨著數(shù)字圖像處理技術(shù)的不斷發(fā)展，人們對(duì)于圖像質(zhì)量的要求越來(lái)越高。在實(shí)際應(yīng)用中，高分辨率圖像中具有更多的細(xì)節(jié)信息，更有利于處理和分析。但是，受成像設(shè)備質(zhì)量的制約，生成的圖像通常都不能滿足人們的需求。提升圖像的清晰度并得到高分辨率圖像的一種直接有效的方法是增強(qiáng)圖像成像系統(tǒng)的硬件質(zhì)量，但這種方法不僅復(fù)雜度高，而且成本昂貴［1］。因此，作為一種通過(guò)計(jì)算機(jī)對(duì)低分辨率圖像進(jìn)行處理從而重建出高分辨率圖像的圖像處理技術(shù)，超分辨率重建技術(shù)成為了圖像處理領(lǐng)域的研究熱點(diǎn)。

超分辨率重建技術(shù)廣泛應(yīng)用于醫(yī)學(xué)成像、衛(wèi)星影像、航空遙感、刑事偵查等多種領(lǐng)域。在醫(yī)學(xué)成像［2］中，運(yùn)用超分辨率重建技術(shù)可以幫助醫(yī)生進(jìn)行更準(zhǔn)確的醫(yī)療診斷；在衛(wèi)星影像［3］和航空遙感［4］檢測(cè)時(shí)，運(yùn)用超分辨率重建技術(shù)可以獲取更多復(fù)雜的地理環(huán)境細(xì)節(jié)；在刑事偵查領(lǐng)域［5］，超分辨率重建技術(shù)可以幫助提供更準(zhǔn)確的嫌疑人信息，為偵查過(guò)程提供便利。

超分辨率重建算法可大致歸結(jié)成3類(lèi)：基于插值、基于重建模型和基于學(xué)習(xí)［6］。基于插值的算法［7-9］是通過(guò)低分辨率圖像已知像素進(jìn)而估計(jì)放大后高分辨率圖像的未知像素?；谥亟Ｐ偷乃惴ǎ?0-12］是將低分辨率圖像作為約束的前提下，結(jié)合圖像的先驗(yàn)知識(shí)進(jìn)行圖像重建?；趯W(xué)習(xí)的算法［13-17］則是通過(guò)學(xué)習(xí)高分辨率圖像和低分辨率圖像的特征之間的映射關(guān)系實(shí)現(xiàn)圖像的重建。相比于基于插值、基于重建模型這2類(lèi)算法，基于學(xué)習(xí)算法重建的圖像無(wú)論在準(zhǔn)確性還是在視覺(jué)效果方面都存在優(yōu)勢(shì)。其中，基于深度學(xué)習(xí)的超分辨率重建算法的效果尤其突出。

基于深度學(xué)習(xí)的超分辨率重建算法是近幾年迅速發(fā)展起來(lái)的，并獲得了相比于傳統(tǒng)方法準(zhǔn)確度和清晰度更高的重建結(jié)果。但是，部分基于深度學(xué)習(xí)的超分辨率重建算法將最小化均方誤差作為優(yōu)化目標(biāo)［14-16］。這種算法雖然可以提升重建圖像的客觀評(píng)價(jià)指標(biāo)，但卻不能有效重建出圖像的細(xì)節(jié)紋理。2017年，Ledig等［18］提出基于生成對(duì)抗網(wǎng)路的超分辨率重建算法（Super-Resolution using a Generative Adversarial Network，SRGAN），將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用到超分辨率重建領(lǐng)域，并重建出邊緣紋理較為清晰的高分辨率圖像。

為了重建出更真實(shí)的圖像細(xì)節(jié)信息，本文從提升低分辨率圖像中缺少圖像的高頻細(xì)節(jié)信息角度出發(fā)，提出一種融合了小波變換技術(shù)和生成對(duì)抗網(wǎng)絡(luò)技術(shù)的超分辨率重建算法。首先，將小波分解與重構(gòu)過(guò)程變換到由生成網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層和反卷積層來(lái)完成，使分解的小波系數(shù)在并行的獨(dú)立子網(wǎng)中進(jìn)行訓(xùn)練；然后，通過(guò)反卷積的方式再將子網(wǎng)的輸出合并為重建圖像；最后，利用判別網(wǎng)絡(luò)來(lái)鑒別生成網(wǎng)絡(luò)輸出的圖像是否為高分辨率圖像。這種算法發(fā)揮了小波變換和生成對(duì)抗網(wǎng)絡(luò)在超分辨率領(lǐng)域的優(yōu)勢(shì)，使重建圖像具有較好的紋理信息，在視覺(jué)上更加清晰。本文的主要貢獻(xiàn)如下：①將小波變換技術(shù)與生成對(duì)抗網(wǎng)絡(luò)模型融合，設(shè)計(jì)新的網(wǎng)絡(luò)模型。小波主要在生成模型中通過(guò)卷積層將前一層卷積輸出的特征圖像進(jìn)行小波分解，分解的圖像在獨(dú)立的子網(wǎng)中再進(jìn)行特征的提取。這樣做有利于網(wǎng)絡(luò)全面地了解到圖像不同頻率的信息，使重建圖像更加清晰。②提出一種融合小波系數(shù)損失的感知損失函數(shù)。感知損失函數(shù)考慮到人的視覺(jué)感知，可以得到視覺(jué)上清晰的超分辨率重建結(jié)果。③為了可以更準(zhǔn)確地評(píng)價(jià)重建圖像的質(zhì)量，提出利用局部二值模式（Local Binary Patterns，LBP）提取重建圖像特征，根據(jù)與原始圖像特征分布的比較評(píng)判圖像的紋理復(fù)原度。

1 相關(guān)工作

1.1 基于深度學(xué)習(xí)的圖像超分辨率重建

近幾年，基于深度學(xué)習(xí)的超分辨率重建算法發(fā)展迅速，并獲得了相比于傳統(tǒng)方法準(zhǔn)確度和清晰度更高的重建結(jié)果［14-17］?；谏疃葘W(xué)習(xí)的算法主要是通過(guò)學(xué)習(xí)高分辨率圖像和低分辨率圖像特征之間的非線性映射實(shí)現(xiàn)圖像的重建。2014年，Dong等［14］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，這種算法雖然僅具有3個(gè)卷積層，卻得到了比傳統(tǒng)方法精確度更高的結(jié)果。受Dong等［14］影響，Kim等［15］提出一種網(wǎng)絡(luò)深度和精度都進(jìn)一步提升的遞歸網(wǎng)絡(luò)結(jié)構(gòu)，并同時(shí)解決了在網(wǎng)絡(luò)深度增加導(dǎo)致的網(wǎng)絡(luò)中不同參數(shù)的數(shù)量增加的問(wèn)題。文獻(xiàn)［16］引入一種亞像素卷積結(jié)構(gòu)并采用直接在低分辨率圖像尺寸上提取特征計(jì)算得到高分辨率圖像方法，有效提升網(wǎng)絡(luò)的運(yùn)行效率。文獻(xiàn)［17］引入了Desent Block結(jié)構(gòu)，這種結(jié)構(gòu)將前一層網(wǎng)絡(luò)訓(xùn)練出的特征值傳遞到下一層網(wǎng)絡(luò)，這樣可以減輕梯度消失問(wèn)題、減少參數(shù)數(shù)量。2017年，Lai等［19］提出一種級(jí)聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，每一級(jí)都只對(duì)原圖放大2倍，之后通過(guò)一個(gè)殘差網(wǎng)絡(luò)得到每級(jí)的結(jié)果。

為了重建出圖像的紋理細(xì)節(jié)，使重建圖像在視覺(jué)上更加清晰，Ledig等［18］通過(guò)改進(jìn)生成對(duì)抗網(wǎng)絡(luò)模型的結(jié)構(gòu)并利用感知損失函數(shù)重建出邊緣紋理較為清晰的結(jié)果。然而經(jīng)實(shí)驗(yàn)驗(yàn)證，這種僅依賴于傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)模型重建的圖像雖然視覺(jué)上清晰，但測(cè)試出的客觀評(píng)價(jià)指標(biāo)相對(duì)較低，而且重建圖像經(jīng)過(guò)局部放大后，邊緣紋理與原始圖像并不相近。為了使生成對(duì)抗網(wǎng)絡(luò)可以有效地重建出更自然的紋理信息，本文提出通過(guò)在生成對(duì)抗網(wǎng)絡(luò)中應(yīng)用小波變換技術(shù)實(shí)現(xiàn)對(duì)小波系數(shù)進(jìn)行訓(xùn)練的一種融合小波變換以及生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建算法。實(shí)驗(yàn)證明，本文算法可以重建出細(xì)節(jié)更加清晰的圖像。

1.2 基于小波變換的圖像超分辨率重建

圖像的小波變換是對(duì)圖像在頻率空間做分解。根據(jù)小波變換的原理，圖像在經(jīng)過(guò)二維離散小波分解后可以得到近似系數(shù)以及水平、垂直、對(duì)角3個(gè)方向的細(xì)節(jié)系數(shù)共4個(gè)小波分量。在超分辨重建中，將小波變換應(yīng)用到神經(jīng)網(wǎng)絡(luò)里，可以使網(wǎng)絡(luò)既能了解到圖像的整體，又可以分析圖像的局部細(xì)節(jié)，達(dá)到對(duì)圖像有多方面、更深入的認(rèn)識(shí)的作用，從而可以獲得精確率更高、細(xì)節(jié)上更加接近于原始高分辨率圖像的重建結(jié)果。

目前，小波變換已經(jīng)成功應(yīng)用到超分辨率重建領(lǐng)域。2008年，電子科技大學(xué)的Guo和He［20］將小波變換技術(shù)應(yīng)用到凸集投影法（Projection onto Convex Sets，POCS）中，小波變換在做圖像重建時(shí)不僅抑制了噪聲又保留圖像中原有的低頻信息，重建結(jié)果比POCS算法的準(zhǔn)確度更高。Akbarzadeh等［21］指出使用雙三次插值和平穩(wěn)小波變換實(shí)現(xiàn)圖像的重建的圖像比其他傳統(tǒng)算法更加清晰。Kumar等［22］提出將低分辨率圖像視為小波分解后的近似系數(shù)，用來(lái)估計(jì)圖像中的細(xì)節(jié)系數(shù)。Huang等［23］提出一種結(jié)合小波變換與卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，在該算法中，網(wǎng)絡(luò)模型通過(guò)學(xué)習(xí)圖像小波分解系數(shù)的映射關(guān)系實(shí)現(xiàn)高分辨率圖像的重建，并重建出較好的圖像邊緣細(xì)節(jié)。

受Huang等［23］的影響，本文將小波變換技術(shù)與生成對(duì)抗網(wǎng)絡(luò)相融合，這樣有利于使重建圖像具有更加真實(shí)的細(xì)節(jié)紋理。

2 算 法

超分辨率重建的目標(biāo)是通過(guò)一定的算法將低分辨率圖像轉(zhuǎn)換為高分辨率圖像。而一般低分辨率圖像中缺少細(xì)節(jié)信息，才導(dǎo)致其在視覺(jué)上有模糊感的，根據(jù)這一信息，本文提出一種可以有效重建圖像局部細(xì)節(jié)信息的超分辨率重建算法。

本文提出的超分辨率重建算法結(jié)合了小波變換技術(shù)和生成對(duì)抗網(wǎng)絡(luò)，利用生成對(duì)抗網(wǎng)絡(luò)可以重建出紋理細(xì)節(jié)更加真實(shí)的圖像的優(yōu)勢(shì)，并在網(wǎng)絡(luò)中通過(guò)小波多分辨分析訓(xùn)練小波分解系數(shù)來(lái)提高網(wǎng)絡(luò)在訓(xùn)練過(guò)程中對(duì)于圖像局部細(xì)節(jié)的理解，最終可以重建出在圖像高頻細(xì)節(jié)和清晰度都更優(yōu)的高分辨率圖像。本節(jié)將詳細(xì)介紹這種圖像超分辨率重建算法的具體操作。

2.1 小波變換

在本文提出的算法中，網(wǎng)絡(luò)訓(xùn)練時(shí)通過(guò)對(duì)圖像小波分解系數(shù)的訓(xùn)練完成圖像的超分辨率重建。在網(wǎng)絡(luò)中，利用卷積層通道間的變化實(shí)現(xiàn)對(duì)特征圖像的小波分解，分解的4個(gè)系數(shù)分別作為4個(gè)獨(dú)立的子網(wǎng)的輸入，最后通過(guò)一個(gè)反卷積層再將訓(xùn)練完的小波系數(shù)合并。子網(wǎng)間相互獨(dú)立，互不影響。這種算法可以實(shí)現(xiàn)在生成對(duì)抗網(wǎng)絡(luò)中對(duì)圖像進(jìn)行多分辨分析，可以使網(wǎng)絡(luò)既能了解到圖像的整體，又可以分析圖像的圖像細(xì)節(jié)，使網(wǎng)絡(luò)對(duì)圖像有多方面的認(rèn)識(shí)和更加深入的理解，從而有效地重建出圖像細(xì)節(jié)更加精確、更加接近于原始圖像的訓(xùn)練結(jié)果。

在對(duì)圖像進(jìn)行小波變換時(shí)，將圖像視為具有索引［m，n］的二維信號(hào)，則有IHR［m，n］表示位于第n列和第m行的像素值。二維信號(hào)IHR［m，n］可以被視為在給定的第n行IHR［m，：］之間以及給定的第m列IHR［：，n］中的一維信號(hào)。若輸入的低分辨率圖像為IHR［m，n］，設(shè)定小波變換中高通和低通濾波器分別為h［k］和l［k］，k表示小波的位置，K表示小波變換中平移操作所經(jīng)過(guò)的距離。在二維離散小波變換過(guò)程中，首先對(duì)n方向做高通和低通濾波以及降頻處理，得到

接著再沿m方向做高通和低通濾波以及降頻處理：

另外，在進(jìn)行二維圖像的離散小波分解與重構(gòu)時(shí)，常采用Haar小波函數(shù)作為小波基函數(shù)。Haar小波函數(shù)是最早的具有緊支撐的正交小波基函數(shù)，其函數(shù)簡(jiǎn)單、應(yīng)用也最為廣泛，尤其是其具有較好的對(duì)稱(chēng)性，在訓(xùn)練過(guò)程中應(yīng)用Haar小波函數(shù)可以有效避免圖像分解時(shí)產(chǎn)生相位失真。

2.2 生成對(duì)抗網(wǎng)絡(luò)

在生成對(duì)抗網(wǎng)絡(luò)中，需要定義一個(gè)生成網(wǎng)絡(luò)G和一個(gè)判別網(wǎng)絡(luò)D。生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的過(guò)程就是生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的不斷交替優(yōu)化的過(guò)程，優(yōu)化過(guò)程可以定義為

式中：g和d分別為生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)；E表示求均值。

通過(guò)這種算法，生成網(wǎng)絡(luò)可以不斷優(yōu)化并得到與原始圖像極為相似的輸出結(jié)果。因此，基于生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建可以得到視覺(jué)效果好的重建圖像。

在改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)主要分為2個(gè)過(guò)程（見(jiàn)圖1）：第1個(gè)過(guò)程主要是將低分辨率圖像通過(guò)卷積表示為特征圖；第2個(gè)過(guò)程是將特征圖分解為小波系數(shù)來(lái)估計(jì)高分辨率圖像的小波系數(shù)，并在最后利用反卷積層將估計(jì)的小波系數(shù)合并為重建圖像。而在生成網(wǎng)絡(luò)中最重要的部分是具有相同結(jié)構(gòu)的殘差塊，殘差塊的作用主要是有效處理網(wǎng)絡(luò)深度較深的網(wǎng)絡(luò)，可以降低生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練難度。原始?xì)埐罹W(wǎng)絡(luò)［24］結(jié)構(gòu)中包含2個(gè)卷積層和2個(gè)批量標(biāo)準(zhǔn)化層以及激活函數(shù)Relu，如圖2（a）所示。受Lim等［25］的啟發(fā)，本文采用其提出的殘差塊結(jié)構(gòu)，如圖2（b）所示。具體來(lái)說(shuō)，本文去除了結(jié)構(gòu)中的標(biāo)準(zhǔn)化層，因?yàn)闅埐顗K中的標(biāo)準(zhǔn)化層在網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)占用較大的內(nèi)存，若將其從殘差結(jié)構(gòu)中去除，可以有效提升網(wǎng)絡(luò)訓(xùn)練效率和性能［25］，并將激活函數(shù)用PRelu代替原來(lái)的Relu。

判別網(wǎng)絡(luò)的作用是判斷生成網(wǎng)絡(luò)的輸出是否為高分辨率圖像，在網(wǎng)絡(luò)結(jié)構(gòu)上不做過(guò)多的修改，將采用Ledig等［18］提出的用于超分辨率重建的生成對(duì)抗網(wǎng)絡(luò)結(jié)果中的判別網(wǎng)絡(luò)模型，如圖1中判別網(wǎng)絡(luò)模型所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)模型Fig.1 Generative adversarial network model

圖2 殘差網(wǎng)絡(luò)模型Fig.2 Residual network model

2.3 損失函數(shù)

在神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練過(guò)程是一個(gè)通過(guò)迭代不斷降低損失值并得到最優(yōu)解的過(guò)程。在超分辨率重建領(lǐng)域常用最小均方誤差（Mean-Square Error，MSE）作為訓(xùn)練過(guò)程的損失函數(shù)，因?yàn)閳D像質(zhì)量評(píng)估標(biāo)準(zhǔn)中峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）值與最小均方誤差相關(guān)，所以均方誤差作為損失函數(shù)時(shí)可以獲得較高的PSNR值。但是，利用這種方法重建出的圖像的邊緣有明顯的鋸齒，視覺(jué)上覺(jué)得圖像較為模糊。Ledig等［18］認(rèn)為損失函數(shù)不僅要考慮評(píng)估標(biāo)準(zhǔn)更要考慮人的感知，其提出一種感知損失函數(shù)定義為內(nèi)容損失lC和對(duì)抗損失lA的加權(quán)和，損失函數(shù)l可以表示為

式中：內(nèi)容損失lC表示特征空間的最小均方誤差，是圖像通過(guò)19層的VGG19網(wǎng)絡(luò)提取出的高層特征間的均方誤差。利用圖像高層特征間的誤差函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)，可以有效提高重建圖像中的紋理信息，使圖像看起來(lái)更加清晰。

式中：φi，j為VGG19網(wǎng)絡(luò)中第i層maxpooling后第j層卷積得到的特征圖；Wi，j和Hi，j為VGG19網(wǎng)絡(luò)中對(duì)應(yīng)特征圖的維數(shù)；X表示輸入的低分辨率圖像；Y表示原始高分辨率圖像。

對(duì)抗損失lA是基于鑒別網(wǎng)絡(luò)的輸出的概率得出的，一般表示為

由于SRGAN［18］重建圖像的紋理放大后過(guò)于不自然，為了處理這個(gè)問(wèn)題，在生成對(duì)抗網(wǎng)絡(luò)中增加小波變換的處理過(guò)程，讓網(wǎng)絡(luò)可以訓(xùn)練圖像的小波分解系數(shù)，從而提高重建圖像中的高頻細(xì)節(jié)信息，使圖像的紋理更加真實(shí)。因此，本文的損失函數(shù)l′是在SRGAN感知損失函數(shù)的基礎(chǔ)上加入了小波系數(shù)的損失，l′可以表示為

式中：lW為小波分解系數(shù)的最小均方誤差，可以表示為

其中：a1～a4為權(quán)重系數(shù)為生成網(wǎng)絡(luò)重建出的圖像的小波分解系數(shù)。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)準(zhǔn)備

本文使用VOC2012數(shù)據(jù)集［26］作為改進(jìn)的網(wǎng)絡(luò)的訓(xùn)練集。同時(shí)，為了可以進(jìn)行公平的比較，也用此數(shù)據(jù)集訓(xùn)練了SRGAN 網(wǎng)絡(luò)［19］。VOC2012數(shù)據(jù)集是一組用于圖像重建的高質(zhì)量的圖像數(shù)據(jù)集，其中包括16 700張訓(xùn)練圖像和425張測(cè)試圖像。VOC2012數(shù)據(jù)集中具有20類(lèi)圖像，種類(lèi)豐富，利于圖像的超分辨率重建。但是又不像ImageNet數(shù)據(jù)集［27］擁有大量的圖像數(shù)據(jù)，增加生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練難度。測(cè)試時(shí)，使用標(biāo)準(zhǔn)數(shù)據(jù)集Set5數(shù)據(jù)集［28］、Set14數(shù)據(jù)集［29］和BSD100數(shù)據(jù)集［30］對(duì)訓(xùn)練的網(wǎng)絡(luò)進(jìn)行測(cè)試。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

現(xiàn)在超分辨率重建領(lǐng)域最為常用的評(píng)價(jià)重建圖像質(zhì)量的指標(biāo)為PSNR和結(jié)構(gòu)相似性（Structural Similarity index，SSIM）［31］。不過(guò)許多研究都表明均方誤差和PSNR并不能準(zhǔn)確反映圖像的視覺(jué)質(zhì)量，所以還引用了特征相似度（Feature Similarity，F(xiàn)SIM）［32］、通 用 圖 像 質(zhì) 量（Universal Image Quality，UIQ）［33］和LBP［34］來(lái)評(píng)價(jià)重建圖像質(zhì)量。

根據(jù)人類(lèi)視覺(jué)系統(tǒng)（Human Visual System，HVS）主要通過(guò)圖像的低級(jí)特征來(lái)理解圖像，Zhang等［32］提出了FSIM。相位一致性可以提取高度圖像信息特征，但不能響應(yīng)圖像對(duì)比度的變化，因此引入梯度特征來(lái)提取對(duì)比度信息。相位一致性用作FSIM 的主要特征，梯度用作次要特征。FSIM值越大，就表示圖像之間的FSIM越高，重建圖像的質(zhì)量越好。若有p表示圖像像素點(diǎn)，則FSIM的表達(dá)式為

式中：Ω為整個(gè)圖像的像素域；SL（p）和PCm（p）的表達(dá)式分別為

其中：SPC（p）和SG（p）分別為圖像的相位一致性和梯度幅度；α和β為用于調(diào)整相位一致性和梯度幅度重要性的參數(shù)，取值均為1。

UIQ是一種結(jié)合了線性相關(guān)損耗、亮度失真和對(duì)比度失真3個(gè)因素的圖像質(zhì)量評(píng)估指標(biāo)。UIQ值越大，表示重建圖像與原始圖像在線性、亮度和對(duì)比度3個(gè)方面的相關(guān)度越高，重建圖像質(zhì)量越好。根據(jù)Wang和Bovik［33］，定義w為重建圖像，y為原始高分辨率圖像，則UIQ的表達(dá)式為

式中：第1項(xiàng)表示w和y之間的線性相關(guān)系數(shù)，當(dāng)值為1時(shí)表示w和y線性相關(guān)；第2項(xiàng)表示圖像亮度的相關(guān)性；第3項(xiàng)表示圖像對(duì)比度的相關(guān)性；w和y分別表示輸出結(jié)果與原始圖像；σw、σy分別為w和y的標(biāo)準(zhǔn)差；σwy為w、y的協(xié)方差。

LBP是一種提取圖像紋理特征的算法。以一個(gè)3×3的圖像局部窗口為例，若這個(gè)窗口的中心坐標(biāo)為（x，y），且像素值為I，則根據(jù)其周?chē)?個(gè)坐標(biāo)的像素值大小定義LBP碼，如果周?chē)鴺?biāo)的像素值大于中心坐標(biāo)則記為1，否則記為0。這樣就可以得到8位二進(jìn)制碼，將其轉(zhuǎn)化為十進(jìn)制則為L(zhǎng)BP值。具體計(jì)算過(guò)程如下：

式中：Im為中心坐標(biāo)周?chē)?個(gè)坐標(biāo)的像素值。若有i表示坐標(biāo)像素值的差，S函數(shù)式為

LBP方法是一種高效的特征分析方法，該方法運(yùn)算速度快，具有灰度不變性和對(duì)光照變換不敏感的特點(diǎn)。

3.3 訓(xùn)練過(guò)程

本文使用VOC2012數(shù)據(jù)集［24］中16 700張訓(xùn)練樣本在NVIDIA Titan X GPU上利用TensorFlow平臺(tái)對(duì)本文提出的網(wǎng)絡(luò)進(jìn)行了訓(xùn)練。訓(xùn)練時(shí)間大約需要5天。

低分辨率圖像是對(duì)16 700張高分辨率圖像進(jìn)行降采樣因子為4的雙三次插值處理得到的。訓(xùn)練時(shí)，將高分辨率圖像隨機(jī)剪成大小88×88的子圖像，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)低分辨率圖像與高分辨率圖像的小波分解系數(shù)之間的映射關(guān)系實(shí)現(xiàn)圖像重建。將網(wǎng)絡(luò)中批尺寸的大小設(shè)置為16，網(wǎng)絡(luò)以0.000 2學(xué)習(xí)率進(jìn)行訓(xùn)練，總共進(jìn)行313 200次迭代。使用感知損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，這樣可以得到視覺(jué)效果更好的結(jié)果。

3.4 定量評(píng)估

為了顯示本文算法的性能，將本文算法與SRGAN算法進(jìn)行定量的比較，利用Set5和Set14數(shù)據(jù)集對(duì)2種方法進(jìn)行測(cè)試，得到的放大倍數(shù)為4的重建圖像的PSNR和SSIM 結(jié)果如表1所示。本文利用VOC2012訓(xùn)練集重新對(duì)SRGAN進(jìn)行訓(xùn)練，因此得到的SRGAN的測(cè)試結(jié)果與原文中的測(cè)試結(jié)果略有差異。從表1中可以發(fā)現(xiàn)，本文算法的圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)PSNR和SSIM 相比于SRGAN有明顯的提升，最少分別提高了0.99 dB和0.031。為了可以更加準(zhǔn)確地評(píng)價(jià)重建圖像質(zhì)量，使用了FSIM 和UIQ進(jìn)一步分析實(shí)驗(yàn)結(jié)果。從表2可以看出，本文算法在FSIM 和UIQ評(píng)估指標(biāo)中都取得了良好的效果。

表1 PSNR和SSIM 的測(cè)試結(jié)果Table 1 Test results of PSNR and SSIM

表2 FSIM 和UIQ的測(cè)試結(jié)果Table 2 Test results of FSIM and UIQ

圖3 Set5數(shù)據(jù)集中圖像“bird”測(cè)試結(jié)果Fig.3 Test results of“bird”image in Set5 dataset

圖4 Set14數(shù)據(jù)集中圖像“barbara”測(cè)試結(jié)果Fig.4 Test results of“barbara”image in Set14 dataset

圖3～圖5分別為Set5數(shù)據(jù)集中的圖像“bird”、Set14數(shù)據(jù)集中的圖像“barbara”和圖像的測(cè)試結(jié)果。其中圖3（b）、圖4（b）和圖5（b）為傳統(tǒng)的雙三次插值算法（Bicubic）的重建結(jié)果，僅僅是對(duì)圖像進(jìn)行了4倍的上采樣，圖像邊緣模糊感明顯。圖3（c）、圖4（c）和圖5（c）為SRGAN算法的重建結(jié)果，圖像復(fù)原出邊緣細(xì)節(jié)信息且看起來(lái)比較清晰，但局部放大后“偽紋理”相對(duì)明顯。圖3（d）、圖4（d）和圖5（d）為本文算法的重建結(jié)果，相比于SRGAN算法放大后的“偽紋理”沒(méi)有了，看起來(lái)邊緣的紋理細(xì)節(jié)比較平滑，更加清晰。從結(jié)果中可以發(fā)現(xiàn)，本文算法不僅在一定程度上提升了客觀評(píng)價(jià)指標(biāo)，而且改善了SRGAN中圖像紋理不自然的問(wèn)題。本文的重建結(jié)果邊緣細(xì)節(jié)更加清晰，紋理更加真實(shí)，視覺(jué)質(zhì)量上也更優(yōu)，充分展示了小波變換與生成對(duì)抗網(wǎng)絡(luò)的優(yōu)勢(shì)。

應(yīng)用LBP測(cè)試圖像是為了更好地觀測(cè)重建圖像紋理特征復(fù)原度。LBP是一種可以有效提取和描述圖像的紋理細(xì)節(jié)和特征結(jié)構(gòu)的算子。本文利用LBP對(duì)重建圖像的紋理特征進(jìn)行提取，并獲取相關(guān)描述圖像特征的分布圖。

圖5 Set14數(shù)據(jù)集中圖像“monarch”測(cè)試結(jié)果Fig.5 Test results of“monarch”image in Set14 dataset

圖6 重建圖像的LBP特征分布Fig.6 LBP feature distribution of reconstructed image

圖6為圖3～圖5中SRGAN算法及本文算法的重建圖像的LBP提取的特征分布。其中，圖6（a）、（b）和（c）為SRGAN算法重建圖像的LBP特征分布圖，圖6（d）、（e）和（f）為本文算法重建圖像的LBP提取的特征分布圖。從圖中可以發(fā)現(xiàn)，相比于SRGAN算法，本文算法的LBP直方圖曲線跟原始高分辨率圖像LBP直方圖曲線重合率更高，也就表示本文算法的重建圖像在圖像的紋理特征層面要比SRGAN算法相對(duì)較好。為了更好地展現(xiàn)本文算法重建圖像的紋理特征與原始圖像更相近，計(jì)算了重建圖像與原始高分辨率圖像LBP提取的特征圖之間的方差，如表3所示。顯然，本文算法的方差要比SRGAN算法低，進(jìn)一步說(shuō)明融合小波變換的生成對(duì)抗網(wǎng)絡(luò)模型超分辨率重建算法存在優(yōu)勢(shì)。

表3 重建圖像LBP特征圖與原始圖像LBP特征圖之間方差Table 3 Variance between LBP feature map of reconstructed im age and LBP feature map of original image

4 結(jié) 論

1）為了進(jìn)一步提升重建圖像質(zhì)量，本文提出將小波變換融合到生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)中。將小波分解與重構(gòu)過(guò)程變換到由生成網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層和反卷積層來(lái)完成，實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)圖像的小波分解系數(shù)的訓(xùn)練，并在單獨(dú)的子網(wǎng)中進(jìn)行互不影響的訓(xùn)練。通過(guò)一系列的實(shí)驗(yàn)驗(yàn)證，本文提出的超分辨率重建算法可以有效提升PSNR、SSIM、FSIM 和UIQ的值，同時(shí)又生成了紋理細(xì)節(jié)較為真實(shí)的重建圖像。體現(xiàn)了本文算法在超分辨率重建領(lǐng)域的優(yōu)勢(shì)。

2）提出一種加入了小波分解系數(shù)損失的感知損失函數(shù)。因?yàn)楦兄獡p失函數(shù)考慮了人的視覺(jué)感知，可以重建出紋理較清晰的圖像。因此，本文在SRGAN算法中提出的感知損失函數(shù)的基礎(chǔ)上增加了小波系數(shù)的損失。

3）在利用本文算法進(jìn)行超分辨率重建的圖像中存在一些在處理過(guò)程中引入的噪點(diǎn)，并且有少量結(jié)果的噪點(diǎn)較多，直接影響了圖像的視覺(jué)質(zhì)量?？赡苤率惯@些噪點(diǎn)產(chǎn)生的原因是：對(duì)于尺寸較小的圖像，網(wǎng)絡(luò)訓(xùn)練小波系數(shù)過(guò)于強(qiáng)調(diào)圖像的邊緣細(xì)節(jié)而產(chǎn)生了圖像噪聲。之后可以考慮進(jìn)一步的改進(jìn)，去除重建圖像中的噪點(diǎn)，提升算法的重建結(jié)果的精確度。