張桐，王華軍，文良華，李慶，陳勁松

（1.宜賓學(xué)院 智能制造學(xué)部，四川宜賓 644000；2.成都理工大學(xué) 地球物理學(xué)院，四川成都 610059）

圖像分辨率是評價(jià)圖像質(zhì)量的重要指標(biāo)，要提高圖像分辨率，物理方法是提高單位面積內(nèi)感光靶片的容量，增加單位面積內(nèi)像素的數(shù)量，但是會造成光學(xué)成像設(shè)備的成本大幅增加，從而限制了應(yīng)用領(lǐng)域[1,2]．超分辨率技術(shù)采用軟件算法使低分辨率圖像獲得高分辨率，是計(jì)算機(jī)視覺的熱點(diǎn)研究方向，在遙感、醫(yī)學(xué)和災(zāi)害應(yīng)急管理等領(lǐng)域得到廣泛應(yīng)用．

超分辨率技術(shù)分為三種類型，分別是基于插值[3-4]、基于重建[5-9]和基于學(xué)習(xí)[10-15]．基于插值和基于重建的算法數(shù)學(xué)模型單一，造成重建圖像質(zhì)量不高．基于學(xué)習(xí)的算法通過對樣本數(shù)據(jù)集的學(xué)習(xí)，建立高分辨率和低分辨率圖像對之間的端到端映射關(guān)系，然后對輸入的低分辨率圖像進(jìn)行重構(gòu)．由于深度學(xué)習(xí)技術(shù)的迅速發(fā)展，基于學(xué)習(xí)的算法已成為超分辨率技術(shù)的研究重點(diǎn)．

生成對抗網(wǎng)絡(luò)是深度學(xué)習(xí)技術(shù)的重要分支．DONG[16]首次將深度學(xué)習(xí)的方法應(yīng)用于圖像超分辨率，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的SRCNN 模型，主要分為圖像特征表示、特征非線性映射和圖像重建三個(gè)模塊；但將圖像劃分成小區(qū)域圖像塊進(jìn)行訓(xùn)練，導(dǎo)致收斂速度太慢．Goodfellow[17]提出了一種生成對抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)主要由一個(gè)生成器和一個(gè)判別器構(gòu)成，低分辨率圖像輸入生成器生成高分辨率圖像，判別器判斷生成器生成的圖像是真實(shí)圖像還是假圖像；但是生成對抗網(wǎng)絡(luò)存在生成器損失函數(shù)不收斂和圖像紋理模糊的問題．LIM[18]通過實(shí)驗(yàn)證明，在網(wǎng)絡(luò)結(jié)構(gòu)中加入批量規(guī)范化層，使輸入數(shù)據(jù)近似服從標(biāo)準(zhǔn)正態(tài)分布，雖然可以改善訓(xùn)練不穩(wěn)定，但是并未提高輸出圖像的紋理細(xì)節(jié)．

為了解決上述問題，本文提出一種融合注意力機(jī)制和殘差模塊的生成對抗網(wǎng)絡(luò)．首先采用像素?fù)p失函數(shù)作為基本的超分辨率模型，依次加入紋理損失、感知損失和對抗損失．其次，生成器用殘差模塊實(shí)現(xiàn)密集連接和跳躍連接，連接每一個(gè)卷積層的輸入與該層尾部的激活輸出；將輸入的圖像特征通過卷積后，進(jìn)入注意力模塊進(jìn)行加權(quán)，并對生成器圖像特征提取的多級關(guān)系進(jìn)行權(quán)重分配．最后，通過上采樣模塊重構(gòu)高分辨率圖像．

1 生成對抗網(wǎng)絡(luò)

1.1 超分辨率模型

超分辨率重建是指采用軟件算法將低分辨率圖像轉(zhuǎn)換成高分辨率圖像的過程．在分析過程中，對原始圖像進(jìn)行降質(zhì)和加噪聲處理，得到低分辨率圖像．低分辨率圖像和原始圖像之間的關(guān)系表示為：

其中，Input表示低分辨率圖像，H表示高分辨率圖像，F(xiàn)k表示退化矩陣，Nk表示高斯噪聲．

1.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)是深度學(xué)習(xí)中重要的網(wǎng)絡(luò)模型結(jié)構(gòu)，它采用對抗學(xué)習(xí)的方法，使生成器和判別器達(dá)到納什均衡．生成對抗網(wǎng)絡(luò)主要包含生成器和判別器兩部分，生成器的作用是將低分辨率圖像轉(zhuǎn)換成高分辨率圖像，判別器的作用是比較真實(shí)圖像和生成器生成的假圖像，判斷生成圖像的真假．

生成對抗網(wǎng)絡(luò)的對抗過程本質(zhì)是一個(gè)優(yōu)化過程．首先，保持生成器的目標(biāo)函數(shù)不變，優(yōu)化判別器，使得判別器的判別準(zhǔn)確率提高，真樣本的預(yù)測值接近1．相反，當(dāng)對生成器進(jìn)行優(yōu)化時(shí)，保持判別器的目標(biāo)函數(shù)不變，使得生成器的判別準(zhǔn)確率最小，假樣本的預(yù)測更接近于0．將兩種優(yōu)化模型相結(jié)合，構(gòu)成二元極小極大的目標(biāo)函數(shù)．生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)表示如下：

其中Pdata(x)表示真實(shí)圖像的概率分布，Pz(z)表示由發(fā)生器生成的圖像分布，LG是發(fā)生器，LD是鑒別器．

2 網(wǎng)絡(luò)設(shè)計(jì)與原理

2.1 網(wǎng)絡(luò)設(shè)計(jì)與優(yōu)化

生成器輸入一幅低分辨率圖像，通過卷積提取淺層特征，為了擴(kuò)大網(wǎng)絡(luò)的接受域，在殘差模塊之后，引入注意力模塊，然后通過8 組殘差模塊進(jìn)行密集連接提取深層特征，每個(gè)殘差模塊包含3×3 卷積和Leaky ReLU 激活函數(shù)．從低分辨率圖像中提取特征后，通過殘差模塊獲取豐富的圖像細(xì)節(jié)，利用上采樣模塊放大到原圖像尺寸，最后通過卷積層完成對圖像重構(gòu)．圖1 為含有注意力和殘差模塊的生成器網(wǎng)絡(luò)結(jié)構(gòu)．

在殘差模塊結(jié)構(gòu)單元中，BN 層歸一化可以保證梯度下降，但增大了計(jì)算量，導(dǎo)致降低了收斂速度，延長了提取圖像信息的訓(xùn)練時(shí)間．去除BN 層不但提高了圖像重建的速度，而且增強(qiáng)了圖像重建的效果．殘差模塊具體內(nèi)部結(jié)構(gòu)由卷積和Leak ReLU 激活函數(shù)構(gòu)成一組，共有三組進(jìn)行串聯(lián)構(gòu)成殘差模塊（如圖1）．

卷積網(wǎng)絡(luò)在處理圖像信息時(shí)，往往通過深層建立網(wǎng)絡(luò)中各層圖像之間的連接．然而，深度卷積網(wǎng)絡(luò)不可避免地會產(chǎn)生更多的參數(shù)，導(dǎo)致計(jì)算效率低下．通過添加注意力模塊可以建立單獨(dú)的空間關(guān)系．輸入圖像通過兩個(gè)1×1的卷積映射到兩個(gè)新的特征空間，分別經(jīng)過MaxPool 和AvgPool 模塊（如圖1）．然后將兩個(gè)模塊輸出進(jìn)行融合，再通過1×1 的卷積，進(jìn)行非線性劃分兩個(gè)卷積，再次分別經(jīng)過MaxPool 和AvgPool 模塊．由sigmoid 激活函數(shù)得到權(quán)系數(shù)，通過改變維數(shù)來恢復(fù)輸入通道的數(shù)目．注意模塊的輸出表示為：

其中，x表示輸入圖像，α表示矩陣變形輸出，μ表示尺度參數(shù)，y表示注意模塊輸出．

判別器由圖像特征提取和分類模塊組成．特征提取模塊由8 個(gè)卷積層組成，每個(gè)卷積層后面是Leaky ReLU 激活函數(shù)和BN層．特征提取模塊之后是分類模塊，采用兩個(gè)全連接的層，然后是一個(gè)sigmoid 激活函數(shù)．判別器的訓(xùn)練有利于生成對抗網(wǎng)絡(luò)中高分辨率圖像的生成．

2.2 損失函數(shù)

在生成對抗網(wǎng)絡(luò)中，生成器損失函數(shù)的設(shè)計(jì)對高分辨率圖像的生成起到至關(guān)重要的作用．生成器損失函數(shù)包括內(nèi)容損失、感知損失、紋理損失和對抗性損失．內(nèi)容丟失主要用于優(yōu)化生成的高分辨率圖像和真實(shí)圖像像素之間的平方方差．像素插值越小，重建圖像越逼真．感知損失從預(yù)先訓(xùn)練好的網(wǎng)絡(luò)中提取高級特征進(jìn)行語義比較，捕獲兩幅圖像之間的相似特征，避免了對圖像像素一致性的要求．紋理損失函數(shù)促進(jìn)了紋理信息的局部匹配，減少了圖像的偽影，生成了更逼真的紋理．對抗性損失主要用于判斷生成器獲得高分辨率圖像的概率．生成器損耗函數(shù)表達(dá)式如下：

其中，α、β、γ是損失函數(shù)的平衡系數(shù)；Lcon表示內(nèi)容損失函數(shù)，Ltext表示紋理損失函數(shù)，Lpec表示感知損失函數(shù)，Ladv表示對抗性損失函數(shù)．

3 實(shí)驗(yàn)和結(jié)果分析

3.1 數(shù)據(jù)集

在模型訓(xùn)練時(shí)，使用Div2K[19]數(shù)據(jù)集作為訓(xùn)練集，包括800 幅高清圖像，并通過旋轉(zhuǎn)和剪切對訓(xùn)練集進(jìn)行擴(kuò)展．測試集采用公共數(shù)據(jù)集SET5[20]、SET14[21]和BSDS500[22]進(jìn)行測試．本文采用客觀量化的圖像超分辨率方法，對重建圖像與原始圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）進(jìn)行了描述．PSNR 值越高，代表超分重建的圖像失真度越?。?dāng)SSIM 越接近1 時(shí)，說明超分重建圖像與原始圖像的相似度越高．

3.2 不同算法比較

比較不同模型對低分辨率圖像進(jìn)行超分辨率重建．訓(xùn)練批為64 個(gè)，將高、低分辨率圖像劃分成像素為32×32 的圖像對．像素參數(shù)和塊的批量越大，模型訓(xùn)練效果越好．培訓(xùn)分兩步進(jìn)行．在第一步中，使用像素?fù)p失訓(xùn)練模型對生成器進(jìn)行訓(xùn)練，并將學(xué)習(xí)速率設(shè)置為1×10-4，每5 000 次迭代衰減一次．對生成器模型進(jìn)行微調(diào)，通過像素?fù)p失對模型進(jìn)行優(yōu)化，以獲得滿意的結(jié)果．優(yōu)化器采用Adam 優(yōu)化器．在生成器訓(xùn)練完成后，加入判別器，交替訓(xùn)練生成器和判別器，直至模型收斂．然后，添加殘差模塊和注意力模塊．與其他網(wǎng)絡(luò)相比，本文算法在峰值信噪比和相似度上獲得了最優(yōu)效果（見表1，其中最佳量化值以粗體顯示）．圖2 顯示了不同網(wǎng)絡(luò)模型在放大4 倍時(shí)，生成的高分辨率圖像．其他網(wǎng)絡(luò)方法生成的圖像邊緣比較模糊，本文生成的圖像細(xì)節(jié)更清晰，特別是邊緣的紋理效果更好．

表1 不同網(wǎng)絡(luò)模型的定量分析結(jié)果Table 1 Quantitative results of different network models in Set5, Set14, and BSDS500

圖2 雙三次、SRCNN、VDSR、SRGAN和本文重建圖像的比較Fig.2 Comparison of bicubic, SRCNN, VDSR, SRGAN and Ours reconstruction results

3.3 不同迭代次數(shù)的比較

實(shí)驗(yàn)在不同迭代次數(shù)下進(jìn)行，模型經(jīng)過70 000次迭代的訓(xùn)練，用以觀察圖3 的紋理細(xì)節(jié)．經(jīng)過40 000 次迭代，圖像的細(xì)節(jié)已經(jīng)由模糊變清晰．隨著程序的迭代次數(shù)增大，圖像細(xì)節(jié)變化幅度趨于平穩(wěn)．

圖3 不同迭代次數(shù)的重建結(jié)果比較Fig.3 Comparison of different iterations and, Ours reconstruction results

3.4 注意力模塊實(shí)驗(yàn)

注意力模塊實(shí)驗(yàn)主要通過消融實(shí)驗(yàn)來驗(yàn)證有無注意力模塊的網(wǎng)絡(luò)性能．本實(shí)驗(yàn)的訓(xùn)練集是Div2K數(shù)據(jù)集，測試集是Set5 數(shù)據(jù)集．超分辨率比例因子為4，每個(gè)模型經(jīng)過70 000 次迭代的訓(xùn)練，記錄最高的PSNR 值，得到表2 的結(jié)果．從表2 中可以看出，注意力模塊的加入可以有效地提高網(wǎng)絡(luò)模型的PSNR 和SSIM 值，分別提高0.45db 和0.02．可見，注意力模塊可以提高分辨率圖像的生成準(zhǔn)確率．

表2 注意力模塊消融實(shí)驗(yàn)Table 2 Results of ablation experiments to verify the network performance with or without the attention module

4 結(jié)語

本文提出在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上，加入注意力模塊和殘差模塊，構(gòu)成一種注意力和生成對抗網(wǎng)絡(luò)相結(jié)合的新型網(wǎng)絡(luò)，經(jīng)過與雙三次、SRCNN、VDSR 和SRGAN 主流算法對比，不僅提高了模型訓(xùn)練的穩(wěn)定性，而且減少了網(wǎng)絡(luò)參數(shù)的個(gè)數(shù)，提高了計(jì)算效率，從而進(jìn)一步提高了圖像的紋理細(xì)節(jié)．