閔 銳，楊 學(xué) 志，董 張 玉,4，陳 鯨

(1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230009；3.合肥工業(yè)大學(xué)軟件學(xué)院，安徽 合肥 230009；4.智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室，安徽 合肥 230009)

0 引言

SAR(Synthetic Aperture Radar)系統(tǒng)[1-3]具備全天時(shí)、全天候、多極化等優(yōu)點(diǎn)，在遙感領(lǐng)域具有重要研究/應(yīng)用價(jià)值，然而受系統(tǒng)設(shè)備以及成像過程不可抗干擾等因素影響，實(shí)際獲取的SAR圖像空間分辨率較低，難以滿足應(yīng)用需求。由于SAR系統(tǒng)硬件設(shè)備昂貴，目前一般從軟件算法方向[4]提升SAR圖像空間分辨率，重建后的SAR圖像可更好用于目標(biāo)識(shí)別分類[5]、災(zāi)害監(jiān)測(cè)[6]等任務(wù)。

傳統(tǒng)圖像重建方法分為三大類：1)基于插值[7]的方法，如最近鄰插值[8](Nearest Neighbor Interpolation，NNI)、雙線性插值[9]和雙三次(Bicubic)插值[10]算法，該類方法主要通過插值函數(shù)估計(jì)待插值位置像素值以完成圖像重建，原理簡單、重建速度快，但插值后圖像質(zhì)量較差、缺乏高頻信息，導(dǎo)致重建圖像紋理粗糙、邊緣模糊；2)基于重建的方法，如凸集投影法[11](Projection Onto Convex Sets，POCS)、迭代反投影法[12](Iterative Back Projection，IBP)和最大后驗(yàn)概率法[13](Maximum A Posteriori，MAP)，該類方法旨在通過正則化約束制約解空間，以尋求高分辨率圖像近似估計(jì)，在圖像邊緣和細(xì)節(jié)重建方面比插值算法效果更好，但解不唯一且易受初始值影響；3)基于學(xué)習(xí)的方法[14]，其核心為以學(xué)習(xí)的方式獲取低分辨率到高分辨率圖像的非線性映射關(guān)系，通過選取合適的學(xué)習(xí)方法獲取重建模型，與基于重建的方法相比，該類方法通過訓(xùn)練樣本獲得額外先驗(yàn)知識(shí)，在重建圖像高頻細(xì)節(jié)信息部分效果更好。深度學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)[15]具有強(qiáng)大的特征提取和特征表達(dá)能力，基于GAN網(wǎng)絡(luò)的超分辨率圖像重建算法相比傳統(tǒng)方法效果更好。例如：Legid等[16]首次將GAN網(wǎng)絡(luò)用于圖像重建，提出超分辨率生成對(duì)抗網(wǎng)絡(luò)(Super-Resolution Generative Adversarial Network，SRGAN)，不同于超分辨率卷積網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network，SRCNN)[17-19]，SRGAN網(wǎng)絡(luò)具有生成和判別雙網(wǎng)絡(luò)，博弈對(duì)抗訓(xùn)練方式保證了生成網(wǎng)絡(luò)重建圖像質(zhì)量隨著判別網(wǎng)絡(luò)性能增強(qiáng)而提升，效果顯著優(yōu)于傳統(tǒng)方法；為進(jìn)一步提升重建圖像質(zhì)量，Wang等[20]提出增強(qiáng)型超分辨率生成對(duì)抗網(wǎng)絡(luò)(Enhanced Super-Resolution Generative Adversarial Network，ESRGAN)模型，該模型通過改進(jìn)生成網(wǎng)絡(luò)和感知域損失函數(shù)，有效增強(qiáng)了重建圖像細(xì)節(jié)信息和視覺效果，進(jìn)一步提升了生成對(duì)抗網(wǎng)絡(luò)超分辨率重建優(yōu)勢(shì)，但仍存在重建圖像邊緣細(xì)節(jié)信息不足和局部“偽影”等問題。為解決此問題，本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)的SAR圖像重建算法，以期有效增強(qiáng)重建圖像邊緣細(xì)節(jié)信息，改善“偽影”現(xiàn)象，并與其他算法進(jìn)行比較，探索該算法在圖像重建方面的優(yōu)勢(shì)。

1 研究方法

1.1 GAN原理

GAN是一種無監(jiān)督深度學(xué)習(xí)模型，主要由生成器G(Generator)和判別器D(Discriminator)組成，G用于學(xué)習(xí)訓(xùn)練數(shù)據(jù)分布，從而產(chǎn)生符合真實(shí)數(shù)據(jù)分布的新樣本數(shù)據(jù)，D用于判別G生成新樣本真假，二者交替訓(xùn)練提升各自網(wǎng)絡(luò)性能，形成博弈對(duì)抗關(guān)系，最終使整個(gè)網(wǎng)絡(luò)達(dá)到“納什均衡”[21]。GAN數(shù)學(xué)模型表達(dá)式為：

(1)

式中：E表示函數(shù)期望值；Pdata(x)為真實(shí)樣本數(shù)據(jù)集；Pz(z)為先驗(yàn)數(shù)據(jù)集，z為隨機(jī)噪聲數(shù)據(jù)；D(G(z))表示D判別生成樣本G(z)的真實(shí)概率，值越接近1，表示生成數(shù)據(jù)越接近真實(shí)樣本，同理D(x)表示D判別真實(shí)樣本x的真實(shí)概率。

GAN對(duì)抗訓(xùn)練流程為：1)初始化生成器G和判別器D參數(shù)；2)從真實(shí)樣本Pdata(x)中隨機(jī)采集n個(gè)樣本x，從先驗(yàn)分布Pz(z)中隨機(jī)采集n個(gè)噪聲z，并通過生成器G生成n個(gè)生成樣本G(z)；3)固定生成器G，訓(xùn)練判別器D以盡可能準(zhǔn)確判別真實(shí)樣本和生成樣本，循環(huán)多次更新D參數(shù)，增大D(x)數(shù)值，減小D(G(z))數(shù)值；4)固定判別器D，訓(xùn)練生成器G以盡可能縮小生成樣本與真實(shí)樣本差距，循環(huán)多次更新G參數(shù)，增大D(G(z))數(shù)值；5)重復(fù)步驟3)和步驟4)，使得D(x)≈D(G(z))≈0.5，即網(wǎng)絡(luò)最終達(dá)到“納什均衡”。

1.2 結(jié)構(gòu)增強(qiáng)型生成對(duì)抗網(wǎng)絡(luò)框架

近現(xiàn)代圖像超分辨率重建研究多圍繞光學(xué)圖像展開，鑒于成像后階段SAR圖像與光學(xué)灰度圖像存儲(chǔ)方式和通道數(shù)相同，二者存在一定相似性，本文參考ESRGAN[20]光學(xué)網(wǎng)絡(luò)模型，對(duì)其重建SAR圖像存在的邊緣細(xì)節(jié)信息不足與“偽影”現(xiàn)象進(jìn)行改進(jìn)，提出一種結(jié)構(gòu)增強(qiáng)型生成對(duì)抗網(wǎng)絡(luò)(Enhanced Structural Generative Adversarial Network，ES-GAN)SAR圖像重建算法，ES-GAN模型生成器網(wǎng)絡(luò)結(jié)構(gòu)按模塊功能可分為特征提取模塊A、特征增強(qiáng)模塊B和上采樣重建模塊C(圖1)，各模塊網(wǎng)絡(luò)層參數(shù)如表1所示。

圖1 ES-GAN生成器網(wǎng)絡(luò)結(jié)構(gòu)

表1 ES-GAN網(wǎng)絡(luò)參數(shù)

(1)特征提取模塊A，由第一個(gè)卷積層組成?；凇案哳l邊緣細(xì)節(jié)信息傾向于被較小卷積核所提取，而較為粗糙的結(jié)構(gòu)內(nèi)容信息更適合較大尺寸卷積核提取”[22]，為保留更多SAR圖像邊緣細(xì)節(jié)信息，同時(shí)降低計(jì)算復(fù)雜度，本文網(wǎng)絡(luò)使用3×3小卷積核提取輸入SAR圖像特征信息。用ILR表示輸入低分辨率SAR圖像，fconv1表示第一個(gè)卷積過程，xconv1表示卷積輸出結(jié)果，則模塊A可表示為：

xconv1=fconv1(ILR)

(2)

(3)

xconv2=fconv2(xRRDB)

(4)

圖2 RRDB模塊結(jié)構(gòu)

(3)上采樣重建模塊C，由上采樣和第三個(gè)卷積層組成。不同于ESRGAN網(wǎng)絡(luò)模型采用單一上采樣方式，本文交替使用最近鄰插值(NNI)和亞像素卷積(Sub-Pixel Convolution，SPC)方式進(jìn)行上采樣，NNI執(zhí)行空域變換，SPC執(zhí)行depth-to-space變換，二者交替有助于提升空間結(jié)構(gòu)信息與深層抽象信息的交互融合，同時(shí)SPC上采樣方式有助于降低參數(shù)量和時(shí)間復(fù)雜度。本文網(wǎng)絡(luò)上采樣重建模塊結(jié)構(gòu)如圖3所示，其中，Trunk A和Trunk B分別代表NNI和SPC上采樣模塊，每個(gè)采樣模塊放大倍數(shù)scale=2，使用PReLU(Parametric Rectified Linear Unit)作為激活函數(shù)，因?yàn)镻ReLU函數(shù)能夠使網(wǎng)絡(luò)稀疏性更好，從而提升訓(xùn)練精度，同時(shí)在反向傳播過程中能夠保持較好的流動(dòng)性，從而加快網(wǎng)絡(luò)訓(xùn)練速度[23]。最后采用卷積網(wǎng)絡(luò)將多通道特征圖融合為單通道特征圖并輸出，進(jìn)而參考Shang等[24]的研究提出模型上采樣部分結(jié)構(gòu)，采用LReLU函數(shù)提高模型特征融合過程中的非線性擬合性能。定義NNI上采樣模塊函數(shù)為fTrunkA，SPC上采樣模塊函數(shù)為fTrunkB，第3、4個(gè)卷積層函數(shù)分別為fconv3、fconv4，LReLU函數(shù)為fLReLU，最后模型輸出ISR可表示為：

ISR=fconv4(fLReLU(fconv3(fTrunkB(fTrunkA(xconv1+xconv2)))))

(5)

圖3 上采樣重建模塊結(jié)構(gòu)

1.3 損失函數(shù)

(1)VGG感知損失LVGG：網(wǎng)絡(luò)用VGG19模型進(jìn)行預(yù)訓(xùn)練，φij表示VGG19模型中第i層池化層和第j層卷積層之間的特征映射圖，(i,j)為相應(yīng)特征圖維度，低分辨率圖像ILR尺寸為W×H，則定義LVGG為重建圖像ISR與參考圖像IHR之間的歐氏距離，公式為：

(6)

(7)

(3)像素?fù)p失Lpix：定義超分辨率放大尺寸為r，則重建圖像ISR尺寸為rW×rH，Lpix可表示為：

(8)

(9)

綜上，本文網(wǎng)絡(luò)生成器總損失函數(shù)Ltotal公式為：

(10)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 SAR數(shù)據(jù)集

(1)訓(xùn)練數(shù)據(jù)集：從哥白尼數(shù)據(jù)開放中心(https://scihub.copernicus.eu)下載125張哨兵-1B GRD級(jí)別SAR數(shù)據(jù)，空間分辨率為10 m，VH極化，重訪周期6 d。對(duì)圖像進(jìn)行預(yù)處理：利用ENVI軟件自動(dòng)配準(zhǔn)工具對(duì)SAR數(shù)據(jù)進(jìn)行配準(zhǔn)成像，配準(zhǔn)誤差小于1個(gè)像元；采用BM3D[25]濾波算法對(duì)SAR圖像相干斑噪聲進(jìn)行降噪；將原圖像裁剪為256×256大小。為使網(wǎng)絡(luò)訓(xùn)練效果更佳，對(duì)有限數(shù)據(jù)集進(jìn)行擴(kuò)展：對(duì)預(yù)處理后的SAR圖像進(jìn)行0°、90°、180°、270°旋轉(zhuǎn)及鏡像操作，得到8倍增樣本，最終得到1 000張256×256高分辨率參考圖像IHR；再利用雙三次插值算法對(duì)參考圖像IHR4倍降采樣，得到1 000張64×64低分辨率圖像ILR。

(2)測(cè)試數(shù)據(jù)集：選取由分享網(wǎng)站(https://down.itsvse.com/item/15937.html)提供的TerraSAR-X衛(wèi)星拍攝的3幅不同場(chǎng)景SAR圖像(成像時(shí)間為直布羅陀：2008年3月，荷蘭納爾登：2009年3月，西班牙安達(dá)素爾：2013年3月)，成像模式均為高分辨率聚束模式(High Resolution SpotLight,HS)、VV或HH單極化，分辨率為1 m×1 m，重訪周期為11 d。由于圖像中含有大量山體、農(nóng)田和建筑等地物，內(nèi)容和紋理信息豐富，適合作為驗(yàn)證圖像。將3幅SAR圖像裁剪為256×256大小，并選取其中10幅紋理細(xì)節(jié)豐富的SAR圖像塊，制作成測(cè)試數(shù)據(jù)集，如圖4所示。

圖4 測(cè)試數(shù)據(jù)集

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Window 10-64位操作系統(tǒng)，CPU為Intel(R) Xeon(R)Silver 4114 CPU@2.20 GHz 2.19 GHz，內(nèi)存為128 GB RAM，GPU為NVIDIA Tesla P100-PCIE，顯存16 GB，使用Pytorch框架搭建ES-GAN網(wǎng)絡(luò)模型，實(shí)驗(yàn)統(tǒng)一進(jìn)行放大倍數(shù)scale=4 的SAR圖像超分辨率重建實(shí)驗(yàn)，并與傳統(tǒng)雙三次(Bicubic)插值、深度學(xué)習(xí)SRCNN和ESRGAN模型進(jìn)行對(duì)比分析。生成器網(wǎng)絡(luò)使用Adam優(yōu)化器(β1=0.9，β2=0.000)，初始化學(xué)習(xí)率為1×10-4，每批次數(shù)量為batch_size=32，最大迭代次數(shù)epochs=20 000，λ=0.02,η=0.05,ζ=0.005。

2.3 模型對(duì)比分析

選用峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)和測(cè)試時(shí)間作為算法評(píng)價(jià)指標(biāo)，使用圖4測(cè)試數(shù)據(jù)集對(duì)本文ES-GAN網(wǎng)絡(luò)模型與Bicubic、SRCNN[16]、ESRGAN[18]超分辨率網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)。依次采用各算法模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行重建，并記錄每幅重建圖像的PSNR、SSIM和重建時(shí)間，PSNR和SSIM取10幅圖像的平均值，測(cè)試時(shí)間求和，得到各算法最終評(píng)價(jià)指標(biāo)(表2)?？梢钥闯觯?)Bicubic方法忽略了像素間的空間聯(lián)系，導(dǎo)致其PSNR和SSIM最低；深度學(xué)習(xí)方法中，采用對(duì)抗訓(xùn)練方式的ESRGAN和ES-GAN模型重建指標(biāo)更優(yōu)；針對(duì)對(duì)抗訓(xùn)練方式所造成的“偽影”現(xiàn)象，ES-GAN模型從網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)兩方面加以改進(jìn)，故重建圖像PSNR和SSIM最高，空間信息保持最好。2)Bicubic插值方法原理最簡單，測(cè)試時(shí)間最短；深度學(xué)習(xí)方法中，ES-GAN與SRCNN模型測(cè)試時(shí)間大致相當(dāng)，由于ES-GAN模型采用傳統(tǒng)插值和亞像素卷積方式交替上采樣，其比ESRGAN模型采用單一亞像素卷積上采樣方式用時(shí)更短，算法效率更佳，更適合海量遙感衛(wèi)星數(shù)據(jù)超分辨率重建。

表2 各模型評(píng)價(jià)指標(biāo)對(duì)比

為進(jìn)一步證明本文算法有效性，選取兩幅紋理邊緣信息豐富影像(TS_2和TS_3)的局部區(qū)域(圖5a、圖5f中白框部分)進(jìn)行說明(圖5)。對(duì)于TS_2影像而言，因插值算法忽略了像素間的空間聯(lián)系，導(dǎo)致Bicubic重建圖像視覺效果較模糊，像素間“鋸齒”現(xiàn)象較嚴(yán)重(圖5b)；深度學(xué)習(xí)模型(圖5c-圖5e)中，ESRGAN和本文ES-GAN模型由于網(wǎng)絡(luò)層數(shù)更多，對(duì)特征提取更充分，因此重建圖像更加清晰，視覺效果更好，尤其是本文ES-GAN模型重建結(jié)果(圖5e)邊緣紋理更加清晰、真實(shí)，層次感更強(qiáng)，結(jié)構(gòu)更合理，但ESRGAN模型重建結(jié)果(圖5d)部分紋理出現(xiàn)錯(cuò)亂現(xiàn)象。上述分析結(jié)果對(duì)于TS_3影像同樣適用。

圖5 ES-GAN結(jié)果的定性對(duì)比

2.4 消融實(shí)驗(yàn)

表3 ES-GAN模型結(jié)構(gòu)消融對(duì)比

選用不同模式下的ES-GAN模型依次對(duì)測(cè)試數(shù)據(jù)集的10幅SAR圖像進(jìn)行重建，并選取紋理信息較豐富、結(jié)構(gòu)層次感較強(qiáng)的3張重建圖像(TS_1、TS_4和TS_5)進(jìn)行效果對(duì)比(圖6)。

(1)重建模塊：對(duì)比圖6中第二、三列子圖發(fā)現(xiàn)，在損失函數(shù)相同的情況下，交替采用SPC和NNI進(jìn)行上采樣的第三列子圖更清晰，邊緣紋理細(xì)節(jié)更突出(如圖6f和圖6g框內(nèi)部分)，視覺效果明顯優(yōu)于僅采用SPC上采樣的第二列子圖；同時(shí)對(duì)比圖6a-圖6c及圖6i-圖6k中框內(nèi)部分可以發(fā)現(xiàn)，重建圖像均出現(xiàn)一定程度紋理錯(cuò)亂，圖像結(jié)構(gòu)與原圖有明顯差異，仍存在與參考圖像結(jié)構(gòu)紋理信息不符的“偽影”現(xiàn)象。

圖6 ES-GAN消融實(shí)驗(yàn)效果

3 結(jié)論

本文在ESRGAN模型基礎(chǔ)上對(duì)原網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)加以改進(jìn)，提出一種結(jié)構(gòu)增強(qiáng)型生成對(duì)抗網(wǎng)絡(luò)SAR圖像重建算法，該算法特點(diǎn)為：1)網(wǎng)絡(luò)結(jié)構(gòu)上，改進(jìn)原網(wǎng)絡(luò)上采樣模塊，采用NNI和SPC交替上采樣方式，促進(jìn)了空間深度信息交互融合，增強(qiáng)了重建圖像邊緣細(xì)節(jié)信息；2)損失函數(shù)上，在原網(wǎng)絡(luò)損失函數(shù)基礎(chǔ)上引入結(jié)構(gòu)損失函數(shù)，通過每批次反向傳播調(diào)節(jié)生成網(wǎng)絡(luò)參數(shù)，達(dá)到緩解網(wǎng)絡(luò)“偽影”目的。通過視覺效果和質(zhì)量評(píng)價(jià)對(duì)算法有效性進(jìn)行驗(yàn)證，結(jié)果表明：本文算法重建圖像內(nèi)容結(jié)構(gòu)保持更好，紋理細(xì)節(jié)信息更豐富，證明了交替采樣方式和結(jié)構(gòu)損失函數(shù)對(duì)重建圖像細(xì)節(jié)提升、緩解“偽影”現(xiàn)象的有效作用；本文算法對(duì)于結(jié)構(gòu)內(nèi)容單一圖像的重建效果提升不明顯，更適用于紋理信息豐富的SAR圖像。本文仍存在不足之處：在數(shù)據(jù)驗(yàn)證方面，由于沒有公開SAR圖像超分辨率驗(yàn)證數(shù)據(jù)集，驗(yàn)證結(jié)果缺乏可比性；在圖像處理上，對(duì)SAR圖像固有的乘性光斑噪聲、SAR圖像存儲(chǔ)方式等特性考慮不足，后續(xù)實(shí)驗(yàn)將進(jìn)一步結(jié)合SAR圖像自身特性，同時(shí)關(guān)注算法在災(zāi)害監(jiān)測(cè)、目標(biāo)識(shí)別等方面的實(shí)用價(jià)值。