張清勇， 陳智勇， 駱瀟原

(武漢理工大學自動化學院，武漢430070)

0 引言

近年來隨著航天技術(shù)不斷向前發(fā)展，眾多商業(yè)公司也在積極地發(fā)展著火箭發(fā)射技術(shù)，將來會有越來越多的低成本商業(yè)衛(wèi)星被應用于遙感圖像領(lǐng)域。在遙感圖像領(lǐng)域還存在許多無法避免因客觀素會影響遙感圖像的分辨率，例如傳輸過程中的噪聲、光學系統(tǒng)的像差和大氣的散射作用等［1］。為了改善低成本衛(wèi)星的成像質(zhì)量，提高圖像的分辨率，需要采用超分辨率技術(shù)對獲取的遙感圖像進行處理。

圖像超分辨率是從單幅或多幅低分辨率圖像重構(gòu)出一幅高分辨率圖像(High Resolution，HR)。目前圖像超分辨率研究領(lǐng)域主流方法有3種:插值、重建和學習。在圖像超分辨率應用的早期多采用插值的算法，較為常見的有雙立方插值法［2］(Bicubic interpolation)。插值的方法易產(chǎn)生邊緣模糊及振鈴效應［3］。重構(gòu)的方法則是通過同一場景下的多幅低分辨率圖像中提取出高頻信息，減少了插值方法中出現(xiàn)的邊緣模糊，但是存在最后解不穩(wěn)定、不唯一等問題［4］。

而基于學習的超分辨率方法有著良好的重構(gòu)結(jié)果，其中比較典型的有支持向量回歸方法［5］、稀疏表示［6］和深度學習等方法。最初將深度學習引入圖像超分辨率的是超分辨率卷積神經(jīng)網(wǎng)絡(luò)［7］(Super-Resolution ConvolutionalNeuralNetwork，SRCNN)。SRCNN細節(jié)和復雜紋理在經(jīng)過修復之后依然顯得有些模糊。

2017年，Ledig［8］等的超分辨率生成對抗網(wǎng)絡(luò)(SuperResolution GenerativeAdversarialNetworks，SRGAN)取得了很好的超分辨率效果。生成對抗神經(jīng)網(wǎng)絡(luò)超分辨率在細節(jié)豐富程度上遠勝SRCNN，對于圖像細節(jié)部分的恢復有著良好的效果。但是SRGAN同樣也需要大量的樣本進行訓練才能盡可能取得好的效果。通常認為深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)從包含大量圖像的數(shù)據(jù)集中獲取了足夠的信息，所以修復效果比較好［10］。但是 Zhang等［11］發(fā)現(xiàn)用一個在訓練集上表現(xiàn)良好的卷積神經(jīng)網(wǎng)絡(luò)對隨機標簽的測試集進行測試時出現(xiàn)了過擬合的現(xiàn)象，認為深度卷積神經(jīng)網(wǎng)絡(luò)效果之所以這么好不僅是因為有著大量數(shù)據(jù)集的訓練，還有網(wǎng)絡(luò)結(jié)構(gòu)本身所發(fā)揮的重要作用。

本文針對性地采用了Ulyanov等［11］提出的生成網(wǎng)絡(luò)進行圖像超分辨率的方法。本文還針對遙感圖像中地形地貌差異明顯、紋理細節(jié)豐富等特點對生成網(wǎng)絡(luò)進行改進，增加了網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)層數(shù)。網(wǎng)絡(luò)的初始化參數(shù)是隨機的，通過學習低分辨率圖像的特征，并把這些特征應用在高分辨率圖像中，使用不同尺度層面的自相似性放大圖像，在保證恢復圖像質(zhì)量的同時無需使用數(shù)據(jù)集對網(wǎng)絡(luò)進行大量預訓練。生成網(wǎng)絡(luò)模型不必通過對數(shù)據(jù)集進行預先的參數(shù)訓練與學習即可實現(xiàn)傳統(tǒng)意義上的圖像修復［12］，例如圖像去噪，圖像去遮蓋以及圖像超分辨率等任務(wù)，網(wǎng)絡(luò)權(quán)重是隨機的，先驗信息來自網(wǎng)絡(luò)結(jié)構(gòu)本身。受文獻［13］中網(wǎng)絡(luò)層數(shù)越深效果越好的啟發(fā)，本文中生成器網(wǎng)絡(luò)使用了更多的網(wǎng)絡(luò)參數(shù)和更深的網(wǎng)絡(luò)。

1 遙感圖像超分辨率原理

1.1 遙感成像模型

首先對遙感圖像的成像模型［14］描述，可以用一個線性系統(tǒng)對圖像的成像過程進行建模:

式中:X為成像系統(tǒng)得到的低分圖像;D為下采樣過程;H為全局一致模糊算子;F為幾何映射;Y為高分辨率圖像;V為加性噪聲。因為在成像過程本身就是下采樣，還附帶了不可避免的噪聲，所以成像得到的圖像質(zhì)量必然會發(fā)生下降，而且數(shù)字圖像采集本身即是一個離散化過程，如果想在硬件上進行改進來提高成像質(zhì)量，需要極高的成本和代價。在成本和技術(shù)手段的限制之下必然會達到一個瓶頸，因此發(fā)展了圖像超分辨率技術(shù)，通過處理算法層面上的提高，對圖像進行修復，以獲得質(zhì)量更好的圖像。

1.2 生成網(wǎng)絡(luò)模型

單幅圖像的超分辨率是一個逆問題，得到的解是不唯一的，因為一幅低分辨率圖像可能對應多幅高分辨率圖像。圖像超分辨率屬于一個基于能量最小化模型的問題:

式(2)中，E(x;x0)是一個數(shù)據(jù)項，這里選擇其形式如式(3)所示;x*是網(wǎng)絡(luò)輸出的高分辨率圖像;x0為生成網(wǎng)絡(luò)輸入的低分辨率圖像;d(x)為生成網(wǎng)絡(luò)輸出圖像的下采樣過程;R(x)則是抓取圖像先驗知識的正則化項。這里將R(x)用一個神經(jīng)網(wǎng)絡(luò)表示，其形式為:

式中:z為隨機初始化參數(shù)的網(wǎng)絡(luò)輸入;θ為生成網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，采用Adam優(yōu)化算法［15］，迭代更新網(wǎng)絡(luò)權(quán)重參數(shù)，θ的最優(yōu)值通過訓練得到。當給定一個最優(yōu)參數(shù)θ*之后，圖像恢復的過程如式(5)所示，將輸入信號z代入網(wǎng)絡(luò)即可得到網(wǎng)絡(luò)輸出的高分辨率圖像x*。其具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，網(wǎng)絡(luò)結(jié)構(gòu)類似于沙漏形狀。

圖1 生成網(wǎng)絡(luò)結(jié)構(gòu)圖

生成網(wǎng)絡(luò)結(jié)構(gòu)采用encoder-decoder結(jié)構(gòu)［16］，也就是編碼-解碼模型，輸入網(wǎng)絡(luò)d和輸出網(wǎng)絡(luò)u。若圖1中S快捷連接(黃色箭頭所示)過多，會導致網(wǎng)絡(luò)學習質(zhì)量下降。因此網(wǎng)絡(luò)結(jié)構(gòu)主要是用全卷積結(jié)構(gòu)來構(gòu)造，上采樣采用了雙線性和最近鄰上采樣，下采樣通過調(diào)整卷積的步幅實現(xiàn)。在每次訓練迭代時對輸入的參數(shù)z添加隨機噪聲，避免最終結(jié)果過多地依賴最初輸入的參數(shù)z，確保網(wǎng)絡(luò)本身學到更多的信息。不限制學習次數(shù)，最終網(wǎng)絡(luò)會輸出一個和原圖像分布相同的輸出圖像，若限制訓練迭代次數(shù)，網(wǎng)絡(luò)則會輸出一個修復后的圖像。

1.3 評判標準

實驗中圖片相似度采用了國際通用的評判標準來衡量實驗性能，即峰值信噪比［17］(Peak Signal to Noise Ratio，PSNR) 和結(jié)構(gòu)相似性［18］(Structural similarity index，SSIM)。峰值信噪比是目前使用的最為廣泛的客觀圖像品質(zhì)評價標準，其定義式為:

式中:MSE為原圖像和經(jīng)過處理后圖像的均方誤差;PSNR的單位為dB，PSNR起源于香農(nóng)理論，用來表示圖像局部信息丟失的多少。

結(jié)構(gòu)相似性SSIM是一種衡量電影、電視或者其他數(shù)字圖像的主觀感受的一種方法，算法在設(shè)計上充分考慮了人眼實際的視覺特性，比傳統(tǒng)方法更符合人眼的真實感受，該算法分別從亮度，對比度和結(jié)構(gòu)3個角度來評估圖像的相似性，其計算式為:

式中:μX、μY分別為圖像 X 和 Y 的均值;σX、σY分別為圖像X和Y的方差，σXY為圖像X和圖像Y的協(xié)方差;C1、C2、C3為常數(shù)，避免了分母為零的情況［4］。

由于SSIM在衡量圖像質(zhì)量上的優(yōu)秀表現(xiàn)，SSIM相對數(shù)值高的圖像更符合人眼觀看真實圖像的主觀感受，所以它已經(jīng)被廣泛應用于圖像質(zhì)量評價領(lǐng)域，在圖像質(zhì)量評價領(lǐng)域成為了一個重要的指標。

2 實驗及結(jié)果分析

本實驗中所有測試圖像來源于美國國家地質(zhì)勘探局(United States Geological Survey，USGS)的遙感圖片數(shù)據(jù)集。

圖2 USGS遙感圖像工廠原始HR圖像及各種方法重構(gòu)結(jié)果

圖3 USGS遙感圖像湖泊原始HR圖像及各種方法重構(gòu)結(jié)果

在本文中利用生成網(wǎng)絡(luò)模型，對測試數(shù)據(jù)集當中3種地質(zhì)圖像類型分別進行了3次圖像超分辨率實驗，這3種地質(zhì)圖像類型為工廠、湖泊和房屋(見圖2～4)。這3次實驗的原始圖像如圖2(a)～圖4(a)所示;對比測試使用了雙立方插值，其實驗結(jié)果如圖2(b)～圖4(b)所示;對比測試還使用了SRCNN，其實驗結(jié)果如圖2(c)～圖4(c)所示;最后對本文采用的生成網(wǎng)絡(luò)圖像超分辨率方法進行了測試，其實驗結(jié)果如圖2(d)～圖4(d)所示。

對3種地質(zhì)圖像類別進行了3種超分辨率方法的對比，結(jié)果顯示見圖2(d)～圖4(d)，生成網(wǎng)絡(luò)相對于圖2(b)～圖4(b)以及雙立方插值和圖2(c)～圖4(c)SRCNN，在圖像超分辨率的效果更好。因為低分辨率圖像經(jīng)過生成網(wǎng)絡(luò)模型處理后的輸出圖像的效果，相對于雙立方插值處理后的輸出圖像和SRCNN處理后的輸出圖像來說，無論是在圖像銳度還是在圖像清晰度上都有較為明顯的提升，圖像在經(jīng)過處理之后更加容易辨認遙感地質(zhì)圖像中的多種圖像類別。

圖4 USGS遙感圖像房屋原始HR圖像及各種方法重構(gòu)結(jié)果

從圖2中(c)和(d)房屋的屋頂部分的細節(jié)對比和圖3中(c)和(d)湖泊碼頭部分的對比可以看出，生成網(wǎng)絡(luò)進行超分辨率重構(gòu)后的圖像相較于SRCNN重構(gòu)后的圖像更為銳利，在遙感圖像細節(jié)的修復上有著更好的表現(xiàn)，對受損圖像中的復雜紋理修復效果更好，修復后的圖像中的細節(jié)更豐富，更符合人眼的視覺特性。遙感圖像在經(jīng)過生成網(wǎng)絡(luò)修復后，紋理與邊緣更加清晰，輸出圖像中的物體更加容易辨認。

從表1中3種地質(zhì)類型的平均PSNR指標的數(shù)據(jù)結(jié)果來看，生成網(wǎng)絡(luò)模型在遙感地質(zhì)圖像超分辨率上的表現(xiàn)結(jié)果優(yōu)于雙立方插值的超分辨率方法，也優(yōu)于SRCNN的圖像超分辨率修復效果。而且使用生成網(wǎng)絡(luò)進行圖像超分辨率，修復后圖像的SSIM數(shù)值比使用雙立方插值和SRCNN進行修復后圖像的SSIM數(shù)值更高，所以使用生成網(wǎng)絡(luò)進行地質(zhì)圖像超分辨率修復，修復后圖像在人眼視覺的主觀感受上更為接近原圖，圖像超分辨率的效果更好。并且相對于SRCNN，生成網(wǎng)絡(luò)模型無需使用大量圖像數(shù)據(jù)集對網(wǎng)絡(luò)進行訓練，從始至終生成網(wǎng)絡(luò)的輸入只有一張等待修復的低分辨率圖片，但是所取得的效果卻優(yōu)于經(jīng)受過大量數(shù)據(jù)訓練的SRCNN，并且經(jīng)過生成網(wǎng)絡(luò)修復過的圖像在主觀感受上變得更加銳利和清晰。

表1 重建HR圖像的平均PSNR和SSIM值

3 結(jié)語

本文通過無預訓練的生成網(wǎng)絡(luò)對遙感地質(zhì)圖像進行了圖像超分辨率實驗。網(wǎng)絡(luò)輸入低分辨率的地質(zhì)遙感圖像，經(jīng)過生成網(wǎng)絡(luò)的不斷迭代訓練之后，最后實現(xiàn)單幅圖像的超分辨率重建修復。實驗證明了網(wǎng)絡(luò)結(jié)構(gòu)本身的結(jié)構(gòu)對于遙感圖像超分辨率的修復工作有很大影響，好的網(wǎng)絡(luò)結(jié)構(gòu)能夠達到較好的超分辨率修復效果。下一步的工作將嘗試改進模型的損失函數(shù)，希望能進一步提升超分辨率圖像的細節(jié)與復雜紋理的修復效果。