楊宏業(yè)，趙銀娣，董霽紅

(中國(guó)礦業(yè)大學(xué) 環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116)

礦產(chǎn)資源是人類社會(huì)前進(jìn)的動(dòng)力，是不可或缺的物質(zhì)基礎(chǔ)。礦產(chǎn)資源的開發(fā)一直以來都是國(guó)家和社會(huì)關(guān)注的重點(diǎn)問題。早在2004年，國(guó)務(wù)院新聞辦就發(fā)布了《中國(guó)的礦產(chǎn)資源政策》白皮書[1]，高度重視礦產(chǎn)資源的合理利用，推進(jìn)礦業(yè)綠色發(fā)展，倡導(dǎo)保護(hù)生態(tài)環(huán)境，高效利用資源。露天開采是一種礦物開采方法，由于感興趣的礦石所處的深度較淺，因此在地表進(jìn)行開采[2]。露天礦區(qū)開采簡(jiǎn)單，生產(chǎn)效率高，開采成本低[3]。但是過度開采和不正確的開采方式會(huì)對(duì)生態(tài)環(huán)境造成極大的損害，導(dǎo)致土壤、植被和水資源等的破壞。

隨著傳感器的發(fā)展，遙感技術(shù)已廣泛應(yīng)用于土地利用[4-5]、災(zāi)害監(jiān)測(cè)和工程建設(shè)等領(lǐng)域。遙感圖像因其宏觀性、綜合性、周期性、詳細(xì)性、客觀性、時(shí)空多邊性等特點(diǎn)，成為礦區(qū)生產(chǎn)的基本信息源之一[6]。目前，通過多時(shí)相的遙感圖像對(duì)正在開采中的露天礦區(qū)和在復(fù)墾中的礦區(qū)土地進(jìn)行動(dòng)態(tài)監(jiān)測(cè)[7-9]，科學(xué)高效，省時(shí)省力。

隨著高性能新型傳感器研制開發(fā)水平以及環(huán)境資源遙感對(duì)高精度遙感數(shù)據(jù)要求的提高，高空間分辨率已經(jīng)成為衛(wèi)星遙感圖像獲取技術(shù)的發(fā)展趨勢(shì)。高空間分辨率遙感圖像的發(fā)展提高了信息提取、信息檢測(cè)的精度，開拓了遙感數(shù)據(jù)的應(yīng)用領(lǐng)域?？臻g分辨率的性能決定了圖像的畫面清晰程度，是一幅圖像的核心。受限于圖像采集設(shè)備如遙感衛(wèi)星、無人機(jī)等的成本，無法每一次都能獲得邊緣銳化，無塊狀模糊的大尺寸高清圖像。對(duì)于露天礦區(qū)，礦坑是開采的主體，變化活動(dòng)較為頻繁和劇烈;排土場(chǎng)距離礦坑很近，地表變化也易隨礦坑的開采而變化;礦區(qū)排土場(chǎng)相對(duì)較穩(wěn)定;礦區(qū)建筑是人類在礦區(qū)活動(dòng)的重點(diǎn)區(qū)域，位于離礦坑較遠(yuǎn)且位置相對(duì)安全的地方，應(yīng)密切關(guān)注其周邊地物變化，當(dāng)其周圍地表異常時(shí)需及時(shí)撤離，以免造成安全事故;運(yùn)輸?shù)缆肺挥诘V區(qū)各區(qū)域之間，當(dāng)其位于變化情況異常的區(qū)域時(shí)，會(huì)對(duì)礦區(qū)安全生產(chǎn)造成威脅[10]。如果該礦區(qū)的遙感圖像空間分辨率達(dá)不到一定的要求，會(huì)導(dǎo)致礦區(qū)各場(chǎng)景邊界難以區(qū)分、細(xì)小的地物無法判讀、控制點(diǎn)精度得不到保證，滿足不了生產(chǎn)和監(jiān)測(cè)管理的需求，對(duì)礦區(qū)的生產(chǎn)活動(dòng)產(chǎn)生不利影響。圖像超分辨率重建技術(shù)可以對(duì)低分辨率的圖像進(jìn)行分辨率重建，提高原始圖像的分辨率，一定程度上解決圖像分辨率較低的問題。對(duì)低分辨率的露天礦區(qū)遙感圖像進(jìn)行超分辨率重建不僅可以大幅節(jié)約成本，還能提高對(duì)礦區(qū)地物的識(shí)別能力和識(shí)別精度，實(shí)現(xiàn)從遙感圖像中獲取超出其分辨率的圖像以及更豐富的信息。

1964年，HARRI[11]和GOODMAN[12]以單幅圖像插值的方法提出超分辨率重建的概念，為后來的發(fā)展奠定了基礎(chǔ)。按照研究方法分類，傳統(tǒng)的超分辨率重建方法主要分為3類，分別是基于插值的方法[13-17]、基于重建的方法[18-21]和基于學(xué)習(xí)的方法[22-25]?；诓逯档乃惴ㄟ\(yùn)算復(fù)雜程度低，運(yùn)行速度較快，但易導(dǎo)致插值后的圖像邊緣較為模糊、出現(xiàn)明顯的鋸齒等現(xiàn)象;基于重建的算法的高分辨率圖像邊緣和細(xì)節(jié)較好，但其收斂速度慢且穩(wěn)定性不好，依賴于初始估計(jì)，計(jì)算量大;基于學(xué)習(xí)的方法是從大量的訓(xùn)練樣本中獲取先驗(yàn)知識(shí)來進(jìn)行訓(xùn)練，效果較好，但訓(xùn)練樣本的選擇非常重要[26]。深度學(xué)習(xí)超分辨率重建技術(shù)近年來不斷發(fā)展，成為大熱并廣受歡迎。深度學(xué)習(xí)相較于傳統(tǒng)方法，可以通過學(xué)習(xí)，自動(dòng)提取特征，避免了人工提取特征的主觀性和不完備性。自從SRCNN[27-28]方法首次將深度學(xué)習(xí)利用于圖像超分辨率重建之后，專家學(xué)者們陸續(xù)提出了很多深度學(xué)習(xí)圖像超分辨率重建的方法。隨著方法模型越來越復(fù)雜，神經(jīng)網(wǎng)絡(luò)層數(shù)不斷加深，會(huì)出現(xiàn)梯度消失、參數(shù)過多、訓(xùn)練困難等問題，這些問題使得專家學(xué)者們不斷提出更好的方法，如DRCN[29]方法引入了遞歸結(jié)構(gòu)和跳躍連接，緩解了訓(xùn)練模型的困難;SRDenseNet[30]通過稠密塊結(jié)構(gòu)，減輕了梯度消失問題，加強(qiáng)了特征傳播，減少了參數(shù)數(shù)量?；谏疃葘W(xué)習(xí)的圖像超分辨率重建方法發(fā)展迅速，很多超分辨率重建方法的峰值信噪比(Peak Signal to Noise Ratio，PSNR)較高，但是視覺效果并不好，特別是對(duì)于細(xì)微紋理，人眼看上去會(huì)過于平滑，有模糊區(qū)域甚至偽影。

遙感圖像有著豐富的紋理信息，紋理特征是遙感圖像的基本特征之一。紋理特征在計(jì)算機(jī)視覺、模式識(shí)別以及數(shù)字圖像處理中起著重要的作用[31]。露天礦區(qū)中每種場(chǎng)景的紋理特征各有不同，如排土場(chǎng)呈環(huán)形分布，邊緣區(qū)域具有淺黃色或亮灰白的放射性紋理，有明顯的扇形或階梯特征;礦區(qū)復(fù)墾土地在礦區(qū)周圍，紋理排列規(guī)則，與自然地物有區(qū)別;廢渣堆由采煤過程中產(chǎn)生的各種碎石渣、煤矸石堆放形成，呈集群團(tuán)狀分布，紋理較為均勻，顏色為灰色。筆者利用SRNTT[32]方法，在特征空間中進(jìn)行局部紋理匹配，并通過深度模型將匹配的紋理傳遞到最終輸出。SRNTT將相關(guān)紋理從參考圖像傳輸?shù)捷敵鲋亟ǖ膱D像，可以補(bǔ)充低分辨率圖像中缺失的細(xì)節(jié)，避免細(xì)微之處產(chǎn)生模糊區(qū)。專家學(xué)者們會(huì)使用感知相關(guān)的約束如感知損失[33]、對(duì)抗損失等[34]來提高圖像質(zhì)量，SRNTT結(jié)合了感知相關(guān)約束，利用感知相關(guān)函數(shù)提高人眼視覺效果，能夠重建出更合理的圖像。

1 網(wǎng)絡(luò)結(jié)構(gòu)

采用一個(gè)端到端的深度學(xué)習(xí)模型SRNTT。SRNTT由ZHANG等[32]提出，是一種基于參考圖像的超分辨重建方法[35]，旨在根據(jù)低分辨率圖像ILR和給定的參考圖像IRef生成高分辨率的重建圖像ISR。

SRNTT方法是在特征提取的空間中搜索來自IRef的匹配紋理，然后以多尺度方式將匹配的紋理傳輸?shù)絀SR。紋理轉(zhuǎn)移的過程中會(huì)對(duì)ILR和IRef之間語義的相似性進(jìn)行判斷，從而抑制不相關(guān)紋理。SRNTT方法主要包括特征交換和紋理轉(zhuǎn)移兩個(gè)部分，結(jié)構(gòu)如圖1所示。

圖1 方法結(jié)構(gòu)Fig.1 Structure graphing

1.1 特征交換

特征交換是在特征提取空間內(nèi)對(duì)整個(gè)IRef進(jìn)行搜索，找到類似的可替換ILR的紋理特征。首先對(duì)ILR進(jìn)行雙3次上采樣得到ILR↑，使它擁有和高分辨率圖像IHR同樣的尺寸;同時(shí)考慮到分辨率的不同，對(duì)相應(yīng)的IRef進(jìn)行雙3次下采樣和上采樣得到IRef↓↑，使其尺寸與模糊程度同經(jīng)過上采樣的ILR↑對(duì)應(yīng)。

1.1.1特征提取

為了加快進(jìn)程，SRNTT中只利用VGG19[36]的前3層特征提取網(wǎng)絡(luò)，VGG19使用3×3卷積核的卷積層堆疊并交替最大池化層，有2個(gè) 4 096 維的全連接層，網(wǎng)絡(luò)深度達(dá)到19層。本文用ResNet34[37]替代VGG19提取圖像特征，以提取更加豐富的特征。

ResNet于2015年首次提出后，廣泛應(yīng)用于目標(biāo)檢測(cè)、語義分割和目標(biāo)識(shí)別等領(lǐng)域。ResNet為在VGG的基礎(chǔ)上，加入跳躍連接形成殘差網(wǎng)絡(luò)，相比于VGG，ResNet網(wǎng)絡(luò)深度更深，運(yùn)算量更小。ResNet的主要思想是在網(wǎng)絡(luò)中增加了直連通道，允許保留之前網(wǎng)絡(luò)層的一定比例的輸出。ResNet網(wǎng)絡(luò)輸出分為兩部分，分別為恒等映射(x)、殘差映射(F(x))，即y=F(x)+x，如圖2所示。

圖2 ResNet殘差塊[37]Fig.2 ResNet residual block[37]

1.1.2相似性判斷

在進(jìn)行混合料攤鋪施工時(shí)，首先應(yīng)將施工作業(yè)面清理干凈，掃除路面上的灰塵雜物等。由于SBS改性瀝青施工溫度較高，因此在進(jìn)行攤鋪時(shí)應(yīng)控制混合料攤鋪溫度160～180℃，溫度低于140℃的瀝青混合料禁止使用[2]。另外，在進(jìn)行攤鋪?zhàn)鳂I(yè)時(shí)宜采用兩臺(tái)不同型號(hào)攤鋪機(jī)階梯式攤鋪，其中兩臺(tái)攤鋪機(jī)的前后間距不應(yīng)超過20cm。

把輸入圖像和參考圖像分成若干個(gè)大小相同的圖像塊，考慮到ILR↑和IRef↓↑的圖像塊在顏色和光照上會(huì)有區(qū)別，所以就在高層次的特征圖上計(jì)算，即φ(I)為已提取到的高層特征圖的結(jié)構(gòu)和紋理信息。

在特征提取的過程中，匹配ILR↑和IRef↓↑中的圖像塊，利用內(nèi)積來衡量特征圖像塊之間的相似性?？梢杂靡唤M卷積計(jì)算遍歷ILR↑和IRef↓↑的圖像塊，得到相似性:

其中，Pj為ILR↑的特征圖中的第j個(gè)補(bǔ)丁;Sj為第j個(gè)IRef↓↑圖像塊和第j個(gè)圖像塊之間的相似性。使用IRef↓↑中相關(guān)性高的、質(zhì)量好的特征塊替換ILR↑特征塊粗糙的紋理特征，用外部信息填補(bǔ)低分辨圖像的信息空缺。通過比較相似性的大小可以建立一個(gè)轉(zhuǎn)移的特征圖M來代表紋理增強(qiáng)后的低分辨率圖像。

1.2 紋理轉(zhuǎn)移

紋理轉(zhuǎn)移是在各種尺度的特征層中把多個(gè)交換的紋理特征圖融合到一個(gè)基礎(chǔ)的深度生成網(wǎng)絡(luò)中。在每個(gè)卷積層l中，利用紋理特征編碼器φl把特征交換得到的交換特征圖Ml與當(dāng)前的尺度匹配，其中，φl為第l層的紋理特征編碼器，用于提取第l層特征圖的結(jié)構(gòu)紋理信息。

利用殘差塊和跳躍連接來建立基本的生成式網(wǎng)絡(luò)，第l層網(wǎng)絡(luò)的輸出ψl定義為

ψl=[Res(ψl-1‖Ml-1)+ψl-1]

其中，ψl是第l層的輸出;Res為殘差塊;‖為通道連接。最終在L層卷積層后生成超分辨率重建后的結(jié)果圖，并且分辨率達(dá)到IHR的分辨率。假設(shè)有L層，最終的ISR定義為

ISR=Res(ψl-1‖Ml-1)+ψl-1

1.3 損失函數(shù)

重構(gòu)損失定義為lrec=‖IHR-ISR‖1。使用1范數(shù)是為了產(chǎn)生更銳利的細(xì)節(jié)。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

本實(shí)驗(yàn)數(shù)據(jù)來源于RSI-CB256[38]數(shù)據(jù)集和剪裁的谷歌影像，首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將原始高分辨率圖像作為輸出對(duì)照，對(duì)其進(jìn)行4倍下采樣得到低分辨率圖像作為模型的輸入，訓(xùn)練得到擴(kuò)尺寸至4倍與原始圖像大小一致的結(jié)果。本實(shí)驗(yàn)的數(shù)據(jù)每一組數(shù)據(jù)有兩張，分別是輸入圖像和參考圖像。訓(xùn)練數(shù)據(jù)集共4 176組，每張圖像的尺寸為256×256像素，測(cè)試數(shù)據(jù)集共100組。數(shù)據(jù)集內(nèi)容涉及礦區(qū)各場(chǎng)景，包括露天礦坑、排土場(chǎng)、煤炭運(yùn)輸?shù)缆?、廢渣堆、礦區(qū)復(fù)墾土地、煤炭中轉(zhuǎn)場(chǎng)地、礦區(qū)建筑以及礦區(qū)周圍的場(chǎng)景如山地、耕地、森林、居民地、裸地，如圖3所示。

2.2 訓(xùn)練環(huán)境

本實(shí)驗(yàn)采用TensorFlow深度學(xué)習(xí)框架，運(yùn)行內(nèi)存為16.0 GB，處理器為Intel Core i7-8700，顯卡為NVIDIA GeForce GTX1080 Ti，GPU加速庫采用CUDA9.0和CUDNN7，在Ubuntu16.04系統(tǒng)上訓(xùn)練改進(jìn)的SRNTT超分辨率重建模型。模型參數(shù)中，學(xué)習(xí)率設(shè)置為0.000 1，迭代次數(shù)設(shè)置為50，每個(gè)批次訓(xùn)練9張圖，優(yōu)化器設(shè)置為Adam。

圖3 數(shù)據(jù)集涉及場(chǎng)景Fig.3 Scene contained in dataset

2.3 評(píng)價(jià)指標(biāo)

本文采用PSNR[39]、結(jié)構(gòu)相似性[40](Structural Similarity Index，SSIM)作為衡量圖像超分辨率重建效果的指標(biāo)，用來評(píng)價(jià)一幅圖像重建后和原圖像相比質(zhì)量的好壞。

PSNR為最常用的圖像質(zhì)量評(píng)價(jià)指標(biāo)，其值越大，重建后失真越小，圖像重建效果越好。一張大小為m×n的圖像I，噪聲圖像為K，均方誤差(Mean Square Error，MSE)定義為

PSNR(dB)定義為

亮度相似性l(x,y)為

式中,μx為x的均值;μy為y的均值;c1為常數(shù)。

對(duì)比度相似性c(x,y)為

結(jié)構(gòu)相似性s(x,y)為

式中，σxy為x和y的協(xié)方差;c3為常數(shù)。

SSIM(x,y)=[l(x,y)αc(x,y)βs(x,y)γ]

設(shè)α,β,γ均為1，則

2.4 結(jié)果分析

本實(shí)驗(yàn)使用紅、綠、藍(lán)3個(gè)波段組成的真彩色圖像對(duì)模型進(jìn)行驗(yàn)證，利用改進(jìn)的SRNTT方法與SRNTT,SRGAN[41],EDSR[42]進(jìn)行了對(duì)比實(shí)驗(yàn)。SRGAN方法是利用生成對(duì)抗網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重建，并感知損失和對(duì)抗損失來提升恢復(fù)出的圖片的真實(shí)感。該網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。生成網(wǎng)絡(luò)由B殘差塊、卷積層、Batch-Normalization層和ReLU激活函數(shù)層組成，并通過訓(xùn)練兩個(gè)子像素卷積層來提高分辨率，以生成重建圖像。判別網(wǎng)絡(luò)由VGG網(wǎng)絡(luò)、LeakyReLU激活函數(shù)層和最大池化層組成，用于判別是生成的高分辨率圖像還是真正的高分辨率圖像。

EDSR方法是只利用了生成對(duì)抗網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，并去除了Batch-Normalization層，使每層提取更多的特征，以獲得更好的效果。該網(wǎng)絡(luò)的損失函數(shù)是均方損失函數(shù)和VGG 損失函數(shù)。SRGAN和EDSR都是較為先進(jìn)，重建效果較好的方法。選擇了測(cè)試集中的2幅圖像可視化，如圖4所示。

圖4 實(shí)驗(yàn)測(cè)試結(jié)果Fig.4 Experiment testing results

同時(shí)，利用PSNR和SSIM對(duì)測(cè)試集中的100幅圖像進(jìn)行評(píng)價(jià)，結(jié)果見表1。

綜合圖4和表1可以看出，從視覺上看，改進(jìn)的SRNTT和SRGAN較EDSR和SRNTT更清晰，紋理細(xì)節(jié)更豐富，模糊區(qū)域較少，取得了更優(yōu)的效果;改進(jìn)的SRNTT和SRGAN相比，視覺感知沒有較大差異，效果都較好;從評(píng)價(jià)指標(biāo)上看，改進(jìn)的SRNTT在PSNR和SSIM上都略微高于其他方法，在PSNR方面與SRNTT相比高了0.869 3 dB，與SRGAN相比高了0.418 33 dB，比EDSR高了3.073 6 dB;SSIM比SRNTT,SRGAN,EDSR分別高了0.006 9,0.000 5,0.003 0。盡管PSNR,SSIM這兩個(gè)指標(biāo)僅能反映重建后的圖像與原始圖像之間的結(jié)構(gòu)相似性，不涉及圖像內(nèi)容的對(duì)錯(cuò)，但改進(jìn)的SRNTT在視覺效果和PSNR,SSIM上都有較好表現(xiàn)。

表1 結(jié)果對(duì)比
Table 1 Compare results

評(píng)價(jià)指標(biāo)EDSRSRGANSRNTT改進(jìn)的SRNTTPSNR/dB35.594 6038.249 8737.798 9038.668 20SSIM0.958 50.961 00.954 60.961 5

2.5 參考圖像的影響

選取兩組測(cè)試數(shù)據(jù)對(duì)不同參考圖像對(duì)結(jié)果的影響進(jìn)行測(cè)試和分析，測(cè)試結(jié)果如圖5所示，并利用PSNR和SSIM對(duì)上述圖像進(jìn)行評(píng)價(jià)，結(jié)果見表2。

根據(jù)圖5和表2看出，不同參考影像對(duì)應(yīng)的重建圖像也不同。REF4與需重建的圖像基本不相似，得到的結(jié)果無論在視覺上還是評(píng)價(jià)指標(biāo)上都較差，而REF1與需重建的圖像相似度較高，重建后的效果也較好?？梢院苊黠@地發(fā)現(xiàn)，參考圖像與待重建的圖像相似度越高，重建后的圖像效果越好，相似度越低，重建后的圖像效果差。

表2 不同參考影像結(jié)果對(duì)比
Table 2 Different reference images testing compare results

評(píng)價(jià)指標(biāo)第1組圖像REF1REF2REF3REF4第2組圖像REF1REF2REF3REF4PSNR/dB38.921 138.879 738.114 333.940 438.754 038.575 937.842 231.155 8SSIM0.966 80.935 30.974 90.935 30.975 40.966 00.937 40.861 4

3 結(jié) 論

(1)為提高現(xiàn)實(shí)中露天礦區(qū)遙感圖像的空間分辨率，通過改進(jìn)的SRNTT模型對(duì)露天礦區(qū)遙感圖像進(jìn)行超分辨率重建，在特征提取部分用ResNet34代替VGG19，網(wǎng)絡(luò)深度更深，運(yùn)算量更小，進(jìn)一步提高了特征提取的效果。

(2)實(shí)驗(yàn)結(jié)果表明，本文方法在視覺效果和評(píng)價(jià)指標(biāo)的值上都有較好的表現(xiàn)。在PSNR方面，比SRNTT，SRGAN，EDSR分別高0.869 30，0.418 33，3.073 60 dB；在SSIM方面，比SRNTT，SRGAN，EDSR分別高0.006 9，0.000 5，0.003 0；在視覺表現(xiàn)方面，比其他在細(xì)節(jié)方面更為真實(shí)，且本文方法的重建效果隨參考圖像與待重建圖像的相似度的增加而提高。

(3)本文方法適用于露天礦區(qū)的遙感圖像，能充分利用遙感圖像的長(zhǎng)時(shí)間序列和時(shí)空多邊性，且高分辨率的遙感圖像價(jià)格高，低分辨率的遙感圖像價(jià)格較低且獲取容易，可以大幅度節(jié)約成本，在露天礦區(qū)生產(chǎn)和修復(fù)領(lǐng)域應(yīng)用能更好地服務(wù)于礦區(qū)的動(dòng)態(tài)監(jiān)測(cè)與管理。