王軍軍，孫 岳，李 穎

(西安電子科技大學(xué) 綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710071)

遙感成像技術(shù)因?yàn)槟軌蛑芷谛缘貙?shí)時(shí)得到地面的物體信息，而成為了人們關(guān)心且大力研究的方向。然而，由于天氣及氣候等因素的影響，比如高空中云層以及云陰影的干擾，通過(guò)衛(wèi)星拍攝采集到的遙感圖像通常會(huì)包含云層等無(wú)用干擾信息，進(jìn)而影響遙感圖像的進(jìn)一步使用。因此，移除遙感圖像中的云層并恢復(fù)圖像原始信息，已成為一個(gè)亟待解決的熱點(diǎn)問(wèn)題。

根據(jù)處理算法的類(lèi)型不同，遙感圖像去云方法大致分為基于統(tǒng)計(jì)先驗(yàn)和基于深度學(xué)習(xí)兩類(lèi)。在基于統(tǒng)計(jì)先驗(yàn)的方法中，文獻(xiàn)[1]提出利用暗通道先驗(yàn)知識(shí)(Dark Channel Prior，DCP)來(lái)解決圖像去云問(wèn)題。該方法雖然可以簡(jiǎn)便有效地移除云層并恢復(fù)圖像，然而，根據(jù)觀測(cè)統(tǒng)計(jì)得到先驗(yàn)知識(shí)，對(duì)于遙感圖像并不是普遍成立。例如，當(dāng)圖像中的景象與大氣光本質(zhì)相似時(shí)，該方法得到的恢復(fù)圖像會(huì)出現(xiàn)嚴(yán)重的顏色失真。文獻(xiàn)[2]基于圖像的低秩稀疏性，提出了移除時(shí)序遙感圖像云層及云陰影的方法。該方法同暗通道先驗(yàn)法一樣，只是對(duì)特定的先驗(yàn)場(chǎng)景去云才有效果，并不具備普適性。文獻(xiàn)[3]基于分割中值濾波和自適應(yīng)透射率補(bǔ)償提出了圖像去云霧算法，在一定程度上解決了上述問(wèn)題。文獻(xiàn)[4]在暗通道先驗(yàn)知識(shí)的基礎(chǔ)上，對(duì)暗通道與亮通道先驗(yàn)?zāi)Ｐ瓦M(jìn)行帶參線性加權(quán)運(yùn)算，解決了去云效果不佳等問(wèn)題。由于實(shí)際環(huán)境的復(fù)雜多變性，基于統(tǒng)計(jì)先驗(yàn)的方法不能很好地處理所有的遙感圖像去云問(wèn)題，很容易造成去云效果不充分或者顏色失真等現(xiàn)象。

隨著深度學(xué)習(xí)在數(shù)字圖像處理領(lǐng)域的廣泛應(yīng)用，研究者們嘗試將深度學(xué)習(xí)與圖像去云任務(wù)結(jié)合，達(dá)到移除云層的目的。通過(guò)使用神經(jīng)網(wǎng)絡(luò)模型不斷訓(xùn)練并預(yù)測(cè)結(jié)果，最終得到無(wú)云的清晰圖像。文獻(xiàn)[5]基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提出了端到端去云模型AOD-Net。該模型不需要估計(jì)傳輸矩陣和大氣光參數(shù)等步驟，可以直接從有云圖像中得到清晰的無(wú)云圖像。文獻(xiàn)[6]提出了基于注意力機(jī)制的多尺度網(wǎng)絡(luò)模型GridDehazeNet，可以更好地緩解傳統(tǒng)方法中去云效果不充分的問(wèn)題。文獻(xiàn)[7]針對(duì)遙感圖像去云提出了SpA-GAN模型。該模型基于生成對(duì)抗網(wǎng)絡(luò)[8]，在生成器的設(shè)計(jì)上使用了空間注意力網(wǎng)絡(luò)來(lái)更好地模擬人類(lèi)視覺(jué)機(jī)制，從而更好地得到高質(zhì)量無(wú)云圖像。文獻(xiàn)[9]基于生成對(duì)抗網(wǎng)絡(luò)提出了pix2pix模型，可以完成圖像到圖像的轉(zhuǎn)化任務(wù)，將有云圖像作為輸入，通過(guò)不斷學(xué)習(xí)便可以得到無(wú)云清晰圖像。文獻(xiàn)[10]結(jié)合U-Net神經(jīng)網(wǎng)絡(luò)[11]和生成對(duì)抗網(wǎng)絡(luò)提出了two-stage去云算法，可以有效地去除厚云并修復(fù)圖像。文獻(xiàn)[12]基于卷積神經(jīng)網(wǎng)絡(luò)，將云圖作為輸入，輸出其介質(zhì)透射率，之后通過(guò)大氣散射模型恢復(fù)清晰圖像。上述基于深度學(xué)習(xí)的方法雖然都可以達(dá)到去云的目的，但仍然存在去云效果不充分或者顏色失真等現(xiàn)象。此外，這些網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)過(guò)于復(fù)雜，模型訓(xùn)練和預(yù)測(cè)時(shí)間花費(fèi)較久，不能高效簡(jiǎn)便地完成遙感圖像去云任務(wù)。

針對(duì)上述問(wèn)題，筆者提出了一種基于端到端生成對(duì)抗網(wǎng)絡(luò)模型對(duì)遙感圖像去云。該網(wǎng)絡(luò)模型包含了生成器和判別器兩部分。生成器采用U-Net網(wǎng)絡(luò)，可以很好地將遙感圖像原始信息和云層信息分離。為了充分挖掘生成器輸入信息的深度特征，在U-Net網(wǎng)絡(luò)編碼器和解碼器間加入連續(xù)記憶殘差模塊，更好地利用流動(dòng)信息來(lái)挖掘特征。判別器則使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行判別處理。為了提高模型訓(xùn)練的精度，更好地測(cè)量真實(shí)值和預(yù)測(cè)值間的誤差，聯(lián)合對(duì)抗性損失函數(shù)和L1損失函數(shù)，來(lái)衡量網(wǎng)絡(luò)模型的優(yōu)劣。RICE數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的去云方法相比，筆者提出的生成對(duì)抗網(wǎng)絡(luò)遙感圖像去云方法可以高效簡(jiǎn)便地得到清晰的無(wú)云圖像。從具體定量結(jié)果比較來(lái)看，筆者提出的方法在RICE1數(shù)據(jù)集上平均峰值信噪比提高了1.31～7.04 dB，平均結(jié)構(gòu)相似性值提升了0.007～0.123。對(duì)于RICE2數(shù)據(jù)集，筆者提出的方法比SpA-GAN、pix2pix方法平均峰值信噪比提高了3.41 dB、0.74 dB，平均結(jié)構(gòu)相似性值提高了0.090、0.033，與GridDehazeNet、two-stage算法性能接近，但本算法運(yùn)行時(shí)間遠(yuǎn)優(yōu)于其他算法。

1 基于生成對(duì)抗網(wǎng)絡(luò)的遙感圖像去云模型

1.1 網(wǎng)絡(luò)模型框架

生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)模型主要由生成器和判別器兩個(gè)模塊組成。首先，將被云層污染的遙感圖像作為生成器的輸入，隨即由生成器生成不含云層的恢復(fù)圖像；接著，將由生成器生成的恢復(fù)圖像和未被云層污染過(guò)的原圖輸入給判別器，判別器通過(guò)不斷學(xué)習(xí)來(lái)評(píng)估樣本是來(lái)自真實(shí)圖像還是恢復(fù)圖像，從而達(dá)到判斷真假的目的。在實(shí)際訓(xùn)練時(shí)，生成器和判別器交替訓(xùn)練。生成器生成與真實(shí)圖像數(shù)據(jù)分布類(lèi)似的樣本，判別器則判斷輸入信息究竟是來(lái)自真實(shí)樣本還是來(lái)自生成的圖像，兩者相互博弈，從而使得整個(gè)網(wǎng)絡(luò)可以更好地學(xué)習(xí)到數(shù)據(jù)的分布特征。

1.2 生成器結(jié)構(gòu)設(shè)計(jì)

采用的生成器結(jié)構(gòu)如圖2所示。該結(jié)構(gòu)利用編碼器—解碼器網(wǎng)絡(luò)，即U-Net神經(jīng)網(wǎng)絡(luò)，作為生成器的主要框架。為了更好地提取輸入特征信息，在編碼模塊和解碼模塊中間添加了具有加速網(wǎng)絡(luò)收斂的連續(xù)記憶殘差模塊。

圖2 生成器結(jié)構(gòu)

編碼模塊(也叫作收縮路徑)包含5個(gè)卷積層，每個(gè)卷積層之后有一個(gè)非線性的ReLU激活函數(shù)來(lái)緩解過(guò)擬合問(wèn)題。為了描述方便，將“Conv+ReLU”操作看作一層。圖中Ei(i=1，2，3，4，5)表示編碼模塊每一層的輸出結(jié)果。每層卷積網(wǎng)絡(luò)的卷積核、步長(zhǎng)和輸出通道大小分別用ki，si，ci表示。編碼模塊共有5層，對(duì)于第1層，設(shè)置k1=5，s1=1，c1=16。對(duì)于余下的4層，采用相同的感受野和步長(zhǎng)大小設(shè)置，并且每一層的輸出通道數(shù)量是前一層的兩倍，設(shè)置為ki=3，si=2，ci=2ci-1(i=2，3，4，5)。

為了充分利用輸入信息的潛在流動(dòng)特征，在編碼模塊之后，使用連續(xù)記憶殘差模塊來(lái)挖掘輸入信息的深度特征，如圖3所示。該連續(xù)記憶殘差模塊由兩個(gè)公共的殘差模塊(卷積核大小為3)和一個(gè)卷積層(卷積核大小為1)組成，它們之間使用連接操作來(lái)利用信息之間的流動(dòng)特征。將X作為連續(xù)記憶殘差模塊的輸入，則X1是輸入X和第1個(gè)殘差塊輸出的連接結(jié)果，X2是X1和第2個(gè)殘差塊輸出的連接結(jié)果。將輸入X、第1層的輸出X1和第2層的輸出X2合并作為卷積層的輸入，最終，將卷積操作后的結(jié)果與輸入X連接，作為連續(xù)記憶殘差模塊的輸出。

圖3 連續(xù)記憶殘差模塊結(jié)構(gòu)

解碼模塊(也叫作擴(kuò)張路徑)與上述編碼模塊對(duì)稱(chēng)，由4個(gè)反卷積層和1個(gè)卷積層組成。每個(gè)反卷積層后邊同樣有對(duì)應(yīng)的非線性ReLU激活函數(shù)。為了描述方便，將“DeConv+ReLU”操作看作一層，最后一層只有卷積層。如圖2所示，D5表示E5和連續(xù)記憶殘差模塊基于通道之間元素相加的結(jié)果，將其作為第一層的輸入。Di(i=4，3，2，1)表示Ei和前一層的輸出基于通道之間元素相加的結(jié)果，并將其作為當(dāng)前層的輸入。經(jīng)過(guò)最后的卷積層后，可以得到生成器生成的干凈圖像。在本模塊中，統(tǒng)一設(shè)置卷積核大小為3，步長(zhǎng)為2，最后一層步長(zhǎng)為1。

1.3 判別器結(jié)構(gòu)設(shè)計(jì)

判別器結(jié)構(gòu)如圖4所示。圖中C表示卷積層，用來(lái)提取輸入的不同特征。B表示批歸一化層，保證數(shù)據(jù)歸一化后分布一致，從而有效避免梯度爆炸或者消失。R表示激活函數(shù)ReLU，防止網(wǎng)絡(luò)模型過(guò)擬合。為了描述方便，將“CBR”操作看做一層，因此判別器共包含5層。此外，圖中小括號(hào)內(nèi)的參數(shù)分別表示輸出通道數(shù)量、卷積核大小和步長(zhǎng)。判別器的輸入為一個(gè)三通道的圖像，輸出為判斷輸入的圖像是否來(lái)自真實(shí)圖像或者是生成圖像的“真”“假”標(biāo)志。

圖4 判別器結(jié)構(gòu)

1.4 損失函數(shù)

為了更好地提高遙感圖像云層去除模型的泛化和預(yù)測(cè)能力，設(shè)計(jì)優(yōu)化目標(biāo)函數(shù)，由對(duì)抗性損失函數(shù)和L1損失函數(shù)兩部分構(gòu)成。其中，對(duì)抗性損失函數(shù)用來(lái)優(yōu)化和學(xué)習(xí)生成數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的信息分布；L1損失函數(shù)用于衡量真實(shí)圖像與生成圖像像素點(diǎn)之間的誤差。

基于上述生成對(duì)抗網(wǎng)絡(luò)模型的設(shè)計(jì)，采用對(duì)抗性損失函數(shù)LGan(G，D)，表示如下：

LGan(G，D)=Ex～pdata(x)[logD(x)]+Ez～pz(z)[log(1-D(G(z)))] ，

(1)

其中，z表示隨機(jī)噪聲，x表示真實(shí)圖像，pz(z)表示從z中采集樣本，pdata(x)表示從x中采集樣本，D(x)表示對(duì)真實(shí)圖像x進(jìn)行判別，G(z)表示生成器的樣本輸出。

在對(duì)抗性損失函數(shù)的基礎(chǔ)上，添加了一個(gè)L1損失函數(shù)來(lái)進(jìn)一步優(yōu)化目標(biāo)函數(shù)。L1損失函數(shù)可以定量地測(cè)量真實(shí)圖像與生成圖像之間的誤差。同時(shí)，文獻(xiàn)[13]證明了與均方誤差函數(shù)相比，L1損失函數(shù)對(duì)異常值不敏感，可以有效地防止梯度爆炸問(wèn)題。定義L1損失函數(shù)L1(G)如下：

(2)

其中，Iinput是輸入的被云層污染的圖像，Ioutput是原始真實(shí)圖像，并且Ψ(Iinput)是筆者提出的網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果圖像，C、H、W分別表示圖像的通道數(shù)量、高度和寬度。

筆者提出的網(wǎng)絡(luò)模型所使用的整體損失函數(shù)Ltotal由上述兩個(gè)損失函數(shù)共同組成來(lái)參與模型的優(yōu)化，定義如下式：

(3)

其中，λ表示平衡參數(shù)，用來(lái)平衡對(duì)抗性損失和L1損失之間的權(quán)重。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)設(shè)置

使用RICE數(shù)據(jù)集，該數(shù)據(jù)集包含RICE1數(shù)據(jù)集和RICE2數(shù)據(jù)集。其中，RICE1數(shù)據(jù)集收集自谷歌地球，共包含500組分辨率為512×512的真實(shí)圖像和薄云圖像；RICE2數(shù)據(jù)集來(lái)源于Landsat8數(shù)據(jù)集，共包含736組分辨率為512×512的真實(shí)圖像和厚云圖像。

筆者使用ADAM優(yōu)化器來(lái)訓(xùn)練和優(yōu)化，優(yōu)化器中的參數(shù)β1和β2分別設(shè)置為0.5和0.999，學(xué)習(xí)率設(shè)置為0.000 4，損失函數(shù)中的平衡參數(shù)λ設(shè)置為1。針對(duì)RICE1數(shù)據(jù)集，隨機(jī)選擇400組圖像作為訓(xùn)練集，100組圖像作為測(cè)試集。同樣地，在RICE2數(shù)據(jù)集上，隨機(jī)選擇588組圖像作為訓(xùn)練集，148組圖像作為測(cè)試集。統(tǒng)一選擇批量大小為1進(jìn)行訓(xùn)練和測(cè)試迭代次數(shù)設(shè)置為200。

實(shí)驗(yàn)所使用軟硬件運(yùn)行環(huán)境如表1所示。

表1 實(shí)驗(yàn)軟硬件運(yùn)行環(huán)境

2.2 定量結(jié)果分析

為了驗(yàn)證筆者所提去云算法的有效性，使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)兩個(gè)統(tǒng)計(jì)度量指標(biāo)與現(xiàn)有去云方法進(jìn)行對(duì)比。同時(shí)，對(duì)各模型處理單張圖片的運(yùn)行時(shí)間進(jìn)行測(cè)試，來(lái)驗(yàn)證各模型的算法復(fù)雜度。

對(duì)于RICE1數(shù)據(jù)集，選擇DCP[1]、SpA-GAN[7]、pix2pix[9]、GridDehazeNet[6]作為對(duì)比方法。如表2所示，筆者提出的算法在RICE1數(shù)據(jù)集的100張測(cè)試集上的平均性能指標(biāo)最好。從具體數(shù)值比較來(lái)看，筆者提出的(文中)算法比DCP、SpA-GAN、pix2pix、GridDehazeNet在峰值信噪比方面平均提高{7.04，3.43，1.31，2.44}dB，在結(jié)構(gòu)相似性指標(biāo)方面平均提升{0.123，0.033，0.007，0.026}。另外，筆者提出的模型運(yùn)行時(shí)間要遠(yuǎn)小于其他算法的時(shí)間。

表2 不同算法在數(shù)據(jù)集RICE1上的定量結(jié)果比較

對(duì)于RICE2數(shù)據(jù)集，該數(shù)據(jù)集包含較多厚云圖像，DCP方法并不適用于厚云數(shù)據(jù)集，因此選擇SpA-GAN、pix2pix、GridDehazeNet、two-stage[10]作為對(duì)比方法。如表3所示，與SpA-GAN和pix2pix算法相比，筆者提出的(文中)算法平均峰值信噪比提高了{(lán)3.41，0.74} dB，平均結(jié)構(gòu)相似性值提高了{(lán)0.090，0.033}。雖然筆者提出的(文中)算法在此數(shù)據(jù)集上平均量化性能與GridDehazeNet、two-stage算法接近，但本算法運(yùn)行時(shí)間相對(duì)約減少了69%和78%，處理速度最快。

表3 不同算法在數(shù)據(jù)集RICE2上的定量結(jié)果比較

表4列舉了不同算法的參數(shù)量和GFLOPs(每秒10億次的浮點(diǎn)運(yùn)算數(shù))定量結(jié)果。通過(guò)比較，可以看出參數(shù)量是同一數(shù)量級(jí)時(shí)，筆者所提算法的GFLOPs計(jì)算量最低。綜合來(lái)看，筆者所提出的(文中)算法具有更低的算法復(fù)雜度。

表4 不同算法的參數(shù)量和GFLOPs定量結(jié)果比較

2.3 主觀視覺(jué)評(píng)價(jià)

圖5列舉了筆者所提算法與其他對(duì)比算法在RICE1薄云數(shù)據(jù)集上的去云視覺(jué)效果。從圖中可以看出，基于傳統(tǒng)統(tǒng)計(jì)先驗(yàn)的DCP算法去云結(jié)果不是很滿意?；谏疃葘W(xué)習(xí)的SpA-GAN、pix2pix、GridDehazeNet算法，盡管它們可以從輸入的云圖中去除云層而得到干凈的恢復(fù)圖像，但是往往會(huì)造成過(guò)分去云或者去云不充分的效果，在視覺(jué)效果上表現(xiàn)為恢復(fù)的結(jié)果看起來(lái)偏暗色基調(diào)或者有一些殘留的云層沒(méi)有去除干凈。相反，筆者所提出的(文中)算法的去云效果圖保存了更清晰的物體輪廓，顏色幾乎沒(méi)有失真，視覺(jué)上看起來(lái)更為接近原始圖像信息。

圖5 不同算法在RICE1數(shù)據(jù)集的視覺(jué)效果比較圖

圖6給出了不同算法在RICE2厚云數(shù)據(jù)集上的去云視覺(jué)效果對(duì)比。從圖中可以看出，盡管SpA-GAN算法可以移除厚的云層，但其恢復(fù)結(jié)果與原圖有較大差矩，顏色失真嚴(yán)重，且厚云覆蓋區(qū)域會(huì)產(chǎn)生一些偽影。pix2pix算法則在移除厚云的過(guò)程中產(chǎn)生了許多模糊的像素點(diǎn)。two-stage算法雖然可以移除云層得到地面物體信息，但是其恢復(fù)的圖像與原始圖像信息差距較大，不能達(dá)到去云的效果。而筆者所提的文中算法與GridDehazeNet算法相比，可以得到比較清晰的物體信息，主觀視覺(jué)上更為接近原始圖像，能夠?qū)崿F(xiàn)較好的恢復(fù)結(jié)果。

圖6 不同算法在RICE2數(shù)據(jù)集的視覺(jué)效果比較圖

3 結(jié)束語(yǔ)

針對(duì)遙感圖像在獲取過(guò)程中受到云層干擾的問(wèn)題，筆者提出一種基于生成對(duì)抗網(wǎng)絡(luò)的遙感圖像去云方法。該模型采用U-Net網(wǎng)絡(luò)作為生成器，將遙感圖像原始信息和云層信息分離，利用連續(xù)記憶殘差模塊來(lái)充分挖掘生成器輸入信息的深度特征，聯(lián)合對(duì)抗性損失函數(shù)和L1損失函數(shù)來(lái)提高模型的泛化和預(yù)測(cè)能力。實(shí)驗(yàn)測(cè)試結(jié)果表明，筆者提出的模型在峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)性能指標(biāo)和主觀視覺(jué)效果方面均優(yōu)于現(xiàn)有的去云算法，同時(shí)具有更低的算法復(fù)雜度。