蔣斯立， 黃微， 黃睿

(上海大學通信與信息工程學院，上海 200444)

0 引言

通過遙感衛(wèi)星獲得的地球表層光學遙感影像數據，在地物勘測、場景分類以及自然災害監(jiān)測等方面有著廣泛的應用。然而，光學遙感影像的獲取過程不可避免地會受到大氣中云層的干擾，如薄云導致影像模糊、厚云遮擋地物等。這使得傳感器無法完整獲取影像信息，影響數據后續(xù)的處理與應用。因此，對有云層遮擋的遙感影像進行信息重建，將很大程度提高遙感數據的利用率以及影像處理的范圍，具有很大的經濟和社會效益[1]。

在遙感影像處理中，由于薄云與厚云存在不同的特征，因此兩者處理方法具有較大差異。目前，有許多厚云去除的傳統方法被提出，根據所依賴信息的類型大致可以分為4類[2]： 基于空間信息的方法[3-7]、基于光譜信息的方法[8-10]、基于時間信息的方法[11-13]和混合方法[14-15]。其中，基于空間信息去云是最基本的去云方法。He等[5]提出了一種新的基于相似元統計的方法來填充影像中空缺的部分，然而，該方法的應用受到相似的上下文結構的限制?；诠庾V信息的方法可區(qū)分云和雪對影像的影響，從不同波段影像中提取云的信息從而進行恢復。Xu等[10]提出對于多光譜或高光譜數據，可以利用不同光波段間的相關性和相似性，依靠現有補充信息恢復出退化區(qū)域。由于衛(wèi)星傳感器可以在不同的時間拍攝同一特定區(qū)域，因此基于時間信息的厚云去除方法近年逐漸被提出。Chen等[11]提出了一種有效重建缺失數據的鄰域相似像素插值(neighborhood similar pixel interpolator，NSPI)算法，該方法對于Landsat ETM+ SLC-off影像恢復效果較好； 隨后Chen等[12]又結合時空尺度特征去除Landsat8 OLI數據中的云。但是由于遙感數據的高相關性，大面積區(qū)域重建問題仍存在困難。另外還有利用空間、時間以及光譜等信息去除厚云的混合方法，如Zeng等[14]提出了一種基于空間特征和多時相的多時間線性加權回歸算法。以上厚云去除方法基于傳統去云方法，在深度學習去云方法領域，Zhang等[16]提出了一種新的時空斑塊群深度學習框架，用于多時相云影像的縫隙填充，并且利用加權聚合和漸進迭代法重建結果。

現有的方法雖然獲得較好的厚云去除效果，但是基于多時相影像的厚云去除通常對參考影像的要求都比較高，即參考影像本身無云或者與待重建影像的場景差異非常小, 這些苛刻的數據條件都限制了基于多時相遙感影像的去云重建。為了解決這類問題，本文提出了一種基于參考影像信息的多時相遙感影像厚云去云算法。該方法選取一組(3～5張)多時相遙感影像，并根據影像亮度與云層掩模信息作為指標在這些影像中選取參考影像進行去云重建。當有多幅云量較少的影像時，可以分別將其作為參考影像，并基于全變分模型利用多張參考影像的互補信息對目標圖像進行去云重建。本文所用遙感影像均為Landsat8 OLI傳感器所采集的光學遙感影像。實驗結果顯示，本文方法能較好地解決場景差異較大的多時相影像重建造成的重建邊界及亮度差異問題，能較好地保留影像細節(jié)。同時，本文算法能夠對一組多時相影像中所有云覆蓋較少的影像進行云去除，獲得多張參考影像的重建結果，極大提升了多時相去云數據的使用效率。

1 基于參考影像的多時相去云算法

本文實驗算法流程如圖1所示，本算法首先基于參考影像信息對多時相遙感影像進行輻射歸一化及亮度處理，以此減小多時相影像間的差異，然后基于選擇性多源全變差模型(selective multi-source total variation，SMTV)對參考影像進行去云重建，最后結合泊松圖像編輯對重建結果進行優(yōu)化，從而達到厚云去除的目的。

圖1 基于參考影像的多時相影像融合去云流程圖

1.1 選取參考影像

為了獲得更好的去云重建影像結果，算法選取像素丟失信息較小、數據保留度較高的影像作為參考影像，并將多時相遙感影像基于參考影像的信息進行融合輸出。由于不同分量中各個波段特征向量值表現出的數學特性各不相同，本文利用遙感影像光譜主成分分析法[17](principal component analysis，PCA)選取亮度分量在各個波段上的和函數，代表總輻射水平，即亮度的總和，將其視為“亮度分量”。通過找出各相鄰點的像素差值之和最小的影像，來選取各影像中分布最平均的亮度分量Bs，計算公式為：

，

(1)

式中：m，n分別為影像橫縱方向上的像素數；p(xk,yj)為點(xk,yj)上的像素值；Bi為各個不同時相的遙感影像。

同時，本文利用多時相掩模算法(multi-temporal mask，Tmask)[18]對云及云陰影進行檢測，將像素信息丟失的云覆蓋區(qū)域記為0，無云區(qū)域記為1。在一組多時相影像中，遍歷每幅影像的掩模影像并統計掩模矩陣內像素數值之和Mi，找到完整度最高的一幅影像，記其像素和為Ms，公式為：

Ms=max{M1,M2,M3,…}

。

(2)

參考影像Is的選取根據亮度或者掩模損壞程度得到，其規(guī)則為： 當幾幅多時相影像間像素丟失程度相差較大(即影像間損壞程度相差較大)，則利用掩模式(2)來選取參考影像； 反之，當影像之間損壞程度相差較小，則利用亮度分量來選取參考影像。本文選取參考影像的一組結果如圖2所示，3幅影像掩模信息差異較大，因此采用式(2)選取參考影像。

(a) 影像1(b) 云檢測結果1(c) 影像2(d) 云檢測結果2

(e) 影像3(f) 云檢測結果3(g) 選取的參考影像

1.2 輻射歸一化

由于傳感器在獲取遙感影像時受到光照條件、大氣條件、地表環(huán)境以及傳感器成像條件等因素的影響，同一區(qū)域的影像輻射值具有較大差異，因此需要進行輻射和亮度的歸一化來去除干擾因素造成的差異，只保留影像中地物信息真實的變化情況。

對于多時相遙感影像的輻射歸一化可分為絕對輻射歸一化和相對輻射歸一化[19]。絕對輻射歸一化需要利用大量遙感衛(wèi)星數據計算每幅影像的地表反射率，較為繁瑣。相對輻射歸一化是基于同一區(qū)域多時相影像相同波段的灰度值存在線性關系而提出的[20]，它的基本思想是以選取的參考影像為基準，其他影像以該影像的灰度值為參考進行歸一化，從而避免了繁瑣的計算并且減少地表的“偽變化”現象。

邵艷坡等[21]提出偽不變特征(pseudo-invariant feature, PIF)法進行遙感影像相對輻射校正。該方法在2幅多時相影像中找到同一區(qū)域沒有發(fā)生地物類型變化且光譜特征穩(wěn)定的地物樣本點,利用灰度值的線性相關性進行輻射校正,無需獲取相關大氣參數就可獲得規(guī)則化的地物反射數據。多時相遙感影像地物規(guī)則化的數學模型為：

ys=axi+b,i=0,1,2…

，

(3)

式中：ys為參考影像灰度值；xi為n幅多時相影像中第i張待校正影像灰度值。利用多張參考影像的互補信息對目標圖像進行去云重建，依據PIF數據序列，利用最小二乘法可得到a和b，并進一步根據增益a和偏移量b可以得到校正后的遙感影像，公式為：

，

(4)

，

(5)

1.3 影像重建

為了得到無云的輸出結果，影像經輻射歸一化后基于選取的參考影像通過圖像融合的方法進行重建，基于全變差的影像重建模型為：

(6)

式中：I為待恢復影像；A為初始影像； 退化因子P為一類線性模糊化變換運算，常見有二維模糊、運動模糊等；A(i,:)為矩陣A的第i行；l和h為通道中最低和最高的邊界值；VT(A(i,:))為A(i,:)的全變分。

Tierney等[22]提出了一種基于多時相影像融合的方法進行影像重建的SMTV模型，如式(7)所示的凸目標函數：

(7)

式中：Ii為總計t幅影像中的第i幅；A(i,:)為矩陣A的第i行；d為通道數；Di為一個由損壞的像素值組成的對角矩陣，值為0或ωi，其中ωi為分配給第i幅影像的權重。

在SMTV模型中，由于參與重建影像中所有有效像素(即像素不為0)均參與運算，輸出的融合影像存在亮度不一，重影以及影像數據損壞嚴重的情況。為了提高重建結果的保真度，本文基于選取的參考影像對模型進行優(yōu)化，基于參考影像掩模Ds中的損壞區(qū)域，將損壞區(qū)域像素在Di矩陣中置零，以確保這些像素的信息不參與圖像的重建。公式為：

Ds=Di(find(Ds=1)=0)

。

(8)

處理后的模型為：

(9)

式中Ds為基于參考影像的掩模信息進行迭代后由多時相影像損壞的像素值組成的對角矩陣。

為了求解上述凸目標函數，利用LADMAP算法進行迭代求解[23]，算法在不引入附加變量的條件下高效更新變量，更適用于一般的凸規(guī)劃問題。

由于全變分模型自身不可微分性，相較于傳統方法難以求解。當前求解全變分的方法中，梯度方法與加速算法結合具有較好的收斂性，本文以廣義加速臨近梯度算法(generalized accelerated proximal gradient，GAPG)為基礎[24]，可將問題表示為：

，

(10)

式中：g為一個不可微的凸函數；f為利普希茨連續(xù)的凸函數；As即為基于參考影像經SMTV重建后的影像。

1.4 圖像編輯優(yōu)化

盡管進行了一系列的優(yōu)化步驟，確?；诙鄷r相影像重建后的結果圖像具有空間連續(xù)性，但是在平滑區(qū)域，重建后的圖像由于多源影像的亮度差異，仍存在亮度不一致的區(qū)域。因此，本文利用泊松圖像編輯[25]來解決經融合輸出后的影像內部存在區(qū)域亮度不一致的問題。該方法的主要原理是根據散度以及所指定的邊界條件，通過求解泊松方程實現融合影像的拼接部分在梯度上的連續(xù)，可看作無縫融合以區(qū)域塊Ω內梯度場為引導，將融合區(qū)域邊界上目標場景和原影像的差異平滑地擴散到融合影像塊中，泊松方程為：

，

(11)

f│?Ω=fA│?Ω

，

(12)

式中： ▽f為影像塊的梯度；fA為待重建影像；f為重建后的影像；ε為內部梯度引導場。融合后的影像塊能夠無縫地融合到目標場景中且其色調和光照與參考影像一致。

2 實驗結果與分析

2.1 多時相重建結果分析

為了評估并檢驗本文提出方法的去云有效性，表1中2組實驗分別為大片山區(qū)和小部分城市景觀、大片城市建筑道路和河流的重建效果，均采用2組Landsat8 OLI傳感器采集的遙感影像可見光波段數據進行實驗，以此分析本算法在不同地物景觀以及不同組合下重建效果的準確性。

表1 山區(qū)、城市、河流、道路等地物類型重建結果

2組實驗每組均選取3幅同一區(qū)域、不同時相的影像，影像大小均為1 000像素×1 000像素。在第一組山區(qū)及部分城市的多時相遙感影像信息重建結果中厚云完全去除，且相對于參考影像來說保真度較高； 第二組城市建筑及河流影像信息重建結果中，基于參考影像3重建得到的結果亮度較為一致?？梢钥闯霰舅惴ɑ诟鲄⒖加跋褫敵龅慕Y果均能準確除去厚云，且地表亮度保真度較高。

同時為了定量評估本文算法去云的圖像質量和保真性，以及評估重建結果的細節(jié)紋理特征，分別采用峰值信噪比(peak signal to noise ratio，PSNR)和結構相似性(structural similarity index，SSIM)作為標準進行恢復影像的質量評價。PSNR反映影像中噪聲的大小，其值越大表示重建影像質量越好。SSIM則能反映影像的完整性，取值范圍為0～1，其值越接近1表示結構與參考影像越相近。表2是2組實驗分別基于不同參考影像進行實驗的定量指標結果，第一組實驗基于3幅參考影像輸出結果的SSIM值均在0.99以上，第二組2幅參考影像輸出結果的SSIM值在0.9以上，由此可以看出本文算法在結構和影像地物細節(jié)上具有較高的保真性。

表2 基于各原影像輸出結果的定量指標對比

2.2 對比實驗

為了評估并檢驗本文提出方法的去云優(yōu)越性，本文算法將與SMTV算法以及空間注意生成對抗網絡去云方法(SPA-GAN)[26]進行比較(表3)，其中SPA-GAN網絡采用空間注意力模塊作為編碼器，GAN-Loss作為其總損失函數的一部分。每組對比實驗選取3幅同一區(qū)域、不同時相、1 000像素×1 000像素大小的Landsat8 OLI遙感影像，同時盡可能多地選取到不同的地物類型，以此驗證算法的普遍性和準確性。第一組對比實驗選取山脈以及城市中道路、房屋的組合； 第二組選取城市及河流； 第三組選取大片平原的地物類型。

表3 山區(qū)、城市、河流、道路等地物類型重建結果比較

由表3可以看出，第一組實驗中SMTV算法能較為完整地重建被云層遮擋損壞的像素區(qū)域，但是由于影像2、影像3中部分區(qū)域存在較大亮度差異，故此算法恢復出的結果存在明顯的亮度不一。而SPA-GAN網絡重建出的影像有明顯失真現象。當選擇影像1作為參考影像輸出時，不僅山脈的輪廓信息和植被的色彩信息保存完整，視覺效果以及圖像數據量也更接近完整度較高的影像1，有利于進一步分析圖像得到有效信息。

第二組實驗中SMTV算法的恢復重建結果海平面部分有亮斑現象，且圖像右側陸地存在明顯的模糊以及拼接現象。SPA-GAN網絡重建出的影像部分城市建筑重建失敗并有明顯失真現象。而以影像2作為參考影像時，不僅城市的房屋建筑信息保存完整，海面也沒有出現亮斑。

第三組實驗中SMTV算法的恢復重建結果，存在明顯的重影問題。SPA-GAN的重建結果仍有厚云殘留，并沒有完全去除。主觀上，當選擇影像1以及影像3作為參考影像輸出時均能獲得較為理想的結果，平地上的裂紋、房屋以及小塊湖泊均得到較好重建。這組實驗中影像2像素丟失區(qū)域較大，嚴重影響SMTV算法的輸出，而影像1、影像3質量較好，因此本組實驗通過本算法能獲得兩組清晰完整的重建結果。

表4 不同算法PSNR與SSIM值對比

表4為不同算法PSNR和SSIM值的對比。由表4可知，對于遙感影像厚云去除，本文算法相較于其他算法提高了還原精度，證明本文算法的有效性。相比于SMTV和SPA-Net方法，表4中基于本文算法的重建結果都具有明顯優(yōu)勢。SMTV算法由于在圖像融合時未進行融合參考影像的選取，重建結果基于的是多張原始影像，其中損壞較大的影像可能對結果造成嚴重影響。SPA-Net則由于需要大量數據進行訓練，在處理復雜地物類型的遙感影像時會破壞不需要去云的部分。主觀上也可以對比看出，本文算法的重建影像與原圖的影像結構更為相似，改善了影像的細節(jié)以及局部紋理特征，從而提高輸出影像的質量。

3 結論

本文針對多時相遙感影像融合去云常規(guī)方法中存在的問題，提出一種改進的、基于選擇性多源全變差模型、基于參考影像利用多時相遙感參考影像融合進行厚云去除的方法。

通過對遙感影像進行輻射歸一化操作有效解決多時相影像融合區(qū)域內部亮度不均問題?；诟鼮橥暾膮⒖加跋襁M行輸出有效避免了損壞程度較高的初始影像對融合結果的不利影響，并利用圖像編輯進行進一步優(yōu)化，提高了多時相影像重建信息的完整度。同時，利用損壞程度較低影像的空間特征作為參考影像信息進行云遮擋區(qū)域重建，有很好的魯棒性和適用性，能較好解決不同季節(jié)下大氣環(huán)境條件不一問題引起的光譜和梯度差異。

實驗結果以及與SMTV算法和SPA-GAN網絡輸出的對比結果表明，該算法不僅能解決多時相遙感影像重建時引起的邊界差異問題，還能提高重建影像精度。當前參考影像的選取采用的方法為主觀或參數比較的被動人為方法，如何實現參考影像的自動選取及對目標重建的部分區(qū)域進行輸出將是下一步研究的重點方向。