李奇澤

（太原學(xué)院計算機(jī)科學(xué)與技術(shù)系 山西 太原 030032）

0 引言

洪澇災(zāi)害一直是對人類生命和財產(chǎn)安全構(gòu)成重大威脅的自然災(zāi)害之一。準(zhǔn)確測定受災(zāi)面積有助于及時了解災(zāi)情的嚴(yán)重程度，有針對性地展開救援行動，并為災(zāi)后評估提供可靠的數(shù)據(jù)支持。通過對受災(zāi)面積的精準(zhǔn)測算，政府和救援機(jī)構(gòu)能夠更有效地分配資源、協(xié)調(diào)救援行動，最大限度地減少災(zāi)害帶來的損失，加快受災(zāi)地區(qū)的恢復(fù)重建進(jìn)程。遙感衛(wèi)星圖像具有全面性、高空間分辨率、定期觀測、自動化和多波段數(shù)據(jù)等特點，為各種應(yīng)用領(lǐng)域提供了重要的數(shù)據(jù)支持和技術(shù)手段，同樣提供了有效的手段來及時發(fā)現(xiàn)和跟蹤洪水的形成和演變。目前洪水監(jiān)測過程采用哨兵二號等數(shù)據(jù)，然而哨兵二號數(shù)據(jù)獲取比較困難，在實際中多采用中分辨率成像光譜儀（moderate-resolution imaging spectroradiometer，MODIS）等獲取的低空間分辨率數(shù)據(jù)，例如吳黎等［1］基于MODIS 數(shù)據(jù)對黑龍江省2013 年發(fā)生的洪澇災(zāi)害進(jìn)行監(jiān)測。李斌等［2］對長江中游三個湖區(qū)的水體淹沒范圍進(jìn)行提取，并分析其洪澇特征。然而該類低空間分辨率數(shù)據(jù)分辨率較低，并且同一像元中可能包含幾種不同的地物類型，實際分析過程中存在很大挑戰(zhàn)。因此，亟需高時間分辨率與高空間分辨率圖像來精確地進(jìn)行洪水監(jiān)測。時空融合算法為洪水監(jiān)測等問題提供了解決思路，能夠?qū)崿F(xiàn)在不同空間分辨率影像之間的有效信息整合，以便用于洪水監(jiān)測。

深度學(xué)習(xí)能夠從大量數(shù)據(jù)中學(xué)習(xí)復(fù)雜的特征和模式，能夠更有效地處理不同分辨率和時序的遙感數(shù)據(jù)，能夠獲取同時具備高時間和高空間分辨率的遙感衛(wèi)星圖像［3］。Tan 等［4］提出的基于生成對抗網(wǎng)絡(luò)的時空融合（generative adversarial network-based spatiotemporal fusion model，GANSTFM）算法能夠使用隨機(jī)時刻的參考圖像進(jìn)行預(yù)測；Li等［5］提出的傳感器偏差驅(qū)動的時空融合（sensor biasdriven spatial temporal fusion，BiaSTF）算法考慮了傳感器差異；Song 等［6］提出的基于生成對抗網(wǎng)絡(luò)的多級特征融合（ multi-level feature fusion with generative adversarial network，MLFF-GAN）算法設(shè)計了編碼器－解碼器網(wǎng)絡(luò)結(jié)構(gòu)來提取并融合生成不同級別特征。為了解決洪水等突變區(qū)域高時空數(shù)據(jù)獲取困難的問題，本文選用以上三種算法重建高時空分辨率數(shù)據(jù)，為實際洪水監(jiān)測提供決策支持。

1 典型的深度學(xué)習(xí)時空融合算法

1.1 GAN-STFM 算法

GAN-STFM 算法使用預(yù)測時刻低分辨率圖像與任意時刻高分辨率圖像進(jìn)行融合，克服對參考圖像的時間限制。生成器采用編碼器－解碼器結(jié)構(gòu)，通過編碼器將輸入的低分辨率圖像轉(zhuǎn)換為潛在空間表示，并通過解碼器將潛在表示轉(zhuǎn)換為高分辨率圖像，并利用卷積操作來輸出重建的圖像。生成器編解碼結(jié)構(gòu)使得生成器能夠有效地學(xué)習(xí)到時空信息的變化規(guī)律，并生成與輸入圖像相匹配的高分辨率圖像。

為了提高融合結(jié)果的質(zhì)量和穩(wěn)定性，GAN-STFM 算法采用了多尺度判別器。該判別器利用了跳過連接方式來提取圖像的特征，并結(jié)合了Sigmoid 分類器來判斷生成圖像的真實性。多尺度判別器能夠在不同尺度上對生成圖像進(jìn)行全面評估，從而提高了對抗訓(xùn)練的效果和收斂速度。此外，為了減少模型輸入的限制，GAN-STFM 算法采用了歸一化技術(shù)，能夠?qū)⑤斎霐?shù)據(jù)進(jìn)行適當(dāng)?shù)臍w一化處理，使得模型更容易學(xué)習(xí)到數(shù)據(jù)之間的相關(guān)性和模式，從而提高了融合的效果。GAN-STFM 算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 GAN-STFM 算法網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 BiaSTF 算法

傳統(tǒng)的時空融合方法通常假設(shè)圖像之間的變化可以直接從一個傳感器轉(zhuǎn)移到另一個傳感器，從而實現(xiàn)對高時空分辨率圖像的重建。此假設(shè)的前提是圖像之間存在著穩(wěn)定的空間和時間關(guān)系，使得可以通過簡單的插值或變換方法將低分辨率圖像與高分辨率圖像進(jìn)行匹配和融合。然而，實際情況往往更加復(fù)雜，可能會導(dǎo)致融合結(jié)果的失真和不準(zhǔn)確性。因此，BiaSTF 算法考慮了不同傳感器在融合過程中引入的偏差，以減輕傳統(tǒng)方法中光譜和空間畸變之間的差異。該方法采用了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的設(shè)計，能夠有效地學(xué)習(xí)圖像之間的變化信息和傳感器之間的偏差。

具體來說，使用變化學(xué)習(xí)網(wǎng)絡(luò)來學(xué)習(xí)圖像之間的變化信息，它能夠捕捉到不同時間或不同傳感器下圖像之間的變化模式，并將變化信息用于后續(xù)的融合過程；使用偏差學(xué)習(xí)網(wǎng)絡(luò)來學(xué)習(xí)傳感器之間的偏差，偏差學(xué)習(xí)網(wǎng)絡(luò)能夠提取不同傳感器采集的數(shù)據(jù)間的差異，并在訓(xùn)練中對傳感器差異進(jìn)行建模和學(xué)習(xí)，從而降低了傳感器偏差對融合結(jié)果的影響，提高了融合的準(zhǔn)確性和穩(wěn)健性。BiaSTF 算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 BiaSTF 算法網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 MLFF-GAN 算法

MLFF-GAN 算法設(shè)計了基于GAN 的編解碼結(jié)構(gòu)來學(xué)習(xí)圖像融合的多層特征。生成器包括特征提取、特征融合和特征重建。生成器結(jié)構(gòu)如圖3 所示，特征提取和特征重建組成編碼解碼結(jié)構(gòu)，以提取和重建多層次特征，從而解決高分辨率圖像與低分辨率圖像之間的巨大分辨率差異。編碼器負(fù)責(zé)將輸入的低分辨率圖像轉(zhuǎn)換為多層次的特征表示，而解碼器則負(fù)責(zé)將多層次特征表示轉(zhuǎn)換回高分辨率圖像，從而實現(xiàn)更精確的重建。

圖3 MLFF-GAN 算法生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

在融合階段，引入自適應(yīng)實例規(guī)范塊來優(yōu)化全局光譜分布。自適應(yīng)實例歸一化是一種用于神經(jīng)網(wǎng)絡(luò)中的歸一化技術(shù)，它允許將輸入的特征圖與另一個樣式圖的統(tǒng)計信息進(jìn)行匹配和調(diào)整，主要思想是根據(jù)樣式圖的統(tǒng)計信息來調(diào)整輸入特征的均值和方差，從而實現(xiàn)對特征的風(fēng)格轉(zhuǎn)換或風(fēng)格遷移。在MLFF-GAN 算法網(wǎng)絡(luò)中，自適應(yīng)實例規(guī)范塊能夠?qū)⒉煌瑫r態(tài)的特征圖之間的統(tǒng)計信息進(jìn)行對齊和調(diào)整，從而實現(xiàn)對時空信息的全局融合。此外，特征融合過程中還使用注意力模塊來學(xué)習(xí)小區(qū)域變化時的局部信息權(quán)值。注意力模塊能夠有效地捕捉到圖像中重要的局部特征，并將其融合到生成的高分辨率圖像中，從而提高了融合結(jié)果的質(zhì)量和準(zhǔn)確性。

MLFF-GAN 算法的鑒別器采用基本的分類神經(jīng)網(wǎng)絡(luò)，鑒別器主要任務(wù)是將生成的圖像與真實圖像進(jìn)行區(qū)分，由多個卷積塊組成，每個卷積塊包含卷積層、批歸一化層和LeakyReLU 激活函數(shù)，該卷積塊能夠有效地提取圖像的特征，并將其映射到一個介于0 和1 之間的值。

2 實驗

2.1 研究區(qū)域和數(shù)據(jù)集

在實驗過程中，本文選擇位于澳大利亞新南威爾士州北部的圭迪爾河下游集水區(qū)（lower Gwydir catchment，LGC），其占地面積為5 440 km2，該區(qū)域2004 年4 月至2005 年4 月期間共獲得14 對無云的Landsat-MODIS 數(shù)據(jù)。在2004 年12 月中旬，由于洪水原因，研究區(qū)域的植被被淹沒，導(dǎo)致濕度指數(shù)偏離正常數(shù)值。據(jù)估計，洪水及其后續(xù)淹沒現(xiàn)象涵蓋了約44%的廣闊區(qū)域。此次洪水事件使得圭迪爾河地區(qū)被視為時間上更為動態(tài)的地點。洪水事件對研究人員所研究的異質(zhì)性地區(qū)具有重要意義，因為它引發(fā)了時空響應(yīng)的變化，從而影響了研究區(qū)的動態(tài)性和光譜特征。

2.2 評價指標(biāo)

（1）均方誤差

均方根誤差（root mean square error，RMSE）是一種用于衡量預(yù)測圖像與真實圖像之間差異的指標(biāo)。RMSE 的值越小，表示預(yù)測圖像與真實圖像之間的差異越小，融合精度越高。具體可以使用式（2）進(jìn)行表示：

式（2）中，h表示圖像的高，w表示圖像的寬，L表示真實圖像，表示重建的預(yù)測時刻圖像。

（2）光譜角

光譜角（spectral angle mapper，SAM）用于衡量預(yù)測圖像與真實圖像之間不同波段的光譜相關(guān)程度，SAM 的值越小，兩張圖像越相似。具體如公式（3）所示：

式（3）中，N表示圖像波段的數(shù)量，M表示圖像像元的數(shù)量，yi表示真實圖像的第i個像元，表示重建圖像的第i個像元。

（3）結(jié)構(gòu)相似度

結(jié)構(gòu)相似度（structure similarity index measure，SSIM）廣泛用于計算機(jī)視覺領(lǐng)域，通過均值、標(biāo)準(zhǔn)差和協(xié)方差來綜合衡量兩張圖像的相似度。SSIM 的值越大，說明兩幅圖像在紋理結(jié)構(gòu)上更相似。具體可以使用式（4）表示：

式（4）中，表示重建預(yù)測時刻圖像與真實圖像之間的協(xié)方差，σy和σy＾分別為真實圖像與預(yù)測圖像的標(biāo)準(zhǔn)差，μy和μy＾分別為真實圖像與預(yù)測圖像的均值，C1和C2是額外添加的非零常數(shù)項，避免出現(xiàn)分母為0 的情況。

2.3 實驗過程與結(jié)果

本文針對洪水區(qū)域數(shù)據(jù)選取了GAN-STFM、BiaSTF 和MLFF-GAN 三種基于深度學(xué)習(xí)的時空融合算法，采用RMSE、SAM 和SSIM 三個評價指標(biāo)對融合結(jié)果進(jìn)行評估，具體結(jié)果見表1。綜合評價來看，BiaSTF 算法的表現(xiàn)最差，而MLFF-GAN 算法的表現(xiàn)最佳。在各指標(biāo)中：GANSTFM 算法獲得了SAM 的最優(yōu)值，表明重建圖像與真實圖像光譜之間的差異最??；而MLFF-GAN 算法的結(jié)果顯示，在像素差異和結(jié)構(gòu)相似性方面與真實圖像的擬合度最高。

表1 融合精度評估

本文對不同算法重建圖像的結(jié)果進(jìn)行了進(jìn)一步可視化分析，如圖4 所示。分析顯示：BiaSTF 算法在洪水區(qū)域邊界產(chǎn)生了大量錯誤細(xì)節(jié)，重建效果明顯較差；GANSTFM 算法雖然在某些區(qū)域可以較好地進(jìn)行重建，但在左側(cè)洪水大面積淹沒地區(qū)表現(xiàn)不佳；MLFF-GAN 算法雖然在精度評估中取得了最佳結(jié)果，但在洪水區(qū)域的重建方面仍存在不足。

圖4 三種算法重建圖像比較

3 結(jié)語

高時空分辨率的遙感圖像為監(jiān)測洪水災(zāi)害提供了可靠的途徑。為了能夠獲取具有高時空分辨率的遙感圖像，本文選取GAN-STFM、BiaSTF 和MLFF-GAN 三種算法，以LGC 數(shù)據(jù)集為研究對象展開對洪澇災(zāi)害地域時空數(shù)據(jù)融合算法的性能評估與對比研究。結(jié)果表明三種算法可以用于洪水監(jiān)測中，MLFF-GAN 算法雖然在融合精度評估方面表現(xiàn)最佳，但是無法有效重建洪水區(qū)域；BiaSTF 算法考慮了傳感器差異，雖然能夠重建洪水區(qū)域，但無法準(zhǔn)確重建邊緣細(xì)節(jié)，GAN-STFM 算法只能重建部分洪水區(qū)域。綜上，進(jìn)一步的研究方向可以聚焦于優(yōu)化現(xiàn)有算法和探索混合方法，以實現(xiàn)更高的融合精度和洪澇災(zāi)害管理的魯棒性。