摘要：主要研究了遙感圖像應(yīng)用中的重要問題，特別是云遮擋可能導(dǎo)致數(shù)據(jù)準確性下降的情況。為了克服這一問題，采用了組卷積、多頭自注意力機制和生成對抗網(wǎng)絡(luò)，構(gòu)建了一種端到端的遙感圖像去云網(wǎng)絡(luò)。通過在RICE數(shù)據(jù)集上的實驗證明，研究的方法在解決云層遮擋問題方面表現(xiàn)顯著，成功生成了清晰且無云的遙感圖像?？傮w而言，為水利工程和遙感圖像處理領(lǐng)域提供了一種高效的解決方案，尤其在空間信息利用、計算和參數(shù)優(yōu)化方面具備明顯優(yōu)勢。

關(guān)鍵詞：遙感""生成對抗網(wǎng)絡(luò)""自注意力機制""去云

中圖分類號：TP751

Research"on"the"Cloud"Removal"of"Remote"Sensing"Images"Based"on"the"GAN"Network

HUANG"Guangrui""SHEN"Runhan

Zunyi"Survey"and"Design"Institute"of"Water"Conservancy"and"Hydropower"Co.，"Ltd.，"Zunyi，Guizhou"Province，"563000"China

Abstract："This"article"mainly"studies"a"crucial"issue"in"the"application"of"remote"sensing"images，"especially"the"situation"that"cloud"occlusion"can"lead"to"the"degradation"of"data"accuracy."In"order"to"address"this"problem，"this"article"uses"group"convolution，"the"multi-head"self-attention"mechanism"and"the"generative"adversarial"network"to"construct"an"end-to-end"cloud"removal"network"of"remote"sensing"images."Experiments"on"the"RICE"dataset"demonstrate"that"the"proposed"approach"has"a"significant"effect"in"solving"the"problem"of"cloud"occlusion，"and"successfully"generates"clear"and"cloud-free"remote"sensing"images，"which"provides"an"effective"solution"for"the"field"of"hydraulic"engineering"and"remote"sensing"image"processing"overall，"and"especially"has"its"obvious"advantages"in"the"utilization，"computation"and"parameter"optimization"of"spatial"information.

Key"Words："Remote"sensing；"Generative"adversarial"network；"Self-attention"mechanism；Cloud"removal

近年來，遙感圖像廣泛應(yīng)用于土地勘測等領(lǐng)域。然而，當遙感影像受到云陰影污染時，地面覆蓋信息可能因稀疏而受到影響，甚至?xí)缓裰氐脑茖油耆趽酢Ｒ虼?，如何有效去除遙感圖像中的云陰影問題成為一個重要的研究課題。在處理云陰影問題時，薄云和厚云的區(qū)別需要得到充分考慮。去除薄云可以利用自然圖像去霧等方法，而厚云的去除相對較為困難，尤其是在大面積厚云的情況下。當前的云去除方法主要可分為兩類，基于修復(fù)的方法通過patch搜索受云污染區(qū)域鄰近的有效像素，而基于多光譜的方法則利用同一多光譜圖像的無云帶來估計多云帶和無云帶之間的關(guān)系。然而，這些方法在處理厚云時存在一定難度。因此，本文引入了卷積神經(jīng)網(wǎng)絡(luò)和多頭自注意力機制，以提高對遙感影像的特征提取能力，特別是對云陰影孔洞的準確提取。同時，通過引入對抗生成網(wǎng)絡(luò)，實現(xiàn)了對無云圖像的生成，為解決遙感圖像云陰影問題提供了一種端到端的解決方案。

1相關(guān)工作

現(xiàn)有的云去除方法主要分為三類：傳統(tǒng)的基于統(tǒng)計學(xué)的方法、機器學(xué)習(xí)方法以及深度學(xué)習(xí)方法。傳統(tǒng)的基于統(tǒng)計學(xué)的方法包括主成分分析法（Principal"Component"Analysis，PCA）[1]、最小二乘法（least"sqaure"method，LSM）、多光譜指數(shù)法[2]、光譜角度匹配法[3]和閾值法。這些方法在特定場景和特定類型的云遮擋下表現(xiàn)各異，選擇適當?shù)姆椒ㄐ杩紤]圖像特性和用戶需求。然而，傳統(tǒng)方法需要手工設(shè)計特征，在處理復(fù)雜的地物覆蓋和不同云遮擋類型時性能可能較差，對遙感圖像中復(fù)雜的非線性關(guān)系也較難處理。機器學(xué)習(xí)方法包括支持向量機（Support"Vector"Machine，SVM）[4]和隨機森林[5]，它們能適應(yīng)不同地物覆蓋和云遮擋類型，具有較好的泛化能力。機器學(xué)習(xí)方法通常能夠從訓(xùn)練數(shù)據(jù)中學(xué)到模式，且一些算法的決策過程相對透明，易于解釋和理解。然而，機器學(xué)習(xí)方法對數(shù)據(jù)質(zhì)量較為敏感，噪聲或異常值可能影響模型性能。深度學(xué)習(xí)方法如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional"Neural"Network，CNN）[6]在處理遙感圖像中表現(xiàn)出色，通過設(shè)計適當?shù)木W(wǎng)絡(luò)結(jié)構(gòu)，CNN能夠?qū)W習(xí)圖像中的特征，生成對抗網(wǎng)絡(luò)（Generative"Adversarial"Networks，GANs）[7]由生成器和鑒別器兩部分組成，通過對抗學(xué)習(xí)自主學(xué)習(xí)數(shù)據(jù)分布，具有通用性和調(diào)優(yōu)能力。例如：CGAN通過聯(lián)合使用監(jiān)督學(xué)習(xí)和對抗學(xué)習(xí)方式，使模型能夠獲得更優(yōu)的處理效果。這種特性使CGAN在圖像去雨、圖像去霧等問題上得到廣泛應(yīng)用。

2方法

本文設(shè)計了端到端基于多頭注意力去云網(wǎng)絡(luò)，它是一種encoder-decoder結(jié)構(gòu)，從網(wǎng)絡(luò)結(jié)構(gòu)上具體來說首先通過組卷積來提取特征圖，接著經(jīng)過了一個1×1步長為1的卷積，然后經(jīng)過了3×3步長為1的卷積，然后再依次經(jīng)過兩層組卷積，在encoder的最后一層，本文設(shè)計了多頭注意力模塊，能夠提取特征之間遠距離的信息，接著便是decoder，同樣是經(jīng)過一個1×1卷積，一個3×3卷積，然后再通過兩個1×1卷積和一個3×3卷積，最后再經(jīng)過組卷積，最后輸出生成的結(jié)果，即去云的圖像，網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。因為在encoder-deocder網(wǎng)絡(luò)中，存在大量的冗余信息，本文引入了組卷積，能有效降低參數(shù)量。

2.1"組卷積

組卷積是卷積神經(jīng)網(wǎng)絡(luò)中的一種操作，它引入了組的概念。相比標準卷積操作，組卷積將輸入和輸出通道劃分為多個組，每組內(nèi)的通道共享一組卷積核。具體來說，將輸入通道和輸出通道分為G組，每組有相應(yīng)的輸入和輸出通道數(shù)。每組使用一組卷積核進行卷積，這些卷積核分別處理組內(nèi)的通道，輸出是每個組內(nèi)通道卷積結(jié)果的疊加。這種設(shè)計降低了網(wǎng)絡(luò)參數(shù)量，提高了計算效率，特別適用于要求模型大小和計算效率的場景。通過選擇適當?shù)慕M數(shù)量，可以在減少參數(shù)量的同時保持一定的網(wǎng)絡(luò)表達能力。

2.2"多頭自注意力機制

多頭自注意力機制是深度學(xué)習(xí)模型中處理序列數(shù)據(jù)的重要組件，尤其在自然語言處理和計算機視覺中廣泛應(yīng)用。最初引入于Transformer模型，它通過多個注意力頭的引入，提高了模型對序列中不同位置信息的捕捉能力。傳統(tǒng)自注意力機制通過將輸入序列的每個元素與所有其他元素關(guān)聯(lián)，捕捉序列內(nèi)部的長距離依賴關(guān)系。而多頭自注意力機制則通過多個頭學(xué)習(xí)不同的關(guān)注焦點，增強了對多種關(guān)系的感知能力。這使得模型能夠同時關(guān)注序列中的多個位置，更好地捕捉序列內(nèi)部的復(fù)雜關(guān)系。在遙感圖像去云任務(wù)中，多頭自注意力機制使網(wǎng)絡(luò)能夠更好地理解云覆蓋區(qū)域和無云區(qū)域之間的復(fù)雜關(guān)系，通過同時關(guān)注圖像不同位置的特征，有效地處理大范圍的上下文信息，對云的準確去除至關(guān)重要。

2.3"生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（GAN）是一種深度學(xué)習(xí)模型，由生成器和鑒別器兩部分組成。生成器負責(zé)生成偽造的數(shù)據(jù)，而鑒別器則負責(zé)區(qū)分真實數(shù)據(jù)和生成器生成的偽造數(shù)據(jù)。二者通過對抗學(xué)習(xí)的方式共同提高性能，使生成器能夠生成更逼真的數(shù)據(jù)，而鑒別器則變得更加準確。在遙感圖像去云中，生成對抗網(wǎng)絡(luò)可以被設(shè)計為生成無云的遙感圖像。在訓(xùn)練過程中，生成器努力生成看起來像真實無云圖像的圖像，而鑒別器努力區(qū)分真實無云圖像和生成器生成的圖像。這使得生成器學(xué)到去除云的特征，可以用于實際遙感圖像的去云。

3"實驗

3.1實驗數(shù)據(jù)集

深度學(xué)習(xí)方法在云去除領(lǐng)域應(yīng)用相對較少的一個重要原因是缺乏用于訓(xùn)練的數(shù)據(jù)集。因此為了促進遙感圖像去云技術(shù)的研究，提供了一個名為Remote的開源數(shù)據(jù)集。RICE數(shù)據(jù)集[8]由兩個子集組成，分別是RICE1和RICE2。RICE1數(shù)據(jù)集包含500個數(shù)據(jù)樣本，其中包括多云圖像和無云圖像，分辨率為512×512。該數(shù)據(jù)集通過Google"Earth收集，并通過設(shè)置云層是否顯示來獲取。這一數(shù)據(jù)集的建立旨在為研究人員提供一個有針對性的、用于深度學(xué)習(xí)方法培訓(xùn)的資源，以推動遙感圖像去云技術(shù)的發(fā)展。

3.2訓(xùn)練

關(guān)于RICE數(shù)據(jù)集的實驗，本文采用了Nvidia"3060"12GB顯卡。在RICE1數(shù)據(jù)集中，實驗選擇了400張圖像作為訓(xùn)練集，以及100張圖像作為測試集。在RICE2數(shù)據(jù)集中，實驗選擇了500張圖像進行訓(xùn)練，并使用150張圖像進行測試。在訓(xùn)練模型的過程中，本研究將學(xué)習(xí)速率設(shè)置為0.000"3，批處理大小設(shè)置為1，epoch設(shè)置為500。同時，模型選擇了Adam優(yōu)化器，并設(shè)置了beta為0.000"1。這一實驗設(shè)置旨在在有限的訓(xùn)練資源下，有效地訓(xùn)練模型并在測試集上獲得準確的性能評估。

3.3結(jié)果

本文的去云網(wǎng)絡(luò)在遙感圖像去云任務(wù)中取得了顯著的成果，其效果展示如圖1所示。

通過提出的方法，本文成功解決了云層遮擋問題，為遙感圖像提供了清晰、無云的視野。在這一過程中，特別關(guān)注空間信息的考慮，使網(wǎng)絡(luò)能夠更好地預(yù)測和處理云層的遮擋情況?？傮w來說，本文的遙感圖像去云網(wǎng)絡(luò)在多個方面都展現(xiàn)了優(yōu)勢。其顯著效果、對空間信息的充分利用以及在計算和參數(shù)方面的優(yōu)化，為遙感圖像處理領(lǐng)域帶來了一種更為有效和可行的解決方案。

4結(jié)語

在本研究中，專注于解決遙感圖像中的云陰影問題，采用了卷積神經(jīng)網(wǎng)絡(luò)、多頭自注意力機制和生成對抗網(wǎng)絡(luò)構(gòu)建端到端的遙感圖像去云網(wǎng)絡(luò)。通過實驗證明，本文的方法顯著改善了遙感圖像的質(zhì)量，成功解決了云層遮擋問題。這一研究為遙感圖像實際應(yīng)用和遙感圖像處理提供了高效的解決方案，凸顯了在空間信息利用、計算和參數(shù)優(yōu)化方面的優(yōu)勢。未來，將繼續(xù)優(yōu)化模型，拓展數(shù)據(jù)集，以推動遙感圖像處理技術(shù)的進一步發(fā)展。

參考文獻

[1] 劉輝，謝天文.基于PCA與HIS模型的高分辨率遙感影像陰影檢測研究[J].遙感技術(shù)與應(yīng)用，2013（1）：7.

[2] 王茹月，周航宇.直方圖雙峰法在遙感影像水體提取中的研究與改進[J].測繪通報，2023（9）：77-81.

[3] 葉昕，秦其明，王俊，等.結(jié)合數(shù)學(xué)形態(tài)學(xué)與多角度模板匹配的高分辨率遙感圖像救災(zāi)帳篷識別[J].測繪通報，2015（1）：4.

[4] 宋一明，鞠哲.一種基于動態(tài)類中心模型選擇的模糊支持向量機[J].大連理工大學(xué)學(xué)報，2023，63（2）：199-204.

[5] 帥爽，張志，張?zhí)?，?特征優(yōu)化結(jié)合隨機森林算法的干旱區(qū)植被高光譜遙感分類方法[J].農(nóng)業(yè)工程學(xué)報，2023，39（9）：287-293.

[6] 云濤，潘泉，郝宇航，等.基于HRRP時頻特征和多尺度非對稱卷積神經(jīng)網(wǎng)絡(luò)的目標識別算法[J]."西北工業(yè)大學(xué)學(xué)報，2023，41（3）：537-545.

[7] 吳家皋，章仕穩(wěn)，蔣宇棟，等.基于狀態(tài)精細化長短期記憶和注意力機制的社交生成對抗網(wǎng)絡(luò)用于行人軌跡預(yù)測[J].計算機應(yīng)用，2023，43（5）：1565-1570.

[8]LIN"D，"XU"G，"WANG"X，"et"al."A"Remote"Sensing"Image"Dataset"for"Cloud"Removal[J]."ArXiv，"abs，"2019，1901.00600.