楊昌軍 張秀再 張晨 馮絢 劉瑞霞

1 中國氣象局國家衛(wèi)星氣象中心/中國遙感衛(wèi)星輻射測量和定標重點開放實驗室，北京 100081

2 南京信息工程大學江蘇省大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心，南京 210044

3 南京信息工程大學電子與信息工程學院，南京 210044

4 中國科學院空間應用工程與技術中心，北京 100094

1 引言

近年來，隨著遙感技術的快速發(fā)展，各類遙感衛(wèi)星影像所包含的信息越來越豐富，在農業(yè)生產、自然災害預測、軍事科技、地理測繪、水利交通等領域應用得越來越廣泛。其中，衛(wèi)星遙感資料的定量應用離不開云檢測（Irish et al., 2006; He et al.,2009; Angel et al., 2016）。光學遙感圖像中，由于云和云陰影（簡稱“云影”）的光譜范圍（包括藍、綠、紅、近紅外波段）有限，云影檢測也是光學遙感圖像中定量應用的難點之一（Zhu and Helmer,2018）。

早期的云檢測方法主要是基于像元光譜特征，結合閾值（Cihlar and Howarth et al., 1994； 楊昌軍等，2008；Oreopoulos et al., 2011； van Zyl Marais et al., 2011； Goodwin et al., 2013； Shao et al., 2017；王權等，2018）來確定云像元。像元的各種光譜特征通常是通過大量的人工樣本分析得到；基于閾值的云檢測方法通常只利用低層次的光譜信息，且對下墊面和云覆蓋范圍具有較強的敏感性，忽略了較多高層次的空間信息，易產生誤檢（Ozkan et al.,2018）；光學遙感圖像中，光譜特征與其他低反照率地物的相重疊（Braaten et al., 2015），利用光譜特征也很難將云與一些高反照率地物（如雪、白色建筑物）區(qū)分開來（Fisher, 2014）。這些因素最終決定了光學遙感圖像中云檢測工作的復雜性和艱巨性。

大數據及機器學習技術的出現，大大節(jié)省了勞動成本，讓云檢測這種復雜性的工作由計算機來實現成為了可能，于是基于機器學習的云檢測方法研究越來越多（Tan et al., 2016）。不過，這些基于機器學習的方法，一般依賴于人工樣本特征和簡單分類器，且語義級別信息（顏色、形狀、概念等）利用較少（Xu et al., 2013; Li et al., 2015; Hu et al.,2015）。隨著深度神經網絡在諸多領域的迅速發(fā)展，其強大的分割能力得到了廣泛認可，基于深度學習的云檢測方法也引起了人們的關注。深度學習方法中輸入的不同層次特征圖代表不同的語義信息。低層次的特征圖能代表低層語義信息（含有更多的顏色、紋理和形狀等細節(jié)），分辨率高，幾何細節(jié)信息的表征能力強，能提高語義分割質量，但是語義信息的表征能力弱，網絡的感受野較小，適合小尺度目標的學習；高層次的特征圖代表高層語義信息（如概念等信息），分辨率低，幾何信息的表征能力弱（空間幾何特征細節(jié)缺乏），但網絡感受野較大，能光滑分割結果，適合對大尺度目標進行深入學習（Liu et al., 2016）。因此，多尺度（層次）特征圖的融合成為必然，這也為基于深度學習的云檢測工作指出了前進方向。

目前，多尺度特征圖融合已有很多：Shi et al.（2016）將超像素分割應用于云檢測；Wu and Shi（2018）利用深度卷積神經網絡中獲取云概率圖，再通過復合圖像濾波技術得到細化的高分一號云掩模；Mohajerani and Krammer（2018）使用了全卷積神經網絡（FCN）方法進行云檢測等等。對于光學圖像中的云影檢測，Chai et al.（2019）使用一種自適應的SegNet 方法來檢測Landsat 圖像中的云影，Xu et al.（2019）使用深度殘差網絡對遙感圖像中的云影進行檢測。遺憾的是，上述云影影檢測方法云細節(jié)丟失較為嚴重，且在云陰影邊界的精細檢測方面存在較大難度。這種細節(jié)丟失現象表明低層特征信息未得到充分利用，也說明基于深度學習的云檢測技術中，高層和低層語義信息融合仍有不足。

針對這一問題，本研究基于多尺度融合技術，利用殘差模塊（Res.block）、多尺度卷積（Multiscale Convolution Module，MCM）模塊和多尺度特征模塊（Multi-scale Feature Module，MFM）構建多尺度特征融合網絡（Multi-scale Feature Fusion Network，MFFN）模型的云檢測方法，實現遙感影像中云影的高精度檢測，并獲取其精細邊緣。同時，本工作可為深度學習技術應用于衛(wèi)星云圖的業(yè)務云檢測提供理論基礎和技術支持。

2 原理與方法

本文提出的多尺度特征融合分割網絡由殘差模塊、多尺度卷積模塊、多尺度特征模塊等構成。以下分別介紹殘差模塊、多尺度卷積模塊、多尺度特征模塊及整個網絡結構和工作原理。

2.1 殘差模塊

殘差模塊是構建編碼器的重要組成部分，如圖1 所示，在3×3 的卷積（Conv）前后各增加一個1×1 的卷積。該模塊工作原理為：輸入信息分別經過連續(xù)的3 個卷積（即圖1 中Conv 系列模塊）與跳躍連接（圖1 中左側實線）流程后，再進行相加融合（Sum Fusion），然后使用leaky_ReLU 激活函數并輸出信息。相對于使用兩個連續(xù)的3×3卷積的常規(guī)Res.block 模塊，該模塊可有效減少網絡參數，加快網絡收斂速度，并能抑制隨著網絡深度的加深出現退化的現象。

圖1 多尺度特征融合分割網絡的殘差模塊示意圖Fig. 1 Diagram of the Res.block (residual block) module in the MFFN(multiscale feature fusion network). Conv. 1*1 and Conv. 3*3 denote a 1×1 convolution and 3×3 convolution, respectively, and leaky_ReLU is the activation function

2.2 多尺度卷積（MCM）模塊

如圖2 所示，該模塊（共四層），包含三個擴張卷積，卷積核大小分別為1×1、3×3、5×5，擴張卷積可以增大神經網絡的感受野，擴張卷積的卷積核計算公式定義為

圖2 多尺度特征融合分割網絡的多尺度卷積模塊示意圖Fig. 2 Diagram of the MCM (multiscale convolution module) in the MFFN. Conv. 5*5 denotes a 5×5 convolution

式中，K為空洞卷積核尺寸，r為擴張率，k為原始卷積核尺寸。三個卷積使用的擴張率分別為1、2、4，將三個卷積提取的特征進行特征融合（Concat）。該模型將編碼器提取的信息（圖2 中自上而下第一層）通過不同的卷積核（第二層）得到不同的采樣特征圖（第三層），之后進行特征融合（Concat）。通過使用三個不同的卷積核提取特征，與沒有多尺度卷積模塊的Resunet 算法相比，獲得了更加豐富的空間信息與語義信息，可使得分割結果邊界更加精細。

2.3 多尺度特征（MFM）模塊

本模塊類似于金字塔池化（Pooling）模型PPM（Zhao et al., 2017），其功能是提取圖像的多尺度特征，處理檢測過程中的尺度變化問題，提高細節(jié)檢測的魯棒性。如圖3 所示，該模塊通過四個并聯的平均池化進行下采樣，獲得的大小分別為8×8、6×6、2×2 和1×1 的特征圖（圖3 中左列實心長方體為其示意圖），之后通過雙線性插值的方法將池化后的特征圖上采樣（Up）為相同的大小的特征圖（圖3 中間4 個等大小的長方體為其示意圖），之后進行特征融合（Concat），進而實現多尺度特征融合的功能。

圖3 多尺度特征融合分割網絡的多尺度特征模塊示意圖Fig. 3 Diagram of the MFM (Multiscale feature module) in the MFFN. Up denotes upsample operation, and Concat denotes feature concatenate

2.4 多尺度特征融合分割網絡

該網絡總體框架如圖4 所示。本網絡主要由編碼器（由四個殘差模塊結合池化組成）、四個多尺度卷積模塊、一個多尺度特征模塊和解碼器（含4個特征融合模塊、卷積模塊及上采樣過程）等組成。網絡的輸入為256×256×N（前兩個數為數據的維度，N為數據的通道數，如RGB 圖像中N為3）的Landsat8 遙感影像。網絡中使用的池化步長為2、濾波器大小為2 的平均池化。編碼器的最后一層輸入MFM 模塊，將經過MFM 內的四個下采樣特征再分別通過1×1 的卷積進行降維到輸入MFM 時的1/4，之后通過雙線性插值的方法進行上采樣，使得四個特征映射圖大小相同，之后將最后一個Res.block 模塊的輸出與MFM 模塊的輸出特征圖進行特征融合，以此獲得多尺度上下文信息。每個Res.block 模塊的輸出經過一個MCM 模塊以獲得多尺度卷積后的特征，可使云與云陰影邊界信息提取的更加完整。MCM 模塊輸出端直接連接解碼器。解碼器模塊獲得的特征圖通過雙線性插值進行上采樣后再通過一個1×1 的卷積進行降維，之后與MCM 模塊的輸出特征進行特征融合。最后將解碼器各層的輸出通過豐富的跳躍連接進行特征融合，融合后的特征最后輸入分類器進行分類?？蓪崿F端到端、像素到像素的語義分割功能，即輸入數據與輸出特征圖大小相同，實現將影像中的每個像元分別分為云像元、云陰影像元和晴空像元。

圖4 多尺度特征融合分割網絡示意圖Fig. 4 Diagram of the MFFN. Pooling denotes reducing the size of the feature map

由于本算法需要解決的是多分類問題，所以在判斷每個像元類分布的概率值時使用歸一化指數函數Softmax 函數，并利用Softmax 函數計算損失（loss）值，損失函數J(θ)定義為

其中，yi為類別標簽，有K個不同取值，將遙感圖像分割成云、云陰影以及晴空屬于三分類問題，所以此處K=3，hi為輸入圖像像素觀測向量H={h1,h2,h3···hm}中的元素， θ為模型參數，m為圖像的像素數，1 {}為顯性函數。

3 試驗與評價

3.1 數據來源

試驗中使用的數據為Landsat8 SPARCS 遙感衛(wèi)星影像（Hughes and Hayes, 2014）數據集，并以其網站提供的云檢測標簽（含云、云陰影及晴空三類）數據作為絕對標準數據。由于數據包含信息有限，首先對數據進行增強，包括裁剪、旋轉等方式，如圖5 所示。將增強后的Landsat8 遙感數據裁剪為大小256×256 的圖像塊，共6800 張，其中隨機選取6000 張作為訓練集，800 張作為測試集。訓練樣集數據的多少決定于試驗中收斂參數的設定（見3.2 節(jié)試驗參數設置）。在制作標簽圖像的過程中，標簽圖像要與訓練數據做相同的旋轉、翻轉等操作，以實現對每個像元進行監(jiān)督訓練，分別用灰度值0、128 和255 代表晴空像元、云陰影像元和云像元，即三分類對應的三種標簽。試驗中使用的圖像塊與其對應的標簽如圖6 所示。從圖6 中可看出圖像塊中的每個像元都有其對應的標簽，標簽的準確與否影響著網絡是否能有效地提取信息。

圖5 Landsat8 SPARCS 遙感衛(wèi)星影像數據的增強操作：（a）RGB 三通道合成、（b）垂直旋轉、（c）水平旋轉、（d）水平并垂直旋轉Fig. 5 Data augmentation operations of the Landsat8 SPARCS remote sensing satellite image experimental data: (a) RGB tri-channel composite image, (b) vertical flip, (c) horizontal flip, (d) horizontal and vertical flip

圖6 Landsat8 SPARCS 遙感衛(wèi)星影像數據示例：（a）RGB 三通道合成、（b）真值。圖b 中白色、灰色、黑色分別表示云、云陰影、晴空Fig. 6 Examples of the Landsat8 SPARCS remote sensing satellite image data: (a) RGB tri-channel composite image, (b) the truth. In Fig. b, white,gray, and black denote cloud, cloud shadow, and clear sky, respectively

3.2 試驗環(huán)境

試驗軟件環(huán)境采用的是深度學習框架Keras，編程語言為Python。硬件環(huán)境為處理器Intel i7 8700，內存為32G，圖像處理器（GPU）為GeForce GTX 1080，顯存為8G 的PC 機（personal computer）。

3.3 試驗參數設置

輸入數據為3 通道合成云圖，學習率為0.0001，批量大小為8，設置動量大小 β1=0.9 和 β2=0.999 對學習率進行衰減以防止出現過擬合現象，每迭代10 個完整訓練（epoch）學習率減小為原來的十分之一，最小學習率設置為0.0000001。當代價函數損失收斂、趨于平穩(wěn)且訓練集與驗證集的各項指標（準確率、平均交并比）取得最高值時，經過5個epoch 保存最優(yōu)模型并自動停止訓練，共迭代50 個epoch。

3.4 參照試驗

為了說明本文構建的多尺度特征融合算法的有效性，本文選擇兩種基于機器學習的云檢測方法作為參照進行試驗。它們分別是：基于傳統(tǒng)無監(jiān)督學習的“K均值聚類”（也稱“K-means”）（張建萍和劉希玉，2007）云檢測方法和基于殘差學習U 型卷積神經網絡（簡稱ResU-Net 或Resunet）（梁舒，2018）的云檢測方法。其中K-means 算法具有良好的穩(wěn)定性，可亂序處理數據，避免亂序帶來的問題，并獲得較好效果，是一種經典的聚類算法；Resunet 算法檢測精度高、誤檢率較低，在薄云及碎云的場景中有著優(yōu)于U-Net 的表現。將上述兩種算法與本文提出的MFFN 算法作對比試驗，具有重要的意義。

3.5 結果評價

3.5.1 評價指標

本試驗采用5 個目前AI 識別技術常用的指標，定量評價云檢測方法的有效性。它們分別是精確率PPre、召回率RRec、準確率AAcc、調和均值F1score以及平均交并比MIoU，其定義表達式分別為

其中，CCC是正確檢測為云像元的個數，CCN是云像元誤檢測為非云像元的個數，CNC是非云像元誤檢測為云像元的個數，CNN是正確檢測為非云像元的個數。在計算云各項指標時，將云陰影像元劃分為晴空像元；在計算云陰影的各項指標時，將云像元劃分為晴空像元。

3.5.2 定性評價

圖7 為本文算法、K-means 算法、Resunet 算法對Landsat8 遙感影像數據集云和云陰影檢測視覺對比（碎云），原圖中有較多的積云伴隨著云陰影，形狀無規(guī)則，易對檢測結果產生干擾。由圖7可看出，K-means 算法云漏檢較多，且云與云陰影邊緣檢測不夠精細，在對云陰影的檢測過程中細節(jié)丟失較為嚴重；Resunet 算法云陰影存在部分細節(jié)丟失；本文算法能有效地檢測云及云陰影，在對云與云陰影邊緣檢測結果較為精細，不易受下墊面的干擾，且對細小的云區(qū)也能夠取得較好的檢測結果，最終的誤檢率較低。由于本算法可提取更多有效特征，從而在視覺檢測結果上更接近真實值。

圖7 云和云陰影檢測視覺對比（碎云）：（a）RGB 三通道合成；（b）K-means 檢測結果；（c）Resunet 檢測結果；（d）多尺度特征融合網絡檢測結果；（e）云和云陰影真實結果Fig. 7 Visual comparison of cloud and cloud shadow detection (the small piece of cloud): (a) RGB tri-channel composite image; (b) K-means detection result; (c) resunet detection result; (d) MFFN detection result; (e) cloud and cloud shadow truth result

圖8 為本文算法、K-means 算法、Resunet 算法對Landsat8 遙感影像數據集的云和云陰影檢測視覺對比（冰/雪場景），原圖中含有大量高亮度的冰/雪（三通道合成圖中藍色部分為冰雪區(qū)）易對云區(qū)的檢測產生干擾，增加了云與云陰影檢測難度。從圖8 可看出，K-means 算法無法將冰/雪與云區(qū)分開，且對云陰影結果中細節(jié)丟失嚴重；Resunet 算法能夠較好的將云與冰/雪區(qū)分開，但云與云陰影檢測結果邊緣較為平滑，丟失細節(jié)較多，影像中存在部分云陰影誤檢和少量薄云漏檢情況。本文算法可有效區(qū)分云與冰/雪，不易受到干擾，同時對云陰影的檢測也取得了較好的結果，總體優(yōu)于K-means 算法與Resunet 算法。

圖8 云和云陰影檢測視覺對比（冰/雪場景）：（a）RGB 三通道合成；（b）K-means 檢測結果；（c）Resunet 檢測結果；（d）多尺度特征融合網絡檢測結果；（e）云和云陰影真實結果Fig. 8 Visual comparison of cloud and cloud shadow detection (ice/snow scene): (a) RGB tri-channel composite image; (b) K-means detection result;(c) resunet detection result; (d) MFFN detection result; (e) cloud and cloud shadow truth result

圖9 為本文算法、K-means 算法、Resunet 對Landsat8 遙感影像數據集的云陰影檢測視覺對比。由圖9 可知，K-means 算法對云陰影檢測的結果中誤差較大，細節(jié)丟失較為嚴重；本文算法對云陰影的檢測取得了較好的結果，其檢測結果明顯優(yōu)于Kmeans 算法與Resunet 算法，能夠將云陰影的邊緣細節(jié)較為準確地檢測出，視覺上更接近于真實值。

圖9 云陰影檢測視覺對比：（a）RGB 三通道合成；（b）K-means 檢測結果；（c）Resunet 檢測結果；（d）多尺度特征融合網絡檢測結果；（e）云陰影真實結果Fig. 9 Visual comparison of cloud shadow detection: (a) RGB tri-channel composite image; (b) K-means detection result; (c) resunet detection result;(d) MFFN detection result; (e) cloud shadow truth result

從云和云陰影檢測視覺對比圖中可看出，本文算法與K-means 算法和Resunet 算法相比具有明顯的優(yōu)勢，對積云、碎云以及具有復雜下墊面的云都具有較好的檢測結果，對云陰影的邊緣也能夠準確地提取。

3.5.3 定量評價

（1）檢測精度分析：表1 和表2 分別為三種算法對Landsat8 遙感圖像云和云陰影檢測定量評價指標。可以看到，表1 中K-means 算法各項評價參數較低，各項指標比本文構建方法的評價參數均低0.08 以上；Resunet 算法云檢測精確率為0.9369，比本文構建的MFFN 算法獲得的云檢測精確率0.9351 高出近0.002，但其他4 個評價參數均比MFFN 算法的評價參數低近0.006 甚至以上，其中均交并比（mIoU）更是比MFFN 算法的低0.05 以上。這些數值比較表明，相對于其他兩種方法，MFFN 算法的云檢測精度最好。

從表2 中可知，MFFN 算法對云陰影的檢測也能取得較好的結果，Resunet 算法的評價參數明顯好于K-means 算法的各項參數，云陰影的識別精確率為0.7863，比K-means 的云陰影精確率高0.16，準確率高出K-means 的評價參數0.03，其他參數差值在這兩者之間。同時，表2 也表明本文構建的MFFN 算法在云陰影檢測中各項參數最優(yōu)，其中云檢測準確率達0.9796，云陰影檢測準確率達0.8307，各項參數均高于Resunet 算法的相應參數0.018 以上。表1 和表2 的各項參數對比表明：MFFN 算法對云和云陰影的信息都能很好地提取。

表1 云檢測定量比較Table 1 Quantitative comparison of cloud detection

表2 云陰影檢測定量比較Table 2 Quantitative comparison of cloud shadow detection

三種方法對比可以看到，K-means 未使用多尺度特征融合方法，故而云和云陰影檢測精度評價的各項指標最低。由于Resunet 算法中缺乏多尺度特征提取，且在跳躍連接的過程中沒有使用多尺度卷積，雖然有特征融合，但仍丟失了大量的信息，致使對云的檢測5 個指標中僅云檢測精確率稍高于MFFN 算法，其他4 項參數均比MFFN 算法低；云陰影檢測的各項指標均低于MFFN 算法。

3 種方法評價參數顯示，云陰影檢測的各項精度評價指標均明顯低于云檢測的各項指標，可能是因為數據集中云陰影的信息相對較少，導致模型對云陰影的學習不夠充分，同時因為云陰影相對云而言其形狀不規(guī)則，且容易受到下墊面黑色物體（如建筑物的陰影、樹木、海洋等）的干擾，致使云陰影檢測結果不夠理想。

（2）網絡性能分析：本文MFFN 方法與Resunet 方法使用相同的數據集并設置相同的試驗參數進行訓練（K-means 方法無epoch 參數）。訓練迭代的次數與總準確度（Overall Accuracy）的關系如圖10 所示?？倻蚀_度（AOA）定義表達式為

圖10 MFFN 及Resunet 方法在不同迭代次數時，總體精度（Overall Accueacy）對比曲線Fig. 10 Comparison curves of overall accuracy of MFFN and Resunet method at different epochs

其中，Pii為每個類別的像元被正確檢測的個數，Pij為每個類別的像元被錯誤檢測的個數。MFFN方法共迭代50 個epoch 達到最優(yōu)模型，Resunet 方法共迭代55 個epoch 達到最優(yōu)模型。該結果表明MFFN 方法具有較好的網絡性能。

4 總結與展望

本文基于Landsat8 SPARCS 遙感衛(wèi)星影像數據，采用三通道合成圖為輸入數據，利用Res.block 模塊、多尺度卷積（MCM）和多尺度特征模塊（MFM）構建的多尺度特征融合網絡（MFFN），實現了較高精度的云細節(jié)與云陰影邊緣檢測。在下墊面中存在容易混淆的背景目標物時，仍能取得較好檢測結果，云檢測準確率達0.9796，云陰影檢測準確率達0.8307。其原因在于：MFFN網絡模型在提取較多信息時，有效地融合了底層空間語義信息與高層語義信息。以上試驗驗證并表明，三通道合成圖能夠有效實現較高精度的云檢測，這為傳統(tǒng)業(yè)務云檢測輸入參數調整和算法改進提供了參考。不過，本文試驗中云陰影檢測精度要明顯低于云檢測精度，可能與試驗所使用的數據集中包含云陰影特征較少有一定的關聯。下一步工作將使用包含更多云陰影信息的數據，著力于提高云陰影檢測精度并繼續(xù)優(yōu)化網絡模型。