隋淞蔓,夾尚豐,胡學謙
山東科技大學測繪與空間信息學院,青島 266590
高分六號衛(wèi)星是國家高分辨率重大專項衛(wèi)星,其上搭載了2 m 全色/8 m 多光譜高分辨率相機(PMS)和16 m 多光譜中分辨率寬幅相機(WFV)(黃建文等,2021)。高分六號衛(wèi)星相比之前高分系列衛(wèi)星增加了紫譜段(0.40—0.45 μm)、黃譜段(0.59—0.63 μm)、紅邊譜段1(0.69—0.73 μm)和紅邊譜段2(0.73—0.77 μm)4 個特殊波段(張磊等,2019),具有高分辨率和寬覆蓋相結合的特點(鄭利娟,2017)。
云遮擋是光學遙感影像中的常見現(xiàn)象,云層的存在使得工作者獲得的地物信息減少,降低影像的質(zhì)量(李彬等,2017),已經(jīng)成為制約光學遙感對地觀測能力的主要影響因素(Carslaw,2002;Goodwin 等,2013;Hagolle 等, 2010;Kazantzidis等,2011,2012;Li 等,2011)。因此,準確快速地實現(xiàn)GF-6 WFV 衛(wèi)星數(shù)據(jù)云檢測對其圖像的高效應用具有重要的意義。
衛(wèi)星傳感器的數(shù)量逐漸增多,衛(wèi)星影像的數(shù)量也隨之增加,大量的數(shù)據(jù)需要自動化的方法來對圖像進行預處理。神經(jīng)網(wǎng)絡(劉成林和吳炳方,2004;Dan 和Morrow,1998;Karlsso,1989;Clark,1999;Walder 和Maclaren,2000)具有從示例中學習并概括新數(shù)據(jù)的能力,由于其固有的高并行性,非常適合執(zhí)行實時決策和處理任務。學習算法、網(wǎng)絡架構、輸入和訓練集的選擇對于神經(jīng)網(wǎng)絡模型的準確性和可靠性起主導作用。以往的深度學習云檢測算法(Ball 等,2017;陳洋等,2018;邱夢等,2018;裴亮等,2019;么嘉棋等,2019)通常受樣本選擇精度、樣本數(shù)量和樣本的代表性等多個因素的限制,其推廣應用面臨較大困難。為了提高神經(jīng)網(wǎng)絡方法在云檢測中的利用效率,Sun 等(2020)提出了統(tǒng)一樣本支持的深度學習云檢測算法,基于光譜像元庫模擬出不同傳感器的表觀反射率數(shù)據(jù),對模擬的數(shù)據(jù)進行深度學習,實現(xiàn)了Landsat 8 OLI、NPP VIIRS 和Terra MODIS 等傳感器較高精度的云檢測。由于Landsat 8 OLI等傳感器波譜范圍寬,易獲取詳細的地物信息(Woodcock 和Strahler,1987;Chander 等,2009;Lee等,2004),從而實現(xiàn)較高精度的云識別。然而,GF-6 WFV的波長范圍集中在0.4—0.89 μm,在有限的波長范圍內(nèi),現(xiàn)有的高光譜數(shù)據(jù)庫模擬的多光譜云和晴空像元(陳震霆等,2018),難以體現(xiàn)云和晴空像元的光譜差異(呂明明等,2016),出現(xiàn)亮地表(陳曦東等,2019;Braaten等,2015)誤判現(xiàn)象。本文根據(jù)GF-6 WFV衛(wèi)星數(shù)據(jù)特點,在原有模擬數(shù)據(jù)的基礎上增加了GF-6 WFV 數(shù)據(jù)的典型亮地表像元,彌補地物特征提取的不足。實驗結果表明,該方法能有效提高原算法在GF-6 WFV數(shù)據(jù)上的云檢測精度。
統(tǒng)一樣本數(shù)據(jù)支持的深度學習云檢測算法基于AVIRIS 像元庫模擬出待測傳感器云和晴空像元的表觀反射率,用于不同傳感器的云檢測。其主要的工作內(nèi)容包括以下4部分。
(1)建立統(tǒng)一樣本像元庫。通過目視解譯的方法在AVIRIS 高光譜數(shù)據(jù)上采集云和晴空像元樣本。為了使選取的樣本具有代表性,在多幅不同地區(qū)、不同時段的AVIRIS 圖像上進行樣本采集。選取足夠數(shù)量不同類型的云像元樣本:厚云、碎云、薄云、云邊緣。同時還考慮了不同地表類型對云像元反射率的影響,選取了5 類晴空像元樣本:植被、水體、城鎮(zhèn)、云陰影以及其他。為了使所選樣本盡可能的全面,像元庫建立時,不僅云和下墊面的類型要考慮全面,像元數(shù)量也要足夠多。經(jīng)統(tǒng)計,最終共選取了398 塊區(qū)域的305485 個云像元和370 塊區(qū)域的461829 個晴空像元樣本(Sun等,2020)。
(2)多光譜數(shù)據(jù)模擬。多光譜數(shù)據(jù)模擬是基于高光譜AVIRIS 數(shù)據(jù)來模擬的。AVIRIS 數(shù)據(jù)共有224 個波段,波長范圍為0.2—2.4 um(范瀟,2011),光譜間隔為10 nm,具有作為數(shù)據(jù)模擬數(shù)據(jù)源的高光譜特性。數(shù)據(jù)模擬的本質(zhì)是對高光譜數(shù)據(jù)波段加權合成進而模擬出相對應波段的多光譜數(shù)據(jù)的表觀反射率。數(shù)據(jù)模擬多光譜數(shù)據(jù)的原理見式(1)(Sun等,2020):
式中,待模擬的多光譜數(shù)據(jù)波譜范圍內(nèi)高光譜傳感器的通道數(shù)為NHSI,待模擬的多光譜傳感器的通道數(shù)目為NMSI,多光譜數(shù)據(jù)對應波段的表觀反射率為LMSIi,AVIRIS數(shù)據(jù)對應波段的表觀反射率為LHSIi,ρ(λi,j)是AVIRIS 一個波段的中心波長處對應的多光譜傳感器的波譜響應值,AVIRIS 數(shù)據(jù)單波段寬度為Δj。
(3)BP 深度學習云檢測模型。該算法在keras的基礎上,以theano為計算背景,構造了一個用于云檢測的三層BP 神經(jīng)網(wǎng)絡。高軍等(2018)表明,一個三層的神經(jīng)網(wǎng)絡可以逼近從n維到m維的任意連續(xù)函數(shù)。將模擬的多光譜數(shù)據(jù)像元各波段的表觀反射率作為輸入向量,利用神經(jīng)網(wǎng)絡的歸納能力學習云檢測規(guī)則。隨機選取了輸入樣本數(shù)據(jù)中的20%作為驗證數(shù)據(jù),進行交叉驗證,從而選取最佳的神經(jīng)元數(shù)量。在訓練神經(jīng)網(wǎng)絡過程中,momentum 設置為0.9,dropout 值設置為0.5,batch值設置為128,當?shù)螖?shù)大于1000 或訓練誤差低于0.01時,則停止訓練(Sun等,2020)。
本文在Sun 等(2020)基于AVIRIS 高光譜數(shù)據(jù)選取的樣本的基礎上,結合GF-6 WFV 數(shù)據(jù)波譜范圍較窄的特點,在GF-6 WFV 數(shù)據(jù)上選取了裸地、建筑、雪等,共392469 個高亮地表樣本。圖1是提取的部分高亮地表樣本,圖1(a)是GF-6 WFV 標準假彩色(通道組合為RGB432)影像,圖1(b)是從圖1(a)樣本影像中選取的典型樣本像元的表觀反射率曲線。
圖1 典型亮地表樣本及表觀反射率曲線圖Fig.1 Typical bright surface samples and apparent reflectance curves
(4)精度驗證。為了定量驗證算法的精度,通過遙感目視解譯的方法對云檢測結果進行精度驗證。以人工標注的云區(qū)作為參考真值,將算法的云檢測結果與參考真值進行逐像素的比較。通過構建誤差矩陣的方式,計算并驗證所提算法云檢結果的精度。同時引入總體精度(HOA)、云像元正確率(CRA)、云像元漏判率(CRM)、晴空像元漏判率(SRM)和晴空像元正確率(SRA)5 個指標來評價該算法的準確性和不確定性。其中,TP 是驗證影像中為云,算法也識別為云的像元;FP 是驗證影像中是晴空,算法識別為云的像元;FN 是驗證影像中為云,算法識別為晴空的像元;TN 是驗證影像中是晴空,算法也識別為晴空的像元。
上述5個精度計算指標的公式如下:
基于統(tǒng)一樣本的深度學習云檢測算法能快速地獲取高質(zhì)量樣本,用于不同衛(wèi)星數(shù)據(jù)的云檢測。由于GF-6 WFV數(shù)據(jù)光譜范圍較窄,缺少1.38 μm、1.65 μm 以及熱紅外波段等云敏感波段,在高反射率地區(qū)的云識別精度較低。基于統(tǒng)一樣本像元庫模擬出的云及晴空像元數(shù)據(jù)對云與亮地表識別能力較弱,無法實現(xiàn)該類型衛(wèi)星穩(wěn)定、高精度的云識別。針對這一問題,本文選取了GF-6 WFV 數(shù)據(jù)典型亮地表結合模擬出的多光譜數(shù)據(jù)生成云檢測模型,進行云檢測實驗。
基于統(tǒng)一樣本像元庫模擬的多光譜像元庫是深度學習重要的輸入數(shù)據(jù),本文在原有模擬像元庫的基礎上,增加了GF-6 WFV 數(shù)據(jù)上的高亮地表樣本。GF-6 WFV 數(shù)據(jù)的波段覆蓋范圍小,不同地物在不同波段的輻射能量有差別,受波段范圍限制,無法獲取地物充足的波段特征信息,會造成較明顯的漏分和誤分現(xiàn)象。為了提高亮地表類型區(qū)域云檢測精度,通過目視解譯的方法,將從GF-6 WFV 影像中提取了裸地、建筑、雪等高反射率樣本像元加入到像元庫中,共選取了392469 個高亮地表樣本。表1是提取的部分高亮地表樣本,示例一列是GF-6 WFV 標準假彩色影像,總像元數(shù)一列是該類型樣本選取的總數(shù)量。
表1 選取的典型亮地表樣本Table 1 Selected typical bright surface samples
多光譜數(shù)據(jù)的紅、綠、藍、近紅外波段覆蓋了AVIRIS 數(shù)據(jù)多個連續(xù)窄波段,因此可以用AVIRIS 數(shù)據(jù)來模擬GF-6 WFV 多光譜數(shù)據(jù)。圖2為GF-6 WFV 數(shù)據(jù)與AVIRIS 數(shù)據(jù)在部分波段上的光譜響應函數(shù)對比。圖2中的(a)、(b)、(c)、(d)分別是GF-6 WFV Band1 (450—520 nm)、Band2 (520—590 nm)、Band3 (630—690 nm)、Band4(770—890 nm)與AVIRIS 數(shù)據(jù)波譜響應函數(shù)對比圖。圖3為基于AVIRIS 數(shù)據(jù)模擬出的GF-6 WFV 部分云和晴空樣本,子圖分別為厚云、薄云、碎云及植被、水體和人工地表的標準假彩色圖像。
圖2 AVIRIS與GF-6 WFV數(shù)據(jù)各波段波譜響應函數(shù)對比Fig.2 Comparison of AVIRIS and GF-6 WFV data spectral response curves
圖3 模擬出的GF-6 WFV云和晴空樣本Fig.3 Simulated GF-6 WFV cloud and clear sky samples
本文的數(shù)據(jù)模擬是在AVIRIS 數(shù)據(jù)云和晴空像元庫的基礎上,輔以AVIRIS 數(shù)據(jù)的波段寬度以及待模擬光學傳感器的波譜響應函數(shù)數(shù)據(jù),利用式(1)進行數(shù)據(jù)模擬運算,進而模擬出GF-6 WFV 數(shù)據(jù)的云像元和晴空像元每個波段的表觀反射率數(shù)據(jù)。最后,將增加了GF-6 WFV 亮地表的樣本庫輸入到BP 神經(jīng)網(wǎng)絡中,用訓練出的云檢測模型對GF-6 WFV 數(shù)據(jù)進行云檢測。結果表明,加入亮地表后的算法能實現(xiàn)GF-6 WFV 數(shù)據(jù)較高精度的云檢測。
本文選取2018-07—2018-12 不同地區(qū)不同時相含有不同地表類型的GF-6 WFV影像,其中夏季10幅,秋季6幅,冬季8幅,共24幅GF-6 WFV 遙感影像進行云檢測實驗,以驗證改進后統(tǒng)一樣本像元庫支持的云檢測算法的適用性。用于實驗數(shù)據(jù)的下墊面包括水體、城鎮(zhèn)、裸地、植被、雪等典型地表,云識別的類型有厚云、薄云和碎云等。不同季節(jié)地表反射率存在差異,說明本文算法在不同時相影像上也有較好的適用性。圖4所示為不同類型云的檢測結果。每一組圖從左至右依次為GF-6 WFV 數(shù)據(jù)標準假彩色合成影像,原統(tǒng)一樣本數(shù)據(jù)支持的云檢測算法和加入亮地表樣本算法的云檢測結果。其中,圖4(a)、(b)分別為植被和裸地上空的厚云檢測結果,圖4(c)、(d)分別為植被和裸地上空的薄云檢測結果,圖4(e)、(f)分別為裸地和植被上空的碎云檢測結果。從圖4中可以看出,改進后統(tǒng)一樣本數(shù)據(jù)支持的云檢測算法在GF-6 WFV 數(shù)據(jù)上的應用,對比原算法在GF-6 WFV 數(shù)據(jù)上的應用效果明顯。云邊緣清晰,在植被和裸地上空的厚云、薄云和碎云都有較好的識別效果,有效減少了高亮地表的誤判提高了云檢測精度。
圖4 不同類型云的識別結果Fig.4 Recognition results for different types of clouds
通過目視解譯,從高分辨率AVIRIS 遙感影像中人工選取了32 景不同時相、不同地表類型上空的厚云、薄云、碎云及云邊緣區(qū)域不同類型的云像元和晴空像元。尤其是薄云的選擇,要考慮不同的下墊面對云的反射率的影響,對植被、水體、城鎮(zhèn)、裸地上空的云都有選取。針對GF-6 WFV數(shù)據(jù)特點,再手動從GF-6 WFV 影像中選取難識別的薄云和亮地表樣本。加入到樣本庫中,將樣本的表觀反射率值作為特征向量,輸入到BP 網(wǎng)絡中,云樣本標簽值設為1,非云樣本標簽值設為0,利用BP 神經(jīng)網(wǎng)絡的自學能力、自我糾錯能力及泛化能力,使其自行調(diào)整各層網(wǎng)絡之間的權重,去除輸入數(shù)據(jù)中錯誤部分,發(fā)掘云和非云像元各波段表觀反射率數(shù)據(jù)的隱藏關系,生成更加合理的云檢測結果。最后,將GF-6 WFV 影像輸入到神經(jīng)網(wǎng)絡中進行逐像素分類。
對于厚云和碎云地區(qū),傳感器接收到的能量主要來自于云層對太陽波譜的反射,散射和吸收較少,因此,不同的下墊面對厚云和碎云反射率的影響較小。本文算法通過BP 神經(jīng)網(wǎng)絡對厚云、碎云和薄云以及不同地表類型樣本的深度學習,對影像進行逐像素分類,厚云和碎云的識別效果較好。傳感器接收的薄云區(qū)域的能量主要來自云層和地表兩部分的貢獻,不同類型下墊面對薄云反射率影響較大,尤其是高亮地表區(qū)域。圖5(a)為圖4(c)中薄云和地物表觀反射率曲線,薄云的表觀反射率高于裸地和植被;圖5(b)為圖4(d)中薄云和地物表觀反射率曲線,薄云的表觀反射率總體高于裸地、山地和植被。因此,對于裸地、山地、植被和較低反射率人工建筑區(qū)域上空的薄云,本文的算法可以識別出來。如圖6所示,這種極薄的云,可以清楚地看到下墊面,它所反映的信息大部分來自于下墊面的表觀反射率,模型會將其識別為非云,出現(xiàn)漏識別現(xiàn)象。
圖5 薄云與地物表觀反射率曲線對比Fig.5 Apparent reflectance curves of thin clouds and ground objects
圖6 薄云識別結果Fig.6 Thin cloud identification results
圖7所示是在建筑、裸地和植被為背景地物上空的云檢測結果。左側是GF-6 WFV 數(shù)據(jù)標準假彩色影像,中間是統(tǒng)一樣本數(shù)據(jù)支持的云檢測算法在GF-6 WFV 數(shù)據(jù)上的云檢測結果,右側是加入GF-6 WFV 影像中亮地表像元后的云檢測結果??梢钥闯?,在以亮地表為背景上空的云,僅依靠模擬得到的云和晴空像云數(shù)據(jù),很難將云與亮地表區(qū)分,使云邊界模糊。加入了亮地表像元樣本后生成的云檢測模型,能較好的識別云與高亮地表,減少誤判,從而提高了云檢測的準確性。
圖7 高反射率地表上空的云檢測結果Fig.7 Cloud detection results over high reflectivity surface
圖8是該算法在不同影像上的云檢測結果。左側是GF-6 WFV 標準假彩色圖像,中間是統(tǒng)一樣本數(shù)據(jù)支持的云檢測算法在GF-6 WFV 數(shù)據(jù)上的云檢測結果,右側是加入GF-6 WFV 影像中亮地表像元后的云檢測結果。從圖8中可以看出,加入了亮地表像元的算法,在植被、建筑、水體和裸地等不同地表上空云的整體識別效果較好,且云邊界清晰。尤其是在亮地表上空的云,檢測結果有明顯的改善。
圖8 不同影像中的云檢測結果Fig.8 Cloud detection results in different images
圖9是該算法在有雪的影像中的檢測結果。圖9(a)是GF-6 WFV 標準假彩色圖像,圖9(b)是統(tǒng)一樣本數(shù)據(jù)支持的云檢測算法在GF-6 WFV數(shù)據(jù)上的檢測結果,圖9(c)是加入GF-6 WFV影像中亮地表像元后的檢測結果。可以看出加入亮地表樣本的算法明顯減少亮地表區(qū)域的誤判,但由于雪跟云的反射率接近,未結合形狀和紋理等特征,難以將二者區(qū)分開。
圖9 有雪影像中的云檢測結果Fig.9 Cloud detection results in snow images
由于GF-6 WFV 數(shù)據(jù)圖幅過大,從選擇的影像中抽取了有代表性的800×800的子區(qū)域影像進行云像元人工標注。表2為圖4中不同類型云的云檢測結果精度評價:
從表2可以看出,加入了亮地表像元生成的云檢測模型,對GF-6 WFV 數(shù)據(jù)進行云檢測,云檢測結果整體精度較高。對厚云和碎云整體識別效果較好,對于高反射率地表上空的薄云存在誤判的情況。云像元平均正確率達到0.884,云像元的漏判率在0.188 以下,云像元平均漏判率為0.119,平均總體精度為0.962。
表2 云檢測結果精度評價Table 2 Accuracy evaluation of cloud detection results
除了上述像素精度驗證之外,還分別計算原算法與本文算法在植被、水體和亮地表上空的云像元正確率(CRA)、云像元漏判率(CRM)、晴空像元漏判率(SRM)和晴空像元正確率(SRA)4 個指標。表3顯示了不同土地類型下兩種算法的評估指標。定量分析表明,本文云檢測方法比原統(tǒng)一樣本算法在不同地表類型上空的云檢測結果更準確。對于高亮地表區(qū)域,原統(tǒng)一樣本算法在不同地表類型上空的云像元平均正確率為0.718,誤判現(xiàn)象比較明顯,云像元漏判率為0.282;而加入高亮地表樣本的云檢測算法能較準確地識別出高亮區(qū)域上空的云,高亮地區(qū)云像元正確率為0.874。與高亮地區(qū)的評價結果類似,在植被和水體上空,本文算法的云像元總體精度都比原統(tǒng)一樣本云檢測算法要高。綜上,本文改進的統(tǒng)一樣本云檢測算法在檢測不同下墊面的云時表現(xiàn)出令人滿意的結果。該方法具有較低的誤判率和較高的準確性。
表3 不同地表類型上空云檢測結果精度評價Table 3 Accuracy evaluation of cloud detection results for different surface types
傳統(tǒng)的云檢測方法大多是基于光譜成分的分析,只能用于特定的傳感器?;诮y(tǒng)一樣本數(shù)據(jù)的深度學習云檢測算法充分利用了傳感器的光譜特性和像素間的空間關系。基于BP 神經(jīng)網(wǎng)絡,利用云與晴空像素的光譜反射差異,實現(xiàn)了基于統(tǒng)一樣本像元庫數(shù)據(jù)的多傳感器云檢測。為了提高統(tǒng)一樣本支持的云檢測算法的適用性,本文將該算法應用到高分辨率窄波段的GF-6 WFV 數(shù)據(jù)上,由于其波譜范圍較窄,模擬出的云和晴空像元庫對光譜差異信息的挖掘能力有限,因此加入了GF-6 WFV 數(shù)據(jù)的典型亮地表樣本像元,利用BP神經(jīng)網(wǎng)絡較強的自主學習能力對云和非云進行逐像素的分類,彌補了GF-6 WFV 云敏感波段的缺失。
結果表明,加入了亮地表的算法在GF-6 WFV數(shù)據(jù)的云識別中能取得較好的識別效果。與原統(tǒng)一樣本數(shù)據(jù)支持的云檢測算法相比,能明顯改善在植被、裸地和城鎮(zhèn)等高亮地表上空的誤判現(xiàn)象,在植被、水體、裸地及建筑等多種地表類型上空,厚云、碎云和薄云的識別效果整體較好,尤其是提高了GF-6 WFV 數(shù)據(jù)在高亮地表上空的云檢測精度。但由于GF-6 WFV 數(shù)據(jù)缺少1.38 um 附近的卷云識別通道,對高亮地表上空薄卷云識別,會出現(xiàn)遺漏識別的現(xiàn)象。此外,由于沒有結合云的紋理特征和形狀特征,致使云和雪的識別受到一定的限制,影響云檢測精度。