趙紅偉,陳仲新,3,姜 浩,劉 佳
·農(nóng)業(yè)信息與電氣技術(shù)·
基于Sentinel-1A影像和一維CNN的中國(guó)南方生長(zhǎng)季早期作物種類識(shí)別
趙紅偉1,2,陳仲新1,2,3※,姜 浩4,5,6,劉 佳1,2
(1. 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所,北京 100081;2. 農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)遙感重點(diǎn)實(shí)驗(yàn)室,北京 100081; 3. Information Technology Division, Food and Agriculture Organization of the United Nations (FAO), Rome 00153, Italy; 4. 廣東省遙感與地理信息系統(tǒng)應(yīng)用實(shí)驗(yàn)室,廣州 510070; 5. 廣東省地理空間信息技術(shù)與應(yīng)用公共實(shí)驗(yàn)室,廣州 510070; 6. 廣州地理研究所,廣州 510070)
作物的早期識(shí)別對(duì)糧食安全至關(guān)重要。在以往的研究中,中國(guó)南方作物早期識(shí)別面臨的主要挑戰(zhàn)包括:1)云層覆蓋時(shí)間長(zhǎng)、地塊尺寸小且作物類型豐富;2)缺少高時(shí)空分辨率合成孔徑雷達(dá)(synthetic aperture radar,SAR)數(shù)據(jù)。歐洲航天局Sentinel-1A(S1A)衛(wèi)星提供的SAR圖像具有12 d的重訪周期,空間分辨率達(dá)10 m,為中國(guó)南方作物早期識(shí)別提供了新的機(jī)遇。為在作物早期識(shí)別中充分利用S1A影像的時(shí)間特征,本研究提出一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network, 1D CNN)的增量訓(xùn)練方法:首先利用生長(zhǎng)季內(nèi)全時(shí)間序列數(shù)據(jù)來(lái)訓(xùn)練1D CNN的超參數(shù),稱為分類器;然后從生長(zhǎng)季內(nèi)第一次S1A影像獲取開(kāi)始,在每個(gè)數(shù)據(jù)獲取時(shí)間點(diǎn)輸入該點(diǎn)之前(包括該點(diǎn))生長(zhǎng)季內(nèi)所有數(shù)據(jù)訓(xùn)練分類器在該點(diǎn)的其他參數(shù)。以中國(guó)湛江地區(qū)2017年生長(zhǎng)季為研究實(shí)例,分別基于VV、VH和VH+VV,評(píng)估不同極化數(shù)據(jù)在該地區(qū)的作物分類效果。為驗(yàn)證該方法的有效性,本研究同時(shí)應(yīng)用經(jīng)典的隨機(jī)森林(random forest, RF)模型對(duì)研究區(qū)進(jìn)行試驗(yàn)。結(jié)果表明:1)基于VH+VV、VH和VV極化數(shù)據(jù)的分類精度依次降低,其中,基于VH+VV后向散射系數(shù)時(shí)間序列1D CNN 和RF測(cè)試結(jié)果的Kappa系數(shù)最大值分別為0.924和0.916,說(shuō)明S1A時(shí)間序列數(shù)據(jù)在該地區(qū)作物分類任務(wù)中有效;2)在研究區(qū)域內(nèi)2017年生長(zhǎng)季早期,基于1D CNN和RF 的5種作物的-均達(dá)到0.85及以上,說(shuō)明本文所構(gòu)建的1D CNN在該地區(qū)主要作物早期分類任務(wù)中有效。研究結(jié)果證明,針對(duì)中國(guó)南方作物早期分類,本研究提出的1D CNN訓(xùn)練方案可行。研究結(jié)果可為深度學(xué)習(xí)在作物早期分類任務(wù)中的應(yīng)用提供參考。
作物;遙感;識(shí)別;早期;一維卷積神經(jīng)網(wǎng)絡(luò)(1D CNN);深度學(xué)習(xí);合成孔徑雷達(dá);Sentinel-1
及時(shí)準(zhǔn)確的作物類型圖對(duì)糧食安全至關(guān)重要[1]。在作物年度制圖中,需要在作物生長(zhǎng)季結(jié)束之前對(duì)作物類型進(jìn)行早期識(shí)別,以便進(jìn)行產(chǎn)量預(yù)測(cè)和灌溉管理[2]。除了熱帶或非常干旱地區(qū),大多數(shù)地區(qū)的作物每年有1個(gè)或2個(gè)(冬季和夏季)生長(zhǎng)季。本研究中,作物生長(zhǎng)季早期分類指的是在年度周期的第6個(gè)月至第9個(gè)月之間提供年度作物類型圖[3]。
在作物識(shí)別領(lǐng)域,光學(xué)影像通常比合成孔徑雷達(dá)(synthetic aperture radar, SAR)影像應(yīng)用的更廣泛,這是由于光學(xué)影像觀測(cè)結(jié)果與植被物候之間的關(guān)系能夠更好地被理解[3]。然而,在中國(guó)南方地區(qū),由于頻繁的陰雨天氣和長(zhǎng)時(shí)間的云層覆蓋,光學(xué)傳感器無(wú)法很好地發(fā)揮作用[4]。相比之下,SAR的主動(dòng)微波遙感可以在任何時(shí)間、任何天氣條件下進(jìn)行工作[5-6]。
SAR后向散射對(duì)作物結(jié)構(gòu)(高度、孔隙率、覆蓋度等)和田間條件(田間含水量等)敏感,每種作物的物候演變產(chǎn)生了后向散射系數(shù)的獨(dú)特時(shí)間分布[7-8]。因此,SAR的時(shí)間序列影像可以有效用于作物分類任務(wù)[9-10]。在以往的研究中,由于小面積的種植結(jié)構(gòu)和豐富的作物類型,缺乏高時(shí)空分辨率的SAR影像在中國(guó)南方作物分類中的應(yīng)用研究[8]。特別是針對(duì)作物早期分類,足夠的數(shù)據(jù)獲取頻率非常關(guān)鍵。
歐洲航天局(europeanspace agency, ESA)于2014年4月3日發(fā)射的Sentinel-1A(S1A)衛(wèi)星[11]搭載了重訪周期為12 d的C波段SAR傳感器,具有單極化、雙極化等不同的極化方式。寬幅干涉模式(interferometric wide swath mode, IW)的距離分辨率和方位分辨率分別為5 m和20 m。IW Level-1產(chǎn)品中地距影像(ground range detected, GRD)最高分辨率為10 m,并可免費(fèi)獲取。該數(shù)據(jù)為中國(guó)南方作物早期識(shí)別提供了新的機(jī)遇。
傳統(tǒng)作物分類方法,如隨機(jī)森林(random forest, RF)、支持向量機(jī)(support vector machine, SVM)等,把傳感器在不同時(shí)間獲取的數(shù)據(jù)作為特征輸入[12-13]。忽略了數(shù)據(jù)的時(shí)間特性[14]。此外,傳統(tǒng)作物分類系統(tǒng)通過(guò)使用多個(gè)預(yù)處理步驟提取模型所需特征[4,15-16],分類過(guò)程復(fù)雜,且依賴于專業(yè)知識(shí)來(lái)設(shè)計(jì)特征提取器。
深度學(xué)習(xí)通過(guò)簡(jiǎn)單但非線性的模塊獲得多個(gè)級(jí)別的特征表示,每個(gè)模塊將特征從一個(gè)級(jí)別(從原始輸入開(kāi)始)轉(zhuǎn)換成更高級(jí)別。對(duì)于分類任務(wù),較高級(jí)別的特征層放大了輸入數(shù)據(jù)中區(qū)分不同類別的重要部分,并抑制了不重要的信息[17]。這種從觀察值中獲取并被編碼到內(nèi)部權(quán)重參數(shù)的數(shù)據(jù)驅(qū)動(dòng)模型[18]將特征提取和分類以聯(lián)合的方式執(zhí)行,只需要基于原始輸入數(shù)據(jù)和輸出標(biāo)簽就可以用端到端的方式進(jìn)行訓(xùn)練。
研究證明,循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)[19]和一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network, 1D CNN)[20]可以有效地用于基于時(shí)間序列的分類任務(wù)[21-22]。長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)(long short-term memory, LSTM)[23]和門控循環(huán)網(wǎng)絡(luò)(gated recurrent unit,GRU)[24]是RNN的2種變體,用于解決普通RNN隨著序列的增長(zhǎng)梯度爆炸和消失的問(wèn)題[23-24]。在作物分類領(lǐng)域,已有學(xué)者將LSTM、GRU和1D CNN應(yīng)用于基于時(shí)間序列的光學(xué)影像[25-27]和SAR影像[14, 28],并取得了良好的效果。但是,針對(duì)作物的早期識(shí)別,深度學(xué)習(xí)方法的應(yīng)用較少。
在作物生長(zhǎng)季早期識(shí)別中,為尋找不同作物的最優(yōu)識(shí)別時(shí)間點(diǎn),模型輸入的時(shí)間序列長(zhǎng)度是不斷變化的。RNN的參數(shù)與時(shí)間序列的長(zhǎng)度有關(guān),它的每個(gè)神經(jīng)元在時(shí)間序列上循環(huán)展開(kāi)[29-30]。因此,相對(duì)于RNN,1D CNN具有更簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)、更少的訓(xùn)練參數(shù)[30],這對(duì)于作物早期識(shí)別的效率具有重要價(jià)值。Cai等[31]利用2000-2013年研究區(qū)域大豆和玉米生長(zhǎng)期內(nèi)全時(shí)間序列數(shù)據(jù)(Landsat 5, 7, 8)訓(xùn)練1D CNN 的超參數(shù)和參數(shù)。并利用2014年和2015年的時(shí)間序列數(shù)據(jù)作為測(cè)試數(shù)據(jù)。測(cè)試數(shù)據(jù)從生長(zhǎng)季內(nèi)第一次的數(shù)據(jù)獲取開(kāi)始,在每個(gè)數(shù)據(jù)獲取時(shí)間點(diǎn)將之前所有數(shù)據(jù)輸入訓(xùn)練好的1D CNN,來(lái)尋找不同作物早期分類的時(shí)間點(diǎn)。該方法中1D CNN(包括超參數(shù)和參數(shù))的訓(xùn)練數(shù)據(jù)是作物生長(zhǎng)季內(nèi)全時(shí)間序列,而測(cè)試數(shù)據(jù)是全時(shí)間序列的子集。
與Cai等的方案不同,在本研究中,作者提出基于中國(guó)湛江地區(qū)主要作物生長(zhǎng)季的全時(shí)間序列數(shù)據(jù)來(lái)訓(xùn)練1D CNN的超參數(shù),分別得到S1A 3類極化方式(VH, VV, VH+VV)的最優(yōu)超參數(shù),稱為分類器;然后,針對(duì)每一種極化方式,從生長(zhǎng)季內(nèi)第一次數(shù)據(jù)獲取開(kāi)始,在每個(gè)S1A影像獲取時(shí)間點(diǎn)輸入該點(diǎn)之前(包括該點(diǎn))生長(zhǎng)季內(nèi)所有數(shù)據(jù)來(lái)訓(xùn)練分類器在該點(diǎn)的其他參數(shù)。最后對(duì)測(cè)試數(shù)據(jù)的分類結(jié)果進(jìn)行分析,得到研究區(qū)域內(nèi)不同作物早期識(shí)別的最優(yōu)時(shí)間點(diǎn)和最佳極化方式。通過(guò)該方案來(lái)評(píng)估1D CNN在作物早期分類中的作用和S1A極化時(shí)間序列數(shù)據(jù)對(duì)作物早期分類的影響。為驗(yàn)證該方案的有效性,本研究同時(shí)應(yīng)用經(jīng)典的RF模型對(duì)研究區(qū)進(jìn)行試驗(yàn)[3]。
研究區(qū)域位于中國(guó)廣東省南部的雷州半島,包括遂溪縣和雷州市2個(gè)縣(縣級(jí)市),如圖1所示。該地區(qū)屬亞熱帶濕潤(rùn)氣候,年平均氣溫22~23℃,7月份平均氣溫28.4 ℃,1月份平均氣溫15.5 ℃,年平均降水量為1 400~1 700 mm,且干濕明顯,5-10月為雨季[32]。
地面調(diào)查時(shí)間為2017年10月,共獲得當(dāng)?shù)厮?、甘蔗、香蕉、菠蘿和桉樹(shù)5類地面覆被類型(以下統(tǒng)稱“作物”)的830個(gè)樣本點(diǎn)(地面數(shù)據(jù)),如圖1所示。水稻、甘蔗、香蕉、菠蘿和桉樹(shù)的樣本數(shù)量分別為179,215,53,44和339。5類作物中,水稻包括早稻和晚稻,生育期分別為每年的3月初-7月中下旬和8月初-11月底;甘蔗的生育期為每年的3月中旬-第二年的2月中旬;香蕉、菠蘿、桉樹(shù)的生育期一般分別為2~4、1.5~2和4~6 a。
本研究使用S1A衛(wèi)星IW模式下Level-1產(chǎn)品中GRD影像的VH和VV極化數(shù)據(jù)。該產(chǎn)品具有12 d的重訪周期,最高分辨率為10 m,可以通過(guò)ESA的Sentinels Scientific Data Hub網(wǎng)站(https://scihub.copernicus.eu/dhus/)獲取?;赟entinel應(yīng)用平臺(tái)(SNAP)的開(kāi)放源碼軟件6.0.0版本對(duì)S1A數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理步驟如下:
1)輻射校正。根據(jù)S1A數(shù)據(jù)中的元數(shù)據(jù)信息生成與雷達(dá)后向散射系統(tǒng)直接相關(guān)的影像。本研究使用Level-1產(chǎn)品查找表中的帶返回像素值。
2)正射校正。為了補(bǔ)償影像的幾何變形,利用距離多普勒地形正射校正步驟1)中輸出的影像。
3)重新投影。使用雙線性插值將經(jīng)過(guò)正射校正的SAR影像進(jìn)一步重新采樣到10 m的空間分辨率。然后重新投影到1984世界大地測(cè)量系統(tǒng)(world geodetic system, WGS-84),北緯49°帶的通用橫向墨卡托(universal transverse mercator, UTM)坐標(biāo)系。
4)斑點(diǎn)過(guò)濾。應(yīng)用7×7的Gamma-MAP濾波器[33]過(guò)濾影像的顆粒噪音。
5)將經(jīng)過(guò)斑點(diǎn)濾波的影像轉(zhuǎn)換為后向散射系數(shù)(dB)標(biāo)度,并歸一化為0~255之間的值。
在2017年主要作物(水稻和甘蔗)生長(zhǎng)季內(nèi)(2017年3月初-2018年2月底),S1A對(duì)該研究區(qū)域重復(fù)訪問(wèn)30次。雙極化(VH、VV)通道共得到60幅圖像,每類作物在VV、VH極化方式下后向散射系數(shù)的時(shí)間分布如圖2所示,每個(gè)時(shí)間序列由30個(gè)點(diǎn)組成。水稻、甘蔗、香蕉、菠蘿和桉樹(shù)的VH/VV均值依次為?17.562/?10.634、?16.117/?10.130、?11.905/?4.772、?13.352/?13.352和?14.302/?14.302;VH/VV方差依次為1.264/0.917、1.521/1.231、1.327/1.267、1.942/1.674、0.506/0.355,如圖3所示。
圖1 研究區(qū)域和采樣點(diǎn)分布
圖2 不同極化方式下五類作物的后向散射系數(shù)時(shí)間序列
圖3 不同極化方式的五類作物后向散射系數(shù)均值和方差
本研究的技術(shù)路線如圖4所示。
注:X表示極化類型,包括VV, VH, VH+VV三類,L表示Sentiel-1A數(shù)據(jù)獲取日期的個(gè)數(shù)。
具體步驟如下:
1)數(shù)據(jù)預(yù)處理,并根據(jù)地面樣點(diǎn)數(shù)據(jù)提取相應(yīng)位置的VH、VV的后向散射系數(shù)時(shí)間序列(=30個(gè));
2)利用全時(shí)間序列數(shù)據(jù)(=30個(gè))訓(xùn)練1D CNN和RF以獲得最優(yōu)參數(shù),稱其為分類器。需要說(shuō)明的是,隨機(jī)選擇每種作物類型的80%構(gòu)成訓(xùn)練集,其余20%用于測(cè)試集;
3)執(zhí)行增量訓(xùn)練。從第一次數(shù)據(jù)獲取開(kāi)始,在每個(gè)S1A影像獲取時(shí)間點(diǎn)輸入之前所有數(shù)據(jù)來(lái)訓(xùn)練分類器在該點(diǎn)的其他參數(shù);
根據(jù)總體準(zhǔn)確性和Kappa系數(shù)以及每個(gè)作物時(shí)間序列的準(zhǔn)確性分析網(wǎng)絡(luò)性能。對(duì)VV, VH和 VH+VV極化數(shù)據(jù)分別執(zhí)行以上步驟。
與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比,CNN通過(guò)卷積核進(jìn)行局部連接和權(quán)重共享,不僅減少了參數(shù)數(shù)量,而且降低了模型復(fù)雜度,更適用于大數(shù)據(jù)量的圖像處理[34]。卷積層通過(guò)計(jì)算卷積核與覆蓋區(qū)域信號(hào)值的點(diǎn)積來(lái)確定神經(jīng)元的輸出。1D CNN利用一維卷積核來(lái)捕捉輸入序列的時(shí)間模式或形狀[35]。
在1D CNN的訓(xùn)練過(guò)程中,每一層輸入數(shù)據(jù)的分布都會(huì)因?yàn)榍耙粚訁?shù)的變化而變化。如果每批(batch)訓(xùn)練數(shù)據(jù)的分布各不相同,網(wǎng)絡(luò)在每次迭代都去學(xué)習(xí)適應(yīng)不同的分布,這將會(huì)降低網(wǎng)絡(luò)的訓(xùn)練速度。此外,訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的分布不同,網(wǎng)絡(luò)的泛化能力將大大降低[3,36],本研究通過(guò)增加批量歸一化層(batch-norm)來(lái)解決該問(wèn)題。
針對(duì)基于時(shí)間序列數(shù)據(jù)的作物分類,本研究構(gòu)建的1D CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,包括2個(gè)卷積層(Conv1/Conv2)、2個(gè)批量歸一化層(Batch-Norm)、2個(gè)修正線性單元(Relu)、2個(gè)全連接層(Full-Con1/Full-Con2)。卷積核的通道(Channel)數(shù)與輸入數(shù)據(jù)的通道數(shù)相同。
圖5 1D CNN架構(gòu)
RF分類器[37]通過(guò)擬合多個(gè)簡(jiǎn)單決策樹(shù)分類器的結(jié)果來(lái)提高分類精度并控制過(guò)擬合。為了降低算法的復(fù)雜度和樣本子集之間的相關(guān)性,當(dāng)決策樹(shù)達(dá)到最大深度或者當(dāng)節(jié)點(diǎn)上的樣本數(shù)小于最小樣本閾值時(shí),RF分類器便停止決策樹(shù)的構(gòu)造。已有研究表明,在基于時(shí)間序列數(shù)據(jù)的作物識(shí)別中,與SVM等機(jī)器學(xué)習(xí)方法相比,RF具有精度高、計(jì)算速度快、參數(shù)易調(diào)整的特點(diǎn)[2,12]??紤]到模型輸入的特征量最高為60個(gè),即S1A對(duì)研究區(qū)域重復(fù)訪問(wèn)30次,雙極化(VH、VV)通道共得到60幅圖像,本研究選擇RF與1D CNN進(jìn)行比較分析。
超參數(shù)訓(xùn)練的目標(biāo)是得到每種極化方式(VV, VH, VH+VV)下1D CNN和RF的最優(yōu)超參數(shù),稱其為分類器。訓(xùn)練標(biāo)準(zhǔn)通常是用最少計(jì)算量獲得最高分類精度。本研究中,1D CNN和RF模型需要訓(xùn)練的超參數(shù)如表1所示。模型的輸入為全時(shí)間序列(=30個(gè))極化數(shù)據(jù)。由于不同作物的樣本數(shù)量分布不均勻,試驗(yàn)隨機(jī)選取每類作物樣本的80%為訓(xùn)練集,其余20%樣本為測(cè)試集。
1D CNN 的訓(xùn)練采用Adam優(yōu)化器,該優(yōu)化器已被證明優(yōu)于其他隨機(jī)優(yōu)化方法[38],并在一些時(shí)間序列的分類任務(wù)中得到了成功的應(yīng)用[25,39]。其他參數(shù)根據(jù)經(jīng)驗(yàn)設(shè)置,如濾波器的寬度一般設(shè)置為3~5,以獲取局部時(shí)間信息特征[40-41]。圖5中Conv1和Conv2的卷積核(寬×高×輸入通道×輸出通道)分別為5×1×1×16,4×1×16×14。
時(shí)間序列增量訓(xùn)練[3]目標(biāo)是得到每個(gè)時(shí)間點(diǎn)上的1D CNN和RF模型的所有參數(shù)。首先,設(shè)置2017年主要作物(水稻和甘蔗)生長(zhǎng)季內(nèi)(2017年3月初-2018年2月底)首次獲得S1A數(shù)據(jù)的日期2017年3月10日為開(kāi)始時(shí)間點(diǎn);然后在每個(gè)S1A影像獲取時(shí)間點(diǎn)輸入之前所有數(shù)據(jù)來(lái)訓(xùn)練分類器在該點(diǎn)的其他參數(shù);最后得到每個(gè)Sentinel-1A數(shù)據(jù)獲取時(shí)間點(diǎn)基于2017年3月10日到該時(shí)間點(diǎn)的所有數(shù)據(jù)的分類模型。對(duì)3種極化數(shù)據(jù)(VV、VH或VH+VV)分別執(zhí)行以上操作。每個(gè)時(shí)間點(diǎn)將有1D CNN(VV、VH、VH+VV)和RF(VV、VH、VH+VV)共6個(gè)分類模型。
軟件環(huán)境:開(kāi)發(fā)平臺(tái)Python的版本為3.6;基于Tensorflow-gup深度學(xué)習(xí)架構(gòu)構(gòu)建1D CNN網(wǎng)絡(luò),版本為1.13.1;RF分類器的實(shí)施基于Python庫(kù)Scikit-learn,版本為0.19.1。
表1 1D CNN和RF模型的超參數(shù)
圖6、圖7為1D CNN和RF模型在測(cè)試集S1A(VV、VH、VH+VV)時(shí)間序列上分類精度的演變。
圖6 1D CNN模型的時(shí)間序列增量分類Kappa系數(shù)
圖7 RF模型的時(shí)間序列增量分類Kappa系數(shù)
由Kappa系數(shù)趨勢(shì)線[44]可知:
1)不同極化方式的S1A數(shù)據(jù)在2類模型中具有相似的特征:VV極化數(shù)據(jù)分類精度最低;VH+VV極化數(shù)據(jù)分類精度最高;VH極化數(shù)據(jù)分類精度接近于VH+VV,且在每個(gè)時(shí)間點(diǎn)的精度都高于VV。此外,VV極化方式下Kappa系數(shù)最大值為0.796,出現(xiàn)在圖6中2017年12月23日。說(shuō)明VV單極化數(shù)據(jù)難以完成該地區(qū)的作物分類任務(wù)。
因此,本文重點(diǎn)分析VH和VH+VV極化方式對(duì)作物早期識(shí)別的影響。圖6、圖7中,大部分時(shí)間的VH+VV極化的Kappa系數(shù)均高于VH,詳細(xì)分析如表2所示。相對(duì)于VH極化,VH+VV極化不僅整體精度更高,而且Kappa系數(shù)首次大于等于0.8的日期更早。因此,VH+VV極化方式下的散射數(shù)據(jù)在早期作物識(shí)別中更有優(yōu)勢(shì)。
2)就不同時(shí)間序列對(duì)分類精度的影響而言:5月21日之前,Kappa系數(shù)基本處于低水平波動(dòng)狀態(tài),這時(shí)候多數(shù)作物還未進(jìn)入快速成熟期;5月下旬到10月中旬之間,Kappa系數(shù)快速上升,在這期間增加時(shí)相,構(gòu)建時(shí)間序列能夠有效提高作物識(shí)別精度;10月24日之后Kappa系數(shù)趨于穩(wěn)定,基本處于小幅波動(dòng),這時(shí)候雙季晚稻和甘蔗成熟。
表2 Kappa系數(shù)分析
圖8為1D CNN和RF模型基于VH+VV極化測(cè)試數(shù)據(jù)集的Kappa系數(shù)的時(shí)間序列曲線。由圖可知,兩者非常接近。1D CNN和RF 的Kappa系數(shù)最大值分別為0.924(2018年01月28)和0.916(2017年12月11日),這充分說(shuō)明利用作物生長(zhǎng)季內(nèi)全時(shí)間序列數(shù)據(jù)訓(xùn)練1D CNN的超參數(shù),進(jìn)而利用時(shí)間序列增量訓(xùn)練每個(gè)時(shí)間點(diǎn)分類模型(包含所有參數(shù))是有效的。
圖8 VH+VV極化下時(shí)間序列增量分類的Kappa系數(shù)
針對(duì)作物早期分類任務(wù),根據(jù)“生長(zhǎng)季早期”的定義,研究區(qū)域內(nèi)第6個(gè)月-第9個(gè)月是指2017年8月-2017年11月。1D CNN 和RF模型的Kappa系數(shù)連續(xù)大于0.85的時(shí)間分別為2017年09月06日-2017年09月18日和2017年09月30日-2017年10月12日。根據(jù)研究區(qū)域內(nèi)作物的生育期可知,09月06日-10月12日在雙季晚稻和甘蔗生育期結(jié)束之前。為深入分析不同作物早期識(shí)別的最佳時(shí)間,表3給出了利用1D CNN和RF模型對(duì)測(cè)試集不同作物的[45]時(shí)間序列。用于度量測(cè)試集的準(zhǔn)確性,平衡了分類結(jié)果的準(zhǔn)確率和召回率。
根據(jù)表3可知,基于1D CNN 和VH+VV后向散射系數(shù)分類結(jié)果表明:1)香蕉和桉樹(shù)幾乎在每個(gè)時(shí)間點(diǎn)的-都大于0.8,香蕉在2017年07月08日已經(jīng)可以完全識(shí)別(= 1);2)隨著時(shí)間序列的增加,水稻的分類精度呈平穩(wěn)增長(zhǎng),在2017年07月20日達(dá)到0.853,這與早季水稻進(jìn)入收割期后向散射系數(shù)突降有關(guān);3)2017年09月18日甘蔗的達(dá)到0.875,早于甘蔗收割期4~5個(gè)月;4)菠蘿的在2017年09月30日達(dá)到1。
表3 不同模型下五種作物的F-measure時(shí)間序列
此外,基于RF模型和VH+VV后向散射系數(shù)分類結(jié)果表明:1)香蕉和桉樹(shù)的都大于0.8,但是香蕉完全識(shí)別的日期(2017年08月01日)比1D CNN 晚了24 d;2)水稻的同樣在2017年07月20日出現(xiàn)較高增長(zhǎng),到達(dá)0.872,略大于1D CNN模型;3)甘蔗的F-measure在2017年10月12日達(dá)到0.854,比1D CNN模型早了12 d;4)菠蘿的在2017年10月24日達(dá)到1。
需要說(shuō)明的是,在2017年08月13日,菠蘿的值在1D CNN 和RF模型中均出現(xiàn)大幅度下降,分別為0.308和0.364。結(jié)合圖2和圖3可知,在5種作物中,菠蘿在2017年生長(zhǎng)季內(nèi)VV和VH極化值變化最大,尤其是05月09日-08月25日期間,與水稻和甘蔗的后向散射系數(shù)曲線多次相交,這導(dǎo)致這個(gè)時(shí)間段內(nèi)菠蘿的曲線變化劇烈,8月初該地區(qū)早稻已經(jīng)收割,晚稻開(kāi)始出苗,一定程度上影像了菠蘿時(shí)間特征的提取。
本研究使用中國(guó)湛江地區(qū)S1A時(shí)間序列數(shù)據(jù),評(píng)估了1D CNN模型在作物早期分類中的應(yīng)用和VV、VH和VH+VV極化數(shù)據(jù)在早期作物分類中的效果。使用2017年生長(zhǎng)季節(jié)30個(gè)全時(shí)間序列S1A數(shù)據(jù)來(lái)訓(xùn)練1D CNN模型的超參數(shù),稱為分類器;然后,從第一次數(shù)據(jù)獲取開(kāi)始,在每個(gè)S1A影像獲取時(shí)間點(diǎn)輸入該點(diǎn)之前(包括該點(diǎn))生長(zhǎng)季內(nèi)所有數(shù)據(jù)訓(xùn)練分類器在該點(diǎn)的其他參數(shù)。
首先,無(wú)論是1D CNN方法還是經(jīng)典RF模型,基于S1A VH+VV、VH和VV時(shí)間序列數(shù)據(jù)的分類精度依次降低。說(shuō)明S1A雙極化數(shù)據(jù)(VH+VV)對(duì)研究區(qū)域的作物分類具有重要價(jià)值。值得注意的是,本研究同時(shí)下載了光學(xué)傳感器Sentinel-2在2017年生長(zhǎng)季研究區(qū)域內(nèi)33幅光學(xué)圖像,其中只有6幅沒(méi)有云層覆蓋。因此,具有12 d重訪期的S1A SAR不僅可以在任何天氣條件下獲取數(shù)據(jù),而且可以對(duì)作物生長(zhǎng)進(jìn)行精確的時(shí)間跟蹤,對(duì)作物早期分類非常重要。
其次,圖8中1D CNN的Kappa系數(shù)曲線與RF的 Kappa系數(shù)曲線非常接近。這也證明了本研究提出的1D CNN訓(xùn)練方案有效。利用全時(shí)間序列數(shù)據(jù)訓(xùn)練1D CNN的超參,然后在每個(gè)S1A影像獲取時(shí)間點(diǎn)輸入之前所有數(shù)據(jù)來(lái)訓(xùn)練分類器在該點(diǎn)的其他參數(shù)。這對(duì)早期分類任務(wù)中精確提取作物時(shí)間特征具有重要意義。避免了Cai等方案中每個(gè)時(shí)間點(diǎn)利用同一個(gè)1D CNN網(wǎng)絡(luò)對(duì)作物進(jìn)行分類。
此外,每類作物的分類精度是隨時(shí)間變化的,不同作物最早達(dá)到≥0.85的時(shí)間是不同的。Cai等證明了使用不同年份的時(shí)間序列數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型的所有參數(shù)的有效性,本研究在作物制圖任務(wù)中可以選用不同年份的數(shù)據(jù)來(lái)訓(xùn)練1D CNN,進(jìn)而根據(jù)不同作物的需求選擇用于制圖的時(shí)間序列數(shù)據(jù)。
最后,分析結(jié)果表明了所提出1D CNN 的訓(xùn)練方案的有效性。盡管1D CNN的性能幾乎與RF相似,但深度學(xué)習(xí)模型具有其他方法所沒(méi)有的優(yōu)勢(shì)。例如,端到端的訓(xùn)練可以學(xué)習(xí)手工特征模型無(wú)法獲得的長(zhǎng)期依賴性和表示形式。因此,在不久的將來(lái),深度學(xué)習(xí)方法將在作物早期識(shí)別中發(fā)揮重要的作用。
本文以中國(guó)湛江為研究區(qū)域,評(píng)估了高時(shí)空分辨率的Sentinel-1A(S1A)數(shù)據(jù)(VV、VH、VH+VV)在我國(guó)南方作物早期識(shí)別中的潛力,并研究了深度學(xué)習(xí)技術(shù)中一維卷積神經(jīng)網(wǎng)絡(luò)(1D CNN)在作物早期識(shí)別中的效果。主要結(jié)論如下:
1)針對(duì)研究區(qū)域內(nèi)5種作物識(shí)別。無(wú)論是采用經(jīng)典的機(jī)器學(xué)習(xí)模型RF還是1D CNN,S1A VH和VH+VV極化方式下的后向散射系數(shù)均具有良好的效果,其中VH+VV的分類精度更高,Kappa系數(shù)分別為0.924(1D CNN)和0.916(RF)。表明S1A時(shí)間序列數(shù)據(jù)是該區(qū)域中作物識(shí)別的有效數(shù)據(jù)源,其中以VH+VV雙極化數(shù)據(jù)分類效果最佳。
2)針對(duì)研究區(qū)域內(nèi)5種作物早期識(shí)別。1D CNN在2017年作物生長(zhǎng)季早期2017年9月-2019年11月,能夠識(shí)別出5種作物,且每類作物≥0.85。表明本研究在每個(gè)S1A數(shù)據(jù)獲取時(shí)間點(diǎn)的分類模型是有效的。
3)本研究提出的1D CNN 訓(xùn)練方案的核心是利用生長(zhǎng)季節(jié)全時(shí)間序列數(shù)據(jù)來(lái)訓(xùn)練1D CNN的超參數(shù),然后從第一個(gè)時(shí)間點(diǎn)開(kāi)始,執(zhí)行增量訓(xùn)練過(guò)程,在每個(gè)S1A影像獲取時(shí)間點(diǎn)輸入該點(diǎn)之前(包括該點(diǎn))生長(zhǎng)季內(nèi)所有數(shù)據(jù)來(lái)訓(xùn)練分類器在該點(diǎn)的其他參數(shù)。避免了已有研究中每個(gè)時(shí)間點(diǎn)利用同一個(gè)1D CNN網(wǎng)絡(luò)對(duì)作物進(jìn)行分類。為深度學(xué)習(xí)方法在作物早期識(shí)別中的應(yīng)用提供了新的視角。
需要說(shuō)明的是,1D CNN具有多種潛在的網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù),在作物早期分類中的應(yīng)用有待進(jìn)一步挖掘。未來(lái)的工作將側(cè)重于基于深度學(xué)習(xí)技術(shù)的作物繪圖,挖掘不同深度學(xué)習(xí)模型在多源遙感數(shù)據(jù)作物制圖中的潛力,以期為中國(guó)農(nóng)業(yè)監(jiān)測(cè)提供基礎(chǔ)數(shù)據(jù)。
[1] Thenkabail P S . Global croplands and their importance for water and food security in the Twenty-first Century: Towards an ever creen revolution that combines a second green revolution with a blue revolution[J]. Remote Sensing, 2010, 2(9): 2305-2312.
[2] Jordi I , Marcela A , Benjamin T , et al. Assessment of an operational system for crop type map production using high temporal and spatial resolution satellite optical imagery[J]. Remote Sensing, 2015, 7(9): 12356-12379.
[3] Inglada J, Vincent A, Arias M, et al. Improved early crop type identification by joint use of high temporal resolution SAR and optical image time series[J]. Remote Sensing, 2016, 8(5): 362.
[4] Xie L, Zhang H, Li H, Wang C. A unified framework for crop classification in southern China using fully polarimetric, dual polarimetric, and compact polarimetric SAR data[J]. International Journal of Remote Sensing, 2015, 36: 3798-3818.
[5] Lee J S , Pottier E. Polarimetric Radar Imaging: Basics to Applications, Second Edition[M]. Boca Raton: Crc Press, 2009.
[6] S R Cloude, Howard Zebker. Polarisation: Applications in remote sensing[J]. Physics Today, 2010, 63(10): 53-54.
[7] Mosleh M , Hassan Q , Chowdhury E . Application of remote sensors in mapping rice area and forecasting its production: A review[J]. Sensors, 2015, 15(1): 769-791.
[8] Jiang H, Li D, Jing W, et al. Early season mapping of sugarcane by applying machine learning algorithms to sentinel-1A/2 time series data: A case study in Zhanjiang City, China[J]. Remote Sensing, 2019, 11(7): 861.
[9] Rogan J, Franklin J, Roberts D A. A comparison of methods for monitoring multitemporal vegetation change using thematic mapper imagery[J]. Remote Sensing of Environment, 2002, 80(1): 143-156.
[10] Xie Y, Sha Z, Yu M. Remote sensing imagery in vegetation mapping: A review[J]. Journal of plant ecology, 2008, 1(1): 9-23.
[11] Drusch M, Del Bello U, Carlier S, et al. Sentinel-2: ESA’s optical high-resolution mission for GMES operational services[J]. Remote sensing of Environment, 2012, 120: 25-36.
[12] Onojeghuo A O, Blackburn G A, Wang Q, et al. Mapping paddy rice fields by applying machine learning algorithms to multi-temporal Sentinel-1A and landsat data[J]. International journal of remote sensing, 2018, 39(4): 1042-1067.
[13] Hao P, Zhan Y, Wang L, et al. Feature selection of time series MODIS data for early crop classification using random forest: A case study in Kansas, USA[J]. Remote Sensing, 2015, 7(5): 5347-5369.
[14] Ndikumana E, Ho Tong Minh D, Baghdadi N, et al. Deep recurrent neural network for agricultural classification using multitemporal SAR Sentinel-1 for Camargue, France[J]. Remote Sensing, 2018, 10(8): 1217.
[15] Conrad C, Dech S, Dubovyk O, et al. Derivation of temporal windows for accurate crop discrimination in heterogeneous croplands of Uzbekistan using multitemporal RapidEye images[J]. Computers and Electronics in Agriculture, 2014, 103: 63-74.
[16] Foerster S, Kaden K, Foerster M, et al. Crop type mapping using spectral–temporal profiles and phenological information[J]. Computers and Electronics in Agriculture, 2012, 89: 30-40.
[17] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[18] Ru?wurm M, K?rner M. Multi-temporal land cover classification with sequential recurrent encoders[J]. ISPRS International Journal of Geo-Information, doi:10.3390/ijgi7040129
[19] Werbos P J. Backpropagation through time: what it does and how to do it[J]. Proceedings of the IEEE, 1990, 78(10): 1550-1560.
[20] Wang Z, Yan W, Oates T. Time series classification from scratch with deep neural networks: A strong baseline[C]// 2017 international joint conference on neural networks (IJCNN). IEEE, 2017: 1578-1585.
[21] Giles C L, Miller C B, Chen D, et al. Extracting and learning an unknown grammar with recurrent neural networks[C]// Advances in neural information processing systems. 1992: 317-324.
[22] Lawrence S, Giles C L, Fong S. Natural language grammatical inference with recurrent neural networks[J]. IEEE Transactions on Knowledge and Data Engineering, 2000, 12(1): 126-140.
[23] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735-1780.
[24] Cho K , Van Merrienboer B , Bahdanau D , et al. On the properties of neural machine translation: Encoder-decoder approaches[J]. Computer Science, doi:10.3390/ijgi7040129
[25] Ru?wurm M, Korner M. Temporal vegetation modelling using long short-term memory networks for crop identification from medium-resolution multi-spectral satellite images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 11-19.
[26] Zhong L, Hu L, Zhou H. Deep learning based multi-temporal crop classification[J]. Remote sensing of environment, 2019, 221: 430-443.
[27] Kogan F, Kussul N N, Adamenko T I, et al. Winter wheat yield forecasting: A comparative analysis of results of regression and biophysical models[J]. Journal of Automation and Information Sciences, 2013, 45(6) : 68-81.
[28] Bermudez J D, Feitosa R Q, Achanccaray P M, et al. Evaluation of recurrent neural networks for crop recognition from multitemporal remote sensing images[C]//Anais do XXVII Congresso Brasileiro de Cartografia, 2017.
[29] Sak H, Senior A, Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//Fifteenth annual conference of the international speech communication association, 2014: 337—342.
[30] Gamboa J C B. Deep learning for time-series analysis[J]. Computer Science: arXiv preprint arXiv:1701.01887, 2017: 1-13.
[31] Cai Y, Guan K, Peng J, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote sensing of environment, 2018, 210: 35-47.
[32] 王壬,陳建耀,江濤,等近30年雷州半島季節(jié)性氣象干旱時(shí)空特征[J]. 水文,2017(37):36-41.
Wang Ren, Chen Jianyao, Jiang Tao, et al. Spatiotemporal characteristics of seasonal meteorological drought in leizhou peninsula during 1984-2013[J]. Journal of China Hydrology, 2017(37): 34-41. (in Chinese with English abstract)
[33] Frost V S, Stiles J A, Shanmugan K S, et al. A model for radar images and its application to adaptive digital filtering of multiplicative noise[J]. IEEE Transactions on pattern analysis and machine intelligence, 1982 (2): 157-166..
[34] O'Shea K, Nash R. An introduction to convolutional neural networks[J]. Computer Science: arXiv preprint, arXiv: 1511.08458, 2015: 1—11.
[35] Wei H , Yangyu H , Li W , et al. Deep donvolutional neural networks for hyperspectral image classification[J]. Journal of Sensors, 2015, 2015: 1-12.
[36] Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in neural information processing systems, 2015: 2017-2025.
[37] Michie D, Spiegelhalter D J, Taylor C C. Machine learning[J]. Neural and Statistical Classification, 1994, 13: 1-4.
[38] Kingma D P , Ba J . Adam: A method for stochastic optimization[J]. Computer Science: arXiv:1412.6980, 2014: 1-15.
[39] Karim F, Majumdar S, Darabi H, et al. Multivariate lstm-fcns for time series classification[J]. Neural Networks, 2019, 116: 237-245.
[40] Hatami N, Gavet Y, Debayle J. Classification of time-series images using deep convolutional neural networks[C]//Tenth International Conference on Machine Vision (ICMV 2017). International Society for Optics and Photonics, 2018: 1-8.
[41] Zheng Y, Liu Q, Chen E, et al. Time series classification using multi-channels deep convolutional neural networks[J]. Springer, doi: 10.1007/978-3-319-08010-9_33
[42] Tatsumi K, Yamashiki Y, Torres M A C, et al. Crop classification of upland fields using Random forest of time-series Landsat 7 ETM+ data[J]. Computers and Electronics in Agriculture, 2015, 115: 171-179.
[43] Goldstein B A, Polley E C, Briggs F B S. Random forests for genetic association studies[J]. Statistical Applications in Genetics and Molecular Biology, 2011, 10(1): 1-34.
[44] Congalton R G. A review of assessing the accuracy of classifications of remotely sensed data[J]. Remote Sensing of Environment, 1991, 37(1): 35-46.
[45] Sasaki Y. The truth of the F-measure[J]. Teach Tutor mater, 2007, 1(5): 1-5.
Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN
Zhao Hongwei1,2, Chen Zhongxin1,2,3※, Jiang Hao4,5,6, Liu Jia1,2
(1.,,100081,; 2.,100081,; 3.(),00153; 4.,510070,; 5.,510070,; 6.,510070,)
Timely and accurate estimation of the area and distribution of crops is vital for food security. In previous research, the main challenges of early crop identification in southern China were: 1) cloudy days are frequent; 2) most parcels are small and crop types are variant; 3) high spatial and temporal resolution synthetic aperture radar (SAR) data is lack. The European Space Agency Sentinel-1A (S1A) satellite, which recently became operational, is a satellite system providing global coverage of SAR with 12-days revisit period at high spatial resolution at 10 m. This provides a new opportunity for early crop identification in southern China. Compared with classical machine learning methods, deep learning has many advantages, such as end-to-end training, mobility, it provides a new chance for using high spatio-temporal data efficiently. One-dimensional convolutional neural network (1D CNN) and recurrent neural network (RNN) have been shown to be effective deep learning methods for extracting temporal features for classification tasks. However, the parameters (but not hyper-parameters) of RNN are determined by the length of the time series. Compared with RNN, 1D CNN has the advantages of simple structure and few parameters, but very few studies have applied 1D CNN to time series data for early stage crop’s identification at present. In this study, we proposed to combine 1D CNN hyper-parameters training with an incremental time series training method to attain a classification model for each time point in the growth season. Firstly, we trained the 1D CNN hyper-parameters using the full time series data during the growth season, and refer to the 1D CNN with hyper-parameters as a classifier. Then, starting at the first time point, the incremental training process was carried out, at the acquisition time point of each S1A image, input all data in the growing season before (including) the point to train other parameters of the classifier at that point, and then obtained a classification model with all parameter values (including the previous hyper-parameters) at each time point. Finally, test accuracies of each time point were assessed for each crop type to determine the optimal time series length. A case study was conducted in Zhanjiang City, China. To verify the effectiveness of this method, a comparative experiment with the classical random forest (RF) method was carried out. In order to evaluate different polarizations mode (VV, VH, VH+VV) of S1A data for crop classification in the study area, we performed the above training process for each polarization time series data. The results were as follows: 1) the classification accuracies of VH+VV, VH, and VV decrease in order, based on the VH+VV backscatter coefficient time series, the maximum Kappa coefficient values of 1D CNN and RF model were 0.924 and 0.916 respectively, illustrating that S1A time series data was valid for crop classification task in the study area; 2) in the early growing season of 2017 of the study area,of 1D CNN and RF model were above 0.85, which indicated that 1D CNN in this work was effective for early crop classification. All results indicated that the proposed training method of 1D CNN was valid for early stage crop’s classification. At the same time, 33 optical images of sentinel-2 in the study area of 2017 growth season were downloaded, of which only 6 were not hindered by clouds. Therefore, S1A SAR with 12 days revisit period can not only obtain data under any weather conditions, but also track crop growth accurately. This method provides a new perspective for the application of deep learning in early stage crop’s classification tasks. In addition, all parameters of 1D CNN can be trained by using time series data from different years. Although the performances of 1D CNN almost similar to those of the RF, deep learning models have advantages that other methods do not have. Therefore, we believe that deep learning methods will play an important role in early crop identification in the near future.
crops; remote sensing; recognition; early stage; one-dimensional convolutional neural network (1D CNN); deep learning; synthetic aperture radar (SAR); Sentinel-1
趙紅偉,陳仲新,姜 浩,劉 佳. 基于Sentinel-1A影像和一維CNN的中國(guó)南方生長(zhǎng)季早期作物種類識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2020,36(3):169-177.doi:10.11975/j.issn.1002-6819.2020.03.021 http://www.tcsae.org
Zhao Hongwei, Chen Zhongxin, Jiang Hao, Liu Jia. Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 169-177. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2020.03.021 http://www.tcsae.org
2019-07-28
2019-11-27
高分辨率對(duì)地觀測(cè)系統(tǒng)重大專項(xiàng):GF-6衛(wèi)星數(shù)據(jù)大氣校正技術(shù)(30-Y20A02-9003-17/18);農(nóng)業(yè)農(nóng)村部現(xiàn)代農(nóng)業(yè)人才支撐計(jì)劃(農(nóng)業(yè)空間信息技術(shù)創(chuàng)新團(tuán)隊(duì))項(xiàng)目(914-2);廣東省農(nóng)業(yè)科技創(chuàng)新及推廣項(xiàng)目(2019KJ102)
趙紅偉,博士,助理研究員,研究方向?yàn)檗r(nóng)業(yè)遙感;農(nóng)業(yè)空間信息技術(shù)應(yīng)用。Email:zhaohongwei@caas.cn
陳仲新,博士生導(dǎo)師,研究員,博士,研究方向?yàn)檗r(nóng)業(yè)遙感;農(nóng)業(yè)空間信息技術(shù)應(yīng)用。Email:chenzhongxin@caas.cn
10.11975/j.issn.1002-6819.2020.03.021
S-1
A
1002-6819(2020)-03-0169-09