黃翀，侯相君

基于Bi-LSTM模型的時(shí)間序列遙感作物分類研究

1中國(guó)科學(xué)院地理科學(xué)與資源研究所/資源與環(huán)境信息系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100101；2中國(guó)科學(xué)院大學(xué)，北京 100049；3中國(guó)科學(xué)院黃河三角洲現(xiàn)代農(nóng)業(yè)工程實(shí)驗(yàn)室，北京 100101

【目的】及時(shí)、準(zhǔn)確地作物分類制圖是農(nóng)情監(jiān)測(cè)的重要依據(jù)。本研究基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型探究深度學(xué)習(xí)技術(shù)在時(shí)間序列遙感作物分類與早期識(shí)別中的應(yīng)用潛力?！痉椒ā勘疚囊渣S河三角洲地區(qū)為例，以哨兵2號(hào)全年可用衛(wèi)星影像為數(shù)據(jù)源，構(gòu)建年時(shí)間序列NDVI數(shù)據(jù)集；采用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)架，搭建針對(duì)結(jié)構(gòu)化時(shí)序數(shù)據(jù)的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型（bidirectional long short-term memory，Bi-LSTM），開(kāi)展遙感作物分類，并評(píng)估模型的泛化能力；通過(guò)輸入不同長(zhǎng)度時(shí)間序列遙感數(shù)據(jù)，探究滿足一定制圖精度條件下的作物最早可識(shí)別時(shí)間?！窘Y(jié)果】作物年生長(zhǎng)時(shí)序特征對(duì)于大多數(shù)作物遙感分類識(shí)別都具有較好的區(qū)分能力，基于年時(shí)間序列NDVI數(shù)據(jù)的Bi-LSTM模型作物分類總體準(zhǔn)確率達(dá)90.9%，Kappa系數(shù)達(dá)到0.892。通過(guò)測(cè)試不同時(shí)間序列長(zhǎng)度對(duì)作物分類的影響發(fā)現(xiàn)，對(duì)大多數(shù)作物來(lái)說(shuō)，其分類精度隨著數(shù)據(jù)時(shí)間序列長(zhǎng)度增加而不斷提高，冬小麥、水稻等作物在生長(zhǎng)季早期即具有較為獨(dú)特的分類特征，因而利用生長(zhǎng)季早期的時(shí)間序列影像即可獲得較高的制圖精度，而棉花、春玉米等作物需要完整生長(zhǎng)序列影像才能更好地保證分類精度。【結(jié)論】衛(wèi)星影像時(shí)間序列蘊(yùn)含的結(jié)構(gòu)化特征信息可以有效地降低特定時(shí)段的作物光譜混淆；雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型能夠同時(shí)考慮前向和后向的時(shí)間狀態(tài)信息，可以學(xué)習(xí)作物不同階段的光譜變化特征，在水稻、棉花、春玉米等易混淆作物的識(shí)別上表現(xiàn)優(yōu)異；模型能夠有效地把握樣本總體上的變化趨勢(shì)，在農(nóng)作物多分類任務(wù)中表現(xiàn)出較好的泛化能力和魯棒性。本研究通過(guò)集成深度學(xué)習(xí)和遙感時(shí)間序列，為及時(shí)、快速的區(qū)域作物高精度制圖提供了可行的思路。

作物分類；早期識(shí)別；時(shí)序遙感；Bi-LSTM；模型泛化

0 引言

【研究意義】及時(shí)、準(zhǔn)確地對(duì)農(nóng)作物進(jìn)行分類制圖是農(nóng)情監(jiān)測(cè)的重要依據(jù)，也是宏觀調(diào)控農(nóng)作物種植結(jié)構(gòu)、估計(jì)農(nóng)作物產(chǎn)量、制定糧食政策等問(wèn)題的重要參考[1-2]。而在作物生長(zhǎng)早期階段，如果能盡早獲得作物分類的結(jié)果，將使作物提取更有意義[3-4]，例如提前分配農(nóng)業(yè)灌溉用水量提高用水效率，更合理地進(jìn)行農(nóng)作物的收儲(chǔ)等[5]?！厩叭搜芯窟M(jìn)展】遙感是應(yīng)對(duì)高時(shí)空分辨率作物精細(xì)制圖的一個(gè)重要工具。早期的遙感農(nóng)作物分類主要是基于農(nóng)作物生長(zhǎng)關(guān)鍵期的單期或少數(shù)幾期影像，利用不同作物的光譜特征差異進(jìn)行分類識(shí)別[6-7]。但關(guān)鍵期影像往往受到天氣條件限制，且對(duì)相似作物的區(qū)分不夠明顯。隨著衛(wèi)星技術(shù)的突破，基于密集時(shí)間序列遙感數(shù)據(jù)的分類技術(shù)得到發(fā)展。其中，哨兵2號(hào)衛(wèi)星憑借其較高的時(shí)空分辨率和較好的數(shù)據(jù)質(zhì)量成為研究作物分類的理想數(shù)據(jù)源[8-9]。利用密集時(shí)間序列遙感數(shù)據(jù)進(jìn)行分類識(shí)別的基礎(chǔ)是作物全生長(zhǎng)期的光譜響應(yīng)特征。Vrieling等[10]將哨兵2號(hào)植被指數(shù)序列和地面實(shí)測(cè)綠色色度坐標(biāo)序列相比，證明了其提供植被生長(zhǎng)階段特征信息的能力，這為進(jìn)一步提高農(nóng)作物分類識(shí)別精度提供了基礎(chǔ)。近年來(lái)，以深度學(xué)習(xí)為前沿的機(jī)器學(xué)習(xí)方法日益增長(zhǎng)，也越來(lái)越多地應(yīng)用于時(shí)間序列遙感數(shù)據(jù)分類研究[11-13]。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）是一種能夠解決前向序列學(xué)習(xí)問(wèn)題的網(wǎng)絡(luò)，通過(guò)使用帶自反饋的神經(jīng)元，能夠挖掘時(shí)間序列中的上下文信息，對(duì)于結(jié)構(gòu)化序列數(shù)據(jù)建模分析有著天然的優(yōu)勢(shì)[14]。目前已有一些研究利用循環(huán)神經(jīng)網(wǎng)絡(luò)模型開(kāi)展遙感作物分類，如Luo等[15]將三維卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）模型進(jìn)行橫向拼接，構(gòu)建模型對(duì)農(nóng)作物進(jìn)行分類提取。Kussul等[16]使用多層LSTM模型對(duì)光學(xué)數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行融合并對(duì)作物進(jìn)行提取。Zhou等[17]使用LSTM模型對(duì)多時(shí)相SAR數(shù)據(jù)進(jìn)行作物分類，也取得了較好的效果。【本研究切入點(diǎn)】現(xiàn)有的研究大多是針對(duì)單期或少數(shù)幾期遙感影像的深度學(xué)習(xí)分類，難以充分利用豐富的時(shí)間序列特征信息。作為對(duì)RNN的一種改進(jìn)，雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型（bidirectional LSTM，Bi-LSTM）能夠同時(shí)考慮前向和后向的時(shí)間狀態(tài)信息，反向推斷作為時(shí)序推斷的補(bǔ)充，在學(xué)習(xí)過(guò)程中避免時(shí)序因果關(guān)系的限制[18]。考慮到從作物播種到收獲，其生長(zhǎng)階段的信息在前向和后向兩個(gè)方向上都是瞬時(shí)相關(guān)的[19]，因此，應(yīng)用Bi-LSTM模型進(jìn)行時(shí)間序列遙感作物分類和早期識(shí)別的潛力尚待進(jìn)一步探索[11]?！緮M解決的關(guān)鍵問(wèn)題】本研究以華北平原典型農(nóng)業(yè)區(qū)黃河三角洲為例，在密集時(shí)間序列遙感數(shù)據(jù)支持下，探究基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型的深度學(xué)習(xí)技術(shù)在作物分類與早期識(shí)別中的應(yīng)用潛力。同時(shí)，選擇具有不同主導(dǎo)農(nóng)作物的典型農(nóng)業(yè)區(qū)，利用獨(dú)立采集的驗(yàn)證樣本，進(jìn)一步測(cè)試模型在較大區(qū)域上的泛化能力，以期為遙感時(shí)序大數(shù)據(jù)的農(nóng)業(yè)深入應(yīng)用提供可供借鑒的方案。

1 材料與方法

1.1 試驗(yàn)區(qū)介紹

黃河三角洲位于山東省東營(yíng)市黃河入?？?，是黃河攜帶巨量泥沙經(jīng)多年沉積形成。區(qū)域氣候類型屬于暖溫帶半濕潤(rùn)大陸性季風(fēng)氣候，冬季干燥寒冷，夏季炎熱多雨。該區(qū)域是華北平原典型的旱地農(nóng)業(yè)種植區(qū)，其種植結(jié)構(gòu)主要為一年兩季的冬小麥-夏玉米和冬小麥-夏大豆。華北平原地區(qū)常見(jiàn)的春玉米、棉花等一年一季旱地作物也較為常見(jiàn)。近年來(lái)，在灌溉水源能夠保證的地方，水稻也得到大面積的種植。因此，黃河三角洲多樣的種植結(jié)構(gòu)在華北平原農(nóng)業(yè)中極具代表性。本研究以山東省東營(yíng)市黃河南岸的三角洲平原為研究區(qū)，主要包括墾利縣和東營(yíng)區(qū)兩個(gè)縣級(jí)行政區(qū)，如圖1所示。

圖1 研究區(qū)位置圖

1.2 數(shù)據(jù)獲取與處理

1.2.1 試驗(yàn)數(shù)據(jù)獲取 Sentinel-2任務(wù)是歐盟委員會(huì)和歐洲航天局共同倡議的“全球環(huán)境與安全監(jiān)測(cè)計(jì)劃”中的一部分，用于提供農(nóng)業(yè)利用、土地覆被變化監(jiān)測(cè)等一系列服務(wù)[20]。Sentinel-2搭載一枚高分辨率多光譜成像儀（MSI），包括4個(gè)空間分辨率為10 m的可見(jiàn)光-近紅外波段等。Sentinel-2任務(wù)的兩顆衛(wèi)星同時(shí)運(yùn)行，為農(nóng)業(yè)遙感應(yīng)用提供了密集的數(shù)據(jù)來(lái)源。

通過(guò)GEE平臺(tái)獲取了2020年1月1日至2020年12月31日一個(gè)完整自然年份的全部Sentinel-2遙感影像，以云量90%為閾值進(jìn)行篩選，共獲取可用影像109景，如表1所示。該數(shù)據(jù)為L(zhǎng)2A標(biāo)準(zhǔn)產(chǎn)品，已經(jīng)過(guò)幾何校正和大氣校正，投影為UTM/WGS84，數(shù)據(jù)是地表反射率產(chǎn)品。

樣本數(shù)據(jù)是2020年5月和8月用手持GPS在研究區(qū)野外實(shí)地調(diào)查的數(shù)據(jù)，共382個(gè)采樣點(diǎn)（圖2-B），其中，人工林樣點(diǎn)68個(gè)，水稻樣點(diǎn)58個(gè)，棉花樣點(diǎn)40個(gè)，春玉米樣點(diǎn)53個(gè)，荒地樣點(diǎn)69個(gè)，冬小麥-夏大豆樣點(diǎn)28個(gè)，冬小麥-夏玉米樣點(diǎn)66個(gè)。該數(shù)據(jù)用來(lái)計(jì)算模型在研究區(qū)的泛化精度。

表1 哨兵2數(shù)據(jù)分布時(shí)間

考慮到深度學(xué)習(xí)需要大量樣本，在野外調(diào)查基礎(chǔ)上，還收集了訓(xùn)練區(qū)域2020年不同月份的Google 高清影像，進(jìn)行目視解譯，以構(gòu)建支撐模型的樣本集合（圖1中的訓(xùn)練樣本區(qū)域）。本研究獲取到不同種類地塊共1 388個(gè)用于模型訓(xùn)練和驗(yàn)證，每個(gè)地塊中的所有像素均被當(dāng)成該種作物和種植類型的有效樣本，如圖2-A所示。之后將樣本矢量數(shù)據(jù)轉(zhuǎn)化為柵格數(shù)據(jù)，從中選取云量覆蓋率較低的集合，對(duì)每一類單獨(dú)遍歷，從中隨機(jī)選取12 000個(gè)點(diǎn)，七大類共84 000個(gè)點(diǎn)用于模型訓(xùn)練，構(gòu)成訓(xùn)練集；同時(shí)對(duì)每類另隨機(jī)選取2 000個(gè)點(diǎn)，共14 000個(gè)點(diǎn)，構(gòu)成驗(yàn)證集，用于訓(xùn)練區(qū)的精度驗(yàn)證。

此外，為了測(cè)試模型的泛化能力，除研究區(qū)外，在東營(yíng)市北部河口區(qū)選擇水稻典型種植區(qū)、東營(yíng)市南部廣饒縣選擇春玉米典型種植區(qū)，河北省衡水市冀州區(qū)選擇冬小麥-夏玉米典型種植區(qū)，作為對(duì)模型泛化能力的測(cè)試區(qū)。測(cè)試區(qū)域（圖2-C）及樣本點(diǎn)如圖2-D—F所示，樣本點(diǎn)采集時(shí)間也為2020年。

圖2 訓(xùn)練集與測(cè)試集樣本分布

1.2.2 時(shí)序數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理包括遙感影像無(wú)效值剔除與歸一化植被指數(shù)時(shí)序曲線的構(gòu)建。時(shí)序遙感影像中經(jīng)常會(huì)存在不同程度的云覆蓋，本研究首先利用s2cloudless算法對(duì)遙感影像中的云層等無(wú)效數(shù)據(jù)進(jìn)行剔除[21]。該算法可以針對(duì)每個(gè)像素產(chǎn)生一個(gè)云概率，通過(guò)設(shè)定閾值來(lái)控制選擇像素的數(shù)量和質(zhì)量。經(jīng)過(guò)多次試驗(yàn)，將閾值控制為30%[21]，以最大程度減小無(wú)效像素的影響，同時(shí)盡可能多地保留有效的像素，這有利于構(gòu)建完整的時(shí)序數(shù)據(jù)集合。

歸一化差值植被指數(shù)（normalize difference vegetation index，NDVI）是植被生長(zhǎng)狀態(tài)的良好指示因子，能夠較好地反映植被綠度、光合作用強(qiáng)度等特征[22]。本研究通過(guò)構(gòu)建作物NDVI年時(shí)間序列，利用深度學(xué)習(xí)模型進(jìn)行作物精細(xì)分類識(shí)別。由于數(shù)據(jù)經(jīng)過(guò)去云操作后存在一定的時(shí)序缺失，本研究通過(guò)Savitzky-Golay濾波器對(duì)時(shí)序曲線進(jìn)行補(bǔ)缺處理，以得到完整的地物年時(shí)序曲線，如圖3所示。

圖3 農(nóng)作物與其他植被NDVI時(shí)序曲線

1.3 研究方法

1.3.1 雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型構(gòu)建 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[14]。全連接層網(wǎng)絡(luò)（full connected network）只在層與層之間建立了全連接，RNN最大的不同之處就是在時(shí)間維度引入循環(huán)概念，使網(wǎng)絡(luò)能建模過(guò)去時(shí)刻對(duì)當(dāng)前時(shí)刻的影響，以此建立正向時(shí)間上的聯(lián)系。

時(shí)間序列遙感分類任務(wù)是完整序列多類別分類任務(wù)的一種，如果能從前后兩個(gè)方向同時(shí)考慮歷史信息和未來(lái)信息，這相比于單方向模型有更多的特征參與分類，從而提高分類精度。然而，通用的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在時(shí)序上處理序列，忽略了未來(lái)信息在序列中的影響。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)[18]的基本思想是在模型中構(gòu)建兩個(gè)不同方向的循環(huán)神經(jīng)網(wǎng)絡(luò)，而且這兩個(gè)循環(huán)網(wǎng)絡(luò)都連接著一個(gè)輸出層。這個(gè)結(jié)構(gòu)把輸入序列中每一個(gè)點(diǎn)的完整的前向和后向的上下文信息提供給輸出層。

圖4是一個(gè)沿時(shí)間展開(kāi)的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。6個(gè)獨(dú)特的權(quán)值在每一個(gè)時(shí)步被重復(fù)利用，6個(gè)權(quán)值分別對(duì)應(yīng)：輸入到向前和向后隱含層（1,3），隱含層到隱含層自己（2,5），向前和向后隱含層到輸出層（4,6）。另外需要說(shuō)明的是，向前和向后隱含層之間沒(méi)有信息流，這保證了展開(kāi)圖是非循環(huán)的。

原始RNN的隱藏層只有一個(gè)狀態(tài)，它對(duì)于短期的輸入非常敏感，但存在梯度消失問(wèn)題。長(zhǎng)短期記憶網(wǎng)絡(luò)[23]和門控循環(huán)單元[24]（gated recurrent unit，GRU）通過(guò)使用單元建模隱藏狀態(tài)來(lái)解決這一問(wèn)題。在給定先前狀態(tài)、當(dāng)前存儲(chǔ)器和輸入值的情況下，這些單元決定了要保留和丟棄的信息[25]。其中，LSTM通過(guò)單元與門的設(shè)計(jì)來(lái)控制信息在序列中的傳遞，實(shí)現(xiàn)對(duì)歷史數(shù)據(jù)有區(qū)別地記憶和遺忘以及對(duì)當(dāng)前輸入數(shù)據(jù)不同程度的利用。本研究為解決梯度消失問(wèn)題，采用雙向LSTM（Bi-LSTM）網(wǎng)絡(luò)。該網(wǎng)絡(luò)輸出兩個(gè)時(shí)間域特征向量，融合后輸入激活函數(shù)進(jìn)行分類。在本研究中，采用Tensorflow模塊構(gòu)建Bi-LSTM模型，模型的層數(shù)為2層，每層的神經(jīng)元個(gè)數(shù)為128，學(xué)習(xí)率為0.001。模型的激活函數(shù)使用Softmax函數(shù)，代價(jià)函數(shù)為多分類的交叉熵?fù)p失函數(shù)。本研究設(shè)置深度學(xué)習(xí)每個(gè)batch大小為128，為了訓(xùn)練出高精度模型設(shè)置epochs為50。

此外，為了探究循環(huán)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)機(jī)器學(xué)習(xí)模型在遙感作物分類效果的區(qū)別，在使用相同的訓(xùn)練樣本的情況下，選擇支持向量機(jī)（support vector machine，SVM）作為對(duì)比分類器。SVM模型采用Python語(yǔ)言編寫，調(diào)用sklearn包中的相關(guān)函數(shù)對(duì)分類器模型進(jìn)行構(gòu)建，參數(shù)均采用默認(rèn)值。

圖4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖

1.3.2 模型泛化能力評(píng)估 目前將深度學(xué)習(xí)用于農(nóng)作物分類的研究大多使用一個(gè)數(shù)據(jù)集，例如野外采樣數(shù)據(jù)[9, 26]或者現(xiàn)有的作物分類產(chǎn)品[27-28]，訓(xùn)練集（驗(yàn)證集）與測(cè)試集由該數(shù)據(jù)集劃分得到，模型在訓(xùn)練完成后基于同一數(shù)據(jù)分布的集合直接進(jìn)行模型的能力測(cè)試[29]。本研究中，為進(jìn)一步測(cè)試模型的泛化能力，訓(xùn)練集（驗(yàn)證集）與測(cè)試集采用獨(dú)立的數(shù)據(jù)集。訓(xùn)練集與測(cè)試集之間存在協(xié)變量偏差[30]，該偏差可以用來(lái)有效地檢測(cè)模型的遷移泛化能力。

1.3.3 精度評(píng)價(jià) 本研究通過(guò)建立混淆矩陣對(duì)分類結(jié)果進(jìn)行精度評(píng)價(jià)，評(píng)價(jià)指標(biāo)包括：總體精度（），用戶精度（），制圖精度（），Kappa系數(shù)（）?？傮w精度是指對(duì)每一個(gè)隨機(jī)樣本，所分類的結(jié)果與驗(yàn)證數(shù)據(jù)類型相一致的概率。用戶精度是指從分類結(jié)果中任取一個(gè)隨機(jī)樣本，其所具有的類型與驗(yàn)證數(shù)據(jù)類型相同的條件概率。制圖精度是指從驗(yàn)證樣點(diǎn)中任取一個(gè)隨機(jī)樣本，分類圖上同一地點(diǎn)的分類結(jié)果與其相一致的條件概率。Kappa系數(shù)是遙感分類中常用于一致性檢驗(yàn)的指標(biāo)，表示分類結(jié)果中的一致性。

1.3.4 基于不同長(zhǎng)度時(shí)間序列遙感的作物早期識(shí)別 本研究希望通過(guò)深度學(xué)習(xí)模型對(duì)不同種類農(nóng)作物進(jìn)行盡可能早的有效識(shí)別，因此將不同長(zhǎng)度時(shí)間序列遙感數(shù)據(jù)輸入模型，得到在不同時(shí)間節(jié)點(diǎn)的各類農(nóng)作物的識(shí)別情況。本研究以月為單位，將完整時(shí)間序列進(jìn)行分割。由于每個(gè)月的有效圖像數(shù)量不同，因此數(shù)據(jù)長(zhǎng)度不是等差增長(zhǎng)的。隨著時(shí)間序列長(zhǎng)度的增加，分類精度將同步提高。根據(jù)多次預(yù)試驗(yàn)結(jié)果以及參考相關(guān)文獻(xiàn)[8]，本研究中，每種作物的最早可識(shí)別時(shí)間（earliest identifiable timing，EIT）被定義為該作物的F1分?jǐn)?shù)首次達(dá)到0.85的閾值，其中F1分?jǐn)?shù)為用戶精度與制圖精度的調(diào)和平均數(shù)。這樣便可以得到對(duì)不同種類作物進(jìn)行有效識(shí)別的最早月份。

2 結(jié)果

2.1 基于全時(shí)間序列遙感的作物分類精度評(píng)估

圖5為利用Bi-LSTM模型生成的研究區(qū)作物分布圖。從圖5可以看出，冬小麥-夏玉米是該區(qū)主要的農(nóng)作物種植方式，分布面積最大。而水稻主要分布在距離黃河沿岸較近的地區(qū)，這與水稻種植需要大量引水灌溉特征相符。棉花和春玉米零散分布在黃河入?？诟浇N植規(guī)模較小。

基于Bi-LSTM模型的分類結(jié)果精度統(tǒng)計(jì)如圖6所示，模型總體準(zhǔn)確率達(dá)90.9%，Kappa系數(shù)達(dá)到0.892（表2）。從圖6中可以看出，一年兩季的作物種植模式有很高的識(shí)別精度，但是當(dāng)具體到冬小麥-夏玉米和冬小麥-夏大豆的精細(xì)分類時(shí)，精度變低。主要原因在于，夏玉米和夏大豆NDVI時(shí)序曲線非常相似，僅依賴NDVI時(shí)序特征，兩者還存在較大的混淆。相比來(lái)說(shuō)，由于夏玉米的種植范圍更加廣泛，特征相對(duì)明顯，因此冬小麥-夏玉米的分類精度要高于冬小麥-夏大豆。

圖5 基于Bi-LSTM模型的黃河三角洲地區(qū)農(nóng)作物分類結(jié)果

圖6 Bi-LSTM模型的精度統(tǒng)計(jì)圖

表2 分類模型的精度統(tǒng)計(jì)

與旱地作物不同，水稻種植期存在的特殊灌水期包含了區(qū)分水田的重要光譜特征，因此水稻的分類精度較高，其用戶精度在96%以上，其他作物誤分為水稻的概率很低；而水稻的制圖精度稍低于用戶精度，這是因?yàn)槭艿皆频纫蛩氐挠绊?，部分像元時(shí)序中的低谷特征不明顯，導(dǎo)致水稻被誤分為其他類型。春玉米、棉花是研究區(qū)典型的一年一季旱地作物。春玉米的制圖精度較高，而用戶精度較低，這說(shuō)明春玉米的識(shí)別特征被放大，有一部分其他農(nóng)作物被識(shí)別成了春玉米。盡管棉花的NDVI曲線形態(tài)與春玉米相近，但由于收獲時(shí)間不同，7、8月份的曲線特征存在差異。因此，從整個(gè)生長(zhǎng)時(shí)序看，棉花與春玉米、水稻在不同的階段仍有較為明顯的區(qū)分特征，分類精度較高。

在基于單期或多期遙感影像分類中，人工林和荒地與生長(zhǎng)季作物存在較大程度的誤分，因此本研究將其納入分類對(duì)象。由于人工林的生長(zhǎng)周期顯著大于農(nóng)作物的種植周期，因而分類精度較高。與人工林相反，荒地的地表基本為雜草，其NDVI時(shí)間序列的峰值要遠(yuǎn)低于人工林和各種農(nóng)作物，因此也較易區(qū)分。

為探索Bi-LSTM模型在分類任務(wù)中的優(yōu)勢(shì)，在相同數(shù)據(jù)源（全時(shí)序數(shù)據(jù)）的情況下，將Bi-LSTM模型和SVM模型的分類結(jié)果進(jìn)行了對(duì)比，模型的精度如表2所示。

從表2中可以看出，總體上Bi-LSTM模型的結(jié)果稍好。對(duì)于三類精度較高的植被類型或作物類型（人工林，荒地和冬小麥-夏玉米）來(lái)說(shuō)，Bi-LSTM模型和SVM模型同樣可以取得較為滿意的結(jié)果。而在難以區(qū)分的四類（水稻、棉花、春玉米和冬小麥-夏大豆），Bi-LSTM模型的表現(xiàn)則更為突出。相比之下，SVM模型在水稻和春玉米的分類上有較大的“漏分”情況；在棉花和冬小麥-夏大豆的分類上有較大的“誤分”情況。這說(shuō)明Bi-LSTM模型在針對(duì)春夏季難以區(qū)分的種植作物上具有優(yōu)勢(shì)。

此外，兩種模型在分類的細(xì)節(jié)上也顯示出一定的差異（圖7）。由于黃河三角洲地區(qū)以個(gè)體農(nóng)戶經(jīng)營(yíng)為主，不同地塊間種植較為雜亂。SVM分類器在這些細(xì)節(jié)處的“椒鹽”現(xiàn)象嚴(yán)重，地塊內(nèi)部不均勻且邊界輪廓線模糊。相比之下，采用Bi-LSTM模型得到的結(jié)果分類噪聲明顯減少，地塊內(nèi)部相對(duì)均勻，邊界清晰，有利于多種農(nóng)作物的分類與制圖。

2.2 模型泛化精度

本研究利用訓(xùn)練區(qū)樣本得到的模型對(duì)研究區(qū)作物結(jié)構(gòu)進(jìn)行分類識(shí)別，因此，研究區(qū)的分類精度一定程度上反映了模型的泛化能力。訓(xùn)練區(qū)（圖2-A）的驗(yàn)證精度由訓(xùn)練集誤差直接得到，其結(jié)果往往高于研究區(qū)的泛化精度。SVM和Bi-LSTM模型的驗(yàn)證精度都非常高，分別為96.7%和97.4%，這表明二者均對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行了充分的信息挖掘。但是當(dāng)把模型泛化到研究區(qū)時(shí)，二者出現(xiàn)了較大的區(qū)別，Bi-LSTM模型精度依舊保持在較高的水平（90.9%），而SVM的泛化精度下降至84.8%，出現(xiàn)了明顯衰減。這表明，Bi-LSTM模型在多分類任務(wù)中具有更好的預(yù)測(cè)精度和魯棒性，即使處理有一定特征變化的新的樣本，模型也可以較準(zhǔn)確地提取主要特征并歸類，這保證了模型的泛化能力和穩(wěn)定性。

圖7 不同分類方法制圖細(xì)節(jié)對(duì)比

為了進(jìn)一步驗(yàn)證模型在更大區(qū)域上的泛化能力，選擇研究區(qū)之外的3個(gè)典型農(nóng)業(yè)種植區(qū)進(jìn)行模型測(cè)試，其分類結(jié)果和精度如圖8和表3所示。

結(jié)果表明，在3個(gè)典型農(nóng)作物的種植區(qū)，Bi-LSTM的結(jié)果優(yōu)于SVM的結(jié)果，平均泛化精度高4.5%。在河口種植區(qū)，水稻沿河流分布，其Bi-LSTM泛化精度比SVM模型高6.4%，錯(cuò)分類型主要為春玉米和荒地。由于受到云層遮蓋與混合像元的影響，錯(cuò)分區(qū)域的水稻曲線灌水特征不明顯，是導(dǎo)致錯(cuò)分的主要原因。在廣饒種植區(qū)，模型遷移后春玉米被錯(cuò)分為棉花，沒(méi)有被錯(cuò)分為水稻與荒地，說(shuō)明模型識(shí)別一年一季旱地作物的能力較強(qiáng)，但在區(qū)分相似的春玉米與棉花時(shí)精度稍低，Bi-LSTM模型的泛化精度為90.3%，優(yōu)于SVM模型。冀州種植區(qū)是北方典型的冬小麥-夏玉米種植區(qū)，其種植物候稍早于訓(xùn)練樣本區(qū)[31]，冬小麥-夏大豆種植模式并不常見(jiàn)。但是由于夏玉米與夏大豆的NDVI曲線特征非常相似，當(dāng)訓(xùn)練區(qū)模型泛化到該區(qū)域時(shí)，仍有少量冬小麥-夏玉米類別被錯(cuò)分為冬小麥-夏大豆，導(dǎo)致模型泛化精度較低，Bi-LSTM模型的泛化精度為83.6%，而SVM泛化精度為78.7%。

綜合來(lái)說(shuō)，由于訓(xùn)練區(qū)域與分類區(qū)域不同，分類區(qū)域中的變化特征檢測(cè)了模型在面對(duì)新的樣本的泛化能力。而B(niǎo)i-LSTM模型的泛化精度較高的結(jié)果表明，它具有更好的提取特征并泛化推廣的能力，以及穩(wěn)定的魯棒性。與傳統(tǒng)模型相比，即使處理與訓(xùn)練樣本庫(kù)不同的新樣本，Bi-LSTM模型也可以保證較好的識(shí)別結(jié)果。

表3 泛化能力測(cè)試區(qū)模型精度統(tǒng)計(jì)

左側(cè)圖為Bi-LSTM結(jié)果，右側(cè)圖為SVM結(jié)果，A、B圖為河口種植區(qū)，C、D圖為廣饒種植區(qū)，E、F圖為冀州種植區(qū)

2.3 時(shí)間序列長(zhǎng)度對(duì)作物分類精度的影響

不同月份時(shí)間長(zhǎng)度遙感時(shí)序數(shù)據(jù)作為輸入的模型結(jié)果如表4和圖9所示。

從圖9和表4中可以看出，不同類型的農(nóng)作物F1分?jǐn)?shù)曲線的特點(diǎn)和最早可識(shí)別時(shí)間有很大不同。一年兩季類型包括冬小麥-夏大豆和冬小麥-夏玉米，若不加區(qū)分，冬小麥在冬季就可以達(dá)到很高的識(shí)別精度，僅使用一個(gè)月的曲線便可以達(dá)到0.77的F1值，而4月份小麥進(jìn)入拔節(jié)期，NDVI指數(shù)明顯增大，遠(yuǎn)高于其他農(nóng)作物及植被，因此在4月份便可以達(dá)到0.87的F1分?jǐn)?shù)，最早可識(shí)別時(shí)間為4月份。若將夏玉米和夏大豆加以區(qū)別，則10月份是夏玉米的可識(shí)別時(shí)間，此時(shí)玉米已成熟，NDVI變化明顯；而夏大豆識(shí)別精度較低，使用全生長(zhǎng)季數(shù)據(jù)依然無(wú)法得到令人滿意的單分類結(jié)果。

表4 不同月份數(shù)據(jù)長(zhǎng)度精度統(tǒng)計(jì)

圖9 不同月份數(shù)據(jù)F1分?jǐn)?shù)統(tǒng)計(jì)圖

在一年一季作物中，水稻較為特殊，5月份的灌水期是其識(shí)別的重要時(shí)間。因此在5月份，水稻的F1分?jǐn)?shù)有一個(gè)明顯的提升。而在6月份進(jìn)入快速生長(zhǎng)期，NDVI值迅速上升，此差異進(jìn)一步提升了水稻的分類精度，最早可識(shí)別時(shí)間為6月份。棉花和春玉米的種植和生長(zhǎng)周期較為相似，但春玉米種植和收獲早于棉花1—2個(gè)月，春玉米在9月份收獲，棉花在10—11月份收獲。在對(duì)這兩種作物進(jìn)行早期識(shí)別時(shí)，作物時(shí)序NDVI特征不夠明顯，只有較為完整的曲線才可以保證較高的精度，因此春玉米的最早可識(shí)別時(shí)間為9月份，而棉花的最早可識(shí)別時(shí)間為10月份。

總體來(lái)看，不同作物與種植類型的最早可識(shí)別時(shí)間與該類作物的生長(zhǎng)階段特征關(guān)系明顯，并且在該作物出現(xiàn)較為獨(dú)特、明顯的特征后精度會(huì)有較大幅度的提升，如冬小麥、水稻等；同時(shí)也存在早期特征不明顯，需要完整生長(zhǎng)序列才能保證精度的類型，如棉花、春玉米等。從多種作物的總體精度看，總體精度隨著數(shù)據(jù)時(shí)間序列長(zhǎng)度增加而不斷提高。在3月份到5月份增長(zhǎng)明顯，分類精度有明顯提升，說(shuō)明這一時(shí)期的數(shù)據(jù)具有較多的信息量。在5月份到9月份不斷提升，說(shuō)明時(shí)間序列長(zhǎng)度的增加可以有效提升分類精度。而在9月份之后，精度提升效果不明顯，因此，大多數(shù)作物在9月份可以達(dá)到85%以上的精度，是一個(gè)較為理想的水平。

3 討論

3.1 基于時(shí)序遙感數(shù)據(jù)深度學(xué)習(xí)分類的優(yōu)勢(shì)

與傳統(tǒng)的單多期影像相比，結(jié)構(gòu)化的時(shí)間序列數(shù)據(jù)可以屏蔽天氣的影響，同時(shí)蘊(yùn)含著更多的信息，有利于提取植被物候特征[32]。生長(zhǎng)期相近的作物往往難以區(qū)分[8]，例如水稻、棉花和玉米。但不同作物在生長(zhǎng)過(guò)程中存在不同的快速增長(zhǎng)期，這種信息會(huì)反應(yīng)在NDVI時(shí)序數(shù)據(jù)的斜率和權(quán)重上，是單多期影像無(wú)法提供的關(guān)鍵區(qū)分信息[17]。

Bi-LSTM是一種專注于探究時(shí)序數(shù)據(jù)前后邏輯關(guān)系的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，它可以充分利用結(jié)構(gòu)化的時(shí)間標(biāo)簽信息。本研究采用高頻時(shí)序NDVI數(shù)據(jù)作為輸入，進(jìn)一步證明該模型在挖掘植被生長(zhǎng)過(guò)程中NDVI變化特征的優(yōu)勢(shì)。一些研究已顯示了循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于作物分類的優(yōu)勢(shì)。Kwak等[19]研究表明，當(dāng)難以獲得覆蓋作物整個(gè)生長(zhǎng)周期的完整時(shí)間序列圖像時(shí)，該模型通過(guò)考慮時(shí)間序列圖像在前向和后向的時(shí)間依賴性來(lái)彌補(bǔ)信息的不足，可以有效地應(yīng)用于作物分類。用于玉米和大豆的分類制圖時(shí)，Xu等[33]發(fā)現(xiàn)，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠從關(guān)鍵的生長(zhǎng)階段捕捉到了關(guān)鍵信息，在7月初以后取得了比其他模型更高的準(zhǔn)確率。另外，Bi-LSTM模型不但考慮歷史信息，還考慮了未來(lái)輸入的影響[19]，也即在作物分類任務(wù)中更加充分地考慮了序列在整體時(shí)間段上的變化與分布，如整體的高低位轉(zhuǎn)換模式。因此模型通過(guò)對(duì)時(shí)序數(shù)據(jù)特征學(xué)習(xí)，能對(duì)作物生長(zhǎng)階段信息進(jìn)行有效的考慮，進(jìn)一步改善作物識(shí)別精度。

3.2 模型泛化能力

當(dāng)應(yīng)用訓(xùn)練區(qū)得到的模型對(duì)研究區(qū)和其他幾個(gè)測(cè)試區(qū)進(jìn)行分類時(shí)，Bi-LSTM模型都表現(xiàn)出較高的分類精度，總體上比SVM模型具有更好的分類效果，說(shuō)明Bi-LSTM模型具有良好的泛化能力。這可能與Bi-LSTM模型的強(qiáng)學(xué)習(xí)能力有關(guān)。Bi-LSTM模型中LSTM層接受輸入的時(shí)序數(shù)據(jù)之后，利用其處理上下文信息的能力和記憶能力有可能挖捕捉到時(shí)序數(shù)據(jù)中潛在的非線性特征[34]，而多層與雙向的LSTM結(jié)構(gòu)進(jìn)一步提高了模型容量與提取特征的能力[27]。之后利用激活函數(shù)對(duì)特征進(jìn)行處理，更好地表達(dá)時(shí)序數(shù)據(jù)中的信息并輔助最終數(shù)據(jù)分類任務(wù)。與之相比，SVM從線性分類模型改進(jìn)而來(lái)，尋求樣本間隔最大化的分離超平面，從而實(shí)現(xiàn)對(duì)非線性數(shù)據(jù)的分類[35]。SVM可以通過(guò)核技巧使低維數(shù)據(jù)轉(zhuǎn)化為特征數(shù)據(jù)[36]，同樣也有不錯(cuò)的分類結(jié)果，但核的選擇與特征提取效果依賴于先驗(yàn)知識(shí)與不斷反復(fù)試驗(yàn)，在面對(duì)新樣本時(shí)提取特征能力弱于深度學(xué)習(xí)模型[34]。以水稻為例，野外調(diào)查發(fā)現(xiàn)黃河三角洲地區(qū)水稻種植的水源主要依賴于引黃灌溉，因此，水稻的播種需要視引黃灌溉的時(shí)間安排而定，移栽期在空間上存在較大差異，從5月中旬到6月下旬不等。而B(niǎo)i-LSTM模型在泛化過(guò)程中對(duì)研究區(qū)之外水稻的識(shí)別依然保持較高的精度，這說(shuō)明該模型在學(xué)習(xí)過(guò)程中，將水稻NDVI時(shí)序間的關(guān)系（形態(tài)、結(jié)構(gòu)等）作為有效的區(qū)分特征準(zhǔn)確地識(shí)別出來(lái)，即使區(qū)域不同、物候特征存在一定偏差，Bi-LSTM模型依然能夠有效地把握其總體上的變化趨勢(shì)。

Bi-LSTM模型的泛化能力在相關(guān)研究中也得到一定驗(yàn)證。在Xu等[33]開(kāi)展大規(guī)模玉米和大豆制圖研究中，該模型的空間轉(zhuǎn)移能力明顯優(yōu)于隨機(jī)森林模型（random forest，RF）和多層感知機(jī)模型（multilayer perceptron，MLP），表明模型有能力從時(shí)間序列中學(xué)習(xí)可推廣的特征。這一優(yōu)勢(shì)對(duì)于大區(qū)域的作物分類制圖非常重要，因?yàn)槿鏄颖镜倪x取通常費(fèi)時(shí)費(fèi)力，當(dāng)采集的訓(xùn)練樣本無(wú)法覆蓋全面的種植類型特點(diǎn)時(shí)，樣本和地表真實(shí)情況存在一定的系統(tǒng)性誤差，影響傳統(tǒng)模型的分類精度。而采用泛化能力更強(qiáng)的深度學(xué)習(xí)模型進(jìn)行分類制圖，可以一定程度上降低對(duì)樣本的依賴。

4 結(jié)論

基于哨兵2號(hào)全年可用衛(wèi)星影像構(gòu)建了NDVI時(shí)間序列數(shù)據(jù)，采用TensorFlow深度學(xué)習(xí)框架搭建了Bi-LSTM模型，對(duì)黃河三角洲地區(qū)的農(nóng)作物開(kāi)展分類和早期識(shí)別研究，探究了深度學(xué)習(xí)模型在時(shí)間序列遙感作物分類中的潛力。主要結(jié)論如下：

（1）衛(wèi)星影像時(shí)間序列蘊(yùn)含的結(jié)構(gòu)化特征信息可以有效地降低特定時(shí)段的作物光譜混淆，為作物和種植結(jié)構(gòu)精細(xì)分類提供了有力的支撐。結(jié)合深度學(xué)習(xí)模型，在應(yīng)用于黃河三角洲地區(qū)作物分類時(shí)，總體準(zhǔn)確率達(dá)90.9%，Kappa系數(shù)達(dá)到0.892。

（2）Bi-LSTM模型能夠同時(shí)考慮前向和后向的時(shí)間狀態(tài)信息，可以學(xué)習(xí)作物不同階段的光譜變化特征，在水稻、棉花、春玉米等作物的識(shí)別上表現(xiàn)優(yōu)異。同時(shí)，模型能夠有效地把握樣本的變化趨勢(shì)與特征，因而在農(nóng)作物大區(qū)域分類任務(wù)中具有更好的泛化能力和魯棒性。

（3）不同類型的農(nóng)作物F1得分曲線的特點(diǎn)和最早可識(shí)別時(shí)間各不相同，與作物生長(zhǎng)階段特征關(guān)系明顯。小麥為4月份、水稻為6月份、春玉米為9月份、棉花和夏玉米為10月份。本研究為開(kāi)展典型作物早期識(shí)別制圖提供了依據(jù)。

（4）本研究只利用了NDVI時(shí)序特征進(jìn)行作物分類，由于夏玉米和夏大豆之間生長(zhǎng)季NDVI曲線變化相似，兩者之間仍有一定程度的誤分。進(jìn)一步，可結(jié)合不同波段的光譜特征或融合其他數(shù)據(jù)源來(lái)提高夏玉米和夏大豆之間的識(shí)別精度。此外，模型的泛化能力還有待在更大區(qū)域上開(kāi)展作物分類試驗(yàn)。

[1] 張佳華, 胡小夏, 劉學(xué)鋒, 何貞銘. 基于MODIS數(shù)據(jù)提取華北典型區(qū)冬小麥種植面積. 中國(guó)科學(xué)院大學(xué)學(xué)報(bào), 2013, 30(5): 637-643.

Zhang J H, Hu X X, Liu X F, He Z M. Extraction of winter wheat planting areas based on the time-series MODIS data in typical region of North China. Journal of University of Chinese Academy of Sciences, 2013, 30(5): 637-643. (in Chinese)

[2] 史舟, 梁宗正, 楊媛媛, 郭燕. 農(nóng)業(yè)遙感研究現(xiàn)狀與展望. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2015, 46(2): 247-260.

SHI Z, LIANG Z Z, YANG Y Y, GUO Y. Status and prospect of agricultural remote sensing. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(2): 247-260. (in Chinese)

[3] 陳仲新, 任建強(qiáng), 唐華俊, 史云, 冷佩, 劉佳, 王利民, 吳文斌, 姚艷敏, 哈斯圖亞. 農(nóng)業(yè)遙感研究應(yīng)用進(jìn)展與展望. 遙感學(xué)報(bào), 2016, 20(5): 748-767.

CHEN Z X, REN J Q, TANG H J, SHI Y, LENG P, LIU J, WANG L M, WU W B, YAO Y M, Hasi T y. Progress and perspectives on agricultural remote sensing research and applications in China. Journal of Remote Sensing, 2016, 20(5): 748-767. (in Chinese)

[4] deCastro A I, TORRES-SáNCHEZ J, PENA J M, JIMENEZ- BRENES F M, CSILLIK O, LOPEZ-GRANADOS F. An automatic random forest-OBIA algorithm for early weed mapping between and within crop rows using UAV Imagery. Remote Sensing, 2018, 10(2): 285.

[5] 郝鵬宇, 唐華俊, 陳仲新, 牛錚. 基于歷史增強(qiáng)型植被指數(shù)時(shí)序的農(nóng)作物類型早期識(shí)別. 農(nóng)業(yè)工程學(xué)報(bào), 2018, 34(13): 179-186.

HAO P Y, TANG H J, CHEN Z X, NIU Z. Early season crop type recognition based on historical EVI time series. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(13): 179-186. (in Chinese)

[6] AZAR R, VILLA P, STROPPIANA D, CREMA A, BOSCHETTI M, BRIVIO P A. Assessing in-season crop classification performance using satellite data: a test case in Northern Italy. European Journal of Remote Sensing, 2016, 49(1): 361-380.

[7] 趙麗花, 李衛(wèi)國(guó), 杜培軍. 基于多時(shí)相HJ衛(wèi)星的冬小麥面積提取. 遙感信息, 2011, 26(2): 41-45, 50.

ZHAO L H, LI W G, DU P J. The area extraction of winter wheat based on multi-temporal HJ remote sensing satellite images. Remote Sensing Information, 2011, 26(2): 41-45, 50. (in Chinese)

[8] YOU N S, DONG J W. Examining earliest identifiable timing of crops using all available Sentinel 1/2 imagery and Google Earth Engine. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 161: 109-123.

[9] REN T W, LIU Z, ZHANG L, LIU D Y, XI X J, KANG Y H, ZHAO Y Y, ZHANG C, LI S M, ZHANG X D. Early identification of seed maize and common maize production fields using sentinel-2 images. Remote Sensing, 2020, 12(13): 2140.

[10] VRIELING A, MERONI M, DARVISHZADEH R, SKIDMORE A K, WANG T J, ZURITA-MILLA R, OOSTERBEEK K, O’CONNOR B, PAGANINI M. Vegetation phenology from Sentinel-2 and field cameras for a Dutch barrier island. Remote Sensing of Environment, 2018, 215: 517-529.

[11] SUN Z H, DI L P, FANG H. Using long short-term memory recurrent neural network in land cover classification on Landsat and Cropland data layer time series. International Journal of Remote Sensing, 2019, 40(2): 593-614.

[12] WANG Y M, ZHANG Z, FENG L W, MA Y C, DU Q Y. A new attention-based CNN approach for crop mapping using time series Sentinel-2 images. Computers and Electronics in Agriculture, 2021, 184: 106090.

[13] QU Y, ZHAO W Z, YUAN Z L, CHEN J G. Crop mapping from sentinel-1 polarimetric time-series with a deep neural network. Remote Sensing, 2020, 12(15): 2493.

[14] 楊麗, 吳雨茜, 王俊麗, 劉義理. 循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述. 計(jì)算機(jī)應(yīng)用, 2018, 38(S2): 1-6, 26.

YANG L, WU Y X, WANG J L, LIU Y L. Research on recurrent neural network. Journal of Computer Applications, 2018, 38(S2): 1-6, 26. (in Chinese)

[15] LUO C, MENG S Y, HU X, WANG X Y, ZHONG Y F. Cropnet: Deep Spatial-Temporal-Spectral Feature Learning Network for crop classification from Time-Series Multi-Spectral Images//Proceedings of the IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 2020, 4187-4190.

[16] KUSSUL N, LAVRENIUK M, SHUMILO L. Deep Recurrent Neural Network for crop classification task based on Sentinel-1 and Sentinel-2 imagery//Proceedings of the IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 2020, 6914-6917.

[17] ZHOU Y N, LUO J C, FENG L, YANG Y P, CHEN Y H, WU W. Long-short-term-memory-based crop classification using high-resolution optical images and multi-temporal SAR data. GIScience & Remote Sensing, 2019, 56(8): 1170-1191.

[18] SCHUSTER M, PALIWAL K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 1997, 45(11): 2673-2681.

[19] KWAK G H, PARK M G, PARK C W, LEE K D, NA S I, AHN H Y, PARK N W. Combining 2D CNN and bidirectional LSTM to consider spatio-temporal features in crop classification. Korean Journal of Remote Sensing, 2019, 35(51): 681-692.

[20] 畢愷藝, 牛錚, 黃妮, 康峻, 裴杰. 基于Sentinel-2A時(shí)序數(shù)據(jù)和面向?qū)ο鬀Q策樹(shù)方法的植被識(shí)別. 地理與地理信息科學(xué), 2017, 33(5): 16-20, 27, 127.

BI K Y, NIU Z, HUANG N, KANG J, PEI J. Identifying vegetation with decision tree model based on object-oriented method using multi-temporal sentinel-2A images. Geography and Geo-Information Science, 2017, 33(5): 16-20, 27, 127. (in Chinese)

[21] SANCHEZ A H, PICOLI M C A, CAMARA G, ANDRADE P R, CHAVES M E D, LECHLER S, SOARES A R, MARUJO R E B, SIMBES R E O, FERREIRA K R, QUEIROZ G R. Comparison of Cloud cover detection algorithms on sentinel–2 images of the amazon tropical forest. Remote Sensing, 2020, 12(8): 1284.

[22] JIMéNEZ-MU?OZ J C, SOBRINO J A, PLAZA A, GUANTER L, MORENO J, MARTINEZ P. Comparison between fractional vegetation cover retrievals from vegetation indices and spectral mixture analysis: Case study of PROBA/CHRIS data over an agricultural area. Sensors, 2009, 9(2): 768-793.

[23] HOCHREITER S, SCHMIDHUBER J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780.

[24] CHO K, VAN MERRIENBOER B V, BAHDANAU D, BENGIO Y. On the properties of neural machine translation: Encoder-decoder approaches//Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, 2014, 103-111.

[25] 趙紅偉, 陳仲新, 劉佳. 深度學(xué)習(xí)方法在作物遙感分類中的應(yīng)用和挑戰(zhàn). 中國(guó)農(nóng)業(yè)資源與區(qū)劃, 2020, 41(2): 35-49.

ZHAO H W, CHEN Z X, LIU J. Deep learning for crop classification of remote sensing data: applications and challenges. Chinese Journal of Agricultural Resources and Regional Planning, 2020, 41(2):35-49. (in Chinese)

[26] ZHAO S, LIU X N, DING C, LIU S Y, WU C S, Wu L. Mapping rice paddies in complex landscapes with convolutional neural networks and phenological metrics. GIScience & Remote Sensing, 2020, 57(1): 37-48.

[27] KWAK G H, PARK C W, AHN H Y, NA S I, LEE K D, PARK N W. Potential of bidirectional long short-term memory networks for crop classification with multitemporal remote sensing images. Korean Journal of Remote Sensing, 2020, 36(4): 515-525.

[28] RU?WURM M, K?RNER M. Self-attention for raw optical satellite time series classification. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 169: 421-435.

[29] GOODFELLOW I, BENGIO Y, COURVILLE A. Deep Learning. Massachusetts: MIT Press, 2016.

[30] QUI?ONERO-CANDELA J, SUGIYAMA M, SCHWAIGHOFER A, LAWRENCE N D. Dataset Shift in Machine Learning. Massachusetts: MIT Press, 2009.

[31] 潘海珠. 基于作物多模型遙感數(shù)據(jù)同化的區(qū)域冬小麥生長(zhǎng)模擬研究[D]. 北京: 中國(guó)農(nóng)業(yè)科學(xué)院, 2020.

PAN H Z. Winter wheat growth simulation based on multiple crop models and remote sensing data assimilation[D]. Beijing: Chinese Academy of Agricultural Sciences, 2020. (in Chinese)

[32] ZENG L L, WARDLOW B D, XIANG D X, HU S, LI D R. A review of vegetation phenological metrics extraction using time-series, multispectral satellite data. Remote Sensing of Environment, 2020, 237: 111511.

[33] XU J F, ZHU Y, ZHONG R H, LIN Z X, XU J L, JIANG H, HUANG J F, LI H F, LIN T. DeepCropMapping: A multi-temporal deep learning approach with improved spatial generalizability for dynamic corn and soybean mapping. Remote Sensing of Environment, 2020, 247: 111946.

[34] LAKSHMINARAYANAN S K, MCCRAE J P. A comparative study of SVM and LSTM deep learning algorithms for stock market prediction //proceedings of the AICS, 2019, 446-457.

[35] 龐敏. 基于LSTM混合模型的時(shí)間序列預(yù)測(cè)[D]. 武漢: 華中科技大學(xué), 2019.

PANG M. Time series forecasting based on LSTM hybrid model[D]. Wuhan: Huazhong University of Science & Technology, 2019. (in Chinese)

[36] CHEN P H, LIN C J, SCH?LKOPF B. A tutorial on ν-support vector machines. Applied Stochastic Models in Business and Industry, 2005, 21(2): 111-136.

Crop Classification with Time Series Remote Sensing based on Bi-LSTM Model

HUANG Chong1, 3, HOU XiangJun1, 2

1Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences/State Key Laboratory of Resources and Environmental Information System, Beijing 100101;2University of Chinese Academy of Sciences, Beijing 100049;3CAS Engineering Laboratory for Yellow River Delta Modern Agriculture, Beijing 100101

【Objective】Timely and accurate crop classification mapping is an important basis for agricultural situation monitoring. This study explores the potential of deep learning in time series remote sensing crop classification and early identification based on a bidirectional long short-term memory network model.【Method】In this paper, Yellow River Delta region was chosen as an example and a time-series NDVI dataset were constructed by using Sentinel-2 year-round available satellite images as the data source. A recurrent neural network architecture is used to build a bidirectional long short-term memory (Bi-LSTM) model for structured time-series remote sensing data to carry out crop classification, then the generalization ability of the model is evaluated. Through adjusting the length of time series, we explore the earliest identifiable time of different crops under the condition of satisfying certain mapping accuracy.【Result】 Growth characteristics represented by time series remote sensing images have great potential to discriminate different crops. The overall accuracy of the Bi-LSTM model reached 90.9% with a Kappa coefficient of 0.892. By testing the effects of different time series lengths on crop classification, the earliest identifiable time of typical crops was obtained. The accuracy of crops such as winter-wheat and rice could improve significantly after the emergence of unique characteristics. Crops such as cotton and spring maize required complete growth sequences to ensure classification accuracy.【Conclusion】The structured feature information embedded in satellite image time series could effectively reduce crop spectral confusion at specific time periods. The Bi-LSTM model was able to consider both forward and backward temporal state information and could learn the spectral change characteristics of crops, which was excellent in the identification of confusing crops such as rice, cotton and spring maize. In addition, the deep learning model could effectively capture the variation trend on the sample in general, and showed better generalization ability and robustness in the crop multi-classification task. This study provided a feasible idea for regional crop mapping with high accuracy by integrating deep learning and remote sensing time series.

crop classification; early identification; time-series remote sensing; Bi-LSTM model; model generalization

10.3864/j.issn.0578-1752.2022.21.005

2021-12-14；

2022-04-18

中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)（XDA23050101）

黃翀（通信作者），E-mail：huangch@lreis.ac.cn

（責(zé)任編輯 楊鑫浩）