（1.石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，新疆石河子 832000；2.安徽大學(xué)互聯(lián)網(wǎng)學(xué)院，合肥 230039）

0 引言

地球陸地是人類賴以生存和發(fā)展的物質(zhì)基礎(chǔ)，獲取陸地表面各種資源及其變化數(shù)據(jù)是人類認(rèn)識(shí)和利用陸地表面的前提。遙感技術(shù)通過(guò)人造地球衛(wèi)星、航空、無(wú)人機(jī)等平臺(tái)上的遙測(cè)儀器對(duì)地球表面實(shí)施感應(yīng)遙測(cè)，產(chǎn)生了海量的不同空間分辨率和時(shí)間分辨率的遙感數(shù)據(jù)，這些遙感數(shù)據(jù)蘊(yùn)含著地球表面各類地物在空間和時(shí)間上的巨量信息。如何精確地區(qū)分各類地物是研究陸地表面的基礎(chǔ)性工作。遙感影像分類就是利用計(jì)算機(jī)通過(guò)對(duì)遙感影像中各類地物的光譜信息和空間信息進(jìn)行分析，選擇特征，將影像中各個(gè)像元按照某種規(guī)則或算法劃分不同的類別，然后獲得遙感影像中與實(shí)際地物的對(duì)應(yīng)信息［1］。在遙感影像分類方面，對(duì)于常用的單時(shí)相遙感影像分類技術(shù)，只能利用波譜反射率的異同來(lái)分類，有效信息獲取不足使得分類結(jié)果存在許多問(wèn)題，比如混合像元的判定、“同物異譜，異物同譜”現(xiàn)象的存在、分類精度在時(shí)間和空間上難以保持穩(wěn)定等。眾所周知，地表事件的發(fā)生和地物的演化，是隨著時(shí)間的推進(jìn)而進(jìn)行的，這使得地表覆被在時(shí)間上具有一定的變化規(guī)律。遙感影像反映出，大多數(shù)地物的波譜反射率經(jīng)過(guò)長(zhǎng)期觀測(cè)可以重復(fù)獲取，且由波譜反射率組成的時(shí)間序列表現(xiàn)出一定的周期性。遙感影像時(shí)間序列由于蘊(yùn)含顯著的物候信息，使得不同地物擁有不同的光譜反射率軌跡，利用這些數(shù)據(jù)特點(diǎn)能夠更加有效地區(qū)分地物類型，時(shí)間序列在土地覆蓋分類方面已經(jīng)被證明優(yōu)于單時(shí)相分類［2］。

隨著深度學(xué)習(xí)的興起，學(xué)者們提出了很多基于深度學(xué)習(xí)的遙感影像時(shí)間序列分類算法，常見(jiàn)的用于時(shí)間序列建模的深度學(xué)習(xí)框架包括長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)、門循環(huán)單元（Gate Recurrent Unit，GRU）、一維/三維卷積神經(jīng)網(wǎng)絡(luò)（1D/3D Convolutional Neural Network，1D/3D CNN）和時(shí)間變換網(wǎng)絡(luò)（Temporal Transformer Network，TTN）等。利用LSTM 模型［3］的序列數(shù)據(jù)建模能力，文獻(xiàn)［4］提出兩種LSTM 模型（深度棧式LSTM 和深度雙向LSTM）用于MODIS時(shí)間序列分類，分類精度優(yōu)于隨機(jī)森林（Random Forest，RF）和支持向量機(jī)（Support Vector Machine，SVM）分類方法。卷積神經(jīng)網(wǎng)絡(luò)自從被提出之后被廣泛應(yīng)用于各種遙感任務(wù)，包括陸地覆蓋分類［5-6］、影像分割［7］、目標(biāo)檢測(cè)［8］、丟失數(shù)據(jù)重建［9］等。在這些遙感任務(wù)中，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)影像x維和y維進(jìn)行卷積操作來(lái)利用影像數(shù)據(jù)的空間特征，也就是說(shuō)卷積操作主要運(yùn)用在影像的光譜域或者波段域，但沒(méi)有考慮影像的時(shí)間特征。為了處理遙感影像時(shí)間序列數(shù)據(jù)，學(xué)者們又將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于遙感影像時(shí)間序列分類。文獻(xiàn)［10］利用一維卷積神經(jīng)網(wǎng)絡(luò)［11-12］可有效描述一維序列數(shù)據(jù)的特性，提出基于一維卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物分類方法，實(shí)驗(yàn)結(jié)果表明該方法分類性能優(yōu)于LSTM 和傳統(tǒng)分類方法。文獻(xiàn)［13］多尺度卷積神經(jīng)網(wǎng)絡(luò)（Multi-scale Convolutional Neural Network，MCNN）提取不同比例和頻率的特征，將特征提取和分類合并在一個(gè)框架。文獻(xiàn)［14］提出一種端到端的遙感影像時(shí)間序列分類深度學(xué)習(xí)算法，以一維卷積為核心構(gòu)建3 個(gè)組件分別描述遙感影像各像素的波段間依賴性、全波段全卷積特征以及鄰居像素特征來(lái)實(shí)現(xiàn)像素級(jí)分類，并在2017 年時(shí)間序列陸地覆蓋分類挑戰(zhàn)賽（TiSeLaC 2017）［15］獲得第一名。由于深層LSTM形式的深層遞歸神經(jīng)網(wǎng)絡(luò)在這種像素較少的情況下，訓(xùn)練并不是很成功［14］，文獻(xiàn)［16］利用多通道深度卷積神經(jīng)網(wǎng)絡(luò)（Multi-Channels Deep convolutional Neural Networks，MCDNN）體系結(jié)構(gòu)通過(guò)在輸入的每個(gè)維度上獨(dú)立（即并行）應(yīng)用卷積，來(lái)利用多模態(tài)時(shí)間序列數(shù)據(jù)的不同特征之間的假定獨(dú)立性。指標(biāo)值與反射率的測(cè)量值相關(guān)，文獻(xiàn)［17］提出的時(shí)序卷積神經(jīng)網(wǎng)絡(luò)（Time Series Convolutional Neural Network，TSCNN）通過(guò)共同訓(xùn)練多元時(shí)間序列以進(jìn)行更好的特征提取，從而獲得了更好的分類結(jié)果。

現(xiàn)有的遙感影像分類算法嚴(yán)重依賴數(shù)據(jù)本身，而數(shù)據(jù)本身存在數(shù)據(jù)缺失、數(shù)據(jù)扭曲等數(shù)據(jù)異常問(wèn)題。且現(xiàn)有分類算法大多針對(duì)某一個(gè)具體研究區(qū)，同類作物物候期相對(duì)變化很小，同類作物的時(shí)間序列數(shù)據(jù)組成像素對(duì)應(yīng)的歸一化植被指數(shù)（NormalizeD Vegetation Index，NDVI）等特征曲線高度相似，直接輸入到分類算法中。實(shí)際上，同一種作物的物候期大體相似，但隨年份和區(qū)域的不同呈現(xiàn)出多樣性，因此對(duì)應(yīng)的NDVI 等特征曲線也呈現(xiàn)出多樣性特征。這種遙感影像中提取的與物候期相對(duì)應(yīng)的特征曲線多樣性可以通過(guò)扭曲操作來(lái)得到，即對(duì)特征曲線進(jìn)行時(shí)間軸和特征值軸兩個(gè)維度進(jìn)行適度的平移、拉伸、壓縮等操作，可以得到同一種作物的豐富多樣的特征曲線。目前尚無(wú)學(xué)者關(guān)注數(shù)據(jù)扭曲情形下遙感影像時(shí)間序列分類算法的魯棒性問(wèn)題。文獻(xiàn)［4］中提出遙感影像時(shí)間序列數(shù)據(jù)存在扭曲的現(xiàn)象，但采取了數(shù)據(jù)增強(qiáng)的方式進(jìn)行解決，沒(méi)有從模型和算法的角度來(lái)研究提高算法魯棒性的方法。

為解決以上問(wèn)題，本文的主要貢獻(xiàn)有：1）提出了一種端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)，解決數(shù)據(jù)異常情況下時(shí)間序列分類問(wèn)題；2）在基于卷積神經(jīng)網(wǎng)絡(luò)分類器中引入了能夠提取單個(gè)波段和多波段特征的結(jié)構(gòu)，在網(wǎng)絡(luò)中結(jié)合多種特征進(jìn)行時(shí)間序列分類，不僅僅是單靠其中一種；3）將模型應(yīng)用到遙感影像時(shí)間序列分類中，取得了較好的效果。通過(guò)1D-CNN、MCDNN、TSCNN、LSTM 和本文的網(wǎng)絡(luò)進(jìn)行對(duì)比，對(duì)TiSeLaC遙感影像時(shí)間序列數(shù)據(jù)集進(jìn)行分類，分別對(duì)數(shù)據(jù)缺失和數(shù)據(jù)扭曲兩種數(shù)據(jù)異常情況進(jìn)行分析。實(shí)驗(yàn)結(jié)果表明端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)在數(shù)據(jù)異常的情況下分類精度較高，F(xiàn)1值達(dá)到了93.40%。

1 相關(guān)工作

卷積神經(jīng)網(wǎng)絡(luò)隨著深度學(xué)習(xí)的興起，逐漸應(yīng)用于遙感影像時(shí)間序列分類任務(wù)中。時(shí)間序列數(shù)據(jù)分類問(wèn)題中，訓(xùn)練樣本通常由一系列已標(biāo)記的單序列時(shí)間序列樣本構(gòu)成，假設(shè)單變量時(shí)間序列X=[x1，x2，…，xT]是有序的一組實(shí)數(shù)值，其中X的長(zhǎng)度為T。M維時(shí)間序列XM=[X1，X2，…，XM]是由M個(gè)不同的單變量時(shí)間序列構(gòu)成的多元時(shí)間序列，其中Xi∈RT。數(shù)據(jù)集D={(X1，Y1)，(X2，Y2)，…，(XN，YN)}是(Xi，Yi)的集合，其中Xi可以是單變量或多元時(shí)間序列，Yi是其對(duì)應(yīng)的one-hot編碼標(biāo)記向量。對(duì)于包含K個(gè)類別的數(shù)據(jù)集，時(shí)間序列Xi對(duì)應(yīng)標(biāo)記Yi∈{0，1}K，表示訓(xùn)練樣本中有K個(gè)類別，Yi中僅有一個(gè)元素取1，取1 元素的索引為該時(shí)間序列的類別，其余元素均為0。多波段遙感影像提供了同一個(gè)位置上的多個(gè)不同光譜波段的強(qiáng)度，各個(gè)波段影像之間存在互補(bǔ)性和冗余性［18］。在遙感影像時(shí)間序列中，M維時(shí)間序列即是M個(gè)波段組成的多元時(shí)間序列，則數(shù)據(jù)集中地面特征可以表示為XM∈RN×T×M，其中N為像素?cái)?shù)，T為時(shí)間序列長(zhǎng)度即天數(shù)，M為時(shí)間序列維度即波段數(shù)量。本文中數(shù)據(jù)異常情況包括數(shù)據(jù)缺失和數(shù)據(jù)扭曲兩種情況，其中數(shù)據(jù)缺失是指丟失部分像素，即N減少，以模擬遙感影像采集中數(shù)據(jù)量少的情況。數(shù)據(jù)扭曲則是針對(duì)時(shí)間序列長(zhǎng)度，又分為壓縮時(shí)間序列長(zhǎng)度、拉伸時(shí)間序列長(zhǎng)度和二者混合三種情況，即T變化，以模擬遙感影像采集中由于天氣等原因，導(dǎo)致缺失某天或某段時(shí)間的數(shù)據(jù)等情況。

同時(shí)，地物的時(shí)間序列數(shù)據(jù)在遙感影像中呈點(diǎn)簇狀分布，整體數(shù)據(jù)信息較為離散。在此情況下，LSTM 分類效果不理想［10，14］。文獻(xiàn)［10-12］應(yīng)用1D-CNN 算法可有效描述一維序列數(shù)據(jù)的特性，解決遙感影像時(shí)序分類問(wèn)題。使用MCNN［13］對(duì)時(shí)序數(shù)據(jù)集進(jìn)行分類。MCNN 模型包括3 個(gè)階段：轉(zhuǎn)換階段、局部卷積階段和全卷積階段，其中轉(zhuǎn)換階段對(duì)輸入時(shí)間序列應(yīng)用各種轉(zhuǎn)換，以應(yīng)對(duì)現(xiàn)有時(shí)間序列分類方法中由于特征提取與分類過(guò)程分離所導(dǎo)致的無(wú)法提取不同時(shí)間尺度的不同特征的問(wèn)題。MCNN 的局部卷積階段，通過(guò)在多組時(shí)間序列上進(jìn)行卷積，提取不同時(shí)間尺度序列的特征。不同的分支彼此獨(dú)立，所有的輸出將通過(guò)多個(gè)具有不同大小的最大池化層。全卷積階段中將提取的所有特征連接起來(lái)，并通過(guò)多個(gè)跟著最大池化的卷積層、全連接層和softmax 層來(lái)生成最終的輸出。MCNN 整體通過(guò)這個(gè)端到端的系統(tǒng)，反向傳播所有的參數(shù)進(jìn)行訓(xùn)練。該方法可以一定程度上應(yīng)對(duì)數(shù)據(jù)缺失的問(wèn)題，但該方法并未對(duì)數(shù)據(jù)的各個(gè)波段之間的關(guān)系進(jìn)行考慮，無(wú)法應(yīng)對(duì)數(shù)據(jù)扭曲，分類精確率較低?？紤]到多模態(tài)時(shí)間序列的不同特征之間的假定獨(dú)立性，多通道深度卷積神經(jīng)網(wǎng)絡(luò)（MCDNN）［16］在輸入的每個(gè)維度上獨(dú)立并行應(yīng)用卷積。MCDNN 對(duì)傳統(tǒng)的CNN 進(jìn)行了改進(jìn)，將多變量時(shí)間序列分解為單變量時(shí)間序列，即對(duì)每個(gè)Xi分別進(jìn)行處理，然后在特征學(xué)習(xí)的最后連接一個(gè)多層感知機(jī)（Multi-Layer Perceptron，MLP）進(jìn)行分類，但其無(wú)法應(yīng)對(duì)數(shù)據(jù)缺失的情況。由于MCDNN 無(wú)法發(fā)挖掘出不同單變量之間的相互關(guān)系，TSCNN［17］聯(lián)合訓(xùn)練多元時(shí)間序列進(jìn)行特征提取。不同的單變量可能具有不同的價(jià)值，有的單變量區(qū)分度較大更有價(jià)值。傳統(tǒng)的CNN通常使用交叉熵的softmax輸出層，TSCNN的不同之處在于其使用了均方誤差（Mean Squared Error，MSE）損失函數(shù)的Sigmoid輸出層；并且在池化層部分使用平均池化層代替通常使用的最大池化層。在最后一個(gè)卷積層之后不再使用池化層。該方法考慮到了變量之間的關(guān)系，將整個(gè)數(shù)據(jù)作為一個(gè)整體進(jìn)行訓(xùn)練，但不能學(xué)習(xí)不相關(guān)的時(shí)間序列之間的信息，無(wú)法應(yīng)對(duì)數(shù)據(jù)扭曲的情況。通過(guò)分析各分類模型的優(yōu)缺點(diǎn)，本文提出一種端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)。

2 端到端模式融合網(wǎng)絡(luò)

端到端的多模式與多單模式的架構(gòu)融合的網(wǎng)絡(luò)的整體架構(gòu)如圖1 所示。該網(wǎng)絡(luò)主要由兩階段構(gòu)成：第一部分是自動(dòng)編碼階段；第二部分為分類階段。其中第一階段又分為3 個(gè)部分：第1 個(gè)部分為多元時(shí)序模型，第2 個(gè)部分為單變量時(shí)間序列模型組合，第3個(gè)部分為像素坐標(biāo)輸入部分。

圖1 端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)Fig.1 End-to-end multi-mode and multi-single-mode architecture fusion network

多元時(shí)序模型的輸入為整個(gè)多維時(shí)序數(shù)據(jù)整體，這樣可以很好地衡量多個(gè)單變量之間的關(guān)系。通過(guò)3 個(gè)卷積層進(jìn)行特征抽取，并且進(jìn)行扁平化，輸出整體多維時(shí)間序列數(shù)據(jù)的特征。單變量時(shí)間序列組合則是對(duì)各個(gè)單變量時(shí)間序列單獨(dú)進(jìn)行多尺度的提取，包括兩個(gè)帶著最大池化層的卷積層，其中各個(gè)單變量在第一層卷積之后進(jìn)行連接，并再次卷積。第二層卷積之后的特征圖也進(jìn)行連接，再進(jìn)行卷積與扁平化。該特征與單個(gè)通道及第一層后的連接特征圖共同進(jìn)行最大池化與扁平化后連接，送入自動(dòng)編碼階段的最后一層，輸出一系列單變量時(shí)間序列的特征。像素坐標(biāo)輸入部分則將經(jīng)過(guò)預(yù)處理的像素坐標(biāo)，按比例縮放后直接送入最后一層。自編碼階段最后一層連接以上3 個(gè)部分的輸出，將其輸入分類階段?？偟膩?lái)說(shuō)，待分類的時(shí)間序列數(shù)據(jù)會(huì)以整體和單個(gè)變量的形式分別輸入網(wǎng)絡(luò)，經(jīng)過(guò)不同的卷積神經(jīng)網(wǎng)絡(luò)，得到所有的特征集合，其中包括不同尺度的特征，最后與像素坐標(biāo)一同連接，得到時(shí)間序列特征。

分類階段則是通過(guò)全連接層的疊加對(duì)自動(dòng)編碼階段得到的時(shí)間序列特征進(jìn)行分類。將5 個(gè)全連接層間學(xué)習(xí)到的時(shí)序特征映射到樣本標(biāo)記空間。并在第2 個(gè)全連接層與第3 個(gè)全連接層使用Dropout，使得神經(jīng)元與其他隨機(jī)挑選神經(jīng)元共同工作，來(lái)避免模型過(guò)擬合，增加了泛化能力。最后一層的全連接層通過(guò)softmax 獲得分類概率，對(duì)像素進(jìn)行分類，得到地物的類別標(biāo)簽。最終整個(gè)網(wǎng)絡(luò)以時(shí)序特征的分類損失為整體的網(wǎng)絡(luò)損失進(jìn)行反向傳播，得到端到端的時(shí)間序列分類模型。網(wǎng)絡(luò)的整體學(xué)習(xí)過(guò)程將在下文進(jìn)行具體的介紹。

由于時(shí)序分類網(wǎng)絡(luò)對(duì)待時(shí)序數(shù)據(jù)角度不同，一個(gè)假定時(shí)間序列不相關(guān)，可以應(yīng)對(duì)數(shù)據(jù)缺失情況；另一個(gè)則認(rèn)為這些時(shí)間序列是一整個(gè)實(shí)體，可以應(yīng)對(duì)數(shù)據(jù)扭曲的情況。本文提出的端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)則可以將二者結(jié)合起來(lái)，以解決遙感影像時(shí)間序列數(shù)據(jù)異常的問(wèn)題。

3 網(wǎng)絡(luò)結(jié)構(gòu)

時(shí)間序列分類問(wèn)題中，訓(xùn)練樣本通常由一系列已標(biāo)記的單變量時(shí)間序列樣本構(gòu)成，假設(shè)單變量時(shí)間序列X=[x1，x2，…，xT]是有序的一組實(shí)數(shù)值，其中X的長(zhǎng)度T。M維時(shí)間序列XM=[X1，X2，…，XM]是由M個(gè)不同的單變量時(shí)間序列構(gòu)成的多元時(shí)間序列，其中Xi∈RT。

在整個(gè)體系結(jié)構(gòu)中的自動(dòng)編碼階段，使用了3 種不同的模型，輸入數(shù)據(jù)首先被用來(lái)訓(xùn)練一個(gè)多元時(shí)序模型卷積神經(jīng)網(wǎng)絡(luò)，將M維遙感影像時(shí)間序列作為一個(gè)整體進(jìn)行處理，輸入時(shí)序數(shù)據(jù)的維度是T×M，即對(duì)XM整體進(jìn)行卷積。通過(guò)連續(xù)三層卷積，其中每層包括為32個(gè)尺寸為3×3的卷積核，以獲得整體的時(shí)間序列特征。

3.1 單變量時(shí)間序列模型組合

各類地物對(duì)應(yīng)的遙感影像時(shí)間序列變化不一，單靠一種波段很難進(jìn)行分類，且各個(gè)波段信息之間存在一定的冗余。因此需要對(duì)多個(gè)單變量進(jìn)行結(jié)合。單變量時(shí)間序列模型對(duì)M維時(shí)間序列數(shù)據(jù)XM=[X1，X2，…，XM]中每一維單獨(dú)進(jìn)行處理，即對(duì)X=[x1，x2，…，xT]進(jìn)行處理；并且將M個(gè)處理后的數(shù)據(jù)在不同的層級(jí)進(jìn)行連接以獲取不同尺度的時(shí)間序列，如圖2 所示。每個(gè)波段的時(shí)間序列被輸入到卷積層中，第一個(gè)卷積層包括8 個(gè)尺寸為3×3 的卷積核。每個(gè)波段的第二個(gè)卷積層包括4個(gè)尺寸為3×3的卷積核。分別在第一個(gè)、第二個(gè)卷積層后對(duì)得到的特征圖進(jìn)行連接，對(duì)第一層卷積后的連接特征圖使用8個(gè)尺寸10×10的卷積核進(jìn)行卷積并卷積，對(duì)第二層卷積后的連接特征圖使用4個(gè)尺寸為10×10的卷積和進(jìn)行卷積，并且將得到的結(jié)果扁平化與每個(gè)通道卷積后的結(jié)果扁平化后連接。這樣既結(jié)合了單變量進(jìn)行訓(xùn)練，又使用了不同尺度的特征進(jìn)行采樣，豐富了卷積網(wǎng)絡(luò)所提取到的特征圖，有利于解決數(shù)據(jù)扭曲的問(wèn)題。

自動(dòng)編碼階段的第3 部分模型負(fù)責(zé)處理像素的坐標(biāo)，預(yù)處理按比例縮放的像素坐標(biāo)并與另外兩個(gè)模型的結(jié)果連接，交給全連接層一起處理。

圖2 多單模式的架構(gòu)Fig.2 Multi-single-mode architecture

3.2 分類階段

本階段使用具有256 個(gè)神經(jīng)元的全連接層，激活函數(shù)為線性整流函數(shù)（Rectified Linear Unit，ReLU）。數(shù)據(jù)經(jīng)過(guò)128個(gè)神經(jīng)元的全連接層，并且以0.3 的概率神經(jīng)元不工作，再經(jīng)過(guò)64個(gè)神經(jīng)元的全連接層，以0.3的概率神經(jīng)元不工作，避免過(guò)擬合。最后通過(guò)32個(gè)神經(jīng)元的全連接層，連接到softmax層對(duì)像素進(jìn)行分類。分類階段通過(guò)在128 個(gè)神經(jīng)元、64 個(gè)神經(jīng)元和32個(gè)神經(jīng)元這3個(gè)全連接層之間增加Dropout層，來(lái)避免過(guò)擬合，增加模型的泛化能力。

模型使用自適應(yīng)矩估計(jì)Adam 優(yōu)化器，學(xué)習(xí)率為0.001，每個(gè)批次的大小Batch size 的大小為256，共計(jì)50 個(gè)Epoch。動(dòng)態(tài)調(diào)整學(xué)習(xí)率，每次調(diào)整時(shí)學(xué)習(xí)率變?yōu)樵瓕W(xué)習(xí)率的0.2 倍。經(jīng)過(guò)3 個(gè)Epoch 訓(xùn)練后，模型性能不再提升，學(xué)習(xí)率減小。學(xué)習(xí)率的下限為0.000 01。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)設(shè)置

采用TensorFlow 2.2.0 開源框架，搭建在操作系統(tǒng)為Ubuntu16.04，Python 版本為3.6 的平臺(tái)上，平臺(tái)顯卡型號(hào)為GeForce GTX TITAN XP。本文設(shè)置模型學(xué)習(xí)率（Learning Rate，LR）為0.001，每個(gè)批次的大小Batch size 為256，訓(xùn)練數(shù)據(jù)集次數(shù)Epochs為100。對(duì)比模型的參數(shù)如下。

1D-CNN：LR=0.01，Batch size=256，Epochs=100，降采樣因子為2，即時(shí)間序列下采樣為原先的二分之一?；瑒?dòng)平均窗口大小為4，即時(shí)間序列的值為本值與該位置前兩個(gè)和后兩個(gè)的平均值。

4.2 實(shí)驗(yàn)數(shù)據(jù)和數(shù)據(jù)準(zhǔn)備

所使用的數(shù)據(jù)集是來(lái)自于TiSeLaC（The time Series Land Cover classification challenge）［15］，2014 年在留尼汪島的23 幅Landsat 8 影像生成的時(shí)間序列數(shù)據(jù)集。留尼汪島影像如圖3（a）所示，土地覆蓋類型如圖3（b）所示。

圖3 留尼汪島遙感影像Fig.3 Remote sensing images of Reunion Island

該遙感影像級(jí)別為2A，尺寸為2 866 像素×2 633 像素，地面分辨率30 m。在每個(gè)時(shí)間戳，每個(gè)像素有10 個(gè)特征值，包括7 個(gè)表面反射率（海岸波段ultra blue、藍(lán)波段blue、綠波段green、紅波段red、近紅外波段NIR、短波紅外1 SWIR1 和短波紅外2 SWIR2）和3 個(gè)輻射指數(shù)：NDVI、歸一化水指數(shù)（Normalized Difference Water Index，NDWI）和亮度指數(shù)（Brightness Index，BI）。而數(shù)據(jù)集的土地覆蓋類型數(shù)據(jù)，即像素類別標(biāo)簽則是由2012 年Corine 土地覆蓋地圖［19］和2014 年Graphical Land Parcel 注冊(cè)信息聯(lián)合標(biāo)注而得，以保證其真實(shí)可靠。訓(xùn)練集包括81 714個(gè)像素，測(cè)試集為17 973個(gè)像素，共計(jì)9個(gè)類別，如表1所示。

表1 數(shù)據(jù)集類別分布Tab.1 Dataset class distribution

數(shù)據(jù)集中地面特征可以表示為XM∈RN×T×M，其中N=81 714 個(gè)像素，T=23 d，M=10 為特征數(shù)量即波段數(shù)與輻射指數(shù)數(shù)量之和。

本文通過(guò)數(shù)據(jù)處理來(lái)模擬數(shù)據(jù)異常情況。首先是數(shù)據(jù)缺失情況，即存在部分像素點(diǎn)缺失。本文采用隨機(jī)刪減策略進(jìn)行模擬，即通過(guò)一定概率隨機(jī)刪除部分像素點(diǎn)，并最終只保留固定數(shù)量的像素點(diǎn)進(jìn)行數(shù)據(jù)訓(xùn)練。其次，針對(duì)數(shù)據(jù)扭曲，包括時(shí)序數(shù)據(jù)壓縮操作、拉伸操作和兩者混合操作。其中：圖4（a）表示原始時(shí)間序列；壓縮操作表現(xiàn)為基于時(shí)序數(shù)據(jù)按照固定步長(zhǎng)進(jìn)行抽取，如圖4（b）所示；拉伸操作表現(xiàn)為對(duì)特定時(shí)序區(qū)間進(jìn)行線性插值進(jìn)行數(shù)據(jù)填充，如圖4（c）所示。

圖4 時(shí)間序列數(shù)據(jù)操作Fig.4 Operations for time-series data

4.3 評(píng)價(jià)指標(biāo)

為客觀評(píng)價(jià)卷積神經(jīng)網(wǎng)絡(luò)的分類性能，本文使用精確率（Precision）、召回率（Recall）和F1值作為評(píng)價(jià)指標(biāo)。其中真陽(yáng)（True Positive，TP）、假陽(yáng)（False Positive，F(xiàn)P）、假陰（False Negative，F(xiàn)N）和真陰（True Negative，TN）分別表示：

TP：實(shí)際為正、預(yù)測(cè)為正的樣本數(shù)量；

FP：實(shí)際為負(fù)、預(yù)測(cè)為正的樣本數(shù)量；

FN：實(shí)際為正、預(yù)測(cè)為負(fù)的樣本數(shù)量；

TN：實(shí)際為負(fù)、預(yù)測(cè)為負(fù)的樣本數(shù)量。

1）精確率。

精確率指模型預(yù)測(cè)為正的樣本中實(shí)際也為正的樣本，占被預(yù)測(cè)為正的樣本的比例，即：

精確率體現(xiàn)了模型對(duì)負(fù)樣本的區(qū)分能力，精確率越高，模型對(duì)負(fù)樣本的區(qū)分能力越強(qiáng)。

2）召回率。

召回率指實(shí)際為正的樣本中，被預(yù)測(cè)為正的樣本，占實(shí)際為正的樣本的比例，即：

召回率體現(xiàn)了模型對(duì)正樣本的識(shí)別能力，召回率越高，模型對(duì)正樣本的識(shí)別能力越強(qiáng)。

3）F1值。

F1 值是評(píng)價(jià)卷積神經(jīng)網(wǎng)絡(luò)性能的常見(jiàn)指標(biāo)。F1 值通過(guò)精確率和召回率計(jì)算，公式如下：

F1 值作為精確率和召回率的調(diào)和平均值，其值越高，說(shuō)明模型越穩(wěn)健。

4.4 實(shí)驗(yàn)結(jié)果分析

本文比較了不同模型在數(shù)據(jù)缺失與數(shù)據(jù)扭曲情況下對(duì)時(shí)序數(shù)據(jù)分類性能的影響。以23 d時(shí)間序列數(shù)據(jù)為原始數(shù)據(jù)集，1D-CNN、MCDNN、TSCNN、LSTM 和端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)這五種時(shí)序分類網(wǎng)絡(luò)得到的結(jié)果如表2 所示，F(xiàn)1 值分別為88.47%、86.34%、88.68%、92.41% 和93.40%。其中：1D-CNN 采用Adam 優(yōu)化器，初始學(xué)習(xí)率為0.001；MCDNN 采用隨機(jī)梯度下降策略（Stochastic Gradient Descent，SGD）與0.01的學(xué)習(xí)率；TSCNN采用學(xué)習(xí)率不變化的Adam優(yōu)化器，學(xué)習(xí)率為0.001。由于LSTM形式的深層遞歸神經(jīng)網(wǎng)絡(luò)在這種像素較少的情況下，訓(xùn)練效果不佳［14］。本文所使用的LSTM網(wǎng)絡(luò)為借助LSTM結(jié)構(gòu)對(duì)端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)進(jìn)行結(jié)合，以提升LSTM網(wǎng)絡(luò)性能。通過(guò)將本文網(wǎng)絡(luò)中的多元時(shí)序模型，替換為輸出維度為512 的LSTM網(wǎng)絡(luò)，對(duì)時(shí)序數(shù)據(jù)進(jìn)行整體特征提取，再結(jié)合網(wǎng)絡(luò)中的多單變量網(wǎng)絡(luò)與像素坐標(biāo)，最后在分類階段對(duì)數(shù)據(jù)進(jìn)行分類。

在這種原始情況下，五種時(shí)序分類網(wǎng)絡(luò)的精確率和召回率相仿，說(shuō)明其對(duì)正負(fù)樣本的識(shí)別能力都很強(qiáng)。從中可以看出，端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)對(duì)時(shí)序數(shù)據(jù)分類性能最好，精確度達(dá)到了93.5%。而數(shù)據(jù)缺失的情況，即以80%的概率刪除訓(xùn)練集中的像素點(diǎn)，剩余16 343個(gè)像素點(diǎn)。當(dāng)訓(xùn)練數(shù)據(jù)變少時(shí)，端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)的F1值仍然最優(yōu)。同時(shí)，MCDNN 在此時(shí)受影響較大，精確度只有73.31%，且各個(gè)網(wǎng)絡(luò)的F1 值均有所降低，說(shuō)明訓(xùn)練數(shù)據(jù)減少會(huì)影響分類效果。其中對(duì)TSCNN 影響最小，精度下降約4%。端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)的前后變化較小，說(shuō)明數(shù)據(jù)量變小對(duì)其影響較小。端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)由于使用三種不同模型來(lái)對(duì)原始時(shí)序數(shù)據(jù)進(jìn)行分類，故而較為分類效果穩(wěn)定，可以應(yīng)對(duì)數(shù)據(jù)缺失的問(wèn)題。

為模擬數(shù)據(jù)扭曲的情況，本文壓縮部分時(shí)序數(shù)據(jù)同時(shí)拼接剩余數(shù)據(jù)，共剩余6 d時(shí)序數(shù)據(jù)。此時(shí)在數(shù)據(jù)缺失情況下表現(xiàn)優(yōu)異的TSCNN，分類精度卻下降最大，說(shuō)明在時(shí)間維度較小的數(shù)據(jù)集中，將所有波段特征作為一個(gè)整體，區(qū)分度較低。本文模型性能受影響較小，仍能保持92.65%的F1值，分類性能優(yōu)于其他模型。為模擬數(shù)據(jù)采集較少的情況，即只有15 d時(shí)序數(shù)據(jù)的情況下，需要考慮對(duì)數(shù)據(jù)進(jìn)行填充，通過(guò)線性插值的方法對(duì)其進(jìn)行填充，將數(shù)據(jù)填充回原數(shù)據(jù)集的大小進(jìn)行訓(xùn)練。在這種情況下，得到的分類結(jié)果與原始數(shù)據(jù)的分類結(jié)果基本一致，說(shuō)明這類時(shí)序數(shù)據(jù)中線性插值的方法是有效的，可以提高訓(xùn)練數(shù)據(jù)較少時(shí)的分類精度。而在數(shù)據(jù)拉伸的情況下，本文通過(guò)對(duì)相鄰時(shí)間區(qū)間的數(shù)據(jù)進(jìn)行之間線性插值，獲得共40 d 時(shí)序數(shù)據(jù)，并對(duì)此進(jìn)行分類。在這種情況下由于1D-CNN 和MCDNN網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，對(duì)遙感影像時(shí)序數(shù)據(jù)描述能力較弱，可能會(huì)產(chǎn)生過(guò)擬合現(xiàn)象，導(dǎo)致分類效果變差F1值降低；但TSCNN和本文提出的端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)結(jié)構(gòu)考慮到了將多維特征作為整體學(xué)習(xí)，模型復(fù)雜描述能力強(qiáng)，在數(shù)據(jù)較為復(fù)雜的情況下，仍能有效表示時(shí)序數(shù)據(jù)。可以考慮擴(kuò)充時(shí)間維度來(lái)增加數(shù)據(jù)，提升模型分類能力。

表2 時(shí)序數(shù)據(jù)分類結(jié)果 單位：%Tab.2 Results of time-series data classification unit：%

綜合考慮各種情況，端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)的分類結(jié)果均好于其他模型，說(shuō)明了其能應(yīng)對(duì)數(shù)據(jù)異常的問(wèn)題。

在原始情況下，五種時(shí)序分類網(wǎng)絡(luò)的時(shí)間性能如表3 所示。由于1D-CNN 需要對(duì)原始時(shí)間序列數(shù)據(jù)進(jìn)行轉(zhuǎn)換，對(duì)于單一時(shí)間序列輸入進(jìn)行降采樣和滑動(dòng)平均等變化，所以訓(xùn)練用時(shí)最長(zhǎng)，性能最差，其余模型時(shí)間性能接近。MCDNN 用時(shí)最短，單個(gè)Epoch 用時(shí)為2.006 s，效率最高。其次是TSCNN。本文模型單Epoch 用時(shí)與LSTM 基本一致，分別為5.016 s 和5.018 s。綜合精度與時(shí)間性能，本文模型效果更好。

表3 時(shí)序數(shù)據(jù)分類用時(shí)Tab.3 Time consumption of time-series data classification

本文網(wǎng)絡(luò)在9個(gè)地物類別的分類效果有所不同，圖5展示了在9 類不同地物分類任務(wù)上的混淆矩陣。從圖中可以看出，9 個(gè)類別都可以被區(qū)分開，其中其他作物類相對(duì)區(qū)分度較低，其原因主要是其在訓(xùn)練樣本中所占數(shù)量較少，訓(xùn)練較為不充分。城市地區(qū)與其他建筑物由于光譜反射率較為接近，也存在一定的誤分現(xiàn)象。

圖5 混淆矩陣Fig.5 Confusion matrix

5 結(jié)語(yǔ)

遙感影像時(shí)間序列分類在遙感影像分類中十分重要，本文提出了一種端到端的多模式與多單模式架構(gòu)融合的網(wǎng)絡(luò)，可以通過(guò)結(jié)合多元時(shí)序模型和多尺度單變量模型進(jìn)行特征提取，與像素坐標(biāo)匯總后進(jìn)行分類，并通過(guò)使用公開遙感影像時(shí)序數(shù)據(jù)集對(duì)1D-CNN、MCDNN、TSCNN、LSTM 和本文模型進(jìn)行驗(yàn)證，實(shí)驗(yàn)表明：在數(shù)據(jù)異常的情況下，本文模型仍然保持了分類精度優(yōu)于其他模型，且F1 值變化較小，說(shuō)明了本文模型具有魯棒性。該模型在解決時(shí)序分類的問(wèn)題上，尚有進(jìn)一步研究的空間，后續(xù)工作將使用模型初始化方法提高模型分類精度，以及研究更極端條件對(duì)模型的影響。