蘇耘

（內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院 內(nèi)蒙古自治區(qū)呼和浩特市 010021）

1 引言

時(shí)間序列數(shù)據(jù)廣泛存在于各類任務(wù)中，例如電子健康記錄、人類動(dòng)作識(shí)別、聲學(xué)場景分類以及網(wǎng)絡(luò)安全等，時(shí)間序列分類（TSC）是數(shù)據(jù)挖掘中最具挑戰(zhàn)性的問題之一。

為了對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行準(zhǔn)確分類，已經(jīng)提出了數(shù)百種TSC算法。最流行和傳統(tǒng)的TSC方法之一是使用最近鄰（NN）分類器和距離函數(shù)進(jìn)行分類，特別是與神經(jīng)網(wǎng)絡(luò)分類器一起使用的動(dòng)態(tài)時(shí)間扭曲（DTW）距離取得了較好的效果。Lines等證明對(duì)具有不同的距離度量的神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行融合，其的性能優(yōu)于所有的單個(gè)組件。這一思想推動(dòng)了名為COTE的分類器集合的開發(fā)，COTE里包括35個(gè)獨(dú)立的分類器。Lines等過利用具有概率投票的新分級(jí)結(jié)構(gòu)，對(duì)COTE進(jìn)行了進(jìn)一步拓展，新集合稱之為HIVE-COTE，其獨(dú)立分類器個(gè)數(shù)達(dá)到了37個(gè)。HIVE-COTE目前被認(rèn)為是時(shí)間序列分類的最先進(jìn)算法，但HIVE-COTE運(yùn)算時(shí)間長，計(jì)算復(fù)雜，很難在真實(shí)場景的大型數(shù)據(jù)集上使用，同時(shí)其37個(gè)分類器的決策也難以被領(lǐng)域?qū)＜依斫夂徒忉尅?/p>

深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺和自然語言處理、語音識(shí)別等領(lǐng)域取得了巨大成功，在一些任務(wù)中已經(jīng)達(dá)到甚至超越人類的水平。自然語言處理和語音識(shí)別任務(wù)的數(shù)據(jù)都具有時(shí)序性，而這也是時(shí)間序列數(shù)據(jù)的主要特征之一，這種相似性激發(fā)了人們將深度學(xué)習(xí)應(yīng)用于時(shí)間序列的研究熱情。

2 時(shí)間序列分類的定義

在介紹不同類型的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)之前，我們先對(duì)TSC進(jìn)行一些形式化定義。

數(shù) 據(jù) 集D={(X,Y),(X,Y),…,(X,Y)}是 對(duì)（X，Y）的集合，其中X可以是一個(gè)單變量或多變量時(shí)間序列，Y作為其對(duì)應(yīng)的獨(dú)熱標(biāo)簽向量。對(duì)于包含K個(gè)類的數(shù)據(jù)集，一個(gè)獨(dú)熱標(biāo)簽向量Y是長度為K的向量，其中每個(gè)元素j∈[1, K]，如果X的類別是j，則等于1，否則等于0。TSC的任務(wù)就是在數(shù)據(jù)集D上訓(xùn)練分類器，從輸入空間映射得到輸出標(biāo)簽的概率分布。

3 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)是由稱為層的L個(gè)參數(shù)函數(shù)組成，其中每一層都被視為輸入域的表示。神經(jīng)網(wǎng)絡(luò)層由若干個(gè)神經(jīng)元組成，神經(jīng)元是計(jì)算層輸出的一個(gè)元素的最小單位。神經(jīng)網(wǎng)絡(luò)層將其前一層的輸出作為輸入，并且應(yīng)用非線性激活函數(shù)來計(jì)算其自身的輸出。這些非線性變換的行為由每層的一組參數(shù)控制，將前一層的輸入鏈接到當(dāng)前層的輸出。在深度學(xué)習(xí)領(lǐng)域中，這些參數(shù)通常被稱為權(quán)重。

在訓(xùn)練期間，需要向網(wǎng)絡(luò)提供足夠數(shù)量的已知輸入和輸出樣例。訓(xùn)練開始前，首先對(duì)權(quán)重進(jìn)行隨機(jī)初始化，而后進(jìn)行正向傳遞的計(jì)算，得到輸出向量。輸出向量的維度同類別個(gè)數(shù)相同，向量中每一個(gè)元素是屬于對(duì)應(yīng)類別的估計(jì)概率。最后使用損失函數(shù)計(jì)算模型的預(yù)測損失，并使用梯度下降法，在反向過程中更新權(quán)重以傳播誤差。因此，通過迭代地進(jìn)行前向傳遞，然后進(jìn)行反向傳播，以最小化訓(xùn)練數(shù)據(jù)損失的方式更新模型參數(shù)。另一種行之有效并被廣泛使用的方法是遷移學(xué)習(xí)，即在相似的大型數(shù)據(jù)集上預(yù)先訓(xùn)練模型，將模型參數(shù)遷移到目標(biāo)任務(wù)的模型中，并在目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)。

如圖1所示，在測試期間，概率分類器在未知標(biāo)簽的數(shù)據(jù)上進(jìn)行測試，這一階段也被稱為推理階段：在未知標(biāo)簽的輸入數(shù)據(jù)上進(jìn)行前向傳遞，然后進(jìn)行類別預(yù)測，概率最大的類別判定為最終的預(yù)測類別。與非概率分類器相比，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)之一就是網(wǎng)絡(luò)是做出基于概率的決策，因此可以評(píng)測模型給出的某個(gè)預(yù)測結(jié)果的置信度。

圖1：時(shí)間序列分類問題的深度學(xué)習(xí)統(tǒng)一框架

4 生成式模型和判別式模型

時(shí)間序列分類中的深度學(xué)習(xí)模型可以分為生成式和判別式兩個(gè)類別，如圖2所示。

圖2：基于深度學(xué)習(xí)的時(shí)間序列分類方法分類

生成式模型認(rèn)為時(shí)間序列數(shù)據(jù)有其內(nèi)在的規(guī)律，首先通過無監(jiān)督學(xué)習(xí)的方式讓模型學(xué)習(xí)數(shù)據(jù)的潛在表示，可選擇的模型包括自回歸模型、馬爾可夫模型或核模型等。而后接一個(gè)分類器，如SVM或隨機(jī)森林，對(duì)輸入數(shù)據(jù)對(duì)類別進(jìn)行預(yù)測。生成式模型的關(guān)鍵在于是否能夠較好的學(xué)習(xí)得到時(shí)間序列數(shù)據(jù)的內(nèi)在規(guī)律，這種類型的網(wǎng)絡(luò)在TSC社區(qū)中被稱為基于模型的分類器。

判別式深度學(xué)習(xí)模型則本身就是一種分類器，它直接使用時(shí)間序列的原始數(shù)據(jù)或加工后的特征做為輸入，輸出為標(biāo)簽類別的概率分布。判別式模型通過對(duì)分類器結(jié)構(gòu)改進(jìn)和訓(xùn)練過程的優(yōu)化來提升分類效果。根據(jù)是否對(duì)原始時(shí)間序列進(jìn)行特征加工，判別式模型可以分為兩類：

（1）具有手工特征的深度學(xué)習(xí)模型；

（2）端到端深度學(xué)習(xí)模型。

端到端的深度學(xué)習(xí)模型旨在結(jié)合特征學(xué)習(xí)過程，同時(shí)微調(diào)判別分類器。這種類型的深度學(xué)習(xí)方法是領(lǐng)域無關(guān)的，并且不包括任何特定于領(lǐng)域的預(yù)處理步驟。

5 深度學(xué)習(xí)模型

我們選擇具有代表性的模型和最新的模型，介紹如下。

5.1 多層感知器（MLP）

MLP是DNN的最傳統(tǒng)形式，由Wang等中提出，作為TSC的基線架構(gòu)。該網(wǎng)絡(luò)總共包含4層，其中每一層都完全連接到其前一層的輸出。最后一層是softmax分類器，它完全連接到前一層的輸出，包含的神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。所有三個(gè)隱藏的FC層都由500個(gè)神經(jīng)元組成，以ReLU作為激活函數(shù)。第一層、第二層、第三層和第四層的速率分別為0.1、0.2、0.1和0.3。MLP沒有任何一層的參數(shù)數(shù)量在不同長度的時(shí)間序列中是不變的，這意味著網(wǎng)絡(luò)具有一定可轉(zhuǎn)移性，網(wǎng)絡(luò)的參數(shù)數(shù)量直接取決于輸入時(shí)間序列的長度。

5.2 全卷積神經(jīng)網(wǎng)絡(luò)（FCN）

Wang等首次提出了全卷積神經(jīng)網(wǎng)絡(luò)（FCN），用于對(duì)單變量時(shí)間序列進(jìn)行分類。該體系結(jié)構(gòu)的主要特征之一是用全局平均池（GAP）層代替?zhèn)鹘y(tǒng)的最終FC層，這一改變?cè)跍p少參數(shù)數(shù)量的同時(shí)也獲得了更好的效果。該架構(gòu)首先由結(jié)構(gòu)相似的三個(gè)卷積塊組成，其中每個(gè)卷積塊均包含三個(gè)部分：卷積、批量歸一化，以及ReLU激活函數(shù)。第三卷積塊的結(jié)果在對(duì)應(yīng)于GAP層的整個(gè)時(shí)間維度上平均。最后，GAP層的結(jié)果傳給softmax層產(chǎn)生預(yù)測標(biāo)簽的類別概率輸出。所有卷積的步長均等于1，并以零做為填充，以保持卷積后時(shí)間序列的精確長度。第一次卷積包含128個(gè)濾波器，濾波器長度等于8，然后是256個(gè)濾波器的第二次卷積，濾波器長度為5，然后被饋送到第三個(gè)也是最后一個(gè)卷積層，該層由128個(gè)濾波器組成，每個(gè)濾波器的長度等于3。FCN既不包含任何池化，也不包含正則化操作。此外，F(xiàn)CNs的優(yōu)點(diǎn)之一是跨不同長度時(shí)間序列的4層的參數(shù)數(shù)量不變性。這種不變性允許使用轉(zhuǎn)移學(xué)習(xí)方法，可以在特定源數(shù)據(jù)集上訓(xùn)練模型，然后在目標(biāo)數(shù)據(jù)集上對(duì)其進(jìn)行微調(diào)。

5.3 殘差網(wǎng)絡(luò)（ResNet）

Wang等提出的第三個(gè)也是最后一個(gè)架構(gòu)是相對(duì)較深的殘差網(wǎng)絡(luò)（ResNet）。對(duì)于TSC，這是最深的體系結(jié)構(gòu)，有11層，其中前9層是卷積的，然后是間隙層，用于在時(shí)間維度上對(duì)時(shí)間序列進(jìn)行平均。RESNET的主要特征是連續(xù)卷積層之間的快捷剩余連接。實(shí)際上，與常規(guī)卷積（如FCN）的不同之處在于，添加了一條線性捷徑，將殘差塊的輸出與其輸入連接起來，從而使梯度直接通過這些連接流動(dòng)，這通過減少消失梯度效應(yīng)，使DNN的訓(xùn)練更容易。該網(wǎng)絡(luò)由三個(gè)剩余塊組成，后接Gap層和最終的softmax分類器，其神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)。每個(gè)殘差塊首先由三個(gè)卷積組成，其輸出與殘差塊的輸入相加，然后饋送到下一層。所有卷積的濾波器數(shù)量固定為64，ReLU激活函數(shù)之前有一個(gè)批標(biāo)準(zhǔn)化操作。在每個(gè)殘差塊中，對(duì)于第一、第二和第三卷積，濾波器的長度分別設(shè)置為8、5和3。與FCN模型類似，ResNet體系結(jié)構(gòu)中的層在不同的數(shù)據(jù)集上具有不變數(shù)量的參數(shù)。這就是說，可以輕松地在源數(shù)據(jù)集上預(yù)訓(xùn)練模型，然后在目標(biāo)數(shù)據(jù)集上傳輸和微調(diào)模型，而無需修改網(wǎng)絡(luò)的隱藏層。

5.4 多尺度卷積神經(jīng)網(wǎng)絡(luò)（MCNN）

多尺度卷積神經(jīng)網(wǎng)絡(luò)（MCNN）最初由Cui等提出，是驗(yàn)證UCR檔案上端到端深度學(xué)習(xí)架構(gòu)的最早方法。MCNN的架構(gòu)非常類似于傳統(tǒng)的CNN模型：兩個(gè)卷積，然后是FC層和最后的softmax層。另一方面，這種方法非常復(fù)雜，需要大量的數(shù)據(jù)預(yù)處理步驟。在任何訓(xùn)練之前，子序列將經(jīng)歷三種轉(zhuǎn)換：

（1）身份映射；

（2）下采樣和；

（3）平滑。

因此，將一元輸入時(shí)間序列轉(zhuǎn)換為多元輸入時(shí)間序列。對(duì)于第一變換，輸入子序列保持不變，原始子序列將用作獨(dú)立第一卷積的輸入。下采樣技術(shù)將導(dǎo)致具有不同長度的較短子序列，該子序列隨后將經(jīng)歷與第一卷積并行的另一個(gè)獨(dú)立卷積。至于平滑技術(shù)，結(jié)果是長度等于輸入原始子序列的平滑子序列，該子序列也將被饋送到與第一和第二卷積并行的獨(dú)立卷積。第一卷積級(jí)中每個(gè)卷積的輸出被級(jí)聯(lián)以形成后續(xù)卷積層的輸入。在第二層之后，使用sigmoid激活函數(shù)部署了一個(gè)FC層，其中包含256個(gè)神經(jīng)元。最后，使用通常的softmax分類器，神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。兩個(gè)體系結(jié)構(gòu)超參數(shù)交叉驗(yàn)證，使用網(wǎng)格搜索來自訓(xùn)練集的一個(gè)看不見的分割：過濾器長度和確定最大池操作的池大小的池因子。該網(wǎng)絡(luò)中的總層數(shù)為4，其中只有前兩個(gè)卷積層是不變的。最后，由于WS方法也在測試時(shí)使用，輸入時(shí)間序列的類別由提取的子序列的預(yù)測標(biāo)簽上的多數(shù)投票決定。

5.5 多通道卷積（MCDCNN）

Yi等提出了多通道深度卷積神經(jīng)網(wǎng)絡(luò)（MCDCNN），并在兩個(gè)多變量時(shí)間序列數(shù)據(jù)集上進(jìn)行了驗(yàn)證。所提出的架構(gòu)主要是傳統(tǒng)的深度CNN，對(duì)MTS數(shù)據(jù)進(jìn)行了一次修改：卷積并行應(yīng)用于輸入MTS的每個(gè)維度。輸入MTS每個(gè)維度將經(jīng)歷兩個(gè)卷積階段，具有8個(gè)長度為5的濾波器，ReLU作為激活函數(shù)。每個(gè)卷積之后是最大池化運(yùn)算，長度為2。所有維度的第二個(gè)卷積級(jí)的輸出在通道軸上串聯(lián)，然后饋送到具有732個(gè)神經(jīng)元的FC層，以ReLU作為激活函數(shù)。最后，使用softmax分類器，神經(jīng)元數(shù)量等于數(shù)據(jù)集中的類數(shù)量。通過在softmax分類器之前使用FC層，該網(wǎng)絡(luò)的可傳輸性僅限于第一和第二卷積層。

5.6 時(shí)間扭曲不變回聲狀態(tài)網(wǎng)絡(luò)（TWIESN）

時(shí)間扭曲不變回聲狀態(tài)網(wǎng)絡(luò)采用非卷積遞歸架構(gòu)。回聲網(wǎng)絡(luò)最初是為時(shí)間序列預(yù)測而提出的，Tanisaro等將其修改后直接使用原始輸入時(shí)間序列并應(yīng)用于分類問題。事實(shí)上，對(duì)于輸入時(shí)間序列中的每個(gè)元素，存儲(chǔ)空間用于將該元素投影到更高維空間。因此，對(duì)于單變量時(shí)間序列，元素被投影到一個(gè)空間中，該空間的尺寸由儲(chǔ)層的大小推斷。然后，針對(duì)每個(gè)元素，訓(xùn)練嶺回歸分類器，以預(yù)測每個(gè)時(shí)間序列元素的類別。在測試時(shí)，對(duì)于輸入測試時(shí)間序列的每個(gè)元素，已訓(xùn)練的嶺回歸分類器將輸出數(shù)據(jù)集中類的概率分布。然后在所有時(shí)間序列元素上對(duì)每個(gè)類的后驗(yàn)概率進(jìn)行平均，從而為每個(gè)輸入測試時(shí)間序列分配平均概率最大的標(biāo)簽。

5.7 基于LSTM的集成模型（Integration model based on LSTM）

同傳統(tǒng)機(jī)器學(xué)習(xí)類似，針對(duì)深度學(xué)習(xí)的網(wǎng)絡(luò)進(jìn)行集成也可以取得優(yōu)異的效果。Fazle 等人將長短期遞歸神經(jīng)網(wǎng)絡(luò)LSTM和FCN的輸出結(jié)果進(jìn)行拼接，提出了LSTM-FCN模型，在大多數(shù)UCR基準(zhǔn)數(shù)據(jù)集上取得了最佳結(jié)果。

在LSTM-FCN模型的基礎(chǔ)上，F(xiàn)azle等人進(jìn)一步提出了多變量MLSTM-FCN和多變量注意力MALSTM-FCCN模型，將各單變量模型轉(zhuǎn)換為了多變量變量模型。新結(jié)構(gòu)將擠壓和激發(fā)塊擴(kuò)展到一維序列模型的情況，并擴(kuò)展LSTM-FCN和ALSTM-FCN模型的全卷積塊以提高分類精度。由于數(shù)據(jù)集現(xiàn)在由多變量時(shí)間序列組成，可以將時(shí)間序列數(shù)據(jù)集定義為形狀張量（N，Q，M），其中N是數(shù)據(jù)集中的樣本數(shù)，Q是所有變量中的最大時(shí)間步數(shù)，M是每個(gè)時(shí)間步處理的變量數(shù)。因此，單變量時(shí)間序列數(shù)據(jù)集是上述定義的特例，其中M為1。新模型對(duì)LSTM-FCN和ALSTM-FCN模型的輸入進(jìn)行修改，以每個(gè)時(shí)間步接受M個(gè)輸入，而不是每個(gè)時(shí)間步接收單個(gè)輸入。與LSTM-FCN和ALSTM-FCN類似，拓展后的模型包括一個(gè)完全卷積塊和一個(gè)LSTM塊。全卷積塊包含三個(gè)時(shí)間卷積塊，用作特征提取器。卷積塊包含一個(gè)卷積層，具有多個(gè)濾波器（128、256和128），內(nèi)核大小分別為8、5和3。每個(gè)卷積層之后是批量歸一化，動(dòng)量設(shè)置為0.99。批量歸一化層之后是ReLU激活函數(shù)。此外，前兩個(gè)卷積塊結(jié)束。通過擠壓和激勵(lì)塊，將多元時(shí)間序列模型模型與單變量時(shí)間序列模型LSTM-FCN和ALSTM-FCN區(qū)分開來。對(duì)于所有壓縮和激勵(lì)塊，將縮減比設(shè)置為16。最后的時(shí)間卷積塊后面是一個(gè)全局平均池層。

張可等提出將PCA和LSTM綜合應(yīng)用于多時(shí)間序列分類，利用PCA提取索引維度特征，利用LSTM遺忘門學(xué)習(xí)時(shí)間維度特征，從而建立了基于PCA-LSTM的多元時(shí)間序列分類算法。該方法在獲得了高精度的實(shí)驗(yàn)結(jié)果的同時(shí)，還降低了計(jì)算復(fù)雜度。

5.8 時(shí)間序列自監(jiān)督變換器(STraTS)

時(shí)間序列自監(jiān)督變換器（STraTS）是針對(duì)醫(yī)療數(shù)據(jù)提出的。在重癥監(jiān)護(hù)環(huán)境中，很多人體觀測指標(biāo)都是以多變量時(shí)間序列的形式存在，這些數(shù)據(jù)往往帶有信息缺失和時(shí)間間隔不規(guī)則的問題，給使用帶來困難。傳統(tǒng)的應(yīng)對(duì)方法是聚類法或插值法，雖然會(huì)緩解問題，但會(huì)引入噪聲，干擾對(duì)細(xì)粒度有效信息的使用。STraTS從模型角度提出了解決稀疏和非規(guī)則間隔問題的思路。

與大多數(shù)以時(shí)間序列矩陣為輸入的現(xiàn)有方法不同，STraTS將其輸入定義為一組觀測三元組。使用初始三元組嵌入模塊嵌入輸入中的每個(gè)觀察三元組。然后，初始三元組嵌入通過上下文三元組嵌入式模塊，該模塊利用Transformer架構(gòu)對(duì)每個(gè)三元組的上下文進(jìn)行編碼。然后，融合自關(guān)注模塊通過自關(guān)注機(jī)制組合這些上下文嵌入，以生成輸入時(shí)間序列的嵌入，并通過前饋網(wǎng)絡(luò)進(jìn)行最終預(yù)測。它采用了一種新的連續(xù)值嵌入技術(shù)來編碼連續(xù)時(shí)間和可變值，而不需要離散化。它由具有多個(gè)頭部注意層的變壓器組件組成，使其能夠?qū)W習(xí)上下文三元組嵌入，同時(shí)避免遞歸架構(gòu)中出現(xiàn)的遞歸和消失梯度問題。此外，為了解決標(biāo)記數(shù)據(jù)可用性有限的問題，STraTS通過利用未標(biāo)記數(shù)據(jù)進(jìn)行自我監(jiān)控，通過使用時(shí)間序列預(yù)測作為輔助代理任務(wù)來學(xué)習(xí)更好的表示。在真實(shí)世界多變量臨床時(shí)間序列基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，在標(biāo)記數(shù)據(jù)有限的情況下，STraTS在死亡率預(yù)測方面取得了最優(yōu)的預(yù)測性能。

5.9 基于Transformer的雙塔式模型（Gated Transformer Networks）

Liu等將Transformer模型引入時(shí)間序列分類，并構(gòu)建了雙塔結(jié)構(gòu)對(duì)時(shí)間特征和通道特征分別進(jìn)行編碼，該模型可以對(duì)模型學(xué)習(xí)的特征可視化，具有一定的可解釋性。多變量時(shí)間序列具有多個(gè)通道，其中每個(gè)通道是單變量時(shí)間序列。捕捉時(shí)間分步和空間通道信息是多變量時(shí)間序列研究的關(guān)鍵。與其他利用原始Transformer進(jìn)行時(shí)間序列分類和預(yù)測的工作不同，GTN設(shè)計(jì)了雙塔框架的簡單擴(kuò)展，其中每個(gè)塔中的編碼器通過注意和掩蔽、分步編碼器顯式捕獲分步和信道相關(guān)。為了對(duì)時(shí)間特征進(jìn)行編碼，GTN通過計(jì)算所有時(shí)間步長中的成對(duì)注意力權(quán)重，使用帶掩碼的自注意力來關(guān)注穿過所有通道的每個(gè)點(diǎn)。在多頭自注意力中，縮放點(diǎn)積注意在所有時(shí)間步長上形成權(quán)重矩陣。同其他原始Transformer架構(gòu)一樣，位置方向全連接前饋層堆疊在每個(gè)多頭注意力層上，用于增強(qiáng)特征提取。圍繞兩個(gè)子層中的每一個(gè)子層的剩余連接也被保持以引導(dǎo)信息和梯度流，隨后是層歸一化。逐通道編碼器同時(shí)間特征編碼保持一致，也計(jì)算所有不同通道之間的注意力權(quán)重。在所有通道上進(jìn)行掩蔽的注意力層可以在所有時(shí)間步長上顯式捕捉通道之間的相關(guān)性。

6 結(jié)論

在本文中，我們描述了時(shí)間序列分類任務(wù)，解釋了DNN如何被分為兩大類：生成模型和區(qū)分模型，并介紹以MLP、CNN、RNN、Transformer為基礎(chǔ)的一系列深度學(xué)習(xí)方法。與計(jì)算機(jī)視覺和自然語言處理任務(wù)不同，時(shí)間序列分類的深度學(xué)習(xí)仍然缺乏對(duì)數(shù)據(jù)增強(qiáng)和轉(zhuǎn)移學(xué)習(xí)的深入研究。同時(shí)多數(shù)研究仍集中在單變量時(shí)間序列的研究，多變量時(shí)間序列研究仍相對(duì)較少。