張國(guó)豪，劉 波

暨南大學(xué) 信息科學(xué)技術(shù)學(xué)院，廣州 510632

1 引言

時(shí)間序列數(shù)據(jù)分類(lèi)在許多領(lǐng)域都有應(yīng)用，包括醫(yī)學(xué)、生物學(xué)、金融學(xué)、工程學(xué)以及工業(yè)界等領(lǐng)域[1]。由于時(shí)間序列數(shù)據(jù)具有非離散性，數(shù)據(jù)之間有著前后的時(shí)序相關(guān)性，特征空間維度非常大等特點(diǎn)，使得傳統(tǒng)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)算法不能直接對(duì)其進(jìn)行分類(lèi)。因此，研究人員提出了多種方法：基于距離的方法、基于特征的方法、基于集成（ensemble）學(xué)習(xí)的方法等。但這些方法都需要對(duì)數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理，或者進(jìn)行復(fù)雜且繁重的特征工程。近年來(lái)，由于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的時(shí)間序列分類(lèi)方法被陸續(xù)提出，例如多通道卷積神經(jīng)網(wǎng)絡(luò)模型[2]、全卷積神經(jīng)網(wǎng)絡(luò)模型[3]、多層感知器[3]等，但是這些方法也未能考慮到時(shí)間序列數(shù)據(jù)的多種特征。

本文通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）以及循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）的研究，充分發(fā)揮卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的作用，提出了一種BiGRU-FCN模型，使用雙向的門(mén)控循環(huán)單元（bidirectional gated recurrent unit，BiGRU）和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的結(jié)構(gòu)。本文主要工作及貢獻(xiàn)如下：

（1）探索了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在時(shí)間序列數(shù)據(jù)上的作用。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積核在時(shí)序數(shù)據(jù)上進(jìn)行卷積操作，獲得了不同時(shí)間窗的信息與特征。BiGRU通過(guò)循環(huán)神經(jīng)元以及門(mén)控機(jī)制，對(duì)時(shí)間序列數(shù)據(jù)處理，獲得了時(shí)間序列數(shù)據(jù)的時(shí)序依賴(lài)特征，雙向結(jié)構(gòu)可以獲得來(lái)自整個(gè)輸入序列正向與反向的特征，很好地提高了模型的分類(lèi)效果。

（2）將卷積神經(jīng)網(wǎng)絡(luò)和雙向門(mén)控循環(huán)單元通過(guò)Merge層連接，構(gòu)建一個(gè)完整的端對(duì)端模型。

（3）對(duì)比了多種模型在UCR時(shí)間序列數(shù)據(jù)集上的效果，驗(yàn)證了本文模型的先進(jìn)性。

本文實(shí)驗(yàn)數(shù)據(jù)采用時(shí)間序列分類(lèi)研究的權(quán)威數(shù)據(jù)集——UCR數(shù)據(jù)倉(cāng)庫(kù)[4]，并與多種方法進(jìn)行了實(shí)驗(yàn)對(duì)比。結(jié)果表明，本文方法有效地提高了深度學(xué)習(xí)模型在時(shí)間序列分類(lèi)的表現(xiàn)，不用對(duì)數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理，也不用對(duì)模型進(jìn)行過(guò)多的調(diào)參，比其他方法有著更高的準(zhǔn)確率。

2 背景及相關(guān)工作

在時(shí)間序列分類(lèi)研究中，主要采用基于距離的方法、基于特征的方法、基于集成學(xué)習(xí)的方法、基于深度學(xué)習(xí)的方法等。

在基于距離度量的方法中，首先定義距離函數(shù)用于計(jì)算兩個(gè)時(shí)間序列之間的相似性，然后根據(jù)每條時(shí)間序列實(shí)例與訓(xùn)練數(shù)據(jù)中距離最近的實(shí)例所屬的類(lèi)，將該序列實(shí)例分類(lèi)到對(duì)應(yīng)的類(lèi)中。時(shí)間序列分類(lèi)的距離度量函數(shù)一般有歐幾里德距離（euclidean distance，ED）[5]、動(dòng)態(tài)時(shí)間規(guī)整（dynamic time warping，DTW）[6]、編輯距離（edit distance）[7]、最長(zhǎng)公共子序列（longest common sub-sequence，LCS）[8]等方法。其中動(dòng)態(tài)時(shí)間規(guī)整結(jié)合1-近鄰（one-nearest-neighbor，1NN）分類(lèi)器，是時(shí)間序列分類(lèi)問(wèn)題的一個(gè)基本方法。

基于特征（feature-based）的分類(lèi)方法通常包括兩個(gè)步驟：定義時(shí)序特征，然后訓(xùn)練基于定義的時(shí)序特征的分類(lèi)器進(jìn)行分類(lèi)。例如，Nanopoulos等[9]提取了統(tǒng)計(jì)學(xué)特征，包括整個(gè)時(shí)間序列的均值和方差等特征，然后使用多層感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)。這種方法只是提取到了時(shí)間序列的全局屬性，而忽略了包含重要分類(lèi)信息的時(shí)間序列局部特征。Geurts[10]通過(guò)離散化時(shí)間序列來(lái)提取局部時(shí)序信息特征，以便傳統(tǒng)的分類(lèi)算法可以對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行分類(lèi)。Rodríguez等[11]提出了兩種不同類(lèi)型的樹(shù)模型：基于區(qū)間的樹(shù)模型以及基于動(dòng)態(tài)時(shí)間規(guī)整的樹(shù)模型。文獻(xiàn)[12]提出使用支持向量機(jī)（support vector machine，SVM）對(duì)通過(guò)提升的二進(jìn)制樹(shù)樁（boosted binary stumps）[13]提取到的時(shí)序特征進(jìn)行分類(lèi)。Deng等[14]提出了時(shí)間序列森林（time series forest，TSF）方法，結(jié)合了熵增益（entropy gain）和距離度量，用于評(píng)估節(jié)點(diǎn)的分裂，在每個(gè)樹(shù)節(jié)點(diǎn)處隨機(jī)地對(duì)特征進(jìn)行采樣，采用時(shí)間重要性曲線以捕獲對(duì)分類(lèi)有用的時(shí)間特征。Baydogan等[15]提出了一種TSBF（time series classification with a bag of features）的特征袋框架，從每個(gè)間隔中提取具有不同時(shí)間尺度的間隔特征形成實(shí)例，然后使用隨機(jī)森林進(jìn)行分類(lèi)。Sch?fer[16]提出了BOSS（bag-of-SFA-symbols）模型，結(jié)合了符號(hào)傅里葉近似（symbolic Fourier approximation，SFA）[17]的噪聲度量和基于結(jié)構(gòu)表示的詞袋模型。BOSSVS（bag-of-SFA-symbols in vector space classifier）方法[18]將 BOSS模型與向量空間模型相結(jié)合，通過(guò)對(duì)具有不同窗口大小的模型進(jìn)行集成來(lái)減少時(shí)間復(fù)雜度并提高性能，然后使用1-近鄰分類(lèi)器執(zhí)行最終分類(lèi)。

基于集成學(xué)習(xí)（ensemble learning）的方法是將不同的分類(lèi)器組合在一起以實(shí)現(xiàn)更高的準(zhǔn)確度。不同的集成模型集成了不同的特征和分類(lèi)器。Lines和Bagnall將基于彈性距離測(cè)量的11個(gè)分類(lèi)器構(gòu)建加權(quán)集成模型PROP（proportional elastic ensemble）[19]。SE（shapelet ensemble）[20]通過(guò)shapelet變換與異構(gòu)集合的結(jié)合生成分類(lèi)器?；谧儞Q的集成方法COTE[20]（collective of transformation-based ensembles）集成了基于時(shí)域和頻域提取的特征的35個(gè)不同的分類(lèi)器。

以上各種方法都需要對(duì)數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理，或者進(jìn)行復(fù)雜且繁重的特征工程，尤其是基于特征的方法。近年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的迅猛發(fā)展，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在時(shí)間序列分類(lèi)上做出了突出的貢獻(xiàn)，尤其是卷積神經(jīng)網(wǎng)絡(luò)用于端對(duì)端（end-to-end）的時(shí)間序列分類(lèi)。Zheng等[2]提出了一種多通道卷積神經(jīng)網(wǎng)絡(luò)（multi-channel deep CNN，MC-DCNN）用于多變量時(shí)間序列分類(lèi)，在每個(gè)單獨(dú)的通道上應(yīng)用濾波器，將不同通道產(chǎn)生的特征“壓平”（flattened）送入全連接層，作為全連接層的輸入，應(yīng)用滑動(dòng)窗口來(lái)增強(qiáng)數(shù)據(jù)。文獻(xiàn)[21]提出了一種用于單變量時(shí)間序列分類(lèi)的多尺度卷積神經(jīng)網(wǎng)絡(luò)MCNN（multi-scale CNN），在44個(gè)UCR時(shí)間序列數(shù)據(jù)集上取得了很好的表現(xiàn)，但是大量的數(shù)據(jù)預(yù)處理和超參數(shù)使得模型的部署變得復(fù)雜。在基于深度學(xué)習(xí)的時(shí)間序列分類(lèi)問(wèn)題上，Wang等[3]提出了一個(gè)簡(jiǎn)單而有效的模型——全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional neural networks，F(xiàn)CN），不需要對(duì)原始數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理，提供了一個(gè)端對(duì)端深度學(xué)習(xí)模型的起點(diǎn)。Karim等[22]提出了LSTM-FCN和ALSTMFCN模型，結(jié)合CNN和RNN建立一個(gè)端對(duì)端模型，探索了長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）在UCR時(shí)間序列分類(lèi)數(shù)據(jù)庫(kù)上的表現(xiàn)，并且提出了一種微調(diào)（fine-tuning）的做法。

深度學(xué)習(xí)能充分地提取時(shí)間序列的各種特征。在時(shí)間序列數(shù)據(jù)中，卷積神經(jīng)網(wǎng)絡(luò)作為一種時(shí)序卷積，提取了不同時(shí)間窗口下的時(shí)序特征以及初級(jí)特征與高級(jí)特征（隨著網(wǎng)絡(luò)層的加深），可以視為對(duì)時(shí)間序列的一種空間信息特征提取，而RNN本身的特性使得能獲得歷史數(shù)據(jù)的依賴(lài)，刻畫(huà)序列內(nèi)部或序列之間（多維的情況下）的時(shí)序關(guān)聯(lián)。而雙向RNN能夠更好地獲取過(guò)去和未來(lái)的長(zhǎng)期依賴(lài)特征。因此，本文進(jìn)一步探索深度學(xué)習(xí)網(wǎng)絡(luò)，提出了BiGRU-FCN模型，通過(guò)結(jié)合CNN和雙向GRU，充分獲取了時(shí)間序列數(shù)據(jù)的多種特征信息，有效地提高了深度學(xué)習(xí)模型的表現(xiàn)。

3 時(shí)間序列分類(lèi)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

一個(gè)時(shí)間序列數(shù)據(jù)集是一組序列數(shù)據(jù)，在相等時(shí)間間隔的一段時(shí)間內(nèi)的觀測(cè)值。在時(shí)間序列分類(lèi)問(wèn)題中，任意實(shí)值型有次序的數(shù)據(jù)都可以被當(dāng)作一條時(shí)間序列。假定有一組數(shù)據(jù)量大小為n的時(shí)間序列數(shù)據(jù)T={T1,T2,…,Tn}，每個(gè)時(shí)間序列有m個(gè)觀測(cè)值，即Ti=＜ti1,ti2,…,tim＞ ，對(duì)應(yīng)于類(lèi)標(biāo)yi，yi∈{1,2,…,C}，C表示類(lèi)數(shù)目。

本文提出的應(yīng)用于時(shí)間序列分類(lèi)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。時(shí)序卷積網(wǎng)絡(luò)和雙向門(mén)控循環(huán)單元網(wǎng)絡(luò)分別作為模型的兩個(gè)分支，得出不同特征，最后通過(guò)merge層連接起來(lái)，進(jìn)入softmax層進(jìn)行分類(lèi)。

Fig.1 Network architecture of BiGRU-FCN圖1 BiGRU-FCN網(wǎng)絡(luò)結(jié)構(gòu)

3.1 時(shí)間序列上的卷積神經(jīng)網(wǎng)絡(luò)

卷積網(wǎng)絡(luò)（convolutional network），也叫卷積神經(jīng)網(wǎng)絡(luò)（CNN），卷積是一種局部操作，通過(guò)一定大小的卷積核作用于局部區(qū)域獲得輸入數(shù)據(jù)的局部特征信息，將高層語(yǔ)義信息逐層由原始數(shù)據(jù)輸入層中抽取出來(lái)，逐層抽象。

這里把卷積神經(jīng)網(wǎng)絡(luò)視為是一種能在不同的時(shí)間層次上提取特征的時(shí)序卷積網(wǎng)絡(luò)。

在多層卷積中，上一層的特征映射（feature map）與這一層的卷積核進(jìn)行卷積操作，卷積操作后的輸出與偏置（bias，待訓(xùn)練）相加后，通過(guò)激活函數(shù)計(jì)算后作為本層輸出的特征映射。如下式所示：

在全卷積神經(jīng)網(wǎng)絡(luò)（FCN）中使用卷積網(wǎng)絡(luò)作為一個(gè)特征提取模塊。一個(gè)基本的卷積塊包含有卷積層（convolution layer）、批量歸一化層（batch normalization）[23]、激活函數(shù)ReLU。一個(gè)基本的卷積塊表示為：

其中，?是卷積運(yùn)算符（convolution operator），堆疊三個(gè)卷積塊構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)分支，如圖2所示，每個(gè)卷積塊的濾波器大小分別設(shè)置為{128,256,128}，與MCNN和MC-DCNN不同的是每個(gè)卷積核中略去了池化（pooling）操作，只是在最后第三個(gè)卷積塊結(jié)束之后輸入到全局平均池化層。批量歸一化層可以加速收斂并且提高泛化能力，防止梯度消失、梯度爆炸。

Fig.2 Convolution network branch圖2 卷積網(wǎng)絡(luò)分支

從UCR數(shù)據(jù)集中隨機(jī)抽取四個(gè)數(shù)據(jù)集進(jìn)行卷積操作，卷積操作對(duì)時(shí)間序列分類(lèi)的作用如圖3所示?？梢钥闯?，采用三層的卷積操作能達(dá)到很好的分類(lèi)效果。

3.2 雙向GRU的時(shí)序建模

3.2.1 RNN、LSTM、GRU

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN)[24]是一類(lèi)用于序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，是專(zhuān)門(mén)用于處理序列x(1),x(2),…,x(t)的神經(jīng)網(wǎng)絡(luò)。

給定一個(gè)輸入序列x=(x1,x2,…,xT)，一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)從t=1到T迭代以下公式計(jì)算隱藏向量序列h=(h1,h2,…,ht)和輸出序列y=(y1,y2,…,yT)：

W表示權(quán)重矩陣（例如，Wxh指的是從輸入x到隱藏層h的權(quán)重矩陣），b表示偏置，H指的是隱藏層的激活函數(shù)。結(jié)構(gòu)如圖4所示。

Fig.3 Accuracy of convolution operations on UCR datasets圖3 卷積操作在UCR數(shù)據(jù)集上的準(zhǔn)確率變化

Fig.4 Recurrent neural network structure圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

原始的循環(huán)神經(jīng)網(wǎng)絡(luò)缺乏學(xué)習(xí)序列數(shù)據(jù)的長(zhǎng)期依賴(lài)性，容易產(chǎn)生梯度消失或梯度爆炸[25]，使得基于梯度的優(yōu)化方法變得比較困難。為解決這個(gè)問(wèn)題，其兩個(gè)擴(kuò)展模型：長(zhǎng)短期記憶（LSTM）[26]和門(mén)控循環(huán)單元（GRU）[27]先后被提出來(lái)。本文選擇門(mén)控循環(huán)單元，因?yàn)槠湓诟鞣N任務(wù)中表現(xiàn)出與LSTM類(lèi)似的性能[28]，同時(shí)具有比較簡(jiǎn)潔的結(jié)構(gòu)，降低了網(wǎng)絡(luò)的復(fù)雜性，減少了整個(gè)神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，提高了防止過(guò)擬合的能力，并且收斂得更快，更加適應(yīng)本文的任務(wù)。

3.2.2 Bidirectional GRU

在經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)中，狀態(tài)之間的傳輸是從前往后的一個(gè)單向傳播過(guò)程，在時(shí)刻t的狀態(tài)只能從過(guò)去的序列x(1),x(2),…,x(t-1)以及當(dāng)前的輸入x(t)捕獲信息，只能利用先前的上下文信息（previous context）。然而，在很多問(wèn)題及應(yīng)用中，要輸出的y(t)可能依賴(lài)于整個(gè)輸入序列。應(yīng)用雙向RNN作為模型的一個(gè)重要分支，RNN的結(jié)構(gòu)單元采用GRU，如圖5所示。雙向結(jié)構(gòu)使得模型既能獲得正向的累積依賴(lài)信息，又能獲得反向的來(lái)自未來(lái)的累積依賴(lài)信息，在本文的多種任務(wù)數(shù)據(jù)集中均表現(xiàn)出了作用，豐富了提取的特征信息。

Fig.5 Bidirectional gated recurrent unit branch圖5 雙向門(mén)控循環(huán)單元支路

3.3 時(shí)間序列上的卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)合

如圖1網(wǎng)絡(luò)結(jié)構(gòu)圖所示，將卷積神經(jīng)網(wǎng)絡(luò)獲得的時(shí)序卷積特征VFCN（temporal convolutional feature map）與雙向門(mén)控循環(huán)單元獲得的雙向時(shí)序依賴(lài)特征VBiGRU（BiGRU feature map）通過(guò)merge層結(jié)合起來(lái)：

Fig.6 Bidirectional RNN structure圖6 雙向RNN結(jié)構(gòu)

其中，V是輸入到softmax層的特征向量，⊕是merge層的Concatenate運(yùn)算。

Fig.7 Comparison of effects of CNN,GRU-FCN and BiGRU-FCN圖7 卷積神經(jīng)網(wǎng)絡(luò)、單向GRU-FCN、BiGRU-FCN的效果比較

圖7 展示了在圖3所示卷積操作中，加入門(mén)控循環(huán)單元與雙向門(mén)控循環(huán)單元，通過(guò)merge層結(jié)合之后模型的分類(lèi)效果?？梢钥闯?，通過(guò)門(mén)控循環(huán)單元，模型能獲取時(shí)間序列數(shù)據(jù)的時(shí)序依賴(lài)特征，雙向門(mén)控循環(huán)單元提取了整個(gè)序列的正向時(shí)序依賴(lài)特征和反向時(shí)序依賴(lài)特征，進(jìn)一步豐富了模型的特征提取能力和提升了分類(lèi)效果。表1舉例了UCR數(shù)據(jù)集中的Adiac數(shù)據(jù)集在本文模型BiGRU-FCN中的分類(lèi)過(guò)程。

Table1 Classification process ofAdiac dataset表1 Adiac數(shù)據(jù)集在本文模型中的分類(lèi)過(guò)程

4 實(shí)驗(yàn)結(jié)果分析與對(duì)比

本章詳細(xì)分析對(duì)比了本文模型的分類(lèi)效果與目前多個(gè)文獻(xiàn)公布模型的分類(lèi)效果，其中包括多種基準(zhǔn)方法?；诰嚯x的方法：1-NN ED[4]、1-NN DTW(r)[4]、1-NNDTW[4]。基于特征的分類(lèi)方法：TSBF[15]、BOSSVS[18]、BOSS[16]、TSF[14]。基于集成學(xué)習(xí)的分類(lèi)方法：PROP[19]、COTE[20]、SE1[20]?；谏窠?jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的方法：MLP（deep multilayer perceptrons）[3]、FCN[3]、ResNet[3]、LSTM-FCN[22]、ALSTM-FCN[22]。這些模型方法已在背景及相關(guān)工作中依次進(jìn)行簡(jiǎn)單介紹。

實(shí)驗(yàn)數(shù)據(jù)均來(lái)自UCR時(shí)間序列數(shù)據(jù)倉(cāng)庫(kù)（UCR time series classification archive）[4]，包含了多個(gè)領(lǐng)域多個(gè)種類(lèi)的時(shí)間序列基準(zhǔn)數(shù)據(jù)集（time series benchmarks），采用了UCR中44個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

4.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)環(huán)境為個(gè)人電腦，系統(tǒng)為Ubuntu 16.04.1，Intel?CoreTMi5-3470 CPU@3.20 GHz，GPU是GeForce GTX 1060，6 GB。所有模型都在基于TensorFlow的Keras深度學(xué)習(xí)框架中進(jìn)行訓(xùn)練。

4.2 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)中，全連接神經(jīng)網(wǎng)絡(luò)模塊有3個(gè)卷積塊（每塊包含Conv1D層、Batch normalization層、ReLU激活層）和1個(gè)全局平均池化層（global average pooling）組成，卷積核大小是{128,256,128}。雙向門(mén)控循環(huán)網(wǎng)絡(luò)中，GRU單元的數(shù)量從[4,8,16,32,64,128]中搜索，找到最佳的數(shù)量。訓(xùn)練迭代次數(shù)為2 500次，批尺寸（batch size）大小設(shè)置為32。模型通過(guò)Adam optimizer進(jìn)行訓(xùn)練，初始化學(xué)習(xí)率為0.001，設(shè)置回調(diào)函數(shù)在訓(xùn)練過(guò)程中調(diào)整學(xué)習(xí)率，在100代中模型效果如果并沒(méi)有提升，則按照公式：

調(diào)整學(xué)習(xí)率，直到學(xué)習(xí)率為0.000 1。

4.3 實(shí)驗(yàn)結(jié)果

4.3.1 評(píng)估指標(biāo)

為了更好分析實(shí)驗(yàn)結(jié)果，本文通過(guò)多個(gè)指標(biāo)來(lái)評(píng)價(jià)：分類(lèi)錯(cuò)誤率、平均各類(lèi)誤差（mean per-class error，MPCE）、平均算術(shù)排名（AVG Rank.avg）、平均排名（AVG Rank.eq）、威爾科克森符號(hào)秩檢驗(yàn)（Wilcoxon sign rank test,WSR）。

MPCE[3]是一種用于衡量特定模型在多個(gè)數(shù)據(jù)集上分類(lèi)性能的指標(biāo)。給定模型M={mi}，數(shù)據(jù)集集合D={dk}以及對(duì)應(yīng)的類(lèi)標(biāo)個(gè)數(shù)C={ck}、錯(cuò)誤率E={ek}。

其中，k表示每個(gè)數(shù)據(jù)集，i表示每個(gè)模型。MPCE表示所有數(shù)據(jù)集中單個(gè)類(lèi)的預(yù)期錯(cuò)誤率。通過(guò)考慮類(lèi)的數(shù)量，MPCE更具有魯棒性。

算術(shù)排名（Rank.avg）指的是在某數(shù)據(jù)集中，該模型相對(duì)于其他模型的分類(lèi)錯(cuò)誤率大小的算術(shù)排名（排名相同，則取平均值排名）。平均算術(shù)排名（AVG Rank.avg）則表示該模型在本文所有數(shù)據(jù)集中的算術(shù)排名的均值。排名（Rank.eq）與算術(shù)排名（Rank.avg）的區(qū)別在于排名相同時(shí)，并不計(jì)算均值。平均排名（AVG Rank.eq）則表示該模型在本文所有數(shù)據(jù)集中的排名的均值。

使用Wilcoxon符號(hào)秩檢驗(yàn)[22]進(jìn)一步驗(yàn)證了BiGRU-FCN模型與其他模型的區(qū)別。Wilcoxon符號(hào)秩檢驗(yàn)用于比較所提出的模型和現(xiàn)有先進(jìn)模型的中心位置的秩（median rank）。零假設(shè)（null hypothesis）和替代假設(shè)（alternative hypothesis）如下：

利用Matlab軟件算出在零假設(shè)下的p值，如果p值較小（小于或等于給定的顯著水平，α=0.05，p＜0.05），則可以拒絕零假設(shè)，說(shuō)明其分布有差異性。

4.3.2 實(shí)驗(yàn)結(jié)果

上述指標(biāo)分析結(jié)果如表2所示，其中包括多個(gè)文獻(xiàn)公布的結(jié)果，涉及基于距離、特征、集成學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的多種方法。

通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)：在UCR的所有85個(gè)數(shù)據(jù)集中，BiGRU-FCN在大部分?jǐn)?shù)據(jù)集上達(dá)到了目前較好的分類(lèi)效果。由于有些文獻(xiàn)沒(méi)有公布針對(duì)所有85個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，表2中僅給出了針對(duì)44個(gè)數(shù)據(jù)集的結(jié)果，所對(duì)比的方法都提供了針對(duì)這44個(gè)數(shù)據(jù)集的分類(lèi)錯(cuò)誤率。表2中斜體表示模型達(dá)到當(dāng)前最優(yōu)結(jié)果，數(shù)字后面帶“*”表示該模型有著比所有模型都高的分類(lèi)準(zhǔn)確率，可以看出，本文模型在給出的44個(gè)數(shù)據(jù)集上，在25個(gè)數(shù)據(jù)集上達(dá)到最優(yōu)結(jié)果，其中有14個(gè)優(yōu)于其他所有模型。

表2的后3行給出了各模型在44個(gè)數(shù)據(jù)集上的平均算術(shù)排名（AVG Rank.avg）、平均排名（AVG Rank.eq）以及平均各類(lèi)誤差（MPCE），本文的模型均達(dá)到了很好的效果。

從表2可以看出，從不同類(lèi)型方法的差異的角度，分類(lèi)效果是4種方法逐步提升：基于距離度量的方法<基于特征的方法<基于集成學(xué)習(xí)的方法<基于深度學(xué)習(xí)的方法。集成學(xué)習(xí)方法集成了基于距離度量與特征學(xué)習(xí)的方法，例如COTE，能取得比基于距離度量與特征學(xué)習(xí)方法更好的效果，因?yàn)榧闪似鋬烧叩膬?yōu)點(diǎn)，有著更高的準(zhǔn)確率。隨著模型技術(shù)的不斷更新，模型越來(lái)越復(fù)雜，例如深度學(xué)習(xí)模型的變更，以及對(duì)應(yīng)的調(diào)優(yōu)技巧也不斷更新；例如本文模型中深度學(xué)習(xí)的Dropout及優(yōu)化函數(shù)Adam、激活函數(shù)ReLU等，使得深度學(xué)習(xí)在時(shí)間序列分類(lèi)問(wèn)題的效果也逐漸提高。

從實(shí)驗(yàn)表格中可以看出，本文方法在少數(shù)數(shù)據(jù)集上沒(méi)有達(dá)到最優(yōu)，在這少數(shù)數(shù)據(jù)集上，大部分都接近最優(yōu)結(jié)果，所有基于深度學(xué)習(xí)的方法效果都接近最優(yōu)結(jié)果，這也說(shuō)明了深度學(xué)習(xí)方法在時(shí)間序列分類(lèi)上的先進(jìn)性。但仍有幾個(gè)數(shù)據(jù)集，深度學(xué)習(xí)模型效果并不好，如CinC_ECG、WordsSynonyms數(shù)據(jù)集，分析其數(shù)據(jù)特點(diǎn)，發(fā)現(xiàn)其數(shù)據(jù)量少，訓(xùn)練數(shù)據(jù)量不足，分類(lèi)類(lèi)別過(guò)多，導(dǎo)致深度學(xué)習(xí)模型未能很好地抓取其特征，分類(lèi)效果不佳。訓(xùn)練數(shù)據(jù)量較小也是UCR時(shí)間序列數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)問(wèn)題。

表3給出了各模型間Wilcoxon符號(hào)秩檢驗(yàn)的p值（p-value），可以看出，本文模型與各種模型的結(jié)果相比，p值均小于α值（0.05），說(shuō)明拒絕零假設(shè)，本文提出的模型在多個(gè)數(shù)據(jù)集上的效果分布與其他模型有差異性。

5 總結(jié)和展望

時(shí)間序列分類(lèi)問(wèn)題是時(shí)間序列分析中的一個(gè)重要方面。針對(duì)傳統(tǒng)方法以及當(dāng)前研究存在的問(wèn)題，通過(guò)對(duì)深度學(xué)習(xí)的研究，提出了一個(gè)端對(duì)端模型BiGRU-FCN。本模型通過(guò)卷積神經(jīng)網(wǎng)絡(luò)在時(shí)間序列數(shù)據(jù)上的時(shí)序卷積，獲取不同時(shí)間尺度的特征；通過(guò)雙向的門(mén)控循環(huán)單元，獲取來(lái)自過(guò)去以及未來(lái)的長(zhǎng)期依賴(lài)特征信息；不需要對(duì)數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理，通過(guò)不同的網(wǎng)絡(luò)運(yùn)算來(lái)獲取多種特征信息，對(duì)單維時(shí)間序列進(jìn)行分類(lèi)。在大量的基準(zhǔn)數(shù)據(jù)集上對(duì)模型進(jìn)行實(shí)驗(yàn)與評(píng)估，結(jié)果表明：與現(xiàn)有的多種方法相比，所提出的模型具有更高的準(zhǔn)確率。

將進(jìn)一步研究模型，能學(xué)習(xí)到抓取到更多更全面的特征，構(gòu)成更全面的特征映射。在時(shí)間序列分析方面，鑒于模型的有效性，可以將其擴(kuò)展到多維時(shí)間序列中。

Table2 Comparison of error rate and various indicators of different models表2 不同模型的分類(lèi)錯(cuò)誤率、各項(xiàng)指標(biāo)的對(duì)比

續(xù)表2

Table3 p-values ofWilcoxon sign rank test between different models表3 各模型間Wilcoxon符號(hào)秩檢驗(yàn)的p 值