王天，劉兆英，張婷，劉博文，李玉鑑,2

1. 北京工業(yè)大學(xué) 信息學(xué)部，北京 100124

2. 桂林電子科技大學(xué) 人工智能研究院，廣西 桂林 541004

時(shí)間序列是用按時(shí)間順序排列的變量來表示事件的序列[1]。時(shí)間序列數(shù)據(jù)廣泛地存在于生產(chǎn)生活中，例如股票的走向趨勢(shì)、商品價(jià)格的變化波動(dòng)、患者的心電圖或者腦電波活動(dòng)情況等等。分析時(shí)序數(shù)據(jù)對(duì)指導(dǎo)人們生產(chǎn)生活具有重大意義，例如醫(yī)生通過觀察病人的心電圖判斷其是否患?。唤?jīng)濟(jì)學(xué)家觀測股票分析其走向趨勢(shì)。在這些時(shí)間序列分析問題中，時(shí)間序列分類(time series classification，TSC)[2]是一項(xiàng)比較重要且具有挑戰(zhàn)性的任務(wù)。

目前深度學(xué)習(xí)已經(jīng)在計(jì)算機(jī)視覺以及自然語言處理等多個(gè)領(lǐng)域得到極大的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的時(shí)間序列分類也取得了一定的進(jìn)展。例如，Wang 等[3]提出了全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）和ResNet 模型，實(shí)現(xiàn)了端到端的訓(xùn)練過程，避免了復(fù)雜的特征工程。金海波[4]針對(duì)傳統(tǒng)Shapelets 算法時(shí)間復(fù)雜度高的問題，提出一種快速發(fā)現(xiàn)算法，完成了算法的并行化。張國豪等[5]提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN) 和雙向門控循環(huán)單元（gate recurrent unit，GRU）的模型結(jié)構(gòu)，用于提取時(shí)間序列數(shù)據(jù)的卷積特征和時(shí)序特征，該模型利用了2 種特征信息完成了對(duì)時(shí)序數(shù)據(jù)的分類。胡紫音等[6]利用注意力機(jī)制在多元時(shí)序數(shù)據(jù)中進(jìn)行特征選擇，解決了高維數(shù)據(jù)特征提取問題。王會(huì)青等[7]利用反向傳播神經(jīng)網(wǎng)絡(luò)提取時(shí)間序列特征用樸素貝葉斯分類，解決了有限數(shù)據(jù)集的分類問題。Iwana 等[8]提出5 種原型選擇算法，并利用動(dòng)態(tài)時(shí)間歸整（dynamic time warping，DTW）[9]計(jì)算序列與原型之間的局部距離特征作為CNN 的輸入，充分探索了局部距離特征的分類潛力。姜逸凡等[10]利用孿生網(wǎng)絡(luò)衡量序列之間的相似性進(jìn)行分類。Karim 等[11]嘗試將長短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）和全卷積網(wǎng)絡(luò)結(jié)合提出了LSTM-FCN模型，該模型同時(shí)提取時(shí)間序列的局部特征和長期依賴關(guān)系，在多個(gè)數(shù)據(jù)集上取得了優(yōu)于FCN、ResNet 等模型的結(jié)果。

以上對(duì)時(shí)間序列分類的研究中，幾乎都是從模型的角度出發(fā)，通過設(shè)計(jì)不同的模型，提取高質(zhì)量的特征，進(jìn)而提高準(zhǔn)確率，而鮮少從數(shù)據(jù)的角度出發(fā)。實(shí)際上許多應(yīng)用中的標(biāo)記數(shù)據(jù)存在局限性[12]，例如數(shù)據(jù)量小、類別不平衡等，進(jìn)而影響了模型的分類性能。

數(shù)據(jù)增強(qiáng)作為深度學(xué)習(xí)中常用的技術(shù)手段，可以通過擴(kuò)充數(shù)據(jù)集提高模型性能[13-14]，并在圖像處理等領(lǐng)域得到了廣泛的使用。然而類似的方法卻不能很好地應(yīng)用到時(shí)序數(shù)據(jù)[15]，例如添加隨機(jī)噪聲[16]、隨機(jī)形變[16]等增強(qiáng)方法。Forestier 等[17]提出的加權(quán)動(dòng)態(tài)時(shí)間彎曲重心平均算法（weighted DTW barycenter averaging，wDBA），該算法以加權(quán)方式計(jì)算平均序列生成新樣本，按照權(quán)重分配方式分為全平均[17]（average all，AA）、選擇平均[17]（average selected，AS）和距離選擇平均[17]（average selected with distance，ASD）3 種方法。該算法雖然可以生成無限多樣本，但是計(jì)算量較大，不適用于長序列。

Mixup[18]作為一種簡單有效的數(shù)據(jù)增強(qiáng)方法，已經(jīng)在圖像分類中得到廣泛的應(yīng)用。為此，本文將Mixup 引用到時(shí)間序列數(shù)據(jù)中，并結(jié)合LSTM-FCN，提出Mixup 數(shù)據(jù)增強(qiáng)的LSTM-FCN算法。該算法首先使用Mixup 方法增強(qiáng)原始時(shí)間序列數(shù)據(jù)，得到新的增強(qiáng)數(shù)據(jù)；然后使用增強(qiáng)后的數(shù)據(jù)訓(xùn)練LSTM-FCN，并進(jìn)行分類。

本文的主要貢獻(xiàn)包括2 個(gè)方面：1）提出了一種Mixup 數(shù)據(jù)增強(qiáng)的LSTM-FCN 的時(shí)間序列分類算法，將Mixup 數(shù)據(jù)增強(qiáng)方法應(yīng)用于時(shí)間序列數(shù)據(jù)；2）驗(yàn)證了Mixup 數(shù)據(jù)增強(qiáng)對(duì)時(shí)間序列分類的性能影響，在30 個(gè)UCR 數(shù)據(jù)集上的實(shí)驗(yàn)表明，Mixup 數(shù)據(jù)增強(qiáng)的LSTM-FCN 可以提高模型的分類準(zhǔn)確率。

1 LSTM-FCN 模型

圖1 給出了LSTM-FCN 模型的結(jié)構(gòu)。從圖1可以看出，該模型由2 個(gè)分支組成，分別為時(shí)序卷積分支和長短時(shí)記憶分支。其中，時(shí)序卷積分支采用了全卷積網(wǎng)絡(luò)模型，該部分包含3 個(gè)卷積塊，每一塊都由一個(gè)一維卷積層、塊歸一化和ReLU 激活函數(shù)組成，最后一層由全局平均池化取代全連接層以減少模型參數(shù)；長短時(shí)記憶分支使用了一層LSTM 網(wǎng)絡(luò)，同時(shí)加入Dropout 緩解模型的過擬合情況。最后拼接2 個(gè)分支的輸出，并使用Softmax 對(duì)得到的特征進(jìn)行分類。

圖1 LSTM-FCN 結(jié)構(gòu)

2 基于Mixup 數(shù)據(jù)增強(qiáng)的LSTMFCN 的時(shí)間序列分類

本節(jié)首先介紹提出的算法整體框架，然后詳細(xì)介紹Mixup 數(shù)據(jù)增強(qiáng)算法，最后給出算法的完整訓(xùn)練過程。

2.1 算法整體流程

本文提出的基于Mixup 數(shù)據(jù)增強(qiáng)的LSTMFCN 時(shí)間序列分類算法包含2 部分：Mixup 數(shù)據(jù)增強(qiáng)和LSTM-FCN 分類模型，圖2 給出了其整體流程圖。具體來說，Mixup 在訓(xùn)練階段首先對(duì)批量數(shù)據(jù)及其獨(dú)熱(one-hot)編碼形式的標(biāo)簽進(jìn)行混合，生成新的增強(qiáng)數(shù)據(jù)；然后將增強(qiáng)數(shù)據(jù)作為LSTM-FCN 的輸入，訓(xùn)練LSTM-FCN 并輸出分類結(jié)果。訓(xùn)練過程中使用混合標(biāo)簽計(jì)算交叉熵?fù)p失而不用原始標(biāo)簽?；旌现蟮臉?biāo)簽以概率的形式表達(dá)了樣本的類別，使得模型在預(yù)測結(jié)果時(shí)得到更平滑的估計(jì)。模型訓(xùn)練完成后，它已經(jīng)學(xué)習(xí)到了良好的區(qū)分邊界，在測試階段將不再需要Mixup部分。

圖2 模型框架

2.2 Mixup 數(shù)據(jù)增強(qiáng)

Mixup[18]是一種基于鄰域風(fēng)險(xiǎn)原則的數(shù)據(jù)增強(qiáng)方法，該算法利用線性插值的方式對(duì)2 個(gè)樣本和標(biāo)簽進(jìn)行混合，一定程度上擴(kuò)展了訓(xùn)練數(shù)據(jù)的分布空間，從而使模型的泛化能力得到提高。

Dmixup將作為一個(gè)迷你塊用來訓(xùn)練模型。

Mixup 方法的主要思想是將經(jīng)驗(yàn)狄拉克分布

Mixup 以經(jīng)驗(yàn)鄰域風(fēng)險(xiǎn)為原則優(yōu)化網(wǎng)絡(luò)模型參數(shù)，可以提高模型的不確定性估計(jì)能力，增強(qiáng)模型的泛化能力。

2.3 模型訓(xùn)練算法訓(xùn)練過程

模型訓(xùn)練算法給出了Mixup 數(shù)據(jù)增強(qiáng)的LSTM-FCN 的訓(xùn)練過程。具體來說，在訓(xùn)練過程中，每一步都會(huì)產(chǎn)生一個(gè)隨機(jī)數(shù)，并對(duì)該批次數(shù)據(jù)使用Mixup 計(jì)算得到增強(qiáng)后的樣本。經(jīng)過多次迭代后，間接上增加了數(shù)據(jù)的多樣性，豐富了數(shù)據(jù)分布。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在Windows10 環(huán)境下完成，CPU 為

Intel(R) Core(TM) i5-8300H CPU @ 2.30 GHz，GPU 為NVIDIA GeForce GTX 1050 Ti，代 碼使用Pytorch 編寫，使用分類準(zhǔn)確率(Accuracy)Raccuracy和平均排名(Average rank)Raverage[20]來評(píng)估模型的性能。

3.1 數(shù)據(jù)集

本文使用UCRArchive2018[21]中的30 個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析以驗(yàn)證本文算法的有效性。表1給出了這30 個(gè)數(shù)據(jù)集的基本信息，包括訓(xùn)練集和測試集樣本個(gè)數(shù)、類別和長度。圖3 給出了2 個(gè)數(shù)據(jù)集的示例樣本，不同線段表示不同的類別。

表1 數(shù)據(jù)集信息

圖3 數(shù)據(jù)集樣本示例

3.2 參數(shù)設(shè)置

實(shí)驗(yàn)中，LSTM-FCN 的時(shí)序卷積分支的3 個(gè)卷積層采取了He 初始化，3 個(gè)卷積核大小分別為7×1、5 ×1和 3 ×1，數(shù)量分別為128、256和128。LSTM的隱含狀態(tài)個(gè)數(shù)固定為8。優(yōu)化器使用Adam 算法，學(xué)習(xí)率設(shè)置為0.001。訓(xùn)練過程中采取學(xué)習(xí)率衰減策略，當(dāng)損失函數(shù)在30 個(gè)迭代次數(shù)內(nèi)沒有下降時(shí)，將學(xué)習(xí)率減小為原來的0.9 倍，直到學(xué)習(xí)率為0.000 1。迷你塊大小設(shè)置為16，每個(gè)數(shù)據(jù)集訓(xùn)練2 000 次。數(shù)據(jù)集的 α參數(shù)設(shè)置如表2。

表2 Mixup 參數(shù)設(shè)置

3.3 本文方法與LSTM-FCN 在時(shí)間序列分類上的性能比較

本文在UCR 的30 個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，表3 給出了本文方法與LSTM-FCN 模型3 次訓(xùn)練結(jié)果的平均分類準(zhǔn)確率，加粗?jǐn)?shù)值表示最優(yōu)結(jié)果。訓(xùn)練時(shí)間比表示本文方法訓(xùn)練模型花費(fèi)時(shí)間與訓(xùn)練LSTM-FCN 花費(fèi)時(shí)間的比值。

表3 本文方法和LSTM-FCN 結(jié)果

從 表3 可 以 看 出：1）使 用Mixup 增 強(qiáng)的LSTM-FCN 在26 個(gè)數(shù)據(jù)集上取得了不低于LSTM-FCN 的 平 均 分 類 準(zhǔn) 確 率。 其 中，在CinCECGTorso 數(shù) 據(jù) 集 上，Mixup 增 強(qiáng) 的LSTMFCN 取得了91.50% 的分類準(zhǔn)確率，與LSTMFCN 的結(jié)果相比，提高了4.79%，提升效果最為明顯。2）Mixup 方法在小數(shù)據(jù)集（數(shù)量小于200）上的提升效果比較明顯。例如，在ArrowHead、BeetleFly、Herring 以及Wine 等12 個(gè)數(shù)據(jù)集的準(zhǔn)確率提升在1% 以上。3）所有數(shù)據(jù)集的訓(xùn)練時(shí)間比都在1 左右。這說明使用Mixup 數(shù)據(jù)增強(qiáng)后訓(xùn)練模型所花費(fèi)的代價(jià)幾乎與LSTM-FCN 相同，但使用Mixup 后模型取得了更好的分類準(zhǔn)確率。

綜合以上分析，Mixup 增強(qiáng)方法可以應(yīng)用于時(shí)間序列數(shù)據(jù)中，并有效提高模型的分類性能，尤其適用于小樣本的時(shí)間序列數(shù)據(jù)，這是因?yàn)樾颖緮?shù)據(jù)分布一般較為稀疏，不能充分反應(yīng)真實(shí)數(shù)據(jù)的分布情況，但經(jīng)過Mixup 方法生成增強(qiáng)數(shù)據(jù)后，可以填充原始數(shù)據(jù)中空白的分布空間，使模型更好地估計(jì)區(qū)分邊界。

3.4 不同數(shù)據(jù)增強(qiáng)方法比較

為驗(yàn)證Mixup 的有效性，本節(jié)將其與wDBA[17]的3 種 方法(AA[17]、AS[17]和ASD[17]) 進(jìn) 行比較。本文分別使用這4 種數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)增強(qiáng)，然后使用增強(qiáng)的數(shù)據(jù)訓(xùn)練LSTM-FCN 并測試。表4 給出了不同方法的結(jié)果，圖4 展示了不同方法的可視化結(jié)果。

圖4 不同數(shù)據(jù)增強(qiáng)方法的效果比較

1）從圖4(d)可以看出，使用Mixup 后，多數(shù)數(shù)據(jù)集的準(zhǔn)確率得到提升，從圖4(a)、(b)、(c)中可以發(fā)現(xiàn)，AA、AS、ASD 方法雖然在一些數(shù)據(jù)集上提高了準(zhǔn)確率，但還有一部分?jǐn)?shù)據(jù)集準(zhǔn)確率出現(xiàn)下降的情況。這說明Mixup 是一種更加通用的數(shù)據(jù)增強(qiáng)方法。

2）從 表4 可 以 看出：使 用Mixup 增 強(qiáng)的LSTM-FCN 在26 個(gè)數(shù)據(jù)集上取得了不低于LSTM-FCN 的結(jié)果，而AA、AS 和ASD 方法分別在第9、10 和13 這3 個(gè)數(shù)據(jù)集上取得了不低于LSTM-FCN 的 結(jié) 果；同 時(shí)，Mixup 分 別 在 第20、21 和22 這3 個(gè)數(shù)據(jù)集上取得了優(yōu)于AA、AS 和ASD 方法的結(jié)果。 與其他3 種方法相比，Mixup 方法的平均準(zhǔn)確率分別提升了2.49%、1.86%和1.57%，而且Mixup 方法取得了最高的平均 準(zhǔn) 確 率90.28%； 另 外，Mixup 方 法 取 得了1.800 的最高平均排名，高于LSTM-FCN 的3.067，AA 的3.750，AS 的3.033 和ASD 的3.350。

表4 數(shù)據(jù)增強(qiáng)方法準(zhǔn)確率比較 %

綜合以上分析，不同的數(shù)據(jù)增強(qiáng)方法有助于提高模型的分類性能；此外，Mixup 方法取得了高于其他3 種數(shù)據(jù)增強(qiáng)方法的結(jié)果，這表明Mixup方法更適合于時(shí)間序列分類。

3.5 模型參數(shù)影響

本小節(jié)探索超參數(shù) α對(duì)準(zhǔn)確率的影響。選取10 個(gè)數(shù)據(jù)集，使用多個(gè) α值{0.1, 0.2, 0.4, 0.8, 1.0,2.0, 4.0, 8.0}訓(xùn)練模型，觀察其對(duì)分類性能的影響，結(jié)果如圖5 所示。從圖5 可以看出：

圖5 不同 α值對(duì)準(zhǔn)確率的影響

1）當(dāng) α增大時(shí)準(zhǔn)確率整體上呈現(xiàn)下降的趨勢(shì)。這是因?yàn)楫?dāng) α變大時(shí)，數(shù)據(jù)的混合程度變強(qiáng)，導(dǎo)致合成數(shù)據(jù)的類別信息表達(dá)模糊，模型不能從其中提取到有效特征進(jìn)行分類。

2）有5 個(gè)數(shù)據(jù)集在α=0.1 時(shí)取得了最優(yōu)結(jié)果，例如，Adiac、Lightning2、Wine 等；此外，對(duì)于某些數(shù)據(jù)集，例如Fish 和ECG200，不同 α值對(duì)其影響較小，準(zhǔn)確率沒有表現(xiàn)出明顯的變化；還有，在一些小數(shù)據(jù)集中可以看到較為明顯的效果提升，例如Wine(數(shù)量57)和ArrowHead(數(shù)量36)。

總體來說，不同數(shù)據(jù)集對(duì) α值的適應(yīng)情況不同，本文還未能探索出自適應(yīng)的方法確定 α的值，這是未來一個(gè)可能的研究方向。但是，大部分時(shí)序數(shù)據(jù)集在 α取0.1 時(shí)取得了最好的分類準(zhǔn)確率，因此，本文推薦設(shè)置 α=0.1 為默認(rèn)取值。

4 結(jié)論

本文使用數(shù)據(jù)增強(qiáng)方法改善分類效果，提出基于Mixup 和LSTM-FCN 的時(shí)間序列分類模型。首先使用Mixup 對(duì)原始數(shù)據(jù)進(jìn)行增強(qiáng)，然后使用增強(qiáng)后的數(shù)據(jù)訓(xùn)練LSTM-FCN 網(wǎng)絡(luò)，并進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明：

1）Mixup 可以應(yīng)用于時(shí)序數(shù)據(jù)，并有效提高LSTM-FCN 的分類準(zhǔn)確率；

2）與wDBA 方法相比，Mixup 具有明顯優(yōu)勢(shì)；

3）Mixup 的性能受參數(shù)的影響，不同的參數(shù)會(huì)得到不同的性能。

未來將依據(jù)時(shí)間序列的特征，對(duì)Mixup 方法進(jìn)行改進(jìn)，使其更好地應(yīng)用于時(shí)間序列數(shù)據(jù)，以進(jìn)一步提高模型的性能。