張 曄, 侯 毅, 歐陽克威, 周石琳

(國防科技大學電子科學學院, 湖南 長沙 410073)

0 引 言

在大數據時代的背景下,現實世界的諸多應用領域產生了大量的序列數據,例如,圖像輪廓數據、生物醫(yī)療數據、電氣設備監(jiān)控數據和人體動作識別數據等,這些序列數據需要得到妥善分析和管理[1-3]。常見的序列數據分析和管理任務包括分類[4-6]、預測[7-8]以及異常檢測[9-11]等。作為最基本的任務之一,分類任務將類別標簽分配給未標記的樣本[12]。

單變量序列數據作為最簡單的序列數據類型,其分類問題也是其他序列數據分類問題的研究基礎。此外,現實生活產生了大量的單變量序列數據,對有效的分類方法有著廣泛而迫切的需求。近些年來,Dau等[13]收集了來自諸多現實應用領域的128個單變量序列數據分類數據集,組成加州大學河濱分校(University of California River-side, UCR)序列數據歸檔,并持續(xù)更新。作為目前最全面的分類數據庫,UCR歸檔使得不同分類算法的整體對比和分析成為可能,極大地促進了序列數據分類領域的發(fā)展。

不同現實應用領域所產生的單變量序列數據存在很大差別,這些數據在分類時面臨的困難也不盡相同。例如,圖像輪廓數據容易受到形狀扭曲的影響,電氣設備監(jiān)控數據包含大量噪聲和重復模式,動作識別數據的不同動作片段之間關聯困難等。面向不同類型的數據,現有方法通常借助變換表示等手段從不同角度提取分類信息,針對性地克服不同分類任務所面臨的困難?？紤]到一種分類信息往往不夠充分,新近方法又融合了多種分類信息以提升分類精度和泛化性能。根據提取分類信息的不同,本文將現有分類方法分為基于形狀信息、基于頻率信息、基于上下文信息以及基于信息融合4種類別,進而展開綜述。

目前,單變量序列數據分類領域的發(fā)展處于傳統(tǒng)方法逐漸被深度學習所取代的關鍵時期。然而,目前僅有少數綜述工作關注到單變量序列數據分類任務[4-6]。本文全面梳理了近十年的典型單變量序列數據分類方法,與現有綜述工作相比,本文的主要貢獻可以概括如下:

(1) 本文是同時覆蓋傳統(tǒng)和深度學習方法的單變量序列數據分類綜述,并囊括了單變量序列數據分類領域的最新進展;

(2) 根據不同方法在分類信息上的區(qū)別,本文對現有的單變量序列數據分類方法進行了全面梳理和細致分類;

(3) 作為序列數據分類方法的有效補充,序列數據增強也在本文中得到了較為系統(tǒng)的回顧;

(4) 本文對典型分類方法進行了全面的實驗對比,并根據實驗結果做出了較為深刻的討論與總結。

1 單變量序列數據分類方法

由于本文僅對單變量序列數據分類方法開展綜述,因此在下文中將單變量序列數據簡稱為序列數據。此外,單變量序列數據分類也被稱為時間序列分類(time series classification, TSC),這里的“時間”通常代指序列數據的橫坐標,包括但不僅限于時刻點(例如光譜頻率、采樣序號等)。根據引言中的討論,本節(jié)將現有分類方法分為基于形狀信息、基于頻率信息、基于上下文信息以及基于信息融合4種類別,將在第1.1～1.4節(jié)分別展開介紹,分類方法的分支框架如圖1所示。其中，DTW代表動態(tài)時間規(guī)整(dynamic time warping, DTW)，KNN代表K近鄰(K-nearest neighbor, KNN),DFT代表離散傅里葉變換(discrete Fourier transform, DFT)，STFT代表短時傅里葉變換(short-time Fourier transform, STFT)，DWT代表離散小波變換(discrete wavelet transform, DWT)。

圖1 單變量序列數據分類方法框架圖Fig.1 Framework of univariate sequence data classification methods

1.1 基于形狀信息的TSC方法

序列數據是一組有序的觀測值,這些有序的觀測值構成一條曲線,從而直觀地展示了序列數據的形狀。不同類別的序列數據往往在形狀上也有所區(qū)別,因此諸多方法直接利用形狀信息進行分類,這類思路在TSC領域得到了最廣泛的研究。根據分類方法作用范圍的不同,現有工作可以分為基于整體形狀信息的分類方法和基于局部形狀信息的分類方法兩種類別,下面分別展開綜述。

1.1.1 基于整體形狀信息的分類方法

序列數據的整體形狀指有序幅值曲線的整體形狀結構。由于不同類別的序列數據在整體形狀結構上存在區(qū)別,基于整體形狀信息的分類方法通常通過計算待考察序列和模板序列之間的距離進行分類。根據采用距離度量的不同,該類方法又可以分為基于鎖步距離度量的分類方法和基于彈性距離度量的分類方法,如圖2所示。

圖2 鎖步距離與彈性距離度量示例圖Fig.2 Example diagrams of lockstep and elastic distance metrics

(1) 基于鎖步距離度量的分類方法

鎖步距離度量是最簡單的序列數據距離度量方法。該方法首先對待考察序列與模板序列做向量減法運算得到差值向量,然后計算該差值向量的Lp范數(通常采用L2范數[14]或L∞范數[15]),從而得到兩序列之間的距離。在計算距離的過程中,由于兩條序列需要在時刻點上一一對應,因此這類方法又被稱為“鎖步”的距離度量,如圖2(a)所示。“鎖步”的特點雖然帶來了計算速度的優(yōu)勢,但對序列數據在時間維度上的扭曲、平移和幅度上的噪聲、縮放非常敏感。

(2) 基于彈性距離度量的分類方法

為了適應序列數據在形狀上的扭曲和縮放,自20世紀90年代以來,基于彈性距離的度量方法得到了廣泛的研究。該類方法在計算距離時不再要求兩序列在時刻點上一一對應,而是可以彈性地適應序列數據的變化,因此克服了基于鎖步距離度量分類方法的缺陷。常用的彈性距離度量可以分為編輯距離度量和DTW距離度量兩類。

1) 基于編輯距離度量的分類方法

該類方法將字符串匹配的思想引入TSC,通過定義類似字符串匹配的操作進行相似性度量。主要的度量方法包括:最長公共子序列(longest common subsequence, LCSS)距離度量[16-17]、基于實序列的編輯距離(edit distance on real sequences, EDR)[18]度量、基于實懲罰的編輯距離(edit distance with real penalty, ERP)度量[19]以及基于移動-分割-融合(move-split-merge, MSM)的編輯距離度量[20],這些方法具有很強的漸進關系。

LCSS度量原本用于解決模式匹配中經典的LCSS問題,在序列分類問題中,該方法通過設置距離閾值θ判斷待考察序列中的點是否與模板序列中的點相匹配,被判定匹配的點無需在位置上一一對應,從而 “彈性”地搜索兩條序列中的LCSS用于衡量兩序列的相似度。LCSS度量量化了待考察序列與模板序列的共性,但未將兩者之間的差異計入度量。

EDR度量改進了LCSS的這一缺陷,該方法參考了字符串匹配中編輯距離的思想,在設定匹配條件后,統(tǒng)計待考察序列通過替換、插入和刪除3種操作完全匹配于模板序列所需的最少操作次數,從而得到序列間的距離。EDR度量同時考慮了兩序列之間的共性和差異,但受到編輯距離的限制,無法量化點與點之間的距離,因此比較粗糙。

ERP度量對EDR度量進行了改進,該方法不再統(tǒng)計轉化操作次數,而是直接計算點對之間的歐氏距離,當點對不匹配時,在待匹配點對應位置插入零值以示懲罰,最終累加轉換后的兩序列所有對應點之間的距離得到序列間的距離。ERP度量更加細致地量化了序列之間的距離,但零值懲罰的做法引入了較大的偏差。

MSM度量是目前最先進的編輯距離度量,該方法針對點對不匹配的情況進一步細化了懲罰方式,在待匹配點及其一近鄰點中選取與模板點更近的點插入相應位置,然后計算轉換后的兩序列之間的距離。事實上,這種做法與下文所述的DTW度量已經非常接近。

2) 基于DTW距離度量的分類方法

編輯距離度量雖然允許匹配點在時間軸上進行動態(tài)調整,但模板序列中的未匹配點只能與待考察序列中插入操作所生成的新點相匹配,其本質依然是一對一的點匹配模式。DTW距離度量與編輯距離度量最大的不同在于,DTW距離度量允許一點對多點的匹配模式,更加符合序列數據的特點。

DTW算法最早用于語音識別中單詞的對齊和匹配。文獻[21]最早將DTW引入TSC,用于度量不同序列之間的距離。當前基于DTW距離度量的分類方法可以分為兩類,第一類方法關注對DTW度量本身的研究與改進,并通常將DTW度量與簡單的KNN分類器進行組合;第二類方法關注如何借助DTW度量提取高維分類特征,從而方便與更為先進的分類器結合。

① DTW度量+KNN

在很長時間內,DTW距離度量與KNN的組合所取得的分類效果很難被超越[22]。由于其出色的距離度量性能,近些年來DTW距離度量已成為TSC領域的研究熱點。然而,DTW度量存在對長時間序列效果不佳、計算復雜度較高等缺陷。針對這些缺陷,現有方法提出了較多改進方案,下面分別對其展開介紹。

長序列數據可能導致匹配點對在時間軸上發(fā)生嚴重偏移,進而導致病態(tài)的匹配。當前工作主要通過設置約束窗口或設置約束權重兩種思路解決這一問題,典型工作包括加窗DTW(window constrained DTW, WCDTW)[23]和加權DTW(weighted DTW,WDTW)[24]。

WCDTW借助約束窗口限制DTW的匹配路徑,進而緩解上述問題。該方法分別嘗試了一種線性約束窗口和一種非線性窗口,并借助基于訓練集的交叉驗證(cross validation, CV)技術確定窗口所需參數。圖3展示了兩種窗口的示意圖,其中C和Q分別代表兩條待匹配的序列數據。實驗結果表明,在面向長序列數據時,WCDTW的分類效果明顯優(yōu)于DTW。

圖3 DTW度量的兩種約束窗示意圖Fig.3 Diagrams of two constrained windows for DTW metrics

WDTW認為WCDTW借助約束窗口截斷匹配路徑的做法拒絕了個例情況,因此提出了一種更加平滑的匹配路徑約束思路。

(1)

式中:a為時間距離；wmax為超參數，通常設為1；m為序列總長度；g為控制扭曲的懲罰等級。

該方法通過式(1)為時間距離較遠的匹配點對設置小權值,為時間距離較近的匹配設置大權值,從而阻止匹配點對在時間上距離過遠。WDTW是最先進的DTW改進方法之一。

較高的計算復雜度(O(n2))是DTW度量在大型TSC數據集上應用的主要障礙,因此大量的研究工作致力于提升DTW的計算效率。目前,降低DTW計算量的工作可以分為兩類,分別為設置下界距離和壓縮匹配模板數量。典型的工作包括構造Keogh下界函數(lower bounding function of Keogh, LB-Keogh)距離[25]及構建DTW平均質心(DTW barycenter averaging, DBA)[26]。

構造下界距離的主要思想是,下界距離不超過DTW距離,且計算代價更小,因此若待匹配序列與模板序列的下界距離大于閾值,便可以跳過復雜的DTW距離計算。以基于LB-Keogh距離的分類方法為例,該方法首先分段計算模板序列的上下界,然后計算待匹配序列與模板序列上下邊界的距離便得到下界距離。LB-Keogh距離的計算復雜度為O(n),大大降低了原始DTW的計算復雜度。

壓縮匹配模板數量的主要思想是,分別找到每一類別的序列數據平均質心作為“原型序列”,在測試時,待匹配序列只需與這些“原型序列”進行比對,從而大大降低算法的計算復雜度。以DBA為例,該方法應用著名的動態(tài)質心平均技術[27]尋找每個類的質心,這一技術將K均值聚類算法中的歐氏距離替換為DTW距離,從而增強算法對形狀動態(tài)扭曲的適應能力。此外,DBA也在類內求取多個質心以適應類內差異。

② DTW度量特征+現代分類器

長期以來,DTW度量與最簡單的KNN分類器的組合一直很難被擊敗[22]。隨著對DTW度量的改進逐漸遇到瓶頸,一個自然的思路是,利用DTW度量提取特征,并使用更先進的分類器替換KNN分類器。利用DTW度量提取特征的常規(guī)做法是,計算待考察序列與全體訓練集序列數據的DTW距離,并將這些距離作為待考察序列的特征。這種特征提取方法雖然反映了樣本在整個系統(tǒng)中的模式信息,但也存在提取特征速度慢、信息冗余等缺陷。圍繞這些問題,典型的改進工作包括基于高斯動態(tài)扭曲核支持向量機(potential support vector machine with Gaussian dynamic time warping kernel, GDTW-P-SVM)的分類方法[28]、基于增強SVM的DTW快速下界距離特征與SVM(DTW’s fast lower bound function feature classification using enhanced SVM, LBF-SVM)的分類方法[29]及基于AdaBoost原型選擇(prototype selection with AdaBoost, PS-AdaBoost)的分類方法[30]。

GDTW-P-SVM最早嘗試將DTW特征與更先進的分類器相結合,該方法使用DTW度量替代高斯核SVM核函數中的歐氏距離度量,然后訓練多個二分類SVM分類器將多分類問題轉化為多個二分類問題,最后通過投票融合各SVM分類器的預測結果。GDTW-P-SVM雖然保留了DTW度量適應形狀扭曲的優(yōu)勢和SVM的出色分類性能,但該方法受限于DTW的計算復雜度而展現出高時間成本。

LBF-SVM降低了特征提取的計算復雜度,該方法采用前文提到的LB_Keogh快速下界距離替代GDTW-P-SVM使用的DTW距離構建分類特征。這種做法雖然導致分類準確率略有下降,但卻極大地加速了訓練和測試過程。

PS-AdaBoost引入了Adaboost分類器[31]進行分類,該方法在DTW特征的每一維均建立帶權值的弱分類器,并通過訓練優(yōu)化每個分類器的權值,從而實現對分類器和各特征維度的篩選。通過去除信息冗余,PS-AdaBoost的分類效果和計算速度得到了提升。

3) 集成多種彈性距離度量的分類方法

近些年來,TSC領域涌現出了數目眾多的彈性距離度量方法,這些方法各具優(yōu)勢,適用于不同的分類場景。然而,沒有任何一種方法在分類精度和通用性兩方面同時展現出明顯優(yōu)勢[32]。因此,一些工作考慮集成多種彈性距離度量從而提升分類性能和泛化能力。典型工作包括基于多種彈性距離度量集成(ensembles of elastic distance measures, EE)[33]的分類方法,以及基于Proximity Forest的分類方法[34]。

EE借助KNN分類器對包括LCSS、MSM、DTW、WDTW等在內的11種常用的彈性距離度量開展了廣泛的實驗對比,發(fā)現這些距離度量在分類精度上并沒有顯著差異,且各自適用于不同的分類問題,因此對這11種方法進行決策層的加權融合。雖然EE利用了諸多距離度量的互補性,但也帶來了極大的計算量。

Proximity Forest在分類樹的每個節(jié)點構建R種分支策略,每種分支策略包含從EE中隨機選取的一種彈性距離度量以及從各類別中隨機選取的序列數據原型,然后尋找每個節(jié)點對應的最佳分支策略從而遞歸地生成分類樹以及分類森林。Proximity Forest明顯提升了EE的分類性能,加快了EE的運算速度,是目前性能最好的TSC方法之一。

1.1.2 基于局部形狀信息的分類方法

序列數據的局部形狀指有序幅值曲線的局部形狀結構,即曲線中“片段”的形狀結構?，F實生活產生的許多序列數據雖然在整體形狀上非常類似,但決定其類別歸屬的局部形狀卻大相徑庭,比如心電圖的異常抖動、電氣設備的故障監(jiān)控數據等[13]。這些關鍵的局部信息在噪聲的干擾下,很難被以DTW度量為代表的基于整體形狀信息的分類方法所捕捉。因此,自2010年以來,基于局部形狀信息的分類方法逐漸成為TSC領域的研究熱點。本文將其分為基于Shapelets的分類方法、基于區(qū)間特征的分類方法和基于卷積神經網絡(convolutional neural network, CNN)的分類方法3個類別,并分別展開介紹。

(1) 基于Shapelets的分類方法

Shapelets是序列中能夠高度區(qū)分兩種類別的子序列?；赟hapelets的序列分類方法利用一個或多個關鍵Shapelets與序列數據的距離(即Shapelet與等長子序列的最小距離)構建特征進行分類,從而將距離度量的思想擴展到了局部序列[35]。使用葉片分類的例子簡單說明Shapelets,圖4給出了兩種樹木的葉片,其整體形狀極其類似,主要區(qū)別在于葉頸與葉體的角度。將兩種葉片的輪廓轉換為序列數據表示后,這種局部的差別很難被彈性度量等利用整體形狀進行分類的方法所感知。而Shapelets卻可以利用其捕捉局部模式和相位不變性的特點發(fā)現并可視化這種區(qū)別。

圖4 Shapelets示例圖Fig.4 Example diagrams of Shapelets

Shapelets最早由文獻[36]提出,該方法遍歷訓練集尋找所有滿足預設長度要求的子序列作為候選Shapelets,然后初始化一顆決策樹,在決策樹的每個節(jié)點計算每條候選Shapelet與全部序列樣本的最小距離,并借助閾值dth將序列樣本分為兩類,最后使用信息增益為每個節(jié)點尋找最佳的Shapelet和閾值dth組合,從而完成分類決策樹的構建。該方法的分類效果接近DTW-1NN,但計算復雜度高達O(n2m4)(n為訓練集中序列的數量,m為序列長度),不具備實用性。

原始的Shapelets分類方法具備局部形狀感知、平移不變性及解釋性較強等優(yōu)點,但同時也存在計算復雜度高、分類特征與分類器難以解耦等缺陷。由于Shapelets分類方法的優(yōu)勢及存在的問題,自提出以來迅速成為序列分類領域的研究熱點。后續(xù)的研究主要集中在加快Shapelets的搜索速度、利用Shapelets提取特征及自主學習Shapelets 3個方向,這3個方向存在明顯的漸進關系,下面依次展開綜述。

1) 加快Shapelets的搜索速度

Shapelets的龐大候選集使該方法難以在現實應用中部署,如何快速有效地搜索Shapelets成為急需解決的問題。主流方法引入符號聚合近似(symbolic aggregate approximation, SAX)[37]技術將序列數據轉換為單詞表示,并從SAX單詞表示中尋找Shapelets,從而極大地加快了搜索速度,這些工作包括快速Shapelets(fast Shapelets, FS)[38]及基于關鍵點的FS搜索(FS discovery with key points, FS-KP)[39]等方法。

FS利用SAX技術將原始序列轉換為低維度、幅值離散的SAX單詞表示,然后分類別建立單詞匹配表,從而為每個類別尋找最具區(qū)分能力的k個SAX單詞,最后將這些SAX單詞映射回原數據空間成為候補Shapelets,進而構建決策樹完成分類。該方法在保持分類精度的基礎上可以將計算復雜度降至O(nm2)。

FS-KP使用關鍵點篩選技術進一步加快了FS的搜索速度,該方法認為Shapelets中包含序列的一些關鍵點(如拐點、局部最小、最大點),并使用這些關鍵點對子序列進行初步篩選,然后再利用FS從篩選出的子序列中尋找候補Shapelets。FS-KP在保持分類精度的同時將FS的運算速度提高了4倍。

2) Shapelets特征+現代分類器

決策樹雖然是成熟的分類器,但其分類性能已經在許多領域被一些更加先進的分類器(如SVM、隨機森林等)所超越。然而,經典的Shapelets使用方式顯然阻礙了這些先進分類器的部署。一個自然的思路是,利用Shapelets與原始序列之間的距離構造分類特征,并使用性能更好的分類器對這些特征進行分類。典型的工作包括基于Shapelets變換(Shapelet transform, ST)[40]特征的分類方法及基于FS選擇ST(FS selection for ST, FSS-ST)的分類方法[41]。

ST最早使用Shapelets提取分類特征,該方法首先借助假設檢驗技術[42]尋找區(qū)分性最強的k個Shapelets,然后使用篩選出的Shapelets從每條序列數據中提取距離特征,最后使用SVM等分類器對Shapelets特征進行分類。ST明顯提升了原始Shapelets方法的分類效果,并對后續(xù)基于Shapelets的分類方法帶來啟發(fā)。

FSS-ST提出了一種雙層次的Shapelets快速篩選方法,該方法首先從每個類別中提取多個原型序列,然后借助關鍵點數量對原型序列進行篩選,最終從篩選出的原型序列中提取Shapelets,從而完成分類。與ST相比,FSS-ST明顯提升了運算速度,并略微提升了分類精度。

3) 自主學習Shapelets

自主學習Shapelets本質上仍然是一種Shapelets搜索技術,與常規(guī)搜索技術不同的是,其使用深度網絡自動學習Shapelets,而無需手工設計復雜的搜索流程。此外,具有最佳判別能力的Shapelets可能不會出現在訓練數據中,自主學習Shapelets實現了對這種可能性的探索?；谏鲜鲈?自主學習Shapelets成為了TSC領域的研究熱點之一。典型的工作包括學習時間序列的Shapelets (learning time-series Shapelets, LTS)[43]、三重Shapelets網絡(triple Shapelet network, TSN)[44]及學習可解釋的Shapelets (learning interpretable Shapelets, LIS)[45]。

LTS最早提出了自主學習Shapelets的思路,該方法首先初始化R×K個Shapelets(R代表Shapelets的尺度數量,K代表每個尺度下候補Shapelets的數量),然后使用初始化的Shapelets提取分類特征,最后將這些特征輸入單層感知機分類器,通過反向傳播實現對Shapelets的學習更新。值得一提的是,該方法解決了提取Shapelets特征的不可微問題,最終取得了優(yōu)于ST的分類效果。

TSNs認為LTS學習到的Shapelets偏向樣本數量更多的“大類”,此外,學習到的Shapelets不能很好地適應樣本的個性差異。針對這些問題,該方法在LTS的基礎上額外增加了兩個學習層次,首先通過建立多個二分類邏輯回歸分類器強制各類別的Shapelets數量相等,維持類間均衡,然后利用單層神經網絡構建Shapelets生成器學習樣本的個性差異,最終構建和融合“整體特定”“類別特定”及“樣本特定”3種層次的Shapelets特征進行分類。TSNs是目前最先進的Shapelets分類方法之一。

LIS認為學習到的Shapelets不再與數據集中真實的序列片段相似,從而喪失了可解釋性的優(yōu)勢。該方法因此引入生成對抗技術,約束學習到的Shapelets更加接近真實子序列,最終在保證分類準確性的同時,增加了方法的可解釋性。

(2) 基于區(qū)間特征的分類方法

基于區(qū)間特征的方法將原始序列數據分為若干個區(qū)間,并從這些區(qū)間中提取手工特征,進而完成分類。典型方法包括基于序列數據森林(time series forest, TSF)[46]的分類方法、基于序列數據特征袋(time series bag of features, TSBF)[47]的分類方法及基于SAX向量空間模型(SAX-vector space model, SAX-VSM)的分類方法[48]。

TSF提出了一種基于序列區(qū)間特征和隨機森林分類器的分類方法,在隨機樹的每個節(jié)點,TSF從每條序列數據中隨機選取多種尺度的子序列,將這些子序列的均值、標準差和斜率作為特征,然后尋找每個子序列特征屬性的最佳分離點并構建隨機樹,最終融合全部隨機樹的決策進行分類。TSF降低了原始序列數據的特征維度,提供了多尺度的特征表示,然而該方法設計的子序列特征仍然比較粗糙。

TSBF拓展了TSF,該方法首先從每條序列數據中隨機選取一定數量的子序列,提取子序列的區(qū)間特征用于構建子序列特征數據集,然后建立兩個隨機森林分類器,第一個分類器對子序列特征的分類過程建立基于類概率估計的密碼本特征,第二個分類器對密碼本特征進行分類,得到最終分類結果。TSBF的缺陷在于,該方法構造的分類特征不具備平移不變性。

SAX-VSM提出了一種直方圖特征表示方法克服上述難題,該方法首先使用SAX技術將序列數據轉換為單詞表示,然后統(tǒng)計各類別特有單詞的頻數,得到各類別的直方圖表示原型,最后通過計算待考察序列單詞表示與各類別原型單詞表示之間的相似度完成分類。SAX-VSM構造的直方圖表示具備良好的平移不變性,此外與TSBF相比,方法的分類速度得到了提升。

(3) 基于CNN的分類方法

近些年來,CNN在許多應用領域均取得了巨大的成功。在TSC領域,基于CNN的分類方法已經成為研究熱點之一。與Shapelets提取形狀特征的方式相似,CNN使用滑動卷積核捕捉形狀特征,因此可以被歸類為基于局部形狀信息的分類方法。典型的基于CNN的工作包括多尺度CNN (multi-scale CNN, MCNN)[49]、面向TSC的深度神經網絡基線[50]以及基于Inception網絡的集成分類器InceptionTime[51]。

MCNN被認為是最早將CNN引入TSC領域的工作,該方法通過尺度變換和頻率變換等數據增強手段將單變量序列數據拓展為多變量序列數據,然后借助多支路CNN分別從每個變量中提取分類特征,從而完成分類。MCNN設計了一種有效的序列數據增強方法,但該網絡的結構存在冗余。

文獻[50]提出了一種基于深度網絡的TSC基線方法,該方法包含多層感知器(multilayer perceptron, MLP)、全卷積網絡(fully convolutional network, FCN)和殘差網絡(residual network, ResNet)在內的3種經典網絡結構。其中,FCN是一個僅包含3個卷積層的全卷積結構的神經網絡,ResNet借助殘差連接將FCN加深至9層[52]。FCN和ResNet被廣泛認為是基準的TSC網絡,這兩種網絡去除池化操作避免時間信息丟失,使用全卷積結構減輕過擬合等網絡結構設計思想為后續(xù)TSC網絡提供了參考。

InceptionTime設計了一個6層ResNet,每一層均引入Inception模塊(一種包含多種尺度卷積核的并行結構網絡模塊)[53]用于增強網絡的多尺度特征提取能力,然后將網絡重復訓練5次,并融合5個模型的分類決策,從而緩解對淺層網絡進行參數隨機初始化時帶來的不穩(wěn)定性[54]。InceptionTime借助多尺度特征提取和決策融合提升了分類性能,在基于CNN的分類方法中取得了更好的分類效果。

1.2 基于頻率信息的TSC方法

頻率是序列數據單位時間內完成周期性變化的次數,序列數據的頻率信息描述了整體或局部形狀變化的快慢程度。復雜的序列數據被轉換為不同振幅和頻率的諧振蕩(如正弦波)組合,這種表示方式被稱為頻譜。頻譜變換可以對整個序列數據進行,例如DFT,目的是分析整體序列的頻率信息,也可以對序列的局部區(qū)域進行,例如STFT及DWT,目的是分析局部序列的頻率信息。頻率信息揭示了序列數據隱藏在形狀信息中的關鍵分類特征,在TSC中起著極其重要的作用。

1.2.1 基于整體序列頻率信息的分類方法

整體序列的頻率信息描述了序列整體形狀變化的快慢程度,這些信息從頻率構成的角度揭示了隱藏的分類特征,是序列整體形狀信息的有效補充。最為常見的頻譜轉換技術為DFT,基于頻率信息的分類方法往往將DFT的變換系數作為特征,或從變換系數中進一步提取分類特征。然而,DFT損失了時間信息和局部信息,近些年來不再是TSC領域的研究重點。

文獻[55]提出了一種基于傅里葉近似符號(symbolic Fourier approximation, SFA)特征的分類方法, 該方法提取序列數據的前M個頻譜系數,并對每個頻點的取值范圍進行區(qū)間劃分,然后為每個區(qū)間設置字母代號從而建立多系數箱(multiple coefficient binning, MCB),最后使用MCB映射表將序列數據轉換為字符串特征,如圖5所示,從而借助前綴樹分類器對這些字符串特征進行分類。SFA有效降低了噪聲和相移的影響,在基于整體頻率信息的分類方法中取得了最佳的分類結果。

圖5 DFT參數與字符串特征映射關系示例圖Fig.5 Example diagram of mapping relationship between DFT parameters and symbolic features

1.2.2 基于局部序列頻率信息的分類方法

局部序列的頻率信息描述局部序列形狀變化的快慢程度,這些局部的形狀變化有時決定了序列數據的類別。例如,心臟病病人的心電圖異常往往出現在諸多周期中的一個,強烈外界刺激使得人類腦電波在短時間內產生劇烈變化等。這些短促而關鍵的信號變化在噪聲的掩蓋下往往難以在整體序列的頻率信息中展現,卻可以被局部序列的頻譜所揭示。常用的局部序列頻譜轉換技術為STFT及DWT,下面分別展開介紹。

(1) 基于STFT特征的分類方法

STFT是由DFT拓展的一種數學變換,用于計算非平穩(wěn)序列數據的局部區(qū)域頻率成分。在本節(jié)中,非平穩(wěn)序列數據指頻率隨時間變化的序列數據?，F實生活產生的序列數據往往是非平穩(wěn)的,DFT在處理非平穩(wěn)信號時存在兩個主要缺陷:首先,DFT只能獲取序列數據的總體頻率成分,但對各成分出現的時刻并無所知;第二,DFT不善捕捉序列數據局部區(qū)域的頻率信息。為克服這兩個缺陷,STFT假定序列數據在固定窗函數的時間范圍內是近似平穩(wěn)的,因此計算各滑動窗口的功率譜(power spectrum, PS),從而保留了時間信息和局部信息。STFT在TSC領域得到了廣泛的探索和應用,典型方法包括基于SFA字符袋(bag of SFA symbol, BOSS)的分類方法[56]、基于向量空間BOSS(BOSS in vector space, BOSS-VS)的分類方法[57]及基于TSC字符特征(word extraction for TSC, WEASEL)的分類方法[58]。

BOSS使用STFT替換了SFA采用的DFT,該方法計算序列數據的STFT系數,通過MCB映射表將STFT系數映射為字符串表示,進而統(tǒng)計字符串頻數得到序列數據的字符串直方圖表示,如圖6所示,然后構建直方圖表示距離度量并使用KNN分類器進行分類,最后融合多種尺度的STFT的分類結果完成分類。BOSS的分類效果明顯優(yōu)于SFA,但也存在計算復雜度較高的缺陷。

圖6 字符串直方圖示意圖Fig.6 Example diagram of symbolic histogram

BOSS-VS降低了BOSS的計算復雜度,在BOSS的基礎上,該方法引入文檔頻率技術[59]從每個類別中篩選出最具辨別力的字符串,然后將這些字符串轉換為直方圖表示作為類別原型,最后計算待考察序列與各類別原型之間的相似度完成分類。與BOSS相比,BOSS-VS的分類精度略有下降,但明顯提升了分類速度。

WEASEL從特征篩選的角度對前述工作做出改進,該方法首先篩選具備辨別力的STFT系數,并將這些系數映射為字符串,然后統(tǒng)計字符串及相鄰字符串組合的頻數從而將序列數據轉換為直方圖特征,最后連接多種尺度的直方圖特征,在去除特征冗余后,使用SVM分類器進行分類。在基于STFT特征的分類方法中,WEASEL取得了最好的分類效果。

(2) 基于DWT特征的分類方法

由于STFT采用固定尺寸滑動窗,該技術不能兼顧復雜非平穩(wěn)序列數據對頻率與時間分辨率的需求。DWT因此被引入TSC領域,繼承和發(fā)展了STFT局部化的思想,同時又改進了固定尺寸滑動窗不能靈活適應序列局部變化的缺陷。通過對尺度函數和小波函數的伸縮平移,DWT可以根據時頻分析要求聚焦到序列數據的任意細節(jié),是進行序列數據時頻分析和處理的理想工具?；贒WT的TSC方法可以分為兩種思路,分別是構造DWT系數距離度量以及從DWT系數中提取特征,下面分別對這兩種思路展開介紹。

1) 基于DWT系數構造距離度量的分類方法

考慮到DWT出色的去噪性能,使用平滑的低頻DWT系數代替原始序列數據構造距離度量是一種簡單而直接的思路。典型的工作是基于DWT特征度量(DWT feature measure, DWT-FM)[60]的分類方法。

DWT-FM對使用DWT系數構造距離度量的思路進行了詳盡的探索和分析,該方法使用Haar、Daubechies-20、Symlets-20和Coiflets-5等7種經典的小波對序列數據進行單次分解,然后分別將每一種小波的低頻變換參數與FastDTW分類器[61]相結合進行分類。該方法在UCR數據集上開展的實驗驗證結果表明,大多數DWT低頻參數的分類效果優(yōu)于原始數據,但不同小波基的變換參數在不同數據集上的分類效果存在很大差異,最終建議為特定的TSC問題設計特定的小波。

2) 基于DWT系數提取特征的分類方法

① 基于DWT壓縮編碼技術的特征提取和分類方法

由于DWT在數據壓縮領域取得的巨大成功[62],一些工作將DWT壓縮編碼技術引入TSC領域,通過對DWT系數進行壓縮編碼,大大降低了分類特征的維度,去除了冗余信息。

文獻[63]分3個層次對DWT系數進行了壓縮,該方法首先通過香濃熵對Haar小波的多尺度變換系數進行初篩,然后使用壓縮編碼技術對初篩的DWT變換系數進行降維得到分類特征,最后設置閾值,拋棄分類特征中被判定為噪聲的部分。該方法在股票價格序列數據集上進行了實驗,分類性能要優(yōu)于 DFT 系數度量。

盡管基于Haar小波基所構造的特征取得了不錯的分類效果,但其不平滑的小波基帶來的階梯效應限制了特征提取效率。為克服這一缺陷,文獻[64]引入了壓縮性能更加優(yōu)越的Daubechies-12、Symlets 20等正交或雙正交的小波基,然后利用DWT壓縮技術提取分類特征,并使用決策樹進行分類。該方法在湖泊歷史水位、股票收盤價格等分類數據集上對比了不同的小波基。實驗結果表明,大多數小波基的分類性能優(yōu)于Haar小波。

② 基于DWT與CNN的分類方法

雖然神經網絡可以自動獲取分類知識,避免復雜的手工特征設計,但以CNN為代表的神經網絡很容易受到噪聲的干擾[65]。因此,將DWT與CNN相結合的思路在近些年得到了探索,并成為TSC領域的研究熱點之一。典型的工作包括基于小波的FCN(wavelet based FCN, Wavelet-FCN)[66]和多級小波分解網絡(multilevel wavelet decomposition network, mWDN)[67]。

WaveletFCN融合了多種分辨率的DWT系數深度特征,該方法首先使用Haar小波對原始序列數據進行多分辨率分解,然后使用多支路FCN分別從原始序列數據及不同分辨率的DWT系數中提取特征,最后融合各支路的深度特征得到最終的分類結果。該方法在UCR數據集上開展了實驗驗證,最終取得了優(yōu)于FCN的分類結果。

mWDN將小波分解過程嵌入網絡，如圖7所示,從而自動學習適用于當前分類任務的小波基,該方法使用Daubechies 4小波基初始化待學習小波基,然后對輸入數據進行3層DWT分解,并連接每一層的高、低頻參數輸入對應的分類網絡中進行分類,最后對各分類器進行決策融合得到最終分類結果。mWDN借助CNN自動學習適用于當前任務的小波基,為DWT與CNN的結合提供了一種新思路,最終在40個UCR數據集上取得了略優(yōu)于WaveletFCN的分類精度。

圖7 mWDN框架示意圖Fig.7 Framework diagram of mWDN

1.3 基于上下文關聯信息的TSC方法

在TSC領域,上下文信息通常被理解為某些關鍵時間片段之間對于分類任務具有重要意義的相互關聯信息。上下文信息不能從序列數據的單一時間片段中直接提取,而是通過該片段與其他片段的關聯關系中獲得。例如,在行為識別領域中,不同動作的特定組合決定了行為類別;在機器翻譯領域中,單詞在不同的語境下具備不同的含義。根據上下文特征提取方式的不同,基于上下文信息的分類方法可以分為基于自相關特征的分類方法和基于上下文關聯模型特征的分類方法兩類,前者通過設置特定運算(例如,向量乘法、距離度量)建立上下文之間的聯系,而后者通過構建復雜的線性或非線性模型自主學習上下文關系。

1.3.1 基于自相關特征的分類方法

基于自相關特征的分類方法通過設置特定運算構建序列數據中不同時間片段之間的關聯關系,并借助這種關聯關系進行分類。根據關聯作用范圍的不同,基于自相關特征的分類方法可以分為基于整體序列自相關特征的分類方法和基于局部序列自相關特征的分類方法兩類,前者通過自相關函數(auto correlation function, ACF)構建不同滯后時間下序列數據之間的相關關系,因此是從序列的整體出發(fā)所建立的自相關關系;后者構建不同滯后時間下序列數據的點或片段之間的相關關系,是從局部出發(fā)所建立的相關關系,下面分別對這兩類方法展開介紹。

(1) 基于整體序列自相關特征的分類方法

基于整體序列自相關特征的分類方法通常使用序列數據的自相關系數作為特征進行分類,自相關系數通過序列數據的ACF變換獲取,用于衡量序列數據在不同滯后時間下觀測值之間的相關程度。在TSC領域中,將自相關系數作為分類特征的思路在平穩(wěn)序列數據或非平穩(wěn)序列數據的分類問題中(本節(jié)中非平穩(wěn)序列數據指均值和方差隨時間變換的序列數據)均已得到了探索。

文獻[68]最早嘗試使用自相關系數對人工生成的平穩(wěn)序列數據進行分類,該方法借助多種自回歸(auto regressive, AR)模型生成不同類別的序列數據,然后計算這些序列數據的ACF、DFT變換系數以及AR模型參數,得到原始序列的3種不同的變換表示,最后使用歐氏距離、DTW等相似度度量分別對原始序列數據及其3種變換表示進行分類。實驗結果表明,自相關系數的分類效果僅次于AR模型系數。

由于現實世界產生的序列數據大多數是非平穩(wěn)的,文獻[69]進一步探索了自相關系數區(qū)分平穩(wěn)和非平穩(wěn)序列數據的能力。該方法使用AR滑動平均(AR moving average, ARMA)模型生成大量平穩(wěn)序列數據,使用整合移動平均AR(AR integrated moving average, ARIMA)模型生成大量非平穩(wěn)序列數據,從而構建包含平穩(wěn)及非平穩(wěn)兩類序列數據的分類數據集,然后計算生成數據的ACF、偏ACF(partial ACF, PACF)和PS等變換系數,最后借助距離度量對這些變換系數及原始序列數據進行分類。實驗結果表明,自相關系數區(qū)分平穩(wěn)與非平穩(wěn)序列數據的效果優(yōu)于其他表示,且分類精度隨序列數據長度的增加而增加。

文獻[70]將自相關系數作為分類特征引入包含大量現實世界數據的UCR數據集,該方法首先使用ACF、PS及PCA對原始序列數據進行轉換,然后結合歐氏距離與1NN分類器分別對3種變換系數及原始序列進行分類。實驗結果表明,ACF系數對應的分類結果優(yōu)于另外兩種變換表示,但略差于原始序列數據。

(2) 基于局部序列自相關特征的分類方法

基于局部序列自相關特征的分類方法通過滑窗的方式,以特定運算關聯不同滯后時間下序列數據的點或片段,從而將ACF構建的整體自相關關系推廣到了局部。根據關聯范圍的不同,這類方法又可以分為基于點對點自相關特征的分類方法和基于段對段自相關特征的分類方法,下面分別對這兩類方法展開介紹。

1) 基于點對點自相關特征的分類方法

基于點對點自相關特征的分類方法通過構建序列數據中不同時刻點之間的關聯關系獲取上下文信息。一種有效的構建任意兩時刻點之間關系的思路是將序列編碼為圖像,這種思路在最近一些工作中得到了探索。典型的轉換圖方法包括格蘭姆角場(Gramian angular fields, GAF)[71-72]及馬爾可夫轉換場(Markov transition fields, MTF)[73]。GAF首先將序列數據轉換為二維反余弦角度場,然后分別通過余弦和正弦函數將角度場映射為格拉姆和角場(Gramian summation angular fields, GASF)與格拉姆差角場(Gramian difference angular fields, GADF);MTF統(tǒng)計序列中兩點之間的轉換概率,從而將序列數據映射至概率場,然后通過分位數箱對概率場進行轉換。GAF反映了序列數據的幅度信息,而MTF反映了序列數據的趨勢變化信息,兩者存在很強的互補性。圖8依次給出了原始序列及其GASF、GADF及MTF轉換圖(在分類前轉換圖像通常會被調整為較小的尺寸)。

圖8 原始序列數據及其GASF、GADF、MTF轉換圖Fig.8 Raw sequence data and its GASF, GADF and MTF transformed images

利用GASF及MTF的互補性,文獻將序列數據轉換為雙通道圖像,然后借助平鋪CNN(tiled CNN, Tiled CNN)[74]從轉換圖中提取紋理特征進行分類。該方法在10個UCR數據集上取得了明顯優(yōu)于DTW+1NN的分類效果。

考慮到基于余弦函數構建時刻點關系的GASF圖像損失了相位信息,文獻[72]進一步引入GADF,將序列數據轉換為三通道圖像,然后使用Tiled CNNs對轉換圖像進行分類。該方法在20個UCR數據集上開展了實驗驗證,與文獻[71]相比,分類精度得到了提升。

雖然GAF及MTF從序列幅度及變換趨勢兩個角度生成轉換圖像的方式為后續(xù)工作帶來啟示,但由于多通道圖像導致的沉重計算量,以及其較差的分類效果,近些年來這兩種轉換圖方法不再是TSC領域的研究熱點。

2) 基于段對段自相關特征的分類方法

基于段對段自相關特征的分類方法通過構建序列數據中不同時間片段之間的關聯關系獲取上下文信息。這類方法同樣將序列數據轉換為圖像,其中最常用的轉換方式是遞歸圖(recurrence plot, RP),一種分析復雜動態(tài)系統(tǒng)中序列數據周期性、混沌性和非平穩(wěn)性的可視化工具[75]。該方法首先將序列數據映射到多維相空間中,每個相空間狀態(tài)對應著一個子序列,然后計算相空間中每一個狀態(tài)與其他狀態(tài)之間的歐氏距離,從而得到轉換圖中每個像素點的值。圖9給出了兩條原始序列數據及其RP轉換圖。

圖9 原始序列數據及其RP轉換圖Fig.9 Raw sequence data and its RP transformed images

目前提出的方法包括基于遞歸模式壓縮距離(recurrence patterns compression distance, RPCD)的分類方法[76]、基于遞歸模式袋模型(bag of recurrence patterns model, BoR)的分類方法[77]、基于CNN的RP(RP classification using deep CNN, RP-CNN)的分類方法[78]以及基于Inception結構網絡的多尺度符號RP(multi-scale signed RP classification using inception architectural networks, MS-RP-Inception)的分類方法[79]。

RPCD最早將RP引入TSC任務,該方法將序列數據轉換為RP圖像,然后使用Campa-Keogh距離[80]構建RP圖像之間的距離度量,最后使用1NN分類器進行分類。由于RP轉換圖具備更豐富的紋理信息,該方法在38個UCR數據集的分類性能優(yōu)于DTW+1NN分類器。

BoR引入了先進的圖像特征提取技術,該方法從每幅RP圖中提取K個不同尺寸的圖像塊,并使用SIFT技術從每個圖像塊中提取紋理特征,然后將提取到的K個特征向量聚類為M簇,并使用局部約束線性編碼技術[81]將這M簇特征向量映射為直方圖特征,最后使用線性SVM對直方圖特征進行分類。該方法在45個UCR數據集上取得了明顯優(yōu)于RPCD的分類效果。此外,還可以引入圖像分類領域更加先進的特征提取和分類技術進一步提升分類效果。

RP-CNN采納了BoR的建議,并使用CNN對RP轉換圖進行分類,該方法構建了包含兩層卷積層、兩層全連接層及池化層的簡單神經網絡用于RP圖像的分類,并在20個UCR數據集上開展小規(guī)模的實驗驗證,取得了優(yōu)于BoR的分類效果。

MS-RP-Inception從兩方面改進了RP-CNN。首先,由于RP對序列數據尺度變化適應能力不足,且存在嚴重的趨勢混淆問題,因此該方法提出了多尺度有符號RP(multi-scale signed RP, MS-RP)進行改進。其次,由于CNN的多尺度特征提取能力較差,該方法將Inception模塊[53]引入FCN,加強了網絡提取多尺度特征的能力。MS-RP-Inception在85個UCR數據集上取得了基于RP轉換圖的方法中最佳的分類效果。

1.3.2 基于上下文關聯模型特征的分類方法

基于上下文關聯模型特征的分類方法通過復雜的線性模型(例如,AR模型、ARMA模型及ARIMA模型)或非線性模型(例如遞歸神經網絡)自動學習上下文關系,下面分別對這兩類模型在TSC領域的相關研究工作展開介紹。

(1) 基于線性模型的上下文關聯建模

使用線性模型進行上下文關聯建模的方法,面向平穩(wěn)序列數據、噪聲污染的平穩(wěn)序列數據及非平穩(wěn)序列數據3種不同類型的數據,分別采用AR模型[68]、ARMA模型[82]及ARIMA模型[83]進行建模,然后求取這些線性模型的參數作為TSC特征。文獻[84]給出了計算模型系數的經典步驟如下。

步驟1計算序列數據對應的ACF參數r;

步驟2使用Durbin-Levinson遞歸估計ACF參數r對應的PACF參數λ;

步驟3利用Akaike信息準則、Bayesian信息準則和Rissanen最小描述長度準則確定合適的模型階數;

步驟4使用Yule-Walker方程、ACF參數r、PACF參數λ及模型階數估計模型參數。

前文已經提到,將AR模型參數作為分類特征能夠有效區(qū)分不同類別的平穩(wěn)序列數據,分類效果優(yōu)于ACF、PS等變換特征及原始序列數據。

現實世界產生的平穩(wěn)序列數據往往受到噪聲的污染,例如,橋梁結構振蕩響應信號反映了橋梁的健康程度,但外部環(huán)境中的振動干擾了對橋梁的監(jiān)測。文獻[85]使用ARMA模型對這類數據進行建模,該方法計算序列數據對應的ARMA模型參數,然后借助χ2檢驗技術評估待考察數據對應的模型參數與每一條訓練數據對應的模型參數之間的相似度進行分類。實驗結果表明,該方法能夠有效區(qū)分處于健康狀態(tài)和各種非健康狀態(tài)的橋梁結構振蕩響應信號。

文獻[82]在包含大量現實世界數據的UCR數據集上驗證了ARMA模型的分類性能。該方法首先計算序列數據的ACF系數、PACF系數及ARMA模型參數3種不同的變換表示,然后構建集成分類器分別對上述3種變換表示及原始序列數據進行分類。實驗結果表明,ARMA模型參數在4種表示中取得了最差的分類結果,作者認為這是由于ARMA模型不適合對非平穩(wěn)序列數據進行建模所導致。

為了應對非平穩(wěn)信號的建模問題,ARIMA模型應運而生,該模型可以通過多次差分操作將非平穩(wěn)序列數據近似轉換為平穩(wěn)信號。文獻[83]使用ARIMA模型對序列數據進行建模,該方法首先計算序列數據的逆ARIMA模型參數,并尋找訓練集中各類別的中心,然后計算待考察樣本與各類別中心之間的歐氏距離,最后用1NN分類器進行分類。該方法在工業(yè)生產指數和竇性心律心電圖兩個小型數據集上取得了成功,由于現實生活產生的序列數據大多是非平穩(wěn)的,對于TSC任務,ARIMA模型展現出了線性模型中最好的泛化能力。

(2) 基于非線性模型的上下文關聯建模

相對于線性模型,非線性模型具備更好的泛化性能,使用這類模型構建上下文關聯關系時無需考慮序列數據的類型(如平穩(wěn)信號或非平穩(wěn)信號)?；诜蔷€性模型的典型工作包括基于學習模式相似度(learned pattern similarity, LPS)的方法[86]、經典循環(huán)神經網絡(recurrent neural network, RNN)[87]、長短時記憶(long short-term memory, LSTM)網絡[88]及時間扭曲不變的回聲狀態(tài)網絡(time warping invariant echo state network, TWIESN)[89]。

LPS借助回歸森林建模序列片段之間的關聯關系,該方法使用滑動窗口將全部序列數據分為子片段,按列連接這些子片段,然后訓練隨機回歸森林構建片段之間的關聯,最后統(tǒng)計每條序列數據落入隨機森林的各葉子結點的元素數量作為新的表示,并基于歐氏距離度量和1NN分類器進行分類。LPS使用回歸森林構建適用于全體序列樣本的局部非線性關系,但這種方法構建的非線性關系仍然比較粗糙,因此分類性能不佳。

近些年來,RNN因其構建上下文關聯關系的優(yōu)勢而被引入TSC,RNN通過單個神經元之間的遞歸連接提取序列數據時間關聯特征[90],序列數據按時間順序輸入網絡,網絡遞歸運作,最終輸出類別標簽。經典的RNN因遞歸模式導致的梯度消失問題而不適用于長序列數據的分類。

LSTM(見圖10)對經典的RNN進行了改進,該網絡通過引入遺忘門、輸入門和輸出門3種門結構緩解了經典RNN的梯度消失問題,從而更好地對長序列數據進行建模。

圖10 RNN及LSTM結構示意圖Fig.10 Structure diagram of RNN and LSTM

TWIESN提出了回聲狀態(tài)網絡(echo state network, ESN)[91],該網絡的核心是一個稀疏連接的隨機RNN,稱為庫空間,序列數據的每個時刻點均可在庫空間中映射至更高維度,然后訓練一個脊分類器判定序列數據在每一時刻點的類別,最終利用所有時刻點的類別預測分布得到序列數據的最終類別。TWSEIN保留了序列數據內部關聯,并能夠在一定程度上適應序列數據的扭曲變形,但該方法對長序列數據的分類效果不佳。

1.4 基于信息融合的TSC方法

對于大多數TSC任務,即使選擇最優(yōu)的序列數據變換表示,單一的變換表示仍然難以提供足夠的分類信息[82]。由于不同的變換表示從不同角度反映了序列數據的特點,融合多種變換表示的分類信息便成為最直接的分類效果提升手段。此外,考慮到各種變換表示均具備明確的物理意義,基于信息融合的分類方法通常具備較強的可解釋性。典型工作包括基于多變換表示集成(transformation-based ensembles, TE)的分類方法[70]、基于多變換表示決策融合(collective of transformation-based ensembles, COTE)的分類方法[82]、基于轉換集成分層投票集合(hierarchical vote collective of transformation-based ensembles, HIVE-COTE)的分類方法[92]以及基于異構和集成嵌入森林(time series combination of heterogeneous and integrated embedding forest, TS-CHIEF)的分類方法[93]。

TE將序列數據中蘊含的分類信息分為時間關聯信息、形狀信息及頻率信息,該方法引入ACF、PCA及PS,3種不同的變換表示分別對應上述3種分類信息,然后使用線性SVM、貝葉斯網絡等分類器分別對3種變換表示進行分類,最后融合3種變換表示的分類決策得到最終分類結果。雖然TE通過融合多種變換表示的分類信息而明顯提升了分類效果,但這3種變換表示并未在物理意義上與3種分類信息準確對應。

COTE引入了Shapelets特征、PS以及ACF 3種變換表示,從而更好地呼應了TE中的3種分類信息，如圖11所示。該方法首先使用上述3種變換技術對序列數據進行轉換,然后構建3種變換表示-集成分類器(包含KNN、線性SVM等8種經典分類器)組件,這3種組件與EE[33]分類器組件共同構成COTE集成分類器,最后通過對COTE包含的35種變換表示-分類器對進行加權融合得到最終的分類結果。COTE在72個UCR數據集上取得了當時最先進的分類效果,但該方法也存在成員分類器的異構性差、分類決策更偏向整體信息等缺陷。

圖11 COTE集成分類器組成結構圖Fig.11 Graphical illustration of COTE ensemble classifier

HIVE-COTE通過引入異構分類器改善了COTE存在的缺陷,該方法集成了5種異構組件,如圖12所示,分別是基于整體形狀特征的EE集成分類器、基于局部形狀特征的Shapelets集成分類器(包含8種異構分類器)、基于多尺度形狀特征的TSF分類器、基于多尺度頻率特征的BOSS[56]分類器以及基于多尺度自相關特征的隨機間隔譜集成(random interval spectral ensemble, RICE)分類器。然后,HIVE-COTE分別對上述5種異構集成分類器組件以及各集成分類器內的異構成員分類器進行加權,形成分層加權決策融合的分類框架進而完成分類。HIVE-COTE取得了優(yōu)于COTE的分類效果,但該方法的分類決策過于偏向形狀信息,且因復雜的結構導致極高的計算成本。

TS-CHIEF去除了TSF和Shapelets組件,解決了HIVE-COTE偏向形狀分類信息的問題,并采用與Proxi-mity Forest[34]類似的融合方式以降低計算量。在分類樹的每個節(jié)點,該方法隨機選取一個類別原型,并借助EE、BOSS、RICE分別生成ce、cb和cr個分支策略,然后尋找每個節(jié)點的最佳分支策略,最后遞歸地生成分類樹以及分類森林。實驗結果表明,與HIVE-COTE相比,TS-CHIEF在分類效果和計算速度兩方面均得到了提升,該方法是目前最佳的傳統(tǒng)分類方法。

圖12 HIVE-COTE集成分類器組成結構圖Fig.12 Graphical illustration of HIVE-COTE ensemble classifier

2 單變量序列數據增強方法

對于真實世界的諸多應用領域,序列數據不僅難以獲取(例如,智能化運維產生的故障序列數據),而且因專家知識的高昂成本導致標注困難(例如,醫(yī)學序列數據的標注)。數據的匱乏嚴重阻礙了TSC領域的發(fā)展。為了緩解這一問題,數據增強人為地生成新的數據,從而成為分類方法成功應用的關鍵因素[94]。因此,在TSC方法之外,本文也較為系統(tǒng)地回顧了不同的序列數據增強方法,并將這些方法分為基于形狀變換、基于頻域變換、基于多樣本混合和基于深度學習的4種類別,分別展開介紹。

2.1 基于形狀變換的序列數據增強方法

基于形狀變換的序列數據增強方法直接對原始序列數據進行變換,通過改變序列數據的形狀生成新的樣本。這類方法是最直接的序列數據增強方法,典型工作包括窗口裁剪[95]、時間扭曲[95]、幅度縮放[96]以及增加噪聲[96]，如圖13所示。

圖13 基于形狀變換的序列數據增強方法示例圖Fig.13 Example diagrams of sequence data augmentation methods based on shape transformation

基于窗口裁剪的數據增強方法通過滑動窗口從原始序列數據中隨機抽取多個子樣本,然后在測試階段對每個切片進行分類,最后借助多數投票機制得到最終的分類結果。對于該方法,滑動窗口尺寸是重要的超參數。

基于時間扭曲的數據增強方法在原始序列中選擇一個隨機的時間范圍,并使用預定義的扭曲函數對其進行拉伸和收縮,而保持其他時間范圍不變。對于該方法,扭曲函數的選擇十分重要。

基于幅度縮放的數據增強方法通過隨機標量值對序列數據的振幅進行縮放,這些隨機標量值可以通過不同的統(tǒng)計分布生成。

通過將少量噪聲注入序列數據而不改變其標簽,是常用的數據增強方法。常見的噪聲包括高斯噪聲、尖峰等,而噪聲的均值、方差是重要的超參數。

基于形狀變換的序列數據增強方法具備簡單、直觀的優(yōu)勢。然而,這類方法對經驗主義的超參數設置比較敏感,方法在通用性方面也存在不足[96]。

2.2 基于頻域變換的序列數據增強方法

基于頻域變換的序列數據增強方法首先將原始序列數據映射至頻域,然后對頻域特征進行變換從而得到新的樣本。目前,對于這類方法的相關研究仍然較少,典型工作包括基于頻譜振幅和相位擾動的數據增強(amplitude and phase perturbations based data augmentation, APP)方法[97]和基于STFT的數據增強(STFT based data augmentation, STFT-Augment)方法[98]。

APP首先對原始序列數據進行DFT,然后隨機地將振幅和相位譜特征中的一些片段替換為高斯噪聲,最后再進行頻譜反變換得到新的樣本。該方法幫助分類算法在異常檢測數據集上取得了更好的分類效果。

STFT-Augment首先借助STFT對序列數據進行變換,然后在頻譜特征上應用局部平均和隨機時序調整兩種數據增強方法增加頻譜多樣性,最后進行頻譜反變換得到新的樣本。與APP相比,STFT-Augment保留了一定的時間信息。

基于頻域變換的序列數據增強方法通常更加適用于周期信號(例如,心電圖和聲學信號)[99]。然而,該方法在面對其他種類的信號時泛化能力不強,可解釋性較差。

2.3 基于多樣本混合的序列數據增強方法

基于混合的序列數據增強方法通過混合多個相似的樣本產生新的數據。不同方法主要在樣本選取方法和融合方式上有所區(qū)別。典型工作包括少數類別過采樣樣本合成技術(synthetic minority over-sampling technique, SMOTE)[100]以及基于DTW曲重心平均的數據增強(DTW barycenter averaging data augmentation, DBA-Augment)[101]。

SMOTE是最經典的樣本混合方法之一,該方法首先在少量樣本對應的類別中隨機選擇一個錨樣本,并在錨樣本的KNN中隨機選擇一個鄰居樣本,然后計算兩個樣本之間的向量差,最后使用隨機權重對向量差進行加權,加權后的向量差與錨樣本相加從而生成新樣本。

DBA-Augment將序列數據的時間扭曲因素考慮進來,從而改進了SMOTE。該方法在隨機選擇錨樣本后,使用DTW距離代替歐氏距離計算錨樣本的KNN,并進一步利用DTW距離為全部KNN樣本進行加權,最后使用DBA技術計算全部樣本的質心,從而得到新的樣本。

基于多樣本混合的序列數據增強方法通過混合多個相似的樣本使得訓練數據的分布更加豐富,幫助分類算法取得了更好的效果。然而,這類方法在面對具有多個“簇”的類別時表現不佳[99]。此外,方法的解釋性較差,計算代價較高。

2.4 基于深度學習的序列數據增強方法

基于深度學習的序列數據增強方法通常采用生成式對抗網絡(generative adversarial network, GAN)直接生成與訓練樣本接近的新樣本。用于數據增強的GAN由生成器和判別器組成,生成器以隨機噪聲作為輸入,輸出生成擴充樣本,判別器則判斷樣本是否屬于真實數據。典型工作包括循環(huán)條件GAN(recurrent conditional GAN, RCGAN)[102],雙向LSTM-CNN GAN(bidirectional LSTM-CNN based GAN, BiLSTM-CNN GAN)[103]以及時間序列GAN(time series GAN, TimeGAN)[104]。

由于RNN在構建時間關聯方面的優(yōu)勢,RCGAN使用RNN作為生成器,在每個時刻點均生成一段新的序列數據,然后將這些序列數據送入判別器進行判別,最后借助各時刻的決策投票產生最終的判別結果。此外,該方法還引入條件輸入生成特定類別的樣本,從而緩解了類別不均衡問題。

BiLSTM-CNN GAN對RCGAN進行了改進,該方法使用特征提取能力更強的CNN替換了基于投票機制的判別器,并將雙向LSTM生成器生成的新樣本直接送入CNN中進行判別,從而在不影響準確度的基礎上加快了判別速度。

TimeGAN是一個適用于多種應用領域的序列數據生成框架。該框架借助有監(jiān)督的損失函數指導模型學習每個時刻點的數據條件分布,并引入嵌入網絡降低對抗學習空間的維度,最終在股票、能源等諸多序列分類數據集上輔助分類模型取得了更好的效果。

基于深度學習的序列數據增強方法具備泛化能力強、無需繁瑣的手工設計等優(yōu)勢。然而,這類方法的解釋性不強,計算量較大,也很難保證生成樣本對應標簽的準確性,因此仍需得到進一步的研究。

2.5 序列數據增強面臨的困難

目前,盡管序列數據增強方法得到了越來越多的關注,但仍然面臨一些困難。首先,現有數據增強方法在泛化性能方面存在明顯缺陷[99,105],不同應用任務往往需要設計特定的數據增強方法;其次,現有數據增強方法在解釋性方面存在不足,很難判斷數據增強是否會導致數據標簽發(fā)生改變[94];最后,由于不同的數據增強方法可能適配于不同的應用場景或分類模型,目前依然缺乏針對序列數據增強的統(tǒng)一評價標準[94,106]。這些困難限制了數據增強成為分類過程中的默認環(huán)節(jié)。

在序列數據增強以外,遷移學習也常用于緩解數據匱乏問題。然而,不同應用領域產生的序列數據存在很大差異,這為尋找合適的“遷移域”帶來困難,最終導致遷移學習的效果不佳[107-108]。因此,本文不再對遷移學習的相關方法展開介紹。

3 實驗結果與分析

為了系統(tǒng)地對比和分析數量龐大的TSC方法,本節(jié)從前文所述的分類方法中選擇性能出色或具備重要意義的方法,通過對比其在公開數據集上的分類表現,梳理單變量TSC領域的發(fā)展現狀和未來趨勢。由于當前的序列數據增強方法存在泛化能力差、缺乏統(tǒng)一的評價標準等缺陷,數據增強未成為分類過程中的默認一環(huán)。因此,本文沒有開展相關實驗對不同的序列數據增強方法進行對比。

第3.1節(jié)首先介紹了本文采用的分類數據集和評價指標;第3.2～3.5節(jié)對基于形狀信息、基于頻率信息、基于上下文信息和基于信息融合4種分類方法分別進行了對比和分析;第3.6節(jié)對典型的TSC方法進行了整體對比和分析;為了分析現有方法在不同應用領域的表現,第3.7節(jié)分別在不同類型的數據集上進一步對TSC方法進行了對比和分析。

3.1 數據集、評價指標和模型參數介紹

3.1.1 UCR序列數據歸檔

UCR序列數據歸檔[13]是研究與分析單變量TSC問題的專用數據庫,也是目前最全面的數據庫。其包含了128個公開、已標注的單變量序列數據集,每個數據集由預先劃分的訓練集和測試集組成。UCR歸檔中的序列數據從現實世界中的諸多應用領域采集而來,典型的數據類型包括圖像輪廓數據、設備監(jiān)控數據、動作識別數據、生物醫(yī)療數據以及其他傳感器數據等,圖14中給出了部分數據示例。近年來,TSC社區(qū)的諸多學者為UCR歸檔貢獻了大量數據集,圍繞UCR歸檔展開的研究也十分廣泛。這些研究的主要目的是開發(fā)通用的或適用于特定數據類型的TSC方法。

圖14 幾種常見的序列數據類型示例圖Fig.14 Example diagrams of several sequence data types

按照領域慣例,本文從UCR歸檔中選擇85個最常用的數據集[6]用于對比不同的分類方法。在下文中,若無特殊說明,參與對比的分類方法均在這85個數據集上進行評估。

3.1.2 評價指標和模型參數

在TSC領域中,面向單一數據集的常用評價指標包括分類精度、F1分數和加權F1分數等[4]。面向多個數據集的常用評價指標包括平均分類精度、平均類錯誤率(mean per-class error, MPCE)和算術平均排名等[50]。其中,MPCE在平均錯誤率的基礎上進一步考慮了各數據集的類別數量差異;算術平均排名是當前算法在各數據集上精度的平均排名。本文采用UCR歸檔作為基準數據集,因此使用平均分類精度和平均算術排名兩種面向多數據集的評價指標對不同的分類模型進行評估和對比。

為了直觀展示不同分類方法的整體分類表現,按照TSC領域的通常做法,首先采用弗里德曼檢驗拒絕原假設[109],然后利用附帶Holm校正的Wilcoxon符號秩檢驗衡量不同方法分類結果之間差異的顯著性[110],最后使用關鍵區(qū)別圖[111]直觀顯示對比結果,關鍵區(qū)別圖可以同時展示算法的平均分類精度和平均算術排名兩個指標,如圖15所示。

在本節(jié)中參與對比的分類模型在不同UCR數據集上的分類精度從對應文獻、UCR歸檔官方網站[13]獲取,或根據公開代碼復現而來。對于復現的傳統(tǒng)方法,超參數將嚴格按照方法原文進行設置。對于復現的深度學習方法,本文統(tǒng)一使用交叉熵損失函數和Adam優(yōu)化器[112]對網絡進行訓練,其余網絡參數嚴格按照方法原文進行設置。

圖15 基于形狀信息的分類方法的關鍵區(qū)別圖Fig.15 Ciritical difference diagrams of shape information based classification methods

3.2 基于形狀信息的分類方法對比與分析

本節(jié)對典型的基于形狀信息的分類方法進行對比和分析,選取的對比方法列舉如下。

(1) 本節(jié)忽略了分類效果較差的基于鎖步距離度量的方法;

(2) 在基于彈性距離的方法中,本節(jié)選擇LCSS、MSM、WCDTW、WDTW、GDTW-P-SVM、EE以及Proximity Fo-rest;

(3) 在基于Shapelets的方法中,本節(jié)選擇FS、ST、LTS以及TSN;

(4) 在基于區(qū)間特征的方法中,本節(jié)選擇SAX-VSM和TSBF;

(5) 在基于深度學習的方法中,本節(jié)選擇FCN、ResNet、InceptionTime-1(單一Inception網絡)以及InceptionTime-5(多個Inception網絡集成)。

整體分類效果如圖15所示,圖中最上方的刻度軸表示方法的分類效果排名,加粗橫線表示對于alpha=0.05的Wilcoxon符號秩檢驗,同一條橫線內的方法在整體分類精度上沒有顯著區(qū)別(后文同)。在基于形狀信息的分類方法中,基于局部形狀信息的方法優(yōu)于基于整體形狀信息的方法;基于特征提取的方法優(yōu)于基于各種距離度量;集成方法優(yōu)于單一方法;值得注意的是,基于深度學習的分類方法展現出了最先進的分類性能。對于基于彈性距離度量的分類方法,首先,DTW度量(WCDTW, WDTW)取得了對編輯距離度量(LCSS, MSM)的微弱優(yōu)勢,這是由于在計算待匹配點對之間的距離時,DTW度量采用的歐氏距離相對于編輯距離更加精確,而且一對多的點匹配模式相對于一對一的點匹配模式更具泛化性;其次,不同的距離度量展現出的互補性同樣值得關注,這種互補性是集成類方法(EE, Proximity Forest)的主要動機;最后,彈性距離度量特征與先進分類器的組合(GDTW-P-SVM)也取得了可觀的分類效果。不同的距離度量在點匹配模式和動態(tài)路徑規(guī)劃上區(qū)別較大,因此如何根據分類任務選擇合適的度量模式,以及如何更高效地提取“彈性”分類特征仍然值得探索。

對于基于Shapelets的分類方法,早期的Shapelets方法(FS)已被基于Shapelets特征的方法(ST, LS, TSN)所超越。其中,自主學習Shapelets(LS, TSN)借助神經網絡強大的特征提取能力取得了出色的分類效果,并成為最近的研究熱點。在未來,基于Shapelets的分類方法仍然需要考慮如何更高效地與深度學習相結合,然而,考慮到這類方法與CNN的相似性,尋找新的增長點十分困難。

對于基于區(qū)間特征的分類方法,基于重復模式直方圖特征的方法(SAX-VSM)在分類效果上明顯弱于基于手工區(qū)間特征的方法(TSBF),這是由于,受到噪聲和個體差異的影響,原始數據表示很難直接用于發(fā)掘重復模式特征。因此,如何設計更有效的手工特征仍然值得探索。

對于基于深度學習的方法,這類方法取得了在基于形狀信息的方法中最先進的分類效果?？紤]到當前僅有少數的經典網絡結構(FCN, ResNet, Inception)得到了驗證,基于深度學習的方法仍具備較大的研究潛力。潛在的研究方向在于,更廣泛的經典網絡結構應該得到驗證,以及如何借助傳統(tǒng)方法的思想指導網絡結構的設計。

3.3 基于頻率信息的分類方法對比與分析

本節(jié)對基于頻率信息的分類方法進行對比和分析,選取的對比方法列舉如下。

(1) 在基于整體序列頻率信息的方法中,本節(jié)選擇SFA;

(2) 在基于STFT特征的方法中,本節(jié)選擇BOSS和WEASEL;

(3) 在基于DWT特征的方法中,本節(jié)選擇Wavelet-FCN和mWDN-FCN-RCF。

上述方法的對比實驗在40個UCR數據集上開展,與文獻保持一致,實驗結果如圖16所示。

圖16 基于頻率信息的分類方法的關鍵區(qū)別圖Fig.16 Critical difference diagram of classification methods based on frequency information

從分類結果中可以發(fā)現,首先,基于整體序列頻率信息的方法(SFA)取得了最差的分類效果;其次,與基于形狀信息的SAX-VSM等方法相比,BOSS與WEASEL同樣建立了基于重復模式的直方圖特征,卻取得了更好的分類效果,這說明頻域表示更適合提取重復模式特征;最后,DWT與CNN的結合(mWDN, WaveletFCN)取得了最先進的分類效果,這驗證了DWT表示的優(yōu)越性,以及DWT與CNN的互補性。考慮到不同應用領域所產生的序列數據具備個性化特征,如何借助神經網絡學習適合當前分類任務的小波基將是未來的研究方向之一。

3.4 基于上下文信息的分類方法對比與分析

本節(jié)對基于上下文信息的分類方法進行對比和分析,選取的對比方法列舉如下。

(1) 在基于序列自相關系數的分類方法中,本節(jié)選擇了基于ACF距離度量的分類方法;

(2) 在基于局部序列自相關特征的分類方法中,本節(jié)忽略了效果較差的基于點對點自相關特征的方法,選擇RPCD、BoR、RP-CNN、MS-RP-FCN以及MS-RP-Inception等基于段對段自相關特征的方法;

(3) 在基于上下文關聯模型特征的分類方法中,本節(jié)忽略了效果較差的基于線性模型特征的方法,選擇LPS和TWIESN等基于非線性模型特征的分類方法。上述方法的對比實驗在39個UCR數據集上開展,與文獻[76]保持一致,實驗結果如圖17所示。

圖17 基于上下文信息的分類方法的關鍵區(qū)別圖Fig.17 Critical difference diagram of classification methods based on context information

從圖17的實驗結果中可以發(fā)現,首先,基于整體序列自相關特征的分類方法弱于基于局部序列自相關特征的分類方法;其次,基于非線性模型特征的方法取得了較差的分類效果,這是由于以RNN為代表的非線性模型難以對長序列數據進行建模;最后,基于段對段自相關特征的方法展現出了最好的分類效果,在這類方法中,相對于基于RP的手工特征,CNN從RP中提取的深度特征取得了更好的分類效果,這是由于CNN所提取的紋理特征更為有效?？紤]到轉換圖帶來的龐大計算量,如何通過網絡結構的設計將轉換圖構建的上下文關系“網絡化”,形成“端對端”的網絡結構,仍然值得探索。

3.5 基于信息融合的分類方法性能對比與分析

在基于信息融合的分類方法中,本節(jié)選擇COTE、HIVE-COTE和TS-CHIEF,忽略性能較差的HCF-TSC以及TE。

從圖18的分類結果中可以發(fā)現,異構分類信息層面的融合方法(HIVE-COTE)優(yōu)于分類器層面的融合方法(COTE),這驗證了形狀信息、頻率信息以及上下文信息對于TSC任務的互補性;此外,不同于上述兩種方法,TS-CHIEF從特征層面融合分類信息,以相對較小的計算代價取得了更好的分類效果,展示了特征融合思路的研究潛力。未來的研究趨勢是,需要繼續(xù)提升各組件分類器的性能,并探索特征層面的融合技術,從而更好地去除信息冗余,降低計算量。

圖18 基于信息融合的分類方法的關鍵區(qū)別圖Fig.18 Critical difference diagram of classification methods based on information fusion

3.6 TSC方法的整體對比與分析

第3.2～3.5節(jié)已經對基于形狀信息、基于頻率信息、基于上下文信息以及基于信息融合的4類分類方法分別開展了對比和分析。本節(jié)將進一步從上述4類方法中篩選更具性能優(yōu)勢的方法進行對比和分析,從而整體地展示和分析TSC領域的發(fā)展現狀。

(1) 由于基于形狀信息的分類方法得到了最為廣泛的研究,在這類方法中,本節(jié)選擇TSN、Proximity Forest和TSBF 3種傳統(tǒng)方法,以及InceptionTime-5、ResNet和FCN 3種深度學習方法;

(2) 在基于頻率信息的分類方法中,本節(jié)選擇WaveletsFCN和WEASEL;

(3) 在基于上下文信息的分類方法中,本節(jié)選擇MS-RP-Inception、MS-RP-FCN以及LPS;

(4) 在基于信息融合的分類方法中,本節(jié)選擇HIVE-COTE以及TS-CHIEF。

從圖19的實驗結果中可以發(fā)現,對于傳統(tǒng)方法,基于單一分類信息的方法(TSN, Proximity Forest, TSBF, WEASEL, LPS)在分類精度上難以與信息融合的方法(HIVE-COTE, TS-CHIEF)競爭。然而,即使深度網絡僅從單一表示中提取分類信息,這些工作依然展現出了很強的競爭力。

圖19 不同TSC方法的關鍵區(qū)別圖Fig.19 Critical difference diagram of different TSC methods

如果說基于信息融合的方法從“寬度”上拓展了分類信息,神經網絡則提升了分類信息的“深度”。對過去取得成功的傳統(tǒng)方法稍作總結,可以發(fā)現這些方法往往具備平移不變性、局部信息發(fā)掘能力以及高效的手工特征等共性優(yōu)點,這些優(yōu)勢對TSC任務的重要意義已經得到了廣泛驗證[6]。幸運的是,以CNN為代表的深度學習方法幾乎全部具備了上述優(yōu)點,并在分類特征的提取能力上更勝一籌,這些因素是深度學習在TSC領域取得成功的主要原因?？紤]到基于信息融合的方法以及深度學習在TSC領域取得的成功,一種思路是利用深度網絡從序列數據的多種變換表示中提取和融合分類信息。然而,哪些變換表示更適合與深度網絡相結合,如何將這些變換“網絡化”從而形成“端對端”的網絡結構,這些問題仍需探索。

3.7 TSC方法在不同應用領域的性能對比與分析

為了分析現有分類方法在不同現實應用領域的表現,本節(jié)從85個UCR數據集中提取出4種主要類別,分別是圖像輪廓類數據集、傳感器類數據集、電氣設備類數據集以及人體動作類數據集。在這些數據集上,兩組分類方法的對比實驗如下。

(1) A組分類方法由WCDTW[23,113]以及COTE的兩個組件分類器PS和ACF[82]組成,這3種方法分別基于形狀信息、頻率信息和上下文信息進行分類,且在85個UCR數據集上的分類精度沒有顯著差異;

(2) B組分類方法由第3.6節(jié)中的13種分 類方法組成。

從物理意義出發(fā),本文作出的假設是,基于形狀信息的方法在圖像輪廓類數據集上占據優(yōu)勢;基于頻率信息的方法在具有大量噪聲和重復模式的傳感器類、電氣設備類數據集上占據優(yōu)勢;基于上下文信息的方法在人體動作類數據集上占據優(yōu)勢,因為不同的動作片段在時間上的關聯是重要的分類依據。

從圖20～圖23的實驗結果中可以發(fā)現,A組方法在圖像輪廓類、電氣設備類以及人體動作類數據集上的表現符合預期假設,但這種規(guī)律并不明顯,因為在這3類數據集上,A組方法的整體分類精度沒有顯著差異。然而,A組方法在傳感器類數據集,B組方法在全部4類數據集上的表現不符合預期假設。這些現象說明,大多數TSC任務并不嚴重傾向于某一種分類信息,這可能是由于大多數分類任務所面對的困難往往是多樣化的。

圖20 兩組分類方法在圖像輪廓類數據集的關鍵區(qū)別圖Fig.20 Critical difference diagrams of two groups of classification methods on image-to-sequence datasets

圖21 兩組分類方法在傳感器類數據集的關鍵區(qū)別圖Fig.21 Critical difference diagrams of two groups of classification methods on sensor datasets

圖22 兩組分類方法在電氣設備類數據集的關鍵區(qū)別圖Fig.22 Critical difference diagrams of two groups of classification methods on electrical deveice datasets

另外一個發(fā)現是,基于信息融合的方法和基于深度學習的方法在上述4種類型的數據集上均取得了較好的分類效果。這些現象不僅進一步驗證了融合多種信息對TSC任務通常是有益的,同時也證明了深度學習對于TSC任務的良好泛化性能。

圖23 兩組分類方法在人體動作類數據集的關鍵區(qū)別圖Fig.23 Critical difference diagrams of two groups of classification methods on human activity datasets

4 未來研究方向

4.1 在線分類技術

現實世界的諸多TSC應用,例如人體動作識別、工業(yè)自動控制,通常需要以數據流的形式,在算力有限的移動平臺上開展在線分類,這對算法的實時性提出很高的要求。然而,目前效果較好的分類方法因計算復雜度較高而很難在現實應用中部署。因此,未來的研究方向是在不顯著降低分類精度的基礎上,大幅降低分類方法的計算量,從而滿足在線分類的需求。此外,對于某些需要在線學習的分類任務[114],在算法輕量化之余,如何應對數據流的“概念漂移”問題[115-116],尚需進一步的研究。

4.2 數據擴充技術

TSC算法的性能很大程度上依賴于大量的訓練數據以避免過度擬合。然而,對于許多現實應用,例如臨床醫(yī)學、電氣設備故障診斷,相關數據難以獲取。因此,數據擴充技術成為分類算法在這些應用中取得成功的關鍵因素之一。然而,正如第2.5節(jié)所述,當前的數據擴充方法存在泛化性能差、解釋性不強以及缺乏統(tǒng)一評價標準等缺陷。這些缺陷嚴重限制了數據擴充在TSC中的成功應用。因此,序列數據增強技術將是一個值得關注的未來方向,這方面的工作雖已起步,但面臨的挑戰(zhàn)仍然很大。

4.3 基于無監(jiān)督學習的特征表示技術

在大數據時代,現實世界中的諸多應用雖然產生了大量的序列數據,但是這些序列數據通常很不直觀,導致類別標注工作困難。由于標注數據不足,大量的未標注數據需要得到有效利用。新近的機器學習方法通過無監(jiān)督學習和數據增強技術從大量未標注數據中學習通用的特征表示,然后借助有限的標注數據對特征表示進行微調。這種思路在計算機視覺和自然語言處理領域已經取得了廣泛成功[117-120],但在TSC領域還未得到充分探索。因此,如何借助大量未標注序列數據以無監(jiān)督的方式學習有效的特征表示,從而輔助提升有監(jiān)督學習的性能,將是未來非常值得關注的方向之一。

4.4 算法的可解釋性

可解釋性指人類對算法內部機制和輸出決策的理解。在實際應用中,雖然算法的性能指標更值得關注,但較好的可解釋性有利于更加透明地了解模型做出的決策,從而有效地評估模型在不同場景下的可靠性,進而支撐對模型的改進。與圖像數據相比,序列數據并不直觀,盡管以Shapelets為代表的可視化技術致力于提升分類算法的可解釋性,然而,這些技術仍不成熟。此外,以深度學習為代表的新方法具備明顯的黑箱屬性,這些因素為TSC算法的可解釋性帶來挑戰(zhàn)。因此,增強分類算法的可解釋性將是一個值得關注的未來方向,也是TSC領域的難點之一。

4.5 傳統(tǒng)范例啟發(fā)的深度網絡設計

盡管深度學習在TSC領域已取得初步成功,然而現有工作僅引入了計算機視覺領域的經典網絡結構或成熟網絡模塊,在網絡結構設計方面缺乏對序列數據特性的思考。借助對序列數據的深入理解,傳統(tǒng)分類方法做出了大量的經典手工設計,這些思想可以啟發(fā)深度網絡的設計。例如,考慮到一般的卷積核很難適應數據的形狀扭曲,新近工作引入彈性度量的思想有效增強了網絡對扭曲形變的適應能力。將傳統(tǒng)方法的思想融入深度網絡,有利于增強網絡對數據的適應能力,進而提升網絡的分類性能和魯棒性,是未來非常值得研究的方向之一。

5 結 論

本文對單變量TSC方法進行了綜述。首先,現有的分類方法被分為基于形狀信息、基于頻率信息、基于上下文信息以及基于信息融合4種類別,進而分別得到了介紹;然后,作為分類算法成功應用的關鍵因素之一,序列數據增強也在本文中得到了較為系統(tǒng)的回顧;最后,為了對比不同的分類算法,本文開展了廣泛的實驗,并根據實驗結果進行了較為深刻的討論。此外,本文對單變量TSC領域的下一步研究方向進行了總結和展望。