任守綱，劉國陽，顧興健，熊迎軍，王浩云，徐煥良

1(南京農(nóng)業(yè)大學(xué) 信息科技學(xué)院，南京 210095)

2(國家信息農(nóng)業(yè)工程技術(shù)中心，南京210095)

3(江蘇省物聯(lián)網(wǎng)技術(shù)與應(yīng)用協(xié)同創(chuàng)新中心，南京 210023)

E-mail:15050529202@163.com

1 引 言

時間序列是指一條長度有限、排列有序的觀測值序列.時間序列數(shù)據(jù)在不同學(xué)科領(lǐng)域中廣泛存在，例如工程學(xué)、經(jīng)濟(jì)學(xué)、生物信息學(xué)等.如果將時間序列數(shù)據(jù)看作常規(guī)向量，則具有高維特性，傳統(tǒng)數(shù)據(jù)挖掘手段難以處理.在獲取時間序列數(shù)據(jù)時，往往含有不同程度的噪聲.隨著數(shù)據(jù)獲取手段的進(jìn)步與數(shù)據(jù)量的增加，對時間序列數(shù)據(jù)的研究已獲得越來越廣泛的關(guān)注.

目前，時間序列分類(TimeSeriesClassification,TSC)問題已成為數(shù)據(jù)挖掘領(lǐng)域中最具挑戰(zhàn)性的問題之一.時間序列分類問題可以看作是一個有監(jiān)督的學(xué)習(xí)問題，其中有兩個主要的步驟：特征的提取與合理分類.文獻(xiàn)[1]為了改善時間序列分類準(zhǔn)確率，近年來不同的研究者進(jìn)行了深入研究，提出了多種分類算法[2].這些算法大體可分為三類：基于特征、基于模型和基于距離，而其中又以基于距離的分類方法最為常見.該類研究工作的主要思路都是先定義某種距離(相似或相異性)度量手段，然后利用k近鄰分類器進(jìn)行數(shù)據(jù)挖掘.由于時間序列自身有序的特性，及高維度、噪聲等因素影響，文獻(xiàn)[3]記錄的實(shí)驗(yàn)結(jié)果顯示,分類器采用DTW距離度量(或其變體)可以體現(xiàn)比歐氏距離更加良好的性能.由Bagnall等[4]提出的COTE是基于距離的分類算法中性能較高者之一，其本是多種分類器的集成，平均準(zhǔn)確率比參照基準(zhǔn)高8%.盡管COTE的平均準(zhǔn)確率更高，但每一個樣本都需要經(jīng)過多個分類器處理，因此計(jì)算復(fù)雜度也很高.

另一方面，P.Sch?fer指出[5]，大多數(shù)算法直接在原始數(shù)據(jù)上進(jìn)行操作，沒有把“噪聲不變性”作為研究重點(diǎn).對于時間序列而言，噪聲的含義包括振幅/偏置、卷曲、移相、空缺/重復(fù)等.與相位有關(guān)的噪聲成分在分類過程中對歐氏距離度量有明顯影響，對此問題可采用DTW距離度量算法解決.

規(guī)則化趨勢濾波是一種應(yīng)用廣泛的時間序列平滑方法，可以求出給定時間序列的內(nèi)在趨勢.其中由Hodrick,Prescott等[6]提出的H-P濾波在經(jīng)濟(jì)學(xué)領(lǐng)域廣泛應(yīng)用，隨后由Kim等[7]提出一種變體，稱為L1趨勢濾波.這類算法需要事先假定趨勢模型，選用合適的正則項(xiàng).

本文在規(guī)則化趨勢濾波的基礎(chǔ)上，提出混合范數(shù)趨勢濾波算法，以更一般化的模型提取數(shù)據(jù)的內(nèi)在趨勢估計(jì)，使之更易于分類.本文提出的算法額外引入超參數(shù)，在使用傳統(tǒng)網(wǎng)格搜索交叉驗(yàn)證法優(yōu)化時面臨計(jì)算復(fù)雜度過高、開銷過大的困難.對此，采用貝葉斯優(yōu)化算法，利用所有已經(jīng)得到的嘗試結(jié)果，持續(xù)地為選擇超參數(shù)提供指導(dǎo)；針對不同數(shù)據(jù)集，自動尋找合適的超參數(shù)組合，在保證結(jié)果接近最優(yōu)的前提下，效率更高.最終，在UCR時間序列數(shù)據(jù)庫中的40個數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了所提算法的有效性，降低了分類結(jié)果的錯誤率.

2 Lq規(guī)則化趨勢濾波

給定時間序列y={y1，y2，…，yt，…，yn}，其長度為n，假定y表示為兩項(xiàng)之和y=x+z，其中一項(xiàng)是潛在的趨勢成分x={x1，x2，…，xt，…，xn}，另一項(xiàng)是隨機(jī)噪聲成分z={z1，z2，…，zt，…，zn}.為了得到對于趨勢x的估計(jì)，需要最小化如下形式的目標(biāo)函數(shù)：

(1)

其中λ是一個非負(fù)參數(shù)，用來權(quán)衡x的平滑程度與殘差z的大小.目標(biāo)函數(shù)中，第一項(xiàng)表達(dá)了殘差z=y-x；第二項(xiàng)則量化了所得趨勢估計(jì)x的平滑程度.在第二項(xiàng)中xt-1-2xt+xt+1是時間序列x上t時刻的二階差分.q對應(yīng)正則化項(xiàng)的范數(shù)，可以取任意正實(shí)數(shù).上述函數(shù)可以寫成如下的矩陣形式：

(2)

其中D是二階差分矩陣：

(3)

q=2時的特殊情形稱為L2趨勢濾波(也稱H-P濾波)[8].為了得到x的趨勢估計(jì)，需要最小化的目標(biāo)函數(shù)如下：

(4)

從中可以通過解析方法得到x的趨勢估計(jì)：

x=(I+2λDTD)-1y

(5)

可見，L2趨勢濾波的趨勢估計(jì)結(jié)果x是原時間序列數(shù)據(jù)y的線性函數(shù).

當(dāng)λ→0時，趨勢估計(jì)x將收斂到原始數(shù)據(jù)y本身.當(dāng)λ→時，趨勢估計(jì)x將收斂到y(tǒng)的最佳仿射擬合(一條直線).

q=1時的特殊情形稱為L1趨勢濾波，其目標(biāo)函數(shù)為：

(6)

此時，x不是y的線性變換，無法給出明確的表達(dá)式，但上述目標(biāo)函數(shù)關(guān)于變量x是嚴(yán)格的凸函數(shù)，因此有且僅有一個最小值x*

從L1規(guī)則化最小二乘法的標(biāo)準(zhǔn)結(jié)果中得出，原始時間序列y經(jīng)過L1趨勢濾波的結(jié)果，是被近似表示成若干線性分段.

3 混合范數(shù)趨勢濾波算法

本文在Lq規(guī)則化趨勢濾波的基礎(chǔ)上提出一個變體，稱為“混合范數(shù)趨勢濾波”(Hybrid-norm Trend Filtering， HTF).給定非負(fù)參數(shù)λ1和λ2，求出使目標(biāo)函數(shù)最小化的x，即得到了對原時間序列的趨勢估計(jì)：

(7)

其中D是二階差分矩陣.具體求解方法可參考彈性網(wǎng)絡(luò)(elasticnet)回歸[9]的相關(guān)研究內(nèi)容.下面討論混合趨勢濾波的一些特性.

性質(zhì)1.當(dāng)λ1≠0，λ2=0時，混合趨勢濾波退化為L1趨勢濾波，針對內(nèi)在趨勢的二次差分項(xiàng)進(jìn)行L1范數(shù)的處理，其本質(zhì)上是Tibshirani提出的Lasso回歸原理[10]，L1范數(shù)使得很多二次差分項(xiàng)縮減到0，這樣得到的趨勢估計(jì)是分段線性(有折點(diǎn))的，參見圖1.

圖1 L2范數(shù)為0時，不同程度的L1趨勢估計(jì)

性質(zhì)2.當(dāng)λ1=0，λ2≠0時，混合趨勢濾波退化為L2濾波，對內(nèi)在趨勢的二次差分項(xiàng)的處理本質(zhì)上是Hoerl和Kennad提出的嶺回歸原理[11]，使得較大的二次差分項(xiàng)縮減，其中一些會接近于0但不等于0.這樣可以保證得到的趨勢估計(jì)盡量光滑，參見圖2.

不同的數(shù)據(jù)集中，有很多情況下僅使用單一正則項(xiàng)的趨勢濾波難以得到良好的分類結(jié)果.上述性質(zhì)1、2表明，通過合適的手段確定針對某個數(shù)據(jù)集的參數(shù)組合λ1和λ2，混合趨勢濾波可以同時在數(shù)據(jù)的不同部分體現(xiàn)L1或L2范數(shù)正則項(xiàng)趨勢濾波的特性，如圖3所示.

時間序列數(shù)據(jù)來源于不同領(lǐng)域，在缺乏先驗(yàn)知識的情況下，很難事先確定一個合適的假設(shè)模型，而且真實(shí)世界的數(shù)據(jù)，其內(nèi)在趨勢很可能不是完全的分段線性趨勢或者完全光滑的趨勢.因此用混合范數(shù)正則項(xiàng)，相比于單一范數(shù)的正則項(xiàng)，更具有一般性、更加合理，有助于改善分類器的表現(xiàn)，降低分類錯誤率.

圖2 L1范數(shù)為0時，不同程度的L2趨勢濾波估計(jì)

圖3 混合范數(shù)與單一范數(shù)的趨勢估計(jì)結(jié)果對比

4 基于貝葉斯優(yōu)化的超參數(shù)搜索算法

4.1 超參數(shù)分析

本文算法所涉及的超參數(shù)共有4個：混合范數(shù)趨勢濾波算法中的正則項(xiàng)參數(shù)λ1和λ2、DTW距離度量的窗口w和k近鄰分類器的參數(shù)k.

1)參數(shù)λ1和λ2該組參數(shù)控制趨勢濾波算法的估計(jì)結(jié)果.它們分別控制對應(yīng)模型假設(shè)下的趨勢估計(jì)平滑程度，并權(quán)衡趨勢估計(jì)與原數(shù)據(jù)的殘差大小.可以將每一組λ1和λ2看作一個趨勢估計(jì)模型假設(shè)，對應(yīng)數(shù)據(jù)集的某種判別特征.

圖4 歐氏距離(A)與DTW(B)對時間序列的不同映射方法

2)DTW窗口w動態(tài)時間彎曲(DTW)距離度量最先應(yīng)用于語音數(shù)字處理，后來被引入時間序列數(shù)據(jù)挖掘領(lǐng)域，并得到了巨大成功[12].相比于傳統(tǒng)歐氏距離，DTW距離度量允許不同步的點(diǎn)對應(yīng)計(jì)算，克服了時序?qū)R問題(如圖4所示)，而且對參與計(jì)算的時間序列長度不要求一致.總體來說，DTW對時間序列的同步問題不敏感，在處理時間序列數(shù)據(jù)的相似性度量問題上，其結(jié)果比歐氏距離更加準(zhǔn)確[13].

在距離矩陣中允許彎曲路徑訪問的子集稱為“窗口”，其橫向(縱向)跨度稱為窗口長度，由參數(shù)w控制，如圖5所示.這個參數(shù)的值對于DTW的匹配行為有明顯影響[14]，需要合理地設(shè)置.

圖5 DTW窗口參數(shù)w

3)k近鄰分類參數(shù)k對于輸入樣本，k近鄰算法根據(jù)距離該樣本最近的k個樣本的標(biāo)簽來確定該樣本的標(biāo)簽.對于分類器而言，k值設(shè)置過小會降低分類精度；若設(shè)置過大，則容易受到其他類別影響，產(chǎn)生混淆，降低分類性能.

4.2 貝葉斯優(yōu)化算法

本文4.1節(jié)所述超參數(shù)記為θ={λ1，λ2，w，k}，在給定數(shù)據(jù)集上(采用混合趨勢濾波作為數(shù)據(jù)預(yù)處理手段)，以θ訓(xùn)練基于DTW的k近鄰分類器，在交叉驗(yàn)證時評估其分類錯誤率f(θ)，這個過程稱為一次觀測.本文提出算法主要目的是得到更有利于分類的趨勢估計(jì)，以降低分類錯誤率，因此對于超參數(shù)θ最終評價的標(biāo)準(zhǔn)是f(θ)，越低越好.超參數(shù)優(yōu)化問題模型如下：

(8)

本文研究范圍內(nèi)的目標(biāo)函數(shù)f十分復(fù)雜、難以優(yōu)化，且每次觀測的計(jì)算開銷很大，對此，采用貝葉斯優(yōu)化算法來求解上述優(yōu)化問題.貝葉斯優(yōu)化算法主要包含兩個核心部分：①概率代理模型(probabilistic surrogate model)，包含先驗(yàn)假設(shè)模型，并以迭代手段根據(jù)觀測數(shù)據(jù)進(jìn)行修正，得到的后驗(yàn)概率分布是對真實(shí)目標(biāo)函數(shù)的行為的模擬，用來構(gòu)建收獲函數(shù)；②收獲函數(shù)(acquisition function)，用以量化給定的觀測θ所具有的優(yōu)化潛力，最大化該收獲函數(shù)可以指導(dǎo)下一次觀測的取值.

在貝葉斯優(yōu)化算法中，首先將f看作黑盒函數(shù)，建立一個概率模型對其進(jìn)行代理.然后進(jìn)行迭代，從概率模型構(gòu)造一個收獲函數(shù)，對其優(yōu)化以獲得下一個觀測點(diǎn)θ，進(jìn)行一次觀測得到結(jié)果f(θ)，并對概率模型進(jìn)行更新，完成此次迭代.優(yōu)化模型如圖6所示.

4.2.1 基于高斯過程的代理概率模型

假設(shè)未知函數(shù)f的先驗(yàn)概率分布為P(f)，使用已經(jīng)得到的觀測數(shù)據(jù)對其進(jìn)行更新.全部觀測數(shù)據(jù)的似然分布表示為P(D1:n|f)，根據(jù)貝葉斯定理得到后驗(yàn)概率分布P(f|D1:n)∝P(D1:n|f)P(f).這里的(f|D1:n)就是每次迭代更新的、對f(θ)的代理概率模型.

具體的函數(shù)概率分布模型，由高斯過程(GaussianProcess，GP)實(shí)現(xiàn).高斯過程是多元高斯概率分布的范化[15,16]，由一個均值函數(shù)和協(xié)方差函數(shù)唯一確定，記為：

圖6 優(yōu)化模型示意圖

f(θ)～GP(m(θ)，k(θ，θ′))

(9)

簡單起見，一般假設(shè)均值函數(shù)m(θ)=0，方差函數(shù)的選擇有很多，其中最為常見的是：

(10)

定義θi為第i組超參數(shù)，f(θi)是對應(yīng)的黑盒函數(shù)觀測值.每次觀測得到一對數(shù)據(jù)Di={θi，f(θi)}，累積n次觀測數(shù)據(jù)記為D1:n={θ1:n，f(θ1:n)}.

在初始化階段，設(shè)先驗(yàn)分布

P(f)=N(0，k(θ，θ′))

(11)

假設(shè)得到下一個觀測點(diǎn)θn+1，將該點(diǎn)的觀測值記為fn+1=f(θn+1)，根據(jù)高斯過程的性質(zhì)，存在如下聯(lián)合分布：

(12)

其中

(13)

(14)

根據(jù)Sherman-Morrison-Woodbury方程[15]，更新概率模型的表達(dá)式如下：

(15)

其中，

μn(θn+1)=kTK-1f1:n

(16)

(17)

4.2.2 收獲函數(shù)

收獲函數(shù)用于在貝葉斯優(yōu)化中指導(dǎo)下一個評估點(diǎn)的選擇位置，由累積觀測數(shù)據(jù)D1:n得到的后驗(yàn)分布P(f|D1:n)構(gòu)造.

具體來說，在選擇下一個觀測點(diǎn)θn+1時，不僅希望下一個觀測值fn+1得到改善，還希望最小化與當(dāng)前最優(yōu)觀測值τ=f(θ*)的期望差，因此有：

(18)

引入工具函數(shù)：

I(θ)=max{0，fn+1(θ)-τ}

(19)

若觀測值fn+1(θ)大于當(dāng)前最優(yōu)觀測值τ，那么I(θ)取正值，否則取0.新的觀測點(diǎn)通過對以下期望改進(jìn)(Expected Improvement)最大化求解得到：

(20)

上述“期望改進(jìn)”即為收獲函數(shù)的一種，由于概率模型服從高斯分布，因此可以寫出閉式表達(dá)如下：

(21)

其中，φ是標(biāo)準(zhǔn)正態(tài)概率分布函數(shù)，Φ是標(biāo)準(zhǔn)正態(tài)累積分布函數(shù).當(dāng)且僅當(dāng)σn>0時上式成立，其他情況αEI=0.

顯然，該函數(shù)可微，且易于計(jì)算[17]，從中得到梯度：

(22)

然后采用基于梯度的優(yōu)化方法，求解已有n次觀測數(shù)據(jù)時的下一個觀測點(diǎn)

(23)

將其代入真實(shí)原函數(shù)得到該點(diǎn)的觀測值fn+1=f(θn+1)，更新概率模型，完成一次迭代.

綜上所述，貝葉斯優(yōu)化的本質(zhì)是使用代理模型擬合真實(shí)目標(biāo)函數(shù)，并根據(jù)擬合結(jié)果主動選擇潛在的最佳觀測點(diǎn)[16],其優(yōu)勢在于避免將資源浪費(fèi)在觀測價值不高的搜索中，同時可以有效利用完整的歷史信息來提高搜索效率.在貝葉斯優(yōu)化中，高斯過程回歸的時間復(fù)雜度是O(N3)，其中N是指用于觀測的θ的數(shù)量[18]，等于迭代次數(shù)，與具體超參數(shù)的數(shù)量多少無關(guān).

貝葉斯優(yōu)化超參數(shù)的偽代碼描述如下：

算法1.貝葉斯優(yōu)化

輸入：時間序列數(shù)據(jù)集，迭代次數(shù)n

輸出：超參數(shù)組合θ={λ1，λ2，w，k}

初始化：觀測數(shù)據(jù)Dn，概率模型GP

1. for n=1,2,…do

2. 在概率模型GP上優(yōu)化收獲函數(shù)α，選擇θn+1

θn+1=argmaxα(θ;Dn)

3. 將θn+1代入目標(biāo)函數(shù)以獲得新的觀測f(θn+1)

4. 擴(kuò)增數(shù)據(jù)Dn+1={Dn，(θn+1，f(θn+1))}

5. 更新概率模型GP

6. end for

5 實(shí)驗(yàn)設(shè)計(jì)、結(jié)果與分析

5.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

算法代碼使用Python3.6在Anaconda科學(xué)計(jì)算環(huán)境中實(shí)現(xiàn)，運(yùn)行所用計(jì)算機(jī)的CPU型號為Intel Xeon E5-2620(2.10GHz)，RAM大小為32GB，操作系統(tǒng)是Ubuntu 16.04.6 LTS.

本文實(shí)驗(yàn)所用的數(shù)據(jù)集來自公開的UCR時間序列數(shù)據(jù)庫，這是目前時間序列領(lǐng)域使用最廣的數(shù)據(jù)庫.該數(shù)據(jù)庫共有85個不同的數(shù)據(jù)集，數(shù)據(jù)長度從24到2709不等；訓(xùn)練集大小從16到8926不等；類別數(shù)量從2類到60類不等.這些數(shù)據(jù)集來源于各種領(lǐng)域，包括生物、圖像、醫(yī)學(xué)、工業(yè)等等.UCR數(shù)據(jù)庫中的每個數(shù)據(jù)集已經(jīng)事先分為訓(xùn)練集和測試集兩部分.

5.2 實(shí)驗(yàn)設(shè)計(jì)

給定數(shù)據(jù)集，初始化超參數(shù)組合，以及對應(yīng)的貝葉斯優(yōu)化概率模型.

對于訓(xùn)練集數(shù)據(jù)，用交叉驗(yàn)證法訓(xùn)練基于DTW的k近鄰分類器，得到與當(dāng)前超參數(shù)組合對應(yīng)的錯誤率，作為貝葉斯優(yōu)化的一次觀測結(jié)果，更新概率模型，并從更新后的模型中生成下一次迭代所需要的超參數(shù)組合.重復(fù)上述過程直到達(dá)到停止條件.

在計(jì)算樣本距離時，用混合范數(shù)趨勢濾波處理時間序列樣本，得到趨勢估計(jì)，然后用DTW計(jì)算這些趨勢估計(jì)的距離，作為對應(yīng)樣本之間的距離.

本文實(shí)驗(yàn)以錯誤率E作為分類器的評價標(biāo)準(zhǔn)，計(jì)算公式如下(數(shù)值越小越好)：

5.3 結(jié)果與分析

同時參與本次實(shí)驗(yàn)進(jìn)行比較的其他方法包括DDTW[19]、LCSS[19]、MSM[20]、TWE[21]、ERP[21]等.所有表中每個數(shù)據(jù)集上表現(xiàn)最佳的結(jié)果加粗表示.

從表1中可以看出，本文的方法在大多數(shù)情況下，對時間序列分類的性能更好.目前的時間序列分類問題尚不存在真正全面的解決辦法，每一個特定的數(shù)據(jù)集都可能會有表現(xiàn)特別良好的算法，但無法泛化到其他數(shù)據(jù)集上.本文提出的混合趨勢濾波算法，在具有一般性的前提下，取得了更好的分類結(jié)果.

表1 基于貝葉斯優(yōu)化超參數(shù)的HTF算法與其他算法的結(jié)果對比

Table 1 Results comparation of HTFbased on Bayesian optimized hyper-parameters and other algorithms

數(shù)據(jù)集UCR(baseline)DDTWLCSSMSMTWEERP本文方法synthetic_control0.70%43.30%4.70%2.70%1.30%2.70%0.33%DistalPhalanxTW41.00%34.50%38.10%33.80%30.90%33.10%29.50%MiddlePhalanxTW49.40%64.30%64.90%64.90%63.60%65.60%42.60%SonyAIBORobotSurface27.50%25.80%31.90%26.00%31.90%30.10%17.80%Lighting727.40%42.50%42.50%24.70%26.00%26.00%26.00%ToeSegmentation216.20%24.60%4.60%11.50%13.80%10.80%10.00%DiatomSizeReduction3.30%29.10%10.10%4.60%4.90%7.50%3.26%MedicalImages26.30%34.90%34.10%26.10%29.90%32.40%25.13%

表2的結(jié)果表明，混合趨勢濾波在大多數(shù)情況下的表現(xiàn)，優(yōu)于單一范數(shù)正則項(xiàng)趨勢濾波，因此可以證實(shí)混合趨勢濾波更具一般性，在處理復(fù)雜情況時更靈活.

表2 HTF與兩種退化形式的性能對比

Table 2 Performance comparation of HTF and 2 degenerate forms

數(shù)據(jù)集名稱混合趨勢濾波L1趨勢濾波H-P趨勢濾波ArrowHead16.57%20.00%18.86%CricketY24.62%24.10%24.10%DistalPhalanxOutlineAgeGroup14.50%22.25%22.75%DistalPhalanxOutlineCorrect22.50%36.00%22.83%DistalPhalanxTW21.75%27.25%28.00%Earthquakes17.70%18.63%18.01%ECG2009.00%12.00%12.00%ECGFiveDays22.18%21.84%19.98%FaceFour11.36%13.64%17.05%FiftyWords22.86%22.86%24.40%ItalyPowerDemand4.47%4.96%4.47%Lightning724.66%24.66%28.77%MiddlePhalanxOutlineAgeGroup19.75%22.75%27.00%MiddlePhalanxOutlineCorrect27.33%33.00%32.33%MiddlePhalanxTW36.09%42.36%42.86%MoteStrain15.34%16.53%16.53%OliveOil16.67%16.67%16.67%OSULeaf38.02%40.08%40.08%PhalangesOutlinesCorrect25.64%28.09%26.57%ProximalPhalanxOutlineAgeGroup15.61%23.41%22.93%ProximalPhalanxOutlineCorrect21.31%24.74%20.96%ProximalPhalanxTW19.25%27.75%26.50%ShapeletSim29.44%32.78%36.67%SonyAIBORobotSurface114.64%28.45%11.65%SwedishLeaf18.24%17.76%18.72%ToeSegmentation121.93%24.12%29.82%Wine37.04%53.70%55.56%WordSynonyms25.24%25.39%25.55%

表3 兩種超參數(shù)搜索方法結(jié)果對比

Table 3 Result comparation between two hyper-parameter searching methods

數(shù)據(jù)集UCR(baseline)貝葉斯優(yōu)化網(wǎng)格搜索ECG20023.0%22.0%18.0%OliveOil16.7%20.0%20.0%synthetic_control0.70%0.70%1.30%FaceFour17.0%13.6%13.6%DistalPhalanxTW41.0%29.5%29.8%DistalPhalanxOutlineAgeGroup23.0%22.3%22.3%MiddlePhalanxTW49.4%42.9%42.1%SonyAIBORobotSurface27.5%17.8%12.8%Lighting727.4%26.0%27.4%ArrowHead29.7%28.0%29.1%Meat6.70%6.70%6.70%ToeSegmentation216.2%10.0%11.5%Herring46.9%42.2%45.3%SonyAIBORobotSurfaceII16.9%17.9%15.9%Ham53.3%51.4%49.5%ShapeletSim35.0%30.0%31.1%MoteStrain16.5%13.5%13.5%DiatomSizeReduction3.30%3.60%3.60%MedicalImages26.3%25.4%24.7%Adiac39.6%39.1%39.4%SwedishLeaf20.8%18.9%18.6%Cricket_Y25.6%23.1%23.1%

這部分實(shí)驗(yàn)中，網(wǎng)格搜索的精度，是硬件計(jì)算性能允許范圍內(nèi)的最高設(shè)置數(shù)值.理論上，網(wǎng)格搜索在足夠高的精度下必然可以找到使結(jié)果最優(yōu)的超參數(shù)，但是實(shí)驗(yàn)中設(shè)置的精度不能無限高，因此偶爾出現(xiàn)網(wǎng)格搜索的結(jié)果不如貝葉斯優(yōu)化的情況.從表3中可以看出，貝葉斯優(yōu)化的超參數(shù)結(jié)果可以認(rèn)為是最優(yōu)，或者是近似最優(yōu)的.

6 結(jié)束語

針對時間序列分類研究中的數(shù)據(jù)噪聲問題，本文提出了基于貝葉斯優(yōu)化超參數(shù)的混合范數(shù)趨勢濾波算法.在算法中，使用L1和L2范數(shù)的組合作為目標(biāo)函數(shù)的正則項(xiàng)，達(dá)到去噪和特征提取的目的.使用處理后的數(shù)據(jù)訓(xùn)練基于DTW距離度量的k近鄰分類器，實(shí)現(xiàn)時間序列分類.共有4個超參數(shù)需要調(diào)整，傳統(tǒng)的網(wǎng)格搜索方法在實(shí)踐中面臨計(jì)算復(fù)雜度過高、代價過大的問題，因此本文使用貝葉斯優(yōu)化方法，自適應(yīng)地尋找適合當(dāng)前數(shù)據(jù)集的超參數(shù)組合，在保證搜索到的超參數(shù)近似最優(yōu)的前提下，提高了搜索效率.

為了驗(yàn)證本文提出的算法確實(shí)有效，在公開的UCR數(shù)據(jù)庫中選擇了40個數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn).結(jié)果表明，本文方法的性能優(yōu)于領(lǐng)域內(nèi)的其他算法，在時間序列分類結(jié)果上更加準(zhǔn)確.在后續(xù)的工作中，將會研究如何降低算法的計(jì)算復(fù)雜度、提高穩(wěn)定性，或者將本文的方法與其他分類器以及其他距離度量手段結(jié)合，達(dá)到更好的效果.