韓敏 馬俊珠 任偉杰 鐘凱

氣象、水文、金融、醫(yī)學(xué)以及工程等領(lǐng)域,其數(shù)據(jù)多以時(shí)間序列的形式進(jìn)行存儲(chǔ).時(shí)間序列是某種變量或統(tǒng)計(jì)指標(biāo)的數(shù)值隨時(shí)間排序所形成的序列集合,其中既含有全部變量的歷史信息,又含有參與系統(tǒng)動(dòng)態(tài)演化的變量信息,例如在氣象數(shù)據(jù)中,溫度、濕度、風(fēng)速、風(fēng)向、氣壓、降雨量、日照時(shí)數(shù)、紫外線(xiàn)強(qiáng)度的變化等.從時(shí)間序列數(shù)據(jù)的歷史信息中預(yù)測(cè)未來(lái)的變化,以提前做好防護(hù)措施,對(duì)保障人類(lèi)生命財(cái)產(chǎn)安全具有重要意義[1?6].

近年來(lái),隨著對(duì)時(shí)間序列研究的深入化,傳統(tǒng)的線(xiàn)性自適應(yīng)濾波算法[7],例如最小均方(Least mean squares,LMS)算法、遞歸最小二乘(Recursive least squares,RLS)算法等都不滿(mǎn)足預(yù)測(cè)要求.LMS收斂過(guò)程緩慢,步長(zhǎng)與收斂速度、失調(diào)之間也存在矛盾.RLS具有計(jì)算復(fù)雜度較高、所需存儲(chǔ)量較大的缺陷.同時(shí),它們的應(yīng)用實(shí)時(shí)性也較差,在處理非線(xiàn)性、非平穩(wěn)、高復(fù)雜性等問(wèn)題時(shí)效果并不理想.所以對(duì)非線(xiàn)性、非平穩(wěn)、復(fù)雜系統(tǒng)的研究已經(jīng)引起了許多國(guó)內(nèi)外專(zhuān)家學(xué)者的廣泛關(guān)注,并取得了一定的研究成果.

對(duì)于上述問(wèn)題,出現(xiàn)的建模方法主要包括:人工神經(jīng)網(wǎng)絡(luò)(Artificial neural networks,ANN)[8?10]、支持向量機(jī)(Support vector machines,SVM)[11]、核自適應(yīng)濾波器(Kernel adaptive filter,KAF)[12?13]以及一些其他非線(xiàn)性方法.ANN和SVM都屬于離線(xiàn)方法,不滿(mǎn)足在線(xiàn)實(shí)時(shí)性要求.而KAF是指線(xiàn)性自適應(yīng)濾波器在核空間(Kernel space,KS)的擴(kuò)展[14?15],該過(guò)程滿(mǎn)足在線(xiàn)預(yù)測(cè)要求,對(duì)復(fù)雜時(shí)間序列預(yù)測(cè)具有實(shí)時(shí)輸出的特點(diǎn).其中“核技巧”操作不需被顯式地知道訓(xùn)練樣本在特征空間內(nèi)的映射[16],它直接通過(guò)核函數(shù)計(jì)算來(lái)完成特征空間的內(nèi)積計(jì)算,整個(gè)計(jì)算過(guò)程被簡(jiǎn)化,該映射過(guò)程如圖1.

圖1 從輸入空間到特征空間的非線(xiàn)性映射f(·)Fig.1 Nonlinear mapping f(·)from input space to feature space

目前,國(guó)內(nèi)外學(xué)者使用最多的是高斯核函數(shù).核函數(shù)是先將輸入數(shù)據(jù)映射到高維空間,再在高維空間進(jìn)行線(xiàn)性操作.該過(guò)程對(duì)解決非線(xiàn)性問(wèn)題具有明顯的優(yōu)勢(shì)[17?18].隨著對(duì)核函數(shù)[15?18]研究的深入,學(xué)者們相繼提出了應(yīng)用于時(shí)間序列的計(jì)算復(fù)雜度較低、跟蹤時(shí)變能力較強(qiáng)的KAF在線(xiàn)預(yù)測(cè)算法.

近年來(lái),由于時(shí)間序列組成的非線(xiàn)性系統(tǒng)越來(lái)越復(fù)雜,簡(jiǎn)單的離線(xiàn)預(yù)測(cè)已經(jīng)不能滿(mǎn)足用戶(hù)的要求.對(duì)于上述問(wèn)題,多種時(shí)間序列在線(xiàn)預(yù)測(cè)方法相繼出現(xiàn).目前,時(shí)間序列在線(xiàn)預(yù)測(cè)方法主要分為以下幾類(lèi):重新建模方法、動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)方法、在線(xiàn)支持向量回歸方法、遞歸貝葉斯估計(jì)方法和KAF方法.

KAF 使用核方法實(shí)現(xiàn)非線(xiàn)性傳遞函數(shù).在KAF中,信號(hào)被映射到高維線(xiàn)性特征空間,并且非線(xiàn)性函數(shù)被近似為核的總和,其域是特征空間.如果這是在再生核希爾伯特空間(Reproducing kernel Hilbert space,RKHS)中完成的,則核方法可以是非線(xiàn)性函數(shù)的通用逼近器.內(nèi)核方法具有凸損函數(shù)的優(yōu)點(diǎn),同時(shí)沒(méi)有局部最小值[13].近年來(lái),隨著環(huán)境的不斷復(fù)雜化,其預(yù)測(cè)、跟蹤問(wèn)題也日趨復(fù)雜化.在線(xiàn)預(yù)測(cè)作為一種實(shí)時(shí)預(yù)測(cè)、跟蹤時(shí)變的有效方法,在時(shí)間序列預(yù)測(cè)方面展現(xiàn)出較好的能效結(jié)果,并滿(mǎn)足用戶(hù)的實(shí)時(shí)監(jiān)測(cè)與控制的要求[19?21].基于KAF的在線(xiàn)預(yù)測(cè)方法在許多實(shí)際應(yīng)用領(lǐng)域中都已展現(xiàn)出較好的預(yù)測(cè)性能,其中主要包括三類(lèi):核最小均方(Kernel least mean squares,KLMS)[19]算法、核遞歸最小二乘(Kernel recursive least squares,KRLS)[20]算法和核仿射投影算法(Kernel affine projection algorithm,KAPA)[21].在此基礎(chǔ)上,許多學(xué)者也提出相應(yīng)的改進(jìn)算法,根據(jù)KAF的發(fā)展進(jìn)程,KAF在線(xiàn)預(yù)測(cè)模型的研究進(jìn)展具體如圖2所示,它詳細(xì)地概括了文章的整體研究脈絡(luò).

圖2 KAF方法分類(lèi)框圖Fig.2 Classification diagram of the KAF method

然而,KAF方法在時(shí)間序列在線(xiàn)預(yù)測(cè)過(guò)程中還存在以下的問(wèn)題:隨著新樣本的加入,系統(tǒng)所占用的內(nèi)存不斷增加(主要表現(xiàn)為核矩陣維度的增加),計(jì)算復(fù)雜度會(huì)隨樣本量的增加而增長(zhǎng).針對(duì)該問(wèn)題,學(xué)者們對(duì)以上三類(lèi)KAF方法進(jìn)行了相應(yīng)的改進(jìn)[22?36].在一定程度上,在線(xiàn)預(yù)測(cè)幫助研究者實(shí)現(xiàn)了對(duì)非線(xiàn)性、非平穩(wěn)、復(fù)雜時(shí)間序列系統(tǒng)的實(shí)時(shí)預(yù)測(cè),對(duì)進(jìn)一步將要發(fā)生的變化做出更科學(xué)、合理的決策.

本文的貢獻(xiàn)主要集中在:總結(jié)基于KAF的時(shí)間序列在線(xiàn)預(yù)測(cè)研究進(jìn)展,重點(diǎn)介紹基于KAF的時(shí)間序列在線(xiàn)預(yù)測(cè)方法,主要包括KLMS、KRLS和KAPA三類(lèi),在本文還介紹了這一研究領(lǐng)域的研究趨勢(shì)和發(fā)展延伸,并展望未來(lái)的挑戰(zhàn),即充分理解基于KAF的時(shí)間序列在線(xiàn)預(yù)測(cè)的發(fā)展趨勢(shì),以供進(jìn)一步研究.

1 基于KLMS在線(xiàn)預(yù)測(cè)算法

對(duì)于KLMS中存在的計(jì)算復(fù)雜度和核矩陣的增長(zhǎng)問(wèn)題,文獻(xiàn)[22]提出一種量化核最小均方(Quantization kernel least mean square,QKLMS)算法,其量化操作限制了核函數(shù)維數(shù)的無(wú)限增長(zhǎng),基本思想是通過(guò)量化操作壓縮輸入數(shù)據(jù),而不像其他稀疏化方法那樣直接丟棄冗余數(shù)據(jù).文獻(xiàn)[23]提出了單反饋核最小均方(Single feedback kernel least mean square,SF-KLMS)算法,它使用單個(gè)延遲輸出以循環(huán)方式更新權(quán)重,過(guò)去信息的使用也顯著加快了收斂速度.文獻(xiàn)[24]提出了改進(jìn)的量化核最小均方(Modification quantization kernel least mean square,M-QKLMS)算法,它在使用預(yù)測(cè)誤差的同時(shí)還用梯度下降方法來(lái)更新濾波器系數(shù).不同于QKLMS只考慮預(yù)測(cè)誤差,M-QKLMS采用新的訓(xùn)練數(shù)據(jù)和預(yù)測(cè)誤差來(lái)調(diào)整字典中最接近中心的系數(shù).文獻(xiàn)[25]提出了一種基于隨機(jī)特征網(wǎng)絡(luò)的KLMS算法(Kernel least mean square base on random feature networks,KLMS-RFN),它與理論上隱式地將輸入映射到無(wú)限維空間高斯核相反,隨機(jī)特征映射是將樣本輸入到相對(duì)低維的特征空間,并使變換后的樣本與使用移位不變內(nèi)核的特征空間中近似等效.

KAF作為在線(xiàn)預(yù)測(cè)模型,已經(jīng)在時(shí)間序列預(yù)測(cè)領(lǐng)域展現(xiàn)出較好的性能[18].以下將詳細(xì)說(shuō)明基于KLMS及其改進(jìn)方法的時(shí)間序列在線(xiàn)預(yù)測(cè)機(jī)理.

1.1 核最小均方算法

目前,對(duì)于復(fù)雜難預(yù)測(cè)環(huán)境,LMS與核方法結(jié)合的應(yīng)用方式隨之出現(xiàn).2008年,Liu 等將LMS嵌入KS提出KLMS[19].KLMS是指在RKHS中進(jìn)行的自適應(yīng)過(guò)程,它結(jié)合核技巧和LMS來(lái)實(shí)現(xiàn)樣本到樣本的更新[37].

對(duì)于一個(gè)有限的訓(xùn)練數(shù)據(jù)集,KLMS可通過(guò)未知映射將輸入樣本由低維的原始空間映射到高維特征空間,再在高維特征空間執(zhí)行簡(jiǎn)單的線(xiàn)性計(jì)算.其中涉及步進(jìn)參數(shù)的預(yù)設(shè)置,主要有兩種方法實(shí)現(xiàn):1)根據(jù)經(jīng)驗(yàn)設(shè)置步進(jìn)參數(shù);2)隨著新樣本的到來(lái),自適應(yīng)更新權(quán)重w(i)的同時(shí)實(shí)時(shí)改變步進(jìn)參數(shù).

其中,μ是步進(jìn)參數(shù).e(i)表示預(yù)測(cè)誤差,φ(i)表示在特征空間映射后的輸入樣本.

其中,d(i)=φT(i)w(i) .

上述過(guò)程在增加較少運(yùn)算量的情況下加快了模型收斂速度,可較快跟蹤到自適應(yīng)參數(shù),減少訓(xùn)練序列的預(yù)處理時(shí)間,從而提高自適應(yīng)參數(shù)的利用效率.通過(guò)以上過(guò)程,得到KLMS模型的預(yù)測(cè)輸出y(i).

其中,αj(i)=ηe(j),η表示學(xué)習(xí)率.k(·,·)表示核函數(shù),該計(jì)算過(guò)程也被稱(chēng)為核技巧.

總的來(lái)說(shuō),KAF在時(shí)間序列預(yù)測(cè)中是一個(gè)記憶強(qiáng)化操作.同時(shí)KAF還屬于在線(xiàn)操作范疇,它通過(guò)使用之前的樣本和預(yù)測(cè)誤差來(lái)逐步構(gòu)造出KAF的輸出.

隨著KLMS不斷應(yīng)用于時(shí)間序列預(yù)測(cè),其預(yù)測(cè)也出現(xiàn)了許多亟待解決的問(wèn)題[38].隨著預(yù)測(cè)樣本的不斷增多,預(yù)測(cè)過(guò)程中出現(xiàn)計(jì)算復(fù)雜度較大的問(wèn)題,即隨著新樣本的不斷到來(lái),核矩陣維數(shù)不斷增大,模型內(nèi)存消耗也不斷增大,從而出現(xiàn)預(yù)測(cè)時(shí)間長(zhǎng)、效率低、精度低等問(wèn)題.對(duì)于上述問(wèn)題,第1.2節(jié)～第1.5節(jié)對(duì)給出的多種解決方案進(jìn)行詳細(xì)說(shuō)明.

1.2 量化核最小均方算法

2012年Chen 等在KLMS的基礎(chǔ)上提出矢量量化(Vector quantization,VQ)操作,得到量化核最小均方算法.VQ方法不同于近似依賴(lài)準(zhǔn)則(Approximate linear dependence,ALD)[20],驚奇準(zhǔn)則(Surprise criterion,SC),固定預(yù)算準(zhǔn)則(Fixed budget,FB)[39?40]和新奇準(zhǔn)則(Novel criterion,NC)等稀疏方法.VQ作為稀疏[41?42]的一種替代方法,其基本思想是矢量量化并以此壓縮輸入或特征空間,用以遏制自適應(yīng)濾波器中高斯核結(jié)構(gòu)的增長(zhǎng).QKLMS中權(quán)重?(i)的更新過(guò)程如下所示:

其中,Q[·]是量化算子.與稀疏方法不同,VQ操作是使用“冗余”數(shù)據(jù)來(lái)更新最接近中心的系數(shù),該過(guò)程提高了數(shù)據(jù)的利用效率[22].

QKLMS的預(yù)測(cè)輸出y(i)如下式所示:

其中,C j(·)表示字典C中的第j個(gè)元素.

QKLMS已經(jīng)應(yīng)用于短時(shí)混沌時(shí)間序列預(yù)測(cè)[22].同時(shí)VQ利用“冗余”數(shù)據(jù)來(lái)更新最接近的中心系數(shù),以產(chǎn)生更緊湊的網(wǎng)絡(luò),最終在時(shí)間序列在線(xiàn)預(yù)測(cè)上得到更高的預(yù)測(cè)精度和預(yù)測(cè)效率.

1.3 單反饋核最小均方算法

前述的K LMS和QK LMS都是前饋網(wǎng)絡(luò),2015年Zhao等首次提出具有單反饋結(jié)構(gòu)的單反饋核最小均方(SF-KLMS)算法.在SF-KLMS中只有一個(gè)延遲輸出被用于以循環(huán)方式更新權(quán)重,過(guò)去信息的使用顯著地加快了模型的收斂速度.SF-KLMS具有更緊湊、更高效的循環(huán)結(jié)構(gòu).

在SF-KLMS中包含兩個(gè)權(quán)重更新過(guò)程:1)前饋權(quán)重w(i);2)反饋權(quán)重γ(i).

其中,ηw和ηγ是學(xué)習(xí)率,ρw和ργ是歸一化參數(shù),βw和βγ是調(diào)整最新梯度信息的參數(shù),D w(i)=k(i)+βw(i)γ(i)D w(i ?1)是當(dāng)前梯度信息,Dγ(i)=y(i ?1)+βγ(i)γ(i)Dγ(i ?1).

SF-KLMS具有以下優(yōu)勢(shì):1)SF-KLMS利用延遲輸出的先前梯度信息D w(i ?1)來(lái)更新當(dāng)前梯度D w(i);2)與無(wú)反饋的KAF(如KLMS)和含多反饋的KAF(如LRKOL)相比,SF-KLMS具有更緊湊的結(jié)構(gòu),更快的收斂速度和更好的預(yù)測(cè)性能.

根據(jù)上述分析,得到SF-KLMS模型的輸出y(i).

其中,u(C l)表示字典的第l個(gè)信號(hào).

在短時(shí)時(shí)間序列預(yù)測(cè)中,調(diào)節(jié)因子βw被設(shè)置成較小值,而βγ可被設(shè)置為相對(duì)較大的值用以提高反饋的效果[43].

1.4 改進(jìn)的量化核最小均方算法

KAF在線(xiàn)預(yù)測(cè)算法已經(jīng)在解決復(fù)雜系統(tǒng)的預(yù)測(cè)、跟蹤方面展現(xiàn)出強(qiáng)大的能力.改進(jìn)的量化核最小均方(M-QKLMS)算法于2016年被Zheng 等提出,該方法是在QKLMS方法的基礎(chǔ)上進(jìn)行的改進(jìn)[24].M-QKLMS采用梯度下降方法來(lái)更新核自適應(yīng)濾波器系數(shù),不同于QKLMS只考慮預(yù)測(cè)誤差,該方法還采用新訓(xùn)練數(shù)據(jù)與預(yù)測(cè)誤差來(lái)共同調(diào)整字典最接近中心的系數(shù).

計(jì)算新樣本與現(xiàn)存字典之間的距離.

其中,γ是量化參數(shù).如果dis(u(i),D(i ?1))≤γ,那么權(quán)重矩陣為w l?(i)=w l?(i ?1)+ηκ(D l?(i ?1),u(i))e(i).否則,權(quán)重矩陣為w(i)=[w(i ?1),ηe(i)].

根據(jù)上述判斷結(jié)果,得到輸出y(i).

M-QKLMS先執(zhí)行VQ操作,再利用梯度下降方法與預(yù)測(cè)誤差共同作用,從而有效地降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度.該過(guò)程提高了歷史信息的利用效率[24].總之,M-QKLMS利用新訓(xùn)練數(shù)據(jù)隱藏的信息,達(dá)到了更好的預(yù)測(cè)精度.

1.5 基于隨機(jī)特征網(wǎng)絡(luò)的核最小均方算法

為了在非靜態(tài)環(huán)境中構(gòu)建在線(xiàn)KAF,Liu等于2018年提出了基于隨機(jī)特征網(wǎng)絡(luò)的核最小均方算法[25].KLMS-RFN與將輸入映射到高維特征空間的高斯核相比,隨機(jī)特征映射變換是將樣本輸入到相對(duì)低維的特征空間,其中變換后的樣本近似等于在特征空間中使用一個(gè)移位不變核,如下所示:

其中,φ(x):Rm→RM,表示特征映射后的輸入矩陣.

然后,KLMS-RFN模型的預(yù)測(cè)過(guò)程可總結(jié)為:

1)計(jì)算隨機(jī)傅立葉特征向量φ(x(n))

2)得到自適應(yīng)濾波器的輸出y(n)

3)得到權(quán)重更新矩陣w(n)

其中,e(n)=d(n)?y(n)表示預(yù)測(cè)誤差.

KLMS-RFN不需要存儲(chǔ)重要樣本,可節(jié)省大量存儲(chǔ)成本.當(dāng)所選樣本較多時(shí),KLMS-RFN的計(jì)算復(fù)雜度明顯低于核矩陣的計(jì)算復(fù)雜度.此外,KLMS-RFN還可以約束不斷增長(zhǎng)的權(quán)重網(wǎng)絡(luò)的結(jié)構(gòu),同時(shí)更新樣本來(lái)跟蹤輸入的特征變化.該模型已經(jīng)在時(shí)間序列得到應(yīng)用,明顯的提高了模型在非平穩(wěn)環(huán)境下的預(yù)測(cè)性能[25].

1.6 基于KLMS在線(xiàn)預(yù)測(cè)的總結(jié)分析

通過(guò)對(duì)KLMS及其改進(jìn)模型的說(shuō)明,就降低核矩陣維數(shù)、提高歷史信息的利用效率方面來(lái)說(shuō),可以看出KAF在時(shí)間序列在線(xiàn)預(yù)測(cè)領(lǐng)域已得到廣泛的應(yīng)用[44?46].在本節(jié),主要討論基于KLMS在時(shí)間序列在線(xiàn)預(yù)測(cè)中出現(xiàn)的核矩陣計(jì)算量大,“冗余”信息利用效率低等問(wèn)題的解決方法.針對(duì)上述問(wèn)題,通過(guò)VQ來(lái)提高歷史信息的利用效率,并在此基礎(chǔ)上采用預(yù)測(cè)誤差來(lái)自適應(yīng)更新濾波器結(jié)構(gòu),降低核矩陣的維數(shù).

KLMS是在高維特征空間中推導(dǎo)的,它使用隨機(jī)梯度方法解決最小二乘問(wèn)題,從Hadamard意義上來(lái)講,KLMS不需要明確的正則化.KLMS及相應(yīng)的改進(jìn)模型已經(jīng)在復(fù)雜時(shí)間序列中得到廣泛的應(yīng)用[19,22,24,47].KAF在一定程度上縮短了預(yù)測(cè)時(shí)間,簡(jiǎn)化了核矩陣的計(jì)算步驟,降低了計(jì)算復(fù)雜度,也通過(guò)使用“冗余”樣本,提高了信息的利用效率,提高了時(shí)間序列在線(xiàn)預(yù)測(cè)精度.

2 基于KRLS在線(xiàn)預(yù)測(cè)算法

對(duì)于KRLS建模中出現(xiàn)的在線(xiàn)樣本量和核矩陣維數(shù)的限制問(wèn)題,文獻(xiàn)[26]提出滑動(dòng)窗口核遞歸最小二乘方法(Sliding window kernel recursive least squares,SW-KRLS),它只選取固定長(zhǎng)度的序列樣本進(jìn)行計(jì)算,從而降低核矩陣維度.文獻(xiàn)[27]提出擴(kuò)展核遞歸最小二乘(Extended kernel recursive least squares,EX-KRLS)算法,該方法可以在KS內(nèi)表達(dá)狀態(tài)空間模型,還可以利用狀態(tài)空間模型動(dòng)態(tài)表示在時(shí)變環(huán)境條件下的時(shí)間序列的變化趨勢(shì).文獻(xiàn)[28]提出固定預(yù)算核遞歸最小二乘(Fixed budget kernel recursive least squares,FBKRLS)算法,它只選取固定數(shù)量樣本,且保留相關(guān)性較強(qiáng)的數(shù)據(jù)樣本進(jìn)行計(jì)算,拋棄相關(guān)性弱的數(shù)據(jù)樣本,該過(guò)程不僅降低了核矩陣的維度,而且提高了預(yù)測(cè)精度.文獻(xiàn)[29]提出核遞歸最小二乘跟蹤(Kernel recursive least squares with tracker,KRLS-T)算法,包括遺忘因子原則和數(shù)值穩(wěn)定的方式,它固定了內(nèi)存量和每一個(gè)時(shí)間步長(zhǎng)的計(jì)算,限制了核矩陣的維數(shù),并以自然的方式結(jié)合正則化,從而跟蹤每次預(yù)測(cè)的時(shí)變特性.與文獻(xiàn)[22]類(lèi)似,文獻(xiàn)[30]提出了量化核遞歸最小二乘(Quantization kernel recursive least squares,QKRLS)算法,其基本思想也是通過(guò)量化操作壓縮輸入數(shù)據(jù),限制核矩陣維數(shù),該方法將“冗余”數(shù)據(jù)利用起來(lái),用以提高預(yù)測(cè)精度.文獻(xiàn)[31]提出了多反饋核遞歸最小二乘(Multi-feedback kernel recursive least squares,MF-KRLS)算法,它是利用多個(gè)先前輸出來(lái)遞歸更新結(jié)構(gòu)參數(shù),具有跟蹤時(shí)變的特性.文獻(xiàn)[32]提出自適應(yīng)歸一化稀疏核遞歸最小二乘(Adaptive normalized sparse kernel recursive least squares,ANS-KRLS)算法,它結(jié)合一致性準(zhǔn)則、ALD和動(dòng)態(tài)自適應(yīng)調(diào)整來(lái)限制核矩陣維數(shù),同時(shí)提高了預(yù)測(cè)精度.

目前,KRLS已經(jīng)廣泛應(yīng)用于數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等領(lǐng)域[20].KRLS將輸入樣本通過(guò)Mercer核映射到高維特征空間,然后在高維特征空間中利用矩陣反演引理執(zhí)行線(xiàn)性回歸,從而在線(xiàn)解決復(fù)雜時(shí)間序列預(yù)測(cè)問(wèn)題[48?57].以下將詳細(xì)說(shuō)明基于KRLS及其改進(jìn)方法的時(shí)間序列在線(xiàn)預(yù)測(cè)機(jī)理.

2.1 核遞歸最小二乘算法

KRLS利用矩陣反演引理簡(jiǎn)化核矩陣的求逆過(guò)程,目的在于簡(jiǎn)化計(jì)算,并降低存儲(chǔ)要求、提高預(yù)測(cè)效率.目前,KRLS已經(jīng)在復(fù)雜時(shí)間序列預(yù)測(cè)中展現(xiàn)出較好的預(yù)測(cè)性能[20],它能夠以在線(xiàn)的形式實(shí)時(shí)處理樣本序列.

KRLS模型的ALD閾值是根據(jù)經(jīng)驗(yàn)獲得,太大或太小都會(huì)降低預(yù)測(cè)精度[20].當(dāng)樣本進(jìn)入KRLS模型后,計(jì)算該樣本與當(dāng)前字典在特征空間的線(xiàn)性擴(kuò)展距離δ(i),如果大于ν,那么該樣本滿(mǎn)足要求被加入字典進(jìn)行預(yù)測(cè).反之,如果小于ν,那么該數(shù)據(jù)樣本被移除,這保證了核矩陣維數(shù)的有限性.

其中,ν是設(shè)置的ALD閾值.

根據(jù)以上過(guò)程,得到權(quán)重矩陣w(i).

其中,λ是正則化參數(shù),Φ(i)表示特征空間映射后的輸入矩陣,I表示單位矩陣,d(i)表示期望輸出.該過(guò)程使用矩陣反演引理.

再將w(i)代入輸出模型,得到輸出結(jié)果f(u?).

根據(jù)上述過(guò)程對(duì)預(yù)測(cè)結(jié)果進(jìn)行分析[48?51],得到復(fù)雜系統(tǒng)下一步的發(fā)展趨勢(shì)及實(shí)時(shí)信息,最終做出更科學(xué)的決策.

與第1節(jié)的KLMS相比,就收斂速度而言,KRLS模型比KLMS模型小一個(gè)數(shù)量級(jí),但是這種性能的改善是以增加計(jì)算復(fù)雜度為代價(jià)的.所以,如何改善預(yù)測(cè)模型的計(jì)算復(fù)雜度?第2.2節(jié)～第2.8節(jié)對(duì)給出的多種改進(jìn)方法進(jìn)行詳細(xì)說(shuō)明.

2.2 滑動(dòng)窗口核遞歸最小二乘算法

滑動(dòng)窗口核遞歸最小二乘方法[26]是Van Vaerenbergh 等于2006年提出.SW-KRLS是結(jié)合滑動(dòng)窗和傳統(tǒng)L2范數(shù)正則化得到的.SW-KRLS中滑動(dòng)窗對(duì)核矩陣維數(shù)的要求是固定而非限制,是始終保持字典的維度不變.L2范數(shù)正則化則是改進(jìn)了模型的泛化能力.該方法多用于無(wú)記憶非線(xiàn)性系統(tǒng),并在時(shí)變環(huán)境、跟蹤突變問(wèn)題上體現(xiàn)出較好的預(yù)測(cè)性能.在SW方法中,選定窗口n,得到正則化核矩陣K n.

其中,c是正則化參數(shù),I表示單位矩陣,觀(guān)測(cè)矩陣被表示為X n=[X n,X n?1,···,X n?N+1]T.當(dāng)處于在線(xiàn)環(huán)境時(shí),核矩陣的維數(shù)取決于觀(guān)測(cè)值N.

如何保持核矩陣維度固定不變？對(duì)于新到來(lái)樣本,核矩陣添加新行和新列通過(guò)式(20)實(shí)現(xiàn),核矩陣移除最舊行和列可通過(guò)式(19)實(shí)現(xiàn).

其中,A是非奇異矩陣,g=(d ?bTA?1b)?1,K是添加新行和列后的矩陣,D是移除最舊行和列后的矩陣,bTf+dg=1.

根據(jù)以上過(guò)程,得到系數(shù)矩陣αn.

其中,y(n)=[y n,y n?1,···,y n?N+1]表示觀(guān)測(cè)向量,

SW-KRLS采用正則化解決了過(guò)擬合問(wèn)題,并結(jié)合滑動(dòng)窗口(Sliding window,SW)和矩陣反演引理來(lái)解決計(jì)算復(fù)雜度的限制問(wèn)題,不僅節(jié)省了內(nèi)存空間,簡(jiǎn)化了計(jì)算,也提高了預(yù)測(cè)精度[26].

2.3 擴(kuò)展核遞歸最小二乘算法

2009年Liu等又提出了在RKHS中的擴(kuò)展遞歸最小二乘算法的核化形式,即擴(kuò)展核遞歸最小二乘算法[27].EX-KRLS在RKHS中首次實(shí)現(xiàn)了一般線(xiàn)性狀態(tài)模型.

EX-KRLS使用顯式狀態(tài)轉(zhuǎn)移和卡爾曼濾波器來(lái)學(xué)習(xí)內(nèi)核回歸權(quán)向量,也通過(guò)樣本數(shù)據(jù)完成在線(xiàn)學(xué)習(xí)[27].當(dāng)A=αI時(shí),得到的狀態(tài)轉(zhuǎn)換模型(22)與觀(guān)測(cè)模型(23).

其中,φ(i)∈F代替u(i)∈U,α是一個(gè)升降參數(shù),既可放大也可衰減.

EX-KRLS具有明確的狀態(tài)轉(zhuǎn)移過(guò)程,且可以提高KRLS的跟蹤能力[27],其跟蹤模型如式(24).

其中,r(i)=λ+φT(i)φ(i)?zT(i)k(i),λ是用以控制初始狀態(tài)向量的正則化參數(shù),z(i)表示非奇異矩陣,k(i)表示核矩陣,e(i)是預(yù)測(cè)誤差,a(i)是系數(shù)矩陣,它們都是根據(jù)樣本點(diǎn)不斷地自適應(yīng)更新.所以,EX-KRLS適合于慢衰落、狀態(tài)變化小的非線(xiàn)性系統(tǒng)建模.

2.4 固定預(yù)算核遞歸最小二乘算法

對(duì)于計(jì)算復(fù)雜度較大問(wèn)題,固定預(yù)算核遞歸最小二乘方法于2010年被Van Vaerenbergh 等提出[28].其中FB準(zhǔn)則在限制內(nèi)存的同時(shí),不僅減少預(yù)測(cè)時(shí)間,還提高歷史信息的利用效率.

FB準(zhǔn)則是Dekel 等在2006年提出的.在預(yù)測(cè)時(shí)間序列樣本時(shí),隨著新樣本的加入,直到字典達(dá)到預(yù)設(shè)閾值M之前,FB準(zhǔn)則不起作用.當(dāng)樣本達(dá)到M+1時(shí),核矩陣如式(25),FB起作用,拋棄最不重要、不相關(guān)的數(shù)據(jù)如式(26),期間字典大小始終為M,即當(dāng)新樣本滿(mǎn)足條件時(shí),就刪除最不相關(guān)的數(shù)據(jù).反之,新樣本如果不滿(mǎn)足條件,那么新樣本就不被允許加入字典,即字典保持原來(lái)的狀態(tài)不變.該過(guò)程不僅限制了輸入數(shù)據(jù)的維數(shù),也提高了數(shù)據(jù)利用效率.

為保持核矩陣維度不變,FB準(zhǔn)則中的拋棄計(jì)算如下所示:

根據(jù)上述拋棄準(zhǔn)則,FB-KRLS模型可以有效地跟蹤時(shí)變序列的信息[28].FB-KRLS主要應(yīng)用于非線(xiàn)性系統(tǒng)識(shí)別問(wèn)題.它不僅能夠保持內(nèi)存不變,拋棄最不重要的樣本點(diǎn),提高信息利用效率,而且其標(biāo)簽更新過(guò)程也表現(xiàn)出模型的跟蹤時(shí)變特性,更拓寬了FB-KRLS的應(yīng)用范圍[28].

2.5 核遞歸最小二乘跟蹤算法

不同于SW-KRLS、EX-KRLS和FB-KRLS,核遞歸最小二乘跟蹤[29]是引入貝葉斯框架,在統(tǒng)一現(xiàn)有的KRLS理論下,提出的“遺忘”的概念,即通過(guò)明確方式處理復(fù)雜的時(shí)間序列數(shù)據(jù).為保證最優(yōu)性能,需要確定核參數(shù)、正則化參數(shù),以及在非平穩(wěn)環(huán)境中的遺忘因子.

由于KRLS-T等價(jià)于特定時(shí)空協(xié)方差的高斯過(guò)程(Gaussian processing,GP)回歸模型,所以可通過(guò)GP超參數(shù)估計(jì)來(lái)確定KRLS-T的所有參數(shù).采用潛在函數(shù)邊緣化的方法,用超參數(shù)表示觀(guān)測(cè)數(shù)據(jù)的概率[29].

其中,?表示Hadamard乘積,Λ是一個(gè)對(duì)角矩陣,它的第j個(gè)對(duì)角元素值為,λ∈(0,1].

在KRLS-T中,需要存儲(chǔ)和更新三個(gè)變量:1)字典中與基對(duì)應(yīng)的當(dāng)前預(yù)測(cè)均值μt;2)表示先驗(yàn)值的核逆矩陣;3)相應(yīng)的預(yù)測(cè)方差Σt它可以捕獲后驗(yàn)協(xié)方差.

其中,q t+1=Q t k t+1,ε是遺忘因子且ε∈(0,1),σ2是超參數(shù),δ是正則化參數(shù).

因?yàn)镵RLS-T不能提供對(duì)過(guò)去時(shí)刻的預(yù)測(cè),僅保留與當(dāng)前時(shí)刻相關(guān)的小部分樣本,所以對(duì)短期時(shí)間序列預(yù)測(cè)有更好的預(yù)測(cè)效果.同時(shí)這樣的預(yù)測(cè)機(jī)制極大降低了計(jì)算成本[29].

2.6 量化核遞歸最小二乘算法

Chen 等于2013年又將VQ應(yīng)用到KRLS模型,它是以遞歸形式被推導(dǎo)得到量化核遞歸最小二乘算法[30].QKRLS也是將輸入空間量化分配,其基本思想也是使用較小數(shù)據(jù)集來(lái)表示整個(gè)輸入數(shù)據(jù)的信息,從而提高預(yù)測(cè)精度[23,30].

VQ具有多種優(yōu)勢(shì):1)計(jì)算簡(jiǎn)單;2)量化的大小比較容易選擇;3)冗余數(shù)據(jù)可以很容易的被利用,用以提高預(yù)測(cè)性能.

首先在線(xiàn)VQ需要設(shè)置量化尺碼ε,然后計(jì)算u(i)和C(i ?1)之間的距離.

其中,j?=arg min1≤j≤|C(i?1)|∥u(i)?C j(i?1)∥,C j(i ?1)表示C(i ?1)的第j個(gè)元素.

當(dāng)新樣本u(i) 進(jìn)入預(yù)測(cè)模型時(shí),如果dis(u(i),C(i ?1))不大于ε,此時(shí)的量化碼本保持不變,用式(30)更新權(quán)重系數(shù)矩陣.如果dis(u(i),C(i?1))小于ε,那么新樣本被加入到量化碼本C(·)中,用式(31)更新權(quán)重系數(shù).

QKRLS在預(yù)測(cè)時(shí)間序列時(shí),除了能夠保持期望性能,在產(chǎn)生緊湊模型方面也非常有效[30].計(jì)算復(fù)雜度和預(yù)測(cè)精度之間的折衷也可以通過(guò)改變量化碼本的大小進(jìn)行簡(jiǎn)單、有效地控制.

2.7 多反饋核遞歸最小二乘算法

近年來(lái),大多數(shù)KAF都是無(wú)反饋結(jié)構(gòu)的預(yù)測(cè)模型[26?30].在第1.3節(jié),SF-KLMS首次將反饋結(jié)構(gòu)引入KAF模型.隨后Wang 等在2017 年提出了具有反饋結(jié)構(gòu)的多反饋核遞歸最小二乘算法[31].MFKRLS是將延遲輸出與最近的輸入結(jié)合來(lái)估計(jì)最近輸出的過(guò)程.

在MF-KRLS結(jié)構(gòu)中,它的前饋系數(shù)(Feed forward coefficient,FFC)和反饋系數(shù)(Feedback coefficient,FBC)利用最速下降法進(jìn)行更新.同時(shí)MF-KRLS采用多個(gè)先前的輸出以遞歸的形式更新結(jié)構(gòu)參數(shù).FFC 和FBC 都采用最速下降法進(jìn)行在線(xiàn)更新.

其中,μα(i)=ηα(i)/ρα(i)表示FFC的步進(jìn)參數(shù),μλ(i)=ηλ(i)/ρλ(i)表示FBC 的步進(jìn)參數(shù).Dα(i)=?y(i)/?α(i),Dλ(i)=?y(i)/?λ(i).

根據(jù)上述分析,在時(shí)變環(huán)境中,MF-KRLS具有較好的自適應(yīng)更新調(diào)整能力,在估計(jì)精度和收斂速率上也得到改善[31].

將FFC和FBC代入輸出模型得到y(tǒng)(i).

在MF-KRLS的時(shí)間序列在線(xiàn)預(yù)測(cè)應(yīng)用中,其前饋和反饋結(jié)構(gòu)的有效結(jié)合不僅提高了KRLS的濾波精度,還加快了收斂速度[31].

2.8 自適應(yīng)歸一化稀疏核遞歸最小二乘算法

隨著在線(xiàn)稀疏方法的不斷發(fā)展,Han 等于2017 年提出自適應(yīng)歸一化稀疏核遞歸最小二乘方法[32],該方法已經(jīng)在多元混沌時(shí)間序列在線(xiàn)預(yù)測(cè)方面得到較好的預(yù)測(cè)性能.

ANS-KRLS是結(jié)合動(dòng)態(tài)調(diào)整策略和一致性準(zhǔn)則(Coherence criterion,CC),并基于KRLS得到的改進(jìn)模型.在A(yíng)NS-KRLS中,一致性準(zhǔn)則不僅可以減少核矩陣維度,還可以降低模型的計(jì)算復(fù)雜度.動(dòng)態(tài)調(diào)整策略在時(shí)變環(huán)境中具有自適應(yīng)調(diào)整權(quán)值的能力.

其次,一致性稀疏準(zhǔn)則如下式所示:

其中,當(dāng)maxj=1,2,···,i?1|k(x(i),x(j))|≤μ0,x(j)被加入字典.否則,字典保持不變,且μ∈(0,1).

當(dāng)新樣本到來(lái)時(shí),如果x(j)不滿(mǎn)足式(15)且式(36)不大于μ0時(shí),新樣本x(j) 被加入字典,權(quán)重系數(shù)根據(jù)式(37)進(jìn)行更新.如果x(j)不滿(mǎn)足式(15),或式(36)大于μ0時(shí),字典大小保持不變,此時(shí)根據(jù)式(35)更新權(quán)重系數(shù).

其中,δ(i)表示ALD閾值.

總之,ANS-KRLS在時(shí)間序列在線(xiàn)預(yù)測(cè)可通過(guò)上述稀疏過(guò)程降低計(jì)算復(fù)雜度.ANS-KRLS還具有在線(xiàn)操作和在時(shí)變環(huán)境中自適應(yīng)調(diào)整的能力.所以,ANS-KRLS 在提高預(yù)測(cè)精度和效率方面更具優(yōu)勢(shì)[32].

2.9 基于KRLS在線(xiàn)預(yù)測(cè)的總結(jié)分析

通過(guò)以上對(duì)KRLS及其改進(jìn)模型的介紹,就基于KRLS時(shí)間序列在線(xiàn)預(yù)測(cè)方法中改進(jìn)的KAF模型而言,SW-KRLS、FB-KRLS、QKRLS和ANSKRLS是以不同類(lèi)型的“稀疏”方式來(lái)簡(jiǎn)化核矩陣維數(shù),從而降低計(jì)算復(fù)雜度、提高預(yù)測(cè)精度.EXKRLS、KRLS-T除了降低計(jì)算復(fù)雜度和提升預(yù)測(cè)精度外,在跟蹤時(shí)變方面也展現(xiàn)出優(yōu)越的性能.而MF-KRLS是以添加反饋結(jié)構(gòu)的形式來(lái)提高模型的預(yù)測(cè)精度.

KRLS改進(jìn)方法的自相關(guān)矩陣在后期運(yùn)算時(shí)會(huì)出現(xiàn)秩虧的現(xiàn)象,引入正則化可以解決秩虧的問(wèn)題.和第1節(jié)的KLMS模型相比,KRLS的不同之處在于需要明確的正則化.但該正則化過(guò)程也存在以下問(wèn)題:隨著數(shù)據(jù)樣本的增加,正則化的效率會(huì)開(kāi)始緩慢地減弱.

從以上分析可知,基于KAF的時(shí)間序列在線(xiàn)預(yù)測(cè)在降低計(jì)算復(fù)雜度、提高預(yù)測(cè)精度和效率,以及在跟蹤時(shí)變方面都展現(xiàn)出較好的優(yōu)勢(shì)[58?60].

3 基于KAPA在線(xiàn)預(yù)測(cè)算法

對(duì)于KAPA建模中出現(xiàn)的計(jì)算復(fù)雜度和核矩陣維數(shù)限制問(wèn)題,文獻(xiàn)[33]提出了歸一化復(fù)合核仿射投影算法(Normalized composite kernel affine projection algorithm,NC-KAPA).文獻(xiàn)[34]提出并行滑動(dòng)窗口核仿射投影算法(Parallel sliding window kernel affine projection algorithm,PSWKAPA)和級(jí)聯(lián)滑動(dòng)窗口核仿射投影算法(Cascade sliding window kernel affine projection algorithm,CSW-KAPA).文獻(xiàn)[35]首次將多核引入APA中,提出混合核仿射投影算法(Kernel hybrid affine projection algorithm,KHAPA),它將最大相關(guān)熵準(zhǔn)則與均方誤差策略結(jié)合來(lái)改進(jìn)KAPA.文獻(xiàn)[36]提出了量化核仿射投影算法(Quantization kernel affine projection algorithm,QKAPA),它將矢量量化操作應(yīng)用于KAPA來(lái)提高預(yù)測(cè)精度.

KAPA是Liu等在2008年提出的,它是由核技巧與APA(Affine projection algorithm)[61]結(jié)合產(chǎn)生的非線(xiàn)性擴(kuò)展方法[21,62].KAPA使用隨機(jī)梯度法解決最小二乘問(wèn)題,該非線(xiàn)性擴(kuò)展已經(jīng)在時(shí)間序列在線(xiàn)預(yù)測(cè)領(lǐng)域得到廣泛應(yīng)用[21].以下將詳細(xì)說(shuō)明基于KAPA及其改進(jìn)方法的時(shí)間序列在線(xiàn)預(yù)測(cè)機(jī)理.

3.1 核仿射投影算法

KAPA通過(guò)類(lèi)似KLMS的方法將APA擴(kuò)展到RKHS中,除了樣本數(shù)量以外,還存在另外兩個(gè)自由度:1)代價(jià)函數(shù)的正則化;2)Newton 更新方法.文獻(xiàn)[21]通過(guò)輸入相關(guān)矩陣的特征值擴(kuò)展來(lái)解決梯度下降法收斂速度慢的問(wèn)題.

根據(jù)不同的參數(shù)設(shè)置得到不同KAPA,從而組成KAPA族.

1)根據(jù)梯度下降法得到KAPA-1的權(quán)重矩陣w1(i).

其中,η表示學(xué)習(xí)率,d(i)表示期望輸出.

2)根據(jù)Newton法得到KAPA-2的權(quán)重矩陣w2(i).

其中,Φ(i)=[φ(i?K+1),···,φ(i)],ε是正則化參數(shù).

3)再給定正則化代價(jià)函數(shù),根據(jù)隨機(jī)梯度下降法可得到KAPA-3的權(quán)重矩陣w3(i).

4)相應(yīng)地,再根據(jù)Newton 法得到KAPA-4的權(quán)重矩陣w4(i).

其中,λ也是正則化參數(shù),當(dāng)傳統(tǒng)風(fēng)險(xiǎn)最小化病態(tài)時(shí),通常是約束解的范數(shù)得到式(40).與KAPA-1不同,KAPA-3添加了尺度因子 (1?λη)用于對(duì)先前數(shù)據(jù)強(qiáng)加“遺忘”機(jī)制,并使該部分?jǐn)?shù)據(jù)的影響呈指數(shù)下降趨勢(shì).

上述的4種變換中,前三種都需要誤差信息來(lái)更新網(wǎng)絡(luò),計(jì)算量較大.而KAPA-4 不需要,因?yàn)樗恍鑼?duì)一個(gè)階的矩陣求逆.總之,KAPA算法的性能已經(jīng)在時(shí)間序列、信道均衡方面得到體現(xiàn)[21,62].

3.2 歸一化復(fù)合核仿射投影算法

近年來(lái),KLMS和KRLS及其改進(jìn)模型的研究都集中在單核形式.Ogunfunmi等在2011年首次將復(fù)合核應(yīng)用于A(yíng)PA模型,得到歸一化復(fù)合核仿射投影算法[33].該算法適用于復(fù)雜數(shù)據(jù)的實(shí)時(shí)非線(xiàn)性建模.

在NC-KAPA中,使用復(fù)雜核函數(shù)κ(z,w).

其中,z,w∈C N,σ是影響轉(zhuǎn)換映射的核參數(shù).

定義X ap(i)=[Φ(z(i ?K+1))···Φ(z(i))],得到權(quán)重矩陣w(i).

NC-KAPA算法在理論上推導(dǎo)并擴(kuò)展了復(fù)雜RKHS的Wirtinger演算,最終還得到APA的梯度MSE代價(jià)函數(shù).該算法更適用于對(duì)收斂速率要求較高的高維復(fù)雜的混沌時(shí)間序列的在線(xiàn)預(yù)測(cè)[33].

3.3 并行、級(jí)聯(lián)滑動(dòng)窗口核仿射投影算法

由上節(jié)Ogunfunmi等提出的NC-KAPA[33]可知,KAF的發(fā)展已經(jīng)由單核研究逐漸過(guò)渡到多核研究[63].2012年Gil-Cacho 等提出并行和級(jí)聯(lián)滑動(dòng)窗口核仿射投影算法[34].該類(lèi)算法由線(xiàn)性核和高斯核的加權(quán)和組成.機(jī)理是分離線(xiàn)性和非線(xiàn)性子問(wèn)題.

PSW-KAPA的并行配置在KAPA-3中可直接應(yīng)用得到核矩陣k w sk.

CSW-KAPA中的級(jí)聯(lián)結(jié)構(gòu)由以下2個(gè)步驟組成:1)獨(dú)立執(zhí)行標(biāo)準(zhǔn)線(xiàn)性歸一化最小均方算法(Normalized least mean square,NLMS),存儲(chǔ)濾波器輸出.2)將存儲(chǔ)的NLMS輸出用作SW-KAPA的輸入.得到基于PSW-KAPA和CSW-KAPA的預(yù)測(cè)輸出

與KAPA相比,PSW-KAPA和CSW-KAPA降低了計(jì)算復(fù)雜度.與線(xiàn)性NLMS相比,它提高了預(yù)測(cè)性能.PSW-KAPA和CSW-KAPA中核函數(shù)的分離、加權(quán)和過(guò)程都在滑動(dòng)窗口方法中執(zhí)行.當(dāng)對(duì)其施加不同的“遺忘”機(jī)制時(shí),它又轉(zhuǎn)化為更靈活的正則化形式,進(jìn)一步提高時(shí)間序列的預(yù)測(cè)性能[34].

3.4 核混合仿射投影算法

2014年Yang 等提出了核混合仿射投影算法[35].KHAPA將混合準(zhǔn)則(Hybrid criteria,HC)應(yīng)用于A(yíng)PA中,并將得到的HAPA映射到RKHS.HC是均方誤差和最大相關(guān)熵準(zhǔn)則(Maximum correntropy criterion,MCC)的混合.

HC 是從最小裁剪平方(Least trimmed squares,LTS)估計(jì)的角度避免異常值的過(guò)度影響.在LTS中,數(shù)據(jù)通過(guò)排序的方式被分為兩類(lèi):正常數(shù)據(jù)集和異常值數(shù)據(jù)集,且異常值數(shù)據(jù)被完全丟棄.HC不是單純地丟棄這些數(shù)據(jù),而是對(duì)大數(shù)據(jù)采用魯棒MCC準(zhǔn)則.KHAPA就是利用上述準(zhǔn)則來(lái)進(jìn)一步提高預(yù)測(cè)性能[35].

HC準(zhǔn)則不僅避免了異常值的過(guò)度影響,還充分利用了異常值,從而獲得更好的性能.定義HC如式(45),并將HC應(yīng)用于KAPA模型,用f i表示它的學(xué)習(xí)映射.

HC充分利用了數(shù)據(jù),避免了異常值數(shù)據(jù)集的不恰當(dāng)影響.所以KHAPA在時(shí)間序列預(yù)測(cè)過(guò)程中提高了數(shù)據(jù)的利用效率,同時(shí)也得到了更準(zhǔn)確的預(yù)測(cè)結(jié)果[35].

3.5 量化核仿射投影算法

2015年Ren等提出量化核仿射投影算法[36].QKAPA和QKLMS、QKRLS算法相似,QKAPA是在KAPA模型上加入VQ用以約束網(wǎng)絡(luò),并進(jìn)一步減小計(jì)算負(fù)擔(dān)和內(nèi)存占用.

根據(jù)上述更新過(guò)程,得到QKAPA模型的預(yù)測(cè)輸出f(n,i).

其中,κ(·,·)表示核函數(shù).

由于時(shí)間序列都是復(fù)雜的,且包含未知噪聲.QKAPA模型在預(yù)測(cè)中不僅減小了梯度噪聲,而且約束了網(wǎng)絡(luò)規(guī)模,提高了“冗余”數(shù)據(jù)的利用效率,進(jìn)一步減小了計(jì)算負(fù)擔(dān)和存儲(chǔ)占用,明顯加快了運(yùn)算速度,提高了預(yù)測(cè)性能[36].

3.6 基于KAPA在線(xiàn)預(yù)測(cè)的總結(jié)分析

通過(guò)以上對(duì)KAPA及其改進(jìn)模型的說(shuō)明,就基于KAPA的改進(jìn)模型來(lái)說(shuō),PSW-KAPA、CSWKAPA[34]和NC-KAPA[33]以投影次梯度的方式簡(jiǎn)化了預(yù)測(cè)模型.QKAPA[36]和KAPHA[35]分別通過(guò)VQ和HC稀疏方式降低了計(jì)算復(fù)雜度,并提升了預(yù)測(cè)精度.KAPA及其改進(jìn)模型都在RKHS中應(yīng)用隨機(jī)梯度法解決最小二乘問(wèn)題.同KLMS或KRLS相比,KAPA能提供靈活的在線(xiàn)非線(xiàn)性濾波器計(jì)算方法.根據(jù)實(shí)際預(yù)測(cè)需求,還可在應(yīng)用性能與計(jì)算復(fù)雜度之間選擇平衡點(diǎn),以達(dá)到最優(yōu)結(jié)果.

KAPA的通用形式是基于自適應(yīng)投影次梯度法被推導(dǎo).通過(guò)投影映射測(cè)度完成分類(lèi),再通過(guò)正交投影實(shí)現(xiàn)稀疏化,還可以通過(guò)斜投影解決在線(xiàn)存儲(chǔ)需求和自適應(yīng)跟蹤能力[32].此外,KAPA也為徑向基函數(shù)(如NN)、正則化提供了理論認(rèn)識(shí)基礎(chǔ).

在性能方面,KAPA介于KLMS和KRLS之間,KAPA的性能可以通過(guò)窗口長(zhǎng)度K調(diào)整,同時(shí)窗口長(zhǎng)度也控制計(jì)算復(fù)雜度.而且大部分時(shí)間序列都呈現(xiàn)非線(xiàn)性、非平穩(wěn)、復(fù)雜的特點(diǎn),通常的離線(xiàn)算法不能滿(mǎn)足在線(xiàn)實(shí)時(shí)性要求.所以基于KAF的時(shí)間序列在線(xiàn)預(yù)測(cè)方法在降低計(jì)算復(fù)雜度、提高預(yù)測(cè)精度和效率方面都展現(xiàn)出獨(dú)特的優(yōu)勢(shì)[32?36].

總的來(lái)說(shuō),基于KAF的3類(lèi)在線(xiàn)預(yù)測(cè)方法已經(jīng)在多元混沌時(shí)間序列中得到較好的預(yù)測(cè)性能[12?13].

其中,模型中部分參數(shù)的設(shè)置也起著關(guān)鍵的作用,比如步進(jìn)參數(shù)μ∈(0,1),學(xué)習(xí)率η ∈(0,1)等,它們的選取對(duì)模型的預(yù)測(cè)效果有較大的影響.一般情況下,步進(jìn)參數(shù)和學(xué)習(xí)率都會(huì)選取(0.5,1)之間的值,這樣可以得到較好的性能結(jié)果[19?36].同樣的,正則化參數(shù)λ,調(diào)整參數(shù)β等參數(shù)的選取也會(huì)影響實(shí)驗(yàn)結(jié)果[29],比如正則化參數(shù)λ可以根據(jù)高斯過(guò)程回歸的標(biāo)準(zhǔn)超參數(shù)估計(jì)來(lái)進(jìn)行選取[17,29],此時(shí)得到的λ更適合模型的后續(xù)預(yù)測(cè).所以,參數(shù)的恰當(dāng)選擇可以有效地反映模型的某些性能[41?42,61,64],這里不再贅述.

4 基于KAF在線(xiàn)預(yù)測(cè)的應(yīng)用

目前,動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)(Dynamic neural network,DNN)、支持向量回歸(Support vector regression,SVR)、KAF等方法已應(yīng)用于復(fù)雜時(shí)間序列預(yù)測(cè)[8?10].DNN與SVR 都是離線(xiàn)操作,前者在更新過(guò)程中涉及大量計(jì)算[65],后者適用于小樣本預(yù)測(cè)與跟蹤[13].而KAF不僅具有較低的計(jì)算復(fù)雜度和簡(jiǎn)單的遞歸更新形式,且滿(mǎn)足在線(xiàn)預(yù)測(cè)的要求,因此受到許多學(xué)者的青睞[11?13].Frieb和Harrison根據(jù)“核化”思想提出ADALINE,該方法基于所有的訓(xùn)練數(shù)據(jù)并采用確定性梯度法得到[65].Kivinen 等提出NORMA,該方法直接對(duì)正則化代價(jià)函數(shù)進(jìn)行微分獲取隨機(jī)梯度[17].Engel等使用矩陣求逆引理研究了KRLS[20].Liu 等研究了具有正則化特性的KLMS[19].Liu和Principe,Ogunfunmi和Paul,Ren 和Yu等從不同角度研究了KAPA[21,33?36,61].

根據(jù)KLMS、KRLS和KAPA三類(lèi)模型在時(shí)間序列中的預(yù)測(cè)效率、預(yù)測(cè)精度、收斂速度以及相應(yīng)的特點(diǎn),三類(lèi)典型KAF方法在時(shí)間序列在線(xiàn)預(yù)測(cè)中的性能對(duì)比結(jié)果如表1所示.由表1可知,與KLMS和KAPA相比,KRLS的預(yù)測(cè)效率較低,但在收斂速度和預(yù)測(cè)精度方面更具優(yōu)勢(shì).所以,我們可以得到以下結(jié)論:1)在實(shí)際應(yīng)用中,如果將預(yù)測(cè)效率放在首位而不追求收斂速度,那么KLMS模型可以得到較好的結(jié)果;2)如果以提高目標(biāo)預(yù)測(cè)精度為目的,同時(shí)要求較快的收斂速度,KRLS模型無(wú)疑成為最佳選擇;3)如果預(yù)測(cè)目標(biāo)中包含多種噪聲,KAPA模型更具優(yōu)勢(shì).

表1 不同KAF方法的時(shí)間序列在線(xiàn)預(yù)測(cè)特性對(duì)比結(jié)果Table 1 Comparison of online prediction characteristics of time series of different KAF methods

目前,大多數(shù)時(shí)間序列都表現(xiàn)出非線(xiàn)性、非平穩(wěn)、復(fù)雜難預(yù)測(cè)的特點(diǎn),所以對(duì)其進(jìn)行合理的預(yù)測(cè)具有十分重要的意義.例如,從氣象數(shù)據(jù)的歷史信息預(yù)測(cè)未來(lái)天氣變化[1?2].從水文數(shù)據(jù)的歷史信息預(yù)測(cè)水資源的變化趨勢(shì),并作出合理的控制及調(diào)配[3?4].根據(jù)醫(yī)學(xué)上的不同癥狀序列進(jìn)行提前預(yù)測(cè)并做好預(yù)防,降低發(fā)病幾率等[5?6].復(fù)雜系統(tǒng)中包含著許多相關(guān)的有用信息,而且隨著時(shí)間的推移,其中包含的信息量也在不斷增加.隨著信息技術(shù)的發(fā)展,時(shí)間序列的數(shù)據(jù)量和應(yīng)用也隨之快速增長(zhǎng).

如何實(shí)現(xiàn)復(fù)雜時(shí)間序列的實(shí)時(shí)預(yù)測(cè),并跟蹤其將要發(fā)生的變化,是諸多研究領(lǐng)域非常關(guān)注的問(wèn)題.文獻(xiàn)[55?56]在LSSVM的基礎(chǔ)上添加過(guò)濾窗、迭代誤差補(bǔ)償和組合核函數(shù)的形式對(duì)復(fù)雜時(shí)間序列進(jìn)行預(yù)測(cè).文獻(xiàn)[66]采用卡爾曼濾波在高頻金融時(shí)間序列進(jìn)行預(yù)測(cè).文獻(xiàn)[57]采用自適應(yīng)遺傳算法和基于大腦情感學(xué)習(xí)模型預(yù)測(cè)時(shí)間序列.對(duì)于含噪聲和數(shù)據(jù)缺失的時(shí)間序列來(lái)說(shuō),文獻(xiàn)[58?60]給出了很好地解決方案.但是,傳統(tǒng)的數(shù)據(jù)預(yù)測(cè)方法集中于建模檢驗(yàn)預(yù)測(cè)、自適應(yīng)預(yù)測(cè)等,難以實(shí)時(shí)預(yù)測(cè)數(shù)據(jù)將要發(fā)生的變化.現(xiàn)有的真實(shí)數(shù)據(jù)本身較復(fù)雜,在實(shí)際應(yīng)用中會(huì)出現(xiàn)計(jì)算時(shí)間長(zhǎng)、效率低、存儲(chǔ)空間占用量大、預(yù)測(cè)精度低、跟蹤能力差等問(wèn)題.

因此,通常需要對(duì)復(fù)雜時(shí)間序列進(jìn)行稀疏選擇來(lái)降低核矩陣維度,然后再進(jìn)行更為有效地預(yù)測(cè)與跟蹤.綜上所述,用KAF模型對(duì)復(fù)雜難預(yù)測(cè)系統(tǒng)進(jìn)行在線(xiàn)預(yù)測(cè)、跟蹤具有十分重要的意義[52?54].

KAF通過(guò)分析現(xiàn)有時(shí)間序列的有效信息,能較好地反映當(dāng)前時(shí)間序列的潛在特征.然后再根據(jù)所得特征跟蹤時(shí)變信息,并進(jìn)行相關(guān)分析總結(jié),以提醒相應(yīng)部門(mén)對(duì)于將要到來(lái)的各種變化做出科學(xué)的決策[67?71].

KAF是人工智能領(lǐng)域中常用于時(shí)滯時(shí)變預(yù)測(cè)的技術(shù),它采用濾波的形式解決預(yù)測(cè)中出現(xiàn)的問(wèn)題[37?38],并能夠有效地增強(qiáng)預(yù)測(cè)模型的泛化性能與自適應(yīng)跟蹤能力.總的來(lái)說(shuō),KAF在處理非線(xiàn)性系統(tǒng)時(shí),隨著新樣本的不斷到來(lái),模型不斷地迭代更新.就已提出的KAF模型來(lái)說(shuō),不同的在線(xiàn)預(yù)測(cè)模型對(duì)應(yīng)不同的計(jì)算復(fù)雜度.原始核矩陣的計(jì)算的復(fù)雜度為O(L3),當(dāng)采用ALD準(zhǔn)則時(shí),其計(jì)算復(fù)雜度為O(L2).對(duì)于不同的稀疏方法得到的KAF模型,其復(fù)雜度也不同.表2給出了三類(lèi)KAF模型在每次迭代過(guò)程涉及的計(jì)算復(fù)雜度(其中,L表示樣本長(zhǎng)度,K表示字典大小).從表2可以看出:首先,表述的8種在線(xiàn)稀疏方法都在不同程度上降低了核矩陣的維度,即降低了模型的計(jì)算復(fù)雜度.其次,由于SW、FB和CC準(zhǔn)則在預(yù)測(cè)過(guò)程中都需要固定字典的大小(K遠(yuǎn)小于L),所以它們?cè)诮档秃司仃嚲S度、模型內(nèi)存占用和計(jì)算復(fù)雜度上都表現(xiàn)出較大優(yōu)勢(shì).最后,SF、MF和HC不僅在降低模型計(jì)算復(fù)雜度上出較大貢獻(xiàn),而且在對(duì)有效利用歷史信息上也具優(yōu)勢(shì)(主要是反饋信息的有效利用).

表2 每次迭代過(guò)程涉及的計(jì)算復(fù)雜度比較Table 2 Comparison of computational complexity involved in each iteration

由于KAF具有自適應(yīng)更新能力,因此常用于復(fù)雜時(shí)間序列預(yù)測(cè).基于KLMS的隨機(jī)行為分析,如文獻(xiàn)[72]在LMS的基礎(chǔ)上采用核在線(xiàn)技術(shù)提出順序優(yōu)化方法,并采用隨機(jī)梯度法順序更新權(quán)重,分析網(wǎng)絡(luò)流量序列的行為特征,從而實(shí)現(xiàn)網(wǎng)絡(luò)流量序列的在線(xiàn)預(yù)測(cè).基于KRLS的在線(xiàn)異常檢測(cè),如文獻(xiàn)[55]通過(guò)迭代誤差補(bǔ)償彌補(bǔ)SVM的誤差特性,從而減少冗余信息的殘差干擾,最終達(dá)到異常檢測(cè)的效果.基于KAPA的在線(xiàn)時(shí)間序列分類(lèi)等[56],如文獻(xiàn)[36]在KAPA的基礎(chǔ)上添加可重構(gòu)的FPGA加速器,該過(guò)程減小了梯度噪聲,在處理數(shù)據(jù)路徑和處理單元數(shù)量方面具有突出的優(yōu)勢(shì).總之,KAF通用的非線(xiàn)性建模能力對(duì)復(fù)雜時(shí)間序列預(yù)測(cè)更具優(yōu)勢(shì).

所以,根據(jù)KAF的特殊思想,許多學(xué)者已經(jīng)將KAF應(yīng)用于時(shí)間在線(xiàn)序列預(yù)測(cè)[72?77].由于環(huán)境變化不斷加劇,時(shí)間序列包含的噪聲也不斷復(fù)雜化,傳統(tǒng)的線(xiàn)性模型并不適應(yīng)非線(xiàn)性、復(fù)雜系統(tǒng)的劇烈變化,所以KAF在線(xiàn)模型在數(shù)據(jù)挖掘處理噪聲方面也展現(xiàn)出較好的結(jié)果[67].文獻(xiàn)[72]是以在線(xiàn)形式將KAF應(yīng)用于含噪聲的時(shí)間序列,過(guò)濾冗余噪聲信息,從而實(shí)現(xiàn)平滑太陽(yáng)黑子數(shù)量時(shí)間序列的預(yù)測(cè).KAF還通過(guò)最小平均絕對(duì)第三損失函數(shù)來(lái)濾除噪聲,從而得到更好的預(yù)測(cè)性能.文獻(xiàn)[74]在時(shí)間序列上執(zhí)行在線(xiàn)學(xué)習(xí),使用遺憾最小化技術(shù)解決在噪聲條件下的最小假設(shè)問(wèn)題,為執(zhí)行有效地在線(xiàn)學(xué)習(xí)過(guò)程剔除干擾項(xiàng).文獻(xiàn)[75]結(jié)合奇異魯棒策略和KRLS來(lái)解決非線(xiàn)性系統(tǒng)識(shí)別問(wèn)題.文獻(xiàn)[76]采用序貫在線(xiàn)學(xué)習(xí)方法預(yù)測(cè)水文時(shí)間序列(包括氣溫、水位、風(fēng)速、總發(fā)電量等),由于水文數(shù)據(jù)包含噪聲,所以該方法在濾除噪聲方面具有更好的特性.文獻(xiàn)[77]通過(guò)“核技巧”以循環(huán)在線(xiàn)訓(xùn)練的方式來(lái)執(zhí)行學(xué)習(xí)過(guò)程,該過(guò)程在循環(huán)損失函數(shù)中涉及自動(dòng)更新權(quán)重的正則化項(xiàng),在提升泛化能力的同時(shí)執(zhí)行在線(xiàn)學(xué)習(xí).文獻(xiàn)[78]將KAF以遞歸的形式應(yīng)用于腦電和自適應(yīng)天線(xiàn)陣列過(guò)程,該過(guò)程排除了腦電和天線(xiàn)陣列的噪聲信號(hào).文獻(xiàn)[79]將VQ和MC準(zhǔn)則應(yīng)用于KAF模型,它在處理異常值和脈沖噪聲方面更具特色.文獻(xiàn)[80,82]基于貝葉斯框架建立“遺忘”機(jī)制,它能很好地處理帶噪的腦電信號(hào),衰落和突變信道的跟蹤.

此外,文獻(xiàn)[83]推導(dǎo)和分析了用于二元和多元分類(lèi)、回歸和預(yù)測(cè)的算法,它們的更新步驟都是基于簡(jiǎn)單約束優(yōu)化問(wèn)題的分析解決方案.文獻(xiàn)[84?85]提出采用矩陣分解或負(fù)矩陣分解的降維方式來(lái)實(shí)現(xiàn)在線(xiàn)稀疏學(xué)習(xí),它已經(jīng)廣泛應(yīng)用于圖像處理和模式識(shí)別.文獻(xiàn)[86]提出子梯度方法動(dòng)態(tài)地結(jié)合早期迭代中觀(guān)察到的數(shù)據(jù)幾何知識(shí),以執(zhí)行更具信息性的基于梯度的在線(xiàn)學(xué)習(xí)過(guò)程.文獻(xiàn)[87]介紹了在線(xiàn)凸優(yōu)化,在線(xiàn)分類(lèi),在線(xiàn)批量轉(zhuǎn)換以及在線(xiàn)預(yù)測(cè)過(guò)程的約束限制問(wèn)題.文獻(xiàn)[88?89]提出預(yù)算方法實(shí)現(xiàn)對(duì)核的約束,從而推導(dǎo)出以預(yù)算隨機(jī)梯度下降和近似逼近的方式來(lái)適應(yīng)大規(guī)模SVM預(yù)測(cè).文獻(xiàn)[90]提出一個(gè)用于大規(guī)模在線(xiàn)分類(lèi)任務(wù)的高效且可擴(kuò)展的在線(xiàn)學(xué)習(xí)算法庫(kù).文獻(xiàn)[91]討論了在線(xiàn)預(yù)測(cè)和批處理在使用有限計(jì)算資源的過(guò)程中漸近地提供最佳的泛化性能的有效方法.文獻(xiàn)[92]介紹了基于LS回歸的收斂率問(wèn)題,該方法通過(guò)對(duì)初始條件和Hessian 矩陣的假設(shè)進(jìn)行分析,并最終實(shí)現(xiàn)平均加速正則梯度下降.文獻(xiàn)[93]研究了與凸損失函數(shù)相關(guān)的RKHS中的在線(xiàn)學(xué)習(xí)算法.

就預(yù)期的超額泛化誤差而言,它們可以作為基于內(nèi)核的批量學(xué)習(xí)算法快速收斂.從而實(shí)現(xiàn)對(duì)學(xué)習(xí)序列規(guī)范的預(yù)期值和在線(xiàn)學(xué)習(xí)算法的精確誤差分解的敏銳估計(jì).

文獻(xiàn)[94]提出KNLMS方法,它使用自適應(yīng)步長(zhǎng)加速學(xué)習(xí),并在收斂速度和穩(wěn)態(tài)之間提供合適的折中.文獻(xiàn)[95]提出具有非線(xiàn)性主路徑的有源噪聲控制系統(tǒng)的Kx LMS方法,主要用于改進(jìn)在參考噪聲與多個(gè)窄帶信號(hào)和附加高斯白噪聲混合時(shí)的預(yù)測(cè)性能.文獻(xiàn)[96]研究了在RKHS中沒(méi)有正則化條件時(shí)在線(xiàn)梯度下降法的收斂性,以收斂期望中的超泛化誤差.文獻(xiàn)[97]提出了改進(jìn)的在線(xiàn)隨機(jī)梯度下降法,由于特征稀疏性的異質(zhì)性,該方法用于解決收斂速度慢和方差大的問(wèn)題.文獻(xiàn)[98]建立了高斯核參數(shù)的自適應(yīng)更新方法并應(yīng)用于KAF,該方法的更新規(guī)則與L1正則化一同作用來(lái)避免預(yù)測(cè)中的過(guò)擬合和維數(shù)高問(wèn)題.文獻(xiàn)[99]提出尺度自適應(yīng)在線(xiàn)學(xué)習(xí)方法,通過(guò)評(píng)估核函數(shù)和系數(shù)向量之間的內(nèi)積實(shí)現(xiàn)KAF.文獻(xiàn)[100]提出了基于L2空間迭代投影的新型在線(xiàn)非線(xiàn)性函數(shù)學(xué)習(xí)、估計(jì)方法.文獻(xiàn)[101]提出了一種由節(jié)點(diǎn)網(wǎng)絡(luò)進(jìn)行非線(xiàn)性函數(shù)分布式學(xué)習(xí)的自適應(yīng)方案,基于多個(gè)RKHS的笛卡爾積度量,證明了方法的全面收斂性.

綜上所述,KAF在時(shí)間序列預(yù)測(cè)領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用[96?101].由KAF的改進(jìn)模型可以看出,其計(jì)算復(fù)雜度被明顯降低,內(nèi)存空間的占用也明顯減小,相應(yīng)的預(yù)測(cè)效率和預(yù)測(cè)精度也顯著提高.同時(shí),對(duì)于含噪聲和缺失值的時(shí)間序列還具有特殊的濾除噪聲和補(bǔ)差性能[58?59].

5 結(jié)論與展望

KAF的研究在近年來(lái)受到了越來(lái)越廣泛的關(guān)注,諸多學(xué)者對(duì)KAF學(xué)習(xí)機(jī)理和應(yīng)用進(jìn)行了全面的研究.KLMS、KRLS和KAPA奠定了LMS、RLS和APA在核空間應(yīng)用的基礎(chǔ).近年來(lái)對(duì)KAF的研究已經(jīng)取得了一定的進(jìn)展,并廣泛應(yīng)用于時(shí)間序列在線(xiàn)預(yù)測(cè),如氣象領(lǐng)域的溫度、濕度、風(fēng)速、風(fēng)向、日照時(shí)數(shù)、氣壓等實(shí)時(shí)性預(yù)測(cè),水文領(lǐng)域的水位、水溫、流量、凝結(jié)度等預(yù)測(cè),金融領(lǐng)域的股票聯(lián)動(dòng)性和股指期貨套期保值預(yù)測(cè),醫(yī)療領(lǐng)域的心電、腦電數(shù)據(jù)異常檢測(cè),交通領(lǐng)域的車(chē)流量、密度預(yù)測(cè)等.本文首先對(duì)KAF的學(xué)習(xí)方法和發(fā)展現(xiàn)狀進(jìn)行了詳細(xì)綜述,探討了KLMS、KRLS和KAPA的基本原理,以及其改進(jìn)模型在提高時(shí)間序列在線(xiàn)預(yù)測(cè)精度和預(yù)測(cè)效率,跟蹤時(shí)變特性和如何利用有效數(shù)據(jù)信息等方面的機(jī)理,同時(shí)將KLMS、KRLS和KAPA作為KAF在線(xiàn)預(yù)測(cè)的研究基礎(chǔ),分析在線(xiàn)稀疏策略在具有時(shí)變特性的非線(xiàn)性系統(tǒng)上的預(yù)測(cè)精度和預(yù)測(cè)效率的提高,接著結(jié)合其在線(xiàn)稀疏過(guò)程對(duì)計(jì)算復(fù)雜度進(jìn)行分析,最后總結(jié)KAF模型在時(shí)間序列預(yù)測(cè)、數(shù)據(jù)挖掘噪聲處理、性能補(bǔ)差、性能估計(jì)等方面的實(shí)際應(yīng)用.然而隨著研究的不斷深入,仍存在著一些值得研究和關(guān)注的問(wèn)題:

1)KAF在線(xiàn)預(yù)測(cè)方法中包含KLMS、KRLS、KAPA等多種模型,對(duì)于不同的模型所對(duì)應(yīng)的預(yù)測(cè)領(lǐng)域存在較大差異.例如,KLMS模型多用于非線(xiàn)性系統(tǒng)建模,即在非線(xiàn)性時(shí)間序列預(yù)測(cè)、信道均衡領(lǐng)域獲得較好的性能.KRLS模型多用于慢衰落和狀態(tài)變化很小的非線(xiàn)性時(shí)間序列跟蹤領(lǐng)域.KAPA模型多用于時(shí)間序列預(yù)測(cè)、非線(xiàn)性信道均衡和非線(xiàn)性濾除噪聲等領(lǐng)域.所以,不同的模型可能對(duì)應(yīng)不同領(lǐng)域及不同的問(wèn)題,這是當(dāng)前研究的一個(gè)重點(diǎn).同時(shí)如何對(duì)預(yù)測(cè)模型進(jìn)行正則化,提高模型的泛化能力也是一個(gè)研究重點(diǎn).

2)KAF在線(xiàn)預(yù)測(cè)方法對(duì)復(fù)雜時(shí)間序列預(yù)測(cè)具有更好的跟蹤性能,通過(guò)建模過(guò)程中的動(dòng)態(tài)更新機(jī)制,使在線(xiàn)預(yù)測(cè)過(guò)程能夠?qū)崟r(shí)反映核矩陣權(quán)重更新和系數(shù)矩陣更新,最終得到的預(yù)測(cè)模型具有自適應(yīng)實(shí)時(shí)更新能力.然而KAF在預(yù)測(cè)樣本時(shí),隨著新樣本的不斷加入,核矩陣維數(shù)不斷增加,其計(jì)算復(fù)雜度也隨之增大(線(xiàn)性關(guān)系),同時(shí)內(nèi)存消耗(占用量)也增大,相應(yīng)的降低了計(jì)算效率.對(duì)于上述問(wèn)題,有學(xué)者已經(jīng)提出了ALD、NC、SC、HC等多種在線(xiàn)稀疏方法來(lái)解決此類(lèi)問(wèn)題.因此,在預(yù)測(cè)模型中如何對(duì)輸入樣本進(jìn)行在線(xiàn)稀疏已經(jīng)成為繼續(xù)深入研究KAF的方向之一.

3)在時(shí)間序列在線(xiàn)預(yù)測(cè)過(guò)程中,隨著ALD、NC、SC、HC等多種在線(xiàn)稀疏方法加入預(yù)測(cè)模型,一些“冗余”的數(shù)據(jù)被剔除,在這個(gè)過(guò)程中也會(huì)伴隨數(shù)據(jù)利用效率的降低,即剔除的數(shù)據(jù)可能包含有效的歷史信息,如何判斷稀疏后的樣本序列是否包含有效信息也是需要研究的重點(diǎn).所以,在加入在線(xiàn)稀疏方法時(shí)如何保持稀疏后數(shù)據(jù)的“有效性”也是KAF在線(xiàn)預(yù)測(cè)未來(lái)研究的重要方向之一.

4)目前,隨著單核自適應(yīng)濾波器研究的深入,多核自適應(yīng)濾波器也不斷地發(fā)展.大多數(shù)多核算法是將兩個(gè)相同類(lèi)型的核函數(shù)應(yīng)用于預(yù)測(cè)模型,或者將兩種不同的核函數(shù)的加權(quán)和應(yīng)用于預(yù)測(cè)模型,此類(lèi)方法已經(jīng)取得了較好的預(yù)測(cè)結(jié)果.由于核函數(shù)表示的是一種將輸入(數(shù)據(jù))空間非線(xiàn)性映射到高維(隱藏)特征空間的過(guò)程,該過(guò)程是隱式的、未知的.所以在選用單核函數(shù)或多核函數(shù)的過(guò)程中,不同的選擇得到的預(yù)測(cè)結(jié)果大相徑庭,其預(yù)測(cè)性能也存在較大差異.所以,如何在復(fù)雜的非線(xiàn)性預(yù)測(cè)系統(tǒng)中選擇合適的核函數(shù)及其參數(shù),也是KAF在線(xiàn)預(yù)測(cè)的研究熱點(diǎn)之一.