基于智能集成粒子群算法的時(shí)間序列數(shù)據(jù)挖掘研究

張健

(三江學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院, 南京210012)

摘要：針對(duì)單一算法在處理復(fù)雜時(shí)間序列數(shù)據(jù)時(shí)存在缺陷以致無(wú)法挖掘全部信息的問(wèn)題，提出了智能集成架構(gòu)，給出了四種集成結(jié)構(gòu)，并分析了它們的適用情況。針對(duì)一類隨機(jī)噪聲干擾的時(shí)間序列數(shù)據(jù)，采用并聯(lián)嵌套建模結(jié)構(gòu)，提出嵌套雙種群粒子群算法的自回歸滑動(dòng)平均(ARMA)模型，用于挖掘數(shù)據(jù)中的隨機(jī)性趨勢(shì)；提出基于概率密度控制(PDF)的最小二乘支持向量機(jī)(LSSVM)，用于挖掘數(shù)據(jù)中的確定性趨勢(shì)，兩種模型并聯(lián)補(bǔ)集成實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的充分挖掘。通過(guò)一組實(shí)驗(yàn)驗(yàn)證了所提方法的效果。

關(guān)鍵詞：時(shí)間序列;支持向量機(jī);智能集成;自回歸滑動(dòng)平均

文章編號(hào)：1673-1549(2015)04-0027-06

DOI:10.11863/j.suse.2015.04.06

收稿日期:2015-06-04

作者簡(jiǎn)介:張健(1975-)，男，江蘇淮安人，實(shí)驗(yàn)師，碩士，主要從事計(jì)算機(jī)應(yīng)用方面的研究，(E-mail)zhang1jian086@126．com

中圖分類號(hào)：TP399

文獻(xiàn)標(biāo)志碼：A

引言

隨著信息時(shí)代的到來(lái)，大數(shù)據(jù)分析已成為各個(gè)領(lǐng)域愈來(lái)愈重視與依賴的技術(shù)手段。其中，時(shí)間序列數(shù)據(jù)廣泛存在于農(nóng)業(yè)、金融、制造業(yè)等各個(gè)領(lǐng)域。時(shí)間序列挖掘是從大量的時(shí)間序列數(shù)據(jù)中提取數(shù)據(jù)中隱含的規(guī)律與知識(shí)， 通過(guò)對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行挖掘分析，能夠掌握事物的發(fā)展規(guī)律，從而對(duì)其未來(lái)趨勢(shì)進(jìn)行預(yù)測(cè)。

時(shí)間序列建模與預(yù)測(cè)方法一般分為傳統(tǒng)方法與智能方法兩類。傳統(tǒng)方法包括線性回歸分析[1-3]、非線性回歸分析[4-6]、自回歸滑動(dòng)平均(ARMA)建模[7-9]、偏最小二乘法[10]、灰色預(yù)測(cè)[11-13]等。

智能方法采用專家系統(tǒng)[14]、模糊規(guī)則[15]、神經(jīng)網(wǎng)絡(luò)[16-17]、支持向量機(jī)[18-20]等智能技術(shù)實(shí)現(xiàn)預(yù)測(cè)建模。專家系統(tǒng)建模借鑒專家經(jīng)驗(yàn)知識(shí)實(shí)現(xiàn)對(duì)生產(chǎn)過(guò)程的描述，具有非常好的解釋性，然而其知識(shí)獲取存在瓶頸，學(xué)習(xí)能力差。模糊邏輯與專家系統(tǒng)類似，也是根據(jù)專家經(jīng)驗(yàn)知識(shí)實(shí)現(xiàn)對(duì)生產(chǎn)過(guò)程的描述，區(qū)別在于它采用模糊推理方法能夠很好地處理不確定信息?；谀：?guī)則的建模技術(shù)同樣受限于所獲取的知識(shí)，并且具有模型精度不高的問(wèn)題。

人工神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)是兩種具有代表性的基于數(shù)據(jù)的機(jī)器學(xué)習(xí)技術(shù)。當(dāng)樣本量足夠大時(shí)，人工神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近工業(yè)對(duì)象的非線性特性，因此被廣泛應(yīng)用于預(yù)測(cè)建模問(wèn)題中。然而，人工神經(jīng)網(wǎng)絡(luò)的建模精度依賴于學(xué)習(xí)樣本并且模型訓(xùn)練容易陷入局部最優(yōu)。支持向量機(jī)技術(shù)建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上，它能夠依靠有限的樣本信息，基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論，在模型復(fù)雜性和模型學(xué)習(xí)能力之間尋求最佳折衷，因此具有優(yōu)良的泛化能力。需要指出的是，人工神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)技術(shù)雖然具有出色的非線性逼近能力，但是它們與傳統(tǒng)建模方法一樣，建立的都是黑箱模型，其模型精度依賴于所獲取的樣本信息。

對(duì)于復(fù)雜的預(yù)測(cè)問(wèn)題，采用一種建模方法往往無(wú)法達(dá)到預(yù)測(cè)精度，因此需要集成多種建模技術(shù)，吸收各方建模優(yōu)勢(shì)，從而達(dá)到精確預(yù)測(cè)目的。智能集成建模是將兩種或兩種以上的建模方法，按一定的方式集成后實(shí)現(xiàn)對(duì)復(fù)雜工業(yè)過(guò)程建模，其中至少一種為智能建模方法。比如，文獻(xiàn)[21]集成粗糙集理論與支持向量機(jī)從而建立粗支持向量機(jī)模型，實(shí)現(xiàn)對(duì)時(shí)間序列預(yù)測(cè)；文獻(xiàn)[20]針對(duì)時(shí)間序列數(shù)據(jù)非線性、冗余特征，集成支持向量機(jī)技術(shù)與粒子群優(yōu)化算法實(shí)現(xiàn)預(yù)測(cè)；文獻(xiàn)[22]針對(duì)數(shù)據(jù)存在高度的非線性、耦合性和多因素的影響，采用集成遺傳算法與最小二乘支持向量機(jī)的預(yù)測(cè)建模方法，從而提高了預(yù)測(cè)精度；文獻(xiàn)[23]提出了一種神經(jīng)網(wǎng)絡(luò)和灰色預(yù)測(cè)相結(jié)合的稅收預(yù)測(cè)新方法，與單一方法相比，該方法具有更高的精度。

本文提出了智能集成架構(gòu)，給出了四種智能集成結(jié)構(gòu)并分析了它們的適用情況。針對(duì)一類隨機(jī)噪聲干擾的時(shí)間序列數(shù)據(jù)，采用并聯(lián)嵌套建模結(jié)構(gòu)，提出嵌套雙種群粒子群算法的自回歸滑動(dòng)平均模型，用于挖掘數(shù)據(jù)中的隨機(jī)性趨勢(shì)；提出基于概率密度控制的最小二乘支持向量機(jī)，用于挖掘數(shù)據(jù)中的確定性趨勢(shì)，兩種模型并聯(lián)補(bǔ)集成實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的充分挖掘。通過(guò)一組實(shí)驗(yàn)驗(yàn)證了所提方法的效果。

1智能集成架構(gòu)

智能集成是將兩種或兩種以上的模式挖掘方法，按一定的方式集成后實(shí)現(xiàn)對(duì)復(fù)雜數(shù)據(jù)規(guī)律或模式挖掘，其中至少一種為智能建模方法。智能集成模式挖掘方法的形式與結(jié)構(gòu)主要有四種。

(1) 并聯(lián)補(bǔ)集成結(jié)構(gòu)。并聯(lián)補(bǔ)集成結(jié)構(gòu)包括兩個(gè)子模型，兩個(gè)模型沒(méi)有主次之分，且相互之間互為補(bǔ)充。該結(jié)構(gòu)中的兩個(gè)子模型通常由兩種建模方法得到，單一建模方法能夠挖掘時(shí)間序列數(shù)據(jù)中的部分信息以獲知對(duì)應(yīng)規(guī)律，但由于方法所限，無(wú)法獲知數(shù)據(jù)中的全部信息，因此依靠?jī)煞N建模方法互為補(bǔ)充以充分挖掘數(shù)據(jù)中隱含的規(guī)律或模式。

疊加形式分為相加與相乘兩種。并聯(lián)疊加集成結(jié)構(gòu)如圖1與圖2所示。圖中，X1為模型1的輸入，Y1為模型1的輸出，Y1=f1(X1)。X2為模型2的輸入，δ為模型2的輸出，δ=f2(X2)。圖1中，Y=Y0+δ；圖2中，Y=δY0。

圖1　相加形式的并聯(lián)補(bǔ)結(jié)構(gòu)

圖2　相乘形式的并聯(lián)補(bǔ)結(jié)構(gòu)

(2) 加權(quán)疊加集成結(jié)構(gòu)。加權(quán)疊加集成結(jié)構(gòu)由多個(gè)子模型加權(quán)后疊加構(gòu)成，其中每個(gè)子模型對(duì)應(yīng)的權(quán)重大小決定了它在集成模型中所起的作用。該結(jié)構(gòu)中的多個(gè)子模型通常由多種建模方法得到，單一建模方法能夠挖掘時(shí)間序列數(shù)據(jù)中的部分信息以獲知對(duì)應(yīng)規(guī)律，但由于方法所限，無(wú)法獲知數(shù)據(jù)中的全部信息，因此依靠多種建模方法互為補(bǔ)充以充分挖掘數(shù)據(jù)中隱含的規(guī)律或模式。

圖3　加權(quán)并集成結(jié)構(gòu)

(3) 串聯(lián)集成結(jié)構(gòu)。串聯(lián)集成結(jié)構(gòu)包括兩個(gè)甚至更多個(gè)子模型，除了第一個(gè)和最后一個(gè)模型，每一個(gè)模型都是前面一個(gè)模型的輸出，同時(shí)也是后一個(gè)模型的輸入。非線性動(dòng)態(tài)系統(tǒng)通常采用這種形式，比如，采用神經(jīng)網(wǎng)絡(luò)反映系統(tǒng)靜態(tài)時(shí)的非線性特性，采用NARMX(具有外生變量的非線性自回歸滑動(dòng)平均)表征動(dòng)態(tài)特性。串聯(lián)集成結(jié)構(gòu)如圖4所示。

圖4　串聯(lián)集成結(jié)構(gòu)

(4) 模型嵌套集成結(jié)構(gòu)。嵌套集成結(jié)構(gòu)包括至少兩個(gè)子模型，其中一個(gè)稱為基模型，用來(lái)對(duì)工業(yè)過(guò)程的主體結(jié)構(gòu)進(jìn)行建模，其它子模型則嵌套在基模型中，用來(lái)對(duì)基模型中的未知參數(shù)建模，如圖5所示。比如將蟻群算法[1-2]、粒子群優(yōu)化算法[3-5]、遺傳算法[6-7]等仿生算法應(yīng)用到系統(tǒng)辨識(shí)中，用來(lái)實(shí)現(xiàn)模型中的參數(shù)估計(jì)。

圖5　模型嵌套集成

2嵌套雙種群粒子群算法的ARMA模型

ARMA時(shí)間序列模型理論非常完善，對(duì)于一個(gè)平穩(wěn)、零均值的時(shí)間序列，如果采取合適的階次與系數(shù)，它能保證擬合出的模型預(yù)報(bào)殘差為零均值噪聲。

本文提出雙種群粒子群優(yōu)化算法(cPSO)，其中一個(gè)子群執(zhí)行自適應(yīng)網(wǎng)格粒子搜索，以保持種群的多樣性，提高算法的全局搜索能力；另外一個(gè)子群按照快速收縮粒子群算法搜索，具有非常出色的收斂性能。采用cPSO算法優(yōu)化確定ARMA模型的階次與系數(shù)以最小化模型預(yù)報(bào)殘差。

算法步驟為：

第一步：采用單位根檢驗(yàn)法(ADF)對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行平穩(wěn)性檢驗(yàn)，如果序列為零均值平穩(wěn)序列則直接用于ARMA模型建模，否則需要對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行平穩(wěn)化處理。

第二步：設(shè)置模型階次與系數(shù)優(yōu)化準(zhǔn)則為模型預(yù)報(bào)的均方根誤差最小化。

第三步：采用cPSO算法擬合ARMA模型系數(shù)與階次。cPSO算法原理如圖6所示，其過(guò)程為：

圖6　cPSO算法流程

(1) 劃分網(wǎng)格

將每一維決策變量平均分成gp段。

(2) 劃分子種群

將整個(gè)種群分為兩個(gè)子群，即發(fā)散PSO搜索子群(簡(jiǎn)稱網(wǎng)格子群)與收縮PSO子群(簡(jiǎn)稱PSO子群)，兩個(gè)子種群的粒子個(gè)數(shù)分別為Popz與Pops。

(3) 種群初始化

(4) 向?qū)д{(diào)整

根據(jù)優(yōu)化準(zhǔn)則即模型預(yù)報(bào)誤差均方根最小化評(píng)估每個(gè)粒子，得到feval(pxq),q=1,...,Popz+Pops，并按照式(1)～式(2)調(diào)整PSO子群的個(gè)體向?qū)c全局向?qū)?/p>

(1)

(2)

(5) 發(fā)散參數(shù)調(diào)整

根據(jù)gbest所在格子(這里稱為向?qū)ЬW(wǎng)格)的位置調(diào)整每個(gè)網(wǎng)格粒子的搜索范圍。調(diào)整后使所有發(fā)散PSO粒子的搜索范圍都包括向?qū)ЬW(wǎng)格區(qū)間，如圖7所示。為了表述簡(jiǎn)單，假設(shè)將每一維決策變量范圍分成3段，兩維空間，因此總共分割成9個(gè)網(wǎng)格，其中g(shù)best位于第5個(gè)網(wǎng)格內(nèi)。在調(diào)整前粒子1的搜索范圍為網(wǎng)格1，調(diào)整后粒子1的搜索范圍變?yōu)榫W(wǎng)格1、2、4、5構(gòu)成的空間。同樣，在調(diào)整前粒子2的搜索范圍為網(wǎng)格2，調(diào)整后粒子2的搜索范圍變?yōu)榫W(wǎng)格2、5構(gòu)成的空間。

圖7　網(wǎng)格調(diào)整實(shí)例

(6) 發(fā)散PSO子群位置更新

發(fā)散PSO子群的位置pxq(q=1,…,Popz)按照式(3)進(jìn)行更新

(3)

(7) PSO子群位置更新

收縮PSO子群的位置pxq(q=Popz+1,…,Popz+Pops)按照式(4)進(jìn)行更新

(4)

第四步：驗(yàn)證所建立的時(shí)間序列ARMA模型。

3基于PDF的LSSVM

本文在前人研究的基礎(chǔ)上，提出一種新LSSVM模型參數(shù)選擇準(zhǔn)則。通過(guò)該準(zhǔn)則，可以使得LSSVM模型的殘差PDF向給定的高斯分布逼近[24]，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)分析與預(yù)測(cè)的泛化性與精度提高的目的。其算法原理[24]為：

假設(shè)回歸問(wèn)題的一組樣本數(shù)據(jù)集為D={(x1,y1),…,(xj,yj),…,(xl,yl)}，xj∈Rn，yj∈R，并且存在一個(gè)非線性函數(shù)：

f(x)=[ω,φ(x)]+b

(5)

其中，ω∈Rni表示權(quán)向量，b表示偏置項(xiàng)，[·,·]表示點(diǎn)乘，φ(x):Rn→Rm表示輸入空間向高維特征空間(維數(shù)不受限制)的非線性映射。

通過(guò)LSSVM，優(yōu)化問(wèn)題可以轉(zhuǎn)化或描述為：

s.t.yj=[ω,φ(xj)]+b+ζjj=1,...,l

(6)

其中，ζj∈R和C分別用來(lái)表示殘差和懲罰系數(shù)。

對(duì)Lagrangian函數(shù)進(jìn)行建立，并依據(jù)KKT(Karush-Kuhn-Tucker)條件，得到

(7)

消除ω，ζ后，得到線性方程

(8)

Ωjk=[φ(xj)T,φ(xk)]=K(xj,xk)

,k=1,2, ..., l

(9)

核函數(shù)取高斯徑向基函數(shù)

(10)

則，待求 LSSVM 回歸模型為：

(11)

其中，求解式(8)可獲得αj與b的值。

在前面的模型構(gòu)建過(guò)程中，C和σ是可調(diào)的，它們的值一旦確定，就得到了最小二乘支持向量機(jī)的具體模型。

通過(guò)文獻(xiàn)[20]中用到的標(biāo)準(zhǔn)網(wǎng)格搜索算法求取LSSVM模型的參數(shù)。

殘差ξ為

(12)

進(jìn)一步可以寫成如下函數(shù)形成

ξ=Π(x,y,C,σ)

(13)

以γξ表示ξ的概率密度分布，γξ為C和σ的函數(shù)，即γξ(x,y,C,σ)?？梢酝ㄟ^(guò)調(diào)整C和σ的數(shù)值使γξ接近目標(biāo)高斯分布。

以γtarget表示目標(biāo)高斯分布的概率密度函數(shù)：

(14)

定義參數(shù)選擇準(zhǔn)則

(15)

4實(shí)驗(yàn)研究

針對(duì)隨機(jī)噪聲干擾的時(shí)間序列數(shù)據(jù)，本文采用并聯(lián)嵌套建模結(jié)構(gòu)，利用子模型嵌套cPSO的ARMA模型挖掘數(shù)據(jù)中的隨機(jī)性趨勢(shì)；利用基于PDF的LSSVM挖掘數(shù)據(jù)中的確定性趨勢(shì)，兩種模型并聯(lián)補(bǔ)集成實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的充分挖掘。

圖8　PDF-LSSVM與ARMA-LSSVM模型對(duì) 訓(xùn)練結(jié)果與樣本數(shù)據(jù)的擬合程度對(duì)比

圖9　PDF-LSSVM與ARMA-LSSVM模型預(yù)報(bào)結(jié)果與測(cè)試數(shù)據(jù)擬合程度對(duì)比

圖10　PDF-LSSVM與ARMA-LSSVM模型訓(xùn)練殘差

圖11　PDF-LSSVM與ARMA-LSSVM模型預(yù)報(bào)殘差

圖12　PDF-LSSVM與ARMA-LSSVM訓(xùn)練模型殘差的自相關(guān)分析

圖13　PDF-LSSVM與ARMA-LSSVM預(yù)報(bào)殘差的自相關(guān)分析

圖8～圖11的對(duì)比結(jié)果表明，雖然兩種模型訓(xùn)練的結(jié)果都能對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行擬合，兩種模型訓(xùn)練精度都能滿足要求，但是，與單純的PDF-LSSVM模型相比，ARMA-LSSVM的訓(xùn)練精度、預(yù)報(bào)精度、泛化性更高，ARMA-LSSVM更具有實(shí)用價(jià)值。

圖12和圖13中，PDF-LSSVM模型的訓(xùn)練殘差與預(yù)報(bào)殘差均不為白噪聲，即PDF-LSSVM建模型沒(méi)能提取出建模對(duì)象的全部信息，造成模型精度不高、泛化性差等問(wèn)題。與之相比，ARMA-LSSVM模型的訓(xùn)練殘差與預(yù)報(bào)殘差近似為白噪聲，因此其模型結(jié)果具有更高精度與應(yīng)用價(jià)值。

參 考 文 獻(xiàn)：

[1]孫翔,王景成.基于回歸模型的城市長(zhǎng)期水量預(yù)測(cè).微型電腦應(yīng)用,2010,26(11):7-9.

[2]才讓加.化學(xué)數(shù)據(jù)的一元線性回歸分析.青海師范大學(xué)學(xué)報(bào):自然科學(xué)版,2005(2):13-15.

[3]姚偉.稅收組合預(yù)測(cè)仿真研究.計(jì)算機(jī)仿真,2012,29(10):374-377.

[4]葉宗裕.非線性回歸模型參數(shù)估計(jì)方法研究——以C-D生產(chǎn)函數(shù)為例.統(tǒng)計(jì)與信息論壇,2010,25(1):41-45.

[5]張金旺,劉紅,華琳,等.非線性回歸模型擬合生存資料分析.數(shù)理醫(yī)藥學(xué)雜志,2009,22(6):641-642.

[6]Ratkowsky D A.Nonlinear Regression Modeling:a unified practical approach.New York:Marcel Dekker Inc.,1983.

[7]張新波.時(shí)間序列模型在稅收預(yù)測(cè)中的應(yīng)用.湖南稅務(wù)高等專科學(xué)校學(xué)報(bào),2010,23(4):30-32.

[8]林錦朗.時(shí)間序列模型在海關(guān)稅收預(yù)測(cè)中的應(yīng)用.統(tǒng)計(jì)與咨詢,2009(1):26-27.

[9]王時(shí)繪,周健.時(shí)間序列數(shù)學(xué)模型在稅收分析中的應(yīng)用.科技廣場(chǎng),2011(7):150-154.

[10]張伏生,汪鴻,韓悌,等.基于偏最小二乘回歸分析的短期負(fù)荷預(yù)測(cè).電網(wǎng)技術(shù),2003,27(3):36-40.

[11]孫智勇,劉星.稅收增長(zhǎng)預(yù)測(cè)的灰色理論模型研究.重慶大學(xué)學(xué)報(bào):社會(huì)科學(xué)版,2010,16(3):41-45.

[12]郭曉君,李大治,褚海鷗,等.基于GM(1,1)改進(jìn)模型的“兩稅”稅收預(yù)測(cè)研究.統(tǒng)計(jì)與決策,2014(4):34-36.

[13]王敏.稅收收入預(yù)測(cè)方法的優(yōu)選與應(yīng)用.稅務(wù)研究,2009(10):35-38.

[14]Walczak B,Massart D L.Dealing with missing data: Part II.Chemometrics and Intelligent Laboratory Systems,2001,58(1):29-42.

[15]Schafer J L,Graham J W.Missing data:Our view of the state of the art[J].Psychological Methods,2002,7(2):147-177.

[16]Chen J,Bandoni A,Romagnoli J A.Outlier detection in process plant data.Computers and Chemical Engineering,1998,22(4-5):641-646.

[17]趙慧,甘仲惟,肖明.多變量統(tǒng)計(jì)數(shù)據(jù)中異常值檢驗(yàn)方法的探討.華中師范大學(xué)學(xué)報(bào):自然科學(xué)版,2003,37(2):133-137.

[18]Victoria J H,Jim A.A survey of outlier detection methodologies.Artificial Intelligence Review,2004,22(2):85-126.

[19]成忠.PLSR用于化學(xué)化工建模的幾個(gè)關(guān)鍵問(wèn)題的研究.杭州:浙江大學(xué),2005.

[20]張玉,尹騰飛.支持向量機(jī)在稅收預(yù)測(cè)中的應(yīng)用研究.計(jì)算機(jī)仿真,2011,28(9):357-360.

[21]劉碧森,姚宇.粗SVM理論及其在稅收預(yù)測(cè)中的應(yīng)用.儀器儀表學(xué)報(bào),2005,26(8):1530-1531.

[22]侯利強(qiáng),楊善林,陳志強(qiáng),等.基于遺傳優(yōu)化偏最小二乘支持向量機(jī)的稅收預(yù)測(cè)研究.科技管理研究,2014,34(11):197-200.

[23]肖蘇,熊焱.基于灰度統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)的物流業(yè)稅收預(yù)測(cè)模型.物流技術(shù),2013,32(12):131-134.

[24]傅俊,朱莉.基于殘差控制的最小二乘支持向量機(jī)建模方法.計(jì)算機(jī)工程與應(yīng)用(待發(fā)表).

Research on Time Series Data Mining Based on

Intelligent Integrated Particle Swarm Optimization Algorithm

ZHANGJian

(College of Computer Science and Engineering, Sanjiang University, Nanjing 210012, China)

Abstract:An intelligent integrated architecture is proposed to address the problem that a single algorithm has the defect that can't dig all information in dealing with complex time series data. Four kinds of integration architecture have been given and their applications have been analyzed. Aiming at the time series data of a class of random noise interference, a series nested modeling structure is adopted, and the autoregressive moving average model of multiple double-population particle swarm optimization algorithm is proposed to dig the randomness trend in data. Meanwhile, The least squares support vector machine (LSSVM) based on probability density functions control (PDF) is proposed to dig the certainty trend in data, the parallel compensation of two models realizes the full excavation of data information. Through a set of experiments, the effect of proposed method is verified.

Key words: time series; Support Vector Machine (SVM); intelligent integrated; ARMA