康海貴 李明偉 周鵬飛 趙澤輝

（大連理工大學(xué)工程建設(shè)學(xué)部 大連 116024）

支持向量機(jī)（SV M）在經(jīng)驗(yàn)風(fēng)險最小化的基礎(chǔ)上同時采用了結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則［1］，很好地解決了小樣本、非線性、高維數(shù)、局部極小等實(shí)際問題［2］，避免了神經(jīng)網(wǎng)絡(luò)的參數(shù)難以選擇、易陷入局部極值和過擬合等缺陷.但是，支持向量機(jī)本身并沒有給出選擇合適參數(shù)的方法，目前主要依靠經(jīng)驗(yàn)法和試算法，很大程度上影響了模型的推廣使用.考慮到基于混沌理論改進(jìn)的混沌高效遺傳算法（CHEGA）在參數(shù)優(yōu)選中表現(xiàn)出的快速、高效的特點(diǎn)，本文建立了基于CHEGA進(jìn)行參數(shù)優(yōu)選的CHEGA－SVM交通量預(yù)測模型，并進(jìn)行了仿真驗(yàn)證.對比結(jié)果表明該模型在交通量預(yù)測過程中具有一定的實(shí)用性.

1 支持向量回歸的基本原理

在解決函數(shù)回歸問題時，SV M方法的基本思想是：通過事先定義的非線性映射φ：Rn→Rm（m≥n），把輸入空間的數(shù)據(jù)x映射到一個高維特征空間，然后在該空間中做線性回歸φ：Rn→Rm（m≥n）.給定數(shù)據(jù)點(diǎn)集為｛（xi，yi），i＝1，2，…，N｝，式中：xi∈Rn為輸入變量；yi∈Rn為與xi相對應(yīng)的輸出向量；N為數(shù)據(jù)點(diǎn)總數(shù).SV M通過下式進(jìn)行函數(shù)回歸估計(jì)

式中：ω，φ為m 向量；“·”表示特征空間中的點(diǎn)積；b∈R為閾值.SV M采用最小化結(jié)構(gòu)Rstr來確定參數(shù)w和b，即

同時引入松弛變量ξi和ξ＊i（i＝1，2，…，l），式（2）可改寫為

上式便是SVM的原始問題，可以看出原始問題是一個有線性約束的二次規(guī)劃問題.根據(jù)強(qiáng)對偶定理，引入 Lagrange乘子αi和αi（i＝1，2，…，l），建立Lagrange函數(shù)，并對w，b，ξi和ξ＊i求偏導(dǎo)并令其為0，于是得到上述SV M原始問題的對偶問題為

式中：K（xi，yi）＝［φ（xi）·φ（xj）］為核函數(shù)，其作用是不必知道從低維輸入空間到高維特征空間非線性映射φ（x）的具體形式，通過引入核函數(shù)就可得到?jīng)Q策回歸方程.常用的核函數(shù)主要有

多項(xiàng)式函數(shù) K［x，xi］＝［x·xi＋1］q

本文選用的核函數(shù)是RBF函數(shù)［3］，其中δ為RBF函數(shù)的寬度函數(shù).設(shè)對偶問題的解為ˉα＝根據(jù)SV M的稀疏性一對αi和最多只有一個不為零，即2，…，l）且只有少數(shù)可不為零，這些不為零的參數(shù)所對應(yīng)的輸入向量xi稱為支持向量，則決策方程只由支持向量決定，與非支持向量無關(guān).決策回歸方程式（1）可改寫為

式中：xi為訓(xùn)練年份影響因子向量；x為預(yù)測年份的影響因子向量；f（x）為指標(biāo)集合向量.式（7）即為SVM的交通量預(yù)測模型.

由上述可知，SV M的參數(shù)主要為懲罰系數(shù)C、損失函數(shù)參數(shù)ε和RBF核函數(shù)參數(shù)δ2，它們的選擇在很大程度上影響著SV M的預(yù)測精度和泛化性能，只有正確選擇參數(shù)，才可以使SV M回歸估計(jì)得到較好的擬合效果［4］，因此為了提高SV M預(yù)測模型的預(yù)測精度和泛化性能，本文利用CHEGA進(jìn)行參數(shù)С，ε和δ2的優(yōu)選.

2 混沌映射

式中：x（i）為變量x在第i次的迭代值，其中u是控制參量.

理論上已經(jīng)證明當(dāng)u≥4時系統(tǒng)完全處于混沌狀態(tài)，所以x（0）可任意設(shè)為［0，1］區(qū)間內(nèi)的初值，但不能為0.25，0.5和0.75，然后根據(jù)式（9）得到混沌變量［6］.

圖1給出了n＝500，u＝4，x（0）＝0.45時混沌變量的分布情況.圖2給出了n＝500一般隨機(jī)均勻分布系統(tǒng)產(chǎn)生的均勻隨機(jī)變量分布情況.

圖1 Logistic映射混沌變量圖

圖2 均勻分布隨機(jī)變量圖

從圖1和圖2可以看出，Logistic混沌映射軌道點(diǎn)能夠布滿整個區(qū)域的內(nèi)部和邊界，并且區(qū)域的內(nèi)部和邊界的軌道點(diǎn)的數(shù)量分布比較均勻，而均勻分布點(diǎn)雖然能夠布滿整個區(qū)域，但多分布在區(qū)域的內(nèi)部，在區(qū)域的邊界上的數(shù)量分布很少.在大量的非線性優(yōu)化問題中，最優(yōu)點(diǎn)的分布可能在區(qū)域的內(nèi)部，也可能在邊界上，因此采用Logistic混沌映射來生成初始群體，并利用混沌變異改進(jìn)的混沌高效遺傳算法，能夠更好地搜索整個區(qū)域，保持種群的多樣性，進(jìn)行精細(xì)搜索.

3 CHEGA－SV M交通量預(yù)測模型算法

式中：n為輸入樣本個數(shù)；Y1（t）為SV M 擬合序列；Y（t）為實(shí)際序列值.基于CHEGA優(yōu)化CHEGA－SV M交通量預(yù)測模型的計(jì)算步驟如下.

步驟1 樣本數(shù)據(jù)和參數(shù)初始區(qū)間歸一化.對輸入的樣本數(shù)據(jù)和參數(shù)的初始化區(qū)間進(jìn)行歸一化處理，歸一化方法如下.

式中：b（j）和a（j）分別為第j類數(shù)據(jù)取值范圍的最大值和最小值.

步驟2 混沌隨機(jī)父代群體初始化.由Logistic混沌映射在參數(shù)初始區(qū)間內(nèi)生成初始父代群體，m 個初始父代群體記為y（j，i），（j＝1，2，3；i＝1，2，…，m），其中y（j，i）為第i個父代個體上的第j個基因，本文取m＝50，u＝4.0，y（j，0）＝0.7.

步驟3 父代個體的適應(yīng)度評價.將第i個父代個體的基因作為SV M參數(shù)，以訓(xùn)練集樣本為輸入輸出，對SV M模型進(jìn)行訓(xùn)練，將SV M訓(xùn)練結(jié)束后返回的輸出序列方差Q的倒數(shù)作為第i個父代個體的適應(yīng)度值F（i）＝1／Q.

步驟4 選擇操作.產(chǎn)生第1個子代群體｛y1（j，i），j＝1，2，3；i＝1，2，…，m｝，取比例選擇方式，則父代個體y（j，i）的選擇概率為ps（i）＝

CHEGA優(yōu)化SV M參數(shù)問題可以轉(zhuǎn)化為如下最小化問題則 序 列｛p（i），i＝1，2，…，m｝把［0，1］區(qū)間分成m 個子區(qū)間，生成m－5個隨機(jī)數(shù)｛u（k），k＝1，2，…，n－5｝，若u（k）在［p（i－1），p（i）］中，則第i個個體y（j，i）被 選 中，即 y1（j，k）＝ y（j，i），為 增 強(qiáng)CHEGA進(jìn)行全局優(yōu)化搜索能力，這里把最優(yōu)秀的5個父代個體直接加入子代群體中，即進(jìn)行移民操作

步驟5 雜交操作.產(chǎn)生第2個子代群體｛y2（j，i），j＝1，2，3；i＝1，2，…，m｝，根據(jù)選擇概率隨機(jī)選擇一對父代個體y（j，i1）＝y(tǒng)（j，i2）作為雙親，并進(jìn)行如下隨機(jī)線性組合，產(chǎn)生一個子代個體y2（j，i）

式中：u1，u2，u3都為隨機(jī)數(shù)，通過雜交操作，共產(chǎn)生m個子代個體.

步驟6 混沌變異操作.產(chǎn)生第3個子代群體｛y3（j，i），j＝1，2，3；i＝1，2，…，m｝，CHEGA的混沌變異操作采用自適應(yīng)變異概率pm（i）＝1－p（i）來代替?zhèn)€體y（j，i），從而得到子代個體y3（j，i），即

式中：u（j）為混沌變量；um為［0，1］區(qū)間上的均勻隨機(jī)數(shù).

步驟7 演化迭代.由步驟4到6得到的3m個子代個體，按照其適應(yīng)度值F＊（i）從大到小進(jìn)行排序，判斷當(dāng)前種群中最優(yōu)個體是否滿足終止準(zhǔn)則，若滿足轉(zhuǎn)入步驟9，否則取排在最前面的m個子代個體作為新的父代群體.然后轉(zhuǎn)入步驟3進(jìn)入下一輪演化過程.停止準(zhǔn)則采用最大進(jìn)化代數(shù)Gmax與相鄰進(jìn)化代數(shù)最優(yōu)個體適應(yīng)值相對誤差E相結(jié)合.

步驟8 引進(jìn)加速遺傳算子.每演化迭代兩次，取進(jìn)化得到的6m個子代個體中的m個優(yōu)秀個體的變化區(qū)間作為新的初始變化區(qū)間，轉(zhuǎn)入步驟2，重新開始迭代過程.

步驟9 訓(xùn)練模型輸出預(yù)測結(jié)果.以當(dāng)前種群中具有最大適應(yīng)值的個體的染色體基因С，ε和δ2作為SV M參數(shù)訓(xùn)練模型，輸入待測樣本，輸出預(yù)測值.

計(jì)算流程見圖3.

4 模型仿真驗(yàn)證

4.1 CHEGA－SVM交通量預(yù)測模型的訓(xùn)練與預(yù)測

結(jié)合某市客運(yùn)量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行仿真驗(yàn)證，指標(biāo)集為1978～2008年全市客運(yùn)量，經(jīng)相關(guān)性分析得出影響因子集為1978～2008年全市消費(fèi)品總額、人均收入、能源總量、生產(chǎn)總值、汽車擁有量和總?cè)丝?在總體樣本中抽取1982、1986、1990、1995、2001、2007年的影響因子和指標(biāo)作為測試集，其余為訓(xùn)練集，應(yīng)用CHEGA－SV M交通量預(yù)測模型分別進(jìn)行訓(xùn)練和預(yù)測.

利用Matlab 7.1編制模型程序，運(yùn)行環(huán)境為：Core（T M）2CPU，1.81 MHz，2 GB內(nèi)存的微機(jī).操作系統(tǒng)：Windows XP.仿真中，С的取值范圍為［0.01，200］；ε的取值范圍為［0.01，0.8］；δ2取值范圍為［0.01，50］，最大進(jìn)化代數(shù)Gmax＝100，鄰代最優(yōu)個體適應(yīng)值相對誤差E＝0.000 01.為了驗(yàn)證模型的使用性能，同時選用基于GA優(yōu)化的GA－SV M模型和基于梯度下降法的傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比仿真預(yù)測，并采用以下三個評價指標(biāo)進(jìn)行預(yù)測性能對比分析.

圖3 算法流程圖

式中：Y1（t）為 SV M 擬合序列；Y（t）為實(shí)際序列值；n為檢驗(yàn)數(shù)據(jù)個數(shù).

結(jié)合實(shí)測數(shù)據(jù)，進(jìn)行模型訓(xùn)練和客運(yùn)量仿真預(yù)測，圖4為CHEGA－SV M交通量預(yù)測模型訓(xùn)練曲線，由圖4可以看出訓(xùn)練輸出和實(shí)際值擬和的較好，擬合平均絕對相對誤差為2.42%，擬合均方根誤差為3.21%，說明CHEGA－SV M交通量預(yù)測模型對客運(yùn)量的歷史序列擬合較穩(wěn)定.

圖4 CHEGA－SV M模型訓(xùn)練圖

利用得到的CHEGA－SV M交通量預(yù)測模型對1982、1986、1991、1996、2002、2007年的客運(yùn)量進(jìn)行預(yù)測.圖5為CHEGA－SV M交通量預(yù)測值與實(shí)際值對比圖，仿真預(yù)測平均絕對相對誤差為2.92%，仿真預(yù)測均方根誤差為3.89%.

圖5 CHEGA－SV M模型預(yù)測圖

4.2 CHEGA－SVM交通量預(yù)測模型性能對比分析

將預(yù)測得到的客運(yùn)總量與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型和GA－SV M模型仿真預(yù)測結(jié)果進(jìn)行比較分析，其中BP神經(jīng)網(wǎng)絡(luò)模型選擇的是單隱層BP神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)參數(shù)：最大迭代次數(shù)為100次，隱層節(jié)點(diǎn)數(shù)為7，學(xué)習(xí)率為0.25，允許的平方根誤差為0.000 1；GA參數(shù)：種群大小為50，進(jìn)化最大代數(shù)為100，交叉概率Pc為0.55，變異概率Pm為0.005.仿真預(yù)測值如表1所列.

表1 CAGA－υ－SVR與其他3個模型的預(yù)測比較

將表1中數(shù)據(jù)按式（15）、（16）和（17）分別進(jìn)行誤差指標(biāo)處理，處理結(jié)果如表2所列.

表2 仿真預(yù)測誤差指標(biāo)比較 %

從表2中可以看出，在對基于不同結(jié)構(gòu)預(yù)測模型的仿真預(yù)測結(jié)果對比方面，SV M模型的仿真預(yù)測結(jié)果要優(yōu)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)模型；對采用不同的算法進(jìn)行參數(shù)優(yōu)選的SV M模型對比方面，基于混沌高效遺傳算法優(yōu)化的SV M模型的預(yù)測精度優(yōu)于采用傳統(tǒng)遺傳算法優(yōu)化的SV M模型.

5 結(jié)束語

本文提出了基于CHEGA進(jìn)行參數(shù)優(yōu)選的CHEGA－SV M交通量預(yù)測模型，并結(jié)合實(shí)際數(shù)據(jù)進(jìn)行了仿真驗(yàn)證，對比結(jié)果表明：（1）改進(jìn)的混沌高效遺傳算法可以遍歷到整個區(qū)域的內(nèi)部和邊界，較好的保持了種群的多樣性，提高了參數(shù)的優(yōu)選精度，同時利用優(yōu)秀個體群逐步縮小搜索空間，加快了尋優(yōu)速度.利用混沌高效遺傳算法優(yōu)選SV M模型的參數(shù)，克服了SV M模型參數(shù)確定難度大、精度低的問題，增強(qiáng)了SV M模型的泛化能力；（2）應(yīng)用CHEGA－SV M交通量預(yù)測模型進(jìn)行交通量仿真預(yù)測，模型的仿真預(yù)測精度優(yōu)于GASV M模型和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型，平均絕對相對誤差控制在3.0%以內(nèi)，提高了城市交通量的預(yù)測精度，說明采用該模型對城市交通量的預(yù)測是可行的；（3）本文提出的CHEGA－SV M交通量預(yù)測模型，應(yīng)用于城市交通量的預(yù)測，可以為公路建設(shè)項(xiàng)目的設(shè)計(jì)、施工和管理及相關(guān)政策、法規(guī)的出臺提供科學(xué)的參考依據(jù).

［1］Ki m Kyoung－jae.Financial time series forecasting using support vector machines［J］.Neuron co mputing（S0925－2312），2003，55：307－319.

［2］Vapnik V N.An overview of statistical learning Theory［J］.IEEE Transactions on Neural Networ ks（S1045－9227），1999，10（5）：988－999.

［3］Keerthi K，Lin C J.Asy mptotic Behaviors of Support Vector Machines with Gaussian Kernel ［J］.Neural Computation，2003，153 （3）：1 667－1 689.

［4］Cher kessk V，Yunqian M A.Practical selection of SV M parameters and noise estimation for SV M regression［J］.Neural Networ ks，2004，17（1）：113－126.

［5］Rettemeir K，F(xiàn)alkenhagen B，Kongeter J.Risk assessment new trends in Ger many［C］／／ICOLD.The Proceedings of 21t h Int Congress on Lar ge Dams.Beijing：the Inter national Co mmission on Lar ge Dams，2000：625－641.

［6］Liu B，Wang L，Jin Y H，et al.Impr oved particle swar m optimization combined with chaos［J］.Chaos Solutions and Fractals，2005，25（5）：1 261.