張劍 王波

摘 要 作為一種動態(tài)和非穩(wěn)定時間序列，Shibor發(fā)展變化是隨機(jī)波動的，難以準(zhǔn)確預(yù)測Shibor的波動性.支持向量機(jī)（SVM）在回歸預(yù)測非線性時間序列方面有很好地預(yù)測效果，SVM的預(yù)測精度和泛化能力的核心是參數(shù)的優(yōu)化選擇，分別用網(wǎng)格搜索法（Grid-Search）和粒子群（PSO）算法來優(yōu)化SVM的參數(shù)c和g.從而將參數(shù)優(yōu)化后的SVM非線性回歸預(yù)測法與基于傳統(tǒng)ARIMA時間序列預(yù)測結(jié)果進(jìn)行對比分析.實驗表明，優(yōu)化后的SVM回歸預(yù)測方法比ARIMA時間序列方法更精確，在實際中具有很大的應(yīng)用價值.

關(guān)鍵詞 機(jī)器學(xué)習(xí);非線性回歸預(yù)測;支持向量機(jī);網(wǎng)格搜索法;粒子群算法;Shibor

中圖分類號 F830文獻(xiàn)標(biāo)識碼 A

Abstract As a dynamic and unsteady time series，the development of Shibor is a random fluctuation，and it is difficult to accurately predict the volatility of Shibor.Support vector machine （SVM） has a good predictive effect in the regression prediction of nonlinear time series.SVMs prediction accuracy and generalization ability are due to the optimization of parameters.Grid-search and Particle Group （PSO） algorithm were used to optimize SVM parameters cand g.The SVM nonlinear regression prediction method with parametric optimization was compared with the traditional ARIMA time series prediction results.The experiments show that SVM regression prediction method is more accurate than ARIMA time series method，and it has great application value in practice.

Key words machine learning;nonlinear regression prediction;support vector machines;grid-search algorithm;particle swarm optimization;Shibor

1 引 言

隨著近年來我國利率市場化進(jìn)程的不斷加快，作為我國宏觀調(diào)控政策工具的利率，其使用的頻率也越來越高.上海銀行間同業(yè)拆放利率（Shibor）能夠及時、準(zhǔn)確地反映出貨幣市場資金的供求關(guān)系，在貨幣市場中有著舉足輕重的地位.其變動會迅速影響和傳導(dǎo)我國金融市場，從而影響銀行和投資者的投資決策，準(zhǔn)確預(yù)測預(yù)測Shibor的變化趨勢以防范利率風(fēng)險顯得尤為重要.因此，Shibor的預(yù)測研究對金融風(fēng)險控制和金融資產(chǎn)定價都具有非常重要的理論和實踐意義[1].

國內(nèi)的許多學(xué)者也對Shibor的走勢進(jìn)行了研究.任兆璋和彭化非（2005）構(gòu)造了我國Shibor利率期限結(jié)構(gòu)，建立了條件異方差自回歸GARCH以及自回歸移動平均ARIMA模型，實證分析得出ARIMA模型在隔夜Shibor利率走勢預(yù)測中效果較好[2].田敏等（2009）基于ARMA模型對Shibor進(jìn)行實證分析，預(yù)測結(jié)果表明短期的Shibor預(yù)測誤差較小，預(yù)測效果較好，但隨著時間跨度的增大，模型預(yù)測的精度越來越小，預(yù)測的誤差也越來越大[3].林宇等（2016）引入了隱馬爾科夫模型，基于HMM-CARCH來預(yù)測隔夜的Shibor數(shù)據(jù)，實證結(jié)果發(fā)現(xiàn)HMM（2）-EGARCH模型的預(yù)測能力較好[4].以上這些學(xué)者都是基于傳統(tǒng)的ARIMA模型和ARCH/GARCH類模型以及這些模型的擴(kuò)展模型等金融時間序列的分析方法.這些模型雖然短期預(yù)測效果較好，但還存在著一定的不足和局限性.隨著近些年來支持向量機(jī)（SVM）和人工神經(jīng)網(wǎng)絡(luò)（ANN）等機(jī)器學(xué)習(xí)方法的快速發(fā)展與應(yīng)用，其也被逐漸運用于金融時間序列數(shù)據(jù)的分析處理與預(yù)測中.謝小璐等（2012）是將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于Shibor變化趨勢的預(yù)測中，預(yù)測結(jié)果表明基于小波神經(jīng)網(wǎng)絡(luò)構(gòu)建的Shibor預(yù)測模型比傳統(tǒng)時間序列模型的預(yù)測效果要好[5].林慶添（2016）從人工智能的角度來預(yù)測Shibor的走勢，分別使用了BP神經(jīng)網(wǎng)絡(luò)、小波神經(jīng)網(wǎng)絡(luò)和布谷鳥搜索優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)對隔夜Shibor進(jìn)行預(yù)測分析，結(jié)果表明優(yōu)化后的小波神經(jīng)網(wǎng)絡(luò)擬合的效果更好[6].在前人研究成果的基礎(chǔ)上，提出一種基于SVM的回歸預(yù)測方法，并利用Grid-Search和PSO算法來優(yōu)化SVM的參數(shù)c和g找到全局最優(yōu)解，以提高預(yù)測精度.

2 支持向量機(jī)統(tǒng)計學(xué)習(xí)理論

統(tǒng)計學(xué)習(xí)理論所研究的是有限樣本或者小樣本條件下的統(tǒng)計估計和預(yù)測學(xué)習(xí)理論.SVM是基于統(tǒng)計學(xué)習(xí)的結(jié)構(gòu)風(fēng)險最小和VC維理論之上的機(jī)器學(xué)習(xí)方法，因其具有完善的理論基礎(chǔ)，良好的分類和預(yù)測性能而得到了學(xué)者們的廣泛研究與應(yīng)用.[7-8]

2.1 線性支持向量機(jī)

最優(yōu)的回歸超平面則是全部根據(jù)落在兩條邊界線上的樣本點來確定，此時的樣本點就是支持向量.所要尋找的最優(yōu)回歸超平面就是使得幾何間隔最大的分離超平面，線性可分SVM最優(yōu)的學(xué)習(xí)策略可表示為：

其中‖w‖是向量w的第二范數(shù).此時目標(biāo)函數(shù)是二次函數(shù)且約束函數(shù)是仿射函數(shù)，上式凸最優(yōu)化學(xué)習(xí)策略問題就變?yōu)榱饲蠼馔苟我?guī)劃問題.為了求解得到線性可分支持向量機(jī)的最優(yōu)解，應(yīng)用拉格朗日對偶性，通過求解對偶問題得到原始問題的最優(yōu)解.對偶算法如式（2）所示，這樣做的目的是可以更加簡單快捷求解原問題，與此同時還可以加入核函數(shù)的概念，從而可以運用到非線性支持向量機(jī).

2.2 線性不可分支持向量機(jī)

2.3 非線性支持向量機(jī)與核函數(shù)

3 改進(jìn)的SVM參數(shù)選擇方法

參數(shù)選擇在很大程度上會影響支持向量機(jī)回歸的準(zhǔn)確性，關(guān)于SVM參數(shù)的優(yōu)化選擇問題，到目前為止，學(xué)術(shù)界還沒有公認(rèn)統(tǒng)一的最好方法.現(xiàn)在，比較常用的參數(shù)尋優(yōu)的方法包括：粒子群算法、實驗法、遺傳算法、網(wǎng)格搜索法等.

3.1 網(wǎng)格搜索法和粒子群算法

網(wǎng)格搜索法的基本原理就是讓參數(shù)c和g在一定的取值范圍內(nèi)劃分網(wǎng)格并遍歷網(wǎng)格內(nèi)所有點.對于取定的c和g利用K-CV方法得到在此組c和g下訓(xùn)練集的準(zhǔn)確率，最終取使得訓(xùn)練集準(zhǔn)確率最高的那組c和g作為最佳的參數(shù).

粒子群算法也叫鳥群覓食算法，源于復(fù)雜適應(yīng)系統(tǒng)，它是一種啟發(fā)式算法.其基本的思想就是通過群體中個體之間的相互協(xié)作和信息共享，最終達(dá)到群體最優(yōu)目的的行為.在搜索最優(yōu)參數(shù)時，把尋優(yōu)的c與δ看作粒子群算法中的粒子，從隨機(jī)解出發(fā)，不斷地進(jìn)行迭代來求解最優(yōu)解.它簡單且易實現(xiàn)，被廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化、參數(shù)尋優(yōu)、控制系統(tǒng)及其他領(lǐng)域.

3.2 Grid-Search和PSO優(yōu)化SVM的方法

網(wǎng)格搜索方法在參數(shù)尋優(yōu)的過程中，只要是在所取的區(qū)間足夠大并且步距足夠小的情況下，就可以搜索到全局最優(yōu)解.但這種方法由于懲罰系數(shù)c值過大，容易導(dǎo)致過擬合，模型的泛化能力不好，而且遍歷網(wǎng)格將會浪費大量的時間.通過對SVM非線性回歸預(yù)測原理的分析，我們可以看出參數(shù)c與g的選擇好壞將很大程度上決定Shibor預(yù)測的準(zhǔn)確度.

基于以上分析，如果可以先確定一個比較好的參數(shù)尋優(yōu)區(qū)間，接著進(jìn)行精確地搜索，就能夠大大精簡計算，提高運算效率和精度.一種改進(jìn)的SVM參數(shù)尋優(yōu)的方法是利用Grid-Search和PSO算法來優(yōu)化SVM參數(shù).先利用網(wǎng)格搜索法大范圍大步距地粗略搜索，初步確定一個最優(yōu)參數(shù)范圍，接著利用PSO進(jìn)行小步距小范圍地精確搜索，進(jìn)行二次參數(shù)尋優(yōu)，避免了粒子群算法容易陷入局部最優(yōu)的問題.

4 Shibor回歸預(yù)測模型的建立

4.1 樣本數(shù)據(jù)的獲取及預(yù)處理

Shibor數(shù)據(jù)利用python獲取，語法為shibor=ts.shibor_data（2016）.選取的是2016年8月10號到2017年2月17號，取前100個數(shù)據(jù)作為訓(xùn)練集，后30個數(shù)據(jù)作為預(yù)測集.為了提高算法的預(yù)測準(zhǔn)確率和收斂速度，對原始的Shibor數(shù)據(jù)進(jìn)行歸一化處理，采用歸一化映射將數(shù)據(jù)歸一化到[0，1]之間，歸一化公式如下所示.

4.2模型的建立

4.3訓(xùn)練結(jié)果與分析

4.4 與ARIMA時間序列預(yù)測的對比分析

5 結(jié) 論

首先闡述了準(zhǔn)確預(yù)測作為我國貨幣市場核心利率的Shibor的重要性，分析了用于回歸預(yù)測的支持向量回歸機(jī)的理論基礎(chǔ)，運用LIBSVM建立了基于Grid-Search和PSO算法優(yōu)化的SVM模型，提高了預(yù)測的效率和準(zhǔn)確率.接著選取了2016年8月10日到2017年2月16日的Shibor數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù).最終將參數(shù)優(yōu)化后的模型得到的預(yù)測結(jié)果與傳統(tǒng)的金融時間序列預(yù)測結(jié)果進(jìn)行對比分析.實驗結(jié)果表明，優(yōu)化后的SVM非線性回歸預(yù)測比傳統(tǒng)時間序列預(yù)測效果要好，在金融研究中具有很好的應(yīng)用價值.

參考文獻(xiàn)

[1] Naimzada A，Pireddu M.Real and financial interacting markets： A behavioral macro-model[J].Chaos Solitons & Fractals，2015，77（1）：111-131.

[2] 彭化非，任兆璋.中國銀行間同業(yè)拆借利率預(yù)測模型研究[J].南方金融，2005（1）：23-25.

[3] 田敏，李純青，馬雷.基于時間序列的上海銀行間同業(yè)拆放利率（Shibor）[J].寧夏大學(xué)學(xué)報（人文社會科學(xué)版），2009，31（2）：129-132.

[4] 林宇，陳粘，陳宴祥.基于HMM-EGARCH的銀行間同業(yè)拆放利率市場波動預(yù)測研究[J].系統(tǒng)工程理論與實踐，2016，36（3）：593-603.

[5] 謝小璐.基于小波神經(jīng)網(wǎng)絡(luò)的Shibor預(yù)測研究[J].金融理論與實踐，2012（8）：57-60.

[6] 林慶添.基于人工智能算法的上海銀行間同業(yè)拆放利率預(yù)測[D].蘭州大學(xué)，應(yīng)用統(tǒng)計，2016.

[7] 張學(xué)工.關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機(jī)[J].自動化學(xué)報，2000（01）：36-46.

[8] 李航.統(tǒng)計學(xué)習(xí)方法[M].清華大學(xué)出版社，2012.

[9] 曾鳴，林磊，程文明.基于LIBSVM和時間序列的區(qū)域貨運量預(yù)測研究[J].計算機(jī)工程與應(yīng)用，2013（21）：6-10.

[10] 顏曉娟，龔仁喜，張千鋒.優(yōu)化遺傳算法尋優(yōu)的SVM在短期風(fēng)速預(yù)測中的應(yīng)用[J].電力系統(tǒng)保護(hù)與控制，2016（09）：38-42.