張欣怡,袁宏俊

(安徽財(cái)經(jīng)大學(xué) 統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院,蚌埠 233030)

對(duì)于一個(gè)時(shí)間序列趨勢分析問題,一般不只限于一種時(shí)序預(yù)測模型可以使用,特別在數(shù)據(jù)量較大的情況下,數(shù)據(jù)量的增多意味著信息的增多,只根據(jù)誤差大小選擇單一模型進(jìn)行預(yù)測可能會(huì)導(dǎo)致部分有用信息的流失.因此對(duì)于數(shù)據(jù)量較大的時(shí)間序列趨勢分析,進(jìn)行組合預(yù)測很有必要.組合預(yù)測模型是將多個(gè)候選預(yù)測模型的預(yù)測結(jié)果賦予合適的權(quán)值進(jìn)行組合,核心問題包括兩個(gè)方面:預(yù)測模型選擇、權(quán)重確定方式.

可供選擇的單項(xiàng)預(yù)測模型包括灰色預(yù)測模型[1]、時(shí)間序列模型[2]以及機(jī)器學(xué)習(xí)模型,前兩者是傳統(tǒng)的統(tǒng)計(jì)學(xué)模型,機(jī)器/深度學(xué)習(xí)模型應(yīng)用于組合預(yù)測模型則是比較新的探索[3-6].

組合預(yù)測模型的權(quán)重選擇方式包括層次分析法[6]、熵權(quán)法[7,8]和最優(yōu)加權(quán)法[9],以上方法原理是基于預(yù)測數(shù)據(jù)本身的性質(zhì);還有一類方法是基于單項(xiàng)模型預(yù)測誤差來確定權(quán)重的,如最小二乘法[10,11],改進(jìn)后的廣義加權(quán)最小二乘法[12,13],局部加權(quán)最小二乘法[14,15].

正則化和交叉驗(yàn)證是機(jī)器學(xué)習(xí)建立模型時(shí)使用的一種用于優(yōu)化模型參數(shù)的方法,Hansen 和Racine[16]提出了基于交叉驗(yàn)證的Jackknife 模型平均(JMA)方法,并證明了JMA 方法可使模型權(quán)重選擇得到優(yōu)化;Zhao 等[17]在JMA 方法的基礎(chǔ)上開發(fā)了一個(gè)基于K 折交叉驗(yàn)證的權(quán)重選擇準(zhǔn)則,并證明了使用該準(zhǔn)則可以產(chǎn)生更準(zhǔn)確的預(yù)測.Sebastian Bayer[18]則在組合權(quán)重的選擇中使用正則化降低單項(xiàng)預(yù)測間的多重共線性,并證實(shí)這種方法可以通過穩(wěn)定模型來提高模型預(yù)測能力.

通過閱讀以上文獻(xiàn),發(fā)現(xiàn)以往針對(duì)正則化和交叉驗(yàn)證的研究有兩個(gè)特點(diǎn):一方面,正則化和交叉驗(yàn)證對(duì)組合模型的影響都獨(dú)立研究,不能夠發(fā)現(xiàn)這兩者共同作用于組合模型的影響規(guī)律;另一方面,以上研究著重于比較正則化或交叉驗(yàn)證與其他權(quán)重選擇方法的影響能力,不注重討論它們本身應(yīng)用時(shí)的優(yōu)化規(guī)律.有鑒于此,本文將以最小二乘加權(quán)組合預(yù)測模型為基礎(chǔ),這種組合預(yù)測模型屬于常規(guī)組合模型設(shè)計(jì),但其結(jié)構(gòu)靈活,使用廣泛,具有一定的改良和研究價(jià)值;使用正則化和交叉驗(yàn)證對(duì)其進(jìn)行優(yōu)化,正則化項(xiàng)選擇L1范數(shù)和L2范數(shù),交叉驗(yàn)證選擇K 折交叉驗(yàn)證和留一交叉驗(yàn)證,實(shí)驗(yàn)數(shù)據(jù)選擇我國鐵路客運(yùn)量2005～2018年的月度數(shù)據(jù),由于該數(shù)據(jù)具有明顯時(shí)間序列周期性,組合預(yù)測的單項(xiàng)模型選擇為適合分析周期性時(shí)間序列的SARIMA模型和Holt-Winters 模型.

1 組合預(yù)測模型理論分析

1.1 單項(xiàng)模型理論

(1)SARIMA 建模原理和步驟

SARIMA 模型稱為季節(jié)性差分自回歸移動(dòng)平均模型,能夠通過在ARIMA 模型的基礎(chǔ)上通過適當(dāng)次數(shù)的季節(jié)性差分來消除序列的不穩(wěn)定性,適合處理具有趨勢性和周期性的時(shí)間序列[19].也寫作SARIMA(p,d,q)(P,D,Q)[m]模型,由6 個(gè)部分組成:AR(自回歸)、I(整合/差分)、MA(移動(dòng)平均)、SAR(季節(jié)性自回歸)、SI(季節(jié)性整合/差分)、SMA(季節(jié)性移動(dòng)平均),每個(gè)模型均是SARIMA 的特殊情況,各自對(duì)應(yīng)的參數(shù)為p,d,q,P,D,Q,還有一個(gè)參數(shù)[m]表示季節(jié)性周期長度,本文的實(shí)驗(yàn)數(shù)據(jù)m 值為12;模型結(jié)構(gòu)為:

其中,B 是滯后算子,d 是趨勢差分次數(shù),D 是以周期m 為步長的季節(jié)差分次數(shù),{ εt}為白噪聲序列.

使用SARIMA 模型建模的過程為:

1)檢驗(yàn)原序列平穩(wěn)性,對(duì)不平穩(wěn)的原序列通過d 次差分使其滿足平穩(wěn)性條件;

2)對(duì)平穩(wěn)化后的時(shí)間序列數(shù)據(jù)繪制自相關(guān)圖和偏自相關(guān)圖,以此初步識(shí)別模型的p、q、P、Q 可以取值的范圍,然后使用AIC 準(zhǔn)則作為尋找最佳模型的準(zhǔn)則,在所有通過檢驗(yàn)的模型選擇AIC 值最小的模型作為最適合的SARIMA 模型;

3)對(duì)已經(jīng)選定的模型進(jìn)行檢驗(yàn),觀察模型參數(shù)是否通過檢驗(yàn)以及殘差序列是否為白噪聲序列,如果模型參數(shù)未能通過檢驗(yàn)或殘差序列存在相關(guān)性,則模型需要重新擬合;

4)使用通過檢驗(yàn)的SARIMA 模型進(jìn)行時(shí)間序列預(yù)測.

(2)Holt-Winters 模型

Holt-Winters 模型是一種可用于周期性和趨勢性時(shí)間序列預(yù)測問題的模型,也稱作三次指數(shù)平滑法.模型思想可認(rèn)為是對(duì)一組時(shí)序數(shù)據(jù)長期趨勢、周期變化和隨機(jī)擾動(dòng)的分解,因?yàn)镠olt-Winters 模型是在保留了隨機(jī)擾動(dòng)信息的一次指數(shù)平滑模型和保留了趨勢信息的二次指數(shù)平滑模型的基礎(chǔ)上添加一個(gè)新參數(shù),使其對(duì)時(shí)間序列的周期性進(jìn)行描述,模型分為累加模型和累乘模型兩種.

累加模型的數(shù)學(xué)表達(dá)如下:

累乘模型的數(shù)學(xué)表達(dá)為:

在上述公式中,Xt為t 時(shí)刻的觀測值,st、it、pt分別為t 時(shí)刻的穩(wěn)定成分、周期成分和趨勢成分,h 為區(qū)間外預(yù)測期數(shù),k 為周期長度,α、β、γ 為平滑參數(shù)且α、β、γ∈[0,1].

累加模型適合于周期趨勢不隨時(shí)間變化而發(fā)生變化的時(shí)間序列,累乘模型適合于周期趨勢隨時(shí)間變化發(fā)生變化的時(shí)間序列,在使用Holt-Winters 模型進(jìn)行單項(xiàng)模型預(yù)測時(shí)需要根據(jù)實(shí)驗(yàn)數(shù)據(jù)自身特點(diǎn)選擇其中一個(gè)模型.

1.2 組合模型理論

對(duì)于一個(gè)n 期時(shí)間序列預(yù)測問題,觀測數(shù)據(jù)為x={x1,x2,···,xt,···,xn},其中xt表示變量在t 時(shí)刻的觀測值,選取J 個(gè)單項(xiàng)預(yù)測模型對(duì)其進(jìn)行預(yù)測,得到J 個(gè)預(yù)測模型 {φ1,φ2,···,φJ(rèn)},則在t 時(shí)刻對(duì)序列的預(yù)測值為{φ1(t),φ2(t),···,φJ(rèn)(t)},組合預(yù)測的思想就是對(duì)每個(gè)模型的預(yù)測值通過適當(dāng)?shù)募訖?quán)方法進(jìn)行組合,設(shè)單項(xiàng)預(yù)測模型的權(quán)重為{ ω1,ω2,···,ωJ},且則組合模型的數(shù)學(xué)表達(dá)式為:

權(quán)重選擇的常見思想是根據(jù)每個(gè)模型的預(yù)測精度,即預(yù)測值與觀測值之間的誤差來進(jìn)行權(quán)重選擇,可供使用的誤差包括相對(duì)誤差、絕對(duì)誤差、對(duì)數(shù)誤差和誤差平方和等,本文將在使用誤差平方和作為加權(quán)依據(jù)的最小二乘加權(quán)法的基礎(chǔ)上,加入正則化項(xiàng)并使用交叉驗(yàn)證對(duì)加權(quán)法則進(jìn)行優(yōu)化,進(jìn)而研究正則化和交叉驗(yàn)證對(duì)組合預(yù)測模型的優(yōu)化能力.

(1)最小二乘加權(quán)法

在組合模型中經(jīng)常使用預(yù)測值與觀測值之間的誤差平方和最小化來計(jì)算權(quán)重系數(shù),這種方法被稱為最小二乘法[20],對(duì)于一個(gè)線性組合預(yù)測模型:

在t 時(shí)刻組合預(yù)測模型的預(yù)測值為Φt,第i 種單項(xiàng)預(yù)測模型的預(yù)測值為φi(t),觀測值為 xt;那么在t 時(shí)刻,第i 種單項(xiàng)預(yù)測模型的預(yù)測誤差為 ei(t)=φi(t)-xt,則組合預(yù)測模型在t 時(shí)刻的預(yù)測誤差為et=(Φt-xt)=,為了使組合模型的預(yù)測值最優(yōu),將預(yù)測值最優(yōu)問題轉(zhuǎn)化為組合模型性誤差最小化問題,組合預(yù)測模型的誤差平方和為,在實(shí)際運(yùn)算時(shí)一般采用平均誤差平方和MSE 作為組合預(yù)測模型的誤差衡量準(zhǔn)則,則基于上述理論,最小二乘加權(quán)法的數(shù)學(xué)表達(dá)為:

(2)正則化

正則化技術(shù)廣泛應(yīng)用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法中,常用于防止模型過擬合或提高模型泛化能力,其思想是在經(jīng)驗(yàn)風(fēng)險(xiǎn)(本文指誤差平方和最小化函數(shù))中加上一個(gè)正則化項(xiàng)來控制權(quán)重系數(shù)矩陣的值使權(quán)重矩陣縮減或變得相對(duì)稀疏,從而避免有些特征在模型中影響力過高導(dǎo)致的模型過擬合[21].

在組合預(yù)測模型中,如果幾個(gè)單項(xiàng)預(yù)測模型的預(yù)測效果表現(xiàn)的比較接近,直接選取其中預(yù)測精度最高的模型進(jìn)行組合可能會(huì)失去一些有用的信息,但如果將所有單項(xiàng)預(yù)測模型一起進(jìn)行組合,在傳統(tǒng)的加權(quán)方式下,組合模型權(quán)重選擇會(huì)很大程度上偏向在訓(xùn)練數(shù)據(jù)中預(yù)測誤差最小的單項(xiàng)預(yù)測模型,形成的組合模型會(huì)在訓(xùn)練數(shù)據(jù)上表現(xiàn)的比較好,但是在預(yù)測數(shù)據(jù)上則可能會(huì)出現(xiàn)“過擬合”現(xiàn)象,從而降低組合模型對(duì)新數(shù)據(jù)的預(yù)測能力.基于這種思考,本文將正則化方法引入組合預(yù)測模型的加權(quán)過程調(diào)整每個(gè)單項(xiàng)預(yù)測模型的權(quán)重,在回歸問題(最小二乘估計(jì))中,正則化一般具有以下形式:

式(7)被稱作代價(jià)函數(shù),其中,N 表示數(shù)據(jù)集的樣本總量,m 表示需要被加權(quán)的特征總量,ωi表示權(quán)重系數(shù)矩陣,xi表示權(quán)重系數(shù)矩陣對(duì)應(yīng)的樣本特征的向量,加號(hào)前是損失函數(shù),加號(hào)是正則化項(xiàng),λ 為調(diào)整兩者之間的關(guān)系的系數(shù),一般稱之為正則項(xiàng)系數(shù),常用的正則項(xiàng)有兩種:L1范數(shù)正則化和L2范數(shù)正則化.

1)L1范數(shù)正則化

L1范數(shù)得名原因是因?yàn)槭?7)中正則化項(xiàng)的p 取值為1,即正則化項(xiàng)為λ,其中的就是L1范數(shù),一般寫作‖ ωi‖.

在一般的最小二乘加權(quán)模型中,模型會(huì)通過最小化平方誤差和來選擇權(quán)重,在這個(gè)過程中模型只會(huì)注重誤差平方和最小化而忽略了對(duì)權(quán)重的控制,將L1范數(shù)加入最小化函數(shù)中后,如果對(duì)單個(gè)模型賦予的權(quán)重過大,最小化函數(shù)仍然無法實(shí)現(xiàn)最小化,這就會(huì)使得模型在選擇權(quán)重時(shí)有兩個(gè)方面的考慮:誤差平方和最小化和權(quán)重系數(shù)矩陣最小化.

將L1范數(shù)代入本文的組合預(yù)測模型中,得到基于L1范數(shù)的組合預(yù)測模型的代價(jià)函數(shù):

2)L2范數(shù)正則化

與L1范數(shù)類似,L2范數(shù)得名原因是由于式(7)中正則化項(xiàng)的p 取值為2,即為,L2范數(shù)與L1范數(shù)的工作原理類似,都是在最小化損失函數(shù)的過程中降低權(quán)重系數(shù)矩陣的值,但是達(dá)到的效果有所不同,具體見圖1.

如圖1 所示,圖左是L1范數(shù),圖右是L2范數(shù),旋渦部分代表損失函數(shù)最小化的過程,在整體代價(jià)函數(shù)最小化的過程中,L1范數(shù)的圖像與權(quán)重 ωi的圖像在零點(diǎn)以外的地方只會(huì)無限接近不會(huì)重合,L2范數(shù)的圖像與權(quán)重 ωi的圖像則有可能在零點(diǎn)以外的地方重合;這意味著L1范數(shù)可能會(huì)使部分權(quán)重變?yōu)?,而L2范數(shù)則只會(huì)讓每個(gè)特征盡可能的變小而不會(huì)變?yōu)?.

圖1 L1范數(shù)與L2范數(shù)在代價(jià)函數(shù)最小化中的圖像

將L2范數(shù)代入本文的組合預(yù)測模型中,得到基于L2范數(shù)的組合預(yù)測模型的代價(jià)函數(shù):

這樣就得到了帶有正則化項(xiàng)的組合預(yù)測模型:

基于正則化的組合模型在為單項(xiàng)預(yù)測模型加權(quán)的過程中,就不會(huì)出現(xiàn)因?yàn)槟硞€(gè)單項(xiàng)預(yù)測模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)過好或過差而為其賦予很大的權(quán)值,避免了組合預(yù)測模型在預(yù)測數(shù)據(jù)上表現(xiàn)出“過擬合”的情況.

(3)交叉驗(yàn)證

交叉驗(yàn)證是機(jī)器學(xué)習(xí)中另一種選擇模型、優(yōu)化模型的方法,常用于數(shù)據(jù)量對(duì)于擬合模型不是很充足的時(shí)候,其思想是重復(fù)的使用數(shù)據(jù),把給定的數(shù)據(jù)進(jìn)行切分,將切分的數(shù)據(jù)集分為訓(xùn)練集和測試集,在這個(gè)基礎(chǔ)上反復(fù)進(jìn)行訓(xùn)練、測試以及模型選擇.交叉驗(yàn)證方法包括簡單交叉驗(yàn)證、K 折交叉驗(yàn)證和留一交叉驗(yàn)證.

如圖2 所示,K 折交叉驗(yàn)證的思想是將已給數(shù)據(jù)切分為K 個(gè)大小相同、互不相交的子集,利用其中K-1 個(gè)子集進(jìn)行訓(xùn)練,剩下的一個(gè)子集用來測試模型,這種操作重復(fù)進(jìn)行K 次,最后選擇在K 次評(píng)測中誤差最小的模型;留一交叉驗(yàn)證是是K=N 時(shí)的K 折交叉驗(yàn)證,這種方法往往在數(shù)據(jù)量較小的情況下使用,本文所使用的數(shù)據(jù)量相對(duì)于較小,故選用留一交叉驗(yàn)證.

圖2 K 折交叉驗(yàn)證示意圖

(4)模型優(yōu)劣判定

本文將把總數(shù)據(jù)集分為訓(xùn)練集和測試集,總樣本量設(shè)為N,訓(xùn)練集容量為m,選用平均絕對(duì)百分比誤差MAPE 對(duì)測試集上的模型預(yù)測結(jié)果進(jìn)行評(píng)價(jià):

2 實(shí)證分析

2.1 數(shù)據(jù)說明

為了保證正則化和交叉驗(yàn)證有一定的學(xué)習(xí)率,本文在一定程度上擴(kuò)大了時(shí)間序列的數(shù)據(jù)量,采用的時(shí)間序列數(shù)據(jù)為我國鐵路客運(yùn)量2005年1月～2018年11月的月度數(shù)據(jù),樣本量為168,數(shù)據(jù)來源為國家統(tǒng)計(jì)局,時(shí)間序列趨勢圖如圖3.

圖3 時(shí)間序列均值-標(biāo)準(zhǔn)差分析圖

如圖3 所示,我國鐵路客運(yùn)量有明顯的升高趨勢和周期性趨勢,ADF 檢驗(yàn)表明數(shù)據(jù)存在不穩(wěn)定性,是不平穩(wěn)序列,適合使用SARIMA 模型和Holt-Winters 模型進(jìn)行時(shí)間序列預(yù)測.

2.2 單項(xiàng)預(yù)測模型選擇

根據(jù)自相關(guān)和偏自相關(guān)圖、AIC 準(zhǔn)則、模型顯著性以及實(shí)驗(yàn)數(shù)據(jù)序列周期性與時(shí)間的相關(guān)性,本文使用的單項(xiàng)預(yù)測模型如下:

1)SARIMA(1,1,1)(1,1,1)[12]模型;

2)SARIMA(1,1,1)(0,1,1)[12]模型;

3)SARIMA(0,1,1)(0,1,1)[12]模型;

4)Holt-Winters 累加模型.

另外,以上3 個(gè)SARIMA 模型的AIC 值接近,參數(shù)只有一個(gè)未通過檢驗(yàn)但是非常接近給定的P 值,

為了保留可能存在的潛在信息,對(duì)這3 個(gè)SARIMA模型的預(yù)測結(jié)果都予以保留.

2.3 組合預(yù)測模型

本文選用的組合預(yù)測模型如下:

1)最小二乘法組合模型;

2)基于L1范數(shù)的組合模型( λ=1);

3)基于L1范數(shù)和交叉驗(yàn)證的組合模型;

4)基于L2范數(shù)的組合模型( λ=1);

5)基于L2范數(shù)和交叉驗(yàn)證的組合模型.

在鐵路客運(yùn)量的組合預(yù)測中,將2005年至2017年的數(shù)據(jù)作為訓(xùn)練集,2018年的數(shù)據(jù)值作為預(yù)測集,計(jì)算每個(gè)模型在預(yù)測集上的誤差,得到模型在測試集上的表現(xiàn)如表1.

由表1 所示的各模型在預(yù)測集上的預(yù)測誤差可觀察到,簡單最小二乘法組合預(yù)測模型的預(yù)測誤差為3.9576%,比所有的單項(xiàng)預(yù)測模型的預(yù)測誤差都要低;引入L1范數(shù)和L2范數(shù)后的組合模型的預(yù)測誤差分別為3.7993%、3.8118%,比最小二乘法組合預(yù)測模型的預(yù)測誤差略低;因此根據(jù)實(shí)驗(yàn)數(shù)據(jù),說明在組合預(yù)測模型進(jìn)行權(quán)重選擇時(shí)引入正則化項(xiàng)能夠使組合預(yù)測模型的預(yù)測誤差降低,并且基于L1范數(shù)正則的組合模型比基于L2范數(shù)正則的組合模型對(duì)組合預(yù)測模型的優(yōu)化效果更好;此外,交叉驗(yàn)證在一定程度上改善了L1范數(shù)正則化模型的預(yù)測效果,對(duì)L2范數(shù)的模型起到的作用很小,幾乎可以忽略不計(jì).

表1 各模型在預(yù)測集上的預(yù)測誤差 (單位:%)

結(jié)合各組合預(yù)測模型對(duì)單項(xiàng)預(yù)測模型的權(quán)重選擇進(jìn)行分析,由表2 所示的各組合模型中單項(xiàng)模型的權(quán)重,可發(fā)現(xiàn):1)所有的組合模型的權(quán)重分布都滿足的條件;2)在最小二乘組合模型的權(quán)重選擇的基礎(chǔ)上,加入L1范數(shù)和L2范數(shù)的單項(xiàng)預(yù)測都使其絕對(duì)值降低了,但能夠觀察到,加入L1范數(shù)正則的組合模型在調(diào)整權(quán)重時(shí),權(quán)重絕對(duì)值的下降速度更快,而加入L2范數(shù)正則的組合模型對(duì)權(quán)重的調(diào)整則并不明顯.

2.4 實(shí)驗(yàn)結(jié)論與理論分析

L1范數(shù)是絕對(duì)值函數(shù),L2范數(shù)則是二次函數(shù),這種差異導(dǎo)致L1范數(shù)正則在使模型權(quán)重衰減時(shí)始終保持同一個(gè)速度,而L1范數(shù)正則會(huì)在權(quán)重較大時(shí)提高衰減速度,權(quán)重較低時(shí)降低衰減速度,最終,L1范數(shù)正則在降低模型復(fù)雜度時(shí)保留了權(quán)重較大的單項(xiàng)模型,并且盡量使模型變得稀疏,L2范數(shù)正則在降低模型復(fù)雜度時(shí)則使模型更加符合規(guī)則化.

相對(duì)于L2范數(shù)正則經(jīng)常被使用的機(jī)器學(xué)習(xí)特征分配的應(yīng)用場景,組合預(yù)測模型需要被分配權(quán)重的單項(xiàng)預(yù)測模型個(gè)數(shù)較少,權(quán)重?cái)?shù)值小,這使得L2范數(shù)正則在調(diào)整組合預(yù)測模型的權(quán)重時(shí)沒有L1范數(shù)正則的下降速度快,改善效果明顯.

基于以上分析,認(rèn)為L1范數(shù)正則化更適合用于組合預(yù)測模型.另外在實(shí)驗(yàn)過程中發(fā)現(xiàn),參與組合預(yù)測的單項(xiàng)預(yù)測模型越多,正則化的改善效果越好.

表2 各組合模型的權(quán)重選擇

交叉驗(yàn)證則在一定程度上改善了L1范數(shù)正則化模型的預(yù)測效果,對(duì)L2范數(shù)的模型起到的作用很小,L1范數(shù)的代價(jià)函數(shù)在組合預(yù)測模型中表現(xiàn)出的懲罰力度大,使得交叉驗(yàn)證的改善效果強(qiáng)于L2范數(shù)的懲罰力度,并且在實(shí)驗(yàn)中發(fā)現(xiàn),訓(xùn)練數(shù)據(jù)分配的越多,交叉驗(yàn)證的改善效果就越好.

3 結(jié)論

本文按照常規(guī)的組合模型設(shè)計(jì)思路,在基于最小二乘法的組合預(yù)測模型中,引入了正則化和交叉驗(yàn)證用以優(yōu)化組合預(yù)測模型的權(quán)重選擇,通過實(shí)驗(yàn)發(fā)現(xiàn):首先,組合預(yù)測模型優(yōu)于所有單項(xiàng)預(yù)測模型的預(yù)測精度,正則化和交叉驗(yàn)證都能在不同程度改善基于最小二乘法的組合預(yù)測模型,且L1范數(shù)正則化比L2范數(shù)正則化的改善效果更好;其次,實(shí)驗(yàn)中發(fā)現(xiàn)候選的單項(xiàng)預(yù)測模型越多、數(shù)據(jù)量越大,正則化和交叉驗(yàn)證表現(xiàn)的效果就越好,因此這種組合預(yù)測方法可以推廣到基于大數(shù)據(jù)的多模型組合預(yù)測中.