王彥琦, 張 強(qiáng), 朱劉濤, 袁和平

(1. 東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院, 黑龍江 大慶 163318；2. 大慶油田有限責(zé)任公司 第五采油廠, 黑龍江 大慶 163513)

回歸問(wèn)題本質(zhì)上是函數(shù)空間的優(yōu)化問(wèn)題[1], 目的是找到從輸入變量到輸出變量的映射關(guān)系, 求出輸出變量關(guān)于輸入變量的函數(shù), 使損失函數(shù)的期望最優(yōu). 解決回歸問(wèn)題的常用機(jī)器學(xué)習(xí)算法有支持向量機(jī)[2]、 神經(jīng)網(wǎng)絡(luò)[3-4]、 決策樹(shù)[5]等, 目前已應(yīng)用到疾病預(yù)測(cè)、 股票預(yù)測(cè)、 電力負(fù)載[6]等領(lǐng)域. 這些單一的方法在針對(duì)某些特定的場(chǎng)景性能都較好, 但仍存在一定的局限性, 如泛化性較弱等, 集成學(xué)習(xí)方法在一定程度上改善了這類(lèi)問(wèn)題, 它通過(guò)訓(xùn)練多個(gè)弱學(xué)習(xí)器, 將弱學(xué)習(xí)器結(jié)合成強(qiáng)學(xué)習(xí)器, 從而降低誤差, 提高模型泛化性[7], 目前已成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一.

梯度提升決策樹(shù)(gradient boosting decision tree, GBDT)相比于支持向量機(jī)、 決策樹(shù)等算法, 能充分考慮到每個(gè)弱學(xué)習(xí)器的權(quán)重, 同時(shí)具有更高的準(zhǔn)確率和穩(wěn)定性, 目前已廣泛應(yīng)用于各領(lǐng)域的預(yù)測(cè)研究中. 盡管GBDT的應(yīng)用性在許多案例中都得到了肯定, 但其參數(shù)的選擇對(duì)模型的精度影響較大, 會(huì)導(dǎo)致模型在回歸預(yù)測(cè)中無(wú)法達(dá)到最優(yōu)擬合效果. 廖璐等[8]利用交叉驗(yàn)證法確定模型的重要參數(shù), 以列車(chē)的車(chē)站晚點(diǎn)偏差值為自變量建立列車(chē)晚點(diǎn)時(shí)長(zhǎng)預(yù)測(cè)模型, 對(duì)比默認(rèn)參數(shù)的模型預(yù)測(cè)結(jié)果, 調(diào)參后預(yù)測(cè)精度更高, 性能更優(yōu)； Cui等[9]提出了一種新的網(wǎng)格搜索算法提高模型訓(xùn)練過(guò)程中參數(shù)優(yōu)化的效率； 谷宇峰等[10]選用粒子群算法解決較多超參數(shù)導(dǎo)致訓(xùn)練模型難以最優(yōu)化的問(wèn)題, 構(gòu)建了PSO-GBDT巖性識(shí)別模型, 解決了致密砂巖儲(chǔ)集層巖性識(shí)別的問(wèn)題.

為更好地解決GBDT算法參數(shù)難以選擇的問(wèn)題, 本文提出一種利用改進(jìn)鯨魚(yú)優(yōu)化算法對(duì)其關(guān)鍵參數(shù)進(jìn)行尋優(yōu)的回歸預(yù)測(cè)算法. 首先在鯨魚(yú)優(yōu)化算法的基礎(chǔ)上利用混沌映射產(chǎn)生初始解, 引入慣性權(quán)重與差分進(jìn)化算法中的變異交叉策略, 避免算法陷入局部最優(yōu). 然后利用改進(jìn)的鯨魚(yú)優(yōu)化算法對(duì)GBDT關(guān)鍵參數(shù)進(jìn)行尋優(yōu), 從而提高其對(duì)樣本的擬合精度.

1 梯度提升決策樹(shù)原理

梯度提升決策樹(shù)模型[11]是一種基于集成學(xué)習(xí)“Boosting”思想的采用加法模型和前向分布算法相結(jié)合的迭代決策樹(shù)模型, 它以CART(classification and regression tree)決策樹(shù)作為弱學(xué)習(xí)器, 利用前一輪弱學(xué)習(xí)器的殘差(損失函數(shù)的負(fù)梯度值)訓(xùn)練本輪弱學(xué)習(xí)器, 并對(duì)訓(xùn)練集的權(quán)值進(jìn)行更新, 最后通過(guò)對(duì)每輪訓(xùn)練得到的弱學(xué)習(xí)器加權(quán)求和得到強(qiáng)學(xué)習(xí)器[12]. 算法基本步驟如下.

輸入： 數(shù)據(jù)集D={(x1,y1),(x2,y2),…,(xn,yn)}, 最大迭代次數(shù)(基學(xué)習(xí)器個(gè)數(shù))M, 損失函數(shù)L(x,f(x));

輸出： 強(qiáng)學(xué)習(xí)器F(x);

1) 初始化, 估計(jì)一個(gè)使損失函數(shù)極小化的常數(shù)值c, 此時(shí)構(gòu)建了只有一個(gè)根節(jié)點(diǎn)的樹(shù), 表示為

(1)

2) 開(kāi)始迭代, 構(gòu)建M棵樹(shù), 迭代次數(shù)m=1,2,…,M;

① 對(duì)樣本i=1,2,…,n, 計(jì)算損失函數(shù)的負(fù)梯度并作為殘差的估計(jì)值：

(2)

② 利用(xi,rmi)擬合第m棵回歸樹(shù), 得到第m棵樹(shù)的葉子節(jié)點(diǎn)區(qū)域?yàn)镽mj(j=1,2,…,Jm),J為第m棵回歸樹(shù)的葉子節(jié)點(diǎn)個(gè)數(shù);

③ 對(duì)于葉子節(jié)點(diǎn)區(qū)域j=1,2,…,Jm, 計(jì)算每個(gè)葉子節(jié)點(diǎn)的最佳擬合值, 使得損失函數(shù)極小化為

(3)

其中yi為第j個(gè)葉子節(jié)點(diǎn)的樣本xi觀測(cè)值,fm-1(xi)為第j個(gè)葉子節(jié)點(diǎn)的樣本xi在上一棵樹(shù)上的預(yù)測(cè)值,cmj為第j個(gè)葉子節(jié)點(diǎn)的yi與fm-1(xi)之間的最小誤差;

④ 更新本輪模型為

(4)

其中I為一個(gè)函數(shù), 若樣本xi在Rmj上, 則I=1； 否則I=0;

3) 進(jìn)行迭代, 直到達(dá)到所預(yù)期的基學(xué)習(xí)器個(gè)數(shù), 得到最終的強(qiáng)學(xué)習(xí)器為

(5)

模型性能的優(yōu)劣與參數(shù)的選取密切相關(guān), 合理的參數(shù)設(shè)定通?？蓭?lái)一定程度的精度提升, 因此訓(xùn)練模型時(shí)還需兼顧參數(shù)選擇. GBDT算法建模時(shí)涉及的參數(shù)主要有學(xué)習(xí)速率(learning_rate), 用于控制學(xué)習(xí)時(shí)參數(shù)更新的步長(zhǎng), 若步長(zhǎng)過(guò)大, 則學(xué)習(xí)過(guò)程可能會(huì)發(fā)散, 反之, 又會(huì)導(dǎo)致模型進(jìn)行太多次迭代, 學(xué)習(xí)時(shí)間大幅度增加； 最大迭代次數(shù)(n_estimators), 表示基學(xué)習(xí)器的個(gè)數(shù), 與learning_rate相互作用, learning_rate較小時(shí), 需增加迭代次數(shù), 以便使訓(xùn)練誤差收斂； 子采樣(subsample), 用于控制參與擬合的數(shù)據(jù)集樣本比例, 設(shè)置為小于1時(shí)可有效減小整體模型的方差, 防止過(guò)擬合； 決策樹(shù)最大深度(max_depth), 內(nèi)部節(jié)點(diǎn)再劃分所需最小樣本數(shù)(min_samples_split)和葉子節(jié)點(diǎn)所包含的最少樣本數(shù)(min_samples_leaf), 均是用于控制每棵樹(shù)的復(fù)雜度, 具體的取值取決于數(shù)據(jù)分布, 若取值過(guò)大, 則會(huì)使模型結(jié)構(gòu)復(fù)雜, 易導(dǎo)致過(guò)擬合, 反之, 易導(dǎo)致欠擬合.

2 改進(jìn)鯨魚(yú)優(yōu)化算法原理

鯨魚(yú)優(yōu)化算法(whale optimization algorithm, WOA)是通過(guò)模擬座頭鯨的狩獵行為而提出的一種新型啟發(fā)式優(yōu)化算法[13], 通過(guò)包圍捕食、 螺旋泡泡網(wǎng)攻擊和搜索獵物對(duì)種群進(jìn)行多次迭代優(yōu)化, 最終確定當(dāng)前問(wèn)題的最優(yōu)解. WOA算法原理簡(jiǎn)單易懂, 所需手動(dòng)調(diào)節(jié)的參數(shù)較少, 計(jì)算模型簡(jiǎn)潔, 但仍存在局限性, 如早熟收斂、 種群多樣性缺失等, 會(huì)導(dǎo)致算法在后期陷入局部最優(yōu)[14]. 針對(duì)上述問(wèn)題, 本文引入3種改進(jìn)策略, 提出一種改進(jìn)的鯨魚(yú)優(yōu)化算法(improved whale optimization algorithm, IWOA).

2.1 混沌映射初始化種群

WOA算法采用隨機(jī)初始化種群的方式確定鯨魚(yú)的初始位置, 雖然保證了初始位置的隨機(jī)性, 但鯨魚(yú)個(gè)體無(wú)法在整個(gè)搜索空間中均勻分布, 從而降低了解的質(zhì)量. 混沌序列具有隨機(jī)性和遍歷性, 能彌補(bǔ)隨機(jī)初始化導(dǎo)致的缺陷, 提高算法性能. 文獻(xiàn)[15]研究表明, 相比于Logistic混沌映射模型, Tent混沌映射產(chǎn)生的序列均勻性更好, 產(chǎn)生的初始解質(zhì)量更高, 所以本文采用Tent混沌映射初始化種群, 以保證種群初始位置質(zhì)量, 其計(jì)算公式為

(6)

其中:t為映射次數(shù)；X(t)為第t次映射函數(shù)值, 取值為[0,1].

2.2 自適應(yīng)慣性權(quán)重

通過(guò)分析泡泡網(wǎng)捕食和隨機(jī)捕食時(shí)鯨魚(yú)的位置更新公式表明, 鯨魚(yú)的位置更新受全局最優(yōu)解和隨機(jī)解的影響.為增強(qiáng)全局搜索能力和局部搜索能力, 本文將慣性權(quán)重引入位置更新公式中, 這樣不僅能受全局最優(yōu)的引導(dǎo), 還能在局部鄰域與其他鯨魚(yú)進(jìn)行交流.新位置更新公式為

(7)

X(t+1)=Xrand(t)-wAD,

(8)

其中X(t+1)為當(dāng)前解的位置向量,X*(t)為最優(yōu)解的位置向量,t為當(dāng)前迭代次數(shù),A為系數(shù)向量,D為最優(yōu)個(gè)體位置與當(dāng)前個(gè)體位置之間的距離,p為[0,1]內(nèi)的隨機(jī)數(shù),b為對(duì)數(shù)螺旋形狀常數(shù),l為[-1,1]內(nèi)的隨機(jī)數(shù),Xrand(t)為當(dāng)前群體中被隨機(jī)選中的個(gè)體位置向量.

通過(guò)對(duì)各種優(yōu)化算法[16-18]的改進(jìn)研究分析可知： 較大的慣性權(quán)重有利于跳出局部最優(yōu), 進(jìn)行全局尋優(yōu)； 較小的慣性權(quán)重有利于局部尋優(yōu), 提高尋優(yōu)精度.因此, 本文引入正弦變化的權(quán)重因子控制獵物目標(biāo)對(duì)鯨魚(yú)位置更新的影響, 使鯨魚(yú)個(gè)體在前期具有較強(qiáng)的全局搜索能力, 在后期具有較強(qiáng)的局部開(kāi)發(fā)能力, 其計(jì)算公式為

(9)

其中tmax為最大迭代次數(shù).

2.3 交叉變異策略

經(jīng)過(guò)上述位置更新后, 重新計(jì)算當(dāng)前位置的適應(yīng)度, 并與之前位置的適應(yīng)度進(jìn)行比較后擇優(yōu)進(jìn)入下一次迭代, 未對(duì)鯨魚(yú)位置進(jìn)行干擾更新, 即存在當(dāng)前最優(yōu)個(gè)體位置并非全局最優(yōu)個(gè)體位置的可能, 隨著迭代次數(shù)的增加, 種群中所有個(gè)體都被錯(cuò)誤引導(dǎo), 進(jìn)而使算法陷入局部最優(yōu).因此, 利用差分進(jìn)化算法中的變異策略實(shí)現(xiàn)個(gè)體變異, 再將變異個(gè)體與目標(biāo)個(gè)體進(jìn)行交叉, 可增加種群多樣性, 擴(kuò)大搜索范圍, 避免算法陷入局部最優(yōu).雖然變異交叉產(chǎn)生的新解在一定程度上增強(qiáng)了算法跳出局部最優(yōu)的能力, 但仍不能保證產(chǎn)生的新解一定優(yōu)于原解, 因此需要比較新舊位置的適應(yīng)度大小, 判斷是否采用新個(gè)體, 其計(jì)算公式如下：

其中V(t+1)為變異后的鯨魚(yú)個(gè)體位置向量,Xr1(t),Xr2(t),Xr3(t)為種群隨機(jī)個(gè)體,F為縮放因子,U(t+1)為交叉后的鯨魚(yú)個(gè)體位置向量,r為[0,1]內(nèi)的隨機(jī)數(shù)； CR為交叉概率.

綜上可知, IWOA的尋優(yōu)流程如圖1所示.

圖1 IWOA尋優(yōu)流程Fig.1 Flow chart of IWOA optimization

3 IWOA-GBDT回歸預(yù)測(cè)模型

不同參數(shù)組合會(huì)使回歸預(yù)測(cè)模型對(duì)于同一樣本的擬合效果有差異, 因此僅根據(jù)經(jīng)驗(yàn)很難設(shè)定最佳參數(shù)組合. 本文采用改進(jìn)的鯨魚(yú)優(yōu)化算法對(duì)梯度提升決策樹(shù)的關(guān)鍵參數(shù)進(jìn)行尋優(yōu), 找到對(duì)當(dāng)前樣本擬合度最高的參數(shù)組合, 從而提高預(yù)測(cè)精度. 首先, 通過(guò)對(duì)比不同參數(shù)組合的尋優(yōu)結(jié)果, 確定需要尋優(yōu)的參數(shù)為n_estimators,learning_rate,subsample,max_depth,min_samples_split,min_samples_leaf； 其次, 利用IWOA對(duì)GBDT關(guān)鍵參數(shù)進(jìn)行尋優(yōu), 確定最優(yōu)參數(shù)組合； 最后, 構(gòu)建IWOA-GBDT回歸預(yù)測(cè)模型. 構(gòu)建模型步驟如下：

1) 輸入數(shù)據(jù)集, 劃分訓(xùn)練樣本數(shù)據(jù)和測(cè)試樣本數(shù)據(jù), 進(jìn)行歸一化處理；

2) 初始化算法參數(shù), 設(shè)定種群規(guī)模N, 群體空間維度D, 最大迭代次數(shù)tmax, 對(duì)數(shù)螺旋形狀常數(shù)b, 縮放因子F, 交叉因子C, 關(guān)鍵參數(shù)的取值范圍等；

3) 根據(jù)式(6)產(chǎn)生初始種群, 根據(jù)適應(yīng)度值函數(shù)均方誤差(MSE)計(jì)算適應(yīng)度大小, 記錄種群中適應(yīng)度值最優(yōu)的個(gè)體及位置；

4) 當(dāng)p<0.5時(shí), 若|A|≥1, 則根據(jù)式(8)更新個(gè)體位置信息； 若|A|<1, 則根據(jù)式(7)更新個(gè)體位置信息, 計(jì)算個(gè)體適應(yīng)度值；

5) 當(dāng)p≥0.5時(shí), 根據(jù)式(7)更新個(gè)體位置信息, 計(jì)算個(gè)體適應(yīng)度值；

6) 根據(jù)式(10)～(12)對(duì)種群位置進(jìn)行變異、 交叉、 選擇操作；

7) 比較當(dāng)前個(gè)體最優(yōu)適應(yīng)度值與群體最優(yōu)適應(yīng)度值, 更新群體最優(yōu)個(gè)體和位置信息；

8) 判斷算法是否滿(mǎn)足結(jié)束條件, 若不滿(mǎn)足, 則返回步驟4)進(jìn)行下一次迭代； 否則, 輸出最優(yōu)解和最優(yōu)個(gè)體位置；

9) 將得到的最優(yōu)參數(shù)組合賦值給GBDT模型, 利用訓(xùn)練樣本數(shù)據(jù)構(gòu)建IWOA-GBDT回歸預(yù)測(cè)模型, 并利用測(cè)試樣本數(shù)據(jù)驗(yàn)證模型的精確性.

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)選取

本文采用UCI數(shù)據(jù)集作為標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集, 包括美國(guó)波士頓房?jī)r(jià)數(shù)據(jù)集、 魚(yú)類(lèi)毒性數(shù)據(jù)集、 翼型自噪聲數(shù)據(jù)集、 聯(lián)合循環(huán)電廠數(shù)據(jù)集、 混凝土抗壓強(qiáng)度數(shù)據(jù)集和游艇水動(dòng)力學(xué)數(shù)據(jù)集, 數(shù)據(jù)集統(tǒng)計(jì)信息列于表1.

表1 數(shù)據(jù)集統(tǒng)計(jì)信息

4.2 評(píng)價(jià)指標(biāo)

采用均方誤差(MSE)、 平均絕對(duì)誤差(MAE)和R方值(R2)3個(gè)評(píng)價(jià)指標(biāo)評(píng)價(jià)算法性能.MSE值越小, 表明模型效果越好, 其計(jì)算公式為

(13)

MAE值越小, 表明模型效果越好, 其計(jì)算公式為

(14)

R2值越接近1, 表明模型效果越好, 其計(jì)算公式為

(15)

4.3 實(shí)驗(yàn)對(duì)比分析

為驗(yàn)證IWOA-GBDT預(yù)測(cè)模型的有效性, 本文在相同實(shí)驗(yàn)環(huán)境條件下, 使用Python進(jìn)行編程實(shí)驗(yàn). 首先, 將本文選擇的參數(shù)組合尋優(yōu)所得結(jié)果與文獻(xiàn)[19-21]選擇的參數(shù)組合尋優(yōu)所得結(jié)果進(jìn)行對(duì)比； 其次, 將IWOA-GBDT預(yù)測(cè)模型與采用遺傳算法(GA)、 飛蛾撲火優(yōu)化算法(MFO)、 粒子群優(yōu)化算法(PSO)、 量子粒子群優(yōu)化算法(QPSO)、 標(biāo)準(zhǔn)鯨魚(yú)優(yōu)化算法(WOA)進(jìn)行參數(shù)尋優(yōu)的GBDT預(yù)測(cè)模型進(jìn)行對(duì)比； 最后, 將IWOA-GBDT預(yù)測(cè)模型與決策樹(shù)、 支持向量機(jī)、 Adaboost和GBDT回歸預(yù)測(cè)模型進(jìn)行對(duì)比分析, 進(jìn)一步驗(yàn)證本文算法擬合效果的客觀性. 算法的初始參數(shù)設(shè)置為： 最大迭代次數(shù)200次, 種群規(guī)模20, 對(duì)數(shù)螺旋形狀常數(shù)b=1, 縮放因子F=0.6, 交叉因子CR=0.7. 采用MSE,MAE,R2值3個(gè)評(píng)價(jià)指標(biāo)評(píng)價(jià)算法的性能. 不同參數(shù)組合尋優(yōu)的對(duì)比實(shí)驗(yàn)結(jié)果列于表2. 由表2可見(jiàn), 本文所選參數(shù)組合的預(yù)測(cè)結(jié)果大多數(shù)均優(yōu)于文獻(xiàn)[19-21]選擇的參數(shù)組合所得結(jié)果. 這是因?yàn)楸疚目紤]到單個(gè)決策樹(shù)的不同分裂條件也會(huì)影響模型的預(yù)測(cè)準(zhǔn)確度, 所以在參數(shù)選擇時(shí)又選擇了min_samples_split和min_samples_leaf進(jìn)行優(yōu)化, 控制了樹(shù)結(jié)構(gòu)的復(fù)雜度, 進(jìn)一步驗(yàn)證了本文選擇參數(shù)的可靠性.

表2 不同參數(shù)組合尋優(yōu)的對(duì)比實(shí)驗(yàn)結(jié)果

不同優(yōu)化算法尋優(yōu)效果對(duì)比實(shí)驗(yàn)結(jié)果列于表3. 由表3可見(jiàn), 不同優(yōu)化算法對(duì)GBDT算法的預(yù)測(cè)性能影響顯著, 采用GA,MFO,PSO,QPSO和WOA算法進(jìn)行參數(shù)尋優(yōu)的預(yù)測(cè)模型對(duì)于上述數(shù)據(jù)集的回歸預(yù)測(cè)很難達(dá)到較好的擬合效果, 結(jié)果不理想. 相比于其他優(yōu)化算法, 在多數(shù)情況下本文IWOA-GBDT回歸預(yù)測(cè)模型的均方誤差和平均絕對(duì)誤差均為最小,R2系數(shù)均為最高, 這是因?yàn)楸疚氖紫仍赪OA的基礎(chǔ)上利用Tent混沌映射初始化鯨魚(yú)種群, 提高了種群初始位置的質(zhì)量； 然后引入權(quán)重因子平衡算法在GBDT關(guān)鍵參數(shù)尋優(yōu)過(guò)程中的全局和局部搜索能力； 最后利用變異交叉策略, 增加種群個(gè)體的多樣性, 跳出局部最優(yōu), 確定使預(yù)測(cè)模型擬合效果達(dá)到最優(yōu)的參數(shù)組合.

表3 不同優(yōu)化算法尋優(yōu)效果對(duì)比實(shí)驗(yàn)結(jié)果

不同回歸預(yù)測(cè)模型對(duì)比實(shí)驗(yàn)結(jié)果列于表4. 由表4可見(jiàn), 相比于傳統(tǒng)的DTR算法、 SVR算法、 Adaboost算法以及GBDT算法, 本文的IWOA-GBDT算法使預(yù)測(cè)結(jié)果得到明顯改善, 在不同數(shù)據(jù)集上各項(xiàng)評(píng)價(jià)指標(biāo)均為最優(yōu). 與傳統(tǒng)GBDT算法進(jìn)行對(duì)比可見(jiàn), 參數(shù)優(yōu)化后的算法進(jìn)行回歸預(yù)測(cè)時(shí)誤差波動(dòng)更小, 準(zhǔn)確率更高, 擬合效果更好. 因此, 本文的預(yù)測(cè)模型達(dá)到了預(yù)期效果, 并具有一定的可靠性和實(shí)用性.

表4 不同回歸預(yù)測(cè)模型對(duì)比實(shí)驗(yàn)結(jié)果

綜上所述, 本文針對(duì)梯度提升決策樹(shù)參數(shù)難以選擇的問(wèn)題, 提出了一種基于改進(jìn)鯨魚(yú)優(yōu)化算法的梯度提升決策樹(shù)回歸預(yù)測(cè)算法, 將改進(jìn)的鯨魚(yú)優(yōu)化算法應(yīng)用于關(guān)鍵參數(shù)尋優(yōu), 從而彌補(bǔ)了在訓(xùn)練過(guò)程中參數(shù)選擇具有盲目性的缺陷, 提高了回歸預(yù)測(cè)模型的預(yù)測(cè)精度, 通過(guò)與決策樹(shù)、 支持向量機(jī)、 Adaboost和GBDT算法的對(duì)比仿真實(shí)驗(yàn)結(jié)果表明, 本文算法具有更高的預(yù)測(cè)精度和實(shí)用性.