王媛彬，李媛媛，韓 騫，李瑜杰，周 沖

(西安科技大學 電氣與控制工程學院，陜西 西安 710054)

0 引 言

煤炭是中國重要的能源[1]，隨著人類對煤炭資源的開采和使用，淺部地區(qū)的煤炭資源逐漸減少[2]，埋深地下千米的煤炭將會成為往后開采的重要目標[3]。然而面對煤層瓦斯賦存環(huán)境更加復雜、瓦斯復合災害更加嚴重以及開采難度更高的局面，準確預測深部礦井的瓦斯涌出量成為亟需解決的問題[4]。

在煤礦的開采過程中，回采工作面是礦井瓦斯涌出的主要來源，最易發(fā)生安全事故，尤其是工作面的隅角處通風效果差、溫度和濕度較高，容易積聚瓦斯，被看作是瓦斯的重點防治區(qū)域。而瓦斯防治的首要目標是將瓦斯?jié)舛瓤刂圃诎踩侠淼姆秶韵拢跃珳实仡A測瓦斯涌出量并實時根據(jù)瓦斯?jié)舛炔扇∠鄳某椴纱胧?，能夠有效降低事故發(fā)生概率、減少人員傷亡和財產(chǎn)損失。因此，對回采工作面瓦斯涌出量預測方法的研究具有重要的意義。為此，眾多學者對瓦斯預測進行深入的研究，旨在減少甚至是避免瓦斯事故的發(fā)生，為煤礦安全生產(chǎn)起理論指導作用[5]。

傳統(tǒng)的煤礦瓦斯涌出量預測方法有分源預測法、礦山統(tǒng)計法等[6-7]。隨著計算機技術(shù)的發(fā)展，在瓦斯涌出量預測方面，出現(xiàn)一些新的預測方法。如：灰色系統(tǒng)[8]、BP神經(jīng)網(wǎng)絡方法[9]、支持向量機方法[10]等。徐剛等人提出基于因子分析法和BP神經(jīng)網(wǎng)絡的預測方法對工作面瓦斯涌出量進行研究[11]。劉鵬等人針對CART決策樹穩(wěn)定性差的問題，對CART決策樹進行改進，提出一種結(jié)合支持向量機的增強CRAT回歸算法，并將該方法應用于瓦斯涌出量用預測，取得較好的效果[12]。肖鵬等人為提高瓦斯涌出量預測的精度，提出將小波包分解方法和極限學習機相結(jié)合，建立小波-極限學習機的瓦斯涌出量預測模型，為瓦斯涌出量時變序列的預測提供了新的思路[13]。溫廷新等人將BP神經(jīng)網(wǎng)絡、粒子群優(yōu)化算法(PSO)以及AdaBoost迭代算法相結(jié)合建立一種瓦斯涌出量分源預測模型，經(jīng)實驗分析該模型的平均相對誤差要小于BP神經(jīng)網(wǎng)絡預測模型[14]。豐盛成等人為了準確預測回采工作面的瓦斯涌出量，提出PCA-PSO-LSSVM的瓦斯涌出量預測模型[15]。代巍等人將變分模態(tài)分解(VMD)方法、差分進化(DE)算法以及相關(guān)向量機(RVM)相結(jié)合，提出基于VMD-DE-RVM的瓦斯涌出量區(qū)間預測方法，獲得較高的預測結(jié)果[16]。李樹剛等人構(gòu)建因子分析與BP神經(jīng)網(wǎng)絡相結(jié)合的瓦斯涌出量預測模型，實現(xiàn)對煤礦井下瓦斯涌出量的預測[17]。

綜上所述，大量學者對瓦斯涌出量進行研究，在預測精度和效率方面都有所提高。但是仍存在以下兩方面不足：一方面是煤礦井下環(huán)境較復雜且影響瓦斯涌出量的因素具有非線性的特點，使得預測精度的提高受到一定限制。另一方面是BP神經(jīng)網(wǎng)絡本身存在收斂速度慢和易陷入局部最優(yōu)解等問題，導致預測精度不高。因此有必要在前人研究的基礎(chǔ)上繼續(xù)探索新的預測方法對瓦斯涌出量進行預測。針對瓦斯涌出量的因素具有非線性的特點，文中利用主成分分析法(principal component analysis，PCA)進行原始數(shù)據(jù)降維，提取瓦斯涌出量數(shù)據(jù)的特征信息；針對神經(jīng)網(wǎng)絡精度欠佳的問題，建立極端梯度提升(extreme gradient boosting，XGBoost)瓦斯涌出量預測模型；針對XGBoost模型中超參數(shù)難以確定的問題，將貝葉斯優(yōu)化(bayesian optimization，BO)算法引入XGBoost中，建立BO-XGBoost預測模型，并且與隨機搜索和網(wǎng)格搜索所建立的模型進行對比分析，驗證貝葉斯優(yōu)化模型在泛化性能和預測精度上具有優(yōu)勢。最后將PCA和BO-XGBoost相結(jié)合，建立PCA-BO-XGBoost的瓦斯涌出量預測模型。

1 主成分降維

主成分分析法(principal components analysis，PCA)的基本思想是通過對存在線性關(guān)系的特征變量經(jīng)過線性變換組合成少數(shù)幾個特征變量，變換后的特征變量叫做主成分。每個主成分都是通過對原始變量線性組合得來的，且各主成分之間是沒有相關(guān)性的，雖然主成分的數(shù)量要少于原始的變量特征，但是主成分包含了原始數(shù)據(jù)的大多數(shù)信息，因此可以做到簡約數(shù)據(jù)的作用，尤其是對較高維度的數(shù)據(jù)。假設有n個數(shù)據(jù)樣本，每個數(shù)據(jù)樣本都有m維的特征，則可以建立m×n階的數(shù)據(jù)矩陣為

(1)

其中 矩陣X的每一列可表示為

(2)

對m×n階矩陣X做線性變化

(3)

式中F1,F2,…,Fm依次為第1主成分，第2主成分， …，第m主成分。同時，還必須滿足以下3個條件。

條件2：Fi和Fj(i≠j;i,j=1,2,…,m)之間相互獨立，并且兩者之間的協(xié)方差等于0。

條件3：Var(F1)>Var(F2)>…>Var(Fm)。

筆者利用主成分分析法對瓦斯涌出量數(shù)據(jù)進行降維處理，具體步驟如下。

1)對瓦斯涌出量的數(shù)據(jù)進行中心化處理。

2)計算樣本的協(xié)方差矩陣。

3)計算協(xié)方差矩陣的特征值和特征向量。

4)選擇主成分的個數(shù)，論文按照累計貢獻率超過85%的選取原則選擇主成分。

5)根據(jù)計算出的特征向量寫出主成分的表達式。

2 預測模型的構(gòu)建

2.1 XGBoost算法原理

XGBoost是一種由多個弱學習器疊加訓練而成的集成算法[18]，弱學習器一般指分類和回歸樹。XGBoost中每棵樹擬合的是前一棵樹與真實值之間的殘差，依次迭代直至達到停止條件，最后對所有樹的擬合結(jié)果累計求和值，得到最終的預測結(jié)果。

令數(shù)據(jù)集D=(xi,yi)(|D|=n,xi∈Rm,yi∈R)，m表示特征維數(shù)，n表示樣本數(shù)量。假設某個模型由K棵樹組成，則

(4)

XGBoost算法的目標函數(shù)由訓練誤差項與約束正則項2部分組成

(5)

(6)

式中T為子樹葉子節(jié)點的個數(shù)；ω為葉子節(jié)點的分數(shù)組成的集合；γ和λ為系數(shù)。

(7)

式(7)表示，模型的輸出結(jié)果等于前t-1次的輸出結(jié)果加上第t棵樹的輸出結(jié)果。于是，在第t次時，目標函數(shù)可以寫成

(8)

目標函數(shù)經(jīng)過二階泰勒展開后近似結(jié)果為

(9)

式中g(shù)i為誤差函數(shù)的一階導數(shù)；hi為誤差函數(shù)的二階導數(shù)。

在使用XGBoost模型進行預測的過程中，如果訓練數(shù)據(jù)太多，需要先進行數(shù)據(jù)篩選或通過降維方法來剔除無效數(shù)據(jù)，減少特征數(shù)量，否則模型容易過度擬合；相反，如果變量太少，容易產(chǎn)生欠擬合現(xiàn)象。因此，數(shù)據(jù)樣本的多少對預測結(jié)果的精度至關(guān)重要。

2.2 貝葉斯優(yōu)化

貝葉斯優(yōu)化算法(bayesian optimization algorithm，BOA)是基于概率學中“貝葉斯理論”的一種黑盒優(yōu)化算法。BOA在運行某一組超參數(shù)時，會考慮前一組超參數(shù)的優(yōu)化結(jié)果，以此可以更有效地得到最優(yōu)的參數(shù)解。有2個核心部分，分別是先驗函數(shù)(prior function，PF)和采集函數(shù)(acquisition function，AC)。文中的先驗函數(shù)采用高斯過程，采集函數(shù)采用概率提升(probability of improvement，PI)函數(shù)來提高模型的泛化能力。貝葉斯優(yōu)化流程如圖1所示。

圖1 貝葉斯優(yōu)化流程Fig.1 Bayesian optimization flow

2.3 瓦斯涌出量預測流程

建立基于PCA-BO-XGBoost的瓦斯涌出量預測模型具體的算法步驟如下。

1)瓦斯涌出量數(shù)據(jù)的預處理。利用公式(1)～(3)對11種影響瓦斯涌出量的因素進行降維處理，并把降維后的數(shù)據(jù)分為訓練集和測試集。

2)確定預測模型中的超參數(shù)值。設置XGBoost模型中待確定的超參數(shù)尋優(yōu)范圍，在此基礎(chǔ)上筆者采用BAO對超參數(shù)進行尋優(yōu)以確定最佳的超參數(shù)。

3)訓練XGBoost預測模型。根據(jù)上一步驟中尋優(yōu)的結(jié)果，設置XGBoost模型中超參數(shù)的值，同時將訓練集數(shù)據(jù)輸入到XGBoost模型中，以此得到訓練好的瓦斯涌出量預測模型。

4)瓦斯涌出量預測。根據(jù)第3)步得到的預測模型，將測試集數(shù)據(jù)輸入到該模型，得出預測的結(jié)果，并對該結(jié)果進行分析和評價。

基于PCA-BO-XGBoost的瓦斯涌出量預測流程如圖2所示。

圖2 基于PCA-BO-XGBoost瓦斯涌出量預測流程Fig.2 Flow of gas emission prediction based on PCA-BO-XGBoost

3 實驗及分析

3.1 瓦斯涌出量數(shù)據(jù)降維

實驗數(shù)據(jù)采用黃陵二號礦的歷史樣本數(shù)據(jù)，隨機采樣130組樣本構(gòu)成測試集，其中每個樣本包括了11種瓦斯涌出量影響因素。瓦斯涌出量的影響因素眾多，例如開采煤層瓦斯含量、開采技術(shù)、地面大氣壓變化等，文中采取最主要的2種因素，即地質(zhì)因素和開采技術(shù)因素，其中地質(zhì)因素包括煤層埋藏深度、煤層厚度、煤層瓦斯含量、煤層傾角、鄰近層瓦斯含量和煤層間距；開采技術(shù)因素包括日進度、日產(chǎn)量、采高、工作面采出率和工作面長度。部分原始數(shù)據(jù)見表1。煤層埋藏深度X1(m)、煤層厚度X2(m)、煤層瓦斯含量X3(m3/t)、日進度X4(m/d)、日產(chǎn)量X5(t/d)、煤層傾角X6(°)、鄰近層瓦斯含量X7(m3/t)、煤層間距X8(m)、采高X9(m)、工作面采出率X10(%)、以及工作面長度X11(m)，預測的目標為絕對瓦斯涌出量Y(m3/min)。

表1 瓦斯涌出量影響因素部分數(shù)據(jù)Table 1 Partial data of influencing factors of gas emission

表2是選取不同數(shù)量的影響因素進行預測后產(chǎn)生的結(jié)果與原始數(shù)據(jù)之間的誤差對比。可以看出，影響因素減少，模型預測精度會隨之降低。對于11種瓦斯涌出量影響因素本身存在的數(shù)據(jù)重復、冗余問題，進行相關(guān)性分析，得到各因素之間的相關(guān)系數(shù)矩陣見表3。表3展示了瓦斯涌出量的影響因素間的相關(guān)性大小，不同因素間存在相關(guān)性大小不同，如果直接使用上述數(shù)據(jù)對瓦斯涌出量進行預測勢必會增加預測模型的復雜度。因此，需要對原始數(shù)據(jù)預處理，從而達到精簡影響因素的目的。主成分分析法作為數(shù)據(jù)降維最常用的方法之一，在瓦斯涌出量預測領(lǐng)域中運用比較廣泛。與其他算法相比，PCA在數(shù)據(jù)處理上降維效果明顯，且處理時間較短，實用性較強。因此，筆者利用主成分分析法對11個影響工作面瓦斯涌出量的因素進行數(shù)據(jù)降維，得到的主成分對不同的影響因素分配不同的權(quán)重系數(shù)，選擇滿足要求的主成分個數(shù)，即預測模型的輸入變量，并將這些輸入變量繼續(xù)作為后續(xù)工作中學習器的輸入。降維后的結(jié)果如圖3所示，各成分累計的方差貢獻率見表4。

圖3 主成分分析法的數(shù)據(jù)降維Fig.3 Data dimensionality reduction diagram of PCA

表2 預測誤差結(jié)果對比Table 2 Comparison of prediction errors

表3 樣本的相關(guān)系數(shù)矩陣Table 3 Correlation coefficient matrix of samples

當主成分貢獻率累計值達到85%以上，能夠保證降維后的變量包含充分的原始信息。為了更充分地保證信息量，筆者在85%的基礎(chǔ)上選取貢獻率達到90%的主成分進行后續(xù)分析。由表4可知，前5個主成分的累計方差貢獻率分別為61.307%,73.970%,81.277%,87.878%,91.541%，前5個主成分的累計方差貢獻率超過90%，實驗結(jié)果表明PCA對數(shù)據(jù)降維有明顯效果，能夠減少各因素之間的相關(guān)性所帶來的影響，減少計算。因此，選取前5個主成分進行后續(xù)分析，各主成分的系數(shù)見表5，F(xiàn)1～F5為降維后的5個主成分。

表4 各成分累計的方差貢獻率Table 4 Accumulated variance contribution rate of each component

根據(jù)表5可以得到5個主成分的表達式，其公式如下

表5 主成分系數(shù)Table 5 Principal component coefficients

F1=0.723X1+0.857X2+0.918X3+-0.719X4+0.876X5+0.277X6+0.781X7+-0.543X8+0.932X9+-0.889X10+0.848X11

(10)

F2=-0.104X1+-0.216X2+-0.102X3+0.069X4+-0.084X5+0.829X6+-0.009X7+-0.636X8+-0.262X9+0.165X100.354X11

(11)

F3=-0.550X1+0.348X2+-0.176X3+-0.146X4+0.059X5+0.326X6+-0.129X7+0.386X8+0.065X9+-0.193X10+0.109X11

(12)

F4=-0.039X1+0.031X2+-0.099X3+0.619X4+0.187X5+0.103X6+0.510X7+0.145X8+0.017X9+-0.043X10+-0.033X11

(13)

F5=0.359X1+-0.074X2+-0.057X3+-0.134X4+-0.169X5+0.313X6+0.084X7+0.305X8+-0.009X9+-0.051X10+-0.135X11

(14)

5個主成分是對11個瓦斯涌出量影響因素進行線性變換得到，不會改變原始影響因素的客觀存在。

3.2 XGBoost超參數(shù)尋優(yōu)

XGBoost模型中含有大量需要設置的超參數(shù)，最主要的3類超參數(shù)分別是：常規(guī)的超參數(shù)、提升器超參數(shù)以及任務參數(shù)。一般情況下，常規(guī)的超參數(shù)和任務參數(shù)采用默認值，所以只需要對提升器超參數(shù)進行適當調(diào)整，達到優(yōu)化模型性能的目的。由于XGBoost模型中的超參數(shù)較多，如果對所有參數(shù)進行優(yōu)化，會給計算機帶來巨大挑戰(zhàn)，增加尋優(yōu)時間。根據(jù)文獻[19-20]的建議和實際情況，最終選擇7個超參數(shù)作為待尋優(yōu)的目標，設定的7個超參數(shù)取值范圍見表6，其余超參數(shù)均保持默認值不變。

表6 XGBoost模型超參數(shù)設定范圍及含義Table 6 XGBoost model hyperparameter setting range and meaning

為證明貝葉斯算法在預測模型中的優(yōu)越性，筆者分別利用網(wǎng)格搜索、隨機搜索和BOA對XGBoost模型的7個超參數(shù)進行尋優(yōu)對比。綜合考慮后選用均方誤差和尋優(yōu)時間作為尋優(yōu)的評價指標，3種尋優(yōu)算法的尋優(yōu)結(jié)果見表7，算法性能對比結(jié)果見表8。

表7 3種尋優(yōu)算法尋優(yōu)結(jié)果Table 7 Results of three optimization algorithms

對表7的尋優(yōu)結(jié)果進行分析，由不同尋優(yōu)算法所得到的參數(shù)值相差甚大，這是隨機搜索和網(wǎng)格搜索算法在尋優(yōu)過程中陷入局部最優(yōu)所導致的。結(jié)合表7和表8可知，相較于其他2種搜索算法，BOA在時間和均方誤差方面上具有很大的優(yōu)勢，尋優(yōu)時間為7.87 s，明顯小于網(wǎng)格搜索和隨機搜索，BOA的均方誤差為0.009 16，同樣在3種算法內(nèi)達到最小。

表8 3種尋優(yōu)算法性能對比Table 8 Performance comparison of three optimization algorithms

3.3 基于PCA-BO-XGBoost預測模型對瓦斯涌出量預測

由3.1小節(jié)中的PCA對130組瓦斯涌出量影響因素進行數(shù)據(jù)降維，得到的部分結(jié)果見表9。其中，F(xiàn)1～F5是經(jīng)過PCA降維得到的5個主成分，Y代表瓦斯涌出量。將130組數(shù)據(jù)分為訓練集(前100組)和測試集(后30組)輸入到建立的PCA-BO-XGBoost預測模型中進行訓練和預測。

表9 主成分分析法降維后的主成分數(shù)據(jù)Table 9 Principal component data after dimensionality reduction by PCA

為驗證文中所建立的模型性能，分別建立PCA-XGBoost、PCA-BP以及PCA-SVM這3種預測模型與提出的預測模型進行對比，可以得到4種算法的預測趨勢與原始數(shù)據(jù)的對比結(jié)果以及預測算法產(chǎn)生的誤差如圖4、圖5所示。

圖4 4種預測算法與實際結(jié)果對比Fig.4 Comparison of results by four prediction algorithms and actual results

圖5 4種預測算法預測誤差Fig.5 Prediction errors of four prediction algorithms

從圖4可以看出4種預測模型均與原始的樣本數(shù)據(jù)保持大致相同的趨勢，結(jié)合圖5的預測誤差結(jié)果進行分析，PCA-BO-XGBoost瓦斯涌出量預測模型的誤差較低且總體變換趨勢較為平緩。

為進一步驗證PCA-BO-XGBoost模型的優(yōu)越性，選取平均絕對誤差和均方根誤差2個評價指標進行誤差對比，其結(jié)果見表10。結(jié)合表10進行分析可知，PCA-BO-XGBoost預測模型的平均絕對誤差為0.070 3，是4種預測模型中最小的，與PCA-XGBoost預測模型、PCA-SVM預測模型以及PCA-BP預測模型相比，平均絕對誤差分別降低1.29%，2.86%，6.27%。PCA-BO-XGBoost預測模型的均方根誤差是0.095 7，與PCA-XGBoost預測模型、PCA-SVM預測模型以及PCA-BP預測模型相比，均方根誤差分別降低0.92%，2.17%，8.88%。

表10 4種算法預測誤差結(jié)果Table 10 Prediction errors of the four algorithms

分析上述試驗結(jié)果，PCA-XGBoost模型的預測曲線要好于PCA-BP和PCA-SVM模型的預測曲線，證明XGBoost在精度提高方面更具優(yōu)勢。在此基礎(chǔ)上，采用貝葉斯優(yōu)化PCA-XGBoost中的超參數(shù)進一步減小了XGBoost的預測誤差，對模型的預測性能有較好的提升作用，所以PCA-BO-XGBoost 預測精度要高于未經(jīng)過優(yōu)化的PCA-XGBoost預測精度。綜上所述，建立的PCA-BO-XGBoost得到的預測變化趨勢與實際變化最接近，不僅更加符合實際的變化情況，且具有更高的預測精度和泛化能力。

4 結(jié) 論

1)針對瓦斯涌出量影響因素過多的問題，利用主成分分析法對原始數(shù)據(jù)降維，有效減小輸入數(shù)據(jù)的復雜度和各影響因素之間的重復、冗余，達到提高預測精度的目的。

2)選擇BOA對XGBoost模型中的超參數(shù)尋優(yōu)，同時與經(jīng)典的尋優(yōu)算法網(wǎng)格搜索，隨機搜索進行對比實驗，結(jié)果表明：BOA耗費時間最少，且優(yōu)化后的預測模型均方誤差達到最低。因此，建立了PCA-BO-XGBoost瓦斯涌出量預測模型。

3)通過仿真實驗來驗證瓦斯涌出量預測模型的性能，并利用PCA-SVM模型、PCA-BP模型和PCA-XGBoost模型進行預測結(jié)果的對比分析，該算法將平均絕對誤差分別降低了1.29%，2.86%，6.27%，均方根誤差降低了0.92%，2.17%，8.88%。實驗結(jié)果表明，文中算法能夠明顯提升預測精度和效率，對礦井的安全生產(chǎn)實踐提供一定的理論參考和指導，具有現(xiàn)實意義。