劉曉明，王 新，徐 慧

(中國礦業(yè)大學 計算機科學與技術學院，江蘇 徐州 221116)

0 引 言

構造煤是由原生結構的煤層在構造應力作用下，發(fā)生了結構和成分顯著變化而形成的一種煤體[1]。目前，在我國對能源的需求不斷加大的背景下，越來越多的復雜礦井已經(jīng)開始投入生產(chǎn)，同時煤礦的開采范圍及深度也在不斷的增加。雖然煤礦提高了產(chǎn)量，但也使得瓦斯危害的問題越來越突出。因此，如果可以根據(jù)構造煤厚度及其分布來劃分煤礦瓦斯突出區(qū)域[2]，也就能減少事故的發(fā)生，保障煤礦生產(chǎn)的安全。目前，很多機器學習的方法被應用到煤層厚度預測和構造煤厚度預測中，如：模糊神經(jīng)網(wǎng)絡、極限學習機等[3,4]。眾多學者多致力于單一目標的煤層或構造煤層厚度預測，如果能夠同步預測出煤層和構造煤的厚度，以此劃分出煤與瓦斯危險區(qū)域，就能為煤礦的開采提供可靠的保障。多目標預測是一個活躍且快速發(fā)展的研究領域，多目標回歸(MTR)目前已經(jīng)應用在到很多領域，如生態(tài)模型預測、水文模型預測[5,6]等。多目標回歸相比為每個目標構建單獨的回歸預測模型，主要有兩個優(yōu)點。首先，構建單個多目標回歸模型通常比對所有變量單獨構建回歸模型總規(guī)模??；其次，多目標回歸模型能更好地識別不同目標變量之間的依賴關系。

多目標隨機森林MTRF(multi-target random forest)是一種多目標預測方法，它是以決策樹為基本分類器的集成學習算法，通過對訓練數(shù)據(jù)以及特征的自采樣來構建預測模型。對于多目標學習，隨機森林子模型不是建立單目標回歸模型，而是建立多目標回歸模型。具體而言，它基于隨機選擇特征集的多目標決策樹構建多目標隨機森林。本文構建了多目標隨機森林的預測模型，利用遺傳算法中的核心思想改進粒子群算法，最終使用改進后的優(yōu)化算法對模型參數(shù)進行優(yōu)化，對研究區(qū)域煤層和構造煤厚度進行同步預測。

1 基本原理

1.1 隨機森林

隨機森林(random forest，RF)是預測分析最有效的機器學習模型之一，使其成為機器學習的工業(yè)主力。隨機森林預測器[7]是一個集成預測器，它結合了套袋和隨機特征子空間，用于構建決策樹的準確分類或回歸集合。套袋和隨機子空間本身都是有效的集成方法，它們都增加了分類器的多樣性，并有效地學習相當準確的預測模型。

在預測期間，每個單獨的集合成員投票選擇最適合其有限范圍的預測，然后使用聚合方法組合這些投票以計算最終的預測結果。隨機森林模型是一種加性模型，它通過組合一系列基礎模型的決策來進行預測。將這類模型編寫為f1(x)，f2(x)，…，fn(x)， 最終的模型g(x) 是由這n個基礎模型共同決定的。這里，每個基本分類器都是一個簡單的決策樹。這種使用多個模型來獲得更好預測性能的廣泛技術稱為模型集成。在隨機森林中，所有基礎模型都是使用不同的數(shù)據(jù)子樣本獨立構建的。

1.2 粒子群算法

粒子群算法(particle swarm optimization，PSO)是最初由Kennedy和Eberhart提出的一種模擬社會行為的優(yōu)化算法[8]，粒子群算法主要受到鳥類覓食行為的啟發(fā)，通過粒子間的相互作用，最終尋找到搜索空間中的最佳點或幾個最佳點的周圍。

PSO算法初始化搜索空間X=(X1,X2,X3,…，Xn)， 設Xi粒子為D維向量Xi=[Xi1,Xi2,Xi3,…，XiD]T。 通過適應度函數(shù)計算每個粒子對應的適應度。設第i個粒子的飛行速度為vi=[vi1,vi2,vi3,…，viD]T， 其個體極值為pbi=[pbi1,pbi2,pbi3,…,pbiD]T， 全局極值為gbi=[gbi1,gbi2,gbi3,…,gbiD]T。 粒子在迭代中通過式(1)、式(2)更新自身的速度和位置

vid=ω×vid+c1rand()(pbid-xid)+
c2rand()(gbid-xid)

(1)

xid=xid+vid

(2)

其中，ω為慣性權重；d=1,2,3,…,D；i=1,2,3,…,n；k為迭代次數(shù)；vid為當前粒子速度；c1和c2為非負常數(shù)。

1.3 遺傳算法

遺傳算法在20世紀70年代由密歇根大學的John Holland在美國正式引入，是基于遺傳學和自然選擇原理的優(yōu)化技術。遺傳算法(genetic algorithm，GA)在本質上是充分隨機化的，但是它比隨機局部搜索表現(xiàn)得更好。

GA算法的原理是模擬生物的進化過程，通過選擇、交叉、變異等[9]操作產(chǎn)生下一代的解，并逐步淘汰適應度低的解，以此接近問題的最優(yōu)解。進化M代后就很有可能進化出適應度很高的個體，即最優(yōu)解的近似解。

遺傳算法運算過程：

步驟1 種群初始化：計數(shù)器t=0， 進化代數(shù)T， 并隨機生成M個個體作為初始種群P(0)。

步驟2 適應度計算：通過適應度函數(shù)計算種群P(t) 中每個個體的適應度，使用該適應度表征群體中每個個體的優(yōu)異程度。

步驟3 選擇：從群體中選擇出優(yōu)異個體，使其更有機會遺傳到下一代，這是根據(jù)個體的優(yōu)異程度來選擇的。

步驟4 交叉：對群體中部分個體使用交叉運算得到下一代個體，它們繼承了父代的基因。

步驟5 變異：對群體中部分個體使用變異運算。對這些個體，以變異概率改變某幾個基因值，改變值為其它個體的同位基因。

步驟6 終止判斷：若t=T, 則最優(yōu)解為運行過程中得到的最優(yōu)適應度個體，否則返回步驟2。

1.4 預測評價指標

均方根誤差(RMSE)是殘差的標準偏差(預測誤差)，式(3)是本文用來比較多目標學習算法的性能的度量

(3)

2 基于多目標隨機森林的煤層厚度和構造煤厚度預測模型

2.1 預測模型

對多目標進行符號描述，設X和Y為兩個隨機向量,假設訓練集由M個實例組成，即 {(x1,y1),(x2,y2),…,(xm,ym)}。

采用多目標隨機森林算法對訓練數(shù)據(jù)構建模型，預測過程如圖1所示。

圖1 基于隨機森林回歸算法的煤層和構造煤厚度預測模型

隨機森林利用Bootstrap方法對訓練樣本集(x,y)train中進行n次自采樣，組成n個樣本個數(shù)為m的子集，每個子集都模擬了真實樣本的分布，對每個樣本分別構建多目標回歸樹，最終的模型就是這多個預測器的組合。

2.2 算法步驟

隨機森林的基礎回歸器的選擇有很多，比如CART樹[10]、PCT(predictive clustering tree)[11]、CI樹(conditional inference trees)[12]等作為基礎預測器，只要滿足“隨機性強”、“不穩(wěn)定”特征的多目標回歸預測器都可以成為隨機森林的子模型，本文利用的是單變量遞歸分區(qū)方法(CART)對多輸出回歸問題的擴展。因此，多變量回歸樹是按照與CART相同的步驟構建的，即從根節(jié)點中的所有實例開始，然后迭代地找到最佳分割并相應地分割葉子直到預定義的停止標準到達。與CART的唯一區(qū)別在于使用多變量的平方誤差之和重新定義單個節(jié)點的不純度[13]

(4)

隨機森林模型的參數(shù)需要通過經(jīng)驗選取，并沒有理論上的支持，本文將一種混合優(yōu)化算法GAPSO引入隨機森林模型，對模型中的參數(shù)進行迭代優(yōu)化。

遺傳算法雖然由于其隨機性，對全局的搜索能力較強，但局部的搜索能力較弱，同時遺傳算法在后期的進化過程中效率較低，對于已經(jīng)學習到的解記憶較差。而粒子群算法雖然對于優(yōu)秀的解都保存下來，但比較難處理離散問題，且由于粒子之間的相互作用，易陷入局部最小。針對這兩種方法的優(yōu)缺點，GAPSO算法通過對粒子群算法中的粒子增加一種進化的行為，使其在保留較強的局部搜索能力情況下，也擁有較強的全局搜索能力。

下面是GAPSO-RF算法具體步驟：

步驟1 參數(shù)初始化：設置粒子群參數(shù)速度v，位置x，種群規(guī)模popsize， 慣性權重w，進化代數(shù)T。

步驟2 計算適應度：對位置x離散化，使用適應度函數(shù)評估各個粒子的優(yōu)異程度，得到每個粒子的個體最優(yōu)位置pb和群體最優(yōu)位置gb。如滿足條件則結束循環(huán)。

步驟3 保留粒子：通過計算得到的適應度對粒子進行優(yōu)異程度排序，以比例u保留表現(xiàn)優(yōu)異的粒子。

步驟4 更新參數(shù)：對參數(shù)速度v，位置x進行更新。

步驟5 進化較差粒子：一定概率下將表現(xiàn)不好的粒子進行交叉和變異，加入隨迭代次數(shù)減小的慣性權重，依式(5)更新參數(shù)w

(5)

步驟6 判斷迭代次數(shù)：如未達到指定次數(shù)，則轉步驟2。

其中是適應度函數(shù)具體步驟：

步驟1 通過Bootstarp生成n個樣本子集Di(i=0,1,…,n)；

步驟2 使用n個決策樹模型分別對各個子集進行訓練，在訓練過程中，隨機性地選擇特征；

步驟3 將生成的決策樹進行合并，形成一個集成的預測模型；

步驟4 將驗證集代入集成的模型，得到驗證集的預測結果，輸出預測指標RMSE。

本文GAPSO算法參數(shù)設置：粒子數(shù)量為10，加速常數(shù)為0.9，慣性常量初始為0.9，隨迭代降至0.1，粒子保留率為0.4，非優(yōu)異粒子仍保留至下代概率為0.1，迭代次數(shù)為12。

3 算例分析

3.1 算例數(shù)據(jù)

本文選取的研究區(qū)域是安徽省宿州市的蘆嶺煤礦Ⅱ六采區(qū)8煤層。如圖2所示，該地區(qū)煤礦開采困難，構造煤普遍發(fā)育，因此極易發(fā)生煤與瓦斯突出危害[14]。選用該研究區(qū)域的實際地震屬性數(shù)據(jù)，同步預測出該區(qū)域的煤層厚度和構造煤厚度。

圖2 礦區(qū)位置

蘆嶺煤礦具有特別的煤層特性和地質，使得該區(qū)域的煤與瓦斯突出問題嚴重，在2002年和2003年發(fā)生過兩次重大事故，導致多人死亡和受傷[15]。

3.2 地震屬性數(shù)據(jù)預處理

本文選取了蘆嶺煤礦Ⅱ六礦區(qū)8煤層與煤層厚度和構造煤厚度相關的21維地震屬性數(shù)據(jù)，選用整個礦區(qū)范圍內(nèi)已有的17口鉆孔。實驗中采用主成分分析方法，對數(shù)據(jù)集進行降維處理，取累計貢獻率大于95%的數(shù)據(jù)作為主成分，得到降維后的10維地震屬性數(shù)據(jù)。

將降維后的地震屬性數(shù)據(jù)以單棵決策樹為基準，使用遺傳算法得到最優(yōu)預測序列為：91-5、2002-4、2002-5、2012-1、2014-5、L43、06-4、91-2、92-8、94-2、91-1、92-2、94-5、2002-3、94-1、99-1鉆孔預測2010-11鉆孔，其中每個鉆孔的詳細數(shù)據(jù)見表1。

表1 鉆孔詳細數(shù)據(jù)

3.3 多目標隨機森林預測與傳統(tǒng)單目標預測性能對比分析

本次實驗建立的單目標預測模型依然選取隨機森林作為預測模型，但選取的基礎回歸模型轉變?yōu)閱文繕藳Q策樹。本文對其參數(shù)進行與多目標隨機森林參數(shù)同樣的優(yōu)化算法，建立GAPSO-RF和GAPSO-ART模型，對隨機森林的參數(shù)進行優(yōu)化，包括決策樹最大深度在1到50之間取值，子模型的數(shù)量在1到200之間取值,分裂所需的最小樣本數(shù)在2到20之間取值，葉節(jié)點的最小樣本數(shù)在1到20之間取值，特征數(shù)量選擇平方根sqrt。輸入模型的是通過PCA屬性降維獲得10個線性不相關地震屬性數(shù)據(jù)。選取17口井共1815道地震屬性數(shù)據(jù)作為樣本進行實驗，其中16口井作為訓練集，1口井作為測試集，測試集有40%的數(shù)據(jù)被選入來優(yōu)化GAPSO-RF和GAPSO-ART模型，目標1煤層厚度預測如圖3所示，目標2構造煤厚度預測如圖4所示。

圖3 目標1預測結果對比

圖4 目標2預測結果對比

從圖3和圖4分析，在到達10次迭代后，RF與ART模型的RMSE基本保持不變，意味著兩個達到了最小的誤差，對于目標1，RF模型的RMSE為0.224，ART模型的RMSE為0.237，對于目標2，RF模型的RMSE為0.087，ART模型的RMSE為0.296，因此優(yōu)化的多目標隨機森林比單目標具有更好的預測效果。

3.4 多目標隨機森林預測與BP性能對比分析

本次實驗建立的神經(jīng)網(wǎng)絡模型采用的是誤差反向傳播算法的多層前饋網(wǎng)絡[16]，是目前使用很普遍的一種神經(jīng)網(wǎng)絡。根據(jù)模型的輸入?yún)?shù)(10個)，輸出參數(shù)(2個)，設置單層隱藏層，隱藏層神經(jīng)元個數(shù)為256個，中間層使用sigmoid函數(shù)，輸出層使用relu函數(shù)，優(yōu)化器使用adagrad，損失函數(shù)選用mse，建立BP神經(jīng)網(wǎng)絡模型，模型輸入的數(shù)據(jù)是通過PCA屬性降維獲得10個線性不相關地震屬性數(shù)據(jù)。選取17口井1815道地震屬性數(shù)據(jù)作為樣本進行實驗，其中16口井作為訓練集，1口井作為測試集，預測結果如圖5所示。

圖5 RF與BP預測結果對比

從圖5分析，在到達9次迭代后，BP與隨機森林模型的RMSE基本保持不變，意味著兩個達到了最小的誤差，此時RF模型的RMSE為0.153，BP模型的RMSE為0.252，因此優(yōu)化的多目標隨機森林比BP模型具有更好的擬合效果。

3.5 厚度預測對比

利用改進的預測模型，對研究區(qū)域的兩種煤層厚度進行預測，將3個模型分別運用到整個8煤層，GAPSO-ART，GAPSO-RF分別運行了53.2 s，41.0 s，因此構建單個回歸模型比為每個目標構建回歸模型所需時間短。模型都使用分別優(yōu)化得到的最優(yōu)參數(shù)進行預測，分別預測10次，最終得到煤層厚度預測結果見表2，構造煤厚度預測結果見表3。

表2 煤層厚度預測結果對比

由表2、表3分析，采用多目標隨機森林模型預測煤層厚度平均誤差為0.23，同步預測構造煤厚度平均誤差為0.08，遠低于BP模型和單目標預測誤差。

表3 構造煤厚度預測結果對比

4 結束語

(1)使用多目標隨機森林方法預測原生煤層厚度和構造煤厚度，并將預測結果與ART和BP方法作比較，多目標隨機森林方法預測精度更高，耗時也低于單目標預測方法。本文的算法通用于其它多目標預測的問題。

(2)本文提出GAPSO算法對隨機森林的超參數(shù)進行優(yōu)化，建立了GAPSO-RF和GAPSO-ART預測模型，通過實驗驗證，優(yōu)化后的模型比未優(yōu)化模型預測精度更高。

(3)為所有目標構建單個回歸模型的規(guī)模比為每個目標分別構建回歸模型的總規(guī)模小，多目標考慮了目標變量之間的相關性，最終獲得了更好的預測效果。

(4)研究區(qū)域蘆嶺煤礦Ⅱ六采區(qū)8煤層的17口井預測的最優(yōu)參數(shù)為決策樹深度21，子模型的數(shù)量為150，分裂所需的最小樣本數(shù)為11，葉節(jié)點的最小樣本數(shù)為5。