徐艷平, 陳義安

(重慶工商大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,重慶 400067)

0 引 言

伴隨工業(yè)的發(fā)展、化石燃料的消費(fèi)以及城市化進(jìn)程的不斷加快，中國(guó)城市空氣污染問(wèn)題日趨嚴(yán)重，給人們的生活生產(chǎn)帶來(lái)極壞的影響。探索高效率高準(zhǔn)確率的城市空氣質(zhì)量預(yù)測(cè)模型對(duì)推進(jìn)城市空氣污染防治意義重大。

目前，城市空氣質(zhì)量的預(yù)測(cè)模型主要分為三大類(lèi)：通過(guò)總結(jié)前人的研究經(jīng)驗(yàn)結(jié)合大氣運(yùn)動(dòng)等進(jìn)行預(yù)測(cè)、基于傳統(tǒng)的統(tǒng)計(jì)學(xué)模型預(yù)測(cè)和基于機(jī)器學(xué)習(xí)等深度學(xué)習(xí)算法預(yù)測(cè)。沈勁等[1]將聚類(lèi)方法與多元回歸方法相結(jié)合進(jìn)行空氣質(zhì)量預(yù)測(cè)，發(fā)現(xiàn)其具有較好的預(yù)測(cè)準(zhǔn)確率；李博群等[2]利用模糊時(shí)間序列預(yù)測(cè)南京市的空氣質(zhì)量指數(shù)，并證實(shí)了該模型的預(yù)測(cè)準(zhǔn)確率；湯澤梅[3]為構(gòu)建空氣質(zhì)量預(yù)測(cè)模型，選取烏魯木齊地區(qū)的空氣質(zhì)量指數(shù)為因變量，使用多元線(xiàn)性回歸方法分析了相關(guān)指標(biāo)數(shù)據(jù)；王建書(shū)等[4]運(yùn)用ARIMA模型預(yù)測(cè)蘇州市的空氣質(zhì)量指數(shù)并取得了較為理想的預(yù)測(cè)結(jié)果。上述學(xué)者均采用基于傳統(tǒng)統(tǒng)計(jì)學(xué)方法構(gòu)建的城市空氣質(zhì)量預(yù)測(cè)模型，這些方法在大數(shù)據(jù)時(shí)代背景下，模型容錯(cuò)能力較低、預(yù)測(cè)準(zhǔn)確率相對(duì)較差，無(wú)法滿(mǎn)足對(duì)海量數(shù)據(jù)進(jìn)行智能化處理的需求。

伴隨當(dāng)下人工智能技術(shù)的不斷發(fā)展，大數(shù)據(jù)時(shí)代已悄然來(lái)臨，面對(duì)海量氣象數(shù)據(jù)，更多學(xué)者選擇使用機(jī)器學(xué)習(xí)方法構(gòu)建城市空氣質(zhì)量預(yù)測(cè)模型。司志娟[5]構(gòu)建了基于因素分析的灰色神經(jīng)網(wǎng)絡(luò)組合模型來(lái)預(yù)測(cè)空氣質(zhì)量；趙李明[6]將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，用于研究廣州市空氣質(zhì)量預(yù)測(cè)并取得了較為準(zhǔn)確的結(jié)果；張楠等[7]改進(jìn)了灰狼算法并將其與支持向量機(jī)相結(jié)合，用于進(jìn)行城市空氣質(zhì)量預(yù)測(cè)模型的構(gòu)建；夏潤(rùn)等[8]通過(guò)改進(jìn)XGBoost 算法構(gòu)建了預(yù)測(cè)能力與泛化性都比較優(yōu)異的空氣質(zhì)量預(yù)測(cè)模型；鄭洋洋[9]構(gòu)建了基于深度學(xué)習(xí)庫(kù)Keras的長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，并較準(zhǔn)確地預(yù)測(cè)了太原市空氣質(zhì)量指數(shù)；徐旭冉[10]運(yùn)用決策樹(shù)算法構(gòu)建了將所有污染參數(shù)作為評(píng)估空氣質(zhì)量因素的空氣質(zhì)量預(yù)測(cè)模型?；跈C(jī)器學(xué)習(xí)等深度學(xué)習(xí)算法構(gòu)建的城市空氣質(zhì)量預(yù)測(cè)模型有著預(yù)測(cè)準(zhǔn)確率高、數(shù)據(jù)處理能力強(qiáng)等優(yōu)點(diǎn)，成為當(dāng)下空氣質(zhì)量預(yù)測(cè)模型構(gòu)建的主要方法。

隨機(jī)森林算法作為一種取代神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)機(jī)器學(xué)習(xí)方法的分類(lèi)回歸算法，具有高準(zhǔn)確率、不易過(guò)度擬合、對(duì)噪聲及異常值容忍度高等特點(diǎn)。相比于傳統(tǒng)的多元線(xiàn)性回歸模型，隨機(jī)森林算法能夠克服協(xié)變量之間復(fù)雜的交互作用，且勿需預(yù)先設(shè)定函數(shù)形式；相比于神經(jīng)網(wǎng)絡(luò)，隨機(jī)森林算法不易過(guò)度擬合；相比于支持向量機(jī)，隨機(jī)森林算法規(guī)避了支持向量機(jī)核函數(shù)及內(nèi)部函數(shù)依賴(lài)于使用者技巧的問(wèn)題，因此隨機(jī)森林算法被廣泛應(yīng)用于各領(lǐng)域研究并取得較好效果?？愑⒌萚11]基于企業(yè)進(jìn)銷(xiāo)項(xiàng)發(fā)票數(shù)據(jù)，采用隨機(jī)森林算法構(gòu)建了稅收風(fēng)險(xiǎn)預(yù)測(cè)模型；Sanjiban Sekhar Roy等[12]分別運(yùn)用隨機(jī)森林算法、梯度提升機(jī)和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行股票價(jià)格進(jìn)行預(yù)測(cè)；李剛在研究電力負(fù)荷預(yù)測(cè)時(shí)對(duì)隨機(jī)森林的決策樹(shù)進(jìn)行了基于遺傳算法的改進(jìn)，從而大幅度降低預(yù)測(cè)時(shí)間消耗；Koutarou Matsumoto[13]〗運(yùn)用隨機(jī)森林算法進(jìn)行了急性缺血性卒中后腦卒中預(yù)后評(píng)分和臨床結(jié)果的數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)；馬冉等[14]利用隨機(jī)森林算法對(duì)三峽庫(kù)區(qū)草堂河流域土壤的pH值進(jìn)行了空間分布預(yù)測(cè)，結(jié)果顯示其平均絕對(duì)誤差低、預(yù)測(cè)精度高，能夠作為預(yù)測(cè)土壤pH值的有效方法。

基于此，選擇區(qū)別于傳統(tǒng)統(tǒng)計(jì)學(xué)方法與傳統(tǒng)機(jī)器學(xué)習(xí)方法的隨機(jī)森林算法構(gòu)建城市空氣質(zhì)量預(yù)測(cè)模型，并相較于傳統(tǒng)模型僅考慮大氣污染物濃度，選擇時(shí)間參數(shù)、氣象參數(shù)及大氣污染物濃度為城市空氣質(zhì)量預(yù)測(cè)模型影響因素，有效提升預(yù)測(cè)準(zhǔn)確率和數(shù)據(jù)處理效率，為空氣污染的防控治理提供更為準(zhǔn)確的空氣質(zhì)量信息。

1 隨機(jī)森林回歸算法

隨機(jī)森林(Random Forest,RF)算法是通過(guò)構(gòu)建多棵決策樹(shù)形成森林的一種分類(lèi)與回歸算法。它以決策樹(shù)為基本單元，選取bootstrap重采樣方法隨機(jī)得到多個(gè)互不相同的樣本子集，采用隨機(jī)子空間劃分的方法依據(jù)各樣本子集構(gòu)建決策樹(shù)。構(gòu)建決策樹(shù)時(shí)的特征由全部特征隨機(jī)抽取得到，當(dāng)決策樹(shù)進(jìn)行節(jié)點(diǎn)分裂時(shí)，選取隨機(jī)生成的特征子集中的最優(yōu)特征進(jìn)行分裂。最后對(duì)所有決策樹(shù)的預(yù)測(cè)結(jié)果采取眾數(shù)投票或者取平均值，得到隨機(jī)森林最終的預(yù)測(cè)結(jié)果。簡(jiǎn)單來(lái)講，隨機(jī)森林就是由多個(gè)弱學(xué)習(xí)器(決策樹(shù))所集成的強(qiáng)學(xué)習(xí)器。

設(shè)隨機(jī)向量(X,Y)是獨(dú)立分布的。從(X,Y)中隨機(jī)生成訓(xùn)練集，輸入向量與輸出向量分別為X、Y，則預(yù)測(cè)結(jié)果h(X)的均方泛化誤差表示為

EX,Y[Y-h(X)]2

隨機(jī)森林回歸的預(yù)測(cè)結(jié)果是k棵決策樹(shù)的預(yù)測(cè)結(jié)果{h(θ,Xk)}取均值而來(lái)的，它滿(mǎn)足以下定理：

定理1 當(dāng)k→∞，

(1)

式(1)右側(cè)部分表示隨機(jī)森林的泛化誤差，將其記為PE**。PE*則表示一棵決策樹(shù)的平均泛化誤差，即

PE*=EθEX,Y[Y-h(X,θ)]2

定理2 對(duì)所有隨機(jī)生成的訓(xùn)練集θ有：

(2)

隨機(jī)森林回歸算法的具體步驟可概括為

步驟1：使用bootstrap方法對(duì)樣本集進(jìn)行重采樣，進(jìn)而隨機(jī)生成k個(gè)訓(xùn)練集θ1，θ2，…，θk。依據(jù)k個(gè)訓(xùn)練集進(jìn)一步生成與之相對(duì)用的決策樹(shù){T(x,θ1)},{T(x,θ2)},…,{T(x,θk)}。

步驟2：從所有M個(gè)特征中隨機(jī)生成m個(gè)特征，并將其作為現(xiàn)下決策樹(shù)分裂時(shí)的特征集。分裂方式則選擇這m個(gè)特征中的最優(yōu)分裂方式(通常來(lái)說(shuō)，在隨機(jī)森林構(gòu)建過(guò)程中，m的值不發(fā)生變化)。

步驟3：不對(duì)單棵決策樹(shù)進(jìn)行剪枝，令其最大程度生長(zhǎng)。

步驟4：通過(guò)觀測(cè)葉節(jié)點(diǎn)l(x,θ)的值并取平均可以獲得面對(duì)新數(shù)據(jù)單棵決策樹(shù)T(θ)的預(yù)測(cè)結(jié)果。

假定一個(gè)不為0且包含于葉節(jié)點(diǎn)l(x,θ)的觀測(cè)值Xi，權(quán)重wi(x,θ)表示為

(3)

式(3)中的權(quán)重和為1。

步驟5： 單棵決策樹(shù)的預(yù)測(cè)值是通過(guò)因變量的觀測(cè)值Yi(i=1,2,…,n)加權(quán)平均得到的。單棵決策樹(shù)的預(yù)測(cè)值表示為

步驟6：對(duì)決策樹(shù)的權(quán)重wi(x,θt)(t=1,2,…,k)取均值用以表示每個(gè)觀測(cè)值Yi∈(1,2,…,n)的權(quán)重wi(x)：

則隨機(jī)森林回歸算法的預(yù)測(cè)值表示為

2 變量選取與數(shù)據(jù)說(shuō)明

2.1 影響因素確定

(1) 大氣污染物濃度。大氣污染物濃度是影響城市空氣質(zhì)量的直接因素，也是當(dāng)前國(guó)際社會(huì)常用的城市空氣質(zhì)量評(píng)價(jià)指標(biāo)，且各國(guó)關(guān)注的污染物種類(lèi)和濃度取值時(shí)間差異較小[15]。依據(jù)國(guó)家《環(huán)境空氣質(zhì)量標(biāo)準(zhǔn)》(GB 3095-2012)，確定了包括PM2.5、PM10、SO2、NO2、O3、CO在內(nèi)的6項(xiàng)污染物濃度作為城市空氣質(zhì)量影響因素。

(2) 氣象參數(shù)。人類(lèi)生活生產(chǎn)會(huì)產(chǎn)生污染物進(jìn)而排入大氣中進(jìn)而影響城市空氣質(zhì)量，然而當(dāng)污染物的排放量相對(duì)平衡的狀態(tài)下，城市空氣質(zhì)量依然會(huì)存在差異，這是由于氣象參數(shù)的不同導(dǎo)致大氣污染物進(jìn)行沉降、傳輸、凝聚或者稀釋。

選取了平均氣溫、最高氣溫、最低氣溫、平均相對(duì)濕度、平均風(fēng)速、最大風(fēng)速風(fēng)向、日照時(shí)數(shù)、降水量、平均氣壓這9種氣象參數(shù)作為城市空氣質(zhì)量影響因素，相關(guān)數(shù)據(jù)均來(lái)源于中國(guó)天氣網(wǎng)歷史氣象數(shù)據(jù)。表1為2018-01-01—2020-07-31重慶市空氣質(zhì)量指數(shù)(AQI)與9種氣象參數(shù)的相關(guān)系數(shù)，結(jié)果表明，城市空氣質(zhì)量與9種氣象參數(shù)存在顯著相關(guān)關(guān)系。

表1 空氣質(zhì)量指數(shù)與氣象參數(shù)的相關(guān)關(guān)系

(3) 時(shí)間參數(shù)。同一城市在不同季節(jié)下的空氣質(zhì)量也會(huì)有所差異，冬夏兩季相比于春秋季節(jié)需要更多地使用空調(diào)、暖氣等，因此在預(yù)測(cè)城市空氣質(zhì)量時(shí)應(yīng)當(dāng)考慮季節(jié)因素。

2.2 數(shù)據(jù)預(yù)處理

在上述所確定的影響因素中，最大風(fēng)速風(fēng)向與季節(jié)均屬于非數(shù)值型因素，對(duì)此，對(duì)其進(jìn)行了量化，將非數(shù)值型因素轉(zhuǎn)化為離散的數(shù)值型因素。之所以這樣處理，是因?yàn)殡S機(jī)森林算法對(duì)數(shù)據(jù)的單位及量綱表現(xiàn)并不明顯，也不需要對(duì)整理好的數(shù)據(jù)進(jìn)行歸一化處理，這也是選取該算法建立模型的原因之一。

(1) 最大風(fēng)速風(fēng)向數(shù)據(jù)處理。將風(fēng)向方位分為17類(lèi)，分別為北、北偏東、東北、東偏北、東、東偏南、東南、南偏東、南、南偏西、西南、西偏南、西、西偏北、西北、北偏西及無(wú)風(fēng)。并對(duì)其取值為[1,2,3,…,15,16,17]。

(2) 季節(jié)數(shù)據(jù)處理。季節(jié)的取值為[1,2,3,4]，分別代表春夏秋冬4個(gè)季節(jié)。

2.3 數(shù)據(jù)來(lái)源

最終選取影響因素共16項(xiàng)(表2)，所使用的數(shù)據(jù)為2018-01-01—2020-07-31日重慶市空氣質(zhì)量監(jiān)測(cè)站歷史數(shù)據(jù)與歷史氣象數(shù)據(jù)。其中空氣質(zhì)量監(jiān)測(cè)站數(shù)據(jù)來(lái)自國(guó)家環(huán)保局，包含大氣污染物六項(xiàng)因素與空氣質(zhì)量指數(shù)(AQI)；歷史氣象數(shù)據(jù)來(lái)自中國(guó)天氣網(wǎng)，包含9項(xiàng)氣象參數(shù)。

表2 影響因素選取

3 預(yù)測(cè)模型的構(gòu)建

基于隨機(jī)森林回歸的城市空氣質(zhì)量預(yù)測(cè)模型的整體思想是：確定影響城市空氣質(zhì)量的特征因素并收集整理數(shù)據(jù)集，然后應(yīng)用隨機(jī)森林回歸進(jìn)行模型構(gòu)建，通過(guò)調(diào)整參數(shù)的最佳組合，不斷優(yōu)化模型。

3.1 測(cè)試集與訓(xùn)練集劃分

共選取2018-01-01—2020-07-31共943條相關(guān)指標(biāo)數(shù)據(jù)作為模型樣本集。其中訓(xùn)練集與測(cè)試集樣本比例為8∶2，訓(xùn)練集樣本756條，測(cè)試集數(shù)據(jù)樣本188條。

3.2 網(wǎng)格搜索法參數(shù)尋優(yōu)

隨機(jī)森林算法性能的影響因素主要有兩個(gè)：構(gòu)建決策樹(shù)時(shí)所用特征的數(shù)目及隨機(jī)森林中決策樹(shù)的數(shù)目，不同的參數(shù)選擇會(huì)得到的預(yù)測(cè)結(jié)果與精準(zhǔn)度也會(huì)不盡相同。對(duì)此，使用網(wǎng)格搜索法進(jìn)行最優(yōu)參數(shù)選取。網(wǎng)格搜索法的本質(zhì)是指定參數(shù)值的窮舉搜索方法，即將各參數(shù)的可能取值進(jìn)行排列組合形成網(wǎng)格，進(jìn)而使用交叉驗(yàn)證對(duì)網(wǎng)格中的所有點(diǎn)的表現(xiàn)進(jìn)行評(píng)估，從而尋找出最優(yōu)參數(shù)。具體步驟如下：

步驟1：設(shè)定隨機(jī)森林決策樹(shù)棵數(shù)范圍[1，160]；決策樹(shù)最大特征數(shù)范圍[1，16]。

步驟2：考慮到計(jì)算量，將決策樹(shù)棵數(shù)的尋優(yōu)參數(shù)步長(zhǎng)設(shè)置為10，決策樹(shù)最大特征數(shù)的尋優(yōu)參數(shù)步長(zhǎng)設(shè)置為1。

步驟3：采用Python默認(rèn)的5折交叉驗(yàn)證，其中4份作為訓(xùn)練數(shù)據(jù)，剩下的一份作為驗(yàn)證數(shù)據(jù)，從而生成不同的參數(shù)組合。

步驟4：求不同參數(shù)組合在驗(yàn)證集上的測(cè)試誤差，選取測(cè)試誤差最小的參數(shù)組合作為最終參數(shù)。

通過(guò)對(duì)重慶市2018-01-01—2020-07-31的指標(biāo)數(shù)據(jù)通過(guò)網(wǎng)格搜索法進(jìn)行參數(shù)尋優(yōu)后，共得到240組參數(shù)組合。部分參數(shù)組合結(jié)果見(jiàn)表3。

表3 部分參數(shù)組合及其測(cè)試誤差

各參數(shù)組合中，測(cè)試誤差最小的組合為決策樹(shù)數(shù)目71，決策樹(shù)的最大特征數(shù)目15。因此將其作為隨機(jī)森林算法的最終參數(shù)。

3.3 預(yù)測(cè)結(jié)果度量指標(biāo)

采用通用的R2(決定系數(shù))、DMSE(均方誤差)、DMAE(平均絕對(duì)誤差)作為度量指標(biāo)，進(jìn)行基于隨機(jī)森林回歸的城市空氣質(zhì)量預(yù)測(cè)模型的性能分析。

(4)

(5)

(6)

4 預(yù)測(cè)及結(jié)果分析

在Python環(huán)境下，采用構(gòu)造決策樹(shù)為71、特征數(shù)為15的最優(yōu)參數(shù)組合對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，利用測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行城市空氣質(zhì)量預(yù)測(cè)。各影響因子在模型中的重要程度見(jiàn)圖1。

圖1 各影響因子相對(duì)重要性

通過(guò)圖1可以看出，O3、PM2.5、PM10、NO2、最高氣溫、日照時(shí)數(shù)、平均氣溫這幾項(xiàng)因素的重要性程度較高，說(shuō)明污染物濃度、氣溫、日照對(duì)城市空氣質(zhì)量的影響相對(duì)較大；相反，季節(jié)、CO、降水量、平均氣溫、平均風(fēng)速等因素對(duì)城市空氣質(zhì)量的影響相對(duì)較小。

圖2為模型預(yù)測(cè)值與實(shí)際值散點(diǎn)圖，其中藍(lán)色圓形點(diǎn)為空氣質(zhì)量預(yù)測(cè)值，黑色星形點(diǎn)為空氣質(zhì)量實(shí)際值。模型的預(yù)測(cè)值與實(shí)際值基本相吻合，但存在少數(shù)空氣質(zhì)量實(shí)際值偏高情況下的預(yù)測(cè)偏差。圖3展示了模型預(yù)測(cè)結(jié)果和實(shí)際值的線(xiàn)性擬合效果。

圖2 模型預(yù)測(cè)值與實(shí)際值散點(diǎn)

圖3 模型預(yù)測(cè)結(jié)果和實(shí)際值擬合效果

此外，分別計(jì)算訓(xùn)練集與測(cè)試集的R2(決定系數(shù))、DMSE(均方誤差)、DMAE(平均絕對(duì)誤差)，見(jiàn)表4。

表4 模型性能分析

其中無(wú)論是訓(xùn)練集還是測(cè)試集，模型的確定性系數(shù)R2都達(dá)到99%以上，說(shuō)明模型具有較好的學(xué)習(xí)能力與泛化能力；就誤差而言，DMSE與DMAE在訓(xùn)練集與測(cè)試集上的取值均在可接受范圍內(nèi)?？傮w來(lái)說(shuō)，提出的基于隨機(jī)森林回歸與氣象參數(shù)的城市空氣質(zhì)量預(yù)測(cè)模型具有運(yùn)行速度快、預(yù)測(cè)誤差小、具有較高的預(yù)測(cè)精度等優(yōu)點(diǎn)，具備較好的學(xué)習(xí)能力與泛化能力。

5 結(jié)束語(yǔ)

伴隨當(dāng)下人工智能技術(shù)的不斷發(fā)展、大數(shù)據(jù)時(shí)來(lái)臨，傳統(tǒng)統(tǒng)計(jì)學(xué)方法劣勢(shì)凸顯，面對(duì)海量氣象數(shù)據(jù)愈多學(xué)者選擇使用機(jī)器學(xué)習(xí)方法構(gòu)建城市空氣質(zhì)量預(yù)測(cè)模型。在此背景下，綜合考慮污染物濃度、氣象參數(shù)、時(shí)間參數(shù)等多方面影響因素，通過(guò)網(wǎng)格搜索法調(diào)整參數(shù)的最優(yōu)組合，構(gòu)建基于隨機(jī)森林回歸算法的城市空氣質(zhì)量預(yù)測(cè)模型，并以重慶市2017-01-01—2020-07-31的指標(biāo)數(shù)據(jù)進(jìn)行實(shí)證，結(jié)果表明，在模型下，訓(xùn)練集與測(cè)試集的確定性系數(shù)R2都達(dá)到99%以上，證實(shí)了模型具有運(yùn)行快速、預(yù)測(cè)準(zhǔn)確、不易過(guò)度擬合等優(yōu)點(diǎn)。此外，針對(duì)預(yù)測(cè)中出現(xiàn)的高值空氣質(zhì)量預(yù)估偏差問(wèn)題，是下一步的研究?jī)?nèi)容。