謝永華，張鳴敏，楊 樂，張恒德

（1.南京信息工程大學(xué) 計(jì)算機(jī)與軟件學(xué)院，江蘇 南京210044；2.南京信息工程大學(xué)江蘇省網(wǎng)絡(luò)監(jiān)控中心，江蘇 南京210044；3.中國氣象局國家氣象中心，北京100081）

0 引言

近年來對(duì)PM2.5［1，2］及相關(guān)污染物預(yù)測的研究主要有如下方法。Fuller等通過經(jīng)驗(yàn)統(tǒng)計(jì)方法建立了月均PM2.5與其它污染物 （NOx，PM10）的線性關(guān)系，預(yù)測月均PM2.5濃度走向［3］；Chemel等用化學(xué)物質(zhì)轉(zhuǎn)化模型對(duì)PM2.5的歷史數(shù)據(jù)進(jìn)行建模，預(yù)測了年均PM2.5濃度值的變化［4］。上述經(jīng)驗(yàn)?zāi)Ｐ托枰罅坑^測數(shù)據(jù)，且具有明顯的局域性，回歸關(guān)系不能很好符合實(shí)際情況。Balachandran等利用貝葉斯算法分析了PM2.5的不同來源對(duì)其濃度的影響，并進(jìn)行了中長期的預(yù)測實(shí)驗(yàn)［5］；Dong等利用隱半馬爾科夫模型對(duì)PM2.5濃度進(jìn)行了預(yù)測，具有24小時(shí)上的預(yù)報(bào)精度［6］。這些基于概率統(tǒng)計(jì)規(guī)律的建模方法對(duì)PM2.5的高維非線性系統(tǒng)的代表性不高。黃金杰等采用高斯擴(kuò)散模型推算大氣污染物間的變量關(guān)系，計(jì)算單一污染源對(duì)如PM2.5等污染物變化影響［7］；Domańska等利用混沌時(shí)間序列算法對(duì)短期PM10的濃度進(jìn)行預(yù)測［8］；Voukantsis等利用多層感知的神經(jīng)網(wǎng)絡(luò)方法預(yù)測了兩個(gè)城市的日均PM10變化規(guī)律［9］。值得注意的是，盡管神經(jīng)網(wǎng)絡(luò)等方法建模簡單，但對(duì)于高維特征及非線性系統(tǒng)的預(yù)測問題則具有低泛化性、低魯棒性以及過學(xué)習(xí)等問題。針對(duì)當(dāng)前在PM2.5濃度預(yù)測方面存在的上述問題，本文提出了一種利用支持向量機(jī)回歸 （support vector regression，SVR）方法進(jìn)行PM2.5濃度預(yù)測的方法，該方法在較小規(guī)模的PM2.5監(jiān)測數(shù)據(jù)樣本上即具有較為理想的預(yù)測精度；同時(shí)，通過調(diào)節(jié)SVR 預(yù)測特征的時(shí)間跨度，可以在保證訓(xùn)練效率的情況有效提高SVR 方法的預(yù)測精度。本文展示的SVR 方法在中短期 （20小時(shí)）跨度上具有均一的預(yù)測精度，驗(yàn)證了其應(yīng)用的廣泛性與魯棒性。

1 PM2.5濃度預(yù)測的原理

PM2.5濃度預(yù)測的主要目標(biāo)是通過機(jī)器學(xué)習(xí)等方法得到PM2.5濃度與其它因素之間的回歸關(guān)系，并就實(shí)際數(shù)據(jù)進(jìn)行預(yù)測。PM2.5的預(yù)測主要可以概括為以下步驟：獲取氣象污染物 （PM2.5、PM10、SOx、NOx、O3等）濃度數(shù)據(jù)與氣象數(shù)據(jù) （氣溫、氣壓、濕度、風(fēng)速風(fēng)向等）；提取PM2.5濃度數(shù)據(jù)為模型因變量y （預(yù)測值），其它數(shù)據(jù)或其組合作為自變量x1，x2，...，xn（預(yù)測特征）；將數(shù)據(jù)集S 劃分為訓(xùn)練Strain、驗(yàn)證Svalidate和測試集Stest；在訓(xùn)練集上通過機(jī)器學(xué)習(xí)訓(xùn)練生成模型，得到回歸關(guān)系y＝f（x1，x2，...xi，...，xn）；通過比較不同模型參數(shù)在驗(yàn)證集上的預(yù)測量與實(shí)際數(shù)據(jù)y 的誤差 （均方根誤差MSE）大小選取最佳的參數(shù)及模型，最后在測試集上測試最優(yōu)模型的預(yù)測MSE大小。流程如圖1所示。

圖1 PM2.5濃度預(yù)測流程

PM2.5濃度預(yù)測的重點(diǎn)提高預(yù)測模型的泛化性、魯棒性和準(zhǔn)確性。其難點(diǎn)主要體現(xiàn)在以下幾個(gè)方面：

（1）合適的機(jī)器學(xué)習(xí)方法的選擇。引言中方法存在著數(shù)據(jù)需求量大、局域性強(qiáng)、預(yù)測精度低、過學(xué)習(xí)等問題。

（2）降低不確定性。由于PM2.5霧霾體系存在相當(dāng)大的隨機(jī)性，僅使用單一時(shí)間的數(shù)據(jù)進(jìn)行模型訓(xùn)練存在高不確定性，影響模型的精度。

（3）訓(xùn)練效率。機(jī)器學(xué)習(xí)中特征維度提高對(duì)模型的精度提高有幫助，但過度增加特征維度會(huì)顯著增加訓(xùn)練時(shí)間。

針對(duì)PM2.5濃度預(yù)測中存在的上述難點(diǎn)，本文采用時(shí)序SVR 方法來進(jìn)行建模。SVR 方法相對(duì)于其它學(xué)習(xí)方法，例如NN等，對(duì)高維及非線性問題具有很好的適應(yīng)性，且所需數(shù)據(jù)量更小，適合我國目前PM2.5觀測數(shù)據(jù)較少的現(xiàn)狀。同時(shí)，利用時(shí)間序列的數(shù)據(jù)組合作為預(yù)測特征，減少了因系統(tǒng)自身引起的不確定性。最后，通過綜合比較訓(xùn)練時(shí)間與預(yù)測精度，得到最優(yōu)參數(shù)，確保了模型預(yù)測精度與訓(xùn)練效率。

2 研究方法

2.1 SVR 方法預(yù)測PM2.5濃度

2.1.1 SVR 理論概要

支持向量回歸是一種基于懲罰學(xué)習(xí)的回歸方法［10］。本節(jié)簡要介紹了SVR 的基本原理。SVR 的總體目標(biāo)是得到輸入x 和結(jié)果y 之間的回歸關(guān)系f（x），可以描述為一個(gè)近似線性回歸的問題

其中，回歸系數(shù)w 和b 通過最優(yōu)化方法獲得。引入懲罰函數(shù)L來對(duì)預(yù)測值與實(shí)際值偏差大于閾值ε時(shí)的情況進(jìn)行懲罰。其表達(dá)式為

SVR 的優(yōu)化問題的本質(zhì)是解回歸函數(shù)平面的寬度 （1／2）最小的問題。在存在誤差的情況下，引入了松弛變量ξ－，ξ＋，來分別表示未超出和超出ε懲罰區(qū)間的情況。并結(jié)合參數(shù)C 來構(gòu)成最終的風(fēng)險(xiǎn)函數(shù)R。SVR 問題的目標(biāo)即轉(zhuǎn)化為解在存在誤差情況下的風(fēng)險(xiǎn)函數(shù)R 的最小化問題

該優(yōu)化問題是一個(gè)約束二次規(guī)劃問題，可以通過引入Lagrange乘子，，將其轉(zhuǎn)化為以下二次形式的問題

因此最初的回歸目標(biāo)可以表示成

為了解決非線性回歸問題，引入了內(nèi)核映射方法，使用轉(zhuǎn)換函數(shù)Φ將變量x 映射到高維非線性空間，并通過引入核函數(shù)K，K（xi，xj）＝Kxj＝Φ（xi）＊Φ（xj）來避免在同一特征空間的內(nèi)積Φ（xi）＊Φ（xj）的計(jì)算，最后得到非線性回歸表達(dá)式的最終形式為

所有參數(shù)滿足ξ－i ，ξ＋i ＝0的輸入數(shù)據(jù)集xi則稱為支持向量。支持向量即為落在ε－誤差邊界上的向量。支持向量代表了回歸模型的特征，減少輸入數(shù)據(jù)庫中的無關(guān)向量。這使得SVR 方法相對(duì)其它機(jī)器學(xué)習(xí)方法，如NN，需要建模的樣本數(shù)量更少。除了支持向量以外，其它樣本數(shù)據(jù)的刪減并不影響模型的訓(xùn)練效果，這一點(diǎn)在特征維度大于數(shù)據(jù)量時(shí)更為明顯。

2.1.2 基于SVR 的時(shí)間序列預(yù)測

傳統(tǒng)預(yù)測模型僅采用當(dāng)前預(yù)測時(shí)間的預(yù)測因素作為輸入值，忽略了污染物在時(shí)間序列上的相關(guān)性。對(duì)此，我們對(duì)SVR 方法中的數(shù)據(jù)進(jìn)行了時(shí)序化處理。本文中所用參數(shù)（污染物濃度、氣象條件）在某小時(shí)t可以表示為x（t）。這里我們使用當(dāng)前時(shí)間 （t）前d 小時(shí)的數(shù)據(jù)作為SVR 模型的預(yù)測特征，預(yù)測值為p 小時(shí)后的PM2.5濃度值?；貧w問題目標(biāo)可以表述為以下方程

所選取數(shù)據(jù)的構(gòu)成、預(yù)測特征與預(yù)測量的構(gòu)成如圖2所示。由于時(shí)間間隔的長度選取對(duì)模型的預(yù)測精度、模型訓(xùn)練時(shí)間都具有影響，因此最佳的時(shí)間間隔d 應(yīng)是綜合考慮預(yù)測精度與訓(xùn)練時(shí)間兩方面的結(jié)果。針對(duì)時(shí)間序列預(yù)測建模的工作指出，最佳時(shí)間間隔d 與該時(shí)間序列的內(nèi)在維度D 相關(guān)［11，12］。由于并沒有通用的經(jīng)驗(yàn)方法來確定最佳的d 值，這里我們通過比較模型性能和計(jì)算成本來獲取最優(yōu)解。

圖2 SVR 模型數(shù)據(jù)結(jié)構(gòu)

2.1.3 核函數(shù)及參數(shù)選取

2.2 數(shù)據(jù)選取

本文中選取的5 個(gè)城市為北京、南京、武漢、成都和廣州，分別代表了中國的各方位大城市的氣象污染狀況?？諝馕廴緮?shù)據(jù)抓取自中國環(huán)保部網(wǎng)站發(fā)布的實(shí)時(shí)信息，為2013年6月到12月的每小時(shí)數(shù)據(jù)，包括PM2.5、PM10、NO2、CO、SO2、O3等污染物數(shù)據(jù)。同時(shí)選取了溫度、氣壓、降雨量、風(fēng)速和和露點(diǎn)溫度作為輸入的氣象參數(shù)。對(duì)數(shù)據(jù)進(jìn)行了 ［0－1］歸一化以提高SVR 模型泛化性。

2.3 程序方法與平臺(tái)

本文中SVR 方法實(shí)驗(yàn)平臺(tái)為OS X 10.9，2.4 GHz CPU，應(yīng)用libSVM 程序庫進(jìn)行SVR 訓(xùn)練。其中，SVR的優(yōu)化方法采用了序貫最小優(yōu)化方法 （sequential minimal optimization，SMO）。SVR 參數(shù)的搜索算法使用C＋＋編寫，使用了網(wǎng)格搜索算法。其它方法采用對(duì)應(yīng)文獻(xiàn)中的算法。

3 結(jié)果與討論

3.1 各城市PM2.5狀況的基本分析

所選的5個(gè)城市從2013年6月到12月的PM2.5濃度如圖3所示，從圖中我們可以看出，PM2.5在不同城市的變化趨勢各不相同，廣州平均濃度最低，為48.2μg／m3，其它4個(gè)城市的每小時(shí)平均濃度在70～85μg／m3之間，可見PM2.5濃度的差異與地理位置有著密切關(guān)系。在本文實(shí)驗(yàn)所選取的5 個(gè)城市中，廣州位于亞熱帶季風(fēng)氣候地區(qū)，受海洋的影響比其它內(nèi)陸城市大。成都位于四川盆地，相較于其它城市其空氣循環(huán)受阻較為嚴(yán)重，影響到污染物濃度。除北京之外，其它幾個(gè)城市受季節(jié)性影響較大，夏季的PM2.5濃度明顯低于冬季。北京的PM2.5濃度變化與季節(jié)的相關(guān)性較低，這與其城市污染物來源復(fù)雜及工業(yè)水平有關(guān)。

盡管這5個(gè)城市的每小時(shí)平均PM2.5的濃度不超過80 μg／m3，但高PM2.5濃度的數(shù)據(jù)使得其數(shù)據(jù)波動(dòng)較大。所有城市的具體統(tǒng)計(jì)數(shù)據(jù)如表1所示。從PM2.5的濃度的頻率和分布可以得知，國內(nèi)大部分城市的PM2.5濃度都超過了GB3905－2012標(biāo)準(zhǔn)所規(guī)定的指標(biāo) （見表2）。在這種高污染的情況下，顯然適用于其它國家的統(tǒng)計(jì)學(xué)模型和化學(xué)傳輸模型都不適合我國的國情。此外，PM2.5的濃度受地理位置的影響較為明顯，很難建立一個(gè)具有普適性的模型。機(jī)器學(xué)習(xí)方法，尤其是SVR 方法，可以分別針對(duì)不同城市的情況進(jìn)行訓(xùn)練，具有很強(qiáng)的自適應(yīng)性，有利于PM2.5濃度預(yù)測模型的建立。

圖3 所選城市從2013年6月至12月的PM2.5濃度變化 （起始點(diǎn)為2013年6月12日16點(diǎn)）

表1 各城市PM2.5濃度頻率統(tǒng)計(jì)

表2 GB3095－2012對(duì)于大氣顆粒物的監(jiān)控標(biāo)準(zhǔn)

3.2 SVR 模型的預(yù)測結(jié)果

3.2.1 參數(shù)選取

考慮到數(shù)據(jù)的連續(xù)性問題，我們選取6月到8月的連續(xù)數(shù)據(jù)作為研究對(duì)象，其中包括1200 個(gè)小時(shí)的數(shù)據(jù)。前1000個(gè)小時(shí)的數(shù)據(jù)作為訓(xùn)練集，進(jìn)行5等分交叉驗(yàn)證，后200個(gè)小時(shí)的數(shù)據(jù)作為驗(yàn)證集。參數(shù)值搜索采用等步長網(wǎng)格搜索方法，搜索范圍為2－5－213，指數(shù)步長每次增加1。通過上述方法，可以獲得最優(yōu)的C，ε，σ參數(shù)。

在預(yù)測特征的時(shí)間跨度d 選取上，分別比較了時(shí)間跨度為1～7小時(shí)的訓(xùn)練時(shí)間和模型較差驗(yàn)證的精度，如表3所示。采用數(shù)據(jù)為南京前1000小時(shí)的數(shù)據(jù)，首先通過交叉驗(yàn)證尋得3個(gè)最優(yōu)參數(shù)C，ε，和σ，并改變時(shí)間跨度d 的數(shù)值，通過預(yù)測數(shù)據(jù)的MSE數(shù)值比較，以得到最適合預(yù)測模型的d 參數(shù)。

表3 不同時(shí)間跨度的預(yù)測特征的訓(xùn)練時(shí)間和精度比較

從表3中可以看出，在1～5小時(shí)上，隨著預(yù)測特征時(shí)間跨度的增加，SVR 模型的預(yù)測精度有著顯著的升高，說明了增長預(yù)測特征的時(shí)間跨度能夠減少因PM2.5的不確定性引起的誤差。當(dāng)時(shí)間跨度增加到5 小時(shí)以上后，預(yù)測結(jié)果的MSE 值下降變緩，但模型的訓(xùn)練時(shí)間則大大增長，這是由于預(yù)測特征的數(shù)量的增加，在SVR方法這樣的高時(shí)間復(fù)雜度算法下，將會(huì)大大增加其計(jì)算時(shí)間。綜合考慮訓(xùn)練時(shí)間和SVR 模型精度，選取5 小時(shí)作為最優(yōu)的預(yù)測特征時(shí)間跨度，能夠保證預(yù)測精度及訓(xùn)練效率。

3.2.2 優(yōu)化后模型的預(yù)測能力分析

5個(gè)城市的PM2.5濃度預(yù)測效果如圖4與表4所示，其中所選的時(shí)間跨度均為5小時(shí)，預(yù)測值為預(yù)測特征后1小時(shí)的PM2.5濃度?？梢钥闯?，該時(shí)間跨度上每個(gè)城市的污染物均能得到很好的預(yù)測效果，相對(duì)誤差基本小于10%，可以達(dá)到實(shí)際短期預(yù)測的效果。該方法對(duì)不同城市的PM2.5濃度預(yù)測均具有普適性，而并非傳統(tǒng)經(jīng)驗(yàn)?zāi)Ｐ突蚧瘜W(xué)遷移模型很強(qiáng)的局域性。

圖4 訓(xùn)練集跨度為5小時(shí)的SVR 模型在各城市數(shù)據(jù)上的預(yù)測表現(xiàn)

表4 各城市的PM2.5預(yù)測結(jié)果

3.2.3 預(yù)測結(jié)果的可信性

針對(duì)SVR 預(yù)測模型的預(yù)測結(jié)果可信性，我們同時(shí)對(duì)SVR方法在不同未來預(yù)測時(shí)間跨度上的預(yù)測效果進(jìn)行了測試。我們選取了未來1到20個(gè)小時(shí)的時(shí)間跨度對(duì)南京市的數(shù)據(jù)進(jìn)行了測試。如圖5所示，所選取的時(shí)間跨度 （20h）上，SVR 預(yù)測結(jié)果的均方差都不超過20μg／m3，與此前實(shí)驗(yàn)結(jié)果的誤差范圍保持一致。這說明在當(dāng)前預(yù)測參數(shù)的選取條件下，SVR 模型并未發(fā)生過學(xué)習(xí)問題，因此SVR 模型預(yù)測的結(jié)果具有可信性。此外在12小時(shí)附近MSE 值產(chǎn)生了極小值，這有可能與空氣污染物的內(nèi)在轉(zhuǎn)化時(shí)間存在聯(lián)系。

圖5 不同時(shí)間跨度的預(yù)測誤差比較

盡管預(yù)測MSE存在一定的波動(dòng)，但均能夠滿足實(shí)際預(yù)測與污染物濃度分級(jí)的需要。由于本實(shí)驗(yàn)選用數(shù)據(jù)集規(guī)模不大，可以想見，如果有長期觀測的數(shù)據(jù)積累，SVR模型預(yù)測的效果將會(huì)有進(jìn)一步的提高。此外，我們就這種SVR 訓(xùn)練方法與其它文章中報(bào)道的用于大氣污染物的其它機(jī)器學(xué)習(xí)方法（NN［9］、HSMM［6］）等進(jìn)行比較，比較了5城市使用最優(yōu)參數(shù)在前1000小時(shí)的平均訓(xùn)練時(shí)間與預(yù)測精度（見表5）。

表5 與其它方法的實(shí)驗(yàn)結(jié)果比較

結(jié)果表明，SVR 方法的預(yù)測誤差率遠(yuǎn)低于其它方法，說明了其在處理高維非線性系統(tǒng)的適應(yīng)性。SVR 方法的訓(xùn)練時(shí)間長于其它方法。由于SVR 方法為約束二次規(guī)劃優(yōu)化問題，通常需要使用內(nèi)點(diǎn)算法等，相對(duì)于NN 方法等使用的梯度下降方法復(fù)雜度更高。盡管使用了SMO 優(yōu)化，但SVR 方法在特征維度較高的情況下仍有更長的訓(xùn)練時(shí)間。后續(xù)可以考慮采用主成分分析 （PCA）等方法來選取有效特征，降低特征維度，減少訓(xùn)練時(shí)間?？紤]到預(yù)測精確性的前提于，SVR 方法仍滿足實(shí)際應(yīng)用的需求。綜上所述，本文使用的方法具有可行性與有效性。

4 結(jié)束語

PM2.5濃度預(yù)測是我國當(dāng)前大氣污染治理方面的重要問題，對(duì)實(shí)際應(yīng)用具有重要意義。本文應(yīng)用了支持向量機(jī)回歸 （SVR）方法對(duì)我國5個(gè)城市的PM2.5濃度進(jìn)行了建模與預(yù)測。利用各大氣污染物濃度數(shù)據(jù)與氣象數(shù)據(jù)因素訓(xùn)練模型，并通過調(diào)節(jié)預(yù)測特征時(shí)間間隔確保模型訓(xùn)練的效率與準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，相比其它機(jī)器學(xué)習(xí)方法，SVR 方法在所選城市的數(shù)據(jù)上均具有很高的預(yù)測精度，在中短期的預(yù)測應(yīng)用上有著較好的表現(xiàn)，體現(xiàn)了其可行性與有效性。

［1］Fann N，Lamson A D，Anenberg SC，et al.Estimating the national public health burden associated with exposure to ambient PM2.5and ozone［J］.Risk Analysis，2012，32 （1）：81－95.

［2］MA H，SHEN H，LIANG Z，et al.Passengers’exposure to PM2.5，PM10，and CO2in typical underground subway platforms in shanghai［M］／／Proceedings of the 8th International Symposium on Heating，Ventilation and Air Conditioning.Berlin：Springer Berlin Heidelberg，2014：237－245.

［3］Franck U，Odeh S，Wiedensohler A，et al.The effect of particle size on cardiovascular disorders－The smaller the worse［J］.Science of the Total Environment，2011，409 （20）：4217－4221.

［4］Chemel C，F(xiàn)isher BEA，Kong X，et al.Application of chemical transport model CMAQ to policy decisions regarding PM2.5in the UK ［J］.Atmospheric Environment，2014，82：410－417.

［5］Balachandran S，Chang HH，Pachon JE，et al.Bayesianbased ensemble source apportionment of PM2.5［J］.Environmental Science ＆Technology，2013，47 （23）：13511－13518.

［6］DONG M，YANG D，KUANG Y，et al.PM2.5concentration prediction using hidden semi－Markov model－based times series data mining ［J］.Expert Systems with Applications，2009，36（5）：9046－9055.

［7］HUANG Jinjie，YANG Guihua， MA Junchi.Evaluation model of air pollution based on gauss model ［J］.Computer Simulation，2011，28 （2）：101－104 （in Chinese）. ［黃金杰，楊桂花，馬駿馳.基于高斯的大氣污染評(píng)價(jià)模型 ［J］.計(jì)算機(jī)仿真，2011，28 （2）：101－104.］

［8］Domańska D，Wojtylak M.Application of fuzzy time series models for forecasting pollution concentrations ［J］.Expert Systems with Applications，2012，39 （9）：7673－7679.

［9］Voukantsis D，Karatzas K，Kukkonen J，et al.Intercomparison of air quality data using principal component analysis，and forecasting of PM10and PM2.5concentrations using artificial neural networks，in Thessaloniki and Helsinki［J］.Science of the Total Environment，2011，409 （7）：1266－1276.

［10］Ben－h(huán)ur A，Weston J.A user’s guide to support vector machines［M］／／Data Mining Techniques for the Life Sciences.Humana Press，2010：223－239.

［11］Mellit A，Pavan A M，Benghanem M.Least squares support vector machine for short－term prediction of meteorological time series［J］.Theoretical and Applied Climatology，2013，111（1－2）：297－307.

［12］CHEN Rong，LIANG Changyong，XIE Fuwei，Application of nonlinear time series forecasting methods based on port vector regression ［J］.Journal of Hefei University of Technology，2013，36 （3）：369－374 （in Chinese）. ［陳榮，梁昌勇，謝福偉.基于SVR的非線性時(shí)間序列預(yù)測方法應(yīng)用綜述 ［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，36 （3）：369－374.］