汪祖民 張嘉峰 胡玲艷 鄒啟杰 蓋榮麗 劉 艷

(大連大學(xué)信息工程學(xué)院 遼寧 大連 116622)

0 引 言

中國(guó)經(jīng)濟(jì)的快速發(fā)展和城市化進(jìn)程的加快,伴隨著高能耗和污染物的過度排放,對(duì)空氣造成了嚴(yán)重污染,阻礙了城市地區(qū)的可持續(xù)發(fā)展[1-2]。尤其在京津冀以及周邊地區(qū),由于重化工產(chǎn)業(yè)的高度聚集,該范圍內(nèi)主要能源利用方式以煤炭為主,貨物運(yùn)輸方式以公路汽車運(yùn)輸為主,這在一定程度上導(dǎo)致了大氣污染物的排放量大幅上升。PM2.5是主要的空氣污染物,是現(xiàn)階段中國(guó)霧霾治理的重點(diǎn),對(duì)人體健康具有較大的危害,成為了公眾較為關(guān)注的問題[3]。PM2.5的濃度受到城市空間形態(tài)、土地利用布局和不利氣象因素等影響[4],長(zhǎng)期暴露在受污染的大氣中會(huì)增加患心血管和呼吸系統(tǒng)疾病的風(fēng)險(xiǎn)[5]。為此,中國(guó)政府在大多數(shù)城市設(shè)立了空氣質(zhì)量監(jiān)測(cè)站,并用于實(shí)時(shí)檢測(cè)PM2.5和其他空氣污染物濃度。然而,由于設(shè)備昂貴,政府不可避免地需要承擔(dān)較大的財(cái)務(wù)負(fù)擔(dān)。除了對(duì)PM2.5進(jìn)行監(jiān)測(cè)以外,對(duì)未來(lái)空氣質(zhì)量預(yù)測(cè)的需求也越來(lái)越大。因此,對(duì)PM2.5濃度進(jìn)行在線預(yù)測(cè)對(duì)于空氣污染控制和預(yù)防空氣污染帶來(lái)的健康問題至關(guān)重要。尤其是如果能在小樣本下對(duì)PM2.5濃度實(shí)現(xiàn)較精準(zhǔn)的預(yù)測(cè),很大程度上將會(huì)減少政府的財(cái)政支出,并有利于各地區(qū)的環(huán)境治理,具有較高的實(shí)用價(jià)值。

1 研究現(xiàn)狀

目前,PM2.5的預(yù)測(cè)方法主要有模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的[15]。模型驅(qū)動(dòng)的方法主要是通過建立數(shù)學(xué)統(tǒng)計(jì)模型對(duì)PM2.5濃度進(jìn)行估計(jì),數(shù)據(jù)驅(qū)動(dòng)的方法主要是通過利用神經(jīng)網(wǎng)絡(luò)、支持向量回歸等方法預(yù)測(cè)PM2.5濃度。隨著近年來(lái)人工智能與機(jī)器學(xué)習(xí)的發(fā)展,人工神經(jīng)網(wǎng)絡(luò)(ANN)、支持向量回歸(SVR)等方法已較為廣泛地應(yīng)用于空氣污染物濃度的預(yù)測(cè)[6]。目前有利用機(jī)器學(xué)習(xí)的方法用于預(yù)測(cè)區(qū)道路、工廠和公園的空間特征預(yù)測(cè)PM10和二氧化氮的濃度[7]的相關(guān)研究,也有相關(guān)研究利用周邊監(jiān)測(cè)站的觀測(cè)數(shù)據(jù),使用SVR模型預(yù)測(cè)目標(biāo)站的PM2.5濃度[8]。雖然上述方法都利用了影響污染物濃度的空間特征,但沒有考慮空氣污染物的時(shí)間相關(guān)性和PM2.5的時(shí)延特征。由于大氣環(huán)境的動(dòng)態(tài)特性,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)可以處理任意輸入序列,從而保證了學(xué)習(xí)時(shí)序的能力,特別適合模擬空氣污染物分布的時(shí)間演化。Ong等[9]使用氣象數(shù)據(jù)作為輸入?yún)?shù),輸入至RNN中來(lái)預(yù)測(cè)PM2.5濃度。Feng等[10]結(jié)合隨機(jī)森林(RF)和RNN對(duì)中國(guó)杭州未來(lái)24小時(shí)空氣污染物PM2.5濃度進(jìn)行了分析和預(yù)測(cè)。然而,傳統(tǒng)RNN存在較長(zhǎng)時(shí)間滯后,并且可能會(huì)出現(xiàn)梯度消失和梯度爆炸等問題,這些基于RNN的方法也沒有充分利用空間特征。此外,特征形成的狀態(tài)在不同時(shí)間對(duì)未來(lái)PM2.5濃度也會(huì)產(chǎn)生不同的影響[11]?，F(xiàn)有的研究較少考慮過去不同時(shí)期的特征狀態(tài)對(duì)空氣污染物的影響,只是提取了歷史數(shù)據(jù)的時(shí)間相關(guān)性特征。目前,在小樣本下數(shù)據(jù)驅(qū)動(dòng)的方法在預(yù)測(cè)PM2.5濃度時(shí)準(zhǔn)確率較低,并且相關(guān)研究較少。為了解決上述難題,本文提出了基于生成對(duì)抗網(wǎng)絡(luò)模型的PM2.5的在線預(yù)測(cè)方法,利用生成器和判別器之間的博弈過程,建立了以生成器預(yù)測(cè)為主,判別器判別為輔的新型PM2.5的預(yù)測(cè)模型,并在生成器中加入了長(zhǎng)短期記憶網(wǎng)絡(luò)用于提取輸入數(shù)據(jù)的時(shí)序特征,相比于其他的基于數(shù)據(jù)驅(qū)動(dòng)的PM2.5預(yù)測(cè)方法,本文提出的方法在小樣本數(shù)據(jù)集上具有更高的準(zhǔn)確率,并具備較好的應(yīng)用價(jià)值。

2 相關(guān)方法分析

GAN包含了兩個(gè)網(wǎng)絡(luò)模型[12],分別是生成器G和判別器D,兩者處于對(duì)抗博弈的狀態(tài)。在對(duì)抗的過程中,生成器可以扮演著一個(gè)騙子的角色,生成與真實(shí)數(shù)據(jù)相似的數(shù)據(jù),通過生成假的數(shù)據(jù)去欺騙判別器。而判別器則充當(dāng)著法官的角色,將真實(shí)數(shù)據(jù)與生成數(shù)據(jù)進(jìn)行區(qū)分。理論上來(lái)說(shuō),判別器和生成器可以達(dá)到納什均衡,即判別器無(wú)法區(qū)分真實(shí)數(shù)據(jù)和判別數(shù)據(jù),生成器也生成接近于真實(shí)樣本的數(shù)據(jù)。基于這一原理,我們提出了基于GAN的PM2.5的預(yù)測(cè)模型。

GAN的目標(biāo)函數(shù)V(G,D)如式(1)所示。

V(G,D)=Ex～Pdata[logD(x)]+Ez～Pz[log(1-D(G(z))]

(1)

式中：z為服從于先驗(yàn)分布;Pz為隨機(jī)噪聲;x為服從真實(shí)數(shù)據(jù)分布Pdata的真實(shí)數(shù)據(jù);D(x)表示真實(shí)數(shù)據(jù)x在判別器下的判別結(jié)果為真的概率;D(G(z))為G(z)在判別器下的判別結(jié)果為真的概率。

在G的訓(xùn)練過程中,G盡可能地使D(G(z))趨于1,即讓目標(biāo)函數(shù)盡可能地取到最小值。在D的訓(xùn)練過程中,D盡可能地使D(G(z))趨于0,讓D(x)趨近于1,即讓目標(biāo)函數(shù)盡可能地取到最大值。

3 生成對(duì)抗網(wǎng)絡(luò)預(yù)測(cè)模型

3.1 預(yù)測(cè)模型架構(gòu)

通過構(gòu)建的生成器和判別器模型,本文提出了基于GAN的PM2.5預(yù)測(cè)模型,該模型如圖1所示。時(shí)間序列數(shù)據(jù)輸入到生成器中,生成器輸出PM2.5的預(yù)測(cè)值。PM2.5的真實(shí)值和生成器的預(yù)測(cè)值一起輸入到判別器中,判別器通過比較生成器的預(yù)測(cè)值與真實(shí)值的真假,然后將誤差反傳至生成器。定義生成器G的損失和判別器D的損失來(lái)優(yōu)化目標(biāo)函數(shù)。在構(gòu)建生成器的損失函數(shù)時(shí),除了原始GAN的生成器損失,還加入了MSE損失函數(shù)。生成器和判別器的損失函數(shù)如式(2)-式(5)所示。

圖1 基于GAN的PM2.5預(yù)測(cè)模型

(2)

(3)

(4)

Gloss=λ1gMSE+λ2gloss

(5)

式(5)中：判別器G的損失函數(shù)由gMSE和gloss兩部分組成;λ1和λ2為手動(dòng)設(shè)置的超參數(shù),考慮到gMSE和gloss在Gloss中的比重應(yīng)當(dāng)相同,因此λ1和λ2均為0.5。

3.2 生成器

由于LSTM[13]具有較強(qiáng)的時(shí)序特征提取能力,將LSTM網(wǎng)絡(luò)加入到GAN的生成器中,換句話說(shuō),就是把LSTM作為生成器。

本文從KnowAir數(shù)據(jù)集[14]中選取了中國(guó)京津冀地區(qū)13個(gè)城市的歷史空氣數(shù)據(jù)。由于PM2.5中含有硝酸銨的成分,溫度和硝酸銨會(huì)產(chǎn)生化學(xué)效應(yīng),隨著溫度和濕度的升高有助于硝酸銨的揮發(fā),因此溫度和濕度都與PM2.5呈正相關(guān)[16];風(fēng)速與旋渦狀態(tài)有助于PM2.5濃度在空氣中發(fā)生水平擴(kuò)散和垂直擴(kuò)散,因此風(fēng)速和旋渦狀態(tài)都與PM2.5呈負(fù)相關(guān)[14-17];降水對(duì)于PM2.5來(lái)說(shuō)呈阻力作用,會(huì)產(chǎn)生濕清除和向下氣流,因此降水量與PM2.5濃度呈負(fù)相關(guān)[18]。利用PM2.5濃度值、時(shí)間、溫度、濕度、風(fēng)速、降水量和旋渦狀態(tài)等數(shù)據(jù)作為輸入用于預(yù)測(cè)PM2.5的濃度變化。假設(shè)輸入的矩陣X={x1,x2,…,xt},X表示由t個(gè)時(shí)間點(diǎn)的數(shù)據(jù),其中x1,x2,…,xt分別表示在t個(gè)時(shí)間點(diǎn)內(nèi)的PM2.5濃度值、時(shí)間、溫度、濕度、風(fēng)速、降水量和旋渦狀態(tài)等數(shù)據(jù)。

圖2 PME-GAN生成器結(jié)構(gòu)圖

生成器的輸出如式(6)和式(7)所示。

ht=g(X)

(6)

(7)

式中：g(·)為L(zhǎng)STM的輸出,在輸入為X={x1,x2,…,xt}時(shí),LSTM的輸出為ht;δ表示ReLU激活函數(shù);Wh和bh分別表示全連接層中的權(quán)值和偏置。為了防止過擬合,加入了dropout作為正則化方法來(lái)避免過擬合的出現(xiàn)。

3.3 判別器

圖3 PME-GAN判別器結(jié)構(gòu)圖

D(Xfake)=σ(d(Xfake))

(8)

D(Xreal)=σ(d(Xreal))

(9)

式中：d(·)為MLP的輸出;σ為sigmoid激活函數(shù)。真實(shí)數(shù)據(jù)和假的數(shù)據(jù)輸入到判別器中,最終得到一個(gè)標(biāo)量,即為判別器的判別結(jié)果。

4 實(shí)驗(yàn)與結(jié)果分析

從KnowAir數(shù)據(jù)集[14]中選取了京津冀地區(qū)13個(gè)城市的歷史空氣數(shù)據(jù),由于這13個(gè)城市均為中國(guó)空氣污染較為嚴(yán)重的城市,且單獨(dú)抽取這13個(gè)城市的數(shù)據(jù)后,獲得的數(shù)據(jù)集較少,研究小樣本下對(duì)PM2.5進(jìn)行準(zhǔn)確的預(yù)測(cè)具備較高的實(shí)用價(jià)值。與此同時(shí),從13個(gè)城市的數(shù)據(jù)集中選取了2015至2018年間的空氣數(shù)據(jù)。在劃分?jǐn)?shù)據(jù)集時(shí),分別將2015年1月至2017年12月三年的數(shù)據(jù)用于訓(xùn)練,并用2018年1月至12月的數(shù)據(jù)用于測(cè)試,即訓(xùn)練集和測(cè)試集之比為3∶1,并對(duì)數(shù)據(jù)進(jìn)行歸一化處理,如式(10)所示。

(10)

式中：μ和τ分別表示X的均值和方差。

在訓(xùn)練PME-GAN時(shí),為了防止出現(xiàn)判別器或者生成器任意一方出現(xiàn)局部最優(yōu)的情況,判別器和生成器交替迭代,判別器每迭代一次后,生成器隨后迭代一次,如此重復(fù),直至PME-GAN的模型訓(xùn)練穩(wěn)定為止。在實(shí)驗(yàn)中epochs設(shè)置為2 000,batchsize的大小為64,LSTM各層的神經(jīng)元個(gè)數(shù)為8,dropout值為0.1。

在PME-GAN的訓(xùn)練過程中,實(shí)驗(yàn)中判別器和生成器的loss曲線分別如圖4和圖5所示。由兩個(gè)loss曲線可以看出,判別器和生成器處于對(duì)抗迭代的狀態(tài),隨著訓(xùn)練次數(shù)的增加,生成器和判別器的loss曲線不斷震蕩,生成器和判別器在對(duì)抗訓(xùn)練中得到了優(yōu)化,模型變得穩(wěn)固。

圖4 判別器loss曲線

圖5 生成器loss曲線

為了驗(yàn)證提出的方法的有效性與優(yōu)越性,與其他主流的數(shù)據(jù)驅(qū)動(dòng)方法做了對(duì)比實(shí)驗(yàn)。分別利用GRU、LSTM、CNN-GRU、CNN-LSTM四種不同的模型與PME-GAN進(jìn)行實(shí)驗(yàn),在保定測(cè)試集上的PM2.5預(yù)測(cè)結(jié)果如圖6-圖10所示。保定為京津冀的重要城市之一,由于集中供熱缺乏,較多居民用散煤取暖,因此空氣污染較為嚴(yán)重,并且單獨(dú)針對(duì)保定空氣污染的研究較少[19]。圖6-圖10可以更加清晰地呈現(xiàn)出各個(gè)方法的預(yù)測(cè)效果,可以看出,本文模型的實(shí)驗(yàn)結(jié)果要明顯地優(yōu)于其他4個(gè)模型,在擬合程度上,PME-GAN能夠更精準(zhǔn)地預(yù)測(cè)出PM2.5的變化趨勢(shì)。由于本文只采用了京津冀地區(qū)13個(gè)城市的數(shù)據(jù)用于訓(xùn)練和測(cè)試,數(shù)據(jù)量較少,雖然在PM2.5的濃度值上各種方法并不能預(yù)測(cè)的很精準(zhǔn),但是本文的方法能夠通過前三年的訓(xùn)練數(shù)據(jù)較為準(zhǔn)確地預(yù)測(cè)出后一年的PM2.5變化趨勢(shì)。

圖6 LSTM方法在保定測(cè)試集的實(shí)驗(yàn)結(jié)果

圖7 GRU方法在保定測(cè)試集的實(shí)驗(yàn)結(jié)果

圖8 CNN-LSTM方法在保定測(cè)試集的實(shí)驗(yàn)結(jié)果

為了更加直觀地刻畫出各種方法的預(yù)測(cè)準(zhǔn)確率,本文引用了RMSE和MAE兩種評(píng)價(jià)指標(biāo),用于評(píng)價(jià)各模型的預(yù)測(cè)效果,RMSE和MAE的計(jì)算如式(11)和式(12)所示。

(11)

(12)

表1 不同方法在測(cè)試集上的RMSE和MAE對(duì)比(%)

通過表1中的結(jié)果,可以得出PME-GAN在5種模型中RMSE和MAE均是最小的,預(yù)測(cè)的PM2.5濃度更接近于真實(shí)的PM2.5濃度,預(yù)測(cè)的準(zhǔn)確度要高于其他方法,充分地驗(yàn)證了所提出的PME-GAN模型在小樣本條件下的有效性。

5 結(jié) 語(yǔ)

本文提出了基于PME-GAN的PM2.5預(yù)測(cè)的方法,通過利用GAN的博弈思想,在生成器中加入LSTM,提取了輸入數(shù)據(jù)的時(shí)序特征,并在判別器中加入MLP,最終通過生成器與判別器的對(duì)抗訓(xùn)練,通過生成器對(duì)PM2.5進(jìn)行預(yù)測(cè)。與基于LSTM、GRU、CNN-LSTM和CNN-GRU的PM2.5的預(yù)測(cè)方法相比,本文的方法具有更高的準(zhǔn)確率和一定的應(yīng)用價(jià)值。

雖然通過PME-GAN的PM2.5預(yù)測(cè)的方法能夠?qū)M2.5的濃度進(jìn)行有效地預(yù)測(cè),但是預(yù)測(cè)的精度還有進(jìn)一步提升的空間?；谛颖鞠掠脭?shù)據(jù)驅(qū)動(dòng)的方法對(duì)PM2.5實(shí)現(xiàn)較高精度的預(yù)測(cè),可利用數(shù)據(jù)增強(qiáng)的方法,通過現(xiàn)有的數(shù)據(jù)集,對(duì)原始的小樣本的訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充,并對(duì)擴(kuò)充后的樣本進(jìn)行篩選,將合適的樣本加入到原有的訓(xùn)練集中,這將在一定程度上提升數(shù)據(jù)驅(qū)動(dòng)的方法預(yù)測(cè)PM2.5的精度。