祁柏林,郭昆鵬1,,楊 彬,杜毅明,劉 閩,王繼娜

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)

3(遼寧省沈陽生態(tài)環(huán)境監(jiān)測中心,沈陽 110000)

4(遼寧省先進(jìn)裝備制造業(yè)基地建設(shè)工程中心,沈陽 110001)

1 引言

近年來隨著科學(xué)技術(shù)的不斷發(fā)展,各種傳感器,電子元器件的體積進(jìn)一步減小,精度進(jìn)一步提高,而這些傳感器和電子技術(shù)的快速發(fā)展又進(jìn)一步推動環(huán)境監(jiān)測從區(qū)域化粗粒度監(jiān)測向更細(xì)粒度的區(qū)域網(wǎng)格化監(jiān)測發(fā)展.同時(shí)網(wǎng)格化監(jiān)測手段與大數(shù)據(jù)技術(shù)的有機(jī)結(jié)合,又使得環(huán)境監(jiān)測部門可以獲得更多尺度、更加詳細(xì)的空氣污染信息,通過分析這些空氣污染數(shù)據(jù)不但可以迅速的發(fā)現(xiàn)污染源頭,快速治理,還可以對網(wǎng)格化監(jiān)測區(qū)域內(nèi)未來的空氣污染狀況進(jìn)行預(yù)測,因此挖掘空氣污染數(shù)據(jù)的潛在信息對于推動我國生態(tài)文明建設(shè),改善空氣質(zhì)量污染狀況,提升人民生活的幸福度具有一定的意義.

長期以來,空氣質(zhì)量的預(yù)測一直是國內(nèi)外空氣污染監(jiān)測與治理相關(guān)領(lǐng)域的研究熱點(diǎn)之一.按照研究手段分類,空氣質(zhì)量預(yù)測可以分為統(tǒng)計(jì)預(yù)測、數(shù)值預(yù)測和以機(jī)器學(xué)習(xí)為代表的人工智能算法預(yù)測這3 種方案[1],其中統(tǒng)計(jì)預(yù)測是指通過分析空氣中污染物的變化規(guī)律來進(jìn)行預(yù)測,常用的模型有灰度模型和回歸模型.但是單一的灰度模型或者回歸模型又各自存在一些缺陷,有的學(xué)者提出了將基于殘差修正的灰度模型[2]應(yīng)用到空氣質(zhì)量預(yù)測的工作上面,有效的提高了灰度模型的預(yù)測精度.也有學(xué)者將多元線性回歸模型應(yīng)用到空氣質(zhì)量分析中,都取得了一定的成果[3].

有關(guān)于空氣質(zhì)量的數(shù)值預(yù)測是指以大氣運(yùn)動規(guī)律為基礎(chǔ),綜合空氣中污染物之間可能發(fā)生的物理和化學(xué)變化,利用數(shù)學(xué)的方法建立起污染物在空氣中擴(kuò)散模型來預(yù)測未來一段時(shí)間內(nèi)污染物濃度的變化,其中主流的模型有CQMA,NAQPMS,CAMs 等.雖然數(shù)值預(yù)報(bào)在空氣質(zhì)量預(yù)測方面有著不可取代的作用,但是由于數(shù)值預(yù)報(bào)本身的不確定性,所以可能會導(dǎo)致單一的數(shù)值預(yù)報(bào)模式的預(yù)測精準(zhǔn)度存在問題,所以來自浙江理工大學(xué)的謝磊提出了一種綜合多種數(shù)值預(yù)報(bào)模式的空氣質(zhì)量的預(yù)測方法,在一定程度上提高了空氣質(zhì)量的數(shù)值預(yù)測的精度[4].

近年來隨著人工智能學(xué)科的快速發(fā)展,已經(jīng)有越來越多的人將有關(guān)于機(jī)器學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)等方面的相關(guān)知識應(yīng)用到空氣中污染物預(yù)測和空氣質(zhì)量預(yù)測方面.有學(xué)者將支持向量機(jī)的方法與空氣質(zhì)量的預(yù)測相結(jié)合,提出了基于改進(jìn)螢火蟲尋優(yōu)支持向量機(jī)的預(yù)測模型(IFA-SVM),該模型改進(jìn)了以往使用的螢火蟲算法-支持向量機(jī)(FA-SVM)在訓(xùn)練模型時(shí)收斂速度慢和參數(shù)震蕩等問題[5].有國外學(xué)者將ANN 應(yīng)用到空氣質(zhì)量預(yù)測方面并取得了較高質(zhì)量的預(yù)測效果[6],也有學(xué)者將BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用到空氣中污染物濃度的預(yù)測工作方面,并且使用K 近鄰算法(KNN)來優(yōu)化傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)方法不能體現(xiàn)歷史時(shí)間窗內(nèi)的數(shù)據(jù)對當(dāng)前預(yù)測影響的問題[7].還有學(xué)者將能夠高效的提取連續(xù)時(shí)間特征的長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)應(yīng)用到空氣中污染物的濃度預(yù)測方面.來自西安電子科技大學(xué)的張晗提出了一種基于LSTM的空氣污染物預(yù)測模型,可以有效的提取有關(guān)空氣污染物濃度的歷史數(shù)據(jù)之間的時(shí)間特征從而獲得一個(gè)準(zhǔn)確率較高的預(yù)測數(shù)據(jù)[8].還有學(xué)者將經(jīng)濟(jì)因素的影響添加到空氣質(zhì)量的預(yù)測中,并取得一定的成果[9].

當(dāng)前對于空氣中污染物濃度預(yù)測的相關(guān)研究大多是以可以產(chǎn)生大量,多元監(jiān)測數(shù)據(jù)的大中型監(jiān)測站為研究對象,而以網(wǎng)格化監(jiān)測中小微型監(jiān)測站作為研究對象的研究較少.同時(shí),由大中型監(jiān)測站所產(chǎn)生的空氣質(zhì)量數(shù)據(jù)與網(wǎng)格化監(jiān)測中小,微型監(jiān)測站所產(chǎn)生的空氣質(zhì)量數(shù)據(jù)在數(shù)據(jù)種類,特征維度方面都有一定的區(qū)別,比如說部分網(wǎng)格化監(jiān)測中的小微型監(jiān)測站所產(chǎn)生的監(jiān)測數(shù)據(jù)并不包括當(dāng)前時(shí)刻的溫度,濕度,風(fēng)向,氣壓等信息,而且網(wǎng)格化監(jiān)測中的小微型監(jiān)測站所產(chǎn)生的監(jiān)測數(shù)據(jù)之間除了具備天然的時(shí)間關(guān)聯(lián),還由于小微型監(jiān)測站之間的影響關(guān)系而具備空間關(guān)聯(lián).所以在預(yù)測網(wǎng)格化監(jiān)測中小微型監(jiān)測站的空氣中污染物濃度相關(guān)問題上使用以往常用的線性回歸算法或者LSTM 算法都會使預(yù)測結(jié)果由于溫濕度等信息的缺失和空間特征的忽略而產(chǎn)生一定的誤差.

因此為了有效的提取網(wǎng)格化監(jiān)測中小微型監(jiān)測站之間的空間關(guān)聯(lián)特征和空氣污染物數(shù)據(jù)之間天然的時(shí)間關(guān)聯(lián)特征,本文將能夠有效且快速的提取非歐結(jié)構(gòu)中的空間特征的圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)與可以有效提取時(shí)序數(shù)據(jù)之間的時(shí)間特征的長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)相結(jié)合,提出了一種可以應(yīng)用于網(wǎng)格化監(jiān)測中空氣質(zhì)量預(yù)測的GCNLSTM 模型.然后本文結(jié)合了沈陽市渾南區(qū)的14 個(gè)小微型監(jiān)測站的PM2.5數(shù)據(jù)對本文提出的方法進(jìn)行驗(yàn)證.

2 基于GCN-LSTM的空氣質(zhì)量預(yù)測模型

空氣質(zhì)量網(wǎng)格化監(jiān)測中的各個(gè)小微型監(jiān)測站的空間分布屬于非歐式結(jié)構(gòu),也就是說網(wǎng)格化監(jiān)測中的每個(gè)小微型監(jiān)測站周圍的鄰接監(jiān)測站的個(gè)數(shù)和監(jiān)測站之間距離是不確定的,所以對網(wǎng)格化監(jiān)測所產(chǎn)生的監(jiān)測數(shù)據(jù)使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)并不能有效的提取數(shù)據(jù)之間的空間信息.因此需要使用GCN 來提取數(shù)據(jù)之間的空間特征,并且使用LSTM 來處理數(shù)據(jù)之間的時(shí)間特征,最后再使用線性回歸層來綜合時(shí)空特征來產(chǎn)生比較準(zhǔn)確,有效的預(yù)測信息.

2.1 圖卷積神經(jīng)網(wǎng)絡(luò)概述

圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)是一種以圖數(shù)據(jù)為研究對象的卷積神經(jīng)網(wǎng)絡(luò),由Bruna 等在2013年首次提出[10].圖卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)為一些非歐的圖數(shù)據(jù)的處理提供了新的思路,比如GCN 可以應(yīng)用到社交網(wǎng)絡(luò)分析,推薦系統(tǒng),交通流量預(yù)測等[11].

GCN的本質(zhì)目的就是利用圖卷積來提取非歐結(jié)構(gòu)的圖數(shù)據(jù)的空間特征,根據(jù)文獻(xiàn)[12]中提出的理論,對于圖G=(V,E,A),輸入信號X和輸出信號Y,圖卷積神經(jīng)網(wǎng)絡(luò)采取的處理方式f定義為:

其中,V表示圖中的節(jié)點(diǎn)個(gè)數(shù),V=而E表示的邊的集合,A是圖的鄰接矩陣,A∈RN×N,矩陣A中的元素Aij表示圖G中節(jié)點(diǎn)vi和vj之間的連接關(guān)系.圖卷積的前向傳播公式為:

2.2 長短期記憶神經(jīng)網(wǎng)絡(luò)概述

LSTM 網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的一種變種[13],是由Hochreiter和Schmidhuber為解決RNN 中的長期依賴問題在1997年首次提出.由圖1RNN的示意圖及其展開圖可以看出,雖然每個(gè)RNN 單元都會將自身提取的信息傳遞給下一個(gè)單元,但是當(dāng)傳遞鏈的長度增加到一定程度的時(shí)候會出現(xiàn)信息丟失,也就是上文提到的長期依賴的問題,這也就促使了LSTM的出現(xiàn)與流行.

圖1 RNN 示意圖及展開

通過圖2LSTM的細(xì)胞結(jié)構(gòu)示意圖可以看出,LSTM采用了3 種門控機(jī)制來解決傳統(tǒng)RNN 中的長期依賴問題.

圖2 LSTM 細(xì)胞結(jié)構(gòu)圖

LSTM的3 種門控單元分別為:遺忘門f,輸入門i和輸出門o.其中遺忘門用來控制當(dāng)前細(xì)胞狀態(tài)Ct要丟棄哪些信息,遺忘門的狀態(tài)更新公式為:

輸入門控制了當(dāng)前網(wǎng)絡(luò)的輸入xt會有多少保留到單元狀態(tài)Ct中,輸入門的狀態(tài)更新規(guī)則為:

輸出門控制了當(dāng)前細(xì)胞狀態(tài)能輸出多少信息.輸出門的狀態(tài)更新規(guī)則為:

式中,σ表示Sigmoid 函數(shù),會根據(jù)輸入產(chǎn)生[0,1]之間的向量;C?t表示的是候選細(xì)胞信息;Wf,Wi,Wo,Wc表示的是LSTM 細(xì)胞狀態(tài)更新過程中的權(quán)重系數(shù)矩陣;bf,bi,bo,bc表示狀態(tài)更新過程中的偏置矩陣.

2.3 GCN-LSTM 模型

網(wǎng)格化監(jiān)測中的小微型監(jiān)測站的空氣質(zhì)量預(yù)測問題可以描述為:通過小微型監(jiān)測站時(shí)長為s的歷史時(shí)刻數(shù)據(jù)[Xt?s,···,Xt?1]和各個(gè)監(jiān)測站之間的空間關(guān)系A(chǔ)來預(yù)測下一個(gè)時(shí)刻t的空氣質(zhì)量Xt,即:

式中,Xt表示t時(shí)刻網(wǎng)格化監(jiān)測體系中各個(gè)小微型監(jiān)測站的空氣中污染物的預(yù)測濃度;A表示不同小微型站之間的空間影響關(guān)系即鄰接矩陣;F為處理方式,在本文中F表示GCN-LSTM 模型.

GCN-LSTM 模型由圖卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶單元兩部分組成,如圖3所示.本次研究將長度為s的歷史時(shí)間序列數(shù)據(jù)輸入模型,利用雙層GCN 結(jié)構(gòu)解析網(wǎng)格化監(jiān)測中小微型監(jiān)測站的拓?fù)浣Y(jié)構(gòu),提取空間特征;然后將具備空間特征的時(shí)間序列數(shù)據(jù)輸入LSTM中學(xué)習(xí)時(shí)間特征,最后通過一個(gè)線性回歸層得到預(yù)測數(shù)據(jù),GCN-LSTM 模型具體的訓(xùn)練流程如圖4所示.

圖3 GCN-LSTM 模型總覽

圖4 基于GCN-LSTM的PM2.5 預(yù)測流程

首先將收集到的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理和數(shù)據(jù)集劃分,然后將訓(xùn)練集和驗(yàn)證集組成的訓(xùn)練數(shù)據(jù)輸入到如圖3結(jié)構(gòu)所示的GCN-LSTM 模型中對模型進(jìn)行訓(xùn)練;最后將測試數(shù)據(jù)輸入到訓(xùn)練完成的模型中觀察模型的預(yù)測精度是否達(dá)到預(yù)期,如果沒有達(dá)到預(yù)期則調(diào)整模型GCN和LSTM 中的隱層節(jié)點(diǎn)數(shù)然后再次訓(xùn)練直到得出達(dá)到預(yù)期精度的模型.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)說明與預(yù)處理

本文使用的數(shù)據(jù)樣本集為沈陽市渾南區(qū)14 個(gè)小微型監(jiān)測站的2020年1月到5月之間的PM2.5濃度值,數(shù)據(jù)采樣的時(shí)間間隔是1 小時(shí),每天可以獲取336 個(gè)樣本數(shù)據(jù).

部分原始數(shù)據(jù)如圖5所示,在圖5中橫軸代表的是PM2.5原始數(shù)據(jù)的組數(shù),縱軸代表的是PM2.5原始數(shù)據(jù)的濃度值.從圖上可以看出部分原始數(shù)據(jù)存在缺失和失真的情況.因此在使用此數(shù)據(jù)集進(jìn)行模型訓(xùn)練和驗(yàn)證之前需要對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,補(bǔ)充缺失數(shù)據(jù)和清洗掉異常數(shù)據(jù).

圖5 南屏東路PM2.5 原始數(shù)據(jù)

本文對于數(shù)據(jù)集中的缺失數(shù)據(jù)和異常數(shù)據(jù)采取的是如式(10)所示一元線性插值的方式進(jìn)行數(shù)據(jù)補(bǔ)充和清洗,同時(shí)采用式(11)對原始數(shù)據(jù)進(jìn)行歸一化使原始數(shù)據(jù)都映射到[0,1]之間.

式中,xa+i為插值產(chǎn)生的補(bǔ)充數(shù)據(jù),xa為距離缺失數(shù)據(jù)最近的之前時(shí)刻的數(shù)據(jù),xa+j為距離缺失數(shù)據(jù)最近的之后時(shí)刻的缺失數(shù)據(jù),j表示缺失數(shù)據(jù)的個(gè)數(shù),i表示第i個(gè)需要補(bǔ)充的缺失數(shù)據(jù).

式中,xi為原始PM2.5數(shù)據(jù);為歸一化后的PM2.5數(shù)據(jù);xmax為原始數(shù)據(jù)中的最大值;xmin為原始數(shù)據(jù)中的最小值.

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所用的硬件配置為:Intel(R)Core(TM)i5-5200U CPU@2.20 GHz,8 GB 內(nèi)存;實(shí)驗(yàn)所用的軟件環(huán)境為:Windows10 (64 位)操作系統(tǒng),Python3.7,PyTorch1.5.0.

3.3 評價(jià)指標(biāo)

本次研究的目的是預(yù)測網(wǎng)格化監(jiān)測中的小微型監(jiān)測站的空氣質(zhì)量和空氣中污染物濃度的變化趨勢,所以為了能夠更好的衡量預(yù)測的效果,本文采用了2 個(gè)評價(jià)指標(biāo):絕對平均誤差(Mean Absolute Error,MAE),均方根誤差(Root Mean Squared Error,RMSE),來分析預(yù)測結(jié)果和真實(shí)測量值之間的偏差.一般來說當(dāng)預(yù)測值與真實(shí)值之間的偏差越小MAE和RMSE的值也就越小,也就是說MAE和RMSE的值越小,模型的預(yù)測效果越好.

式中,yi為真實(shí)的PM2.5濃度的測量值;為PM2.5濃度的預(yù)測值.

3.4 預(yù)測結(jié)果分析

本次研究將數(shù)據(jù)集以7:1:2的比例劃分訓(xùn)練集,驗(yàn)證集和測試集,并且使用長短期記憶神經(jīng)網(wǎng)絡(luò)作為對比模型,模型的訓(xùn)練過程如算法1 所示.

算法1.模型搭建與訓(xùn)練A∈RN×N C∈RN×M輸入:時(shí)間序列長度,小微型監(jiān)測站所構(gòu)成的圖的鄰接矩陣,PM2.5的濃度表示,模型選擇標(biāo)志flag輸出:訓(xùn)練好的模型s 1.對鄰接矩陣A 添加自連接,并對自連接后的鄰接矩陣進(jìn)行對稱歸一化處理.2.對PM2.5的濃度數(shù)據(jù)C 進(jìn)行歸一化并且構(gòu)建數(shù)據(jù)集D.m

15.搭建如圖3所示的GCN-LSTM 模型.16.end if 17.repeat 18.從train 中隨機(jī)選取batch為64的數(shù)據(jù)輸入模型進(jìn)行訓(xùn)練.19.以MSE 作為loss,使用Adam 算法以1e-4為學(xué)習(xí)率更新權(quán)重.20.until 滿足停止條件.21.返回訓(xùn)練完成的模型.?

實(shí)驗(yàn)中分別采用LSTM和GCN-LSTM 兩種模型使用14 個(gè)小微型監(jiān)測站過去12 個(gè)小時(shí)的PM2.5數(shù)據(jù)來預(yù)測未來1 小時(shí)的PM2.5濃度,預(yù)測結(jié)果對比如表1所示.

表1 不同模型的預(yù)測效果對比

從表1中兩種模型的對比可以看出,本文所提出的GCN-LSTM 模型在大多數(shù)小微型監(jiān)測站中MAE和RMSE這兩種評價(jià)指標(biāo)的數(shù)值都要比使用LSTM模型的值要小.而且這兩種評價(jià)指標(biāo)都是越小就代表模型的預(yù)測值與實(shí)際的測量值之間的偏差越小,也就是說在網(wǎng)格化監(jiān)測中小微型監(jiān)測站的PM2.5的預(yù)測問題上,本文提出的模型的預(yù)測效果要優(yōu)于以往研究中所使用的LSTM 模型.

圖6和圖7分別為實(shí)驗(yàn)中預(yù)測效果最好的監(jiān)測站點(diǎn)全運(yùn)路監(jiān)測點(diǎn)和預(yù)測效果最差的南屏東路監(jiān)測點(diǎn)的部分預(yù)測結(jié)果.圖6和圖7中的橫軸代表第幾組測試數(shù)據(jù),縱軸代表PM2.5的濃度值,pre 代表有GCN-LSTM模型產(chǎn)生的PM2.5濃度的預(yù)測值,real 代表當(dāng)前監(jiān)測站的實(shí)際的PM2.5的監(jiān)測值.從圖上的預(yù)測曲線與實(shí)際測量值的曲線的擬合程度來看,無論是全運(yùn)路監(jiān)測點(diǎn)還是南屏東路監(jiān)測點(diǎn),預(yù)測曲線的變化趨勢都大致與實(shí)際的測量值的曲線的變化趨勢相同.這都說明了GCNLSTM 模型可以有效的預(yù)測網(wǎng)格化監(jiān)測中的小微型監(jiān)測站的PM2.5的變化趨勢,為我國環(huán)境監(jiān)測和治理提供一定的參考.

圖6 全運(yùn)路監(jiān)測點(diǎn)預(yù)測結(jié)果

圖7 南屏東路監(jiān)測點(diǎn)預(yù)測結(jié)果

4 結(jié)論與展望

針對時(shí)空關(guān)聯(lián)性高的網(wǎng)格化監(jiān)測中的小微型監(jiān)測站的空氣質(zhì)量預(yù)測問題,本文提出了一種基于GCNLSTM的空氣質(zhì)量預(yù)測方法.嘗試通過使用GCN 算法從監(jiān)測站的拓?fù)鋱D中提取有效的空間特征,并采用LSTM 來學(xué)習(xí)以往空氣中污染物濃度數(shù)據(jù)中的時(shí)間特征,最后采用一個(gè)線性回歸層來整合特征并產(chǎn)生預(yù)測結(jié)果,進(jìn)而提高網(wǎng)格化監(jiān)測中小微型監(jiān)測站空氣質(zhì)量預(yù)測的精度.實(shí)驗(yàn)結(jié)果表明本文的GCN-LSTM 算法在網(wǎng)格化監(jiān)測中的小微型監(jiān)測站空氣質(zhì)量的預(yù)測問題上要比LSTM 算法表現(xiàn)更優(yōu).未來,將對GCN-LSTM 模型結(jié)構(gòu)進(jìn)一步優(yōu)化,研究更有效的缺失數(shù)據(jù)和異常數(shù)據(jù)的處理方法,從而提高模型的整體預(yù)測效果和精度.