劉媛媛

摘? 要： 針對空氣質(zhì)量預(yù)測中復(fù)雜的時(shí)空問題，本文構(gòu)造了多站點(diǎn)間的交互時(shí)空特征，搭建了結(jié)合CNN和LSTM的深度時(shí)空模型，并引入注意力機(jī)制學(xué)習(xí)多特征之間的權(quán)重分布，找出對空氣質(zhì)量指數(shù)（AQI）影響較大的特征重點(diǎn)關(guān)注，構(gòu)造了融合CNN-LSTM和注意力機(jī)制的AQI預(yù)測模型。使用2019年1月至2020年12月間運(yùn)城市各站點(diǎn)的小時(shí)粒度數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該模型對空氣質(zhì)量指數(shù)的預(yù)測較基模型具有更優(yōu)的性能。

關(guān)鍵詞： 空氣質(zhì)量指數(shù); 時(shí)空模型; CNN; LSTM; 注意力機(jī)制

中圖分類號：TP391? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2022）01-58-03

Air quality index prediction based on CNN-LSTM and attention mechanism

Liu Yuanyuan

（Department of Mathematics and Information Technology， Yuncheng University， Yuncheng， Shanxi 044000， China）

Abstract： Aiming at the complicated spatiotemporal problems in air quality prediction， this paper constructs interactive spatiotemporal features between multiple sites， builds a deep spatiotemporal model combining CNN and LSTM， and introduces an attention mechanism to learn the weight distribution between multiple features to find out the features that have a greater impact on the quality index， so as to construct an AQI prediction model combining CNN-LSTM and attention mechanism. Experiments were conducted using hourly granularity data of various stations in Yuncheng City from January 2019 to December 2020. The results show that the model has better performance in predicting air quality index than the base model.

Key words： AQI; spatiotemporal model; CNN; LSTM; attention mechanism

0 引言

近年來，隨著人們環(huán)保意識增強(qiáng)，空氣質(zhì)量預(yù)測受到了更廣泛的關(guān)注，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，空氣質(zhì)量預(yù)測也由單一的CNN，RNN模型向著綜合考慮時(shí)空因素的CNN-RNN組合模型發(fā)展。黃婕[1]等基于RNN-CNN集成深度學(xué)習(xí)模型對中國大陸地區(qū)1446個(gè)監(jiān)測站點(diǎn)的PM2.5小時(shí)濃度進(jìn)行了預(yù)測，冀林[2]等使用CNNs-GRU模型，綜合考慮了時(shí)空因素，對無錫市PM2.5進(jìn)行了預(yù)測，Chiou-Jye[3]等采用CNN提取空氣質(zhì)量相關(guān)數(shù)據(jù)的時(shí)間特征關(guān)系，并結(jié)合LSTM用于預(yù)測PM2.5的濃度。這些組合模型，最終都被證明其預(yù)測效果優(yōu)于單一的CNN、RNN模型。近年來，隨著注意力機(jī)制的發(fā)展，開始有學(xué)者將這一技術(shù)引入空氣質(zhì)量預(yù)測中，余長慧[4]等使用基于注意力機(jī)制的Seq2seq模型對PM2.5濃度進(jìn)行了預(yù)測，結(jié)果表明，該模型與基模型相比取得了更好的預(yù)測效果。

基于這種情況，本文提出了一種融和CNN-LSTM和注意力機(jī)制的模型。該模型構(gòu)造了結(jié)合多站點(diǎn)多模態(tài)的時(shí)空特征，并使用CNN-LSTM模型進(jìn)行空間及時(shí)間特征提取，最后引入注意力機(jī)制，對重要特征進(jìn)行關(guān)注，從而提升預(yù)測效果。

1 模型理論介紹

1.1 CNN-LSTM模型

空氣質(zhì)量預(yù)測是典型的時(shí)序問題，但基于其特殊性，空間特征對空氣質(zhì)量的影響巨大，因此，本文將相鄰站點(diǎn)的空氣質(zhì)量數(shù)據(jù)納入?yún)⒖继卣鱗5]，綜合考慮了空間和時(shí)間因素，構(gòu)造了一種多站點(diǎn)時(shí)空特征。

模型的卷積神經(jīng)網(wǎng)絡(luò)（CNN）部分使用Conv1D結(jié)構(gòu)來進(jìn)行特征提取。由于相鄰站點(diǎn)之間的空氣質(zhì)量相關(guān)特征呈現(xiàn)交叉性的影響，因此在建模時(shí)將多站點(diǎn)的特征在每一個(gè)站點(diǎn)上展開成為綜合各站點(diǎn)數(shù)據(jù)的二維結(jié)構(gòu)，然后利用CNN進(jìn)行多站點(diǎn)多特征空間下的特征提取，具體過程如圖1所示。

在RNN的選擇上，本文選用LSTM來替換SimpleRNN，以解決長時(shí)間序列下的梯度消失問題。LSTM使用門控機(jī)制控制信息選擇性的通過：遺忘門將上一單元的輸出ht-1 和這一單元的輸入xt 輸入到sigmoid 函數(shù)，得到“遺忘系數(shù)”ft;輸入門使用sigmoid 函數(shù)決定要更新的數(shù)值，同時(shí)使用tanh 函數(shù)產(chǎn)生新的候選項(xiàng)，組合后完成當(dāng)前單元狀態(tài)更新;輸出門使用sigmoid函數(shù)計(jì)算哪些單元狀態(tài)需要被輸出，最后經(jīng)過tanh函數(shù)得到輸出ht[6]。其基本結(jié)構(gòu)如圖2所示。

1.2 注意力機(jī)制原理

注意力機(jī)制來源于人類大腦的注意力運(yùn)行機(jī)制，可以使模型在特定時(shí)間對特定的信息加以關(guān)注，從而過濾出對模型影響最大的特征[7-8]。

對于某長度為Tx的輸入序列，ati為歷史輸入的隱藏狀態(tài)對于當(dāng)前輸入狀態(tài)的注意力權(quán)重，其計(jì)算公式為：

[ati=exp（eti）i=1Txexp（eti）] ⑴

其中，

[eti=VtanhWht-1+Uhi+b] ⑵

其中，U，V，W為權(quán)重矩陣，b為偏置項(xiàng)。

將ati與輸入序列歷史輸入節(jié)點(diǎn)的隱藏層狀態(tài)（hi）的乘積進(jìn)行累加，可以得到特征向量Ct，其計(jì)算公式為：

[Ct=i=1Txatihi] ⑶

最終輸出的最后節(jié)點(diǎn)的狀態(tài)值記為Ht，其計(jì)算公式為：

[Ht=f（Ct，ht-1，yt-1）] ⑷

2 融入注意力機(jī)制的CNN-LSTM模型構(gòu)造

針對AQI預(yù)測過程中存在的時(shí)空問題，本文構(gòu)造了一種融入注意力機(jī)制的CNN-LSTM模型。該模型主要優(yōu)勢在于考慮了相鄰站點(diǎn)之間特征的交互性，完善了時(shí)空模型，將相鄰站點(diǎn)的空氣質(zhì)量相關(guān)因素作為特征引入，得到多站點(diǎn)間的交互時(shí)空關(guān)系，并構(gòu)建結(jié)合了CNN和LSTM的時(shí)空模型，使用一維CNN結(jié)構(gòu)Conv1D進(jìn)行特征提取，使用LSTM在時(shí)間維度上根據(jù)設(shè)定的窗口進(jìn)行未來空氣質(zhì)量指數(shù)的預(yù)測，并在LSTM之后使用注意力機(jī)制，通過局部注意力機(jī)制學(xué)習(xí)多站點(diǎn)交互時(shí)空特征之間的權(quán)重分布，提升預(yù)測效果，該模型結(jié)構(gòu)如圖3所示。

3 試驗(yàn)與結(jié)果分析

本文所使用的試驗(yàn)數(shù)據(jù)來自中國環(huán)境監(jiān)測總站的全國城市空氣質(zhì)量實(shí)時(shí)發(fā)布平臺發(fā)布的運(yùn)城市五個(gè)國檢站點(diǎn)的小時(shí)粒度數(shù)據(jù)，包括AQI指數(shù)，SO2，NO2，CO，O3，PM10和PM2.5等指標(biāo)。除此之外，考慮到氣像因素對AQI指數(shù)的影響，又獲取了溫度、濕度、風(fēng)速、風(fēng)向，降水量等相關(guān)氣象數(shù)據(jù)。本文使用運(yùn)城市2019年1月至2020年12月兩年間的小時(shí)粒度數(shù)據(jù)作為訓(xùn)練集對2021年1-3月的空氣質(zhì)量指數(shù)進(jìn)行預(yù)測，時(shí)間窗口選擇為12，即：使用前十二小時(shí)的數(shù)據(jù)對未來一小時(shí)的AQI指數(shù)進(jìn)行預(yù)測。

3.1 模型評價(jià)指標(biāo)

AQI預(yù)測屬于回歸問題，因此，為了更好的對模型進(jìn)行評估，本文采用均方根誤差RMSE和平均絕對誤差MAE兩個(gè)指標(biāo)來評價(jià)各個(gè)模型的預(yù)測效果。

[RESE=1ni=1nyi-yi]  ⑸

[MAE=1ni=1nyi-yi]? ?⑹

其中，n為樣本個(gè)數(shù)，yi為第i天AQI指數(shù)的實(shí)際值，[yi]為第i天AQI指數(shù)的預(yù)測值。

3.2 模型性能比較

為了驗(yàn)證融合注意力機(jī)制和CNN-LSTM（S-CNN-LSTM-A）模型的性能，本文建立了多個(gè)對比模型，其中LSTM，CNN-LSTM模型作為基模型，并構(gòu)造了引入空間特征的LSTM（S-LSTM）和CNN-LSTM（S-CNN-LSTM）。以編號為2175A的站點(diǎn)為例，各模型的性能指標(biāo)如表1所示。

從表1可以看到，引入空間特征的LSTM（S-LSTM），CNN-LSTM（S-CNN-LSTM）模型，其RMSE較未引入前的33.71，26.97分別降低到了30.06，24.27，MAE也分別由24.95，21.79 降低到了20.28，15.54。而同時(shí)引入注意力機(jī)制和空間特征的深度時(shí)空模型（S-CNN-LSTM-A），其RMSE和MAE也分別降低到了21.84，15.07，獲得了比基模型更好的性能，其實(shí)際值和預(yù)測值的比較如圖4所示。通過模型對比發(fā)現(xiàn)，本文提出的融入注意力機(jī)制和空間特征的CNN-LSTM模型較基模型具有更高的精度，在空氣質(zhì)量指數(shù)的預(yù)測上能夠取得更好的效果。

4 結(jié)束語

本文考慮了AQI預(yù)測過程中時(shí)空因素的影響，建立了多站點(diǎn)多特征基礎(chǔ)上的CNN-LSTM模型，并引入注意力機(jī)制來進(jìn)一步提高模型的性能。結(jié)果表明，在單一站點(diǎn)模型基礎(chǔ)上引入多站點(diǎn)空間特征后，模型性能有了一定程度的提高，在此基礎(chǔ)上融入注意力機(jī)制后，模型性能又有了進(jìn)一步的提升。因此，本文提出的融入注意力機(jī)制和空間特征的CNN-LSTM模型較基模型具有更優(yōu)的性能。但由于數(shù)據(jù)獲取途徑有限，與運(yùn)城當(dāng)?shù)厣a(chǎn)生活相關(guān)的數(shù)據(jù)如污染企業(yè)分布，人民群眾生活習(xí)俗等數(shù)據(jù)獲取不夠，因此對運(yùn)城本地的空氣質(zhì)量預(yù)測精度還不夠高，這也是下一步研究的重點(diǎn)問題。

參考文獻(xiàn)（References）：

[1] 黃婕，張豐，杜震洪，等.基于RNN-CNN集成深度學(xué)習(xí)模型的PM_（2.5）小時(shí)濃度預(yù)測[J].浙江大學(xué)學(xué)報(bào)（理學(xué)版），2019，46（3）：370-379

[2] 冀林.基于CNNs-GRU深度學(xué)習(xí)的PM2.5預(yù)測研究與實(shí)現(xiàn)[D].重慶郵電大學(xué)，2019

[3] Chiou-Jye Huang and Ping-Huan Kuo. A Deep CNN-LSTM Model for Particulate Matter （PM2.5） Forecasting in Smart Cities[J].Sensors，2018，18（7）

[4] 余長慧，劉良.基于注意力機(jī)制的Seq2seq模型在PM2.5濃度預(yù)測中的研究[J].測繪地理信息，2021-07-13：1-9

[5] 姚紅巖，施潤和.基于周邊站點(diǎn)優(yōu)化選取的隨機(jī)森林PM_（2.5）小時(shí)濃度預(yù)測研究[J].環(huán)境科學(xué)學(xué)報(bào)，2021，41（4）：1565-1573

[6] 張冬雯，趙琪，許云峰，劉濱.基于長短期記憶神經(jīng)網(wǎng)絡(luò)模型的空氣質(zhì)量預(yù)測[J].河北科技大學(xué)學(xué)報(bào)，2020，41（1）：67-75

[7] 李雪.基于注意力機(jī)制的PM2.5濃度預(yù)測模型[D].山東大學(xué)，2020

[8] 彭玉青，喬穎，陶慧芳，劉憲姿，劉元劍.融入注意力機(jī)制的PM2.5預(yù)測模型[J].傳感器與微系統(tǒng)，2020，39（7）：44-47