王梓霖

摘? ?要：為有效地預(yù)測(cè)霧霾污染程度的主要評(píng)價(jià)指標(biāo)PM2.5質(zhì)量濃度，文章使用Blending集成學(xué)習(xí)策略并行連接CNN與LSTM，并建立基于CNN-LSTM集成學(xué)習(xí)的PM2.5質(zhì)量濃度預(yù)測(cè)模型。經(jīng)過(guò)真實(shí)數(shù)據(jù)驗(yàn)證，該模型對(duì)PM2.5質(zhì)量濃度預(yù)測(cè)具有有效性，且相較于串聯(lián)CNN-LSTM預(yù)測(cè)模型具有優(yōu)越性。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò);集成學(xué)習(xí);PM2.5質(zhì)量濃度預(yù)測(cè)

我國(guó)霧霾污染問(wèn)題日益嚴(yán)重，對(duì)人們健康造成巨大威脅，因此，霧霾質(zhì)量濃度預(yù)測(cè)至關(guān)重要。PM2.5是評(píng)價(jià)霧霾質(zhì)量濃度的首要指標(biāo)，目前已有研究針對(duì)PM2.5質(zhì)量濃度進(jìn)行預(yù)測(cè)。余輝等[1]使用空氣污染物數(shù)據(jù)和氣象數(shù)據(jù)，建立了差分整合移動(dòng)平均自回歸模型預(yù)測(cè)PM2.5質(zhì)量濃度。但統(tǒng)計(jì)學(xué)方法適用于線性關(guān)系問(wèn)題，不適用于高維非線性問(wèn)題。Biancofiore等[2]使用帶有和不帶遞歸結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型對(duì)PM2.5質(zhì)量濃度進(jìn)行預(yù)測(cè)，并取得了較好結(jié)果。但人工神經(jīng)網(wǎng)絡(luò)無(wú)法刻畫(huà)PM2.5質(zhì)量濃度在時(shí)間維度上的特征。近年來(lái)，深度學(xué)習(xí)快速發(fā)展并被用于PM2.5質(zhì)量濃度預(yù)測(cè)中。Chiou-Jye等[3]串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)（Long-Short Term Memory，LSTM）預(yù)測(cè)PM2.5質(zhì)量濃度，提高了PM2.5質(zhì)量濃度預(yù)測(cè)的準(zhǔn)確性，但此模型會(huì)損失部分時(shí)序特征。針對(duì)上述問(wèn)題，本文使用Blending集成學(xué)習(xí)策略并行結(jié)合CNN和LSTM預(yù)測(cè)PM2.5質(zhì)量濃度。

1? ? 基于CNN-LSTM集成學(xué)習(xí)的PM2.5質(zhì)量濃度預(yù)測(cè)

1.1? 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是受生物的視知覺(jué)機(jī)制啟發(fā)而發(fā)展出來(lái)的一種有卷積運(yùn)算的前饋神經(jīng)網(wǎng)絡(luò)，可提取數(shù)據(jù)之間隱藏的拓?fù)浣Y(jié)構(gòu)即空間維度上的特征。其核心結(jié)構(gòu)為卷積層、池化層和全連接層，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積層對(duì)輸入數(shù)據(jù)進(jìn)行局部特征提取，并使用池化層對(duì)提取的特征進(jìn)行壓縮，隨著卷積層的增加，提取的特征越來(lái)越抽象，最后將這些特征進(jìn)行一維展開(kāi)，并使用全連接層對(duì)其進(jìn)行學(xué)習(xí)，最后輸出結(jié)果。

1.2? 長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)

長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)版本[4]，核心為記憶細(xì)胞結(jié)構(gòu)和3個(gè)門(mén)結(jié)構(gòu)：遺忘門(mén)ft、輸入門(mén)it和輸出門(mén)ot。對(duì)于時(shí)刻t，ct-1為從上一時(shí)刻傳來(lái)的記憶細(xì)胞信息，at-1為上一時(shí)刻的輸出數(shù)據(jù)，xt為當(dāng)前時(shí)刻的訓(xùn)練數(shù)據(jù)，其經(jīng)過(guò)遺忘門(mén)、輸入門(mén)、輸出門(mén)，更新了記憶細(xì)胞信息ct并輸出了當(dāng)前時(shí)刻的輸出at。LSTM模塊中各門(mén)結(jié)構(gòu)以及狀態(tài)傳遞過(guò)程的計(jì)算公式如下：

LSTM的記憶細(xì)胞中包含了到當(dāng)前時(shí)刻為止所有歷史時(shí)刻中有用的信息，并通過(guò)門(mén)結(jié)構(gòu)決定多少當(dāng)前時(shí)刻信息被加入到記憶細(xì)胞，然后傳遞到下一時(shí)刻。

1.3? 基于CNN-LSTM集成學(xué)習(xí)的PM2.5質(zhì)量濃度預(yù)測(cè)模型

PM2.5質(zhì)量濃度影響因素眾多，數(shù)據(jù)之間不僅具有時(shí)序關(guān)系，還蘊(yùn)含空間維度上的特征。CNN可以提取高維數(shù)據(jù)在不同層次上的特征，LSTM能夠很好地刻畫(huà)數(shù)據(jù)在時(shí)間維度上的特征，但串聯(lián)結(jié)合CNN與LSTM會(huì)在一定程度上損失特征因子在時(shí)間維度上的特征，因此本文使用Blending集成學(xué)習(xí)策略并行連接CNN與LSTM，以此構(gòu)建基于CNN-LSTM的PM2.5質(zhì)量濃度預(yù)測(cè)模型，其結(jié)構(gòu)和參數(shù)如圖1所示。

2? ? 實(shí)驗(yàn)結(jié)果與分析

2.1? 數(shù)據(jù)集選取

數(shù)據(jù)來(lái)源為西安市2015年1月1日0：00～2018年5月31日23：00逐小時(shí)PM10，CO，NO2，SO2，O3質(zhì)量濃度以及溫度、濕度、風(fēng)速、氣壓和露點(diǎn)數(shù)據(jù)。

2.2? 數(shù)據(jù)預(yù)處理

均值補(bǔ)全數(shù)據(jù)：獲取到的數(shù)據(jù)會(huì)有缺失情況，因此使用均值補(bǔ)全法對(duì)缺失數(shù)據(jù)進(jìn)行補(bǔ)全。其計(jì)算表達(dá)式為公式（7）所示：

構(gòu)造時(shí)間序列特征圖：CNN網(wǎng)絡(luò)模型的輸入數(shù)據(jù)要求為網(wǎng)格數(shù)據(jù)，因此，需要構(gòu)造時(shí)間序列特征圖。本文將時(shí)間步特征數(shù)據(jù)按時(shí)間順序依次排列，組成二維數(shù)據(jù)矩陣，以滑動(dòng)窗口截取方式構(gòu)造時(shí)間序列特征圖。

2.3? 實(shí)驗(yàn)結(jié)果分析

本文使用串聯(lián)CNN-LSTM預(yù)測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn)，并使用均方根誤差作為評(píng)價(jià)標(biāo)準(zhǔn)。表1為兩種模型在測(cè)試集上的均方根誤差。

圖2—3分別為串聯(lián)CNN-STM預(yù)測(cè)模型和CNN-LSTM集成學(xué)習(xí)預(yù)測(cè)模型預(yù)測(cè)結(jié)果。

由均方根誤差以及預(yù)測(cè)結(jié)果的對(duì)比圖可以看出，基于CNN-LSTM集成學(xué)習(xí)的PM2.5質(zhì)量濃度預(yù)測(cè)模型在真實(shí)數(shù)據(jù)集上得到了良好的運(yùn)行效果，且比基于串聯(lián)CNN-LSTM的PM2.5質(zhì)量濃度預(yù)測(cè)模型均方根誤差有所降低，預(yù)測(cè)效果有所提高。

3? ? 結(jié)語(yǔ)

本文利用CNN和LSTM各自在空間維度和時(shí)間維度上的特征提取能力，使用Blending集成學(xué)習(xí)策略并行連接CNN和LSTM的PM2.5質(zhì)量濃度預(yù)測(cè)模型。并通過(guò)實(shí)驗(yàn)表明基于CNN-LSTM集成學(xué)習(xí)的PM2.5質(zhì)量濃度預(yù)測(cè)模型的有效性，為 PM2.5質(zhì)量濃度預(yù)測(cè)提供一種更為優(yōu)越的方法。

[參考文獻(xiàn)]

[1]余輝，袁晶，于旭耀，等.基于ARMAX的PM_（2.5）小時(shí)濃度跟蹤預(yù)測(cè)模型[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2017（1）：105-111.

[2]BIANCOFIORE F，BUSILACCHIO M，VERDECCHIA M，et al.Recursive neural network model for analysis and forecast of PM10 and PM2.5[J].Atmospheric Pollution Research，2017（S1）：30-32.

[3]CHIOU JYE H，PING HUAN K.A deep CNN-LSTM model for particulate matter（PM2.5）forecasting in smart cities[J].Sensors，2018（7）：2220.

[4]HOCHREITER S，SCHMIDHUBER，JURGEN.Long short-term memory[J].Neural Computation，1997（8）：1735-1780.