呂秋明，莫欣岳*，李 歡

（海南大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院（密碼學(xué)院），海南 ?？冢?/p>

引言

空氣污染是全球性的環(huán)境問題，尤其在城市地區(qū)。隨著工業(yè)和交通運(yùn)輸業(yè)的迅速發(fā)展，城市空氣污染問題愈發(fā)突出。作為空氣污染的重要成分之一，PM2.5對環(huán)境和人類健康的影響已引起廣泛重視。隨著人們對環(huán)境和生活質(zhì)量需求的提高，對空氣質(zhì)量的關(guān)注也越來越高。因此政府部門不斷加強(qiáng)對空氣質(zhì)量的管控，對以PM2.5為首的空氣污染物開展預(yù)報預(yù)警，有助于采取及時有效的防控措施，保障生態(tài)環(huán)境和公眾健康[1]。

近年來，機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)技術(shù)的成功應(yīng)用也為空氣污染預(yù)報提供了新的思路和方法。深度學(xué)習(xí)是一種基于人工神經(jīng)網(wǎng)絡(luò)的模型算法，具有很強(qiáng)的特征提取和自適應(yīng)學(xué)習(xí)能力，可以對復(fù)雜的非線性關(guān)系進(jìn)行學(xué)習(xí)和模擬。針對空氣污染預(yù)報問題，已有學(xué)者嘗試基于深度學(xué)習(xí)的方法開展研究[2]。例如Tao等[3]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）與雙向門控循環(huán)單元網(wǎng)絡(luò)(BiGRU)提出一種深度學(xué)習(xí)模型(CBGRU),該模型通過CNN 對數(shù)據(jù)下采樣減少數(shù)據(jù)的復(fù)雜性,并使用BiGRU挖掘時間信息特征。

不同深度學(xué)習(xí)算法具有不同特點(diǎn)，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有較好的特征提取能力，而長短期記憶網(wǎng)絡(luò)（LSTM）擅長時間序列分析。本研究引入多種深度學(xué)習(xí)算法，不僅融合了CNN和雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）的特性，而且加入先進(jìn)的注意力機(jī)制（Attention），建立了深度學(xué)習(xí)組合模型CNN-BiLSTM-Attention。基于深度學(xué)習(xí)組合模型開展PM2.5濃度預(yù)報，并對模型的預(yù)報效果進(jìn)行了量化分析和評價。本研究旨在通過深度學(xué)習(xí)方法實(shí)現(xiàn)PM2.5濃度的有效預(yù)報，為公眾的健康防護(hù)和政府的空氣污染防控提供支持，同時助力于深度學(xué)習(xí)技術(shù)應(yīng)用和發(fā)展。

1 研究數(shù)據(jù)

1.1 研究區(qū)域 北京市位于中國華北地區(qū)，是中國的首都，也是政治中心、文化中心和科技創(chuàng)新中心。隨著城市化進(jìn)程的加速，伴隨而來的環(huán)境問題也日益凸顯。北京也是空氣污染較嚴(yán)重的城市之一，PM2.5污染形勢始終不容樂觀。為了改善空氣質(zhì)量，北京市政府采取了一系列管控措施，如加強(qiáng)空氣質(zhì)量的監(jiān)測和預(yù)警、推廣清潔能源、機(jī)動車限行等。

1.2 數(shù)據(jù)集與預(yù)處理 本研究使用了北京市常規(guī)空氣污染物濃度監(jiān)測數(shù)據(jù)(http://zx.bjmemc.com.cn/getAqiList.shtml?timestamp=1689873072321)，具 體 包 括PM2.5、PM10、SO2、NO2、CO、O3。數(shù)據(jù)時間跨度為2013 年3 月1日至2017 年2 月28 日，數(shù)據(jù)粒度為小時級別。其中，訓(xùn)練集、驗(yàn)證集和測試集的比例分別為80%、10%和10%。鑒于預(yù)報量PM2.5濃度序列的時間規(guī)律和與其它污染物復(fù)雜的相互作用，使用6 種常規(guī)空氣污染物歷史濃度數(shù)據(jù)作為預(yù)報因子。為消除不同污染物量級的影響，使用Min-Max歸一化算法對原始數(shù)據(jù)進(jìn)行歸一化。然后通過滑動時間窗口算法將原始時間序列轉(zhuǎn)化為監(jiān)督學(xué)習(xí)任務(wù)。

2 深度學(xué)習(xí)算法

2.1 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)模型[4]。CNN 的主要思想是通過卷積運(yùn)算和池化操作提取圖像特征，然后通過全連接層進(jìn)行分類或回歸等任務(wù)。CNN的卷積層通過卷積核在輸入數(shù)據(jù)上進(jìn)行卷積運(yùn)算，提取局部特征，并且具有平移不變性。池化層則通過對卷積層輸出的特征圖進(jìn)行下采樣操作，減少特征的維度和數(shù)量，從而進(jìn)一步提高計(jì)算效率和泛化能力。

2.2 長短期記憶網(wǎng)絡(luò) 長短期記憶網(wǎng)絡(luò)（Long Short Term Memory, LSTM）是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的改進(jìn)模型，主要用來解決時間序列的長期依賴問題[5]。相較于傳統(tǒng)的RNN，LSTM包含三個門控單元（輸入門，遺忘門，輸出門）。LSTM結(jié)構(gòu)見圖1，在每個時間步，LSTM會根據(jù)當(dāng)前輸入和前一時刻的狀態(tài)，通過三個門控單元進(jìn)行計(jì)算，從而控制信息的流入和流出。

圖1 LSTM 結(jié)構(gòu)

雙向長短期記憶網(wǎng)絡(luò)（Bidirectional Long Short Term Memory Network, BiLSTM）由兩個單向的LSTM組成，每個時刻的輸入會同時提供給前向和后向的LSTM，兩個隱含層獨(dú)立計(jì)算狀態(tài)和輸出，BiLSTM的最終輸出由兩個LSTM的輸出共同決定。

式中：W 和b 是相應(yīng)的權(quán)重和偏置向量；h，x，C? 和C 分別是輸出，輸入，候選記憶和記憶單元；f，i 和o 分別是遺忘門，輸入門，輸出門單元。

2.3 注意力機(jī)制 注意力機(jī)制（Attention）是一種用于加強(qiáng)神經(jīng)網(wǎng)絡(luò)對輸入序列中重要部分關(guān)注度的機(jī)制。在序列數(shù)據(jù)的處理中，往往需要對每個時間步的輸入進(jìn)行加權(quán)求和，以得到一個整體的表示。Attention 機(jī)制通過根據(jù)當(dāng)前狀態(tài)動態(tài)地計(jì)算權(quán)重向量，使得模型能夠更加靈活地對輸入序列進(jìn)行建模，從而提高模型的性能[6]。

2.4 建立CNN-BiLSTM-Attention 模型 本研究基于上述深度學(xué)習(xí)算法建立了CNN-BiLSTM-Attention 的串聯(lián)組合模型，模型的主要架構(gòu)和功能如下：（1） 輸入層，輸入的數(shù)據(jù)是一個二維張量，該層的shape 參數(shù)為(window，input_size)；（2） 卷積層，使用Conv1D 函數(shù)創(chuàng)建一個卷積層，激活函數(shù)為ReLU；（3） 池化層，使用MaxPooling1D 函數(shù)創(chuàng)建一個池化層；（4） Dropout 層，使用Dropout 函數(shù)創(chuàng)建一個Dropout 層；（5） BiLSTM層，使用Bidirectional 和LSTM函數(shù)創(chuàng)建一個BiLSTM層，包含一個正向和一個反向的LSTM層，激活函數(shù)為tanh；（6） Dense 層，全連接層，該層用于將BiLSTM層的輸出傳遞給Attention 層，激活函數(shù)為sigmoid；（7）Attention 層，使用Dense 函數(shù)創(chuàng)建一個全連接層，激活函數(shù)為sigmoid；（8） 乘法層，使用Multiply 函數(shù)將Attention 層的輸出與BiLSTM層的輸出按元素相乘，以加權(quán)計(jì)算LSTM層的輸出；（9） Flatten 層，該層用于將數(shù)據(jù)展平，以傳遞給Dense；（10） 輸出層，使用Dense函數(shù)創(chuàng)建一個全連接層，該層有1 個神經(jīng)元，激活函數(shù)為tanh，用來得到模型的最終輸出值。

3 模型評估

模型評估是在測試集上對模型進(jìn)行性能評估的過程。對于時間序列預(yù)測任務(wù)，通常使用以下統(tǒng)計(jì)指標(biāo)評估模型的性能[7]：平均絕對誤差（Mean Absolute Error，MAE），均方誤差（Mean Squared Error，MSE）和決定系數(shù)（R2）。

MAE 是預(yù)測值與真實(shí)值之間的平均絕對誤差，它表示模型預(yù)測值與真實(shí)值之間的平均距離。MAE 計(jì)算公式如下：

MSE 是預(yù)測值與真實(shí)值之間的平均平方誤差，它表示模型預(yù)測值與真實(shí)值之間的平均偏差的平方。MSE 計(jì)算公式如下：

R2分?jǐn)?shù)是用于評估回歸模型擬合程度的指標(biāo)，取值范圍在0 到1 之間，其中1 表示回歸模型完美擬合所有數(shù)據(jù)，0 表示回歸模型無法解釋目標(biāo)變量的方差。R2計(jì)算公式如下：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 模型訓(xùn)練Epoch 的選定 Epoch 指使用訓(xùn)練集的全部樣本對模型訓(xùn)練一次的過程。采用控制變量法逐步調(diào)整Epoch 次數(shù)，測試Epoch 取值對模型預(yù)報效果的影響。以MAE 為標(biāo)準(zhǔn)，實(shí)驗(yàn)結(jié)果顯示，MAE 隨著Epoch 次數(shù)的增加先減少后增加，當(dāng)Epoch 取20 時MAE 達(dá)到極小值，其它指標(biāo)也顯示出了類似的規(guī)律。因此，基于模型預(yù)報效果和計(jì)算成本的考慮，本次試驗(yàn)選擇20 作為模型最終的Epoch 參數(shù)。詳見表1。

表1 Epoch 次數(shù)對預(yù)報效果的影響

4.2 時間窗口的選定 較長的時間窗口可以捕捉到更長期的時間依賴關(guān)系，但也會增加模型的復(fù)雜度和計(jì)算成本；而較短的時間窗口可能會限制模型的數(shù)據(jù)挖掘能力。不同類型的數(shù)據(jù)也具有不同的規(guī)律，例如周期性，故時間窗口的大小對不同類型數(shù)據(jù)的預(yù)測效果影響也不同。通過調(diào)整時間窗口的大小，來觀察模型性能的變化，進(jìn)而選定最合適的時間窗口。表2 顯示，隨著時間窗口的變大，模型的預(yù)報準(zhǔn)確性呈現(xiàn)先上升后下降的規(guī)律，在窗口大小取12 時模型的MAE，MSE 和R2達(dá)到極值分別為0.015 44，0.000 78 和0.935 33。

表2 時間窗口大小對模型的影響

4.3 模型預(yù)報性能 為驗(yàn)證本研究提出的深度學(xué)習(xí)組合模型CNN-BiLSTM-Attention 的預(yù)報性能，在測試集上對照PM2.5濃度的監(jiān)測值，對其預(yù)報效果進(jìn)行評估。圖2 顯示，組合模型可以準(zhǔn)確地學(xué)習(xí)污染物濃度的變化規(guī)律并做出預(yù)測，預(yù)測結(jié)果不僅能反映污染物的變化趨勢，而且對極值的預(yù)報也較為準(zhǔn)確，僅在個別極值點(diǎn)上預(yù)報值略低于實(shí)際值。

圖2 CNN-BiLSTM-Attention 預(yù)報結(jié)果

此外， 在測試集上將提出的組合模型CNN-BiLSTM-Attention 與基準(zhǔn)模型LSTM進(jìn)行了詳細(xì)的對比，以驗(yàn)證模型的性能變化。表3 顯示，相比于LSTM，使用BiLSTM并結(jié)合CNN，以及引入Attention 機(jī)制建立組合模型可以有效提升模型預(yù)報性能。通過對測試集上預(yù)報結(jié)果MAE，MSE 和R2的比較，LSTM的三種統(tǒng)計(jì)指標(biāo)分別為0.091 49，0.017 33 和0.952 74，CNNBiLSTM-Attention 的三種指標(biāo)分別為0.017 93，0.001 00 和0.955 35，后者比前者各項(xiàng)均有提升，分別提升了80%，94%和0.3%。

表3 LSTM與CNN-BiLSTM-Attention 預(yù)報效果對比

5 結(jié)論

本研究引入多種深度學(xué)習(xí)方法，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN），雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）和注意力機(jī)制（Attention）， 建 立 了 深 度 學(xué) 習(xí) 組 合 模 型CNN-BiLSTM-Attention。針對北京市PM2.5小時濃度開展了預(yù)報，并基于三種統(tǒng)計(jì)指標(biāo)和基準(zhǔn)模型對實(shí)驗(yàn)結(jié)果進(jìn)行了分析，進(jìn)而評估模型的預(yù)報性能。

實(shí)驗(yàn)結(jié)果表明：對于深度學(xué)習(xí)模型Epoch、時間窗口等超參數(shù)的調(diào)節(jié)可以有效提高模型性能；提出的深度學(xué)習(xí)組合模型CNN-BiLSTM-Attention，結(jié)合了CNN 特征提取和緩解模型過擬合問題的優(yōu)勢、BiLSTM準(zhǔn)確捕捉長時間序列信息中隱含特征的優(yōu)點(diǎn)以及Attention 機(jī)制可以根據(jù)輸入序列中不同位置重要性而賦予不同權(quán)重的能力，能夠?qū)M2.5的濃度變化進(jìn)行準(zhǔn)確預(yù)測；相對于基準(zhǔn)模型LSTM，CNN-BiLSTM-Attention 在MAE、MSE和R2指標(biāo)上有顯著提升，分別為80%、94%和0.3%。

在今后的工作中，將針對基于深度學(xué)習(xí)的污染預(yù)測問題，開展進(jìn)一步研究。例如：不斷引入更多先進(jìn)的深度學(xué)習(xí)算法，通過對比實(shí)驗(yàn)驗(yàn)證不同深度學(xué)習(xí)算法的效果和適用性；開展集合預(yù)報，同時建立多個不同預(yù)報模型并對預(yù)報結(jié)果進(jìn)行融合，進(jìn)一步提高預(yù)報結(jié)果的準(zhǔn)確性和穩(wěn)定性。