蘇盈盈， 張氣皓， 羅妤， 周昊， 何亞平， 閻壘

重慶科技學院 電氣工程學院，重慶 401331

從環(huán)境保護的角度考慮,垃圾焚燒廠需要建立一個能夠反映鍋爐燃燒變量和排放尾氣NOx濃度之間關系的模型,以便能夠快速響應對NOx尾氣的控制.NOx是垃圾焚燒發(fā)電廠的主要排放物之一,對環(huán)境和人類健康有害[1].人們已經(jīng)考慮采用不同的技術來減少NOx的排放,例如低NOx燃燒技術[2]、選擇性催化還原(Selective Catalytic Reduction,SCR)和非催化還原(Selective Non-Catalytic Reduction,SNCR)技術[3-4]．

隨著機器學習的不斷發(fā)展,許多研究者開始利用神經(jīng)網(wǎng)絡(Artificial Neural Network,ANN)[5]對NOx濃度進行建模和預測.其中,文獻[6]引入了一個具有外部輸入神經(jīng)網(wǎng)絡的非線性自回歸模型,以建立一個動態(tài)模型來預測NOx的排放.文獻[7]使用人工神經(jīng)網(wǎng)絡開發(fā)了一個預測210MW煤粉鍋爐滿負荷條件下NOx排放的模型,并發(fā)現(xiàn)所提出的方法可用于生成可行的運行條件.除了人工神經(jīng)網(wǎng)絡,支持向量機(Support Vector Machine,SVM)[8-9]和極限學習機(Extreme Learning Machine,ELM)[10-11]也被引入用以模擬燃煤電廠NOx的排放.這些預測模型和方法都是在原有模型上進行的改進,雖然預測精度有所提高,但是同時也帶來了更大的時間開銷．

由于淺層網(wǎng)絡模型的泛化能力不強,不能很好地適用于多種對象,因此,通過加深網(wǎng)絡深度可優(yōu)化淺層網(wǎng)絡模型.文獻[12-13]建立了最小二乘支持向量機LS-SVM預測模型,實現(xiàn)排放量等多種參數(shù)的軟測量,隨后將建立的模型與BP(Back Propagation,BP)神經(jīng)網(wǎng)絡模型進行對比,結果表明基于最小二乘支持向量機的網(wǎng)絡模型的預測結果和運行速度均優(yōu)于BP神經(jīng)網(wǎng)絡模型.文獻[14]采用風驅動算法和基于混沌分組教與學算法優(yōu)化極端學習機的NOx模型,通過參數(shù)調整及模型優(yōu)化方法對NOx的預測提供了指導.文獻[15]采用混沌分組教與學優(yōu)化算法對NOx的預測建模,該模型具有較好的辨識與泛化能力,可以為解決工程實際問題提供思路.文獻[16]在超臨界機組的基礎上,提出了一種改進的差分量子粒子群(Differential Evolution Quantum Particle Swarm Optimization,DEQPSO)算法,將其與極限學習機ELM相結合從而達到對NOx的排放預測.文獻[17]提出了一種改進的最優(yōu)覓食算法,并用該算法對鍋爐NOx的排放特性進行建模.然而,上述運用傳統(tǒng)的方式搭建的神經(jīng)網(wǎng)絡注重于數(shù)據(jù)的內部時序特征,卻忽略了數(shù)據(jù)內部的空間特征聯(lián)系,導致其模型對NOx的濃度預測精度低．

為了提高模型預測精度,本研究提出了一種基于自動編碼器(AE)和長短期記憶神經(jīng)網(wǎng)絡(LSTM)的預測模型.首先,對原始數(shù)據(jù)進行標準化處理,剔除掉數(shù)據(jù)的異常值和缺失值; 然后,使用AE自動編碼器來提取數(shù)據(jù)深層次的多維信息特征; 最后,將標準化后得到的數(shù)據(jù)輸入LSTM網(wǎng)絡中進行建模,并優(yōu)化網(wǎng)絡參數(shù),建立基于AE-LSTM的NOx濃度預測模型.最終,以重慶市某垃圾焚燒廠某鍋爐的燃燒數(shù)據(jù)作為研究對象來驗證該預測模型的準確性．

1 LSTM網(wǎng)絡模型

長短期記憶(Long Short Term Memory,LSTM)網(wǎng)絡是一種具有記憶機制的神經(jīng)網(wǎng)絡,可以處理不同時間步的序列長度,以及能夠學習到時間序列的關系等特點,因此可以非常有效地進行時間序列的建模．

LSTM與循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)最主要的不同就是LSTM有多個門控機制,如圖1所示的LSTM細胞圖結構,其中,紅色圓圈代表Sigmoid函數(shù),藍色圓圈代表Tanh 函數(shù),輸入門可以控制數(shù)據(jù)信息通過該門進入到LSTM細胞中; 遺忘門可以決定LSTM細胞對數(shù)據(jù)的遺忘程度,即保留或者丟棄數(shù)據(jù)信息; 輸出門則控制LSTM細胞的輸出．

圖1 LSTM細胞結構

為了獲得這2個值,第一,需要計算3個門的狀態(tài)和單元輸入的狀態(tài):

1) 輸入門Input gate

(1)

(2)

2) 遺忘門Forget gate

遺忘門決定應丟棄或保留“哪些信息”．

(3)

其中,ft為0～1之間的數(shù),ht-1為上一單元的輸出,xt為當前時刻的輸入．

3) 輸出門Output gate

(4)

第二,計算單元的輸出狀態(tài):

(5)

第三,計算隱藏層的輸出:

ht=ot·tanh(Ct)

(6)

單元的輸出定義為

(7)

其中,W2是2個元素之間的權重,b為輸入層和輸出層的偏置．

LSTM網(wǎng)絡模型如圖2所示,包含輸入層、2個隱含LSTM層、2個Dropout層和一個Dense全連接層,共6個部分組成.該模型是用于NOx數(shù)據(jù)處理的,數(shù)據(jù)首先經(jīng)過輸入層后進入第一層隱含LSTM層,LSTM單元計算處理后得到輸出狀態(tài)和隱藏狀態(tài).為了避免過擬合,經(jīng)過一個Dropout層進行正則化處理后,數(shù)據(jù)再次輸入到第二層隱含LSTM層,得到新的輸出狀態(tài)和隱藏狀態(tài).在這之后,數(shù)據(jù)再經(jīng)過一個Dropout層進行正則化處理,以進一步減少過擬合.最后,正則化后的數(shù)據(jù)輸入到Dense全連接層,計算預測值,并輸出NOx濃度的預測結果．

圖2 LSTM 網(wǎng)絡模型結構

2 AE-LSTM混合神經(jīng)網(wǎng)絡模型

2.1 AE-LSTM網(wǎng)絡結構

自動編碼器(Autoencoder,AE)是一種網(wǎng)絡模型,對于神經(jīng)網(wǎng)絡的發(fā)展起到了促進作用,尤其在對高維復雜數(shù)據(jù)的特征提取方面具有重要作用.自動編碼器的網(wǎng)絡結構圖如圖3所示.它是一種單隱含層的無監(jiān)督學習模型,自動編碼器通過對內在特征的不斷持續(xù)學習,對輸入層和輸出層進行誤差計算,使得兩者之間的誤差盡可能小,從而得到高維數(shù)據(jù)的特征輸出.這個過程起到了數(shù)據(jù)降維的作用,其作用類似于主成分分析法、因子分析法等.與傳統(tǒng)的數(shù)據(jù)降維方法相比,自動編碼器能夠更有效地提取新特征．

圖3 自動編碼器結構圖

h=S(W·x+b)

(8)

其中,h為自動編碼器的編碼函數(shù)輸出,也稱之為隱含層的特征變量,S為自動編碼器編碼過程的激活函數(shù),一般使用Sigmoid函數(shù),W為輸入層到隱含層的網(wǎng)絡連接權重,b為網(wǎng)絡偏置.通過解碼過程得到輸出層數(shù)據(jù),再通過解碼與編碼的過程重構原始數(shù)據(jù),保留原始數(shù)據(jù)中的重要特征.解碼過程為

x′=S(WT·h+b′)

(9)

其中,x′為解碼器的重構信息,S為自動編碼器解碼過程的激活函數(shù),該激活函數(shù)使用Sigmoid函數(shù),WT為隱含層到輸出層的網(wǎng)絡連接權重,b′為網(wǎng)絡偏置．

趨勢二：京津同城化將成為更加有效地推進京津冀協(xié)同發(fā)展，進而建立環(huán)渤海協(xié)同發(fā)展新機制的重大戰(zhàn)略支點。以北京、天津為中心更加強調京津聯(lián)動，加快實現(xiàn)京津同城化發(fā)展。同城化是區(qū)域經(jīng)濟一體化和城市群建設過程中的一個重要階段，是區(qū)域城市間經(jīng)濟和社會發(fā)展到一定程度的必然趨勢。推動京津同城化，關鍵是要實現(xiàn)京津基礎設施一體化、產(chǎn)業(yè)發(fā)展一體化、市場一體化、公共服務一體化、資源配置一體化等，共同發(fā)揮高端引領和輻射帶動作用，成為推動京津冀協(xié)同發(fā)展，建立環(huán)渤海協(xié)同發(fā)展新機制的重大戰(zhàn)略支點。

經(jīng)過自動編碼器的編碼和解碼過程后,輸入數(shù)據(jù)x映射為隱含層的特征h,再將特征h重構后輸出為x′.為了確保最后的輸出特征能夠有效地代表原始數(shù)據(jù),保留有原始數(shù)據(jù)的大部分信息,所以需要計算輸入數(shù)據(jù)和輸出數(shù)據(jù)的誤差,對于自動編碼器的誤差損失函數(shù)通常為均方誤差,公式如下:

(10)

自動編碼器能夠自動將高維數(shù)據(jù)特征提取至低維數(shù)據(jù)特征,同時還能保留原始數(shù)據(jù)的大量信息,保證數(shù)據(jù)的有效性不受破壞.這些低維數(shù)據(jù)特征可以被輸入到LSTM神經(jīng)網(wǎng)絡中,LSTM網(wǎng)絡通過不斷學習權重參數(shù)來獲得收斂,降低網(wǎng)絡的預測復雜性,從而提高了預測的性能.AE-LSTM神經(jīng)網(wǎng)絡的結構如圖4所示,該網(wǎng)絡結構由兩部分組成,第一部分是自動編碼器,利用自動編碼器將輸入數(shù)據(jù)的高階特征轉換為低階特征,并保留原始數(shù)據(jù)的信息.第二部分是LSTM神經(jīng)網(wǎng)絡,該部分將自動編碼器輸出的低階有效數(shù)據(jù)輸入到網(wǎng)絡中,并對NOx進行預測,從而得到預測值．

圖4 AE-LSTM 模型結構圖

2.2 AE-LSTM模型預測設計框架

AE-LSTM模型的預測過程如圖5所示.首先,預處理好的數(shù)據(jù)集被劃分為訓練集和測試集.訓練集用于訓練模型的內部參數(shù),得到收斂的預測模型,而測試集用于監(jiān)測模型的預測性能.具體而言,原始數(shù)據(jù)首先輸入自動編碼器中,通過自動編碼器的編碼和解碼過程得到低維度數(shù)據(jù)特征,然后將此數(shù)據(jù)輸入LSTM網(wǎng)絡中,經(jīng)過LSTM網(wǎng)絡的學習和調整,得到收斂的AE-LSTM網(wǎng)絡.最后,將訓練好的模型用于測試集上,得到預測值和真實值,并使用準確率和誤差等指標來評估模型的性能．

1) 將處理好的數(shù)據(jù)矩陣劃分成訓練集與測試集;

2) 將數(shù)據(jù)輸入AE中得到低維數(shù)據(jù)特征;

3) 確定AE-LSTM網(wǎng)絡的結構;

4) 計算網(wǎng)絡神經(jīng)元的LOSS;

6) 達到迭代次數(shù),網(wǎng)絡訓練結束,獲得收斂的AE-LSTM網(wǎng)絡;

7) 將測試集輸入收斂的網(wǎng)絡中,輸出預測值,并計算準確率和誤差,模型結束．

圖5 AE-LSTM 模型預測流程

3 基于AE-LSTM的NOx排放預測

3.1 研究對象

工業(yè)預測的有效性很大程度上取決于數(shù)據(jù)的質量,因此數(shù)據(jù)預處理工作非常重要.本文使用的變量相關數(shù)據(jù)集來自于重慶市某垃圾焚燒廠的鍋爐垃圾焚燒系統(tǒng),如下表1所示.通過數(shù)據(jù)挖掘技術對原始數(shù)據(jù)中的異常值、缺失值進行處理,再消除數(shù)據(jù)共線性,最后對數(shù)據(jù)進行標準化處理,這些操作可以獲得有效和可用的數(shù)據(jù),有利于提高預測模型的性能．

表1 某垃圾焚燒廠燃燒過程的各工況變量

3.2 數(shù)據(jù)異常值和缺失值的處理

根據(jù)數(shù)據(jù)缺失的機理,可以將缺失值分為以下3類: 完全缺失、隨機缺失和不完全缺失.通過對每個變量定義合理的取值范圍,檢查數(shù)據(jù)是否符合實際工況要求,并消除原始數(shù)據(jù)中的噪聲,可以提高原始數(shù)據(jù)的質量.在數(shù)據(jù)預處理中,本文使用了樣本均值來填充缺失鎮(zhèn),以提升數(shù)據(jù)的完整性.如表2為通過數(shù)學統(tǒng)計的方法來對數(shù)據(jù)進行的分析,分別計算每個變量的平均值、中位數(shù)、最大值、最小值、1stQu(25%值)和3stQu(75%值).另外,本文的數(shù)據(jù)集會用平均值對缺失值進行填充．

表2 數(shù)據(jù)的分析

3.3 數(shù)據(jù)共線性的消除與標準化

垃圾焚燒鍋爐中相關的工藝變量共89維,變量間存在普遍的相關關系即共線性會影響模型的運行,降低預測精度.為了提高NOx預測的精度,計算各變量的相關系數(shù),以消除共線性.通過反復測試,發(fā)現(xiàn)當刪除相關性系數(shù)大于0.9的數(shù)據(jù)后,能夠在線性范圍內消除數(shù)據(jù)之間的共線性,使得模型精度最佳.因此最終得到了56維的工藝變量．

標準化是一項重要技術,通常在許多機器學習模型之前作為預處理步驟執(zhí)行.本文的研究對象為垃圾焚燒NOx預測,采用Z-score標準化的方式對數(shù)據(jù)的量綱進行統(tǒng)一的去量綱處理,該處理方法對于模型的學習速度和訓練速度都有所提升.利用Python 軟件對現(xiàn)場采集的數(shù)據(jù)進行 Z-score 標準化處理,標準化后數(shù)據(jù)集中共有56×3612維數(shù)據(jù)．

4 實驗及結果分析

AE-LSTM的初始參數(shù)設置如表3所示,對于自動編碼器,主要由編碼層和解碼層兩部分組成,其中解碼層會將輸入的數(shù)據(jù)進行壓縮并提取特征,再對特征重新構造.由于自動編碼器具有成鏡像的對稱結構,所以通過實驗可得到最優(yōu)的自動編碼器結構,前面對原始數(shù)據(jù)預處理中得到56維變量,進而可以確定輸入層節(jié)點為56個.為了減少權重的相互依賴,使用 Sigmoid 函數(shù)作為激活函數(shù),損失函數(shù)使用均方誤差,優(yōu)化函數(shù)為 Adam 函數(shù)．

表3 AE-LSTM模型最優(yōu)參數(shù)

通過十折交叉檢驗,得到基于AE-LSTM的NOx平均預測準確率如表4、圖6和圖7所示,其中圖7為截取的圖6部分片斷以便觀察.表4展示了不同模型的平均預測準確率和RMSE指標,其中,AE-LSTM網(wǎng)絡的預測準確率為85.1%,高于CNN-LSTM網(wǎng)絡的預測準確率83.8%和LSTM網(wǎng)絡的預測準確率79.7%.AE-LSTM網(wǎng)絡的RMSE為0.705,低于CNN-LSTM 網(wǎng)絡的RMSE 0.725和LSTM網(wǎng)絡的RMSE 0.833.可見AE-LSTM在NOx預測方面表現(xiàn)最優(yōu)．

圖6 基于AE-LSTM 模型的NOx預測結果

圖7 截取的部分NOx預測效果

表4 AE-LSTM與LSTM、CNN-LSTM模型對比

5 結語

通過建立有效的NOx濃度預測模型,可以幫助垃圾焚燒廠提前做出規(guī)劃,減少NOx排放.本文提出了一種基于自動編碼器和長短期記憶神經(jīng)網(wǎng)絡的預測模型,針對垃圾焚燒NOx數(shù)據(jù)的空間特征,實現(xiàn)對長短期記憶神經(jīng)網(wǎng)絡的改進.長短期記憶神經(jīng)網(wǎng)絡主要關注數(shù)據(jù)的內部時序特征,而忽略了數(shù)據(jù)內部的空間特征聯(lián)系,引入自動編碼器可提升模型對數(shù)據(jù)內部的空間特征聯(lián)系和數(shù)據(jù)多維度特征的提取能力.本文以重慶市某垃圾焚燒廠鍋爐的燃燒數(shù)據(jù)為研究對象,首先利用LSTM網(wǎng)絡進行建模,并進行了網(wǎng)絡參數(shù)優(yōu)化,再使用自動編碼器對數(shù)據(jù)深層次多維信息特征進行提取,建立改進的AE-LSTM的NOx濃度預測模型.研究表明,相比LSTM模型,AE-LSTM模型在時序特征、空間特征強的數(shù)據(jù)集方面,表現(xiàn)出較好的預測精度和泛化能力.本文開展NOx濃度預測研究,有望為下一步如何調控工藝變量操作指標,優(yōu)化工藝參數(shù),達到NOx濃度減排目標奠定重要的理論依據(jù)．