樊建升，吳海濱，劉澤軍

（1.山西焦煤能源集團股份有限公司，太原 030006；2.山西大學(xué)資源與環(huán)境工程研究所，太原 030006；3.古交西山發(fā)電有限公司，太原 030020）

現(xiàn)階段，我國形成了以火電機組供電為主，新能源發(fā)電為輔的多元化新型能源結(jié)構(gòu)[1]。受新能源裝機容量的持續(xù)增加和用電負(fù)荷的間斷性影響，電網(wǎng)發(fā)供電實時平衡主要依靠燃煤電廠進行調(diào)節(jié)，燃煤機組的負(fù)荷變化區(qū)間進一步增大，變化速率要求不斷提高。為保證機組運行的安全性和經(jīng)濟性，需要探索機組負(fù)荷和多變量之間的演化關(guān)系，建立實時精確的機組負(fù)荷預(yù)測模型[2]，以供工作人員參考負(fù)荷變化并及時調(diào)參。經(jīng)典預(yù)測方法如指數(shù)平滑、回歸分析和時間序列等，通常要求負(fù)荷數(shù)據(jù)具有良好的規(guī)律性，得到的預(yù)測模型簡單[3]，無法適應(yīng)現(xiàn)階段機組負(fù)荷數(shù)據(jù)復(fù)雜多元、預(yù)測模型精度要求高的需求。

基于大量歷史數(shù)據(jù)，智能化方法越來越多地被應(yīng)用在機組負(fù)荷預(yù)測的研究中。神經(jīng)網(wǎng)絡(luò)建模作為一種數(shù)據(jù)驅(qū)動的自適應(yīng)方法，成為了主流的建模工具。前饋神經(jīng)網(wǎng)絡(luò)BP（back propagation neural network）、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（recurrent neural network）等已被廣泛應(yīng)用于機組負(fù)荷預(yù)測建模研究中[3-7]。然而，靜態(tài)BP無法利用時間序列信息的問題，造成了結(jié)構(gòu)性缺陷。RNN框架具有局部或者全局反饋連接，能夠以“時間”先后次序處理工業(yè)數(shù)據(jù)，從而擁有更優(yōu)越的動力學(xué)特性。但傳統(tǒng)RNN迭代學(xué)習(xí)中存在梯度下降和消失的缺陷[8]。ESN摒棄了RNN中迭代學(xué)習(xí)的網(wǎng)絡(luò)模型，只通過輸出權(quán)值以類似回歸方法求解，避免了上述缺陷。ESN應(yīng)用于多種負(fù)荷預(yù)測，提高了預(yù)測精度[9-10]。

在真實工廠環(huán)境中，工程人員為了準(zhǔn)確預(yù)估負(fù)荷的變化，通常更為關(guān)注相關(guān)變量和負(fù)荷本身的演化曲線，而不是單一數(shù)值。此行為的本質(zhì)是，利用趨勢和數(shù)值信息的互補依賴關(guān)系進行工況推論，來挖掘過程知識的潛在價值。在工業(yè)過程運行數(shù)據(jù)中，關(guān)鍵過程變量的趨勢描述了數(shù)值隨時間增長、變化的關(guān)系，體現(xiàn)了運行狀況的變化趨向和速度，因此，數(shù)值信息和趨勢信息對于預(yù)估過程運行狀態(tài)都具有重要作用。綜上，已存在的網(wǎng)絡(luò)模型都是單一利用原始數(shù)據(jù)進行負(fù)荷預(yù)測，無法感知深層次的過程動態(tài)知識，從而影響整體框架的預(yù)測性能。

鑒于此，本文提出一種融合時間序列趨勢的Dual-ESN機組負(fù)荷預(yù)測模型。該框架首先引入最小二乘法對有關(guān)的多元歷史數(shù)據(jù)進行局部的線性段擬合，按照單位時間跨度劃分為相應(yīng)的斜率趨勢序列。其次，原有的數(shù)值和趨勢序列并行送入兩個儲備池結(jié)構(gòu)中，形成高維空間向量。進一步，所有的高維向量融合進入偽逆解的回歸層實現(xiàn)聯(lián)合預(yù)測。此模型致力于捕獲原有數(shù)值和潛在趨勢之間的交互依賴關(guān)系，以融合學(xué)習(xí)的模式實現(xiàn)機組負(fù)荷的高精度預(yù)測。最后，基于山西某工廠660 MW機組正常運行工況下的數(shù)據(jù)集進行方法驗證。結(jié)果表明，Dual-ESN所提出的框架存在更廣闊的感知范圍，可以適應(yīng)復(fù)雜系統(tǒng)相對的動態(tài)變化，具有卓越的預(yù)測性能。

1 回聲狀態(tài)網(wǎng)絡(luò)和多元時間序列

1.1 經(jīng)典網(wǎng)絡(luò)框架

相較于傳統(tǒng)的RNN結(jié)構(gòu)，ESN不同之處在于利用了稀疏連接的儲備池結(jié)構(gòu)代替?zhèn)鹘y(tǒng)的隱含層，其內(nèi)部復(fù)雜的狀態(tài)空間是對非線性時間序列潛在特性的表征。圖1展示了ESN的連接結(jié)構(gòu)，固有連接采用實線箭頭描述，虛線箭頭表示可以選擇有或者無，整體工作流程解析如下。

圖1 ESN結(jié)構(gòu)Fig.1 Structure of ESN

首先，設(shè)定左邊輸入層、中間儲備池和右邊輸出層分別存在M、N、L個神經(jīng)元模型。在t時刻，網(wǎng)絡(luò)對應(yīng)輸入為U(t)，儲備池對應(yīng)輸入為X(t)，輸出為y(t)。

其次，初始化所有網(wǎng)絡(luò)權(quán)值矩陣。其中Win∈?N×M為輸入層與隱含層的連接權(quán)值向量；Wres∈?N×N為儲備池狀態(tài)更新的自連接權(quán)值向量；Wout∈?L×(N+M)為儲備池與輸出層的連接權(quán)值向量，此外內(nèi)部還可能存在輸出層對儲備池的影響權(quán)值向量Wback∈?N×L。

隨著序列數(shù)據(jù)的時間推進，儲備池狀態(tài)更新為

其中，Win和Wback通過多次隨機計算得出，并在整個工作過程中保持不變。儲備池中神經(jīng)元的激活函數(shù)F(·)一般使用tanh或sigmoid進行嵌入。而在輸出層的活性函數(shù)Fout可以是線性函數(shù)或者其他，最終可得ESN的輸出狀態(tài)方程為

ESN可以被視為將數(shù)據(jù)于低維向高維進行空間映射，而后進行特征交互推演，在利用Wout得到預(yù)測輸出。依賴類線性回歸問題的解決思路，將輸出與目標(biāo)值的差距最小化可以計算得出Wout矩陣。此外譜半徑SR歸為（0，1）是回聲狀態(tài)網(wǎng)絡(luò)穩(wěn)定運行的必要條件，其目的是保正儲備池架構(gòu)的具體完備的回聲特性，對應(yīng)了連接權(quán)矩陣Wres最大特征值的絕對值。

由于ESN訓(xùn)練過程相對簡潔，相關(guān)隨機權(quán)值基于任務(wù)數(shù)據(jù)環(huán)境的改變而隨之變化，最優(yōu)的超參數(shù)需要多次經(jīng)驗測試才可確認(rèn)。重要超參數(shù)包括譜半徑、儲備池中神經(jīng)元個數(shù)、嶺回歸系數(shù)等[11]。由于回聲狀態(tài)網(wǎng)絡(luò)特有的稀疏特性，其網(wǎng)絡(luò)規(guī)模要比一般的網(wǎng)絡(luò)大很多，儲備池中其連接作用的神經(jīng)元個數(shù)表征了整體網(wǎng)絡(luò)的計算復(fù)雜程度。此外，工業(yè)時間序列的潛在特征變化可以用輸出層權(quán)值的變化描述，也被視為短期記憶能力，越小則適用于相對穩(wěn)定的工業(yè)數(shù)據(jù)環(huán)境，反之則可用于頻繁變化的系統(tǒng)模型。

1.2 多元時間序列

過程運行數(shù)據(jù)主要以離散數(shù)值的形式被保存，這種數(shù)據(jù)本身只揭示了淺層且抽象的信息，例如，負(fù)荷450 MW，數(shù)值本身缺乏一定的實際意義。而時間序列的局部趨勢涵蓋了過程數(shù)據(jù)的動態(tài)信息，可以被視為數(shù)值變化的空間行為狀態(tài)，即時間序列的向上或向下模式，如圖2所示，其常見表征方式是斜率和持續(xù)時間[12]。但是實際生產(chǎn)運行中產(chǎn)生的大多是非線性動態(tài)的序列數(shù)據(jù)，無法利用斜率進行準(zhǔn)確擬合?；诖?，引入了最小二乘法[13]，以直代曲的微積分思想實現(xiàn)趨勢提取。

圖2 機組負(fù)荷趨勢序列辨識Fig.2 Unit load trend sequence identification

在上述理論的支持下，可以獲得多元時間序列的局部趨勢，在圖2中，展示了真實負(fù)荷數(shù)據(jù)點上的線性端擬合結(jié)果，可以清晰地看到變量指標(biāo)整體的演化走向。此趨勢模式也必然影響了未來的變化程度。由此，多元趨勢序列可以表征為一個二元信息組〈duration，slope〉。

2 融合時間序列趨勢的dual-ESN機組負(fù)荷預(yù)測模型

受到工程師觀測演化曲線推論未知工況的啟發(fā)，斜率趨勢和原有的數(shù)值被并行輸入Dual-ESN框架以實現(xiàn)融合學(xué)習(xí)。此操作模式最大化地利用了相關(guān)聯(lián)多元時間序列的過程動態(tài)信息，以提升機組負(fù)荷預(yù)測模型的性能。圖3展示了Dual-ESN預(yù)測模型樣例，其采用了典型的3層結(jié)構(gòu)，即輸入層、隱含層和輸出層。首先，對工作原理進行闡述。擬定當(dāng)前處于t時刻，網(wǎng)絡(luò)的輸入信號可以表示為

圖3 Dual-ESN預(yù)測模型Fig.3 Dual-ESN prediction model

式中：vm(t)和sm(t)分別為t時刻的具體數(shù)值和趨勢信息；m為輸入的多元變量維度；Uv(t)和Us(t)分別為時間跨度內(nèi)對應(yīng)的輸入向量；nv和ns為兩者嵌入的時間跨度。由于在提取局部信息的斜率趨勢時，已經(jīng)進行了時間跨度融合。故在相同的計算復(fù)雜度底層結(jié)構(gòu)中，nv＞ns代表的感知視野。

相應(yīng)地，儲備池的狀態(tài)向量X(t)描述為

式中：Xv(t)和Xs(t)分別為數(shù)值和趨勢信息對應(yīng)儲備池的狀態(tài)向量；R和E分別為2個儲備池中的神經(jīng)元數(shù)量。以預(yù)測步長為k步的任務(wù)為例，模型的輸出可以表示為

在上述設(shè)定下，儲備池狀態(tài)在t+1時刻的更新過程為

式中：I為單位矩陣；ρ為正則項系數(shù)；Q和T分別為在訓(xùn)練樣本下的儲備池狀態(tài)矩陣和目標(biāo)教師信號。此外，Dual-ESN不需要迭代訓(xùn)練，學(xué)習(xí)過程簡單易行，從而不會面臨梯度消失和爆炸的問題，而且時間消耗遠(yuǎn)小于經(jīng)典的RNN框架，保持了負(fù)荷時序預(yù)測需求的實時性。

總結(jié)上述工作原理，得到本文提出的機組負(fù)荷預(yù)測方法流程，如圖4所示。

圖4 流程圖Fig.4 Flow chart

主要包含以下步驟：

步驟1從DCS或者霍尼韋爾的PHD數(shù)據(jù)庫導(dǎo)出和機組負(fù)荷有關(guān)的多元歷史數(shù)據(jù)，利用灰關(guān)聯(lián)算法[14-15]和機組負(fù)荷動態(tài)過程知識進行多元變量的篩選，以排除相對的無關(guān)變量，從而提高工作效率。所使用灰關(guān)聯(lián)算法其核心理論為根據(jù)曲線間相似程度來判斷變量間的關(guān)聯(lián)程度，因此廣泛用于非線性系統(tǒng)的變量相關(guān)性分析。

步驟2對篩選后的數(shù)據(jù)進行預(yù)處理和歸一化操作，完成數(shù)據(jù)準(zhǔn)備，有

步驟3基于最小二乘法對預(yù)備的多元時間序列進行局部趨勢識別，憑借設(shè)定的時間跨度獲得工業(yè)過程變化的趨勢序列。

步驟4根據(jù)實際的工程預(yù)測任務(wù)，選擇契合的網(wǎng)絡(luò)超參數(shù)，建立相適應(yīng)的Dual-ESN模型。

步驟5并行輸入趨勢和數(shù)值序列，擬合預(yù)測目標(biāo)完成模型訓(xùn)練。

步驟6對完備的Dual-ESN框架用于在線的時間序列預(yù)測，將預(yù)測輸出反歸一化可得出真實的工業(yè)數(shù)據(jù)。

3 實例研究

以太原某火電廠的5#660 MW超超臨界機組[15]為研究對象，進行機組負(fù)荷預(yù)測。該廠采用了超超臨界、三缸四排汽、一次中間再熱、單軸、直接空冷凝汽式汽輪機。其回?zé)嵯到y(tǒng)包含1臺除氧器、4臺低壓加熱器和3臺高壓加熱器。其運行過程如下：首先，通過鍋爐給水、煤和風(fēng)，燃燒后產(chǎn)生蒸汽；然后，將蒸汽送往汽輪機，在汽輪機中調(diào)節(jié)閥門開關(guān)度，帶動發(fā)電機運轉(zhuǎn)，獲得所需的發(fā)電量，即機組負(fù)荷。圖5所示為機組負(fù)荷的主要過程變量工藝。本文中選用的主要過程變量見表1。

表1 機組負(fù)荷的主要過程變量Tab.1 Main process variables of unit load

圖5 機組負(fù)荷主要過程變量工藝Fig.5 Process of main process variables of unit load

選擇該電廠5#機組在2021年冬季無檢修、無故障停運的負(fù)荷數(shù)據(jù)，從歷史數(shù)據(jù)庫中導(dǎo)出相應(yīng)多元時間序列，按照每分鐘為采樣節(jié)點收集10 000組樣本作為實驗數(shù)據(jù)，并按照6∶2∶2分為訓(xùn)練集、驗證集和測試集。在此工業(yè)背景下，將ESN、Multilayer Perceptron（MLP）、Dual-MLP和所提出Dual-ESN完成對比實驗，以驗證模型有效性。

3.1 實驗環(huán)境和評價指標(biāo)設(shè)置

實驗是在一臺配備英特爾i7-7700中央處理器（3.50 GHz）和8.0 GB內(nèi)存的個人電腦上進行的。Dual-ESN和其他神經(jīng)網(wǎng)絡(luò)算法都是基于Python 3.6.4和Keras環(huán)境下所搭建的。

通過2個常用于評估時序預(yù)測的指標(biāo)，即均方根誤差RMSE（root mean square error）和平均絕對誤差MAE（mean absolute error），對機組負(fù)荷預(yù)測模型進行分析。兩誤差表示為

式中：yi為機組負(fù)荷實際輸出值；為模型預(yù)測值；n為數(shù)據(jù)個數(shù)。在輸入數(shù)據(jù)相同的情況下，對每個模型進行20次測試，取其平均值作為最終的預(yù)測誤差。

3.2 時間序列趨勢提取

首先依據(jù)灰關(guān)聯(lián)算法得到所涉及變量的關(guān)聯(lián)影響程度，相應(yīng)的關(guān)聯(lián)度熱力分析如圖6所示。

圖6 主要過程變量之間的灰色關(guān)聯(lián)分析Fig.6 Grey correlation analysis between main process variables

從中可以清晰地看出，機組負(fù)荷（UL50）分別與機前壓力（P501）、凝結(jié)水流量（F501）、鍋爐給水流量（F502）產(chǎn)生的灰關(guān)聯(lián)度都在0.9以上，交互關(guān)系更為緊密。選擇上述3個變量與機組負(fù)荷本身的歷史數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)模型的輸入，執(zhí)行符合實際需求的機組負(fù)荷短期預(yù)測。進一步，引入最小二乘算法對4個輸入變量的歷史時間序列進行趨勢提取，結(jié)果如圖7所示。

圖7 過程變量的趨勢序列辨識Fig.7 Trend sequence identification of process variables

設(shè)定固定的時間跨度，可以得到關(guān)于斜率的時間序列，可以從圖7中的趨勢走向推斷下一時刻的工況狀態(tài)，為精確地負(fù)荷預(yù)測提供了過程信息支持。此外，每一個線性段的趨勢可以視作更多采樣時間點的共生的潛在特征，如果在底層框架輸入于預(yù)測模型，可以在不增加計算負(fù)擔(dān)的情況下，提升Dual-ESN對于數(shù)據(jù)知識獲取的感知范圍。

3.3 實驗對比

憑借Dual-ESN在訓(xùn)練集和驗證集的表現(xiàn)，根據(jù)經(jīng)驗試錯法選擇網(wǎng)絡(luò)的超參數(shù)，其中2個儲備池規(guī)模都設(shè)置為300，權(quán)值矩陣Win在（-0.5，0.5）上隨機分布采樣，Wres的譜半徑設(shè)為0.86。

選取機組不同運行時間內(nèi)的機組負(fù)荷數(shù)據(jù)，以30個采樣點為一組測試集，對比ESN和Dual-ESN在機組負(fù)荷測試集上的預(yù)測分布和殘差估計。圖8和圖9分別展示了不同運行時間內(nèi)的負(fù)荷預(yù)測分布和殘差結(jié)果。從中可以明顯地看出，Dual-ESN在多個時間階段中都具有優(yōu)越性。為了全面地分析趨勢嵌入對預(yù)測性能的提升，額外補充了MLP和Dual-MLP的對比實驗。其中，Dual-MLP為2個并行的前饋網(wǎng)絡(luò)模型，同Dual-ESN類似，分別嵌入趨勢和數(shù)值信息于終端進行特征融合。

圖8 ESN和Dual-ESN對于機組負(fù)荷的預(yù)測結(jié)果Fig.8 Prediction results of unit load by ESN and Dual-ESN

圖9 ESN和Dual-ESN對于機組負(fù)荷的預(yù)測殘差Fig.9 ESN and Dual-ESN prediction residuals for unit load

表2給出了所有模型的RMSE和MAE指標(biāo)情況和訓(xùn)練時間。MLP利用了迭代學(xué)習(xí)的BP算法，但其靜態(tài)的結(jié)構(gòu)使得計算花銷很低，和非迭代學(xué)習(xí)的ESN模型差距較小，相應(yīng)的訓(xùn)練時間為30.6 s和21.2 s。根據(jù)RMSE指標(biāo)分析，由于MLP無法利用時間序列“順序”的重要信息，因此和ESN模型有的性能較大差距，結(jié)果分別為12.483 MW和7.832 MW，這對于工業(yè)的實際判斷性操作參考的影響是非常巨大的。此外，值得注意的是，趨勢信息的并行輸入對于MLP網(wǎng)絡(luò)同樣有性能提升，在表2中，傳統(tǒng)ESN的相應(yīng)誤差指標(biāo)為7.832 MW和6.571 MW，相較于Dual-MLP的誤差9.584 MW和7.562 MW，展現(xiàn)了一定的優(yōu)勢。在一定程度上可以說明，所提出的理論在不斷更新的深度學(xué)習(xí)模型中具備推廣意義，但是要注意各自模型的缺陷，以免限制了底層數(shù)據(jù)質(zhì)量的利用。Dual-ESN模型相應(yīng)的誤差為5.957 MW和4.624 MW，具有全面的性能優(yōu)勢。在另一方面，Dual-ESN的相對的訓(xùn)練時間只有27.8 s，相對于Dual-MLP的44.5 s有明顯的區(qū)分，這一差距在多層網(wǎng)絡(luò)中還會加深。因此，在Dual-ESN預(yù)測模型對復(fù)雜工業(yè)特征保持較高的學(xué)習(xí)速率同時，實現(xiàn)了機組負(fù)荷的精確預(yù)測。

表2 不同模型對于機組負(fù)荷的預(yù)測精度Tab.2 Prediction accuracy of different models for unit load

4 結(jié)語

本文提出了一種融合時間序列趨勢的Dual-ESN機組負(fù)荷預(yù)測模型。通過太原某工廠實例數(shù)據(jù)證明了所提出的模型具有如下優(yōu)勢：

（1）引入了最小二乘法對于影響機組負(fù)荷的多元時間序列進行趨勢識別，充分提取了相關(guān)因素的潛在特征，獲得了相應(yīng)的過程趨勢信息；

（2）通過嵌入多元趨勢和原有數(shù)值信息，建立了完備的Dual-ESN模型，利用了預(yù)測目標(biāo)對于當(dāng)前趨勢的依賴關(guān)系，實現(xiàn)了更高質(zhì)量的特征傳遞；

（3）與傳統(tǒng)的ESN、MLP以及擬定的Dual-MLP機組負(fù)荷預(yù)測模型相比，本文所提方法進行了趨勢信息填充，能提供更長（寬）的歷史數(shù)據(jù)信息，因而可以感知更寬廣的歷史視野，預(yù)測性能更為卓越。