陳 霖, 周 宇

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 南京 210016)

閥冷系統(tǒng)是換流閥的一個(gè)重要組成部分, 它將閥體上各元件的功耗發(fā)熱量排放到閥廳外, 保證晶閘管運(yùn)行結(jié)溫在正常范圍內(nèi). 閥冷系統(tǒng)運(yùn)行數(shù)據(jù)主要用于監(jiān)測(cè)采用水冷的換流閥的冷卻效果是否有效, 分為內(nèi)冷水系統(tǒng)和外冷水系統(tǒng). 其中冷卻水進(jìn)閥溫度是反映閥冷系統(tǒng)換熱性能的重要指標(biāo), 若換熱性能出現(xiàn)異常,將引起冷卻水進(jìn)閥溫度上升, 嚴(yán)重時(shí)將達(dá)到換流閥運(yùn)行允許溫度的最大值, 導(dǎo)致?lián)Q流閥強(qiáng)迫停運(yùn)事件的發(fā)生. 進(jìn)閥溫度都是以時(shí)間序列形式存儲(chǔ), 可以使用時(shí)序分析方法對(duì)其進(jìn)行預(yù)測(cè), 實(shí)現(xiàn)對(duì)設(shè)備異常運(yùn)行狀態(tài)的提前預(yù)警, 將有效提高閥冷系統(tǒng)內(nèi)設(shè)備運(yùn)行的安全性和可靠性.

時(shí)間序列預(yù)測(cè)在幫助人們進(jìn)行資源管理和科學(xué)決策的過(guò)程中扮演著非常重要的角色, 其目的在于研究如何根據(jù)歷史觀測(cè)數(shù)據(jù)對(duì)未來(lái)進(jìn)行準(zhǔn)確預(yù)測(cè). 經(jīng)典的時(shí)間序列預(yù)測(cè)模型通過(guò)給定最近一段時(shí)間的歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái). 常用的方法包括Box-Jenkins 方法[1]和ARIMA 模型[2]. 在實(shí)踐中, 預(yù)測(cè)問(wèn)題通常更為復(fù)雜, 例如, 輸入通常包含動(dòng)態(tài)歷史特征和長(zhǎng)期依賴, 輸入和輸出之間存在線性和非線性關(guān)系等. 然而, 傳統(tǒng)的自回歸方法[3–5]難以捕獲序列數(shù)據(jù)中存在的這些關(guān)系. 解決現(xiàn)有方法在時(shí)間序列預(yù)測(cè)中的這種局限性是本文的重點(diǎn).

最近, 深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在時(shí)間序列預(yù)測(cè)中得到了廣泛應(yīng)用, 常用于預(yù)測(cè)多個(gè)時(shí)間步以后的數(shù)據(jù), 預(yù)測(cè)的時(shí)間步越遠(yuǎn), 預(yù)測(cè)難度越大. 循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和它的變體長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)被提出用于對(duì)復(fù)雜序列數(shù)據(jù)建模, 例如自然語(yǔ)言[6], 聲音信號(hào)[7]和視頻信息[8]. LSTM 已經(jīng)被廣泛運(yùn)用在了預(yù)測(cè)任務(wù)中[9–11], 在捕獲動(dòng)態(tài)時(shí)間序列中的重復(fù)模式方面表現(xiàn)出強(qiáng)大的能力.對(duì)于大多數(shù)深度學(xué)習(xí)實(shí)踐者來(lái)說(shuō), 序列建模等同于循環(huán)神經(jīng)網(wǎng)絡(luò), 然而文獻(xiàn)[12]通過(guò)大量實(shí)驗(yàn)表明, 基于卷積架構(gòu)的時(shí)間卷積網(wǎng)絡(luò)(TCN)在多個(gè)序列建模任務(wù)上表現(xiàn)得比循環(huán)神經(jīng)網(wǎng)絡(luò)更好. TCN 由于其簡(jiǎn)單性和適用于長(zhǎng)時(shí)間序列的特點(diǎn)在時(shí)間序列建模任務(wù)上受到了廣泛關(guān)注[13,14]. 本文試圖將LSTM 和TCN 結(jié)合起來(lái)使用, 以綜合它們的優(yōu)勢(shì).

大多數(shù)神經(jīng)網(wǎng)絡(luò)模型沒(méi)能有效地將時(shí)間本身作為特征, 通常假設(shè)數(shù)據(jù)是同步的, 即按相等時(shí)間間隔采集.為了幫助神經(jīng)網(wǎng)絡(luò)更好地利用時(shí)間特征, 一些研究者針對(duì)特定問(wèn)題提出了手動(dòng)提取時(shí)間特征的方法[15,16], 但這些方法代價(jià)高且需要問(wèn)題相關(guān)的專業(yè)領(lǐng)域知識(shí). 最近許多研究旨在提出通用的時(shí)間序列表示學(xué)習(xí)方法[17–19],通過(guò)模型自動(dòng)提取時(shí)間特征, 從而避免手工提取帶來(lái)的問(wèn)題.

此外, 在各種確定性的點(diǎn)預(yù)測(cè)方法的基礎(chǔ)上, 考慮到多種不確定性因素, 開(kāi)展了大量概率性區(qū)間預(yù)測(cè)的研究工作, 即預(yù)測(cè)目標(biāo)的完整分布來(lái)量化預(yù)測(cè)的不確定性, 從而估計(jì)決策的風(fēng)險(xiǎn). 對(duì)于換流站內(nèi)的數(shù)據(jù)來(lái)說(shuō),如果預(yù)測(cè)值高于閾值就需要提前報(bào)警, 從預(yù)測(cè)分布中選取不同程度的估計(jì)值依賴于閾值設(shè)定的嚴(yán)格程度.分位數(shù)回歸已被廣泛用于對(duì)不同的分位數(shù)進(jìn)行預(yù)測(cè),以便在不做分布假設(shè)的情況下對(duì)目標(biāo)分布進(jìn)行估計(jì).均值回歸又稱最小二乘法, 是分位數(shù)回歸的一種特殊情況, 它關(guān)注的是條件平均數(shù), 而分位數(shù)回歸可以擴(kuò)展到任意分位數(shù). 最近的許多預(yù)測(cè)模型[20,21]都通過(guò)分位數(shù)損失函數(shù)來(lái)實(shí)現(xiàn)分位數(shù)估計(jì).

本文基于表示學(xué)習(xí)和組合網(wǎng)絡(luò)的思想, 結(jié)合時(shí)間序列的預(yù)測(cè)分析方法, 提出了一個(gè)深度學(xué)習(xí)框架T2VNN(Time2Vec neural network)并將其應(yīng)用于閥冷系統(tǒng)進(jìn)閥溫度的預(yù)測(cè)研究, 如圖1 所示. 首先使用經(jīng)典的時(shí)間表示學(xué)習(xí)方法Time2Vec[22]對(duì)進(jìn)閥溫度的周期信息進(jìn)行特征提取, 其次將TCN 和雙向LSTM 構(gòu)成組合網(wǎng)絡(luò)對(duì)提取后的信息進(jìn)行編碼. 在結(jié)果的輸出部分添加了傳統(tǒng)的自回歸線性模型, 使得非線性神經(jīng)網(wǎng)絡(luò)對(duì)于進(jìn)閥溫度數(shù)據(jù)規(guī)模的變化具有更強(qiáng)的魯棒性. 最后使用分位數(shù)損失函數(shù)對(duì)模型進(jìn)行評(píng)估, 從而產(chǎn)生不同分位數(shù)的預(yù)測(cè)結(jié)果. 實(shí)驗(yàn)表明本文方法在真實(shí)閥冷系統(tǒng)進(jìn)閥溫度數(shù)據(jù)集上的預(yù)測(cè)效果優(yōu)于傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法.

圖1 T2VNN 架構(gòu)圖

1 相關(guān)工作

在自然語(yǔ)言處理領(lǐng)域已經(jīng)存在了大量關(guān)于表示學(xué)習(xí)的研究成果[23,24], 當(dāng)處理對(duì)象變成時(shí)間序列的時(shí)候,許多研究者同樣提出了一些通用的表示學(xué)習(xí)方法, 進(jìn)一步提升了模型對(duì)于時(shí)間序列的處理能力. Fortuin 等[25]對(duì)時(shí)間序列的演化進(jìn)行表示, 同時(shí)關(guān)注了表示的可解釋性. Hyv?rinen 等[26]通過(guò)表征對(duì)時(shí)間序列中大小均勻的分項(xiàng)來(lái)區(qū)分它們. Wu 等[27]提出一種基于核的估計(jì)方法來(lái)計(jì)算特征嵌入.

深度神經(jīng)網(wǎng)絡(luò)使用過(guò)去觀察到的時(shí)間序列來(lái)預(yù)測(cè)未來(lái)未知的時(shí)間序列. 其中, 循環(huán)神經(jīng)網(wǎng)絡(luò)在多個(gè)時(shí)間步中維持隱含狀態(tài)信息, 早期的成果主要包括使用原生的RNN 模型[28]和組合了ARIMA 和多層感知機(jī)的混合模型[29]等. Dasgupta 等[30]將RNN 和動(dòng)態(tài)玻爾茲曼機(jī)組合在一起. 隨著基于卷積架構(gòu)的TCN 及其相關(guān)模型被提出, 一些研究開(kāi)始將TCN 用于時(shí)間序列預(yù)測(cè).Hewage 等[13]將TCN 用于天氣預(yù)測(cè), 實(shí)驗(yàn)表明TCN 對(duì)比LSTM 和其他經(jīng)典的機(jī)器學(xué)習(xí)方法表現(xiàn)更好. Li 等[31]結(jié)合膠囊網(wǎng)絡(luò)和TCN 用于城市交通預(yù)測(cè).

Salinas 等[32]提出了DeepAR 概率預(yù)測(cè)模型, 通過(guò)事先假設(shè)分布來(lái)預(yù)測(cè)未來(lái). DeepAR 以LSTM 作為基礎(chǔ)模型, 通過(guò)最大化似然函數(shù)來(lái)訓(xùn)練. 在預(yù)測(cè)的過(guò)程中,需要從估計(jì)的參數(shù)分布中多次抽取樣本, 作為預(yù)測(cè)的經(jīng)驗(yàn)分布. 本文方法與DeepAR 的不同之處在于, 使用了更貼近實(shí)際的分位數(shù)回歸[33], 這是一種更高效的訓(xùn)練策略, 通過(guò)將預(yù)測(cè)問(wèn)題表示為分位數(shù)回歸來(lái)直接生成目標(biāo)變量的分位數(shù)估計(jì). Zheng[34]使用梯度提升方法[35]來(lái)最小化分位數(shù)回歸的損失函數(shù).

2 框架

在這一部分中, 首先對(duì)閥冷系統(tǒng)進(jìn)閥溫度預(yù)測(cè)問(wèn)題進(jìn)行形式化的建模, 然后在接下來(lái)的部分中討論本文提出的T2VNN 模型的架構(gòu)細(xì)節(jié)(圖1). 最后, 對(duì)分位數(shù)回歸的目標(biāo)函數(shù)和優(yōu)化策略進(jìn)行介紹.

2.1 問(wèn)題建模

中國(guó)南方電網(wǎng)閥冷監(jiān)測(cè)設(shè)備有很多, 每個(gè)設(shè)備都有各自的監(jiān)測(cè)數(shù)據(jù), 需要對(duì)所有的監(jiān)測(cè)數(shù)據(jù)按設(shè)備進(jìn)行劃分, 并按照時(shí)間日期進(jìn)行排列, 篩選出擁有完整時(shí)序性的進(jìn)閥溫度數(shù)據(jù)列表. 首先給定一系列通過(guò)采集得到的進(jìn)閥溫度序列數(shù)據(jù)Y={y1,y2,···,yT},y1,y2,···,yT∈R, 實(shí)際應(yīng)用中以滾動(dòng)預(yù)測(cè)的方式來(lái)預(yù)測(cè)未來(lái)一段時(shí)間的數(shù)據(jù). 即在給定{y1,y2,···,yT}的前提下預(yù)測(cè)當(dāng)前時(shí)間點(diǎn)h個(gè)時(shí)間步以后的數(shù)據(jù), 這里記為yT+h,h的大小由實(shí)際應(yīng)用背景的需求決定. 同樣地, 為了預(yù)測(cè)下一個(gè)時(shí)間點(diǎn)yT+h+1, 需要假定{y1,y2,···,yT,yT+1}已經(jīng)可以獲取. 所以, 本文將當(dāng)前時(shí)間點(diǎn)T的輸入矩陣定義為XT={y1,y2,···,yT}∈RT. 在接下來(lái)的部分中將詳細(xì)介紹T2VNN 模型的各個(gè)構(gòu)建模塊.

2.2 Embed 層

表示學(xué)習(xí)方法Time2Vec[22]作為T(mén)2VNN 模型的embed 層, 目的是對(duì)進(jìn)閥溫度中的周期性和非周期性特征進(jìn)行特征提取, 使神經(jīng)網(wǎng)絡(luò)更好地捕獲其中的規(guī)律性特征. 對(duì)于給定時(shí)間序列 τ和輸出維度k+1,Time2Vec 的計(jì)算公式定義為:

其中,t2v(τ)[i]代表t2v(τ)的第i個(gè)輸出向量,F是周期性激活函數(shù), ωi和 φi是可學(xué)習(xí)的參數(shù). 在實(shí)驗(yàn)中, 為了使算法能夠捕獲時(shí)間序列中存在的的周期性模式,F選定為正弦函數(shù),i=0對(duì)應(yīng)的公式用于捕獲時(shí)間序列中的非周期性模式. Time2Vec 將進(jìn)閥溫度時(shí)間序列分解出多個(gè)代表不同周期性以及非周期性的時(shí)間序列特征. 將這些細(xì)化的特征傳入到由TCN 和雙向LSTM 構(gòu)成的組合網(wǎng)絡(luò)中, 進(jìn)一步提取其中的規(guī)律性特征.

2.3 TCN-BiLSTM 組合網(wǎng)絡(luò)

圖2 TCN 模型

(1) 時(shí)間卷積網(wǎng)絡(luò)TCN

TCN 由擴(kuò)張因果卷積構(gòu)成. 其中, 卷積操作使用一維卷積, 通過(guò)在空缺位置補(bǔ)零將任意長(zhǎng)度的多維特征映射為相同長(zhǎng)度的輸出向量, 并且使用因果卷積在映射的過(guò)程中確保當(dāng)前時(shí)間點(diǎn)的數(shù)據(jù)只能通過(guò)歷史數(shù)據(jù)計(jì)算得到. 為了在不增加網(wǎng)絡(luò)復(fù)雜度的情況下擴(kuò)大對(duì)進(jìn)閥溫度歷史數(shù)據(jù)的接受范圍, 進(jìn)一步融合了擴(kuò)張卷積的思想形成擴(kuò)張因果卷積. 更形式化地來(lái)說(shuō), 對(duì)于多維序列特征輸入x∈RT×(k+1)(即Time2Vec 的輸出結(jié)果)和卷積核函數(shù)f:{0,···,k?1}→R, 在序列元素s上的擴(kuò)張卷積操作F定義為:

其中,d是擴(kuò)張因子,k是卷積核的大小,s?d·i代表沿著過(guò)去的方向. 如圖2 所示, 擴(kuò)張因子d隨層數(shù)的增加呈2 的指數(shù)級(jí)增加, 在確保頂層輸出能夠表示所有輸入的同時(shí)擴(kuò)大了網(wǎng)絡(luò)的接受范圍. 最終的輸出取最后一層的最后一個(gè)時(shí)間點(diǎn)的輸出, 同時(shí)為了提取多組進(jìn)閥溫度序列存在的依賴關(guān)系, 構(gòu)造多通道卷積, 拼接形成最終的輸出向量.

(2) 雙向長(zhǎng)短期記憶網(wǎng)絡(luò)BiLSTM

LSTM 能夠緩解RNN 訓(xùn)練時(shí)產(chǎn)生的梯度消失問(wèn)題,更好地捕獲時(shí)間序列的長(zhǎng)期依賴模式. 因?yàn)檫M(jìn)閥溫度時(shí)間序列不僅存在正向的依賴關(guān)系, 還有可能存在相應(yīng)的逆向關(guān)系, 所以在這里使用了雙向LSTM(BiLSTM),可以讓輸入特征在正序和逆序兩個(gè)方向上進(jìn)行傳播,從而為預(yù)測(cè)建立更多的潛在特征. 形式上, 將每個(gè)時(shí)間點(diǎn)的輸入記為xt, 隱含狀態(tài)記為ht, 內(nèi)部門(mén)控輸出記為it,ft,ot和ct, LSTM 循環(huán)單元的計(jì)算公式如下:

圖3 BiLSTM 模型

在模型的輸出部分, 為了有選擇性地關(guān)注到每個(gè)時(shí)間點(diǎn)的輸出信息, 引入了Attention 機(jī)制[36]. 在當(dāng)前時(shí)間點(diǎn)t的注意力權(quán)重 αt可以計(jì)算為:

其中,Ht=[ht?T,···,ht?1]是每個(gè)時(shí)間點(diǎn)隱含狀態(tài)的堆疊矩陣,AttnScore這里代表點(diǎn)乘操作. 最后將加權(quán)后的上下文向量ct=Htαt和最后一個(gè)時(shí)間點(diǎn)的隱含狀態(tài)ht?1拼接后通過(guò)線性映射得到雙向LSTM 的最終輸出向量htL, 對(duì)應(yīng)公式如下:

2.4 自回歸層

由于神經(jīng)網(wǎng)絡(luò)的非線性性質(zhì), 輸出尺度對(duì)于輸入尺度的變化不敏感, 并且由于進(jìn)閥溫度時(shí)間序列存在線性和非線性的多種上下文關(guān)系, 數(shù)據(jù)規(guī)模隨時(shí)間也會(huì)發(fā)生較明顯的變化. 本文借鑒LSTNet[37]將序列分解成線性和非線性部分, 非線性部分通過(guò)Time2Vec 進(jìn)一步提取其中的周期性和非周期性模式, 線性部分通過(guò)自回歸(AR)模型進(jìn)行特征提取. 將AR 部分的預(yù)測(cè)結(jié)果記為htL∈R, 系數(shù)記為War∈Rw和bar∈R, 其中w是在輸入矩陣上輸入窗口的大小, 公式如下:

2.5 目標(biāo)函數(shù)

進(jìn)閥溫度本身存在眾多非線性特性以及非均勻分布的殘差, 不適合使用平均絕對(duì)誤差(MAE)作為損失函數(shù), 所以本文使用平均絕對(duì)偏差(MAD)損失函數(shù)作為模型訓(xùn)練的目標(biāo)函數(shù), 以實(shí)現(xiàn)分位數(shù)預(yù)測(cè), 定義為每個(gè)未來(lái)時(shí)間點(diǎn)t的標(biāo)準(zhǔn)分位數(shù)損失的和, 形式化如下:

3 實(shí)驗(yàn)分析

本文使用5 種方法(包括本文方法)在電網(wǎng)領(lǐng)域數(shù)據(jù)集上針對(duì)時(shí)間序列預(yù)測(cè)任務(wù)展開(kāi)實(shí)驗(yàn). 所有的數(shù)據(jù)和實(shí)驗(yàn)代碼可以從網(wǎng)站https://github.com/Caleb411/T2VNN 中獲取.

3.1 對(duì)比方法

本文使用如下方法展開(kāi)對(duì)比實(shí)驗(yàn):

(1) Benchmark 直接使用歷史輸入最后一個(gè)時(shí)間點(diǎn)的值作為預(yù)測(cè)值.

(2) Autoregressive 自回歸模型是傳統(tǒng)時(shí)間序列預(yù)測(cè)方法的典型代表.

(3) Gradient-Boosting 是一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)算法, 可用于回歸和分類問(wèn)題. 為了對(duì)比這里使用分位數(shù)損失函數(shù).

(4) DeepAR 是基于LSTM 的概率預(yù)測(cè)模型, 為了對(duì)比使用其基于分位數(shù)回歸的形式.

3.2 評(píng)估指標(biāo)

本文使用兩個(gè)傳統(tǒng)的評(píng)估指標(biāo), 定義如下:

(1) 相對(duì)平方根誤差(RSE):

(2) 經(jīng)驗(yàn)相關(guān)系數(shù)(CORR):

3.3 數(shù)據(jù)描述

實(shí)驗(yàn)數(shù)據(jù)集valve (https://github.com/Caleb411/T2VNN/tree/main/data)是某電網(wǎng)換流站閥冷系統(tǒng)中內(nèi)冷水系統(tǒng)各項(xiàng)指標(biāo)的真實(shí)數(shù)據(jù), 數(shù)據(jù)的采集頻率是半小時(shí)一次, 時(shí)間從2017 年12 月3 日到2019 年7 月3 日,一共包含29045 個(gè)時(shí)間點(diǎn). 該數(shù)據(jù)集包含4 個(gè)維度的時(shí)間序列, 分別表示進(jìn)閥溫度、出閥溫度、進(jìn)閥壓力和冷卻水電導(dǎo)率隨時(shí)間的變化情況. 其中進(jìn)閥溫度是需要重點(diǎn)關(guān)注的指標(biāo), 它的數(shù)值變化對(duì)于換流站內(nèi)設(shè)備的安全性存在的影響較大, 也是本文需要預(yù)測(cè)的對(duì)象.

為了更直觀地展示進(jìn)閥溫度隨時(shí)間的變化情況,繪制如圖4 所示的折線圖. 從圖4 中可以看出, 除了一些明顯的極端值外, 進(jìn)閥溫度隨時(shí)間的變化呈現(xiàn)出一定的周期性. 為了使用更清晰的方式對(duì)重復(fù)模式進(jìn)行檢驗(yàn), 進(jìn)一步繪制自相關(guān)函數(shù)(ACF)圖如圖5 所示. 自相關(guān)函數(shù)描述了進(jìn)閥溫度當(dāng)前值與其過(guò)去值之間的相關(guān)程度, 包括直接和間接的相關(guān)性信息. 時(shí)間序列包含長(zhǎng)期趨勢(shì)變動(dòng)、季節(jié)變動(dòng)、循環(huán)變動(dòng)和不規(guī)則變動(dòng),ACF 在尋找相關(guān)性時(shí)會(huì)綜合考慮所有這些變動(dòng), 它的函數(shù)定義如下:

圖4 進(jìn)閥溫度折線圖

其中,yt表示一系列進(jìn)閥溫度數(shù)據(jù), μ是平均值, σ2是方差, 這里采用經(jīng)驗(yàn)無(wú)偏估計(jì)量來(lái)計(jì)算自相關(guān)性. 從圖5中可以看出, 進(jìn)閥溫度時(shí)間序列具有高度自相關(guān)性的重復(fù)模式. 這些觀察結(jié)果對(duì)于后續(xù)不同方法實(shí)驗(yàn)結(jié)果的分析非常重要, 是判斷該數(shù)據(jù)是否適合建模的前提.

圖5 進(jìn)閥溫度自相關(guān)函數(shù)圖

在將數(shù)據(jù)輸入模型之前, 還需要一些預(yù)處理操作.從圖中可以看出進(jìn)閥溫度隨時(shí)間變化幅度較大, 需要將它們整合到統(tǒng)一的范疇下, 然后才能進(jìn)行后續(xù)的建模操作. 這里使用標(biāo)準(zhǔn)化的方式, 目的是將原始數(shù)據(jù)分布轉(zhuǎn)化為均值為0 方差為1 的標(biāo)準(zhǔn)正態(tài)分布. 之后將原數(shù)據(jù)集依據(jù)6:2:2 的比例按時(shí)間順序劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集. 接下來(lái)將對(duì)實(shí)驗(yàn)過(guò)程中涉及的一些細(xì)節(jié)進(jìn)行說(shuō)明.

3.4 實(shí)驗(yàn)細(xì)節(jié)

所有方法首先都需要通過(guò)滑動(dòng)窗口的方式批量采集數(shù)據(jù), 形成<輸入, 輸出>的數(shù)據(jù)對(duì), 滑動(dòng)窗口的長(zhǎng)度T的取值范圍設(shè)置為{22, 23, ···, 26}, 實(shí)驗(yàn)中根據(jù)模型在驗(yàn)證集上的預(yù)測(cè)效果進(jìn)行調(diào)整. 對(duì)比模型Benchmark和Autoregressive 不包含超參數(shù), Gradient-Boosting 使用默認(rèn)參數(shù), 其中關(guān)鍵超參數(shù)梯度提升階數(shù)為100, 樹(shù)的最大深度為3. 本文模型超參數(shù)配置如表1 所示, 其中k是表示學(xué)習(xí)Time2Vec 部分的維度, filters 和kernel_size 分別表示組合網(wǎng)絡(luò)中TCN 的卷積通道的數(shù)目和卷積核的長(zhǎng)度. 組合網(wǎng)絡(luò)中雙向LSTM 的hidden_size表示隱含狀態(tài)的長(zhǎng)度, 和TCN 中的filters 是相似的概念, 所以這里將它們的值設(shè)置為相同. 同時(shí), 對(duì)比模型DeepAR 的隱藏單元長(zhǎng)度也設(shè)置為hidden_size, 使模型復(fù)雜度與本文模型保持一致. 由于BiLSTM 是雙向的,所以它經(jīng)過(guò)Attention 機(jī)制后最終的輸出長(zhǎng)度output_size是hidden_size 的兩倍. 本文方法自回歸層的輸入窗口大小w在不超過(guò)滑動(dòng)窗口T的前提下從{3, 6, 9, 12}中選取. 最后, 在模型訓(xùn)練的過(guò)程中, batch_size 和epochs分別表示數(shù)據(jù)一次輸入的批量大小和迭代次數(shù), 所有對(duì)比模型保持一致.

表1 超參數(shù)配置

3.5 實(shí)驗(yàn)結(jié)果

本文使實(shí)驗(yàn)從兩個(gè)角度出發(fā), 一個(gè)是不同的預(yù)測(cè)時(shí)間步h∈{3, 6, 9, 12}, 另一個(gè)是不同的分位數(shù)q∈{0.01, 0.25, 0.5, 0.75, 0.99}, 并在測(cè)試集上評(píng)估方法的預(yù)測(cè)性能. 如表2 和表3 所示, 粗體表示每列中最好的評(píng)估結(jié)果. 表2 總結(jié)了所有方法在不同預(yù)測(cè)時(shí)間步上的評(píng)估結(jié)果, 預(yù)測(cè)的時(shí)間步越長(zhǎng), 預(yù)測(cè)難度越大, 此時(shí)的分位數(shù)統(tǒng)一設(shè)置為0.5. 從表中可以看出, 本文方法T2VNN 的預(yù)測(cè)性能明顯優(yōu)于其他方法, 并且在所有的預(yù)測(cè)時(shí)間步中都占據(jù)優(yōu)勢(shì). 此外, 當(dāng)預(yù)測(cè)時(shí)間步為3 時(shí), 本文方法的RSE相比于神經(jīng)網(wǎng)絡(luò)基準(zhǔn)DeepAR降低了12.8%, 因?yàn)镈eepAR 雖然考慮到了序列中存在的長(zhǎng)期依賴信息, 但是沒(méi)能捕獲到可能存在的短期局部依賴模式, 而本文方法結(jié)合了TCN 的思想解決了該問(wèn)題. 同時(shí)也表明本文方法中的Time2Vec 成功提取到了進(jìn)閥溫度中存在的復(fù)雜周期性重復(fù)模式, 并且該框架設(shè)計(jì)對(duì)于預(yù)測(cè)時(shí)間步較遠(yuǎn)的情況依然有效.

表2 對(duì)比實(shí)驗(yàn)不同預(yù)測(cè)時(shí)間步評(píng)估結(jié)果

表3 對(duì)比實(shí)驗(yàn)不同分位數(shù)評(píng)估結(jié)果

表3 總結(jié)了所有方法在不同分位數(shù)上損失函數(shù)的值, 此時(shí)的預(yù)測(cè)時(shí)間步統(tǒng)一設(shè)置為3. 從表中可以看出,Benchmark 和Autoregressive 由于缺乏分位數(shù)預(yù)測(cè)能力在所有分位數(shù)上表現(xiàn)都是最差的. Gradient-Boosting和DeepAR 由于擁有較強(qiáng)的分位數(shù)感知能力性能有所提升. 本文方法T2VNN 在所有分位數(shù)上損失函數(shù)的值都是最低的, 說(shuō)明T2VNN 在多種不同的分位數(shù)下適應(yīng)能力更強(qiáng), 表明使用平均絕對(duì)偏差(MAE)作為損失函數(shù)的正確性. 為了將預(yù)測(cè)結(jié)果可視化, 便于形象地觀察預(yù)測(cè)效果, 在測(cè)試集中選取500 個(gè)連續(xù)時(shí)間點(diǎn)的數(shù)據(jù),將預(yù)測(cè)結(jié)果繪制如圖6 和圖7 所示. 圖6 中展示了分位數(shù)為0.5 (即自回歸預(yù)測(cè)), 預(yù)測(cè)時(shí)間步為3 的預(yù)測(cè)結(jié)果, 其中藍(lán)線代表預(yù)測(cè)值, 黑線代表真實(shí)值. 圖7 展示了不同分位數(shù)的預(yù)測(cè)結(jié)果. 紅色區(qū)域的下界和上界分別表示分位數(shù)0.25 和0.75 的預(yù)測(cè)結(jié)果; 黃色區(qū)域的邊界表示分位數(shù)0.01 和0.99 的預(yù)測(cè)結(jié)果. 從圖中可以看出, 本文方法T2VNN 能夠捕獲到未來(lái)序列數(shù)據(jù)中的時(shí)間模式和趨勢(shì)變化.

圖6 進(jìn)閥溫度自回歸預(yù)測(cè)結(jié)果

圖7 進(jìn)閥溫度分位數(shù)預(yù)測(cè)結(jié)果

3.6 消融實(shí)驗(yàn)

為了衡量本文T2VNN 框架中一些部分對(duì)于模型整體性能的貢獻(xiàn), 設(shè)計(jì)了相應(yīng)的消融實(shí)驗(yàn), 即每次從原方法中移除某一個(gè)組件進(jìn)行實(shí)驗(yàn). 首先, 將移除了不同組件后的T2VNN 命名如下.

(1) T2VNNw/oT2V: T2VNN 模型移除時(shí)間序列表示學(xué)習(xí)方法Time2Vec.

(2) T2VNNw/oAttention: T2VNN 模型組合網(wǎng)絡(luò)部分移除雙向LSTM 中的Attention 層.

(3) T2VNNw/oAR: T2VNN 模型移除與表示學(xué)習(xí)和組合網(wǎng)絡(luò)并行的自回歸層.

移除部分組件會(huì)減少模型的參數(shù)量, 需要調(diào)整部分超參數(shù)使得所有模型的參數(shù)量相似. 表4 總結(jié)了所有方法在不同預(yù)測(cè)時(shí)間步上的評(píng)估結(jié)果, 分位數(shù)設(shè)置為0.5, 粗體為兩個(gè)評(píng)估指標(biāo)在每列中最好的結(jié)果. 從表中可以看出, 去除Attention 或AR 部分后, 模型的性能在所有預(yù)測(cè)時(shí)間步上均出現(xiàn)一定程度的下滑. 去除T2V 部分后, 除了預(yù)測(cè)時(shí)間步為12 時(shí)RSE的值外, 其他情況下也都出現(xiàn)了下滑. 最后, 為了進(jìn)一步驗(yàn)證本文模型中添加自回歸層的必要性, 選取200 個(gè)連續(xù)時(shí)間點(diǎn)的數(shù)據(jù)將T2VNNw/oAR 和T2VNN 的預(yù)測(cè)結(jié)果繪制如圖8 和圖9 所示, 其中藍(lán)線代表預(yù)測(cè)值, 黑線代表真實(shí)值. 從圖中可以看出兩者預(yù)測(cè)的差異主要體現(xiàn)在峰值處, 除去自回歸層后模型對(duì)于數(shù)據(jù)趨勢(shì)的變化不敏感, 自回歸層能夠在一定程度上改善模型對(duì)于數(shù)據(jù)趨勢(shì)的捕獲能力. 綜上所述, 本文方法中的幾個(gè)關(guān)鍵組成部分對(duì)模型整體性能均存在貢獻(xiàn).

表4 消融實(shí)驗(yàn)不同預(yù)測(cè)時(shí)間步評(píng)估結(jié)果

圖8 T2VNNw/oAR 預(yù)測(cè)結(jié)果

圖9 T2VNN 預(yù)測(cè)結(jié)果

4 結(jié)論與展望

本文針對(duì)閥冷系統(tǒng)進(jìn)閥溫度預(yù)測(cè)問(wèn)題提出了一個(gè)深度學(xué)習(xí)框架T2VNN 模型. 通過(guò)結(jié)合表示學(xué)習(xí)方法Time2Vec 和組合網(wǎng)絡(luò)的思想, 同時(shí)在輸出部分添加了自回歸模型, 將模型預(yù)測(cè)過(guò)程分解為線性和非線性部分, 用于電網(wǎng)領(lǐng)域閥冷系統(tǒng)中進(jìn)閥溫度的預(yù)測(cè)研究. 其中組合網(wǎng)絡(luò)部分結(jié)合了TCN 和雙向LSTM 的優(yōu)勢(shì), 共同捕獲序列中存在的依賴關(guān)系. 本文方法在多個(gè)預(yù)測(cè)時(shí)間步和分位數(shù)預(yù)測(cè)中性能均超過(guò)多個(gè)典型模型, 成功捕獲到了進(jìn)閥溫度歷史數(shù)據(jù)中的周期性與非周期性重復(fù)模式, 以及相應(yīng)的趨勢(shì)變化. 最后, 通過(guò)消融實(shí)驗(yàn)證明了本文方法中一些關(guān)鍵組件對(duì)整體性能均存在貢獻(xiàn).