朱剛 李文 杜守國 崔久強

摘要：時間序列是一種廣泛存在于現(xiàn)實中的數(shù)據(jù)，常見的例子有股市的每日波動，每月家庭耗電量的記錄等。經(jīng)典的時間預(yù)測方法，往往有很多局限性，如自回歸積分滑動平均方法（ARIMA）或指數(shù)平滑方法（ETS），將一個模型擬合到各個單獨的時間序列，進(jìn)行單點預(yù)測。而在真實場景中，知道某個商品的將來需求量的概率分布情況，比簡單預(yù)測該商品未來需求量的實值更有價值。深度神經(jīng)網(wǎng)絡(luò)在時間序列預(yù)測領(lǐng)域已經(jīng)有了許多成功的應(yīng)用，F(xiàn)lunkert和Gasthaus等人（2019）提出了深度自回歸模型（DeepAR），通過聯(lián)合所有時間序列來訓(xùn)練單個模型受益，當(dāng)數(shù)據(jù)集包含數(shù)百個相關(guān)時間序列時，DeepAR優(yōu)于標(biāo)準(zhǔn)ARIMA和ETS方法。本文運用GluonTS框架對DeepAR模型在上海市制造業(yè)歷年就業(yè)人數(shù)數(shù)據(jù)集上進(jìn)行實證分析。

關(guān)鍵詞：時間序列預(yù)測；循環(huán)神經(jīng)網(wǎng)絡(luò)；DeepAR模型；GluonTS

★基金項目：本研究得到海關(guān)總署決策咨詢研究課題（HG-YB009）、國家社會科學(xué)基金項目（17BTJ025）、上海市科學(xué)技術(shù)委員會軟科學(xué)研究項目（18692116100）、上海市領(lǐng)軍人才項目的資助。

1、相關(guān)理論研究

1.1 時間序列預(yù)測

1.3 DeepAR模型

DeepAR是Amazon于2017年提出的基于深度學(xué)習(xí)的時間序列預(yù)測方法。

傳統(tǒng)的時間方法（ARIMA，Holt-Winters等）往往針對一維時間序列本身建模，難以利用額外特征。此外，傳統(tǒng)方法的預(yù)測目標(biāo)通常是序列在每個時間步上的取值。與此相比，基于神經(jīng)網(wǎng)絡(luò)的DeepAR方法可以很方便的將額外的特征納入考慮，且其預(yù)測目標(biāo)是序列在每個時間步上取值的概率分布。在特定場景下，概率預(yù)測比單點預(yù)測更有意義。以零售業(yè)為例，若已知商品未來銷量的概率分布，則可以利用運籌優(yōu)化方法推算在不同業(yè)務(wù)目標(biāo)下的最優(yōu)采購量，從而輔助決策。

DeepAR是一個自回歸RNN時間序列模型，是一個含隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)（使用LSTM或GRU單元）模型，DeepAR學(xué)習(xí)的是周期性的表現(xiàn)并且是基于貫穿時間序列的協(xié)變量，在獲取高復(fù)雜度、組依賴的表現(xiàn)時，僅有少量的數(shù)據(jù)處理需要手動進(jìn)行。

其中藍(lán)框的weighted sum即為仿射變換函數(shù)，它的輸出就是μ；綠框就是softplus函數(shù)，紅框表示最終輸出，結(jié)果就是σ。本文采用高斯分布作為似然模型。

2、案例應(yīng)用分析

2.1 數(shù)據(jù)

實驗采用的數(shù)據(jù)集是上海市制造業(yè)歷年就業(yè)人數(shù)的數(shù)據(jù)。該數(shù)據(jù)集樣本一共有68個時間序列，每個時間序列有84個時間點的數(shù)據(jù)，數(shù)據(jù)集的開始時間為2013年1月，截止時間為2019年12月。時間序列以月為時間步，即時間頻率為月。按照6：1的分配模式來確定訓(xùn)練數(shù)據(jù)集和評估數(shù)據(jù)集，時間序列前72個數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，評估數(shù)據(jù)集包含所有84個時間步，評估數(shù)據(jù)集后12個數(shù)據(jù)作為驗證數(shù)據(jù)，用來對預(yù)測模型進(jìn)行評估。協(xié)變量時間序列有區(qū)縣制造業(yè)歷年就業(yè)人數(shù)，市區(qū)兩級的制造業(yè)歷年退工人數(shù)，市區(qū)兩級的制造業(yè)歷年總產(chǎn)值，市區(qū)兩級的制造業(yè)歷年人員流出人數(shù)等。協(xié)變量時間序列的時間頻率也為月，但時間序列的開始時間和結(jié)束時間可以不相同。數(shù)據(jù)集的詳細(xì)信息見表1。

● SimpleFeedForward前饋神經(jīng)網(wǎng)絡(luò)是一種最簡單的神經(jīng)網(wǎng)絡(luò)，各神經(jīng)元分層排列，整個網(wǎng)絡(luò)中無反饋，信號從輸入層向輸出層單向傳播。

● Transformer模型是基于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的時間序列預(yù)測方法。單純依靠注意力機制（Attention Mechanism），一步到位獲得全局信息。

● WaveNet是一個自回歸概率模型，該模型在文字轉(zhuǎn)語（Text-to-Speech，TTS）任務(wù)上取得了極佳的效果，它的建模方式與DeepAR十分類似，因而可以很自然地遷移到時間序列預(yù)測的任務(wù)上。

從實驗結(jié)果看出，以上四種預(yù)測模型均能夠大致預(yù)測出上海市制造業(yè)就業(yè)人數(shù)的未來變化趨勢，這是因為基于深度學(xué)習(xí)的時間序列預(yù)測方法可以更好的提取時間序列的內(nèi)部特征。從預(yù)測效果圖來看，基于RNN的自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)模型（DeepAR）的預(yù)測效果較好，大部分預(yù)測值都落在了90%的預(yù)測區(qū)間內(nèi)，前饋神經(jīng)網(wǎng)絡(luò)模型（SimpleFeedForward）和基于Attention的轉(zhuǎn)換模型（Transformer）的預(yù)測效果一般，基于CNN的自回歸概率模型（WaveNet）的預(yù)測效果較差。從表2的預(yù)測值評估數(shù)據(jù)來看，也應(yīng)證了上述觀點，DeepAR在四個評估指標(biāo)中均取得了最好的預(yù)測效果，其四個指標(biāo)的評估值都是所有模型中最小的，而WaveNet的預(yù)測效果較差，可以得出結(jié)論，對于上海市制造業(yè)歷年就業(yè)人數(shù)這個數(shù)據(jù)集的預(yù)測，DeepAR模型是比較適合的。