鄒開欣，佃松宜，王茂寧,2+

(1.四川大學(xué) 電氣工程學(xué)院，四川 成都 610065；2.四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610065)

0 引 言

隨著經(jīng)濟(jì)的快速發(fā)展，旅游人數(shù)的增加，準(zhǔn)確預(yù)測景區(qū)客流量成為難題。景區(qū)管理者掌握到未來客流量，有利于對未來的工作、人員安排做出科學(xué)、合理的決策，解決景區(qū)交通擁堵、景點(diǎn)人員擁擠等問題，排除安全隱患。景區(qū)客流量隨著時(shí)間呈現(xiàn)出周期性規(guī)律的變化，是一種典型的時(shí)間序列，因此建立一個(gè)能夠準(zhǔn)確預(yù)測景區(qū)未來客流量的時(shí)間序列模型具有重要意義。

預(yù)測時(shí)間序列的方法有基于經(jīng)典的統(tǒng)計(jì)學(xué)方法。Aasim等[1]提出基于自回歸積分滑動(dòng)平均(autoregressive integrated moving average，ARIMA)和小波變換的混合模型預(yù)測短時(shí)和超短時(shí)風(fēng)速。Ilie等[2]使用ARIMA方法預(yù)測新型冠狀病毒肺炎流行趨勢并在多個(gè)國家得到驗(yàn)證。Li等[3]提出先使用灰度模型計(jì)算再使用ARIMA殘差對模型進(jìn)行修正和驗(yàn)證的方式預(yù)測能源需求的增長。此類方法比較適合于處理平穩(wěn)時(shí)間序列，但是對于處理景區(qū)客流量非平穩(wěn)變化的時(shí)間序列有很大的局限性。

最近幾年，由于大量數(shù)據(jù)的出現(xiàn)和計(jì)算能力的提高，對時(shí)間序列的研究從傳統(tǒng)的分析方法轉(zhuǎn)向了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法。機(jī)器學(xué)習(xí)方法能夠較好處理非線性變化的時(shí)間序列，得到了廣泛的應(yīng)用。Sun等[4]將短時(shí)交通流時(shí)間序列進(jìn)行相空間重構(gòu)，使用支持向量機(jī)(support vector machine，SVM)對短時(shí)交通流量預(yù)測，并利用模擬退火算法對花授粉進(jìn)行優(yōu)化用以優(yōu)化SVM的參數(shù)。Jia等[5]提出了多任務(wù)的最小二乘支持向量機(jī)，利用相鄰時(shí)間點(diǎn)之間的相關(guān)性，構(gòu)造多個(gè)相鄰時(shí)間點(diǎn)的學(xué)習(xí)任務(wù)，并在多個(gè)時(shí)間序列數(shù)據(jù)集上驗(yàn)證了方法的有效性。Deng等[6]采用模糊集理論將灌溉功率時(shí)序分解成信息粒表征原始數(shù)值點(diǎn)集，使用SVM預(yù)測信息粒并利用灰狼優(yōu)化算法調(diào)整SVM參數(shù)。Hu等[7]整合極度隨機(jī)樹、隨機(jī)森林(random forest，RF)、極限梯度提升(extreme gradient boosting，XGBoost)、多元線性回歸方法預(yù)測船舶燃料消耗，采用貝葉斯超參數(shù)優(yōu)化方法設(shè)置模型的超參數(shù)值。但是相比于傳統(tǒng)機(jī)器學(xué)習(xí)，循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)能夠使用其內(nèi)部狀態(tài)處理輸入序列，更好捕捉輸入序列中的時(shí)間依賴，特別是其變體長短期記憶(long short-term memory，LSTM)神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)到輸入序列中的長時(shí)間依賴關(guān)系。Yan等[8]將CNN挖掘到的相鄰路口交通流量的空間相關(guān)性特征與LSTM挖掘到的交通流量時(shí)序特征相結(jié)合預(yù)測短時(shí)交通流量。Zheng等[9]根據(jù)交通系統(tǒng)中的時(shí)空關(guān)系選擇LSTM模型。Xu等[10]提出基于LSTM神經(jīng)網(wǎng)絡(luò)的模型解決無站式共享單車的動(dòng)態(tài)需求問題。Jia等[11]考慮到降雨對交通流量的影響，結(jié)合深度信念網(wǎng)絡(luò)和LSTM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)各種降雨情況下的交通特征預(yù)測交通流量。

當(dāng)使用LSTM做多步預(yù)測時(shí)，特別是使用單向LSTM，除最后一個(gè)LSTM單元以外，中間的LSTM單元并沒有學(xué)習(xí)到整個(gè)輸入序列的信息。此外，雖然LSTM能夠很好學(xué)習(xí)到輸入序列中的長時(shí)間依賴關(guān)系，但是當(dāng)隨著輸入序列的增長，其性能表現(xiàn)也將不可避免的受到影響。近幾年出現(xiàn)的Seq2Seq結(jié)構(gòu)以及注意力機(jī)制很好解決了上述問題，為序列建模的問題探索了新的方向。Han等[12]將變道車輛以及周圍車輛視作整體狀態(tài)單元，并為狀態(tài)單元內(nèi)的所有車輛加入時(shí)空狀態(tài)特征來刻畫車輛間的動(dòng)態(tài)行為，采用基于LSTM的編碼器-解碼器結(jié)構(gòu)以及注意力機(jī)制預(yù)測車輛的變道軌跡。You等[13]對船舶的軌跡和位置特征進(jìn)行優(yōu)化，使用基于Seq2Seq結(jié)構(gòu)的模型預(yù)測短期船舶軌跡。Zhang等[14]使用t-SNE算法將特征向量降維后再使用K-means算法聚類，采用為每個(gè)簇構(gòu)建帶注意力機(jī)制的Seq2Seq模型對功率輸出進(jìn)行預(yù)測。以上方法都取得了不錯(cuò)的效果，然而很少研究者在景區(qū)客流量預(yù)測的領(lǐng)域中使用注意力機(jī)制和Seq2Seq結(jié)構(gòu)的模型。

本文提出了一種基于特征分離編碼和注意力機(jī)制的景區(qū)短期客流量預(yù)測模型FSEANet，該模型為Seq2Seq結(jié)構(gòu)，不同分布規(guī)律的特征擁有各自獨(dú)立的編碼器，這些獨(dú)立的編碼器對不同類型分布規(guī)律的特征信息編碼，然后融合成最終的編碼向量序列。注意力機(jī)制幫助解碼器在每一個(gè)解碼時(shí)刻關(guān)注到編碼向量序列中不同重要程度的信息，將編碼向量序列重新組合成一個(gè)上下文向量。最終解碼器對上下文向量進(jìn)行解碼，得到未來的游客數(shù)量。

1 特征選擇

景區(qū)的客流量與眾多因素有關(guān)。節(jié)假日時(shí)有更多的游客出行游玩，并且游客會(huì)根據(jù)節(jié)假日的長短做出行計(jì)劃。此外，游客也會(huì)關(guān)注景區(qū)的天氣情況，選擇在比較適合游玩的天氣時(shí)出行。因此，本文選擇日期、天氣、假期信息和游客數(shù)量等作為特征并使用Spearman rank相關(guān)系數(shù)給出各個(gè)特征與客流量之間的相關(guān)性，見表1。Spearman rank相關(guān)系數(shù)公式如下[15]

表1 特征與客流量相關(guān)性

(1)

其中，ρ代表Spearman rank相關(guān)系數(shù)， cov(rgx,rgy) 為協(xié)方差，σrgx和σrgy為秩變量的標(biāo)準(zhǔn)差。若秩變量是不相同的整數(shù)，則可用式(2)

(2)

其中，di=rg(x(i))-rg(y(i))，m為元素個(gè)數(shù)。Spearman rank相關(guān)系數(shù)的取值范圍為[-1,1]，相關(guān)系數(shù)大于0代表客流量隨特征值單調(diào)增加，小于0代表隨特征值單調(diào)減少，絕對值越接近1代表越接近完全單調(diào)相關(guān)，越接近0代表相關(guān)度越低。從表中可知，年份特征的相關(guān)系數(shù)大于0，說明客流量呈現(xiàn)出逐年增加的趨勢。此外假期天數(shù)與氣溫的Spearman rank相關(guān)系數(shù)非常接近1，代表這些特征與客流量密切相關(guān)，客流量會(huì)隨著假期總天數(shù)的增加和氣溫的提升而增多，隨著剩余假期的減少而下降。

2 網(wǎng)絡(luò)模型與算法

2.1 網(wǎng)絡(luò)模型的整體架構(gòu)

本文提出的FSEAMNet模型如圖1所示。本文網(wǎng)絡(luò)主體為Seq2Seq結(jié)構(gòu)[16]。景區(qū)數(shù)據(jù)庫的原始數(shù)據(jù)進(jìn)行歸一化處理

圖1 模型框架

(3)

其中，xr代表原始特征，xr min代表原始特征中的最小值，xr max代表原始特征中的最大值，xs代表歸一化后的特征。將具有相同分布規(guī)律的特征分離，根據(jù)特征的分布規(guī)律，采用均勻分布特征編碼器，泊松分布特征編碼器以及非均勻分布特征編碼器對特征編碼。3個(gè)編碼器相互獨(dú)立，減少了干擾分布規(guī)律的影響，提高了編碼器對相同分布特征的編碼能力。編碼器均采用LSTM神經(jīng)網(wǎng)絡(luò)，由于不同特征在時(shí)間方向上具有不同的相關(guān)性，因此均勻分布特征編碼器與非均勻分布特征編碼器采用單向LSTM神經(jīng)網(wǎng)絡(luò)，泊松分布特征編碼器采用雙向LSTM(Bi-LSTM)。注意力機(jī)制提升解碼器對編碼向量的聚焦能力，在不同的解碼時(shí)刻為每個(gè)編碼時(shí)刻的編碼向量分配權(quán)重，從而得到關(guān)鍵的包含各個(gè)分布規(guī)律特征的編碼向量表示——上下文向量。解碼器采用同樣的LSTM神經(jīng)網(wǎng)絡(luò)將上下文向量中的信息解碼成游客數(shù)量信息。

2.2 特征編碼器

X′p=fc256(Xp)

(4)

X′u=fc256(Xu)

(5)

X′n=fc256(Xn)

(6)

2.3 解碼器與注意力機(jī)制

(7)

(8)

(9)

(10)

(11)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 景區(qū)游客數(shù)據(jù)及實(shí)驗(yàn)建立

本文選取的數(shù)據(jù)集是從景區(qū)數(shù)據(jù)庫中獲取的真實(shí)數(shù)據(jù)。該數(shù)據(jù)集中包含了從陽歷2011-01-02～2017-07-05的數(shù)據(jù)，包括陽歷年、陽歷月、陽歷日、農(nóng)歷年、農(nóng)歷月、農(nóng)歷日、假期第幾天、假期總天數(shù)、氣溫上限、氣溫下限、天氣和游客數(shù)量。陰歷考慮到有閏月的情況，本文把閏月定義為閏的月份加0.5，即如果是閏4月，用4.5表示。另外天氣是非數(shù)值型數(shù)據(jù)，因此需要將天氣數(shù)據(jù)編碼，按照天氣的惡劣程度將天氣編碼。1到6的整數(shù)分別代表雪、雨、霧、陰、多云和晴。小數(shù)代表天氣的轉(zhuǎn)變，如5.6代表多云轉(zhuǎn)晴。

以時(shí)間步長為1，滑動(dòng)窗口為30提取樣本，同時(shí)將窗口后預(yù)測天數(shù)內(nèi)的游客數(shù)量作為該樣本的預(yù)測真值，隨機(jī)選擇80%的樣本作為訓(xùn)練集，20%的樣本作為測試集。使用Pytorch v1.6.0在NVIDIA GeForce GTX 1660Ti GPU上訓(xùn)練模型，訓(xùn)練的epoch設(shè)置為1000，并且在測試集上引入early-stopping機(jī)制，避免模型過擬合。使用均方誤差(mean squared error，MSE)為模型損失函數(shù)

(12)

此外，使用Adam優(yōu)化器優(yōu)化損失函數(shù)，學(xué)習(xí)率設(shè)置為0.0002，第一和第二矩估計(jì)的指數(shù)衰減率指數(shù)下降率和分別設(shè)置為0.5和0.999。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文的評(píng)價(jià)標(biāo)準(zhǔn)從兩個(gè)方面考慮，一是從模型的擬合能力方面，考慮均方根誤差(root mean squard error，RMSE)以及平均絕對誤差(mean absolute error，MAE)作為評(píng)價(jià)標(biāo)準(zhǔn)。二是從實(shí)際工程應(yīng)用方面，使用平均絕對百分比誤差(mean absolute percentage error，MAPE)作為評(píng)價(jià)標(biāo)準(zhǔn)

(13)

(14)

(15)

3.3 模塊重要性分析

3.3.1 注意力機(jī)制的影響

圖2說明了注意力機(jī)制對FSEAMNet預(yù)測誤差的影響。本文模型在圖中集中于左下角，相比于特征分離編碼的網(wǎng)絡(luò)模型(feature separation encoding network，F(xiàn)SENet)各種層數(shù)的編碼器和解碼器組合中的預(yù)測誤差都有明顯的下降。尤其是在最簡單的編碼器和解碼器層數(shù)的組合中，即一層編碼器和一層解碼器，誤差最多下降了65.38%。誤差下降最少也有26.89%，當(dāng)組合為3層編碼器，兩層解碼器時(shí)。圖3展示了不同輸入輸出對的注意力矩陣，行代表輸入時(shí)間步長，列代表輸出時(shí)間步長。可以看到，不同時(shí)間步的輸出對輸入序列的關(guān)注部分并不一樣，從圖中可以觀察到輸出序列隨時(shí)間步長向后的推移，對輸入序列的關(guān)注重點(diǎn)也在向后推移，使得不同時(shí)間步的輸出序列能夠捕捉到輸入序列中對當(dāng)前時(shí)刻更有價(jià)值的信息。注意力機(jī)制的引入使得解碼器獲得了聚焦功能，增強(qiáng)了模型對具有長時(shí)間依賴的序列的學(xué)習(xí)能力。

圖2 注意力機(jī)制的影響

圖3 注意力矩陣的可視化

3.3.2 特征分離的影響

圖4說明了特征分離對FSEAMNet預(yù)測誤差的影響。與統(tǒng)一編碼的FSEAMNet(FSEAMNet in unified encoding，F(xiàn)UE)相比，所提模型在圖中位置更加靠近左下方，表明模型的預(yù)測誤差有了顯著的下降。其中在一層編碼器和一層解碼器的組合中減少最多，誤差最多減少了50.84%。當(dāng)組合為3層編碼器和兩層解碼器時(shí)誤差最少減少有2.57%。結(jié)果驗(yàn)證使用獨(dú)立的編碼器對具有不同分布規(guī)律的特征分別進(jìn)行編碼，能夠使編碼器專注于學(xué)習(xí)和理解具有相似類型的分布特征規(guī)律，避免了信息雜亂，讓編碼效果更加出色，預(yù)測誤差有效減少。

圖4 特征分離的影響

3.4 景區(qū)客流量預(yù)測性能比較

本文將FSEAMNet與其它方法作了對比，如RF、XGBoost、LSTM、Bi-LSTM、FSENet以及FUE。表2展示了不同歷史時(shí)間窗口各個(gè)模型預(yù)測性能的細(xì)節(jié)對比，每個(gè)時(shí)間窗口最好的結(jié)果都加粗顯示。對于傳統(tǒng)方法RF和XGBoost，與更加適合時(shí)序問題建模的基于LSTM的模型比較，它們的預(yù)測誤差都排在靠前的位置。對于LSTM模型，Bi-LSTM的性能表現(xiàn)略好于單向的LSTM。對于擁有基于LSTM的Seq2Seq結(jié)構(gòu)的FSEAMNet，本文對比了將特征分離編碼但無注意力機(jī)制的FSENet，以及不區(qū)分特征分布規(guī)律但擁有注意力機(jī)制的FUE。在所有的歷史時(shí)間窗口中，基于Seq2Seq結(jié)構(gòu)的模型的預(yù)測結(jié)果更加準(zhǔn)確，特別是本文提出的FSEAMNet模型，在所有歷史時(shí)間窗口中的表現(xiàn)都是最好的。從表中可知，在歷史時(shí)間窗口為30時(shí)，本文模型在各項(xiàng)性能指標(biāo)中的表現(xiàn)均為最優(yōu)，展現(xiàn)了所提模型對于長時(shí)間序列優(yōu)秀的建模能力。在各指標(biāo)中，最多比RF下降82.80%，比XGBoost下降80.50%，比LSTM下降75.34%，比Bi-LSTM下降73.14%，比FSENet下降65.38%，比FUE下降51.82%。

表2 各模型性能表現(xiàn)對比

3.5 景區(qū)客流量預(yù)測案例分析

在實(shí)際工程應(yīng)用中，景區(qū)會(huì)利用所有的歷史數(shù)據(jù)作為模型的訓(xùn)練數(shù)據(jù)，然后用訓(xùn)練好的模型預(yù)測未來一周的客流量，根據(jù)預(yù)測的客流量做出相應(yīng)的一系列管理措施。本節(jié)模擬了10次獨(dú)立的工程應(yīng)用，即不是對同一周的客流量做重復(fù)預(yù)測。每一天預(yù)測客流量的MAPE如圖5所示。從結(jié)果上看，F(xiàn)SEAMNet對未來一周客流量預(yù)測的MAPE均小于10%，完全能夠滿足工程上的應(yīng)用要求。

圖5 預(yù)測客流量的MAPE

此外預(yù)測時(shí)可以大致分為兩種情況，一種情況是未來一周沒有包含節(jié)日，另一種情況是未來一周包含了節(jié)日的特殊情況。因此，針對這種特殊情況下模型的表現(xiàn)，本文也對FSEAMNet性能表現(xiàn)進(jìn)行了比較，如圖6所示。在圖6(a)的實(shí)驗(yàn)中，所要預(yù)測客流量的日期中沒有包含節(jié)日，而在圖6(b)的實(shí)驗(yàn)中，所要預(yù)測客流量的日期中第2天到第4天是勞動(dòng)節(jié)。從圖6(c)中可以看到，兩種情況下所提模型的每日MAPE都保持在10%以下，說明模型具有一定的魯棒性，但在無節(jié)日的情況時(shí)MAPE波動(dòng)較小，在有節(jié)日的情況時(shí)，MAPE在節(jié)日附近兩天有一定的波動(dòng)。

圖6 特殊案例

4 結(jié)束語

本文提出了適用于真實(shí)景區(qū)客流量預(yù)測的模型FSEAMNet。該模型根據(jù)特征的分布規(guī)律將特征分離并獨(dú)立編碼，泊松分布規(guī)律特征采用Bi-LSTM特征編碼器編碼，均勻分布和非均勻分布規(guī)律特征采用單向LSTM特征編碼器編碼，解碼器基于單向LSTM，并在加入注意力機(jī)制后得到聚焦編碼信息的能力，最后在解碼器的解碼信息中提取到未來客流量信息。在真實(shí)的景區(qū)客流量數(shù)據(jù)中對FSEAMNet進(jìn)行了驗(yàn)證。所提模型最小RMSE、MAE和MAPE分別為765.77、348.98和4.23，與其它模型相比誤差下降最多達(dá)82.80%。在工程案例分析中，每日MAPE均小于10%。實(shí)驗(yàn)結(jié)果表明，所提模型能夠較準(zhǔn)確的預(yù)測景區(qū)未來短期客流量，為景區(qū)管理者掌握未來客流量變化提供了一種可行的方法。