謝貴才,段 磊,蔣為鵬,肖 珊,徐一凡

(四川大學(xué) 計算機學(xué)院,四川 成都 610065)

隨著2018 年國家發(fā)布《智慧校園總體框架》標(biāo)準(zhǔn),集校園工作、學(xué)習(xí)和生活于一體的高校智慧校園正在逐漸成型.其中,基于數(shù)據(jù)分析、人工智能等信息技術(shù)支撐的校園公共區(qū)域人流量預(yù)測作為其重要組成部分,具有如下意義.

(1)校園公共區(qū)域人流量預(yù)測,對于維護學(xué)校安全,維持各區(qū)域的正常運營有重大意義,尤其是在面對疫情等突發(fā)事件時,預(yù)估和掌握校園公共區(qū)域的人員流動情況,可以輔助人流量控制和執(zhí)行消毒工作;

(2)對于學(xué)生而言,進行校園公共區(qū)域人流量預(yù)測可以有助于學(xué)生提前計劃和安排時間,避開人流高峰期前往圖書館、食堂等區(qū)域,既保證了公共資源的有效利用,也降低了公共區(qū)域的管理難度.

校園公共區(qū)域人流量預(yù)測包含多種場景應(yīng)用.以食堂為例,預(yù)測其人流量可避免人群擁擠,減少聚集隱患,同時優(yōu)化供餐服務(wù),減少食材浪費.以往食堂人流量預(yù)測由食堂管理人員根據(jù)平時積累的經(jīng)驗完成,即管理人員利用所在食堂的食材采購歷史記錄和消費人次兩種類型數(shù)據(jù),以同時段就餐人數(shù)或消費金額均值對食堂人流量進行估計.現(xiàn)有的估計方式不僅工作量巨大,而且由于參考數(shù)據(jù)有限,容易出現(xiàn)錯誤的預(yù)估人流量,不具有參考意義.圖1 展示了某高校A食堂和B食堂在2019 年6 月23 日～7 月6 日期間的人流量分布情況(橫軸表示時間,縱軸表示食堂人流量).

Fig.1 Pedestrian volume distributions of canteen A and canteen B圖1 某高校A 食堂和B 食堂人流量分布情況

從技術(shù)上講,校園公共區(qū)域的人流量預(yù)測問題具有如下挑戰(zhàn).

? 挑戰(zhàn)1:師生前往公共區(qū)域的行為具有不確定性,即師生選擇在何時到何地是不確定事件,只與個人鄰近時序片段的心理狀態(tài)或所面臨的環(huán)境事件等因素有關(guān),這為區(qū)域人流量預(yù)測問題增加了不確定性.由圖1 可知,第1 周(week 1)人流量高峰遠(yuǎn)高于第2 周(week 2)的人流量高峰,其原因是后一周正逢期末考試周;

? 挑戰(zhàn)2:校園公共區(qū)域人流量與學(xué)校教學(xué)安排直接相關(guān).學(xué)校教學(xué)安排以5 個工作日為一個教學(xué)周執(zhí)行教學(xué)計劃,因此在非工作日、法定節(jié)假日以及學(xué)?？荚嚨葧r間的人流量分布與工作日期間的差異較大,如圖1 中A食堂工作日與非工作日的人流量分布差異;

? 挑戰(zhàn)3:不同類型的公共區(qū)域人流量之間具有相關(guān)性,即:對于相對封閉的校園環(huán)境而言,校園中的總?cè)肆髁孔兓鶉@某一常數(shù)上下波動,因此,處于同一時刻的一個區(qū)域人流量變化會影響到其他區(qū)域的人流量.

目前,智慧校園的建設(shè)為校園公共區(qū)域人流量預(yù)測提供了良好的數(shù)據(jù)基礎(chǔ),將與人流量相關(guān)的屬性數(shù)據(jù)預(yù)測(如校園食堂人流量預(yù)測關(guān)注就餐人數(shù)以及消費記錄)當(dāng)作是時序預(yù)測問題.目前,已有很多學(xué)者在時序預(yù)測問題上進行了大量的研究[1?4].早期的時序預(yù)測模型只能針對相對平穩(wěn)且呈線性變化的數(shù)據(jù)進行預(yù)測[1,5],很難與校園公共區(qū)域這類數(shù)據(jù)相適應(yīng).傳統(tǒng)機器學(xué)習(xí)方法雖然可以對復(fù)雜的關(guān)系進行建模,卻無法有效捕獲校園公共區(qū)域人流量數(shù)據(jù)中的短時依賴和長時周期模式,并且這類方法很大程度上需要依賴于特征工程.近年來,深度學(xué)習(xí)技術(shù)在時序任務(wù)上得到越來越多的關(guān)注.其中,卷積神經(jīng)網(wǎng)絡(luò)模型被用于從序列中提取平移不變的局部模式特征進行動作識別[6,7],而循環(huán)神經(jīng)網(wǎng)絡(luò)也被用于捕獲時序任務(wù)的時間規(guī)律[2,8].但將神經(jīng)網(wǎng)絡(luò)模型融合到校園區(qū)域人流量數(shù)據(jù)中,同時捕獲不同尺度的時序模式和變量局部依賴性,目前仍在探索之中.

為應(yīng)對上文提到的挑戰(zhàn),本文提出一種基于深度學(xué)習(xí)的多尺度時序卷積網(wǎng)絡(luò)MSCNN(multi-scale temporal patterns convolution neural networks)模型.該模型通過短時模式組件捕獲區(qū)域人流量序列的短時依賴時序模式(挑戰(zhàn)1、挑戰(zhàn)3),提出長時模式組件來捕獲長時周期時序模式(挑戰(zhàn)2、挑戰(zhàn)3),設(shè)計一種融合組件對不同卷積運算輸出結(jié)果進行特征融合和重標(biāo)定來得到最終的預(yù)測結(jié)果.本文的主要貢獻概括如下:

(1)考慮校園公共區(qū)域人流量數(shù)據(jù)的短時依賴、長時周期時序模式特征和變量空間的局部依賴關(guān)系,并分別利用短時模式組件和長時模式組件分別建模獲取這些特征;

(2)提出一種融合多尺度時序模式特征的融合組件,并對融合的結(jié)果進行重標(biāo)定實現(xiàn)對校園公共區(qū)域任一時段人流量進行預(yù)測;

(3)在真實校園人流量監(jiān)測數(shù)據(jù)集和公開數(shù)據(jù)集上進行實驗,驗證本文模型的有效性和執(zhí)行效率都優(yōu)于現(xiàn)有的預(yù)測方法.

本文第1 節(jié)介紹國內(nèi)外關(guān)于時序預(yù)測問題以及校園數(shù)據(jù)預(yù)測的應(yīng)用研究.第2 節(jié)對校園公共區(qū)域人流量預(yù)測問題及文中使用的符號進行了定義.第3 節(jié)詳述MSCNN 模型的結(jié)構(gòu)設(shè)計.第4 節(jié)在真實校園數(shù)據(jù)集和公開數(shù)據(jù)集上進行實驗驗證與分析.第5 節(jié)總結(jié)全文并對未來工作進行展望.

1 相關(guān)工作

1.1 時序預(yù)測

校園公共區(qū)域人流量預(yù)測是一個典型的時序預(yù)測問題.現(xiàn)有的時序預(yù)測方法主要分為基于統(tǒng)計學(xué)的方法和基于深度學(xué)習(xí)的方法.

基于統(tǒng)計學(xué)的方法包括回歸模型和非參數(shù)模型.差分滑動平均自回歸模型ARIMA[1,9]利用統(tǒng)計模型對數(shù)據(jù)序列進行描述和預(yù)測,可適用于各種指數(shù)平滑技術(shù),且具有足夠的靈活性,如自回歸模型(AR)、移動平均模型(MA)和滑動平均自回歸模型(ARMA)都是其延伸.向量自回歸模型(VAR)[1]是單變量自回歸模型推廣到多變量場景的體現(xiàn),可將預(yù)測場景中的每一個變量作為所有變量的滯后值函數(shù)構(gòu)造模型.此外,時序預(yù)測問題還可以視為具有時間變化參數(shù)的標(biāo)準(zhǔn)回歸問題,如線性支持向量回歸(SVR)將時變參數(shù)當(dāng)作是回歸損失函數(shù)的超參數(shù)進行學(xué)習(xí).但這類方法無法捕捉變量之間的非線性依賴關(guān)系,不適用于校園公共區(qū)域人流量預(yù)測.高斯過程模型(GP)[10]是一種在連續(xù)域上模擬分布的非參數(shù)模型,它可以作為貝葉斯推理的函數(shù)先驗來處理非線性空間的關(guān)系.但由于其計算過程中涉及到矩陣求逆運算,增加了模型預(yù)測的計算復(fù)雜度.

近年來,基于深度學(xué)習(xí)的方法被廣泛應(yīng)用在多個領(lǐng)域的研究任務(wù)中,包括時序預(yù)測任務(wù).文獻[3,4]將ARIMA 模型和多層感知機MLP 相結(jié)合,提出一個混合模型用于時序預(yù)測.文獻[6]利用卷積神經(jīng)網(wǎng)絡(luò)CNN,從輸入序列數(shù)據(jù)中提取平移不變的局部模式作為特征,從而進行動作序列分類.Dasgupta 等人[2]對傳統(tǒng)的動態(tài)玻爾茲曼機(DyBM)和循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 進行結(jié)合,捕捉時間序列中的依賴關(guān)系,實現(xiàn)對多元時序數(shù)據(jù)的預(yù)測.長短時記憶網(wǎng)絡(luò)LSTM[11]及門控循環(huán)單元GRU 是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN[8]的重要變體,具有額外的記憶控制門和記憶單元,可以存儲歷史信息,在時序數(shù)據(jù)分析中得到了廣泛應(yīng)用.Lai 等人[12]設(shè)計了LSTNet 模型進行多變量時序預(yù)測,該模型利用CNN 和GRU 獲取變量之間的短時局部依賴性和長時時序趨勢模式,并使用自回歸組件來解決神經(jīng)網(wǎng)絡(luò)模型的尺度不敏感問題,在多變量時序預(yù)測任務(wù)上取得了前沿的結(jié)果.Shih 等人[13]基于LSTM 和CNN模型提出了TPA-LSTM 方法,該方法利用LSTM 獲取時序數(shù)據(jù)的時間相關(guān)性,并利用多個步驟結(jié)合CNN 模型獲取變量間的注意力分?jǐn)?shù)來進行多變量預(yù)測.但GRU 和LSTM 的網(wǎng)絡(luò)結(jié)構(gòu)天然存在梯度消失的問題,對于長期時序趨勢模式的捕獲能力有限,并且會產(chǎn)生較高的計算代價.

1.2 校園數(shù)據(jù)挖掘

校園數(shù)據(jù)挖掘近年來受到廣泛的研究關(guān)注.目前,校園數(shù)據(jù)挖掘主要關(guān)注于學(xué)生的學(xué)習(xí)表現(xiàn),從而提高學(xué)生學(xué)習(xí)質(zhì)量,完善教育管理.例如:Li 等人[14]提出了一個基于深度學(xué)習(xí)的順序預(yù)測框架SPDN,利用學(xué)生網(wǎng)課的在線學(xué)習(xí)記錄和校園網(wǎng)網(wǎng)絡(luò)日志預(yù)測學(xué)生的學(xué)習(xí)成績;Zhang 等人[15]借助學(xué)生校園卡行為數(shù)據(jù)對學(xué)生的學(xué)業(yè)表現(xiàn)進行預(yù)測,并根據(jù)預(yù)測結(jié)果進行學(xué)業(yè)預(yù)警;Zhang 等人[16]結(jié)合學(xué)生基本信息,如年齡、所屬專業(yè)、學(xué)業(yè)評估考試分?jǐn)?shù)及每學(xué)期平均績點等數(shù)據(jù),對學(xué)生的輟學(xué)風(fēng)險進行預(yù)測.除了學(xué)生的學(xué)習(xí)過程,學(xué)生的興趣愛好預(yù)測也引起了研究者的注意:Peng 等人[17]試圖通過學(xué)生的校園消費記錄和軌跡信息,對大學(xué)生的網(wǎng)絡(luò)成癮水平進行估計,從而預(yù)測學(xué)生的網(wǎng)絡(luò)成癮傾向;Hang 等人[18]對教育簽到數(shù)據(jù)進行分析,在學(xué)生的校園WiFi 訪問日志的數(shù)據(jù)基礎(chǔ)上,用異構(gòu)圖對學(xué)生、興趣點和活動之間的相似性進行編碼,用來預(yù)測學(xué)生的興趣點;Wei 等人[19]提出了一個基于改進的Harris-Hawks 優(yōu)化器預(yù)測模型,并且利用學(xué)生基本信息以及校園創(chuàng)新創(chuàng)業(yè)實踐等數(shù)據(jù)對學(xué)生的創(chuàng)業(yè)興趣進行預(yù)測.現(xiàn)有的校園數(shù)據(jù)預(yù)測工作大都是將學(xué)生作為研究對象,聚焦教育研究與教學(xué)實踐相關(guān)的問題.但是,將學(xué)校作為研究對象,對學(xué)校公共區(qū)域進行人流量預(yù)測以維護校園安全,提升校園管理水平的研究工作尚處于起步階段.

校園公共區(qū)域人流量預(yù)測研究問題的核心在于如何有效捕獲人流量序列中的短時依賴和長時周期時序模式,并考慮多區(qū)域之間的相互依賴關(guān)系.由于校園會存在多個類型相同的公共區(qū)域,如不同校區(qū)的圖書館、多個教學(xué)樓或食堂,而利用基于統(tǒng)計學(xué)的研究往往不能針對多個時序變量同時進行預(yù)測,因此無法被直接應(yīng)用于校園公共區(qū)域人流量預(yù)測.并且,校園區(qū)域人流量變化具有的短時依賴和長時周期時序特性都是人流量預(yù)測的重要依據(jù),現(xiàn)有基于深度學(xué)習(xí)的方法無法直接對區(qū)域人流量數(shù)據(jù)的多尺度模式同時進行考慮,預(yù)測結(jié)果不夠準(zhǔn)確.因此,需要一種模型能夠同時融合校園多區(qū)域人流量數(shù)據(jù)的多尺度時序模式進行人流量預(yù)測.

2 問題定義

校園人流量序列是反映校園特定區(qū)域人流量變化的時間序列.用表示第d個區(qū)域在t時段的人流量,fd=(xd1,xd2,…,xdT)∈?T表示校園某區(qū)域在歷史T個時段內(nèi)的人流量序列,(f1,f2,…,fD)∈?T×D表示校園D個區(qū)域在T個時段的所有人流量序列.

定義(區(qū)域人流量預(yù)測).給定待預(yù)測區(qū)域個數(shù)D,表示這D個區(qū)域在t時刻的人流量,令F=(X1,X2,…,XT)∈?T×D為輸入歷史人流量序列,預(yù)測T+h時段D個待預(yù)測區(qū)域人流量:

其中,h表示目標(biāo)時段距離當(dāng)前時段T的時延.

對于不同的數(shù)據(jù)集,h值代表的含義取決于特定任務(wù)的實際需求.例如:對于高校食堂人流量預(yù)測,輸入人流量序列F=(X1,X2,…,XT)∈?T×D的時間度量單位為小時.設(shè)XT∈?D為D個食堂中午12:00～13:00 時段的人流量,h=6 表示預(yù)測6 小時后D個食堂18:00～19:00 時段內(nèi)的就餐人數(shù).表1 列出了本文中主要使用的符號定義.

Table 1 Symbol notation表1 符號表示

3 基于深度學(xué)習(xí)的多尺度時序模式卷積網(wǎng)絡(luò)

校園公共區(qū)域人流量預(yù)測會受到不同尺度的時序模式影響,呈現(xiàn)出不同的數(shù)據(jù)表征.例如,預(yù)測校園某公共區(qū)域2019 年7 月20 日下午17:30～18:00 時段的人流量,與預(yù)測時段直接相鄰的時段(如7 月20 日17:00～17:30)、對應(yīng)1 天前的相同時段(如7 月19 日17:30～18:00)以及1 周前的相同時段(7 月13 日17:30～18:00)的人流量數(shù)據(jù)均能提供有用信息,而當(dāng)日上午07:00～07:30 的人流量數(shù)據(jù)提供的信息會少很多.為了得到充分的時序信息,同時減少不相關(guān)歷史信息帶來的影響,我們設(shè)計短時模式組件(第3.1 節(jié))和長時模式組件(第3.2 節(jié))分別捕獲區(qū)域人流量數(shù)據(jù)的多尺度模式特征,并利用融合組件(第3.3 節(jié))對獲取的特征進行融合學(xué)習(xí)和重標(biāo)定,以提升對預(yù)測目標(biāo)有益的特征并抑制用處不大的特征.MSCNN 的總體架構(gòu)如圖2 所示.

Fig.2 Architecture of MSCNN圖2 MSCNN 模型架構(gòu)圖

3.1 短時模式組件

短時模式組件主要捕獲短時時序片段FS=(XT?S+1,XT?S+2,…,XT)∈?S×D的模式特征,即與預(yù)測時段直接相鄰的一段歷史時間序列片段.直觀地,校園公共區(qū)域人數(shù)的聚集和分散是逐漸形成的,一個區(qū)域上一時段的人流量會對下一時段的人流量產(chǎn)生很大的影響.例如:某食堂的就餐人數(shù)達到上限,會使大部分人選擇更換食堂就餐,從而致使食堂下一時段的就餐人數(shù)減少.在MSCNN 模型中,采用CNN 卷積運算來捕獲這種短時時序片段模式和不同區(qū)域間存在的局部依賴關(guān)系.

CNN 卷積核的大小反映了一個單元的狀態(tài)由多大范圍內(nèi)的鄰近單元狀態(tài)所決定.對于短時模式組件,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.

Fig.3 Structure of the short-term pattern component圖3 短時模式組件結(jié)構(gòu)

可以發(fā)現(xiàn),短時時序片段在輸入空間中表現(xiàn)為相鄰的單元.設(shè)置K個大小為6×D的卷積核對短時時序片段FS進行卷積操作,可以捕獲到短時行為時序模式和變量之間的局部依賴性.其中,用第k層卷積核對FS進行卷積操作:

3.2 長時模式組件

長時模式組件主要捕獲長時周期的時序片段FL=(XT-L+1,XT-L+2,…,XT)∈?L×D的模式特征,即與預(yù)測時段具有相同時序片段或相同星期屬性的片段組成.以校園食堂場景為例,由于受到食堂營業(yè)時間、固定的教學(xué)作息規(guī)律等因素影響,食堂流量數(shù)據(jù)存在明顯的周期性,如每周星期三的食堂人流量變化情況與歷史星期三的人流量變化類似.對此,長時模式組件的目的就是要捕獲食堂流量數(shù)據(jù)中不同間隔時段中含有周期或相似性的長時周期模式.同樣地,長時模式組件也考慮了不同食堂之間相互依賴影響的因素.

與短時模式組件相同,利用卷積操作來捕獲上述提到的特征.不同的是:為了捕獲長時周期模式,我們基于Dilated 卷積設(shè)置了skip 卷積運算來實現(xiàn)該目標(biāo),網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示.

Fig.4 Structure of the long-term pattern component圖4 長時模式組件結(jié)構(gòu)

設(shè)置K個卷積核對長時周期的時序片段FL進行卷積操作,與普通卷積不同的是,skip 卷積操作是對于選定的FL片段執(zhí)行跳躍skip 個單元進行運算.此外,MSCNN 模型設(shè)置3 種不同維度的skip 卷積核分別捕獲不同的長時周期模式特征.詳細(xì)如下.

? 2-skip 片段:選定與預(yù)測時段間隔skip 的每2 個時段形成的片段:

此時,卷積核大小為2×D.則可以得到卷積輸出

? 3-skip 片段:通過選定與預(yù)測時段間隔skip 的每3 個時段形成的片段:

令卷積核大小為3×D,可以得到卷積輸出為

? 5-skip 片段:選定與預(yù)測時段間隔skip 的每5 個時段形成的片段:

設(shè)置卷積核大小為5×D,那么得到卷積輸出

與公式(1)中的參數(shù)描述相同,3 種不同維度的skip 卷積輸出,與短時模式組件輸出具有類似可學(xué)習(xí)的權(quán)重和偏置參數(shù).為保證執(zhí)行skip 卷積時能對原始數(shù)據(jù)空間的所有序列單元進行卷積計算,對長時模式組件的輸入序列FL進行向下zero-padding 操作,經(jīng)過K個卷積核后,分別得到維度為K×Q2×1,K×Q3×1 和K×Q4×1 的3 種輸出結(jié)果.

3.3 融合組件

融合組件由兩個子件組成,其中,一個子件用于將短時模式和長時模式組件捕獲到的特征進行融合,另一個子件用于特征的重標(biāo)定以便預(yù)測到更加準(zhǔn)確的結(jié)果.該組件的核心依賴于 SENet(squeeze and exicitation network)[20]模型對不同的特征維度上的信息進行聚合.圖5 展示了融合組件的具體結(jié)構(gòu)和運算過程.

Fig.5 Structure of the fusion component圖5 融合組件結(jié)構(gòu)

(1)多尺度時序模式特征融合

為了將短時模式和長時模式組件獲取的多尺度時序模式特征信息融合,以便進行后一步分析.由于卷積核不同的設(shè)置,輸出的結(jié)果維度不同,即Qj≠Q(mào)j(i≠j,i,j∈{1,2,3,4}).對于不同大小和類別的卷積核映射得到的4 個不同維度的卷積輸出,由于其卷積核個數(shù)始終為K,因此可以通過Global Average Pooling 保留全局有用信息得到4個維度相同的K×1×1 采樣結(jié)果,直接進行拼接后可得到K×4×1 的特征融合結(jié)果.

(2)多尺度時序模式特征重標(biāo)定

通過卷積運算捕獲的多尺度時序模式特征可以視作是局部感受野在空間(變量空間)和特征維度(不同尺度模式)的信息聚合,其輸出結(jié)果可以理解為不同變量在不同特征空間上信息的聚合.因此,基于SENet 組件對卷積映射的時序模式特征進行重新標(biāo)定,獲取不同時序長度和待預(yù)測時段的新模式特征.具體的實現(xiàn)方法見圖5所示的Squeeze 和Excitation 流程.

對于融合的K×4×1 多模式時序特征,首先進行Squeeze 操作,對空間維度進行特征壓縮得到K×1×1 的一維實數(shù),表示在特征通道上的空間特征全局分布;其次是Excitation 操作,即通過兩個全連接層分別對空間特征通道間的相關(guān)性進行學(xué)習(xí)生成權(quán)重,即與融合結(jié)果具有相同維度的重標(biāo)定權(quán)重,表示不同特征通道的重要性.需要注意的是:經(jīng)過第一個全連接層時,將通道壓縮比例設(shè)定為16;最后通過權(quán)重更新對融合結(jié)果進行重標(biāo)定,得到與原始特征具有相同維度K×4×1 的特征映射更新結(jié)果.

對于融合得到的特征,采用傳統(tǒng)CNN 對序列數(shù)據(jù)進行預(yù)測的結(jié)構(gòu),經(jīng)過全連接層后可以得到預(yù)測目標(biāo),全連接模塊同樣使用RELU 作為激活函數(shù).在該網(wǎng)絡(luò)結(jié)構(gòu)中,選擇預(yù)測任務(wù)常用的平方誤差作為損失函數(shù),如下式所示:

其中,||?||F表示矩陣范數(shù),h為第2 節(jié)提到的目標(biāo)時段距離當(dāng)前時段的時延.

4 實驗與分析

4.1 實驗環(huán)境設(shè)置

4.1.1 實驗數(shù)據(jù)集

本文選取的真實校園數(shù)據(jù)來源于某高校,使用該校2019 年3 月3 日～7 月20 日春季學(xué)期期間某校區(qū)的全校師生校園一卡通數(shù)據(jù).該校區(qū)日常管理較為嚴(yán)格,校外人員無法隨意進出該校區(qū),該校區(qū)學(xué)生在校內(nèi)的所有消費可通過校園一卡通完成.出于數(shù)據(jù)隱私保護的角度,所選數(shù)據(jù)集無法直接公開,因此本文選擇了1 個與真實校園數(shù)據(jù)同樣具有周期性表現(xiàn)的時序數(shù)據(jù)集進行有效性驗證.數(shù)據(jù)集詳細(xì)介紹如下.

? Canteen-Dining:該高校2019 年春季學(xué)期某校區(qū)全校師生的校園一卡通消費數(shù)據(jù),以每30 分鐘為時間間隔統(tǒng)計全校師生在21 個食堂的人流量記錄,其中,同一時段的同一校園卡ID 視為單人記錄,序列長度為6 720.實驗中,將前12 個教學(xué)周為訓(xùn)練集,中間4 個教學(xué)周為驗證集,后4 個教學(xué)周為測試集;

? Canteen-Consumption:該高校2019 年春季學(xué)期某校區(qū)21 個食堂的流水記錄,即各個食堂每間隔半小時的消費總金額.基于各食堂消費水平,可側(cè)面反映出食堂的消費人數(shù).訓(xùn)練集、驗證集和測試集的劃分與上一個數(shù)據(jù)集相同;

? Solar-Energy(https://www.nrel.gov/grid/solar-power-data.html):Alabama 州級2006 年太陽能生產(chǎn)記錄,包含137 個光伏發(fā)電廠每間隔10 分鐘讀取的太陽能發(fā)電數(shù)據(jù).序列長度為52 560.其中,前219 天作為訓(xùn)練集,中間73 天作為驗證集,后73 天作為測試集.

為了顯示時序數(shù)據(jù)集中的短時或者長時周期重復(fù)模式特征,通過繪制自相關(guān)圖對一個時序信號Xt與其自身在不同時刻的互相關(guān)程度進行表示,記為R(τ):

其中,μ和σ分別表示時序信號Xt的均值和標(biāo)準(zhǔn)差.在計算時,使用無偏估計量來得到自相關(guān)系數(shù).為便于觀察,我們從數(shù)據(jù)集中隨機選擇3 個變量進行展示,數(shù)據(jù)集所有變量的自相關(guān)圖可在模型源碼鏈接(https://github.com/striver314/MSCNN)中查看.

如圖6 所示,實驗所選用的3 個數(shù)據(jù)集均存在較高自相關(guān)性的重復(fù)模式.進一步地,從圖6(a)、圖6(b)中可觀察到,校園真實數(shù)據(jù)集的短時重復(fù)模式(每間隔24 小時)和長時重復(fù)模式(每間隔7 天);從圖6(c)中可看出,公開數(shù)據(jù)集的重復(fù)模式是每間隔24 小時1 次.

Fig.6 Autocorrelation analysis w.r.t time lag on three datasets圖6 3 個數(shù)據(jù)集隨時間滯后的自相關(guān)分析

4.1.2 模型參數(shù)設(shè)置

本文的實驗環(huán)境為Intel(R)Xeon(R)CPU E5-2698 v3@2.30GHz,并基于Pytorch 1.5.1 框架,使用Python 3.7來實現(xiàn)MSCNN 模型.其中,短時模式和長時模式組件中均使用100(K=100)個相同大小的卷積核,并保證卷積核沿空間軸維度始終為D.此時,融合組件中Excitation 操作的結(jié)果取整為100/16=6.由于輸入數(shù)據(jù)的長度會對實驗結(jié)果產(chǎn)生影響,實驗中設(shè)定與基準(zhǔn)方法LSTNet-Skip[12]相同的序列長度24×7 作為預(yù)測序列窗口長度.每次實驗均執(zhí)行50 個Epoch 得到預(yù)測結(jié)果.

由于校園真實數(shù)據(jù)的私密性,我們只將實驗采用的公開數(shù)據(jù)集以及MSCNN 模型源碼均存放于https://github.com/striver314/MSCNN.

4.1.3 基準(zhǔn)方法

本文選取相關(guān)工作中提到的7 種時序預(yù)測方法與MSCNN 模型進行比較.

? HA:歷史均值法,使用預(yù)測序列窗口長度的歷史序列的平均值作為預(yù)測目標(biāo)的值;

? AR:標(biāo)準(zhǔn)自回歸模型,相當(dāng)于一維的向量自回歸VAR 模型;

? LRidge:具有L2 正則化項的向量自回歸模型,被廣泛應(yīng)用在多變量時序預(yù)測問題中;

? LSVR[21]:具有支持向量回歸目標(biāo)函數(shù)的向量自回歸模型;

? LSTM[8,11]:長短時記憶網(wǎng)絡(luò),作為一種特殊的RNN,其時間記憶性能夠在一定程度上解決序列數(shù)據(jù)的時間依賴問題;

? LSTNet-Skip[12]:帶有Skip RNN 層的LSTNet 模型,利用CNN 和GRU 分別捕獲短時局部依賴和長時趨勢模式;

? TPA-LSTM[13]:帶有注意力機制的長短時記憶網(wǎng)絡(luò)模型,捕獲時序數(shù)據(jù)的時間相關(guān)性.

4.1.4 評價指標(biāo)

本文采用相對平方誤差(RSE)、經(jīng)驗相關(guān)系數(shù)(CORR)以及預(yù)測準(zhǔn)確率(Accuracy@E)這3 種度量標(biāo)準(zhǔn)來評估模型的預(yù)測性能(其中,預(yù)測準(zhǔn)確率是同一時段內(nèi)觀測值與預(yù)測值的誤差絕對值在最大允許誤差E以內(nèi)的樣本數(shù)占所有測試樣本的比例.對于不同的數(shù)據(jù)集,最大允許誤差E的取值及表示含義有所不同).

? 相對平方誤差的計算公式如下所示:

? 經(jīng)驗相關(guān)系數(shù)的計算公式如下所示:

? 預(yù)測準(zhǔn)確率的計算公式如下所示:

4.2 有效性實驗

本文提出的MSCNN 模型在數(shù)據(jù)集Canteen-Dining,Canteen-Consumption 和Solar-Energy 上與第4.1.3 節(jié)中提到的7 種基準(zhǔn)方法進行了比較.我們測試了這些模型在不同時間間隔h(即目標(biāo)時段距離當(dāng)前時段的時延)的預(yù)測精度.表2 記錄了h分別取3,6,12,24 時,這些模型在Canteen-Dining 和Canteen-Consumption 數(shù)據(jù)集上未來1.5 小時～12 小時內(nèi)的預(yù)測結(jié)果,以及在Solar-Energy 數(shù)據(jù)集上未來30 分鐘～240 分鐘內(nèi)的預(yù)測結(jié)果.

表2 表明:隨著h逐漸增大時,預(yù)測難度會增大,但本文提出的MSCNN 模型在多數(shù)情況下的RSE 和CORR兩種評價指標(biāo)中均取得更好的結(jié)果.特別地,在食堂就餐人數(shù)數(shù)據(jù)集Canteen-Dining 中,MSCNN 模型取得上述方法中最優(yōu)的結(jié)果,在h取3 預(yù)測未來1.5 小時內(nèi)的就餐人數(shù)時,MSCNN 模型較LSTNet-Skip 模型提升了1.9%,較TPS-LSTM 模型提升了7.5%.為了進一步驗證模型預(yù)測性能的穩(wěn)定性,我們將上述方法在3 個數(shù)據(jù)集上的RSE 和CORR 指標(biāo)隨著h的變化通過圖7 和圖8 進行展示.從整體情況來看,MSCNN 模型隨著h的增加,其預(yù)測結(jié)果在3 個數(shù)據(jù)集上的波動程度與預(yù)測任務(wù)的難度波動具有一致性,即預(yù)測結(jié)果隨著h的增大而降低.在2個真實校園數(shù)據(jù)集中,波動程度最大的是TPA-LSTM 模型.而在公開數(shù)據(jù)集上,MSCNN 模型和LSTNet-Skip 和TPA-LSTM 這3 種方法的整體預(yù)測結(jié)果相似,均遠(yuǎn)勝于其他時序預(yù)測方法.

Table 2 Experimental results (in RSE and CORR)of all methods on three datasets表2 所有方法在3 個數(shù)據(jù)集上的實驗結(jié)果(RSE 和CORR)

Fig.7 Performance (in RSE)of all methods on three datasets with different h圖7 所有方法在3 個數(shù)據(jù)集上隨著h 變化的實驗結(jié)果(RSE)

Fig.8 Performance (in CORR)of all methods on three datasets with different h圖8 所有方法在3 個數(shù)據(jù)集上隨著h 變化的實驗結(jié)果(CORR)

此外,考慮到模型的實際應(yīng)用場景需要準(zhǔn)確了解不同時段的人流量分布情況,結(jié)合最大允許誤差E選取的實際意義,我們以數(shù)據(jù)集Canteen-Dining 為例,最大允許誤差E表示某個食堂的人流量預(yù)測值的誤差極限值,計算LSTNet-Skip,TPA-LSTM 以及MSCNN 這3 種方法在h=3 的Accruacy@E指標(biāo),結(jié)果如表3 所示.可以發(fā)現(xiàn):在食堂人流量預(yù)測問題中選取的5 個不同誤差的Accuracy@E指標(biāo),MSCNN 模型在4 個指標(biāo)中都取得了最優(yōu)的結(jié)果.

Table 3 Result of Accuracy@E (h=3)on Canteen-dining dataset表3 Canteen-dining 數(shù)據(jù)集的Accuracy@E(h=3)結(jié)果

同時,為了證明MSCNN 模型在食堂人流量數(shù)據(jù)中對短時依賴和長時周期的多尺度時序模式的捕獲能力,我們繪制了h=3 時,單個食堂在未來一天內(nèi)預(yù)測值和真實值的對比結(jié)果,如圖9 所示.其中,圖9(a)為LSTNet-skip模型的對比結(jié)果,圖9(b)為MSCNN 模型的對比結(jié)果.可以明顯看出:MSCNN 模型可以更加準(zhǔn)確地預(yù)測到每天不同時段的人流量分布情況,而LSTNet-skip 模型在人流量高峰期的預(yù)測值與觀測值有較大的誤差,進一步驗證了MSCNN 模型可以更為準(zhǔn)確地捕獲到多尺度時序模式特征.

Fig.9 Predicted data (h=3)of LSTNet and MSCNN vs.obsvered data on Canteen-dining dataset圖9 LSTNet-Skip 和MSCNN 在數(shù)據(jù)集Canteen-dining 上,單個食堂的預(yù)測值(h=3)與觀測值對比情況

綜上,分析實驗結(jié)果可得到如下3 點結(jié)論.

(1)對比MSCNN 和HA 結(jié)果發(fā)現(xiàn):MSCNN 模型的效果明顯優(yōu)于僅根據(jù)歷史時序片段的均值進行估計的模型HA.這是由于人流量預(yù)測是一個復(fù)雜非線性且受綜合因素影響的問題,從另一個方面也說明了依靠經(jīng)驗進行預(yù)測會產(chǎn)生較大的誤差;

(2)對比MSCNN,AR,LRidge 和LSVR 模型可以發(fā)現(xiàn):與這些基于統(tǒng)計學(xué)的模型相比,MSCNN 模型可以取得更加穩(wěn)定且準(zhǔn)確的預(yù)測結(jié)果.這是因為其他模型對于非線性數(shù)據(jù)無法很好地擬合,并且在多變量時序預(yù)測場景下,這些模型未考慮變量之間的依賴性;

(3)對比MSCNN,LSTM,LSTNet-Skip 和TPA-LSTM 模型可以發(fā)現(xiàn):MSCNN 模型要優(yōu)于現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)方法的相關(guān)模型,主要體現(xiàn)在模型預(yù)測性能的穩(wěn)定性、預(yù)測誤差以及與真實數(shù)據(jù)的擬合效果等多個方面.這是由于MSCNN 模型捕獲了多尺度時序模式特征,相較于只獲取單一時序模式的方法效果更好.

4.3 時間性能分析

表4 展示了上述4 種基于神經(jīng)網(wǎng)絡(luò)的方法(即MSCNN,LSTM,LSTNet-Skip,TPA-LSTM)在真實數(shù)據(jù)集上的模型訓(xùn)練時間和測試時間.所有模型的訓(xùn)練過程都在相同的實驗環(huán)境和實驗參數(shù)下完成.

Table 4 Comparison on training time and test time of four methods表4 4 種模型訓(xùn)練時間和預(yù)測時間對比

相較于與其他3 種基于LSTM 的模型(LSTM,LSTNet-skip,TPA-LSTM),僅在模型內(nèi)部使用CNN 結(jié)構(gòu)的MSCNN 模型在訓(xùn)練時間和測試時間上明顯少于另外3 種方法.隨著數(shù)據(jù)規(guī)模的增大,這樣的優(yōu)勢會逐漸擴大.對于校園公共區(qū)域人流量預(yù)測和控制可以得到更好的應(yīng)用.

4.4 消融實驗

為驗證MSCNN 模型設(shè)計的有效性和合理性,我們使用真實校園數(shù)據(jù)集進行消融實驗.每次對模型移除一個組件,并與MSCNN 模型進行對比驗證各組件的效率.將沒有不同組件的模型進行命名用作實驗區(qū)分.

? MSCNNw/oCNN:MSCNN 模型沒有短時模式組件捕獲短時依賴時序特征;

? MSCNNw/oSkip:MSCNN 模型沒有長時模式組件捕獲長時周期模式特征;

? MSCNNw/oSENet:MSCNN 模型沒有融合組件進行多尺度時序模式特征重擬定.

圖10 和圖11 分別展示了消融實驗在不同真實數(shù)據(jù)集上,RSE 和CORR 指標(biāo)的結(jié)果.

Fig.10 Results (in RSE)of MSCNN in the ablation test on Canteen-dining and Canteen-consumption datasets圖10 MSCNN 模型在數(shù)據(jù)集Canteen-dining 和Canteen-consumption 上的消融實驗結(jié)果(RSE)

Fig.11 Results (in CORR)of MSCNN in the ablation test on Canteen-dining and Canteen-consumption datasets圖11 MSCNN 模型在數(shù)據(jù)集Canteen-dining 和Canteen-consumption 上的消融實驗結(jié)果(CORR)

可以看出:短時模式組件對實驗結(jié)果影響最大,沒有短時模式組件的MSCNN 模型在兩個指標(biāo)上均取得最差結(jié)果.而沒有長時模式組件的 MSCNN 模型在 RSE 指標(biāo)上取得更好的結(jié)果(h=3,6,12);但在h=24 時,MSCNNw/oSkip 模型的結(jié)果較差.這意味著沒有長時模式組件無法預(yù)測未來時長較長的結(jié)果.融合組件對實驗結(jié)果的影響出現(xiàn)較大波動,對MSCNN 模型的效果提升所起到的作用較小.

5 總結(jié)

本文提出一種基于深度學(xué)習(xí)的多尺度時序卷積網(wǎng)絡(luò)MSCNN,以對校園公共區(qū)域人流量進行預(yù)測.MSCNN模型利用短時模式和長時模式組件捕獲多尺度時序數(shù)據(jù)中的短時依賴、長時周期模式和變量相互依賴特征,并利用融合組件對特征進行融合和重標(biāo)定.在真實校園環(huán)境數(shù)據(jù)集上的實驗表明:本文提出的MSCNN 模型的預(yù)測效果優(yōu)于其他已有的校園區(qū)域人流量數(shù)據(jù)預(yù)測方法,驗證了該模型在捕獲多尺度時序模式方面的優(yōu)勢.

下一步,我們將通過注意力機制等方法來優(yōu)化MSCNN 模型,并把校內(nèi)各公共區(qū)域之間的依賴關(guān)系考慮進來,以提升模型的預(yù)測精度.同時優(yōu)化MSCNN 模型中不同尺度模式特征的融合組件,拓寬應(yīng)用場景.