郭全盛,李 棟,張 蕾,魏楚元

(北京建筑大學(xué)電氣與信息工程學(xué)院，北京 100044)

1 引言

近年來，隨著城市不斷擴(kuò)張，諸如環(huán)境污染、疾病爆發(fā)、交通事故和能源消耗、社會(huì)暴力和種族矛盾等問題日益加劇，給城市精細(xì)化管理帶來許多負(fù)面影響。城市發(fā)展具有復(fù)雜性、階段性、區(qū)域性、相對(duì)性等特點(diǎn)，涉及經(jīng)濟(jì)、社會(huì)、環(huán)境、文化和空間等諸多方面的問題，是國(guó)家“十四五”規(guī)劃中城鎮(zhèn)化可持續(xù)發(fā)展、空間優(yōu)化與提升、創(chuàng)新社會(huì)治理能力等戰(zhàn)略需求的重點(diǎn)與難點(diǎn)?；诔鞘杏?jì)算的數(shù)據(jù)挖掘算法研究，是解決具有時(shí)間屬性、動(dòng)態(tài)發(fā)展的城市問題的有效方法，精準(zhǔn)預(yù)測(cè)城市時(shí)序事件未來發(fā)生的概率、時(shí)間和地點(diǎn)等，對(duì)于政府避免、控制或減輕相關(guān)的社會(huì)風(fēng)險(xiǎn)是有益的。

城市中發(fā)生的異步時(shí)序事件以某種方式彼此關(guān)聯(lián)，可以從歷史事件的時(shí)間數(shù)據(jù)中挖掘出用于預(yù)測(cè)事件未來發(fā)展趨勢(shì)的信息，為有關(guān)部門提供合理的決策支撐，進(jìn)行有針對(duì)性的資源調(diào)配、規(guī)劃布局等，以提高生產(chǎn)效率和經(jīng)濟(jì)效益。因此，研究城市中事件的依賴關(guān)系和預(yù)測(cè)問題具有重要的科學(xué)意義和應(yīng)用價(jià)值。

時(shí)間點(diǎn)過程TPP(Temporal Point Process)是對(duì)連續(xù)時(shí)間域上異步離散事件序列建模分析的最有用的數(shù)學(xué)工具，通過其條件強(qiáng)度函數(shù)(即危險(xiǎn)函數(shù))來表征歷史事件對(duì)未來的影響。最常見的時(shí)間點(diǎn)過程模型中，假設(shè)條件強(qiáng)度函數(shù)具有特定的參數(shù)形式(例如泊松過程[1]、霍克斯過程[2 - 4]等指數(shù)形式)，等價(jià)于假設(shè)事件間隔服從指數(shù)分布，忽略了對(duì)歷史數(shù)據(jù)的普遍依賴性，限制了條件強(qiáng)度函數(shù)表達(dá)式的靈活性。部分學(xué)者提出基于深度學(xué)習(xí)算法中的遞歸神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)的時(shí)間點(diǎn)過程模型[4,5]，通過RNN來獲得對(duì)歷史事件的特征表示，將條件強(qiáng)度函數(shù)建模為RNN中隱藏狀態(tài)的函數(shù)?；赗NN的模型在預(yù)測(cè)性能上優(yōu)于參數(shù)形式的模型，然而此類模型的表達(dá)能力受限于對(duì)條件強(qiáng)度函數(shù)的假設(shè)，且錯(cuò)誤的假設(shè)會(huì)降低預(yù)測(cè)精度。

為了解決上述問題，本文提出基于遞歸神經(jīng)網(wǎng)絡(luò)和累積危險(xiǎn)函數(shù)的時(shí)間點(diǎn)過程模型RC-TPP(RNN-Cumulative hazard function TPP)，該模型將條件強(qiáng)度函數(shù)表示成一種通用形式。首先利用前饋神經(jīng)網(wǎng)絡(luò)對(duì)條件強(qiáng)度函數(shù)的積分(即累積危險(xiǎn)函數(shù))進(jìn)行建模，能夠有效避免對(duì)條件強(qiáng)度函數(shù)的特定假設(shè)；然后求導(dǎo)獲得條件強(qiáng)度函數(shù)。這種方法既能得到關(guān)于條件強(qiáng)度函數(shù)的靈活模型，又能精確地計(jì)算包含條件強(qiáng)度函數(shù)積分的對(duì)數(shù)似然函數(shù)，不需要進(jìn)行數(shù)值逼近，減少了計(jì)算成本，提高了預(yù)測(cè)精度。本文的主要貢獻(xiàn)包括以下方面：

(1)提出了基于積分求導(dǎo)法的條件強(qiáng)度函數(shù)式，提高了序列預(yù)測(cè)精度。

(2)構(gòu)建了基于遞歸神經(jīng)網(wǎng)絡(luò)和累積危險(xiǎn)函數(shù)的時(shí)間點(diǎn)過程模型。通過RNN捕獲歷史事件的非線性依賴關(guān)系，利用全連接網(wǎng)絡(luò)FCN(Full Connected Network)獲得累積危險(xiǎn)函數(shù)。

(3)選擇具有代表性的合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集對(duì)所提出的模型進(jìn)行性能分析。實(shí)驗(yàn)結(jié)果表明，本文提出的模型可以更好地進(jìn)行時(shí)間序列預(yù)測(cè)，效果優(yōu)于其它模型。

2 相關(guān)工作

許多社會(huì)活動(dòng)可被描述為連續(xù)時(shí)間域上的異步離散事件序列，如交通事故、金融交易和暴力犯罪等，如何預(yù)測(cè)此類事件發(fā)生的概率、時(shí)間和地點(diǎn)，是一個(gè)具有挑戰(zhàn)性的重要問題，在城市管理、交通優(yōu)化等領(lǐng)域有著廣泛的應(yīng)用前景。時(shí)間點(diǎn)過程正是預(yù)測(cè)異步離散事件序列最有效的數(shù)學(xué)工具，已成為國(guó)內(nèi)外學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用的熱點(diǎn)。下面對(duì)相關(guān)研究工作進(jìn)行概述。

時(shí)間點(diǎn)過程是由一系列代表事件發(fā)生時(shí)刻的點(diǎn)組成的序列，傳統(tǒng)方法是假設(shè)其中的條件強(qiáng)度函數(shù)具有特定的參數(shù)形式。霍克斯過程是一種可以捕捉突發(fā)現(xiàn)象的時(shí)間點(diǎn)過程模型[2]，該模型指出，未來事件發(fā)生的概率受歷史事件的影響，且隨時(shí)間呈指數(shù)衰減；目前，霍克斯過程已被廣泛用于時(shí)間序列的預(yù)測(cè)研究。Bacry等人[4]將霍克斯過程用于金融領(lǐng)域，估計(jì)交易過程的數(shù)據(jù)級(jí)波動(dòng)，在預(yù)測(cè)金融風(fēng)險(xiǎn)、穩(wěn)定市場(chǎng)方面具有良好的效果。文獻(xiàn)[5]針對(duì)高頻金融數(shù)據(jù)，建立了背景率隨時(shí)間變化的霍克斯過程，背景參數(shù)由貝葉斯方法來估計(jì)，該模型可以捕捉宏觀經(jīng)濟(jì)消息發(fā)布后的快速時(shí)變。上述研究均假設(shè)事件會(huì)依照某種規(guī)律發(fā)生，即將時(shí)間點(diǎn)過程模型設(shè)定為具有某種固定的發(fā)展趨勢(shì)，限制了模型的表達(dá)能力；然而，一旦假設(shè)錯(cuò)誤，勢(shì)必降低預(yù)測(cè)精度。

近年來，越來越多的研究者將神經(jīng)網(wǎng)絡(luò)用于時(shí)間點(diǎn)過程的研究中，提出了大量基于神經(jīng)網(wǎng)絡(luò)的時(shí)間點(diǎn)過程模型。Du等人[6]提出遞歸標(biāo)記時(shí)間點(diǎn)過程預(yù)測(cè)模型，核心思想是將時(shí)間點(diǎn)過程的條件強(qiáng)度函數(shù)視為歷史事件的非線性函數(shù)，采用遞歸神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)歷史事件的影響。文獻(xiàn)[7]提出的條件強(qiáng)度函數(shù)包括背景函數(shù)和歷史函數(shù)2部分，分別由2個(gè)遞歸神經(jīng)網(wǎng)絡(luò)對(duì)事件背景和歷史效果進(jìn)行建模，以捕捉長(zhǎng)期時(shí)間動(dòng)態(tài)關(guān)系。Mei等人[8]對(duì)連續(xù)時(shí)間上的離散事件進(jìn)行建模，構(gòu)造了神經(jīng)自調(diào)節(jié)的多變量點(diǎn)過程模型，可以預(yù)測(cè)何時(shí)會(huì)發(fā)生哪種類型的事件。Jing等人[9]提出基于長(zhǎng)短期記憶網(wǎng)絡(luò)的時(shí)間點(diǎn)過程模型，用于預(yù)測(cè)人們的活動(dòng)軌跡，該模型采用分段常數(shù)函數(shù)作為條件強(qiáng)度函數(shù)。文獻(xiàn)[10]采用蒙特·卡羅法逼近積分，運(yùn)用強(qiáng)化學(xué)習(xí)算法推導(dǎo)出基于策略梯度的時(shí)間點(diǎn)過程模型，在時(shí)間序列預(yù)測(cè)方面的表現(xiàn)與文獻(xiàn)[7]中的模型效果相當(dāng)。文獻(xiàn)[11]提出了一種靈活的策略梯度算法，將異步隨機(jī)離散事件的行為和反饋嵌入到深度遞歸神經(jīng)網(wǎng)絡(luò)的實(shí)值向量中。Huang等人[12]基于遞歸神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型RNN-HMM(Recurrent Neural Network-Hidden Markov Model)，設(shè)計(jì)了遞歸泊松過程，將時(shí)間點(diǎn)過程看作一系列時(shí)間間隔內(nèi)泊松過程的集合，其條件強(qiáng)度函數(shù)根據(jù)歷史編碼聲音信號(hào)的隱藏狀態(tài)而變化。Li等人[13]基于卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制，設(shè)計(jì)了新的時(shí)間序列預(yù)測(cè)模型，提高了強(qiáng)長(zhǎng)期依賴性的時(shí)間序列預(yù)測(cè)精度。Rangapuram等人[14]設(shè)計(jì)了基于時(shí)間序列預(yù)測(cè)的深度狀態(tài)空間模型，將狀態(tài)空間模型和深度學(xué)習(xí)相結(jié)合，通過采用聯(lián)合學(xué)習(xí)的遞歸神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)時(shí)間序列的線性狀態(tài)空間模型進(jìn)行參數(shù)化。由上述研究可知，基于神經(jīng)網(wǎng)絡(luò)的時(shí)間點(diǎn)過程模型在預(yù)測(cè)性能方面優(yōu)于特定參數(shù)形式的模型。

眾所周知，時(shí)間點(diǎn)過程的激勵(lì)制度是計(jì)算對(duì)數(shù)似然函數(shù)，包含對(duì)條件強(qiáng)度函數(shù)的積分，因此難以獲得精確的估計(jì)。為了克服這一局限性，本文首先利用前饋神經(jīng)網(wǎng)絡(luò)對(duì)條件強(qiáng)度函數(shù)的積分進(jìn)行建模，而不是對(duì)函數(shù)本身進(jìn)行建模；然后再對(duì)累積危險(xiǎn)函數(shù)求導(dǎo)，還原條件強(qiáng)度函數(shù)；最后，通過對(duì)合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的分析，表明了模型的有效性。本文構(gòu)建的時(shí)間序列預(yù)測(cè)模型，在無需數(shù)值逼近運(yùn)算的情況下，可以精確計(jì)算對(duì)數(shù)似然函數(shù)，實(shí)現(xiàn)對(duì)事件的精準(zhǔn)預(yù)測(cè)。

3 時(shí)間點(diǎn)過程

3.1 傳統(tǒng)的時(shí)間點(diǎn)過程

時(shí)間點(diǎn)過程是由一系列事件發(fā)生時(shí)刻的點(diǎn)組成的序列，是時(shí)間數(shù)據(jù)的一種序列表達(dá)形式，此過程由條件強(qiáng)度函數(shù)λ表示。在時(shí)間點(diǎn)過程中，事件在時(shí)刻t發(fā)生的概率是歷史事件Ht的條件強(qiáng)度函數(shù)值，如式(1)所示：

(1)

其中，R[t,t+Δ)表示在時(shí)間間隔內(nèi)所有事件的集合，ε表示某事件，Xt={ti|ti

p(ti+1|t1,t2,…,ti)=

(2)

其中，λ(ti+1|Xti+1)表示在ti+1時(shí)刻事件發(fā)生的條件強(qiáng)度函數(shù)，指數(shù)部分表示在[ti,ti+1]期間沒有事件發(fā)生的概率。時(shí)間序列的概率密度函數(shù)為：

(3)

時(shí)間點(diǎn)過程最基本的模型是平穩(wěn)泊松過程，其假定事件彼此獨(dú)立且平穩(wěn)，λ恒定為1；霍克斯過程是另一種經(jīng)典模型，其條件強(qiáng)度函數(shù)依賴于歷史事件，是一種自激勵(lì)點(diǎn)過程模型。

3.2 基于神經(jīng)網(wǎng)絡(luò)的時(shí)間點(diǎn)過程

時(shí)間點(diǎn)過程模型的條件強(qiáng)度函數(shù)是對(duì)歷史事件的映射函數(shù)，是模型的核心。由于遞歸神經(jīng)網(wǎng)絡(luò)具有優(yōu)越的可學(xué)習(xí)長(zhǎng)時(shí)間依賴關(guān)系的性能，因此，本文利用遞歸神經(jīng)網(wǎng)絡(luò)來生成條件強(qiáng)度函數(shù)。

在事件發(fā)生時(shí)刻ti，將時(shí)間間隔xi=(ti-ti-1)作為遞歸神經(jīng)網(wǎng)絡(luò)的輸入，其隱藏狀態(tài)hi表示如下：

hi=f(Whhi-1+Wxxi+bh)

(4)

其中，Wh、Wx和bh分別表示RNN的遞歸權(quán)重矩陣、輸入權(quán)重矩陣和偏置項(xiàng)；f(·)是激活函數(shù)。

遞歸神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)可用歷史事件向量表示，條件強(qiáng)度函數(shù)則表示為最臨近事件的運(yùn)行時(shí)間和隱藏狀態(tài)的函數(shù)：

(5)

(6)

在文獻(xiàn)[10,12]中，假設(shè)條件強(qiáng)度函數(shù)在事件連續(xù)發(fā)生間隔期間保持不變，式(6)簡(jiǎn)化為：

(7)

此時(shí)，基于遞歸神經(jīng)網(wǎng)絡(luò)的時(shí)間點(diǎn)過程模型的對(duì)數(shù)似然函數(shù)表示為：

lnL({ti})=

(8)

4 基于RC-TPP的時(shí)間序列預(yù)測(cè)模型

4.1 累積危險(xiǎn)函數(shù)

由于直接對(duì)條件強(qiáng)度函數(shù)(即危險(xiǎn)函數(shù))建模會(huì)影響對(duì)數(shù)似然函數(shù)的計(jì)算精度，因此，本文提出基于遞歸神經(jīng)網(wǎng)絡(luò)與累積危險(xiǎn)函數(shù)的時(shí)間點(diǎn)過程預(yù)測(cè)模型(RC-TPP)，通過前饋神經(jīng)網(wǎng)絡(luò)對(duì)危險(xiǎn)函數(shù)的積分進(jìn)行建模，該模型可以得到更準(zhǔn)確的預(yù)測(cè)結(jié)果。

Figure 1 Diagram of time series prediction model based on RC-TPP圖1 基于RC-TPP的時(shí)間序列預(yù)測(cè)模型框圖

基于積分求導(dǎo)法，定義累積危險(xiǎn)函數(shù)為：

(9)

對(duì)式(9)求導(dǎo)，得到危險(xiǎn)函數(shù)：

(10)

將式(8)用累積危險(xiǎn)函數(shù)重新表述為：

lnL({ti})=

(11)

由于式(8)中包含危險(xiǎn)函數(shù)的積分，雖然積分可以用數(shù)值方法近似計(jì)算，但是數(shù)值逼近會(huì)降低擬合精度，且計(jì)算量較大 。而式(11)與式(8)相比減少了積分項(xiàng)，增加了微分項(xiàng)，能夠避免對(duì)數(shù)似然函數(shù)中的積分，使預(yù)測(cè)結(jié)果更加精確。

4.2 模型結(jié)構(gòu)

本文所提模型由遞歸神經(jīng)網(wǎng)絡(luò)RNN和全連接網(wǎng)絡(luò)FCN組成，模型結(jié)構(gòu)如圖1所示。其中，Xt-h+1是Xt前面第h個(gè)歷史事件的集合，Zi(τ)是輸出的累積危險(xiǎn)函數(shù)。

RNN實(shí)現(xiàn)對(duì)標(biāo)記事件和歷史事件的非線性時(shí)間相關(guān)性建模；其中，遞歸層反饋當(dāng)前時(shí)刻的隱藏狀態(tài)，作為下一時(shí)刻的輸入。在此，假設(shè)RNN在不同時(shí)刻共享相同的網(wǎng)絡(luò)參數(shù)。

最后，網(wǎng)絡(luò)輸出累積危險(xiǎn)函數(shù)，其值為正數(shù)，且隨τ的增加而增加。將式(9)和式(10)用輸出表示如下：

Φ(τ|hi)=Zi(τ)

(12)

(13)

4.3 RC-TPP預(yù)測(cè)模型

RC-TPP預(yù)測(cè)模型流程如下所示：

輸入:歷史數(shù)據(jù)序列X={Xi}，時(shí)間間隔τ。

輸出:累積危險(xiǎn)函數(shù)Zi(τ)。

步驟1全部樣本D←?；

步驟2 for時(shí)刻t(1≤t≤n-1)do：

步驟3生成歷史事件序列：S=[X1,X2,…,Xt-1]；

步驟4將(S,τ) 放入樣本集D中；

步驟5初始化可學(xué)習(xí)參數(shù)θ；

步驟6從全部樣本D中隨機(jī)抽取批次樣本Db；

步驟7優(yōu)化目標(biāo)函數(shù)，在Db中找到最優(yōu)參數(shù)θ；

步驟8重復(fù)步驟6和步驟7，直到迭代達(dá)到閾值，得到最優(yōu)參數(shù)θ；

步驟9輸出累積危險(xiǎn)函數(shù)Zi(τ)。

5 實(shí)驗(yàn)分析

本節(jié)首先介紹實(shí)驗(yàn)所需數(shù)據(jù)集，包括合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集；然后闡述實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置；最后將本文所提模型與其它基準(zhǔn)模型進(jìn)行對(duì)比。實(shí)驗(yàn)基于TensorFlow框架進(jìn)行程序設(shè)計(jì)，通過下述度量標(biāo)準(zhǔn)來評(píng)估序列預(yù)測(cè)模型的性能：

(1)訓(xùn)練損失(Train_loss)和驗(yàn)證損失(Val_loss)：評(píng)估模型的泛化能力；

(2)平均絕對(duì)誤差MAE(Mean Absolute Error)和平均絕對(duì)百分比誤差MAPE(Mean Absolute Percentage Error)：評(píng)估預(yù)測(cè)精度；

(3)平均負(fù)對(duì)數(shù)似然值MNLL(Mean Negative Log Likelihood)：由式(11)得出，用于評(píng)估預(yù)測(cè)準(zhǔn)確性。

損失函數(shù)計(jì)算方法如式(14)所示：

(14)

MAE計(jì)算方法如式(15)所示：

(15)

MAPE計(jì)算方法如式(16)所示：

(16)

MNLL計(jì)算方法如式(17)所示：

(17)

5.1 實(shí)驗(yàn)數(shù)據(jù)

5.1.1 合成數(shù)據(jù)集

合成數(shù)據(jù)集由隨機(jī)過程生成，表1中列出了4種隨機(jī)過程；在每種合成數(shù)據(jù)集中，其中80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，余下的20%作為測(cè)試數(shù)據(jù)。

表1中，Renewal是Poisson的升級(jí)版，時(shí)間間隔{τi=ti+1-ti|i=1,2,…,n}是相互獨(dú)立的。在實(shí)驗(yàn)中，將霍克斯過程的參數(shù)設(shè)為：M=1,μ=0.2,α1=0.8,β1=1.0。

對(duì)合成數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理(以平穩(wěn)泊松過程為例)：

首先通過平穩(wěn)泊松過程生成一組數(shù)據(jù)，表示事件發(fā)生的時(shí)間間隔；然后，以事件首次發(fā)生的時(shí)刻為原點(diǎn)，對(duì)生成的時(shí)間間隔數(shù)據(jù)依次累加，得到所需的時(shí)間序列(即事件發(fā)生的時(shí)刻)。

Table 1 Synthetic datasets

5.1.2 真實(shí)數(shù)據(jù)集

實(shí)驗(yàn)采用的真實(shí)數(shù)據(jù)集包括：

(1)交通擁堵數(shù)據(jù)集(Bridge)：該數(shù)據(jù)集為2014～2017年美國(guó)紐約所有立交橋上發(fā)生交通擁堵的統(tǒng)計(jì)數(shù)據(jù)，包括：立交橋名稱、位置坐標(biāo)和擁堵發(fā)生的時(shí)間等。實(shí)驗(yàn)選取擁堵率最高的前10座立交橋進(jìn)行預(yù)測(cè)分析。

(2)911報(bào)警電話數(shù)據(jù)集(911)：該數(shù)據(jù)集為2017～2019年美國(guó)舊金山警署接到的911電話統(tǒng)計(jì)數(shù)據(jù)，包括：緊急電話(如水電管道故障等)、報(bào)警電話和消防火警等事件的報(bào)警數(shù)量、通話時(shí)長(zhǎng)和出警時(shí)間等。實(shí)驗(yàn)選取日緊急電話數(shù)及對(duì)應(yīng)部門到達(dá)現(xiàn)場(chǎng)所需時(shí)間進(jìn)行預(yù)測(cè)分析。

(3)槍擊案數(shù)據(jù)(Shooting)：該數(shù)據(jù)集為2013～2018年美國(guó)紐約槍擊案件的統(tǒng)計(jì)數(shù)據(jù)，包括：槍擊案發(fā)生的時(shí)間、地點(diǎn)、受害人及犯罪嫌疑人等相關(guān)信息。實(shí)驗(yàn)選取槍擊案發(fā)生率最高的10處位置進(jìn)行預(yù)測(cè)分析。

對(duì)真實(shí)數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理(以交通擁堵數(shù)據(jù)集為例)：

首先對(duì)數(shù)據(jù)進(jìn)行整理和分析，選取擁堵率最高的前10座立交橋；然后對(duì)每座立交橋的擁堵時(shí)間按照先后順序排序，計(jì)算相鄰2次事件之間的時(shí)間差；最后，以首次擁堵的時(shí)間點(diǎn)為原點(diǎn)，通過累加時(shí)間差的方式得到所需的時(shí)間序列(即擁堵發(fā)生的時(shí)刻)。

5.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)選取3種傳統(tǒng)的時(shí)間點(diǎn)過程模型與本文提出的RC-TPP模型進(jìn)行對(duì)比，這3種傳統(tǒng)模型分別為：常數(shù)模型C-model(Constant model)[10]、指數(shù)模型E-model(Exponential model)[6]和分段常數(shù)模型P-model(Piecewise constant model)[9]。常數(shù)模型的危險(xiǎn)函數(shù)如式(7)所示，指數(shù)模型的危險(xiǎn)函數(shù)如式(6)所示，分段常數(shù)模型的危險(xiǎn)函數(shù)[9]如式(18)所示：

(18)

Figure 2 Impact of different parameters on performance of RC-TPP model圖2 不同參數(shù)對(duì)RC-TPP模型性能的影響

設(shè)4種模型中的遞歸神經(jīng)網(wǎng)絡(luò)有64個(gè)單元，全連接網(wǎng)絡(luò)有2層，每層包括64個(gè)神經(jīng)元。實(shí)驗(yàn)采用Adam優(yōu)化器進(jìn)行優(yōu)化[17]，設(shè)初始學(xué)習(xí)率為0.001，β1=0.9，β2=0.999，每批數(shù)據(jù)的大小為256。

實(shí)驗(yàn)結(jié)果由負(fù)對(duì)數(shù)似然函數(shù)-logp*(ti+1|t1,t2,…,ti)來評(píng)估，采用每組測(cè)試數(shù)據(jù)的負(fù)對(duì)數(shù)似然函數(shù)的均值作為最終的平均負(fù)對(duì)數(shù)似然值，其值越小，說明模型的擬合效果越好。

5.3 實(shí)驗(yàn)結(jié)果

5.3.1 不同參數(shù)對(duì)性能的影響

針對(duì)RC-TPP模型中不同的超參數(shù)對(duì)性能的影響進(jìn)行分析，分別進(jìn)行了訓(xùn)練批次大小、遞歸神經(jīng)網(wǎng)絡(luò)截?cái)嗌疃取⑦f歸神經(jīng)網(wǎng)絡(luò)單元數(shù)目、全連接網(wǎng)絡(luò)深度和全連接網(wǎng)絡(luò)單元數(shù)目等5個(gè)方面的對(duì)比實(shí)驗(yàn)，結(jié)果如圖2所示。圖2a中，當(dāng)訓(xùn)練批次大小逐漸增加時(shí)，MAPE下降明顯；當(dāng)批次大小超過64后，MAPE并未發(fā)生顯著變化；然而，隨著訓(xùn)練批次大小的增加，訓(xùn)練難度也隨之增加，因此，得出訓(xùn)練批次大小為64時(shí)，本文設(shè)計(jì)的模型可以達(dá)到最優(yōu)的預(yù)測(cè)性能。同理，經(jīng)實(shí)驗(yàn)驗(yàn)證依次得出，當(dāng)RNN深度達(dá)到10層時(shí)(圖2b)、RNN單元數(shù)目為32時(shí)(圖2c)、FCN深度為2層時(shí)(圖2d)、FCN單元數(shù)目為64時(shí)(圖2e)，RC-TPP模型的預(yù)測(cè)性能最優(yōu)。

5.3.2 4種模型的性能對(duì)比

表2和表3分別列出了4種模型的訓(xùn)練損失(Train_loss)和驗(yàn)證損失(Val_loss)、平均絕對(duì)誤差(MAE)、平均絕對(duì)百分比誤差(MAPE)和平均負(fù)對(duì)數(shù)似然值(MNLL)等性能指標(biāo)的對(duì)比結(jié)果。

由表2可看出，對(duì)于MAE評(píng)價(jià)指標(biāo)，4種模型表現(xiàn)的性能近似，但RC-TPP模型略優(yōu)于其它模型；對(duì)于MAPE評(píng)價(jià)指標(biāo)，4種模型在平穩(wěn)泊松過程和自校正過程中的表現(xiàn)近乎一致，但在平穩(wěn)更新過程和霍克斯過程中，RC-TPP模型具有較大優(yōu)勢(shì)；對(duì)于MNLL評(píng)價(jià)指標(biāo)，4種模型在平穩(wěn)泊松過程中性能相近，而在其它3種數(shù)據(jù)集上，RC-TPP的性能最突出。綜上，在合成數(shù)據(jù)集的實(shí)驗(yàn)中，本文RC-TPP模型的各項(xiàng)性能評(píng)價(jià)指標(biāo)均優(yōu)于其它模型的，預(yù)測(cè)效果更好。

由表3可看出，在真實(shí)復(fù)雜的數(shù)據(jù)集上，RC-TPP模型的各項(xiàng)性能評(píng)價(jià)指標(biāo)的優(yōu)勢(shì)更加明顯，這是因?yàn)檎鎸?shí)數(shù)據(jù)比合成數(shù)據(jù)更復(fù)雜，而RC-TPP可以更好地應(yīng)變并擬合真實(shí)數(shù)據(jù)的復(fù)雜特征。其中，RC-TPP模型的MNLL比其它模型的減小了至少17%，MNLL越小，即代表模型預(yù)測(cè)的精度越高。此外，RC-TPP模型的MAE和MAPE也均比其它模型的顯著減小，誤差值越小，表示預(yù)測(cè)效果越好。與此同時(shí)，RC-TPP模型的Train_loss和Val_loss也均小于其它模型的，即泛化性能更好。

Table 2 Experimental results on synthetic datasets

Table 3 Experimental results on real datasets

Figure 3 Performance comparison圖3 性能對(duì)比圖

圖3所示為在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的性能對(duì)比結(jié)果，可以更直觀地看到，在合成數(shù)據(jù)集上，RC-TPP模型的MNLL、MAE和MAPE均低于其它模型的，預(yù)測(cè)效果更好。在真實(shí)數(shù)據(jù)集上RC-TPP模型的MNLL、MAE和MAPE均遠(yuǎn)低于其它模型的，即RC-TPP模型更能勝任復(fù)雜的真實(shí)事件的預(yù)測(cè)任務(wù)，預(yù)測(cè)精度更高，時(shí)間復(fù)雜度更低。

6 結(jié)束語

本文提出了基于遞歸神經(jīng)網(wǎng)絡(luò)和累積危險(xiǎn)函數(shù)的時(shí)間序列預(yù)測(cè)模型，即從歷史事件的數(shù)據(jù)中挖掘出可用于預(yù)測(cè)事件未來發(fā)展趨勢(shì)的信息。首先，基于積分求導(dǎo)法，設(shè)計(jì)條件強(qiáng)度函數(shù)式，提高序列預(yù)測(cè)精度。其次，構(gòu)建基于遞歸神經(jīng)網(wǎng)絡(luò)和累積危險(xiǎn)函數(shù)的時(shí)間點(diǎn)過程模型；通過遞歸神經(jīng)網(wǎng)絡(luò)捕獲歷史事件的非線性依賴關(guān)系，利用全連接網(wǎng)絡(luò)獲得累積危險(xiǎn)函數(shù)。最后，選擇具有代表性的合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集進(jìn)行性能對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的模型可以更好地進(jìn)行城市事件的時(shí)間序列預(yù)測(cè)，效果優(yōu)于其它模型。

在未來工作中，本文提出的模型可用于診斷分析[18,19]，以提高預(yù)測(cè)的精度；此外，還可以進(jìn)一步結(jié)合影響事件發(fā)生的上下文信息，如地圖圖像、社會(huì)/交通事件描述等，從而更加全面準(zhǔn)確地預(yù)測(cè)城市中發(fā)生的異構(gòu)事件，為有關(guān)部門提供政策調(diào)控依據(jù)及決策支撐。