彭 薇，江 昊，劉卉芳，彭詩(shī)雅，廖 娟

(1.武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2.中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司廣東省分公司，廣東 廣州 510627)

0 引言

隨著城市中大量人口流動(dòng)數(shù)據(jù)的產(chǎn)生,人口流動(dòng)的時(shí)空數(shù)據(jù)引起了越來(lái)越多的關(guān)注,其中一個(gè)重要關(guān)注點(diǎn)是用戶位置預(yù)測(cè)及推薦,即根據(jù)用戶過(guò)去的移動(dòng)軌跡信息,預(yù)測(cè)其即將訪問(wèn)的地點(diǎn)。用戶位置預(yù)測(cè)對(duì)于人流量預(yù)測(cè)、位置服務(wù)推薦和人群檢測(cè)等都有重要意義。

近年來(lái),國(guó)內(nèi)外學(xué)者對(duì)用戶軌跡相關(guān)問(wèn)題進(jìn)行了大量研究,大多數(shù)位置預(yù)測(cè)問(wèn)題需要用潛在的嵌入向量來(lái)表示位置。最直接的方法是為位置的隨機(jī)初始化向量加上全連接層,通過(guò)特定任務(wù)對(duì)其進(jìn)行訓(xùn)練[1],然而該方法存在過(guò)擬合問(wèn)題,且無(wú)法融合位置的其他相關(guān)信息。也有基于收集到的軌跡數(shù)據(jù)以及興趣點(diǎn)(Point of Interest,POI)類別信息構(gòu)建時(shí)空廣義知識(shí)庫(kù),學(xué)習(xí)實(shí)體表征向量,將軌跡預(yù)測(cè)問(wèn)題轉(zhuǎn)化為知識(shí)圖譜補(bǔ)全問(wèn)題[2]。由于軌跡數(shù)據(jù)存在先后順序,許多位置嵌入模型來(lái)源于自然語(yǔ)言處理中的詞嵌入模型。模型POI2Vec將用戶社交媒體登陸數(shù)據(jù)的POI序列視為句子[3],TALE基于CBOW[4]模型,融合用戶訪問(wèn)地點(diǎn)的時(shí)間信息以提高預(yù)測(cè)的準(zhǔn)確率[5]。HIER模型利用地理位置數(shù)據(jù)中的層次結(jié)構(gòu),學(xué)習(xí)細(xì)粒度位置嵌入向量,減小了數(shù)據(jù)稀疏造成的影響[6]。CTLE模型基于位置的上下文鄰居動(dòng)態(tài)計(jì)算位置的潛在嵌入向量[7]。另外,CAPE模型使用Instagram數(shù)據(jù)作為輸入,利用位置和文本信息得到POI嵌入向量[8],Geo-Teaser[9]和Place2Vec[10]結(jié)合用戶的登錄信息和附近區(qū)域信息生成嵌入向量。DRAN利用圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)進(jìn)行特征提取,采用多頭注意力對(duì)POI的各個(gè)維度進(jìn)行處理,得到位置的精確表示[11]。然而,大多數(shù)位置嵌入方法沒有充分考慮用戶行為,僅僅局限于位置本身的屬性或類別信息,而沒有進(jìn)一步挖掘用戶當(dāng)前行為與其所處位置、前后移動(dòng)軌跡有關(guān)的信息。

位置信息嵌入可以用于解決各種任務(wù),例如下一位置預(yù)測(cè)[12]、興趣位置推薦[8]和位置分類[13]等。在用戶未來(lái)移動(dòng)軌跡的預(yù)測(cè)問(wèn)題中,馬爾可夫模型被廣泛使用,例如利用多個(gè)相互關(guān)聯(lián)的馬爾可夫鏈對(duì)用戶在不同時(shí)間段的不同移動(dòng)行為進(jìn)行建模[14],采用由用戶個(gè)人頻繁模式自適應(yīng)確定動(dòng)態(tài)順序的變階馬爾可夫模型,預(yù)測(cè)用戶的移動(dòng)性[15]。除了馬爾可夫模型,還有基于貝葉斯概率模型的用戶移動(dòng)性建模方法。Feng等[16]利用遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合注意機(jī)制對(duì)用戶移動(dòng)性進(jìn)行建模,DeepMove結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)中的注意機(jī)制,模擬未來(lái)軌跡與歷史軌跡的長(zhǎng)期相關(guān)性[17],ST-RNN用特定時(shí)間和特定距離的過(guò)渡矩陣對(duì)每一層的局部時(shí)空上下文進(jìn)行建模,構(gòu)成時(shí)空遞歸神經(jīng)網(wǎng)絡(luò)模型用于位置預(yù)測(cè)[12]。ERPP將對(duì)某個(gè)地點(diǎn)的訪問(wèn)視為一個(gè)事件,將到達(dá)時(shí)間視為它的時(shí)間戳從而進(jìn)行預(yù)測(cè)[18],門控循環(huán)單元(Gate Recurrent Unit,GRU)可以用來(lái)模擬用戶的順序移動(dòng)模式,將輸出隱藏向量輸入到一個(gè)完全連接層中以預(yù)測(cè)用戶下次訪問(wèn)的位置[19]。ST-LSTM通過(guò)將時(shí)間和距離值嵌入到潛在向量中,擴(kuò)展了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)的輸入[1]。另外,ARNN從知識(shí)圖譜中提取語(yǔ)義和空間信息,結(jié)合LSTM網(wǎng)絡(luò)和注意力機(jī)制進(jìn)行位置預(yù)測(cè),對(duì)下一地點(diǎn)進(jìn)行個(gè)性化推薦[20]。HMT-GRN 模型提出了緩解數(shù)據(jù)稀疏性的方法,并進(jìn)行了多任務(wù)學(xué)習(xí)[21]。GETNext用GCN計(jì)算POI嵌入后,通過(guò)Transformer進(jìn)行預(yù)測(cè)[22]。然而,若軌跡序列較長(zhǎng),在處理序列信息時(shí)更容易聚焦于短期的依賴關(guān)系,長(zhǎng)距離依賴則難以捕獲。

用戶的移動(dòng)一般存在具體目的,因此用戶行為信息、地點(diǎn)語(yǔ)義信息等均有利于理解用戶的移動(dòng)軌跡,從而更好地進(jìn)行預(yù)測(cè)。然而大量研究在預(yù)測(cè)位置時(shí)對(duì)于用戶行為的考慮有所欠缺,且對(duì)于長(zhǎng)期依賴關(guān)系的學(xué)習(xí)程度有限。本文提出基于用戶行為和上下文語(yǔ)義的時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò)分層(Hierarchical Spatiotemporal Long Short-Term Memory Based on User Behavior and Contextual Semantics,CHST-LSTM)模型,將用戶行為考慮在內(nèi),將軌跡中的位置信息與用戶行為信息、時(shí)間信息相結(jié)合,通過(guò)預(yù)訓(xùn)練融合上下文語(yǔ)義信息,得到位置的表征向量,并將其用于ST-LSTM分層模型,根據(jù)用戶的行為狀態(tài)動(dòng)態(tài)分割軌跡段,加上BiLSTM模塊,以編碼解碼的形式,對(duì)軌跡上下文信息進(jìn)行建模,分別對(duì)長(zhǎng)短期特征進(jìn)行處理,從而更好地學(xué)習(xí)長(zhǎng)距離依賴關(guān)系,提升軌跡預(yù)測(cè)的準(zhǔn)確率。

1 CHST-LSTM預(yù)測(cè)模型

1.1 信息編碼

由于用戶的行為、所處時(shí)段與其活動(dòng)范圍、移動(dòng)軌跡息息相關(guān),其行為某種程度上反映了所處位置的功能,可以從用戶的行為中提取出所處位置的特征,因此將行為信息融入時(shí)空軌跡數(shù)據(jù)有利于得到更高質(zhì)量的位置嵌入。為了融合到訪時(shí)間、行為模式等行為信息,提出了相關(guān)信息編碼模塊,用位置編碼融合時(shí)間編碼和行為模式編碼,將用戶行為相關(guān)信息融入位置嵌入模型中。

對(duì)于位置編碼Pli,對(duì)位置li的獨(dú)熱向量采用簡(jiǎn)單的全連接層得到:

Pli=Ω(li)。

(1)

考慮到用戶在特定時(shí)間訪問(wèn)特定位置時(shí),其訪問(wèn)時(shí)間信息與位置特征有著強(qiáng)相關(guān)性,因此加入時(shí)間編碼模塊。時(shí)間信息與序列順序信息類似,參考Transformer中對(duì)序列位置的編碼方式,將時(shí)間編碼設(shè)為:

Tli=[cos(ω1tli),sin(ω1tli),cos(ω2tli),sin(ω2tli),…,

cos(ωdtli),sin(ωdtli)],

(2)

式中:Tli表示用戶到達(dá)位置li時(shí)的時(shí)間編碼,維度為二維;ωk=1/10 0002k/d,tli表示用戶到達(dá)位置li的時(shí)間。

對(duì)用戶的行為模式進(jìn)行編碼,Ali表示用戶行為模式的信息編碼,維度與位置編碼、時(shí)間編碼相同,ali表示用戶行為模式,對(duì)ali的獨(dú)熱向量采用全連接層:

Ali=Ω(ali)。

(3)

具體來(lái)說(shuō),根據(jù)用戶到達(dá)位置li的前后各半小時(shí)(共1 h)的通話次數(shù)、訪問(wèn)工作軟件時(shí)長(zhǎng)和移動(dòng)距離數(shù)據(jù),找到與之距離最近的模式類型即為ali。

融合位置編碼模塊、時(shí)間編碼模塊與行為模式編碼模塊,得到記錄(u,l,t,a)中位置l經(jīng)過(guò)信息編碼之后的向量z′(l),其中u表示該用戶,l表示途經(jīng)位置,t表示到達(dá)對(duì)應(yīng)位置的時(shí)間,a表示用戶行為模式:

z′(l)=Pl+Tl+Al。

(4)

將用戶行為融入位置嵌入向量,可以為位置的特征表達(dá)提供更多的有效信息,讓所有用戶共享和學(xué)習(xí)類似的規(guī)律。

1.2 基于上下文感知的位置嵌入

一般來(lái)說(shuō),用戶訪問(wèn)特定位置均有其明確目的,其途經(jīng)位置也取決于所處城區(qū)本身的固有路線,具有較強(qiáng)的規(guī)律性,因此可以使用自然語(yǔ)言處理的相關(guān)算法。用戶的軌跡類似于句子,途經(jīng)的位置相當(dāng)于單詞,不同位置之間的不同組合方式表達(dá)了特定的含義,每個(gè)位置的特征很大程度上取決于前后位置即上下文環(huán)境,可以采用上下文感知嵌入模型計(jì)算位置的潛在表征向量。受到BERT[23]的啟發(fā),本文采用雙向Transformer編碼器[24],基于位置l的上下文內(nèi)容C(l),通過(guò)掩碼語(yǔ)言模型(Masked Language Model,MLM)預(yù)訓(xùn)練得到位置l的嵌入向量,如圖1所示。

圖1 位置嵌入預(yù)訓(xùn)練模型Fig.1 Pre-trained model for location embedding

在時(shí)空軌跡數(shù)據(jù)中,某用戶的軌跡s可表示為s={(u,l1,t1,a1),(u,l2,t2,a2),…,(u,ln,tn,an)},即時(shí)空點(diǎn)序列。每個(gè)時(shí)空點(diǎn)都是用戶到達(dá)某一位置時(shí)所涉及到的相關(guān)信息的元組,通過(guò)Transformer編碼器可以得到位置li的嵌入向量z′(li):

(5)

(6)

式中:Θ表示模型中涉及的參數(shù),通過(guò)最大化位置lm與其所在軌跡前后位置的關(guān)聯(lián)關(guān)系計(jì)算得到,繼而可以得到各個(gè)位置的嵌入向量。

(7)

(8)

最終整個(gè)預(yù)訓(xùn)練模型的目標(biāo)為:

Θ=ΘML+ΘMT+ΘMA。

(9)

由于用戶行為模式與所處位置相關(guān)性較強(qiáng),因此將位置信息、到訪時(shí)間信息和行為模式信息均作為預(yù)訓(xùn)練的目標(biāo),有利于得到更高質(zhì)量的位置表征向量。有著相似上下文環(huán)境的位置由于涉及信息相似,其嵌入向量也會(huì)更加接近,高質(zhì)量的嵌入向量有利于提升對(duì)用戶下一位置預(yù)測(cè)的準(zhǔn)確率。

1.3 分層ST-LSTM位置預(yù)測(cè)

在預(yù)測(cè)人類行為時(shí),僅僅考慮軌跡序列顯然是不夠的,考慮到用戶的行為信息對(duì)于位置預(yù)測(cè)的意義,采用上文中融合了用戶行為的位置嵌入作為特征向量,在此基礎(chǔ)上提出CHST-LSTM模型。

為了處理時(shí)空關(guān)系,采用ST-LSTM作為基本單元,該算法在原本的LSTM模塊中引入時(shí)空因素進(jìn)行學(xué)習(xí)。為了更好地計(jì)算長(zhǎng)距離依賴,以編解碼器的形式基于ST-LSTM進(jìn)行分層擴(kuò)展,將用戶在其所在地的行為考慮在內(nèi),根據(jù)行為語(yǔ)義動(dòng)態(tài)劃分訪問(wèn)階段,對(duì)訪問(wèn)記錄按照停留時(shí)間進(jìn)行靈活切割,以學(xué)習(xí)用戶移動(dòng)行為的內(nèi)在含義。ST-LSTM作為編碼器對(duì)序列的短期特征進(jìn)行建模,BiLSTM對(duì)序列的長(zhǎng)期特征進(jìn)行雙向融合,如圖2所示。

圖2 CHST-LSTM預(yù)測(cè)模型Fig.2 CHST-LSTM prediction model

用戶移動(dòng)軌跡具有一定的周期性及規(guī)律性,當(dāng)軌跡序列粒度較細(xì)時(shí),用戶的訪問(wèn)序列很長(zhǎng)。如果按固定時(shí)長(zhǎng)劃分階段,范圍較大則序列過(guò)長(zhǎng),范圍較小則難以對(duì)用戶行為階段進(jìn)行完整分析?？紤]到用戶在每個(gè)地點(diǎn)的停留時(shí)間可以在某種程度上反映該地點(diǎn)對(duì)于該用戶的意義,本文基于停留時(shí)長(zhǎng)對(duì)用戶軌跡序列進(jìn)行劃分,將用戶的訪問(wèn)長(zhǎng)序列分為若干訪問(wèn)階段?？紤]到用戶特性,選擇將停留時(shí)長(zhǎng)大于1 h的地點(diǎn)作為序列切割點(diǎn)。訪問(wèn)階段劃分如圖3所示,將用戶u的軌跡劃分為一系列的訪問(wèn)階段{S1,S2,…,Sn},其中Si={l1,l2,…,lm},表示階段Si內(nèi)的途經(jīng)位置軌跡,用戶在訪問(wèn)階段Si內(nèi)的最后一個(gè)停留位置lm的停留時(shí)長(zhǎng)大于1 h。

圖3 訪問(wèn)階段劃分Fig.3 Sessions of access stage

接著通過(guò)解碼器幫助預(yù)測(cè)用戶接下來(lái)的訪問(wèn)位置,利用ST-LSTM模塊進(jìn)行解碼。假定解碼器輸出的隱藏層包含了過(guò)去途經(jīng)位置和用戶行為的相關(guān)信息,能夠表達(dá)用戶未來(lái)的移動(dòng)意圖,通過(guò)softmax函數(shù)計(jì)算用戶接下來(lái)到達(dá)不同位置的概率,得到最有可能被訪問(wèn)的下一位置。

2 用戶行為分析

2.1 數(shù)據(jù)集介紹

伴隨移動(dòng)互聯(lián)網(wǎng)的發(fā)展以及城市化帶來(lái)的人群聚集現(xiàn)象,下單外賣逐漸成為一種流行的新點(diǎn)餐方式,外賣配送服務(wù)大大便利了人們的生活。在送餐過(guò)程中,外賣員可以自行選擇送餐順序和路線,根據(jù)外賣員的行為特征對(duì)其進(jìn)行下一位置預(yù)測(cè),有利于互聯(lián)網(wǎng)平臺(tái)優(yōu)化派單情況、規(guī)劃推薦路徑。本文將提出的算法應(yīng)用于外賣員群體。

軌跡數(shù)據(jù)是通過(guò)對(duì)用戶移動(dòng)過(guò)程進(jìn)行采樣而獲取的數(shù)據(jù)信息,用于反映用戶在采樣時(shí)間點(diǎn)的位置?，F(xiàn)有的用戶位置預(yù)測(cè)研究大都基于社交媒體簽到數(shù)據(jù),而該數(shù)據(jù)的個(gè)體時(shí)空軌跡往往比較稀疏。本文使用的數(shù)據(jù)集為我國(guó)南方某運(yùn)營(yíng)商的用戶上網(wǎng)和通話數(shù)據(jù),時(shí)長(zhǎng)一共兩周,時(shí)間為2021-06-01—2021-06-14。上網(wǎng)日志中包含用戶ID、訪問(wèn)時(shí)間、訪問(wèn)時(shí)長(zhǎng)、統(tǒng)一資源定位符(Uniform Resource Locator,URL)和接入基站等信息,關(guān)鍵字段如表1所示,經(jīng)緯度為接入基站的位置。通話數(shù)據(jù)中包含用戶ID、聯(lián)系人ID、通話時(shí)間和通話時(shí)長(zhǎng)等信息,如表2所示。用戶通話或上網(wǎng)時(shí),數(shù)據(jù)流向城市中密布的基站,基站的位置即可作為用戶所在地的近似位置。不同于POI簽到數(shù)據(jù),蜂窩移動(dòng)通信數(shù)據(jù)中的軌跡序列粒度較小。

表1 用戶上網(wǎng)詳單數(shù)據(jù)關(guān)鍵字段Tab.1 Key fields of dataset about Internet log

表2 用戶通話數(shù)據(jù)關(guān)鍵字段Tab.2 Key fields of dataset about user’s calling

由于外賣員接單需要訪問(wèn)特定的應(yīng)用軟件,根據(jù)用戶上網(wǎng)日志中的URL信息,利用關(guān)鍵字篩選出訪問(wèn)了外賣配送App的用戶,考慮到外賣員工作需要撥打電話、訪問(wèn)外賣配送相關(guān)App和移動(dòng)送貨,根據(jù)通話次數(shù)、訪問(wèn)外賣配送相關(guān)App時(shí)長(zhǎng)和移動(dòng)距離等信息對(duì)其進(jìn)一步篩選,共計(jì)3 163人,篩選后的外賣員軌跡數(shù)據(jù)集如表3所示。被篩選出的外賣員群體兩周內(nèi)共有5 497個(gè)位置點(diǎn)和4 953 858條記錄,位置信息包含在上網(wǎng)記錄中,相當(dāng)于4 953 858個(gè)不規(guī)則(非定時(shí)采樣)的軌跡采樣點(diǎn),平均每個(gè)用戶的軌跡點(diǎn)數(shù)為1 566,用戶軌跡序列較長(zhǎng)。

表3 外賣員群體軌跡數(shù)據(jù)集Tab.3 Trajectory dataset of deliverymen

為了直觀展示用戶軌跡數(shù)據(jù),繪制了用戶A某天內(nèi)途經(jīng)的基站(上網(wǎng)過(guò)程中接入的基站),如圖4所示,根據(jù)用戶接入的不同基站可以大致還原用戶A在這一天內(nèi)的位置路線。

圖4 用戶A軌跡Fig.4 Trajectory of user A

2.2 外賣員工作行為分析

外賣員群體在送餐過(guò)程中,需要先通過(guò)手機(jī)訪問(wèn)外賣類App進(jìn)行接單以及查看商家位置、訂單內(nèi)容和客戶位置等信息,到達(dá)商家后進(jìn)行取餐,取餐后需要前往客戶所在地進(jìn)行配送,到達(dá)后需要通過(guò)撥打電話聯(lián)系客戶進(jìn)行告知。因此外賣員的工作狀態(tài)與其通話行為、移動(dòng)行為和訪問(wèn)App行為等密切相關(guān),下面對(duì)外賣員的行為進(jìn)行分析。

外賣員的通話次數(shù)可以反映工作狀態(tài),對(duì)外賣員群體1 d內(nèi)每小時(shí)的通話次數(shù)進(jìn)行聚類,類中心如圖5所示,圖例表示不同類型?？梢钥闯?外賣員群體于中餐時(shí)段、下午茶時(shí)段、晚餐時(shí)段和宵夜時(shí)段均有較多通話記錄,不同外賣員的工作模式稍有不同,有些外賣員傾向于中午工作,有些則傾向于晚上工作。

圖5 通話次數(shù)類中心Fig.5 Cluster centers of the number of calls

假設(shè)用戶上網(wǎng)時(shí)手機(jī)接入的基站位置近似為用戶所在位置,在已知用戶接入基站經(jīng)緯度信息的前提下,用戶移動(dòng)軌跡的距離信息可由其接入基站的位置變化進(jìn)行計(jì)算。同樣,對(duì)外賣員群體1 d內(nèi)每小時(shí)的移動(dòng)距離進(jìn)行聚類,類中心如圖6所示,可以看出,外賣員群體遠(yuǎn)距離移動(dòng)行為同樣集中于中午、下午和晚間的用餐時(shí)段,正是其送單行為的體現(xiàn)。

圖6 移動(dòng)距離類中心Fig.6 Cluster centers of moving distance

觀察數(shù)據(jù)發(fā)現(xiàn),大多數(shù)外賣員的工作有著較強(qiáng)的時(shí)間規(guī)律性,另外,由于外賣員移動(dòng)路線取決于各個(gè)位置本身的功能,固定的商家和客戶位置分布情況以及固有的城市路徑?jīng)Q定了整個(gè)外賣員群體的工作路線會(huì)較為穩(wěn)定。一般來(lái)說(shuō),該群體工作區(qū)域較為固定,這些因素均為外賣員軌跡預(yù)測(cè)問(wèn)題提供了良好的基礎(chǔ)條件。

不同的位置在外賣員送餐過(guò)程中有著不同的角色,外賣員自身的工作狀態(tài)往往與所處位置息息相關(guān),例如,處于商圈、辦公區(qū)和住宅區(qū)的外賣員工作行為一般也不同。因此,外賣員群體的移動(dòng)行為和工作行為能夠反映出位置的功能,分析外賣員的歷史軌跡和行為模式有利于得到詳盡的位置功能信息,從而能夠更好地實(shí)現(xiàn)下一位置的預(yù)測(cè)。

3 實(shí)驗(yàn)結(jié)果與分析

基于前述用戶行為分析,認(rèn)為外賣員工作行為主要可以由通話行為、工作時(shí)長(zhǎng)和移動(dòng)距離進(jìn)行描述。對(duì)用戶統(tǒng)計(jì)每小時(shí)通話次數(shù)、訪問(wèn)外賣類App的時(shí)長(zhǎng)(s)、移動(dòng)距離(km)數(shù)據(jù)以及兩周內(nèi)所有用戶的三元數(shù)據(jù)進(jìn)行聚類,當(dāng)聚類數(shù)為8時(shí),聚類輪廓系數(shù)超過(guò)0.6,可以得到8組小時(shí)制工作模式,中心點(diǎn)如表4所示。

表4 小時(shí)制工作模式(k=8)

由表4可以看出,外賣員在不同時(shí)間、不同地點(diǎn)的工作狀態(tài)可能處于不同模式下,例如夜間大部分外賣員處于模式1狀態(tài),而用餐時(shí)間工作于不同區(qū)域的外賣員工作模式存在差異,在商家及客戶密集區(qū),外賣員工作效率(單位時(shí)間送單量/通話次數(shù))一般更高。為了使用更精細(xì)的用戶工作模式信息,本文設(shè)置k=50,將用戶的工作行為模式分為50類,這里不詳細(xì)列出具體數(shù)據(jù)。

在實(shí)驗(yàn)過(guò)程中,選擇前8 d的軌跡進(jìn)行訓(xùn)練,最后3 d進(jìn)行測(cè)試,中間3 d進(jìn)行評(píng)估。位置嵌入向量維度為128,Transformer編碼器為4層,含8個(gè)注意力頭。

為了評(píng)估模型的預(yù)測(cè)效果,對(duì)比CHST-LSTM模型與其他常見的5種預(yù)測(cè)算法在本數(shù)據(jù)集上的表現(xiàn),實(shí)驗(yàn)?zāi)Ｐ腿缦?

① ST-RNN[12]:時(shí)空循環(huán)神經(jīng)網(wǎng)絡(luò)模型,在遞歸傳播中通過(guò)特定的時(shí)間和距離轉(zhuǎn)換矩陣融合了空間和時(shí)間的相關(guān)性。

② ST-LSTM[1]:時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò)模型,將時(shí)間和距離信息嵌入潛在向量。

③ GRU[19]:門控循環(huán)單元,構(gòu)成網(wǎng)絡(luò)用于模擬用戶的歷史軌跡。

④ DeepMove[16]:多模塊注意力循環(huán)網(wǎng)絡(luò),利用注意力機(jī)制模擬移動(dòng)的多層次周期性。

⑤ HST-LSTM[1]:分層時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò), ST-LSTM作為編解碼器。

比較結(jié)果如表5所示,用top-N準(zhǔn)確率(N取1,5,10)對(duì)位置預(yù)測(cè)的性能進(jìn)行評(píng)估,本文提出的基于用戶行為的分層模型CHST-LSTM取得了最好的預(yù)測(cè)效果。

表5 預(yù)測(cè)模型效果比較Tab.5 Comparison among different prediction models

為了驗(yàn)證ST-LSTM分層架構(gòu)的作用,本文設(shè)計(jì)了幾組由ST-LSTM作為基本單元構(gòu)成的預(yù)測(cè)模型變體,位置的嵌入向量均采用融合了用戶行為信息的上下文感知向量,通過(guò)對(duì)比實(shí)驗(yàn)進(jìn)行分析,模型如下:

① ST-LSTM:時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò)模型;

② 分層ST-LSTM:分層時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,軌跡按固定時(shí)長(zhǎng)劃分階段;

③ 分層ST-LSTM+LSTM:分層時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,用LSTM處理長(zhǎng)周期變化,軌跡按固定時(shí)長(zhǎng)劃分階段,HST-LSTM方法;

④ 分層ST-LSTM+BiLSTM:分層時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,用BiLSTM處理長(zhǎng)周期變化,軌跡按固定時(shí)長(zhǎng)劃分階段;

⑤ 動(dòng)態(tài)分層ST-LSTM+BiLSTM:分層時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,用BiLSTM處理長(zhǎng)周期變化,軌跡按用戶狀態(tài)劃分階段,本文方法。

相比于ST-LSTM,以編解碼器的形式進(jìn)行序列信息處理能夠更好地捕獲長(zhǎng)短期變化特征,如圖7所示;在此基礎(chǔ)之上通過(guò)LSTM、BiLSTM處理全局上下文信息,對(duì)于位置預(yù)測(cè)能起到更好的效果;根據(jù)用戶停留時(shí)長(zhǎng)進(jìn)行動(dòng)態(tài)劃分后,又進(jìn)一步提升了預(yù)測(cè)性能。另外,分層ST-LSTM+LSTM方法相當(dāng)于在表5的HST-LSTM模型的基礎(chǔ)上使用位置的上下文感知向量,對(duì)比二者結(jié)果可以證明位置的上下文語(yǔ)義對(duì)于位置預(yù)測(cè)的意義?？梢娀谟脩魻顟B(tài)動(dòng)態(tài)分層、考慮上下文信息等處理對(duì)于捕獲序列長(zhǎng)距離依賴的意義,這些方法能夠提升下一位置預(yù)測(cè)的準(zhǔn)確率。

圖7 CHST-LSTM成分分析Fig.7 Component analysis of CHST-LSTM

對(duì)于嵌入方法,本文選取了5種嵌入模型,對(duì)得到的位置嵌入向量利用本文的動(dòng)態(tài)分層ST-LSTM預(yù)測(cè),進(jìn)行對(duì)比實(shí)驗(yàn),嵌入方法包括Skip-gram[4]、POI2Vec[3]、TALE[5]、HIER[6]和CTLE[7]。表6顯示了本文嵌入模型與5種對(duì)比嵌入方法的性能評(píng)估結(jié)果。

表6 嵌入模型效果比較Tab.6 Comparison among different embedding methods

表6結(jié)果顯示融合了用戶行為的位置嵌入向量質(zhì)量更高,模型在下一位置預(yù)測(cè)中表現(xiàn)更佳。在這些方法中,Skip-gram沒有考慮到訪問(wèn)時(shí)間、位置的地理信息,僅僅從上下文中提取信息,POI2Vec引入了空間信息,但位置屬性與實(shí)際地理位置未必強(qiáng)相關(guān),TALE和HIER雖然考慮了訪問(wèn)時(shí)間,但無(wú)法學(xué)習(xí)相對(duì)時(shí)間差,CTLE考慮了訪問(wèn)時(shí)間差,也可以區(qū)分特定上下文環(huán)境中位置的不同功能,但是僅有此信息無(wú)法關(guān)聯(lián)上用戶行為。用戶處于不同位置的不同行為可以反映出所處地的特征,外賣員作為各個(gè)位置之間的穿梭者,其工作行為很大程度上反映了所處的位置,本文模型在考慮上下文信息的同時(shí),將外賣員工作模式、訪問(wèn)時(shí)間納入其中,能夠進(jìn)一步提升位置的嵌入質(zhì)量,從而對(duì)用戶下一位置預(yù)測(cè)帶來(lái)性能提升。

為了進(jìn)一步研究用戶行為相關(guān)信息的有效性,設(shè)計(jì)了CHST-LSTM模型的變體進(jìn)行比較,實(shí)驗(yàn)?zāi)Ｐ腿缦?

①Trans:該模型使用Transformer的位置編碼,并且僅使用MLM目標(biāo)進(jìn)行預(yù)訓(xùn)練;

②Trans+Time:該模型用時(shí)間編碼取代基本模型Trans中的位置編碼;

③Trans+Time+Mode:該模型在使用時(shí)間編碼的基礎(chǔ)上加上了用戶行為模式編碼;

④Trans+MT:該模型使用Transformer位置編碼,但在預(yù)訓(xùn)練期間加入時(shí)間掩碼訓(xùn)練目標(biāo),與MLM目標(biāo)結(jié)合;

⑤Trans+MT+MA:該模型使用Transformer位置編碼,在預(yù)訓(xùn)練期間同時(shí)加入時(shí)間掩碼和模式掩碼訓(xùn)練目標(biāo);

⑥Trans+Time+Mode+MT+MA:本文方法。

在外賣員群體的數(shù)據(jù)集上,將這幾種變體模型與CHST-LSTM模型預(yù)測(cè)位置的準(zhǔn)確率進(jìn)行比較,如圖8所示。

圖8 嵌入方法分析Fig.8 Analysis of the embedding methods

與其他位置嵌入方法相比,利用Transformer編碼器進(jìn)行訓(xùn)練已經(jīng)具有一定的性能優(yōu)勢(shì),這表明更好地學(xué)習(xí)上下文語(yǔ)義能夠得到更高質(zhì)量的位置特征表達(dá),應(yīng)用于位置預(yù)測(cè)任務(wù)能夠達(dá)到更好的效果。加入時(shí)間編碼模塊、預(yù)測(cè)掩碼時(shí)間等方法都能將時(shí)間信息融合到模型中,能夠提高基本模型的預(yù)測(cè)性能。在此基礎(chǔ)之上,加入用戶行為模式編碼模塊、預(yù)訓(xùn)練時(shí)加入掩碼行為模式的預(yù)測(cè)都能進(jìn)一步提升預(yù)測(cè)效果。由此可見,用戶到達(dá)某位置的時(shí)間、在某位置的行為模式都能為位置的嵌入表征提供有效信息,因此將其加入模型中以提升預(yù)測(cè)性能。

4 結(jié)束語(yǔ)

針對(duì)位置預(yù)測(cè)問(wèn)題,本文將用戶行為納入考慮,設(shè)計(jì)了CHST-LSTM模型。為了處理用戶行為信息,將用戶訪問(wèn)時(shí)間、行為模式與訪問(wèn)地點(diǎn)共同編碼,經(jīng)上下文感知嵌入模型,通過(guò)掩碼預(yù)訓(xùn)練得到位置的嵌入向量。為了更好地處理序列的長(zhǎng)短期依賴問(wèn)題,將位置嵌入向量用于基于用戶狀態(tài)劃分的動(dòng)態(tài)ST-LSTM分層模型,通過(guò)編解碼器和BiLSTM提取長(zhǎng)短期移動(dòng)特征,共同構(gòu)成CHST-LSTM預(yù)測(cè)模型。在對(duì)外賣員群體進(jìn)行實(shí)驗(yàn)時(shí),融合了訪問(wèn)時(shí)間、工作模式信息,得到了更高質(zhì)量的位置嵌入表示,通過(guò)動(dòng)態(tài)ST-LSTM分層模型使得外賣員下一位置預(yù)測(cè)更加準(zhǔn)確,驗(yàn)證了CHST-LSTM模型對(duì)于軌跡預(yù)測(cè)的性能提升。在后續(xù)的工作中將考慮處理更復(fù)雜的用戶行為信息,并將之應(yīng)用于位置預(yù)測(cè)。