江 濤，余松森，汪海濤

(1.廣東理工學(xué)院 信息技術(shù)學(xué)院，廣東 肇慶 526100；2.華南師范大學(xué) 軟件學(xué)院，廣東 佛山 528225； 3.廣東科貿(mào)職業(yè)學(xué)院 信息與自動(dòng)化學(xué)院，廣東 廣州 510430)

0 引 言

隨著現(xiàn)代信息技術(shù)的高度發(fā)達(dá)，將位置作為核心的社會(huì)網(wǎng)絡(luò)借助于興趣點(diǎn)(point of interest，POI)對(duì)簽到位置進(jìn)行發(fā)布，使用戶可以輕松地找到有趣的地方并通過智能設(shè)備分享他們的經(jīng)驗(yàn)[1-3]。因此，基于位置的社交網(wǎng)絡(luò)(location-based social network，LBSNs)中有效的POI推薦人系統(tǒng)可以使用戶輕松地通過他們的簽到歷史找到他們感興趣的地方[4,5]。針對(duì)LBSN間存在的多種級(jí)別和其所對(duì)應(yīng)的關(guān)系展開全面深入的分析，不僅能夠?yàn)橛脩籼剿魍翘峁└哔|(zhì)量的服務(wù)，同時(shí)也能夠?yàn)樯碳覄?chuàng)造更多位置的經(jīng)濟(jì)效益[6-9]。與傳統(tǒng)推薦(例如電影推薦、音樂推薦)不同，POI推薦的特征是地理信息，并且沒有明確的評(píng)級(jí)信息可用[10-12]。深度學(xué)習(xí)在圖像檢索、文本生成、點(diǎn)擊預(yù)測(cè)和推薦中的成功應(yīng)用已經(jīng)導(dǎo)致一些研究人員使用深度學(xué)習(xí)從以前訪問過的POIs中提取用戶偏好。文獻(xiàn)[13]提出了一種新的主題增強(qiáng)記憶網(wǎng)絡(luò)(theme memory network，TEMN)，它是一種將主題模型和記憶網(wǎng)絡(luò)相結(jié)合的深層結(jié)構(gòu)，利用了潛在模式的全局結(jié)構(gòu)和基于局部鄰域的非線性特征，進(jìn)一步結(jié)合了地理模塊，利用用戶特定的空間偏好和POI特定的空間影響來增強(qiáng)推薦。文獻(xiàn)[14]提出了一種新的時(shí)空感知STA(spatiotemporal aware)推薦框架，其基本思想是捕捉地理和時(shí)間效應(yīng)使用對(duì)，然后將其建模為連接用戶和POI的轉(zhuǎn)換，來模擬大規(guī)模POI推薦中用戶、POI和時(shí)空上下文之間的三階關(guān)系。文獻(xiàn)[15]創(chuàng)建了一個(gè)時(shí)間和多層次的上下文關(guān)注機(jī)制TMCA(temporal and multi-level context attention)，以自適應(yīng)地選擇相關(guān)的簽入活動(dòng)和上下文因素，以預(yù)測(cè)下一個(gè)POI偏好。文獻(xiàn)[16]提出了一種POI群組推薦方法，通過對(duì)用戶影響進(jìn)行模糊建模，并考慮用戶的差異，利用LBSNs中的歷史登記數(shù)據(jù)，在類別、距離和時(shí)間方面，量化他們單獨(dú)或在一組時(shí)的個(gè)性和偏好。該方法與加權(quán)平均聚合相結(jié)合，提高了POI群組推薦的效率。文獻(xiàn)[17]提出了一種基于模糊區(qū)域的協(xié)同過濾技術(shù)，為基于LBSNs的用戶提供個(gè)性化的POI建議，利用用戶的活動(dòng)來模擬他們的偏好，并向他們推薦下一次訪問。但是，盡管現(xiàn)有方法已經(jīng)成功地對(duì)全局序列依賴性進(jìn)行了建模，但是它們無法對(duì)微妙的POI-POI關(guān)系進(jìn)行建模，導(dǎo)致推薦匹配度低。因此，本文基于深度學(xué)習(xí)，就POI推薦方法進(jìn)行了深入研究，具體研究?jī)?nèi)容如下：

(1)建立一個(gè)地理時(shí)空注意力網(wǎng)絡(luò)，捕獲序列中的POIs之間的關(guān)系，并將簽到序列中連續(xù)的地理距離和時(shí)間間隔信息加入到基礎(chǔ)的GRU網(wǎng)絡(luò)中，以建模用戶個(gè)性化移動(dòng)行為和挖掘用戶個(gè)性化時(shí)空偏好；

(2)通過特定于上下文的共同注意力網(wǎng)絡(luò)學(xué)習(xí)使得網(wǎng)絡(luò)具有較好的動(dòng)態(tài)用戶偏好，使GS-GRUN網(wǎng)絡(luò)可以從大量簽入中識(shí)別出高度相似的用戶行為。

1 問題定義

首先進(jìn)行以下定義，然后提出要研究的問題。

定義1 簽入：簽入是用戶在LBSNs中的指定時(shí)間執(zhí)行的操作。對(duì)于每個(gè)用戶ui， 簽入可以表示為元組 (ui,vj,tk)， 其中用戶ui在時(shí)間狀態(tài)tk時(shí)，在POIvj簽入；vj由ID或坐標(biāo)表示；tk是時(shí)間狀態(tài)。

定義2 臨時(shí)狀態(tài)：時(shí)間狀態(tài)是tk∈T一個(gè)離散的時(shí)隙，代表用戶簽入的時(shí)間段，本文設(shè)置|T|=24小時(shí)。

定義3 軌跡序列：簽入序列是根據(jù)時(shí)間戳按時(shí)間順序排列的一組簽入。用戶ui在時(shí)間tk之前的軌跡序列表示為Hi={(v1,t1),(v2,t2)，…,(vk,tk)}，k是時(shí)間索引。

2 地理-時(shí)空門控循環(huán)單元網(wǎng)絡(luò)分層模型

圖1顯示了地理-時(shí)空門控循環(huán)單元網(wǎng)絡(luò)的圖形表示，箭頭表示數(shù)據(jù)流。地理-時(shí)空門控循環(huán)單元網(wǎng)絡(luò)由嵌入層、門控循環(huán)單元網(wǎng)絡(luò)層、共同注意力網(wǎng)絡(luò)、輸出網(wǎng)絡(luò)層組成，以對(duì)POIs之間的地理關(guān)系和簽入序列的時(shí)間依賴性進(jìn)行建模。給定目標(biāo)用戶和當(dāng)前時(shí)間狀態(tài)下的上下文的一般偏好，上下文特定的共同注意力網(wǎng)絡(luò)用于捕獲變化的用戶偏好(動(dòng)態(tài)用戶偏好)。最后，使用負(fù)采樣和小批量隨機(jī)梯度下降算法來訓(xùn)練地理-時(shí)空門控循環(huán)單元網(wǎng)絡(luò)。以下各節(jié)給出了GS-GRUN各個(gè)組件的更多詳細(xì)信息。

圖1 GS-GRUN模型的圖形表示

2.1 嵌入層

先前的大多數(shù)研究將用戶和POIs投影到相同的密集語義空間中，并根據(jù)用戶和POI在空間中的關(guān)系提出建議。這些方法沒有揭示POIs的地理方面。將POIs投影到不同的語義空間中。具體來說，對(duì)于每個(gè)POIvj，創(chuàng)建一個(gè)POI偏好向量Pj∈1×d， 一個(gè)POI地理影響向量Ij∈1×d和一個(gè)POI地理敏感性向量Sj∈1×d， 其中d是潛維數(shù)。本文使用地理影響向量來捕獲POI，將其訪問者定向到其它POIs的趨勢(shì)，并使用地球敏感性矢量來反映POI接收從其它POIs定向的訪問者的趨勢(shì)。然后將所有POI轉(zhuǎn)換為矩陣P∈|V|×d,I∈|V|×d和S∈|V|×d。 類似地創(chuàng)建一般偏好矩陣U∈|U|×d適用于所有用戶；該矩陣隨時(shí)間具有恒定值。對(duì)于所有時(shí)間狀態(tài)，本文還創(chuàng)建了一個(gè)潛在的慣性矩陣C∈|T|×d。

EP=MiP

(1)

EI=MiI

(2)

ES=MiS

(3)

其中，EP∈L×d，EI∈L×d，ES∈L×d。 同樣，對(duì)于目標(biāo)用戶ui， 創(chuàng)建特征向量Ni∈1×|U|。 通過單熱編碼技術(shù)，由Ni和U的點(diǎn)積生成通用偏好向量Ui， 其中Ui∈1×d； 對(duì)于當(dāng)前時(shí)間狀態(tài)tk， 創(chuàng)建一個(gè)特征Ai∈1×|T|。 通過單熱編碼技術(shù)，由Ai和C的點(diǎn)積生成潛在語義矢量Ck。

2.2 時(shí)空注意力網(wǎng)絡(luò)

2.2.1 建模地理關(guān)系

本文利用地理注意力網(wǎng)絡(luò)捕獲序列中的POIs之間的關(guān)系，從而對(duì)地理關(guān)系進(jìn)行建模。注意力網(wǎng)絡(luò)的輸出是值EP上的加權(quán)總和，其中權(quán)重矩陣由查詢及其相應(yīng)的鍵確定。地理敏感度矩陣ES是查詢，地理影響矩陣EI是關(guān)鍵。首先通過具有共享參數(shù)的非線性變換將查詢ES和鍵EI投影到相同的語義空間，然后將權(quán)重矩陣計(jì)算為

(4)

(5)

(6)

其中，WQ∈d×d,WK∈d×d,Bq∈d×1和BK∈d×1是模型參數(shù)。函數(shù)ψ(·)是激活函數(shù)，本文使用ReLU來增加非線性能力，并使用來衡量點(diǎn)積的注意力。

點(diǎn)積表示兩個(gè)POIs與地理影響的關(guān)系。但是，它沒有明確考慮兩個(gè)POIs之間的地理距離。通過進(jìn)一步分析伯勒所的第一地理定律，所有事物都與其它事物存在密切的聯(lián)系，而距離較近的實(shí)物所具有的關(guān)聯(lián)性要顯著高于距離較遠(yuǎn)的事物?？梢允褂脙缏珊瘮?shù)(PLF)、指數(shù)函數(shù)(EF)、雙曲線函數(shù)(HF)和高斯徑向基函數(shù)核(RBF核)來表示地理距離的影響。本文使用RBF內(nèi)核來權(quán)衡簽入POIs的影響。RBF內(nèi)核函數(shù)定義為

R=exp(-γD2)

(7)

其中，D∈L×L是相鄰簽入POIs之間的地理距離矩陣。Gamma是一個(gè)超參數(shù)，用于控制兩個(gè)給定POIs之間的地理圖形相關(guān)性；較大的γ值將導(dǎo)致較小的R值。R的值限制為0或1。式(4)改寫為

(8)

其中， (·) 是逐元素乘積。地理關(guān)注度的輸出是一個(gè)L×d矩陣，定義為

(9)

為了允許模型同時(shí)關(guān)注來自不同位置的不同表示子空間的信息，地理注意使用l尺度點(diǎn)積注意，連接所有l(wèi)尺度點(diǎn)乘積模型的輸出，然后使用線性層將連接的特征投影到固定尺寸的特征?？梢詫⒂?jì)算過程表述為

(10)

其中，WF∈1d×d

為了避免傳輸損失，向F添加了剩余連接，然后應(yīng)用歸一化層。因此，原始映射F為

(11)

2.2.2 建模序列依賴性

要深入探索用戶移動(dòng)行為模式，必須將空間以及時(shí)間所對(duì)應(yīng)的上下文信息作為切入點(diǎn)，利用對(duì)個(gè)性化時(shí)空所對(duì)應(yīng)的上下文關(guān)系進(jìn)行科學(xué)的建模，由此能夠?qū)τ脩羲赜械囊欢ㄐ袨槟Ｊ秸归_更加全面的分析，具有連續(xù)性的地理距離以及時(shí)間間隔方面的各項(xiàng)信息都沒有被重視。但從實(shí)際情況出發(fā)，上述信息對(duì)建模的過程以及探索用戶偏好具有關(guān)鍵性意義。

本節(jié)針對(duì)最為基礎(chǔ)的GRUN網(wǎng)絡(luò)引入地理以及時(shí)間間隔方面的各項(xiàng)信息，由此能夠使得建模以及對(duì)用戶個(gè)性化的時(shí)空偏好進(jìn)行學(xué)習(xí)的過程得到有力的支撐。如圖2所示，所描述的是GS-GRUN所對(duì)應(yīng)的網(wǎng)絡(luò)卷積，針對(duì)全部的時(shí)間不長(zhǎng)進(jìn)一步說明，其單元所具有的輸出組成要素包括嵌入、空間以及時(shí)間所對(duì)應(yīng)的上下文向量。所以，其輸出屬于隱藏層向量，對(duì)興趣點(diǎn)以及時(shí)空上下文信息的融合進(jìn)行表示，以下為各個(gè)相關(guān)的計(jì)算公式

(12)

(13)

(14)

(15)

圖2 GS-GRUN結(jié)構(gòu)

顯而易見的是，若對(duì)所有具有連續(xù)性的地理距離以及時(shí)間間隔都進(jìn)行相應(yīng)的訓(xùn)練，那么此網(wǎng)絡(luò)會(huì)產(chǎn)生不容忽視的數(shù)據(jù)稀疏性問題，所以，可以有效地針對(duì)具有連續(xù)性的地理距離和時(shí)間所對(duì)應(yīng)的值進(jìn)一步劃分至等距離間隔的范圍，借助于線性差值能夠順利獲取正確的轉(zhuǎn)換矩陣，計(jì)算公式總結(jié)為

(16)

(17)

式中：U(δs) 和L(δs) 所指代的分別為地理距離的最大以及最小值。同樣地，U(δg) 和L(δg) 所指代的分別是特定時(shí)間間隔所對(duì)應(yīng)的最高以及最低值。WU(δs)和WL(δs)所指代的是空間因子矩陣，WU(δg)和WL(δg)表示時(shí)間因子矩陣。

此外，用戶u在tN+1這一時(shí)間節(jié)點(diǎn)上對(duì)興趣點(diǎn)vk所對(duì)應(yīng)的預(yù)測(cè)率能夠利用以下公式計(jì)算得出

(18)

2.3 共同注意力網(wǎng)絡(luò)

以前的模型經(jīng)常使用循環(huán)模型的平均隱藏狀態(tài)來表示用戶偏好的變化，并通過在動(dòng)態(tài)用戶偏好向量和項(xiàng)目偏好向量之間形成點(diǎn)積來創(chuàng)建推薦。該方法無法識(shí)別個(gè)人用戶行為在確定下一次訪問的POI方面的重要性。用戶是否會(huì)以推薦的POI簽入還取決于上下文信息，例如用戶的一般偏好、時(shí)間狀態(tài)以及與POI的距離。本文創(chuàng)建了特定于上下文的共同注意力網(wǎng)絡(luò)，以捕獲動(dòng)態(tài)的用戶偏好。具體來說，將每個(gè)上下文投影到d維語義空間中，利用式(4)～式(6)計(jì)算加權(quán)注意值H。 然后，使用潛伏融合策略來連接加權(quán)注意力值，并使用非線性連接層來學(xué)習(xí)動(dòng)態(tài)用戶偏好。

形式上，給定目標(biāo)用戶ui的一般偏好向量Ui， 目標(biāo)POIvj的偏好向量Pj和時(shí)間上下文tk的潛在語義向量Ck， 用戶ui的動(dòng)態(tài)偏好計(jì)算為

ui,L=ω(αWα+b)WU

(19)

α=concat([AT(Ui,H)H,AT(Pj,H)H,AT(Ck,H)H])

(20)

其中，α∈1×3d是連接后的共同注意分?jǐn)?shù)，Wα∈3d×d和WU∈d×d是模型參數(shù)，并且ω(·) 是非線性函數(shù)，采用1D CNN來增加非線性。

2.4 學(xué)習(xí)和模型優(yōu)化

(21)

(22)

通過最大化條件對(duì)數(shù)似然來學(xué)習(xí)模型參數(shù)Θ={P,I,S,U,C,WQ,WK,WF,WH,WU,Wα}

(23)

(24)

其中，σ=1/(1+e-x) 是活度函數(shù)，k是根據(jù)噪聲分布PI繪制的采樣負(fù)POIs的數(shù)量，PI是POI簽到頻率的分布。

3 實(shí)驗(yàn)評(píng)估

3.1 數(shù)據(jù)集

本文使用來自Foursquare和Gowalla的兩個(gè)公開的數(shù)據(jù)集來驗(yàn)證所提出模型的有效性。這兩個(gè)數(shù)據(jù)集包含大量的簽入數(shù)據(jù)，并已在以前的研究中廣泛使用。以更為準(zhǔn)確的對(duì)用戶簽到數(shù)據(jù)所對(duì)應(yīng)的空間分布展開相應(yīng)的描述為目的，通過圖3針對(duì)Foursquare、Gowalla所具有的數(shù)據(jù)集所描述的地理分布空間展開準(zhǔn)確的描述。Foursquare數(shù)據(jù)集中所表現(xiàn)出來的分布呈現(xiàn)出更強(qiáng)的分散性，而Gowalla數(shù)據(jù)集中所變現(xiàn)出來的分布呈現(xiàn)出更強(qiáng)的集中性，存在若干個(gè)集中點(diǎn)，由此可見地理區(qū)域不同，用戶的活動(dòng)模式也存在較為明顯的區(qū)別。

圖3 兩個(gè)簽到數(shù)據(jù)集的地理空間分布

Foursquare數(shù)據(jù)集包含從2012年4月到2013年9月連續(xù)在美國(guó)內(nèi)簽入。Gowalla數(shù)據(jù)集是從2009年2月到2010年10月的全球范圍內(nèi)生成的。兩個(gè)數(shù)據(jù)集中的每個(gè)簽入記錄均包括時(shí)間戳、用戶ID、具有POI緯度和經(jīng)度的POI ID。從Foursquare數(shù)據(jù)集中消除了小于15個(gè)POI簽入用戶和小于15個(gè)訪客的POIs。結(jié)果數(shù)據(jù)集包含24 941個(gè)用戶，28 593個(gè)POIs和1 196 248個(gè)簽入。從Gowalla數(shù)據(jù)集中刪除了小于15個(gè)POI簽到用戶和小于15個(gè)訪問者POIs。結(jié)果數(shù)據(jù)集包含18 737個(gè)用戶，32 510個(gè)POI和1 278 274個(gè)簽入。數(shù)據(jù)集的基本詳細(xì)信息在表1中給出。

表1 數(shù)據(jù)集計(jì)數(shù)

使用ui的前L個(gè)簽入來預(yù)測(cè)訓(xùn)練數(shù)據(jù)集中的第(L+1)個(gè)簽入，其中L={1,2,…,n-2}， 而用第一個(gè)(L-1)簽入以預(yù)測(cè)測(cè)試數(shù)據(jù)集中的第L簽入。

3.2 評(píng)估指標(biāo)

該實(shí)驗(yàn)的目的是找到用戶可能感興趣的前N個(gè)POIs，本文使用通用的評(píng)估指標(biāo)Accuracy@N來評(píng)估模型的質(zhì)量。首先計(jì)算用戶訪問包含每個(gè)目標(biāo)POIvj和其它候選POIs的集合成員的概率。然后，根據(jù)這些POIs的概率對(duì)它們進(jìn)行排序，從而創(chuàng)建一個(gè)排名列表，通過從列表中選擇N個(gè)排名最高的POIs來創(chuàng)建前N個(gè)推薦列表。如果rank(vj)

(25)

其中， #hit@N是測(cè)試集中的命中數(shù)， |Stest| 是所有測(cè)試用例的數(shù)量。

平均年齡的用戶計(jì)算曲線下的面積(AUC)

(26)

其中，p(vi) 是用戶將在測(cè)試集中訪問POIvi的預(yù)測(cè)概率，而I(·) 是指標(biāo)函數(shù)。

召回率(Recall)表示預(yù)測(cè)為正例的真實(shí)正例占所有正例的比例，公式如下所示

(27)

精確率(Precision)表示在被所有預(yù)測(cè)為正的樣本中實(shí)際為正樣本的概率，公式如下所示

(28)

其中，tp為真正例，fn為假反例，fp為假正例。

F1分?jǐn)?shù)(F1-score)是分類問題的一個(gè)衡量指標(biāo)，它是精確率(Precision)和召回率的調(diào)和平均數(shù)，公式如下所示

(29)

3.3 參數(shù)設(shè)定

在裝有4個(gè)高性能NVIDIA GPUs的計(jì)算機(jī)服務(wù)器上訓(xùn)練本文模型，每個(gè)GPU具有12 GB的內(nèi)存。模型使用TensorFlow深度學(xué)習(xí)庫以python實(shí)現(xiàn)，通過5次交叉驗(yàn)證以找到最佳參數(shù)。地理相關(guān)性水平γ通過網(wǎng)格搜索確定，在實(shí)驗(yàn)中設(shè)置為10。對(duì)于梯度下降參數(shù)，學(xué)習(xí)速率從1.0開始，衰減速率設(shè)置為0.1，正則化λ設(shè)置為0.000 05，負(fù)樣本數(shù)k設(shè)置為1。

3.4 實(shí)驗(yàn)比較

3.4.1 各種方法的比較

使用Foursquare和Gowalla數(shù)據(jù)集，將GS-GRUN給出的結(jié)果與GS-TEMN[13]、STA[14]以及TMCA[15]方法的結(jié)果進(jìn)行了比較。實(shí)驗(yàn)?zāi)繕?biāo)是在合理的時(shí)間內(nèi)做出用戶可以接受的前N個(gè)POI建議，因此使用Accuracy@N指標(biāo)來評(píng)估模型的性能。潛在因子的維數(shù)設(shè)置為700，序列長(zhǎng)度L設(shè)置為20。N={3，6，9，12，15，18}， 因?yàn)橛脩敉ǔ?huì)忽略較大的N值。

圖4顯示了從Foursquare和Gowalla數(shù)據(jù)集中獲得的不同N值的Accuracy@N結(jié)果。結(jié)果表明，對(duì)于這兩個(gè)數(shù)據(jù)集，所提的GS-GRUN模型明顯優(yōu)于其它所有模型。與GS-TEMN相比，第二好的模型Accuracy@6對(duì)Foursquare和Gowalla數(shù)據(jù)集顯示了41.3%和41.7%的改進(jìn)。兩個(gè)數(shù)據(jù)集之間的比較表明，Gowalla的結(jié)果比Foursquare的結(jié)果差。GS-GRUN給Foursquare數(shù)據(jù)集提供的結(jié)果比Gowalla數(shù)據(jù)集好約為45%。此外通過對(duì)AUC進(jìn)行評(píng)估對(duì)比見表2。對(duì)于Foursquare和Gowalla數(shù)據(jù)集，GS-GRUN模型的性能明顯優(yōu)于其它任何方法。

圖4 Foursquare和Gowalla數(shù)據(jù)集中獲得的不同N值的Accuracy@N結(jié)果

表2 GS-GRUN的AUC性能與其它方法相比

GS-GRUN具有更好的Accuracy@N和AUC值是由于以下原因。首先，GS-GRUN使用一種注意力機(jī)制來捕獲POIs之間的地理關(guān)系，并使用GRUN來捕獲整體時(shí)間序列依賴性能。第二，通過特定于上下文的共同注意力網(wǎng)絡(luò)學(xué)習(xí)使得網(wǎng)絡(luò)具有較好的動(dòng)態(tài)用戶偏好，該網(wǎng)絡(luò)可以從大量簽入中識(shí)別出高度相似的用戶行為。

圖5給出了所有方法在Foursquare和Gowalla數(shù)據(jù)集上的F1分?jǐn)?shù)和召回率對(duì)比結(jié)果，GS-GRUN和GS-TEMN均考慮了地理因素，在兩個(gè)數(shù)據(jù)集上的性能表現(xiàn)更好。此外，GS-GRUN的性能表現(xiàn)明顯優(yōu)于GS-TEMN，因?yàn)镚S-GRUN同時(shí)考慮了地理影響和時(shí)間影響，并通過在動(dòng)態(tài)用戶偏好向量和項(xiàng)目偏好向量之間形成點(diǎn)積來創(chuàng)建推薦，從而提高網(wǎng)絡(luò)效率。GS-GRUN方法對(duì)于興趣點(diǎn)的推薦任務(wù)來說具有較高的有效性，原因是通過GRUN網(wǎng)絡(luò)可以對(duì)融合時(shí)空的上下文學(xué)習(xí)復(fù)雜移動(dòng)的序列關(guān)系具有更為高效的融合，由此能夠在建模的過程中具有更高的穩(wěn)定性，同時(shí)能夠?qū)?shù)據(jù)稀疏問題進(jìn)行環(huán)調(diào)節(jié)。同時(shí)，對(duì)注意力模型進(jìn)行融合后，可以對(duì)用戶的移動(dòng)行為意圖進(jìn)行動(dòng)態(tài)捕捉。盡管GS-TEMN、STA以及TMCA方法已經(jīng)成功地對(duì)全局序列依賴性進(jìn)行了建模，但是它們無法對(duì)微妙的POI-POI關(guān)系進(jìn)行建模。此外，當(dāng)前模型通常會(huì)將用戶的先前記錄隱式編碼為潛在因素或隱藏狀態(tài)，而不會(huì)意識(shí)到任何簽入可能對(duì)預(yù)測(cè)下一個(gè)行為產(chǎn)生的影響。因此推薦性能均不如所提GS -GRUN方法。

圖5 Foursquare和Gowalla數(shù)據(jù)集上的推薦性能F1分?jǐn)?shù)與召回率比較

3.4.2 參數(shù)靈敏度

使用Foursquare和Gowalla數(shù)據(jù)集研究了GS-GRUN中超參數(shù)的敏感性，特別是潛在因子d的大小和序列長(zhǎng)度L的敏感性。

首先將L設(shè)置為20，并研究了尺寸對(duì)推薦準(zhǔn)確性的影響。通過將d從100更改為600，以100為增量來測(cè)試模型性能，進(jìn)行了6次測(cè)試。將平均值報(bào)告為兩個(gè)數(shù)據(jù)集的最終結(jié)果。Accuracy@3、Accuracy@6和Accuracy@9的結(jié)果如圖6所示。結(jié)果表明，隨著d的增加，GS-GRUN的推薦準(zhǔn)確度首先略有增加，隨著d的增加，推薦準(zhǔn)確度開始急劇下降。參數(shù)d代表模型復(fù)雜度。當(dāng)d較小時(shí)，GS-GRUN無法描述用戶偏好。但是，當(dāng)d超過閾值(d=400)時(shí)，該模型足夠復(fù)雜，無法處理數(shù)據(jù)，但準(zhǔn)確性較低。在這一點(diǎn)上，增加d無疑會(huì)改善模型性能，但也會(huì)增加模型訓(xùn)練所需的時(shí)間，從而導(dǎo)致收益遞減。因此，兩個(gè)數(shù)據(jù)集的最佳結(jié)果是d=400時(shí)。

圖6 GS-GRUN中潛在維度d對(duì)Foursquare和Gowalla數(shù)據(jù)集的影響

此外，本文還研究了序列長(zhǎng)度L對(duì)推薦精度的影響。將d設(shè)置為700，并通過以5為增量將L從5更改為30來測(cè)試模型性能。進(jìn)行了6次測(cè)試，并將平均值用作兩個(gè)數(shù)據(jù)集的最終結(jié)果。圖7顯示了Accuracy@3、Accuracy@6和Accuracy@9的推薦精度。建議精度先增加，然后隨著L的增加而略有下降。當(dāng)L為20時(shí)，對(duì)于Foursquare數(shù)據(jù)集，當(dāng)L為25時(shí)，對(duì)于Gowalla數(shù)據(jù)集，可獲得最佳結(jié)果。由于序列長(zhǎng)度較大，GS-GRUN可以捕獲歷史值機(jī)的效果，因此可以看到提早出現(xiàn)的結(jié)果。當(dāng)序列長(zhǎng)度持續(xù)增加時(shí)，會(huì)發(fā)生模型過度擬合。另外，較大的值還會(huì)導(dǎo)致時(shí)間復(fù)雜。結(jié)果還表明，下次簽到行為受到先前訪問的POIs集的高度影響。

圖7 GS-GRUN中序列長(zhǎng)度L對(duì)Foursquare和Gowalla數(shù)據(jù)集的影響

4 結(jié)束語

本文調(diào)查了決定用戶下一次運(yùn)動(dòng)的因素，并創(chuàng)建了地理-時(shí)空門控循環(huán)單元網(wǎng)絡(luò)，以通過從大規(guī)模檢查中更好地了解用戶與POIs之間的關(guān)系來提高下一個(gè)POI推薦的準(zhǔn)確性。本文建立一個(gè)地理時(shí)空注意力網(wǎng)絡(luò)尋找總體序列依賴性和微妙的POI-POI關(guān)系，并將簽到序列中連續(xù)的地理距離和時(shí)間間隔信息加入到GRU網(wǎng)絡(luò)中，以建模用戶個(gè)性化移動(dòng)行為和挖掘用戶個(gè)性化時(shí)空偏好，設(shè)計(jì)了特定于上下文的共同注意力網(wǎng)絡(luò)，通過從簽到歷史中自適應(yīng)地選擇相關(guān)簽到活動(dòng)來學(xué)習(xí)更改用戶偏好，這使GS-GRUN能夠區(qū)分不同簽到的用戶偏好程度。實(shí)驗(yàn)結(jié)果表明，當(dāng)潛在維度持續(xù)增加時(shí)，會(huì)使得準(zhǔn)確率下降。此外，由于深度學(xué)習(xí)這一技術(shù)存在的提取圖片特征這一功能具有重要意義，將其和興趣點(diǎn)、用戶活動(dòng)推薦等展開高度融合，進(jìn)一步得到全新的框架具有廣闊的應(yīng)用前景。