李 勇，韓志媛，安敬民

(1.濰坊學院 計算機工程學院，山東 濰坊 261061；2.濰坊醫(yī)學院 外國語學院，山東 濰坊 261053； 3.大連海事大學 信息科學技術(shù)學院，遼寧 大連 116026)

0 引 言

隨著基于位置的社交網(wǎng)絡(luò)(location-based social networks，LBSNs)的興起，人們的生活得到了更多改善。這主要體現(xiàn)在用戶可以隨時隨地分享自己的位置和興趣點(point-of-interest，POI)，而且用戶還可以在LBSNs上查找符合自己興趣的POIs(電影院、飯店和景點等)，使得用戶的生活更加便利。當前國內(nèi)外有眾多典型的LBSNs，比如大眾點評平臺、Gowalla以及Foursquare等，這些平臺被越來越多的用戶和學者所關(guān)注。若能合理地收集已有的用戶簽到數(shù)據(jù)并挖掘其中隱含的信息，將能進一步促進LBSNs的POI的個性化推薦的實現(xiàn)。個性化POI推薦是基于已有的用戶簽到經(jīng)驗，向其推薦他們未曾訪問過且感興趣的地方。對于個體用戶而言，這增加其生活的方便，而對于第三方商家而言，可以更加容易定位用戶興趣偏好，以向特定用戶群推送廣告。近幾年來，基于LBSNs的POI推薦方法大量涌現(xiàn)，如文獻[1-3]等，這些方法主要致力于解決POI推薦過程中的數(shù)據(jù)稀疏問題，以獲得更好的推薦效果。通過考慮不同的上下文信息(地理、社會和時間等信息)對用戶偏好的影響，并協(xié)同用戶實際簽到數(shù)據(jù)實現(xiàn)興趣點推薦。然而，這些方法雖然考慮了時間因素，但均基于用戶的歷史數(shù)據(jù)進行POI預(yù)測，未能充分考慮在推薦過程中用戶的實時需求。例如：某用戶ui習慣于在中午某段時間去餐館吃飯，但ui此時剛剛下飛機并在早些時段已用過餐，其在短時間內(nèi)連續(xù)用餐的概率是低的，而簽到一個賓館的概率更高。現(xiàn)有方法基于用戶歷史習慣會向該用戶推薦餐館，無法感知用戶現(xiàn)有的實時需求。

針對這一問題，本文提出了一種用戶實時偏好感知的POI推薦方法。該方法同時考慮了用戶實時需求和用戶歷史偏好。利用用戶當前的狀態(tài)，如：當前簽到的POI地理位置和時間信息，學習該用戶實時偏好嵌入表示。使用矩陣分解技術(shù)(matrix factorization)融合POI類別信息和用戶社會關(guān)系學習用戶歷史偏好嵌入。最后，使用一種能處理時序問題的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network)融合用戶實時偏好向量和歷史偏好向量，預(yù)測實時POI需求。通過在廣泛被采用的數(shù)據(jù)集(Foursquare)上的實驗，驗證了所提方法的有效性。

1 相關(guān)工作

在過去的幾年中，大量的基于LBSNs的POI推薦方法被提出，這里，本文給出最近的一些工作的介紹。

在POI推薦問題的近幾年相關(guān)工作中，主要以融合多種上下文擬合用戶偏好為主，如地理信息、社會信息、POI類別信息、流行度和時間信息等。這是因為更多有效的上下文信息能夠更好地擬合用戶簽到行為。文獻[4]分別利用核密度估計建模了POI地理相關(guān)性和使用高斯函數(shù)建模了用戶的社會關(guān)系，并聯(lián)合用戶自身偏好，進行POI預(yù)測。文獻[5]考慮了地理信息、社會信息以及POI評論內(nèi)容三方面因素，提出了一個基于卷積矩陣分解框架的上下文融合模型。文獻[6]分別學習了地理信息、POI類別信息以及社會關(guān)系的向量表示，并將3種特征向量輸入到一個深度神經(jīng)網(wǎng)絡(luò)中以獲取POI預(yù)測。文獻[7]通過研究用戶的簽到行為模式的特征，提出一種用戶移動模式相似度計算方法。文獻[8]重點強調(diào)了LBSN中的社會信任關(guān)系，并結(jié)合地理信息和用戶偏好信息設(shè)計了一個個性化POI推薦框架。文獻[9]對POI文本內(nèi)容進行了研究，通過對文本內(nèi)容的挖掘，建模了3類特征，POI屬性特征、用戶情感特征以及用戶興趣。將3類特征輸入到一個卷積神經(jīng)網(wǎng)絡(luò)中學習用戶POI。文獻[10]通過聯(lián)合用戶對POI的評分、社會信息、地理信息、POI流行度和用戶簽到行為，提出一種面向異構(gòu)社會網(wǎng)絡(luò)的POI推薦方法。文獻[11]構(gòu)建了一種用戶簽到社會關(guān)系網(wǎng)絡(luò)，并通過網(wǎng)絡(luò)關(guān)系表示學習獲取用戶社會關(guān)系對POI決策的影響。通過結(jié)合用戶自身偏好和地理信息因素，實現(xiàn)POI個性化推薦。文獻[12]則利用神經(jīng)網(wǎng)絡(luò)良好的感知和表達能力，通過半監(jiān)督學習方法建模用戶社會關(guān)系和POI地理信息，并結(jié)合協(xié)同過濾方法進行POI推薦。文獻[13]為進一步緩解用戶簽到矩陣的稀疏性，將其中融入了POI類別信息，并結(jié)合用戶的社會關(guān)系和POI地理關(guān)系實現(xiàn)用戶的偏好預(yù)測。文獻[14]構(gòu)建了用戶-POI標簽矩陣以預(yù)測用戶的自身偏好，并協(xié)同社會和地理影響進行最終的POI推薦。文獻[15]全面地考慮了不同上下文可能對用戶偏好的影響，構(gòu)建了地理、文本、社會、POI類別和流行度模型，并利用概率矩陣分解模型將這些上下文模型融合，生成推薦列表。考慮到時間因素對用戶的偏好的影響，越來越多的方法致力于研究時間感知的POI推薦方法，目的是實現(xiàn)一天內(nèi)具體不同時間下的POI推薦。文獻[1]根據(jù)用戶的簽到時間特征，將用戶相似度分為全局相似性和局部相似性。通過對用戶相似度的計算，提出了一種基于用戶時間特征的協(xié)同過濾方法。文獻[2]則基于神經(jīng)網(wǎng)絡(luò)提出一種時間感知興趣點推薦方法，同時該方法考慮了POI的空間、流行度以及社會關(guān)系。文獻[16]將上下文信息和用戶簽到信息輸入圖神經(jīng)網(wǎng)絡(luò)(graph neural network)學習框架，以獲取POI的嵌入表示，通過低維度向量間的相關(guān)性實現(xiàn)POI推薦。文獻[17]重點考慮了POI的多源文本內(nèi)容，同時聯(lián)合時間、社會和地理信息實現(xiàn)POI推薦。最近，文獻[3]通過使用社會、地理、時間以及POI類別信息，構(gòu)建了社會空間、地理空間和POI類別空間的相似度計算模型，進而提出一種用戶相似度和POI相似度計算方法，并將兩種相似度融合到概率矩陣分解模型以求解用戶的POI。

對現(xiàn)有流行的POI推薦方法進行總結(jié)發(fā)現(xiàn)，現(xiàn)有方法均通過對用戶歷史簽到數(shù)據(jù)的挖掘技術(shù)和固有的上下文特征建模技術(shù)的研究，聯(lián)合用戶歷史偏好和上下文擬合用戶的偏好預(yù)測用戶POI。然而，這些方法并未考慮現(xiàn)實中用戶的實時需求。用戶在不同時間、不同地點以及不同狀態(tài)下，偏好是變化的。所以，本文提出一種用戶實時需求感知的POI推薦方法。

2 用戶實時偏好模型

本文使用用戶ui當前(第k次)所簽到的POIpk的地理位置lk和簽到時間Tk表示用戶實偏好ek

ek=(Δlk，Δtk，velk，tk，twk)

(1)

這里，Δlk表示pk與pk-1間的距離，用以表示用戶當前位置特征。 Δtk表示ui連續(xù)簽到pk與pk-1間的時間間隔。velk是Δlk和Δtk的特征抽取，velk=Δlk/Δtk。Tk={tk，twk}，tk表示ui簽到pk的時間，本文將時間以小時為單位分為24個時間片，即tk∈{0，1，2，…，23}。twk表示ui是否在周末簽到pk，如果twk=1表示ui在周末簽到pk，twk=0表示ui在工作日簽到pk。這原因是大多用戶的工作日和周末簽到習慣不同，在工作日用戶可能偏好與工作地點距離近的POI，而周末他們可能偏好距離遠一些的POI，所以本文設(shè)定twk來學習用戶在兩個時間階段的偏好。

3 用戶歷史偏好建模

用戶歷史偏好是決定用戶是否簽到一個POI的主要因素。目前矩陣分解(matrix factorization，MF)技術(shù)被視為最流行的方法之一。因為用戶簽到數(shù)據(jù)是一種隱式數(shù)據(jù)集，具有龐大且稀疏的特點，MF已被證明能夠有效地應(yīng)對這一問題。令R表示用戶-POI簽到矩陣，rik∈R，rik=1表示ui簽到過pk，rik=0表示ui未簽到過pk。一般公式如下

(2)

這里，α表示正則化系數(shù)。U表示K維用戶潛在向量，L表示K維POI潛在向量。用戶歷史偏好可以學習表示為

(3)

用戶往往展現(xiàn)出對某一類的POI的興趣，比如用戶經(jīng)常簽到某一川菜館，說明其可能偏好麻辣口味一類的食物。所以，本文將POI類別信息融合到用戶歷史偏好表示中，以增強用戶偏好學習。令vi，caj為ui對POIlk所屬類別Cak偏好的K維特征向量。此時，用戶歷史偏好更新為

(4)

式中：γ是權(quán)重參數(shù)。

考慮到用戶的社會關(guān)系對用戶偏好決策的影響，本文采用一種基于網(wǎng)絡(luò)關(guān)系表示學習的社會關(guān)系建模方法。主要因為用戶的社會關(guān)系是多樣化且復(fù)雜的，而常用的方法，如Consine相似度、Pearson相關(guān)度以及Jaccard系數(shù)等，均直接采用用戶的簽到記錄計算用戶的相似度，無法獲取用戶間復(fù)雜的社會關(guān)系。首先，為表達復(fù)雜的用戶社會關(guān)系(朋友關(guān)系、鄰居關(guān)系以及同事關(guān)系等)，本文構(gòu)建一種用戶共同簽到(co-visit)圖G=(V，E)。V={v1，v2，…，vn} 是圖中的頂點，表示每一個用戶。E={(v1，v2)，(v3，v2)，…，(vn，vm)} 是圖中邊，(vn，vm) 表示用戶un和um簽到過相同的POI。為學習圖G中每個用戶的向量表示，本文使用了skip-gram模型，以用戶ui為中心學習他/她在社會關(guān)系中的向量表示

(5)

(6)

基于sij，本文利用協(xié)同過濾方法預(yù)測社會關(guān)系對用戶ui的偏好影響scik

(7)

結(jié)合scik，本文再次更新用戶歷史偏好

(8)

4 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的融合模型

聯(lián)合用戶實時偏好ek和歷史偏好Prefik，本文表示用戶需求為

Dk=(ek，Prefik)

(9)

進一步地，考慮到用戶的實時需求不僅與當前第k次簽到相關(guān)，同時與前k-1次的簽到相關(guān)。比如，出差中的用戶ui結(jié)束工作之后，應(yīng)該去某個餐館用餐，然后可能去某個賓館休息。所以，準確地建模用戶實時需求，需結(jié)合用戶的簽到序列。本文根據(jù)ui的簽到時序，給出ui的簽到序列如下

seqi=(D1，D2，…，Dk)

(10)

假定pc是ui偏好POI的候選對象，則可以使用Dc表示pc，并給出組合序列

seq′i=(D1，D2，…，Dk，Dc)

(11)

基于對seq′i的學習，本文預(yù)測ui簽到pc的概率。具體地，本文將seq′i輸入到LSTM神經(jīng)網(wǎng)絡(luò)來學習對應(yīng)的隱藏向量表示。以Dk為例，求解Dk對應(yīng)的隱藏向量hk

it=σ(WiDk+Mihk-1+bi)

(12)

ft=σ(WfDk+Mfhk-1+bf)

(13)

ot=σ(WoDk+Mohk-1+bo)

(14)

ct=ft⊙ct-1+it⊙tanh(WcDk+Mchk-1+bc)

(15)

hk=ot⊙tanh(ct)

(16)

這里，it、ft、ot以及ct分別是輸入門、遺忘門、輸出門和單元狀態(tài)。

類似地，可以計算獲得h1、h2、…、hk-1和hc，并得到隱藏序列seq″i

seq″i=(h1，h2，…，hk，hc)

(17)

預(yù)測ui偏好pc的概率受其之前訪問過的POI的影響，且訪問過的POI的影響權(quán)重是不同的。本文采用一種注意力機制，計算seq″i中隱藏向量 (h1，h2，…，hk) 的權(quán)重。具體地，使用單層神經(jīng)網(wǎng)絡(luò)求解隱藏向量 {hk-w，…，hk} 對應(yīng)的隱藏值 {Kk-w，…，Kk}

Ki=Wzhi+bz

(18)

這里，i∈[k-w，k]，w是注意力機制窗口大小。計算hc對應(yīng)的查詢值Q

Q=Wahc+ba

(19)

進一步地，本文為了更好地學習效果，采用多頭注意力機制(multi-head attention mechanism)學習Ki和Q

(20)

Qmulti=Q1?…?Ql

(21)

(22)

利用βic，ui簽到pc的向量表示為

(23)

結(jié)合Dc和Gc，本文采用多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)計算ui簽到pc的概率。首先，利用一個單層神經(jīng)網(wǎng)絡(luò)將Gc映射為一個與Dc相同維度的向量G′c

G′c=WGGc+bG

(24)

將G′c和Dc輸入到L層神經(jīng)網(wǎng)絡(luò)中，求解ui簽到pc的概率Pic

Pic=WTeL

(25)

這里，eL是通過以下方式學習得到

e1=W1(G′c⊙Dc)+b1……eL=WLeL-1+bL

(26)

最后，為了能得到最優(yōu)的學習效果，本文給出如下?lián)p失函數(shù)

(27)

這里，c+是來自于ui偏好POI的候選對象中正樣本，c-是正樣本對應(yīng)的負樣本。

5 實驗與結(jié)果分析

文中所涉及到的算法均在WIN 10環(huán)境下使用Python實現(xiàn)，并在具有1755 MHz 23 GD6 GeForce RTX 2080 Ti GPU和64 GB內(nèi)存的服務(wù)器上進行實驗驗證。這一節(jié)，本文將從實驗數(shù)據(jù)集、參數(shù)設(shè)置、評價標準、對比方法以及實驗結(jié)果5方面進行說明。

5.1 數(shù)據(jù)集

本文采用的是來自LBSNs中廣泛被使用的數(shù)據(jù)集Foursquare Dataset(https：//foursquare.com)。本文對數(shù)據(jù)集進行預(yù)處理，首先選定用戶的簽到序列，規(guī)定一天內(nèi)簽到POI屬于相同序列，并過濾掉異常數(shù)據(jù)，即刪除用戶(這些用戶是簽到POI記錄不足10條或者簽到不同POI的數(shù)量小于5)；刪除POI(這些POI被簽到總次數(shù)不足10次)；刪除POI序列(這些簽到序列長度小于3)。最終獲得表1所示的數(shù)據(jù)集，其中用戶數(shù)量為2293，POI數(shù)量為7873，POI類別數(shù)量為186，所有用戶簽到記錄總量為447 547，則可計算出數(shù)據(jù)的稠密度為2.48%。本文將Foursquare數(shù)據(jù)集中的80%作為訓練集，其余20%作為測試集。為了更好地訓練和測試，對于每一個簽到序列，本文將第k+1次簽到的POI作為候選POI，前k次簽到作為已發(fā)生簽到。

表1 數(shù)據(jù)集信息

5.2 參數(shù)設(shè)置

本文提出的模型中涉及的參數(shù)主要包含POI類別信息權(quán)重γ和矩陣分解模型維度K。使用網(wǎng)格搜索技術(shù)(gird search)，設(shè)定γ=0.4且K=20時，模型性能最優(yōu)。

5.3 對比方法

為了評估本文提出的用戶實時偏好感知POI推薦方法的有效性，本文選擇了以下4種對比方法：

UCGSMF[13]：該模型建模了POI地理特征和用戶社會關(guān)系對用戶偏好的影響，并將POI類別信息融合到用戶的自身偏好模型中。聯(lián)合地理影響、社會影響及自身偏好模型進行POI推薦。

ST-RNet[2]：該模型建模了POI地理信息向量表示、用戶社會關(guān)系向量表示和POI流行度向量表示，并聯(lián)合時間信息輸入到神經(jīng)網(wǎng)絡(luò)中學習用戶偏好低維度向量，以完成POI推薦。

SSTPMF[3]：該模型基于時間、空間、POI類別和社會關(guān)系，建模了用戶相似度和POI相似度模型，并將其融入到概率矩陣模型中，進行POI推薦。該模型上當前最新研究工作之一。

RTPAR：本文提出的模型，該模型利用地理信息和時間信息建模了用戶實時偏好向量表示，聯(lián)合社會信息、POI類別信息以及用戶歷史簽到信息建模了歷史偏好向量表示。融合兩種向量并輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中預(yù)測用戶實時POI。

5.4 評價標準

本文采用推薦系統(tǒng)中最常用的兩個評價標準，準確率(precision@k)和召回率(recall@k)。具體如式(28)和式(29)所示

(28)

(29)

這里，#k表示top-k推薦列表中的POI，表示測試集中用戶訪問過的POI。

5.5 實驗結(jié)果

首先，本文評估不同模型在top-1、top-3和top-5推薦情況下的性能，結(jié)果見表2。從結(jié)果可以發(fā)現(xiàn)，RTPAR在所有對比方法中取得最優(yōu)的結(jié)果，這得益于RTPAR對于用戶的實時偏好的建模。UCGSMF、ST-RNet和SSTPMF均考慮了多種上下文因素的影響，但是這些方法是利用用戶歷史簽到特征，未考慮用戶實時的偏好變化。盡管用戶每天的實際簽到存在周期性規(guī)律，但隨著簽到軌跡的變化，其偏好也隨之動態(tài)地調(diào)整。RTPAR不僅考慮了用戶實時需求，而且充分地建模了用戶歷史偏好。所以，比較于之前的方法，性能得到了提升。具體地，較SSTPMF，準確率和召回率分別平均提升了8.7%和8.3%。

表2 top-k推薦時模型性能對比

進一步地，本文對推薦模型在冷啟動情況下的性能進行測驗。給定用戶簽到記錄n=1、n=3和n=5，分別預(yù)測只有1次、3次和5次簽到記錄的用戶POI。結(jié)果見表3，RTPAR仍優(yōu)于其它所有的對比方法。推薦冷啟動問題是推薦系統(tǒng)中常見的問題，是指在用戶的簽到數(shù)據(jù)極少情況下實現(xiàn)POI推薦。UCGSMF、ST-RNet和SSTPMF通過建模上下文，如社會關(guān)系、地理信息和時間信息等，來彌補數(shù)據(jù)的不足。本文在此基礎(chǔ)上，進一步建模了用戶實時需求，而且在無法獲得用戶歷史偏好情況下，用戶實時偏好模型更加能夠表達該用戶的POI。冷啟動情況下，相比于SSTPMF，在準確率和召回率分別平均提高了6.55%和6.02%。

表3 冷啟動情況下模型性能對比

最后，本文評估了參數(shù)γ和K對模型RTPAR的性能影響。如圖1所示，γ取0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9和1。從圖中可以發(fā)現(xiàn)，γ的取值對模型的性能有較大影響，合適的γ值能夠進一步提升模型性能，而其它的γ值會影響模型的性能。這里，當γ=0.4時，模型性能達到最優(yōu)。

圖1 參數(shù)γ對RTPAR的影響

如圖2所示，潛在向量的維度K取5、10、20、30和40。當K≤20時，隨著K值增大，模型性能不斷提高。當K>20時，模型性能下降。這里，K=20時，模型性能達到最優(yōu)。

圖2 參數(shù)K對RTPAR的影響

為了評估RTPAR中不同上下文因素的影響，本文使用控制變量方法從RTPAR中刪除地理信息(RTPAR-G)、刪除時間信息(RTPAR-T)、刪除社會信息(RTPAR-S)以及刪除POI類別信息(RTPAR-Ca)分別進行實驗，結(jié)果如圖3所示。從結(jié)果中不難發(fā)現(xiàn)，每一種上下文信息均對RTPAR性能的提升做出了貢獻。其中，貢獻從大到小依次為：地理信息>時間信息>社會信息>POI類別信息。

圖3 不同上下文信息對RTPAR的貢獻

6 結(jié)束語

針對大多現(xiàn)有POI推薦模型不能滿足用戶實時偏好需求，本文提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)學習的用戶偏好實時感知POI推薦模型。該模型主要從兩方面建模了用戶偏好。一是通過利用簽到的地理信息和時間信息對用戶實時偏好進行向量表示。二是使用用戶歷史簽到數(shù)據(jù)，通過矩陣分解框架學習用戶偏好，并結(jié)合POI類別信息和用戶社會關(guān)系，學習用戶歷史偏好嵌入表示。融合用戶實時偏好向量和歷史偏好向量，并將其輸入到一種基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)中，預(yù)測目標用戶的實時POI概率。通過在Foursquare數(shù)據(jù)集上的大量實驗，驗證了本文所提出的模型比現(xiàn)有流行的推薦方法更具優(yōu)勢。同時也說明了本文提出的實時POI感知模型的可行性和有效性。