梁弼，劉篤晉，熊倫，許曉紅

1）四川文理學(xué)院智能制造學(xué)院，四川達(dá)州 635000；2）北京郵電大學(xué)計(jì)算機(jī)學(xué)院，北京 100876

近年來，隨著移動(dòng)網(wǎng)絡(luò)的快速發(fā)展，智能設(shè)備和全球定位系統(tǒng)（global positioning system，GPS）位置服務(wù)的普及，位置社交網(wǎng)絡(luò)（location-based social network，LBSN）成為一種流行的網(wǎng)絡(luò)服務(wù)平臺(tái)，如Google+local、Foursquare、Yelp、微信、微博和街旁等．用戶通過LBSN平臺(tái)以“簽到”的形式發(fā)布自己實(shí)際位置或地理標(biāo)記信息，如餐廳和景點(diǎn)等，并與朋友分享自己的訪問體驗(yàn)和興趣點(diǎn)（point of interest，POI）提示，從而產(chǎn)生了大量的用戶簽到數(shù)據(jù)．但是，這些海量POI信息造成的信息過載問題也嚴(yán)重干擾了用戶對(duì)POI地點(diǎn)的篩選．對(duì)用戶簽到數(shù)據(jù)進(jìn)行分析和挖掘并進(jìn)行個(gè)性化的POI推薦，旨在幫助用戶從海量POI數(shù)據(jù)中發(fā)現(xiàn)新的POI，探索到新的感興趣內(nèi)容，此過程即POI推薦，又稱地點(diǎn)推薦或位置推薦，這是當(dāng)今推薦系統(tǒng)領(lǐng)域內(nèi)其中一個(gè)熱門研究點(diǎn)［1］．

目前，LBSN中已有數(shù)百萬個(gè)POI，但大多數(shù)用戶往往只訪問其中有限的幾個(gè)，導(dǎo)致用戶-POI交互矩陣數(shù)據(jù)極度稀疏，給POI推薦帶來了嚴(yán)峻挑戰(zhàn)．為應(yīng)對(duì)這一挑戰(zhàn)，許多學(xué)者利用地理影響［2］、內(nèi)容信息［3］、社會(huì)關(guān)系［4］、時(shí)間效應(yīng)［5］以及口碑［6］等多種上下文因素來解決該問題，也有學(xué)者提出元學(xué)習(xí)［7］、遷移學(xué)習(xí)［8］和小樣本學(xué)習(xí)［9］等解決途徑，并都取得了一些成效．然而，這些研究都缺乏對(duì)上下文因素之間的潛在關(guān)系及共同作用情況的分析和利用．本研究從內(nèi)容和地點(diǎn)雙重視角提出了一種采用概率生成方法的內(nèi)容和地點(diǎn)感知的主題模型（content-location-aware topic model，CLATM），不僅策略性地整合了簽到的文本內(nèi)容信息、地點(diǎn)信息和地理位置等重要的上下文因素，而且深入挖掘不同因素之間的潛在關(guān)系，以期克服用戶-POI矩陣數(shù)據(jù)的稀疏性，從而提升了POI推薦質(zhì)量．本研究的主要貢獻(xiàn)如下：

1）基于主題模型思想提出一種概率生成的CLATM模型，恰當(dāng)?shù)啬M了用戶在決策過程中的簽到行為及內(nèi)容；

2）CLATM模型通過融合用戶的簽到內(nèi)容、簽到地點(diǎn)和地理位置等重要的上下文因素，以及它們之間潛在關(guān)系，有效緩解了用戶-POI矩陣數(shù)據(jù)稀疏問題；

3）在Foursquare和Yelp兩個(gè)真實(shí)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)以評(píng)估CLATM性能，驗(yàn)證該模型的推薦效果．

1 CLATM模型

1.1 模型描述

通常當(dāng)用戶決策簽到某個(gè)POI時(shí)，會(huì)根據(jù)個(gè)人興趣偏好來選擇簽到的POI，如POI的地點(diǎn)、所在位置和相關(guān)評(píng)論內(nèi)容等信息，進(jìn)而決策是否簽到．為合理描述用戶在決策POI過程中的簽到行為，本研究從內(nèi)容和地點(diǎn)雙重視角提出了一種聯(lián)合內(nèi)容主題和地點(diǎn)主題的概率生成模型CLATM．該模型基于內(nèi)容和地點(diǎn)感知，重點(diǎn)考慮簽到內(nèi)容、簽到地點(diǎn)和地理位置等上下文因素，以及它們之間的潛在關(guān)系．用戶簽到內(nèi)容依賴內(nèi)容主題和地點(diǎn)主題，同時(shí)內(nèi)容主題和地點(diǎn)主題在一定程度上決定了用戶簽到地點(diǎn)，而地理位置依賴于地點(diǎn)主題并服從高斯分布．圖1為CLATM模型的結(jié)構(gòu)圖形化表示，表1則給出了該模型的部分主要參數(shù)定義．模型的輸入數(shù)據(jù)包括用戶的簽到記錄Du，以及先驗(yàn)分布α、σ、β、ζ、γ和δ．Du被建模為觀察到的隨機(jī)變量，如圖1中的陰影圓圈所示．簽到記錄的內(nèi)容主題z和地點(diǎn)主題r則被視為潛在隨機(jī)變量．

表1 CLATM模型主要參數(shù)定義Table 1 Notations of CLATM main parameters

由圖1可見，CLATM由內(nèi)容主題建模和地點(diǎn)主題建模兩個(gè)核心部分構(gòu)成．首先進(jìn)行內(nèi)容主題建模．本研究根據(jù)用戶簽到的POI文本內(nèi)容（如評(píng)論等）和地點(diǎn)信息（如地名）來推斷用戶u對(duì)一組內(nèi)容主題z的興趣分布θu（即用戶對(duì)活動(dòng)內(nèi)容的偏好）．通過挖掘用戶活動(dòng)內(nèi)容和活動(dòng)地點(diǎn)的共現(xiàn)模式，并利用簽到POI的內(nèi)容與地點(diǎn)之間的關(guān)聯(lián)關(guān)系引入簽到地點(diǎn)來推斷POI的內(nèi)容主題z．從技術(shù)上講，CLATM模型中的每個(gè)內(nèi)容主題z不僅與文本內(nèi)容上的多項(xiàng)式分布相關(guān)，且與地點(diǎn)上的多項(xiàng)式分布相關(guān)．這種設(shè)計(jì)使和在內(nèi)容主題發(fā)現(xiàn)過程中通過關(guān)聯(lián)它們來相互影響和增強(qiáng)，同時(shí)使所推斷出的個(gè)人興趣不僅是內(nèi)容感知且是地點(diǎn)感知的．

圖1 CLATM模型圖的圖形化結(jié)構(gòu)Fig.1 The graphical model of CLATM.

采用類似方法進(jìn)行地點(diǎn)主題建模．現(xiàn)實(shí)生活中，用戶在決策活動(dòng)地點(diǎn)時(shí)會(huì)考慮活動(dòng)內(nèi)容、活動(dòng)地點(diǎn)及地理位置等因素．用?u表示用戶u對(duì)地點(diǎn)的偏好，它是地點(diǎn)主題r上的多項(xiàng)式分布．r不僅與POI內(nèi)容上的和POI地點(diǎn)上的相關(guān)，且與POI地理位置l～N(μr，εr)相關(guān)．這種設(shè)計(jì)使和N(μr，εr)在地點(diǎn)主題發(fā)現(xiàn)過程中通過關(guān)聯(lián)它們來相互影響和增強(qiáng)，使所推斷出的個(gè)人地點(diǎn)偏好更為準(zhǔn)確，并進(jìn)一步緩解稀疏的用戶-POI矩陣．

這樣，CLATM通過抽取內(nèi)容主題和地點(diǎn)主題來更精準(zhǔn)地捕獲用戶的POI偏好，并通過利用簽到內(nèi)容、地點(diǎn)和位置之間的潛在關(guān)系更有效地克服了數(shù)據(jù)稀疏性問題．為避免過擬合，將和上的Dirichlet先驗(yàn)分別被賦予參數(shù)α、σ、β、ζ、γ和δ．圖2給出了CLATM模型的概率生成過程．

圖2 CLATM概率生成過程Fig.2 Probability generative process in CLATM.

觀測變量和潛在變量的聯(lián)合分布為

其中，P(z|θ)為在內(nèi)容主題多項(xiàng)式分布條件下可能簽到的內(nèi)容主題概率．CLATM模型的時(shí)間復(fù)雜度為O(||U×|Du|× ||W)．與未引入內(nèi)容因素和地理因素等上下文信息前POI主題模型的時(shí)間復(fù)雜度O(|U|×|Du|)相比，雖然CLATM模型的時(shí)間復(fù)雜度有所增加，但后續(xù)實(shí)驗(yàn)證明CLATM模型能提高POI推薦的準(zhǔn)確度．

1.2 參數(shù)估計(jì)

通過最大化觀察到的隨機(jī)變量v，l和W的邊緣似然函數(shù)能夠估計(jì)CLATM模型參數(shù)．又因直接最大化邊緣似然函數(shù)比較困難，本研究遵循文獻(xiàn)［6］的研究方法，即采用馬爾科夫鏈蒙特卡洛方法使式（1）中的完全數(shù)據(jù)似然最大化．同時(shí)，對(duì)多項(xiàng)式分布采用共軛先驗(yàn)，可更容易對(duì)和進(jìn)行積分．為簡單起見，根據(jù)文獻(xiàn)［6］設(shè)置α=50K-1，σ=50R-1，β=γ=ζ=δ=0.01．

在Gibbs抽樣過程中，需獲得用戶u簽到記錄Du（u，v，l，W）的潛在內(nèi)容主題z和潛在地點(diǎn)主題r的后驗(yàn)概率．

首先計(jì)算條件概率P(z|z?u,v,r,v,l,W,u,·)．其中，z?u,v為除當(dāng)前記錄外所有簽到記錄的內(nèi)容主題．對(duì)式（1）使用貝葉斯鏈規(guī)則，得到條件概率為

其中，nu，z為從用戶u的內(nèi)容偏好分布中抽取潛在內(nèi)容主題z的次數(shù)；nz，w為從內(nèi)容主題z中生成文本內(nèi)容w的次數(shù)；nz，v為從內(nèi)容主題z中生成POIv的次數(shù)；上標(biāo)?u，v表示不包括當(dāng)前記錄；z＇為任一主題內(nèi)容，z＇∈［1，||Z］；w＇為任一文本內(nèi)容，w＇∈［1，|W］|；v＇為任一文本內(nèi)容，v＇∈［1，|R］|．

然后，根據(jù)式（3）的后驗(yàn)概率對(duì)潛在地點(diǎn)主題r進(jìn)行抽樣．

其中，nu，r是從用戶u的地點(diǎn)偏好分布中抽取潛在地點(diǎn)主題r的次數(shù)；r＇為任一地點(diǎn)主題，r＇∈［1，|R］|；nu，r＇為從用戶u的地點(diǎn)偏好分布中抽取任一潛在地點(diǎn)主題r＇的次數(shù)；nr，w是從地點(diǎn)主題r中生成文本內(nèi)容w的次數(shù)；nr，v是從地點(diǎn)主題r中生成POIv的次數(shù)．

每次迭代后，采用矩量法根據(jù)指定的潛在變量r更新Gaussian分布參數(shù)［10］，即

其中，E（r）為潛在地點(diǎn)主題r的平均位置；D（r）為潛在地點(diǎn)主題r的位置協(xié)方差；sr為指定潛在地點(diǎn)主題r的POI集合；lv為簽到地點(diǎn)v的位置．

經(jīng)過足夠多次的采樣迭代，當(dāng)CLATM模型達(dá)到收斂后，檢查簽到記錄的z和r賦值計(jì)數(shù)，采用式（6）—式（11）的近似后驗(yàn)概率來估計(jì)CLATM模型參數(shù)．

1.3 POI推薦

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集

實(shí)驗(yàn)在Foursquare和Yelp兩個(gè)真實(shí)的LBSN數(shù)據(jù)集上進(jìn)行，它們的基本統(tǒng)計(jì)數(shù)據(jù)見表2［11］．

表2 Foursquare和Yelp數(shù)據(jù)集基本統(tǒng)計(jì)［11］Table 2 Basic statistics of Foursquare and Yelp datasets［11］

Foursquare數(shù)據(jù)集包含居住在美國的114508名用戶的簽到歷史記錄．每個(gè)用戶數(shù)據(jù)集包含用戶的社交網(wǎng)絡(luò)、簽到POI的身份標(biāo)識(shí)號(hào)（identity document，ID）、每個(gè)簽到POI的緯度和經(jīng)度位置、簽到時(shí)間和簽到POI的評(píng)論內(nèi)容．每個(gè)簽到記錄包含用戶ID、POI-ID、POI位置和POI內(nèi)容等［11］．

Yelp數(shù)據(jù)集包含英國的愛丁堡、德國的阿爾斯魯厄、加拿大的蒙特利爾和滑鐵盧，以及美國的匹茲堡、夏洛特、厄巴納香檳、鳳凰城、拉斯維加斯和麥迪遜共10個(gè)城市的366715名用戶和61184個(gè)POI．它含有1569264個(gè)簽到記錄，每個(gè)簽到記錄同樣保存為用戶ID、POI-ID、POI位置和POI內(nèi)容等［11］．

2.1.2 基準(zhǔn)模型

將3種主 流 的POI推薦 模型CARec［3］、Rank-GeoFM［2］和LCA-LDA［6］作為基準(zhǔn)模型．

CARec是一個(gè)基于內(nèi)容感知的POI推薦模型，充分利用用戶簽到記錄中的評(píng)論內(nèi)容捕捉用戶對(duì)POI的內(nèi)在偏好，再通過聚合用戶的內(nèi)在偏好，設(shè)計(jì)了一種自適應(yīng)貝葉斯個(gè)性化排序方法，以此為用戶生成個(gè)性化的POI排序列表．與CLATM模型相比，CARec忽略了地理因素及各上下文因素之間的潛在關(guān)系．

Rank-GeoFM是一種基于排序的地理因子分解模型，專門為個(gè)性化POI推薦而設(shè)計(jì)．它將簽到頻率表征為用戶的訪問偏好，通過對(duì)POI的正確排序來學(xué)習(xí)因子分解，并結(jié)合地理影響這一重要的上下文信息緩解了數(shù)據(jù)稀缺的問題．與CLATM相比，Rank-GeoFM忽略了內(nèi)容因素及與其他因素之間的潛在關(guān)系．

LCA-LDA是一個(gè)位置-內(nèi)容-感知的推薦模型，它為在外地旅游的用戶支持POI推薦而開發(fā)．該模型利用POI的聯(lián)合訪問模式和POI內(nèi)容，綜合考慮了每個(gè)城市的個(gè)人興趣和當(dāng)?shù)仄茫cCLATM相比，LCA-LDA忽略了上下文因素之間的多種潛在關(guān)系，而且只考慮了內(nèi)容主題，未考慮地點(diǎn)主題，自然也沒有聯(lián)合兩個(gè)主題建模．

2.1.3 評(píng)價(jià)指標(biāo)

根據(jù)用戶簽到數(shù)據(jù)集Du給出用戶畫像，然后將80%的簽到記錄作為訓(xùn)練集Dtrain，20%的簽到記錄作為測試集Dtest．本研究分別在Foursquare和Yelp兩個(gè)LBSN數(shù)據(jù)集上，采用POI推薦系統(tǒng)中常用的召回率（recall）和歸一化折損累計(jì)增益（normalized discounted cumulative gain，NDCG）兩 個(gè) 指 標(biāo) 對(duì)CLATM模型的推薦效果進(jìn)行評(píng)估．具體計(jì)算公式如式（13）—式（15）［12］：

其中，#hit@k表示測試集中的命中數(shù)（@k表示推薦列表中前k個(gè)記錄）；|Dtest|為所有測試用例的數(shù)目．

其中，上標(biāo)reli為位置i上的相關(guān)度（實(shí)際推薦結(jié)果的排序與理想推薦結(jié)果的排序），若推薦結(jié)果在測試集中，則reli=1，否則，reli=0；NDCG@k是長度為k的所有可能推薦列表的最大DCG@k值；DCG@k為推薦列表前k個(gè)物品的折損累計(jì)增益情況．最終指標(biāo)得分通過計(jì)算整個(gè)用戶的recall@k（和NDCG@k）平均值來獲得．

2.1.4 參數(shù)設(shè)置

通過在驗(yàn)證集上進(jìn)行20多次的實(shí)驗(yàn)，得到CLATM超參數(shù)的最優(yōu)值為：α=50K-1，σ=50R-1，β=γ=δ=ζ=0.01；CARec參數(shù)的最佳值為：K=50，αU=αV=0.2，λP=λQ=0.2；Rank-GeoFM超參數(shù)的最佳值為：C=1.0，ε=0.3，α=0.2，γ=1×10-4；LCA-LDA超參數(shù)的最優(yōu)值為：α=α＇=50K-1，β=β＇=0.01，γ=γ＇=0.5．

2.2 實(shí)驗(yàn)結(jié)果

2.2.1 推薦效果

圖3和圖4分別展示了CARec、Rank-GeoFM、Rank-GeoFM和CLATM模 型在Foursquare和Yelp數(shù)據(jù)集上的Top-k性能，用以分析4種模型的性能．

圖4 Yelp數(shù)據(jù)集上的Top-k性能（a）召回率；（b）歸一化折損累計(jì)增益Fig.4 Top-k performance on Yelp dataset.(a)Recall,(b)NDCG.

由圖3可見，CLATM模型的recall值和NDCG值表現(xiàn)都優(yōu)于CARec、Rank-GeoFM和Rank-GeoFM模型．例如，CLATM模型的recall@5和NDCG@5分別約為0.146和0.035，但CARec模型的recall@5和NDCG@5分別約為0.075和0.028．從圖3可觀察到如下結(jié)果：

圖3 Foursquare數(shù)據(jù)集上的Top-k性能（a）召回率；（b）歸一化折損累計(jì)增益Fig.3 Top-k performance on Foursquare dataset.(a)Recall,(b)NDCG.

1）CARec模型性能低于Rank-GeoFM和LCALDA模型，這體現(xiàn)出利用多個(gè)上下文因素建模所帶來的優(yōu)勢，因?yàn)镃ARec模型僅僅考慮了簽到的文本內(nèi)容，忽略了地理位置等其他上下文因素，而Rank-GeoFM和LCA-LDA模型考慮了至少兩種不同的上下文因素．可見，融合多因素建模效果優(yōu)于單因素建模．

2）CLATM和LCA-LDA模型的性能高于Rank-GeoFM模型．與CLATM和LCA-LDA模型相比，Rank-GeoFM模型未考慮簽到的文本內(nèi)容，這體現(xiàn)了包含文本內(nèi)容信息的潛在主題模型的優(yōu)越性．原因是某些用戶的簽到記錄很少，Rank-GeoFM模型在此情況下存在嚴(yán)重的數(shù)據(jù)稀疏性，而CLATM和LCA-LDA是潛在的主題模型，并集成了文本內(nèi)容信息，這在很大程度上克服了數(shù)據(jù)稀疏問題．

3）CLATM模型的性能優(yōu)于LCA-LDA模型．盡管CLATM和LCA-LDA模型基本上都使用了相同類型的上下文因素，但前者的推薦準(zhǔn)確率遠(yuǎn)高于后者，表明CLATM模型聯(lián)合內(nèi)容主題和地點(diǎn)主題建模的優(yōu)勢，它比LCA-LDA模型僅僅通過內(nèi)容主題建模能更準(zhǔn)確地獲取用戶POI偏好．同時(shí)上下文因素之間的多種潛在關(guān)系能有效緩解數(shù)據(jù)稀疏性，進(jìn)一步提高了推薦的準(zhǔn)確率．

圖4 中4種模型在Yelp數(shù)據(jù)集上的recall值和NDCG值表現(xiàn)都與圖3相似，但所有推薦方法的recall值和NDCG值都較低．這可能是因?yàn)镕oursquare數(shù)據(jù)集中的用戶平均簽到記錄比Yelp數(shù)據(jù)集中的多，使得各模型能夠更準(zhǔn)確地捕捉用戶的興趣偏好．

2.2.2 參數(shù)影響

CLATM模型中包括兩類參數(shù)：一類是超參數(shù)α、σ、β、γ、ζ和δ；另一類是內(nèi)容主題數(shù)K和地點(diǎn)主題數(shù)R．本研究通過嘗試通過不同的設(shè)置，發(fā)現(xiàn)CLATM模型的性能對(duì)這些超參數(shù)并不敏感，但對(duì)K和R都敏感．因此，本研究通過改變內(nèi)容主題和地點(diǎn)主題的數(shù)量來測試CLATM模型在Foursquare和Yelp數(shù)據(jù)集上的性能，結(jié)果如圖5．

由圖5（a）可見，在Foursquare數(shù)據(jù)集上，CLATM模型的推薦準(zhǔn)確率先隨著內(nèi)容主題數(shù)K的增加而增加，但當(dāng)K＞50時(shí)，變化不再明顯；隨著地點(diǎn)主題數(shù)R的增加，CLATM模型的推薦準(zhǔn)確率也隨之增加，但當(dāng)R＞50時(shí)，其變化不大．本研究認(rèn)為，主要原因是K和R代表了模型的復(fù)雜性，當(dāng)K和R取值太小時(shí)，模型對(duì)數(shù)據(jù)的描述能力有限；而當(dāng)K和R取值超過閾值時(shí)，模型的復(fù)雜性足以處理數(shù)據(jù)．同樣地，在Yelp數(shù)據(jù)集上進(jìn)行類似的觀察得到相似結(jié)果．可見，增加K和R對(duì)提高模型性能的幫助不大，但調(diào)整模型參數(shù)（如K、R）對(duì)CLATM模型的性能至關(guān)重要．需要說明的是，圖3的實(shí)驗(yàn)結(jié)果是在K=50和R=50條件下實(shí)現(xiàn)的，圖4的實(shí)驗(yàn)結(jié)果則是在K=50和R=70條件下得到的．

圖5 參數(shù)K和R對(duì)模型性能的影響（a）Foursquare數(shù)據(jù)集；（b）Yelp數(shù)據(jù)集Fig.5 Impact of parameters K and R on model performance.(a)Foursquare dataset,(b)Yelp data set.

結(jié)語

從內(nèi)容和地點(diǎn)雙重視角提出一種概率生成的CLATM模型來模擬LBSN中用戶的簽到行為，該模型通過內(nèi)容主題和地點(diǎn)主題聯(lián)合建模方式恰當(dāng)?shù)厝诤狭撕灥降奈谋緝?nèi)容、地點(diǎn)信息和地理位置等上下文因素，并挖掘出不同因素之間的潛在關(guān)系，有效克服了用戶-POI矩陣數(shù)據(jù)稀疏問題．在Foursquare和Yelp兩個(gè)典型的LBSN數(shù)據(jù)集上進(jìn)行了推薦準(zhǔn)確性和參數(shù)敏感性的實(shí)驗(yàn)，通過計(jì)算模型的recall和NDCG指標(biāo)來評(píng)估模型性能．實(shí)驗(yàn)結(jié)果表明，與基準(zhǔn)方法相比，CLATM模型的結(jié)果顯示出其優(yōu)越性．此外，通過實(shí)驗(yàn)發(fā)現(xiàn)，內(nèi)容和地點(diǎn)兩上下文因素之間的潛在關(guān)系在克服數(shù)據(jù)稀疏性方面起著主導(dǎo)作用．后續(xù)將進(jìn)一步融合用戶簽到記錄中其他上下文因素及它們之間的潛在關(guān)系，期望獲得更優(yōu)的推薦效果．