摘 要：下一個(gè)興趣點(diǎn)推薦是推薦算法領(lǐng)域的熱點(diǎn)，旨在為用戶推薦適合的下一地點(diǎn)。較新的研究通過(guò)圖和序列方法模擬用戶與POI的交互以及POI之間轉(zhuǎn)換關(guān)系，性能得到顯著提升。然而，現(xiàn)有模型仍然存在需要解決的問(wèn)題。針對(duì)現(xiàn)有的下一個(gè)興趣點(diǎn)推薦模型的局限性，特別是如何充分捕捉User-POI交互圖上全局和局部信息，以及緩解圖神經(jīng)網(wǎng)絡(luò)的過(guò)平滑特性導(dǎo)致圖上信息丟失的問(wèn)題，提出了基于graph Transformer的多編碼模型 （multi-coding network based on GT model）對(duì)下一個(gè)興趣點(diǎn)進(jìn)行推薦。首先，從位置和結(jié)構(gòu)的視角上聯(lián)合對(duì)user-POI交互圖上進(jìn)行全局、局部以及相對(duì)信息進(jìn)行編碼；然后，將編碼后生成的圖嵌入通過(guò)graph Transformer網(wǎng)絡(luò)層更新圖上節(jié)點(diǎn)與邊信息；最后通過(guò)MLP網(wǎng)絡(luò)層生成預(yù)測(cè)；最終，MCGT在Gowalla和TKY兩個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，在Gowalla 數(shù)據(jù)集上recall和NDCG指標(biāo)至少有3.79%的提升，在TKY數(shù)據(jù)集上recall和NDCG指標(biāo)至少有2.5%的提升，證明了MCGT設(shè)計(jì)的合理性與有效性。

關(guān)鍵詞：下一個(gè)興趣點(diǎn)推薦；多編碼；全局信息；局部信息；相對(duì)信息；圖Transformer

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）11-026-3382-07

doi：10.19734/j.issn.1001-3695.2024.03.0092

Multi-coding next point of interest recommendation model based on GT model

Wang Yonggui， Zhang Xiaorui^?

（College of Electronics amp; Information Engineering， Liaoning Technical University， Huludao Liaoning 125105， China）

Abstract：Next point of interest （POI） recommendation is a hot topic in the field of recommendation algorithms， which aims at recommending the suitable next locations for users. Recent research has significantly improved performance by simulating user interactions with POIs and the transitions between POIs using graph and sequence methods. However， existing models still have issues that need to be addressed. In response to the limitations of current next POI recommendation models， particularly in how to fully capture both global and local information on the user-POI interaction graph， and in alleviating the oversmoothing characteristics of graph neural networks that lead to information loss on the graph， this paper proposed a multi-coding network based on the graph Transformer model for recommending the next POI. Firstly， it jointly encoded global， local， and relative information on the user-POI interaction graph from the perspectives of position and structure. Then， the graph embeddings produced by this encoding were updated through graph Transformer network layers， which refreshed the information of nodes and edges on the graph. Finally， predictions were generated through MLP network layers. The MCGT model was empirically tested on two public datasets， Gowalla and TKY. The results show that at least a 3.79% improvement in recall and NDCG metrics on the Gowalla dataset and at least a 2.5% improvement on the TKY dataset， thus proving the reasonableness and effectiveness of MCGT.

Key words：next point of interest recommendation; multi-encoding; global information; local information; relative information; graph Transformer

0 引言

隨著信息和通信技術(shù)的進(jìn)步，在現(xiàn)代社會(huì)中，人們傾向于在社交媒體上分享他們的日常生活。在此趨勢(shì)下，基于社交位置的服務(wù)受到越來(lái)越多的關(guān)注，引起了學(xué)者們對(duì)興趣點(diǎn)推薦^［1～3］的研究，即根據(jù)用戶的歷史簽到軌跡推斷用戶可能會(huì)訪問(wèn)的地點(diǎn)。作為興趣點(diǎn)推薦的一個(gè)子類(lèi)，下一個(gè)興趣點(diǎn)^{［4， 5］}推薦旨在預(yù)測(cè)用戶在未來(lái)短時(shí)間內(nèi)最有可能到達(dá)的地點(diǎn)，通常是通過(guò)用戶的歷史簽到以及對(duì)用戶的個(gè)人偏好建模來(lái)對(duì)用戶即將訪問(wèn)的地點(diǎn)進(jìn)行預(yù)測(cè)。

關(guān)于下一個(gè)興趣點(diǎn)推薦問(wèn)題的現(xiàn)有解決方案可以分為基于序列的解決方案和基于圖的解決方案兩類(lèi)?；谛蛄械慕鉀Q方案主要包括馬爾可夫鏈、基于RNN的模型和基于注意力的模型。早期的研究使用馬爾可夫鏈來(lái)模擬序列轉(zhuǎn)換模式^［6］；基于RNN的方法將經(jīng)典的RNN體系結(jié)構(gòu)（如長(zhǎng)短期記憶（LSTM）），與時(shí)間和空間上下文結(jié)合起來(lái)，以提高模型捕獲序列規(guī)律性^{［7，8］}的能力。此外，由于Transformer^［9］在自然語(yǔ)言處理（NLP）領(lǐng)域中取得巨大成功，提出了基于注意力的推薦方式來(lái)構(gòu)建模型^［10］。最近，由于圖模型的廣泛應(yīng)用，基于圖嵌入^［11］結(jié)構(gòu)的推薦模型被提出，研究人員基于空間臨近性或不同用戶的歷史軌跡來(lái)構(gòu)建POI圖。在先進(jìn)模型中，由于其出色的用戶偏好捕獲能力和測(cè)量相同類(lèi)型對(duì)象之間相似度的能力，GNN被認(rèn)為是下一個(gè)POI推薦模型中最為有效的支持技術(shù)之一。例如，文獻(xiàn)［12］采用圖循環(huán)網(wǎng)絡(luò)（GRN）分析時(shí)空POI-POI圖來(lái)學(xué)習(xí)POI之間的時(shí)空相關(guān)性。文獻(xiàn)［4］提出了一種全局轉(zhuǎn)換流圖，并運(yùn)用圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）建模POI的相似度。由于圖嵌入能夠表達(dá)豐富的上下文信息，所以它們被廣泛用于表示POI。文獻(xiàn)［13］提出了一種基于圖的度量方法，用于生成POI嵌入；文獻(xiàn)［14］則構(gòu)建了POI簽到序列圖，并利用圖神經(jīng)網(wǎng)絡(luò)（GNN）生成POI的嵌入以表示用戶的簽到行為；而文獻(xiàn)［15］提出了一種新的自適應(yīng)圖表示增強(qiáng)注意網(wǎng)絡(luò)用于下一個(gè)POI推薦，利用圖嵌入學(xué)習(xí)來(lái)替代預(yù)定義的靜態(tài)圖嵌入學(xué)習(xí)以獲得更具表現(xiàn)力的POI表示。

盡管現(xiàn)有關(guān)于圖神經(jīng)網(wǎng)絡(luò)推薦模型在下一個(gè)興趣點(diǎn)推薦方向推薦效果良好，但仍然存在兩個(gè)需要解決的問(wèn)題。首先，現(xiàn)有推薦模型僅通過(guò)圖神經(jīng)網(wǎng)絡(luò)生成POI圖上的局部信息的嵌入，忽略了全局信息對(duì)POI節(jié)點(diǎn)特征的影響；其次，傳統(tǒng)圖神經(jīng)網(wǎng)絡(luò)模型在處理圖嵌入結(jié)構(gòu)數(shù)據(jù)時(shí)，消息傳遞的過(guò)程中產(chǎn)生的過(guò)平滑與過(guò)擠壓的現(xiàn)象會(huì)使圖上節(jié)點(diǎn)的邊緣信息丟失，對(duì)推薦效果產(chǎn)生影響；而且，當(dāng)數(shù)據(jù)集體量較大時(shí)，圖上的計(jì)算量增加會(huì)對(duì)所使用的設(shè)備產(chǎn)生負(fù)擔(dān)。

因此，本文提出了MCGT模型來(lái)解決上述問(wèn)題。首先，通過(guò)將所有用戶的簽到軌跡映射到一個(gè)user-POI圖中，構(gòu)建一個(gè)圖結(jié)構(gòu)，其中每個(gè)節(jié)點(diǎn)表示一個(gè)用戶或一個(gè)POI。用戶節(jié)點(diǎn)與POI節(jié)點(diǎn)之間存在訪問(wèn)與被訪問(wèn)的關(guān)系，而POI與POI節(jié)點(diǎn)之間存在用戶移動(dòng)關(guān)系，并具有方向性，權(quán)重根據(jù)訪問(wèn)的頻率而定。為了專注于用戶個(gè)性化偏好以及提升計(jì)算效率，以不同用戶為中心，通過(guò)K-hop的方式劃分子圖，對(duì)每個(gè)子圖分別進(jìn)行全局編碼、局部編碼和相對(duì)編碼。全局編碼通過(guò)對(duì)子圖進(jìn)行拉普拉斯特征分解，將其特征向量和特征值分別作為全局位置編碼和全局結(jié)構(gòu)編碼。特征向量捕捉圖上節(jié)點(diǎn)的位置，特征值則反映子圖的整體連接性，提供交互模式的宏觀視圖。局部編碼利用隨機(jī)游走生成的對(duì)角線元素和非對(duì)角線元素之和，分別作為局部結(jié)構(gòu)編碼和局部位置編碼。對(duì)角線元素反映節(jié)點(diǎn)在其局部環(huán)境中的重要性，非對(duì)角線元素的和描述了節(jié)點(diǎn)間的局部連接細(xì)節(jié)，專注于捕捉鄰域信息。相對(duì)編碼則通過(guò)衡量節(jié)點(diǎn)之間的相對(duì)位置和結(jié)構(gòu)關(guān)系，增強(qiáng)模型在區(qū)分圖中節(jié)點(diǎn)微小位置差異方面的能力。通過(guò)融合全局編碼、局部編碼和相對(duì)編碼的信息，可以全面挖掘用戶的個(gè)性化偏好，提高下一個(gè)POI推薦的準(zhǔn)確性和個(gè)性化程度。

將編碼后的子圖輸入到graph Transformer層中進(jìn)行訓(xùn)練，通過(guò)Transformer中的自注意力機(jī)制，可以直接捕捉節(jié)點(diǎn)之間的全局關(guān)系，避免過(guò)度依賴節(jié)點(diǎn)的局部鄰居信息，關(guān)注遠(yuǎn)距離節(jié)點(diǎn)，減少了層數(shù)過(guò)多時(shí)的過(guò)平滑問(wèn)題，能更好地處理長(zhǎng)距離依賴和全局結(jié)構(gòu)信息。最終輸出的向量即為推薦結(jié)果。這種綜合利用全局編碼、局部編碼、相對(duì)編碼和graph Transformer的方法使得下一個(gè)興趣點(diǎn)推薦模型能夠更精準(zhǔn)地捕捉用戶個(gè)性化的興趣，并更有效地進(jìn)行推薦。

本文主要做了以下貢獻(xiàn)：

a）提出信息多編碼方式，相應(yīng)地分為局部編碼、全局編碼和相對(duì)編碼三種類(lèi)別，充分捕獲圖上上下文信息，挖掘用戶的整體偏好和局部興趣點(diǎn)的特定關(guān)聯(lián)。這有助于提高個(gè)性化推薦的準(zhǔn)確性。

b）創(chuàng)新性結(jié)合GatedGCN^［16］與Bi-Transformer^［17］作為一個(gè)網(wǎng)絡(luò)層用于推薦，其中GatedGCN可以使上下文信息在圖上傳播，Bi-Transformer（BERT）模型可以在圖上線性地捕獲圖上的全局注意，獲得用戶訪問(wèn)POI歷史軌跡中的個(gè)性化偏好，并緩解了現(xiàn)有模型過(guò)平滑特性導(dǎo)致的邊緣信息丟失現(xiàn)象，提升推薦效果。

c）在Gowalla和Foursquare-TKY兩個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文方案在多種設(shè)置下優(yōu)于最先進(jìn)的方案。

1 相關(guān)工作

1.1 下一個(gè)興趣點(diǎn)推薦

與一般的POI推薦方法相比，下一個(gè)POI推薦的目標(biāo)是根據(jù)用戶歷史的簽到記錄來(lái)預(yù)測(cè)用戶可能會(huì)簽入的下一個(gè)POI。因此，順序的影響是理解用戶行為的一個(gè)重要因素。經(jīng)典的序列因子建模方法，如馬爾可夫鏈^［18］和遞歸神經(jīng)網(wǎng)絡(luò)^［19］，已經(jīng)被引入到下一個(gè)POI推薦任務(wù)中。

Wang等人^［20］利用圖嵌入技術(shù)顯式地模擬復(fù)雜的地理影響。Fang等人^［21］提出了URPI-GRU，它由一個(gè)短期模塊和一個(gè)長(zhǎng)期模塊組成。在短期模塊中，利用GRU模型來(lái)學(xué)習(xí)用戶的周期性和當(dāng)前偏好。在長(zhǎng)期模塊中，通過(guò)考慮K-近鄰序列來(lái)提取用戶的長(zhǎng)期偏好。Zheng等人^［22］提出了一種記憶增強(qiáng)層次注意網(wǎng)絡(luò)，該網(wǎng)絡(luò)集成了短期簽到序列和長(zhǎng)期記憶，旨在利用這兩種信息來(lái)源的組合來(lái)捕捉用戶運(yùn)動(dòng)的復(fù)雜時(shí)空模式。Huang等人^［23］提出了DAN-信噪比，通過(guò)利用自我注意機(jī)制在一個(gè)統(tǒng)一的框架內(nèi)建模順序和社會(huì)影響，解決了這一差距。文獻(xiàn)［24］提出一種基于異質(zhì)圖嵌入的時(shí)空不敏感興趣點(diǎn)推薦模型，降低推薦過(guò)程對(duì)興趣點(diǎn)間距離的敏感程度，進(jìn)而增強(qiáng)推薦結(jié)果的可解釋性。Lai等人^［25］提出了位置擴(kuò)展算法和門(mén)控深度網(wǎng)絡(luò)的組合，利用一個(gè)門(mén)控的深度網(wǎng)絡(luò)，通過(guò)生成輔助的二進(jìn)制門(mén)來(lái)捕獲長(zhǎng)期的行為依賴關(guān)系。此外，還采用了位置擴(kuò)展算法來(lái)增強(qiáng)遞歸神經(jīng)網(wǎng)絡(luò)中的上下文交互作用。

然而，上述方法忽略了對(duì)POI圖上全局信息和局部信息的融合，限制了推薦的準(zhǔn)確性。因此，本文使用多編碼的方式捕獲圖上的全局信息與局部信息，豐富了生成的圖嵌入表示，提升推薦效果。

1.2 graph Transformer

近年來(lái)，有關(guān)下一個(gè)興趣點(diǎn)推薦的模型試圖利用各種圖神經(jīng)網(wǎng)絡(luò)，通過(guò)嵌入方式建模user-item交互圖。例如，PinSage^［26］和NGCF^［27］建立在譜域的圖卷積網(wǎng)絡(luò)上，隨后LightGCN^［28］提出了一種簡(jiǎn)化的模型，去除了冗余的非線性變換，采用基于求和的池化操作，在基于GCN的消息傳遞模式上，每個(gè)用戶和項(xiàng)目都被編碼到轉(zhuǎn)換后的嵌入中，并保存了多跳連接，充分利用節(jié)點(diǎn)上的信息，提升推薦效果。為了進(jìn)一步提高用戶表示能力，最近的一些研究設(shè)計(jì)用于user-item交互建模的解糾纏圖神經(jīng)架構(gòu)，如DGCF^［29］和DisenHAN^［30］。同時(shí)，提出了幾種多關(guān)系GNN來(lái)增強(qiáng)具有多行為建模的推薦系統(tǒng)，包括KHGT^［31］和HM-GCR^［32］，為推薦方向提供了有力的建模。然而，由于GCN在訓(xùn)練過(guò)程中每一層只聚合直接相鄰節(jié)點(diǎn)的信息，對(duì)全局信息的捕捉能力相對(duì)較弱，對(duì)于更遠(yuǎn)處的節(jié)點(diǎn)關(guān)系，GCN的表示學(xué)習(xí)效果欠佳；且由于單一的圖卷積網(wǎng)絡(luò)的過(guò)平滑^［33］和低表達(dá)性等問(wèn)題的限制，這些層在早期階段無(wú)法保留圖上完整信息，存在信息丟失的現(xiàn)象。因此，本文利用Gated-GCN與Bi-Transformer（BERT）共同構(gòu)建的網(wǎng)絡(luò)層實(shí)現(xiàn)推薦，與單一的圖卷積模型不同的是，BERT可以在圖上捕獲更遠(yuǎn)處的節(jié)點(diǎn)信息，與GatedGCN共同完成對(duì)圖上節(jié)點(diǎn)以及邊的更新。BERT與GatedGCN通過(guò)全連接使信息在全局圖上傳播，從而解決由過(guò)平滑和過(guò)擠壓造成的表達(dá)瓶頸，充分結(jié)合圖上的全局與局部信息，避免了圖中邊信息丟失，豐富目標(biāo)節(jié)點(diǎn)的表征，提高推薦的效果。

2 MCGT模型

MCGT模型主要由編碼部分與graph Transformer網(wǎng)絡(luò)層兩部分組成，編碼部分由局部編碼、全局編碼以及相對(duì)編碼組成，其中局部編碼由隨機(jī)游走算法生成，對(duì)角線元素與非對(duì)角線元素行的和分別對(duì)應(yīng)位置編碼與結(jié)構(gòu)編碼；拉普拉斯矩陣分解的前K個(gè)最小特征向量與特征值分別表示全局位置編碼與結(jié)構(gòu)編碼；相對(duì)位置與相對(duì)結(jié)構(gòu)編碼分別由特征向量的梯度與兩個(gè)節(jié)點(diǎn)是否屬于同一子結(jié)構(gòu)的布爾值構(gòu)成。將編碼信息通過(guò)concat融合，編碼后的圖結(jié)構(gòu)使用graph Transformer網(wǎng)絡(luò)層進(jìn)行訓(xùn)練，最后輸出最終的預(yù)測(cè)。

2.1 問(wèn)題定義

設(shè)U={u₁，u₂，…，u_U}和P={p₁，p₂，…，p_P}分別表示用戶和POIs的集合，用戶的簽入由c=〈u，p，t〉表示，表明用戶u在t時(shí)刻訪問(wèn)了位置p，用戶的簽到軌跡是由其一系列按時(shí)間順序記錄的簽到構(gòu)成的。使用T_ui={c^t₁₁，c^t₂₂，…，c^t_mm}來(lái)表示用戶u_i的歷史軌跡，其中c^t_mm表示u_i的最新簽到記錄。利用不同用戶的簽到記錄和共同訪問(wèn)的興趣點(diǎn)（POI），構(gòu)建用戶全局軌跡圖。由G=〈V，E，R〉表示，其中v∈V表示全局圖上的實(shí)體，e∈E表示兩個(gè)不同實(shí)體之間連接的邊，r∈R表示興趣點(diǎn)之間是否存在用戶流動(dòng)的關(guān)系。給定user-POI軌跡圖，下一個(gè)POI推薦旨在輸出用戶u_i短期內(nèi)最有可能訪問(wèn)的top-k POI。

2.2 子圖劃分

在實(shí)現(xiàn)個(gè)性化推薦的過(guò)程中，為了有效緩解數(shù)據(jù)集規(guī)模過(guò)大對(duì)實(shí)驗(yàn)設(shè)備帶來(lái)的壓力，本文采用劃分子圖的方式。具體而言，以圖上每一個(gè)用戶作為中心點(diǎn)，以該用戶為中心，通過(guò)k-hop鄰域擴(kuò)展構(gòu)建子圖，由于隨著K值的增加，子圖包含更多的節(jié)點(diǎn)信息和邊信息，會(huì)引入大量無(wú)關(guān)的信息和噪聲，信息可能會(huì)被稀釋，導(dǎo)致模型難以區(qū)分重要特征和次要特征。因此，在本文模型中，K值設(shè)置為1。劃分方式如圖1所示。

2.3 多樣性編碼

位置編碼（position encoding）明確節(jié)點(diǎn)在圖中位置，結(jié)構(gòu)編碼（structure encoding）提供子圖結(jié)構(gòu)的嵌入。當(dāng)子圖上的位置編碼相近時(shí)，圖中兩個(gè)節(jié)點(diǎn)距離相近，因此地點(diǎn)通常相似，通過(guò)對(duì)用戶訪問(wèn)地點(diǎn)的相似性進(jìn)行建模，為用戶推薦感興趣的地點(diǎn)；當(dāng)兩個(gè)節(jié)點(diǎn)的結(jié)構(gòu)編碼相似時(shí)，說(shuō)明兩個(gè)子圖的結(jié)構(gòu)相似，因此當(dāng)用戶的交互數(shù)據(jù)稀疏時(shí)，通過(guò)相似的結(jié)構(gòu)編碼信息，為用戶推薦相似結(jié)構(gòu)上的地點(diǎn)，來(lái)緩解數(shù)據(jù)稀疏性，提高推薦效果。因此，本節(jié)使用的全局編碼、局部編碼與相對(duì)編碼對(duì)用戶與地點(diǎn)生成圖嵌入主要分為位置和結(jié)構(gòu)兩種類(lèi)別，用圖嵌入代替現(xiàn)有模型使用的序列嵌入對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，充分挖掘圖上信息的傳遞，提升推薦效果。整體架構(gòu)以及編碼方式如圖2所示。

2.3.1 局部編碼

為了提升節(jié)點(diǎn)對(duì)圖中信息的理解，利用隨機(jī)游走算法對(duì)圖上節(jié)點(diǎn)進(jìn)行編碼。隨機(jī)游走側(cè)重于捕捉圖上的局部信息，通過(guò)考察節(jié)點(diǎn)間的隨機(jī)游走路徑，能有效捕捉節(jié)點(diǎn)的鄰域信息。通過(guò)隨機(jī)游走生成的對(duì)角線元素與非對(duì)角線元素的和能反映節(jié)點(diǎn)間的連接強(qiáng)度和訪問(wèn)頻率，有助于揭示圖上節(jié)點(diǎn)的局部特征。首先，構(gòu)建子圖的鄰接矩陣A、子圖邊的權(quán)重矩陣W和度矩陣D，通過(guò)標(biāo)準(zhǔn)化鄰接矩陣A得到轉(zhuǎn)移概率矩陣P=D^－1A，它代表了一個(gè)節(jié)點(diǎn)在單步隨機(jī)游走中轉(zhuǎn)移到其他節(jié)點(diǎn)的概率。對(duì)于m步隨機(jī)游走，轉(zhuǎn)移概率矩陣P^m=（D^－1A）m表示了節(jié)點(diǎn)在m步到達(dá)其他節(jié)點(diǎn)的概率分布。對(duì)每個(gè)節(jié)點(diǎn)i，定義其局部位置編碼為E^lp_i=∑j≠i（P^m）_ij。E^lp_i由P^m中對(duì)應(yīng)行的非對(duì)角線元素之和計(jì)算得出。這個(gè)編碼反映了節(jié)點(diǎn)i通過(guò)m步隨機(jī)游走與其他節(jié)點(diǎn)的關(guān)聯(lián)程度，捕捉了其在局部鄰域內(nèi)的位置信息。同時(shí)，為了揭示每個(gè)節(jié)點(diǎn)在其直接鄰域內(nèi)的結(jié)構(gòu)特性，利用P^m的對(duì)角線元素作為節(jié)點(diǎn)的局部結(jié)構(gòu)編碼：E^ls_i=P^m_ii，對(duì)角線上元素反映了用戶對(duì)當(dāng)前節(jié)點(diǎn)的偏好以及節(jié)點(diǎn)與其鄰居之間的連接強(qiáng)度，有助于捕捉每個(gè)節(jié)點(diǎn)的局部結(jié)構(gòu)特征。通過(guò)這種方法，精確地捕捉了節(jié)點(diǎn)在其鄰域內(nèi)的位置和結(jié)構(gòu)信息，增強(qiáng)了節(jié)點(diǎn)對(duì)圖上信息的理解能力，為基于圖的表示提供了豐富的局部信息，從而有助于提高模型對(duì)復(fù)雜圖嵌入結(jié)構(gòu)的處理能力和推薦的準(zhǔn)確性。

2.3.2 全局編碼

為了捕捉全局連通性和圖布局以及增強(qiáng)節(jié)點(diǎn)的區(qū)分能力，本文采用拉普拉斯矩陣分解的方式分別對(duì)節(jié)點(diǎn)進(jìn)行位置編碼與結(jié)構(gòu)編碼。首先，對(duì)矩陣進(jìn)行標(biāo)準(zhǔn)化，如式（1）（2）所示。

L=D－W（1）

L_norm=D^－12LD^－12（2）

對(duì)標(biāo)準(zhǔn)化的拉普拉斯矩陣L_norm進(jìn)行特征分解，得到特征值{λ₁，λ₂，…，λ_n}和對(duì)應(yīng)的特征向量{v₁，v₂，…，v_n}，其中n是子圖中用戶訪問(wèn)興趣點(diǎn)的數(shù)量，從特征值和特征向量中選擇前k個(gè)最小的非零特征值以及與之對(duì)應(yīng)的相關(guān)的特征向量，分別記為λ_ik與v_ik，對(duì)于每個(gè)節(jié)點(diǎn)i，E^gp_i=［v_ki］定義為全局位置編碼，描述了節(jié)點(diǎn)在整個(gè)子圖中的位置。v_ki表示矩陣中相關(guān)的特征向量的第i個(gè)元素，代表了節(jié)點(diǎn)i在全局編碼中的位置。較小的特征值描述圖的低頻成分，即大范圍的連通結(jié)構(gòu)。反映了圖中節(jié)點(diǎn)之間的整體連接模式和全局拓?fù)浣Y(jié)構(gòu)。故前k個(gè)最小非零特征值，有助于識(shí)別子圖結(jié)構(gòu)，更好地捕捉全局連通性和圖的布局，故將特征值λ_k定義為全局結(jié)構(gòu)編碼。

2.3.3 相對(duì)編碼

本文使用拉普拉斯矩陣分解的特征向量梯度E^rp_ij=Δ?_k作為相對(duì)位置編碼用來(lái)明確節(jié)點(diǎn)之間的方向性，獲得節(jié)點(diǎn)之間訪問(wèn)的順序關(guān)系；而相對(duì)結(jié)構(gòu)編碼則通過(guò)識(shí)別圖中相似的子結(jié)構(gòu)，揭示了節(jié)點(diǎn)之間的相似程度，若布爾值編碼為1，表示它們具有較高的相關(guān)性，可以反映出用戶的潛在興趣模式，推薦出更符合用戶興趣的地點(diǎn)。以節(jié)點(diǎn)是否屬于同一子結(jié)構(gòu)進(jìn)行相對(duì)結(jié)構(gòu)編碼，公式為

E^rs_ij=1

i～j0

otherwise （3）

2.4 特征融合

將位置編碼與結(jié)構(gòu)編碼的特征信息進(jìn)行融合，為了不混淆編碼信息，本文選擇使用concat對(duì)兩類(lèi)編碼信息進(jìn)行融合，且為確保全局結(jié)構(gòu)編碼與局部結(jié)構(gòu)編碼在相同的范圍內(nèi)，使用歸一化對(duì)其進(jìn)行規(guī)范化編碼，式（4）對(duì)節(jié)點(diǎn)的編碼特征信息進(jìn)行融合：

E^lp_i=MLP（norm（E^lp_i）），

E^gs_i=DeepSet（norm（E^gs_i））

E^ls_i=DeepSet（norm（E^ls_i）），

E^gp_i=DeepSet（E^gp_i）

X^l=concat（X⁰，E^lp_i，E^gs_i，E^ls_i，E^gp_i）（4）

式（5）為對(duì)邊的特征信息進(jìn)行融合：

E^rs_i=MLP（E^rs_i），

E^rp_i=MLP（E^rp_i）

E^l=concat（E⁰，E^rs_i，E^rp_i）（5）

2.5 graph Transformer網(wǎng)絡(luò)層

graph Transformer層對(duì)比于普通的圖神經(jīng)網(wǎng)絡(luò)具有捕獲長(zhǎng)距離依賴，減輕出現(xiàn)的過(guò)平滑，過(guò)擠壓現(xiàn)象等優(yōu)點(diǎn)，結(jié)合全局與局部信息編碼使模型具有更好的表達(dá)能力。

2.5.1 GatedGCN

為了更準(zhǔn)確地捕獲POI的特征，僅僅依賴于學(xué)習(xí)到的圖的特征嵌入表示是不夠的。因此，模型引入了門(mén)控圖卷積網(wǎng)絡(luò)來(lái)進(jìn)一步細(xì)化表示。GatedGCN（圖3）被視為一種高效的消息傳遞網(wǎng)絡(luò)，通過(guò)利用殘差連接、批歸一化以及門(mén)控邊緣的方式設(shè)計(jì)了GCN的各向異性變體，它明確地更新節(jié)點(diǎn)特征和邊緣特征如式（6）所示。

h^l+1_ig=h^l_i+ReLU （BN（U^lh^l_i+∑j∈N_ie^l_ij⊙V^lh^l_j））（6）

其中：U^l，V^l∈^d×d；d是特征的維度；h⁰_i=x^l；⊙表示Hadamard積；BN（·）是批處理歸一化運(yùn)算符。并將邊緣特征向量更新為

e^l_ij=σ（^l_ij）∑j′∈N_iσ（^l_ij）+ε（7）

^l_ij=^l-1_ij+ReLU（BN （A^lh^l-1_i+B^lh^l-1_j+C^ll-1_ij））（8）

其中：σ（·）是sigmoid函數(shù)；ε是為了分母不為0來(lái)穩(wěn)定計(jì)算的一個(gè)趨近于無(wú)窮小的常數(shù)；A^l，B^l，C^l∈^d×d。

2.5.2 Bi-Transformer

由于在訓(xùn)練過(guò)程中，Bi-Transformer能夠同時(shí)學(xué)習(xí)目標(biāo)POI左右兩側(cè)的上下文信息，可以增強(qiáng)POI的表征，而且它在聚合軌跡中最相關(guān)的行為上下文相關(guān)性方面具有強(qiáng)大的能力，如圖4所示。

因此，利用Bi-Transformer對(duì)子圖上的POI節(jié)點(diǎn)進(jìn)行訓(xùn)練更新，如式（9）～（12）所示。

2.6 預(yù)測(cè)

利用雙層MLP層對(duì)通過(guò)graph Transformer層輸出的節(jié)點(diǎn)進(jìn)行聚合，輸出的向量即為預(yù)測(cè)的結(jié)果。

h_i+1=2MLP（h^l+1_ig+h^l+1_iT）（13）

同時(shí)，使用交叉熵?fù)p失作為小批量訓(xùn)練的損失函數(shù)，并將損失表示為

Loss=－ylog（）－（1－y）log（1－）（14）

3 實(shí)驗(yàn)與實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

本文模型在Gowalla^［34］和Foursquare-TKY^［35］兩個(gè)真實(shí)的公共LBSN數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。Gowalla包含2008年3月至2010年10月在加利福尼亞州和內(nèi)華達(dá)州的簽到數(shù)據(jù)；Foursquare-TKY （TKY）包含2012年4月至2014年1月在東京簽到記錄的數(shù)據(jù)集。每條簽入數(shù)據(jù)都包含user-ID、POI-ID和時(shí)間戳，兩個(gè)數(shù)據(jù)集中所有記錄的簽到時(shí)間戳都是UTC時(shí)間。忽略訪問(wèn)少于10個(gè)簽到記錄的非活動(dòng)用戶和訪問(wèn)少于10個(gè)用戶的冷門(mén)POI來(lái)對(duì)這兩個(gè)數(shù)據(jù)集進(jìn)行預(yù)處理。每個(gè)用戶的前80%的簽到記錄用于測(cè)試，10%的簽到記錄用于驗(yàn)證，后10%的簽到記錄用于訓(xùn)練。本文數(shù)據(jù)集如表1所示。

3.2 評(píng)價(jià)指標(biāo)

本文使用推薦方向上召回率（recall@K）和標(biāo)準(zhǔn)化貼現(xiàn)累積增益（NDCG@K）兩個(gè)廣泛使用的評(píng)估指標(biāo)。具體來(lái)說(shuō)，recall@K衡量了top-K推薦中的標(biāo)簽的比率，而NDCG@K反映了排名列表的質(zhì)量。在本文中，每個(gè)度量上重復(fù)實(shí)驗(yàn)10次，并使用常用的K∈{5，10}給出平均結(jié)果。

3.3 參數(shù)設(shè)置

本文實(shí)驗(yàn)是在RTX3090服務(wù)器，PyTorch 1.13.1的環(huán)境下進(jìn)行的，對(duì)于MCGT模型，使用Adam作為優(yōu)化器，隱藏層維度與嵌入層維度相同且均為128，學(xué)習(xí)率設(shè)置為0.001，隱藏層的激活函數(shù)使用GELU函數(shù)，隨機(jī)游走的尺度根據(jù)數(shù)據(jù)集的特點(diǎn)分別設(shè)置為64與128，為防止出現(xiàn)過(guò)擬合的現(xiàn)象，模型使用了dropout技術(shù)，并將dropout的值設(shè)置為0.2。

3.4 基線模型

為了評(píng)估模型的有效性，本文將MCGT模型與以下幾個(gè)基線模型進(jìn)行比較。

a）DeepMove^［36］：一個(gè)序列推薦模型，應(yīng)用RNN模型，通過(guò)在其上使用注意機(jī)制分別捕獲歷史序列和當(dāng)前序列的周期性。

b）STGN^［8］：一種引入時(shí)空門(mén)來(lái)模擬連續(xù)訪問(wèn)之間的時(shí)間和距離關(guān)系LSTM 模型。

c）LSTPM^［37］：一個(gè)使用非局部網(wǎng)絡(luò)來(lái)建模長(zhǎng)期偏好，并使用一個(gè)地理擴(kuò)張的RNN來(lái)學(xué)習(xí)短期偏好的一個(gè)經(jīng)典的LSTM模型。

d）LightGCN^［28］：一個(gè)先進(jìn)的簡(jiǎn)化的基于GNN的協(xié)同過(guò)濾框架，它省略了傳播過(guò)程中的非線性激活和特征轉(zhuǎn)換。

e）GSTN^［20］：一個(gè)基于圖的空間依賴建模，引入圖增強(qiáng)的時(shí)空網(wǎng)絡(luò)，結(jié)合LSTM和GSD進(jìn)行下一個(gè)POI推薦的方法。

f）TADSAM^［38］：其使用擴(kuò)展的自注意力機(jī)制處理用戶復(fù)雜的簽到記錄，開(kāi)發(fā)了一種根據(jù)用戶不同時(shí)間窗口的簽到記錄的個(gè)性化的權(quán)重計(jì)算方法來(lái)利用用戶行為的時(shí)間模式。

g）GIPR^［24］：提出一種基于異質(zhì)圖嵌入的時(shí)空不敏感時(shí)空興趣點(diǎn)推薦模型，降低推薦過(guò)程對(duì)興趣點(diǎn)間距離的敏感程度，進(jìn)而增強(qiáng)推薦結(jié)果的可解釋性。

h）MSTHN^［25］：一種聯(lián)合學(xué)習(xí)局部和全局視圖，通過(guò)局部的不對(duì)稱聚合時(shí)空相關(guān)性以及全局采用穩(wěn)定的超圖神經(jīng)網(wǎng)絡(luò)捕獲高階協(xié)同信號(hào)進(jìn)行推薦的方法。

在實(shí)驗(yàn)時(shí)，令K={5，10}，并且使用相同的指標(biāo)和測(cè)試數(shù)據(jù)來(lái)評(píng)估所有方法的性能。得到評(píng)價(jià)指標(biāo)recall@K和NDCG@K的結(jié)果如表2、3所示，其中最優(yōu)結(jié)果用加粗表示，次優(yōu)結(jié)果用下畫(huà)線表示。將模型的性能與基線模型進(jìn)行比較，可以得出以下結(jié)論：

在Gowalla和TKY數(shù)據(jù)集上的結(jié)果顯示，本文MCGT在所有評(píng)估指標(biāo)下顯著優(yōu)于所有其他先進(jìn)的基線方法。具體來(lái)說(shuō)，在Gowalla上，recall@5、recall@10和NDCG@5、NDCG@10相對(duì)于最優(yōu)的推薦模型分別提升了4.3%、3.79%、6.9%和5.16%。在TKY上，評(píng)價(jià)指標(biāo)分別提升了2.5%、9.2%、4.51%和4.98%。簡(jiǎn)言之，上述實(shí)驗(yàn)數(shù)據(jù)清楚地顯示了MCGT的優(yōu)越性。

基于注意力機(jī)制的方法效果優(yōu)于傳統(tǒng)方法和基于RNN的方法，在LSTPM中，geo-dilated LSTM顯式建模具有一定的效果，但在長(zhǎng)序列建模中會(huì)弱于帶mask的多頭注意力機(jī)制，這證明了多頭注意力機(jī)制在建模序列依賴上效果顯著。在基于注意力的方法中，TADSAM由于加入了時(shí)序的因素更具競(jìng)爭(zhēng)力，這一觀察結(jié)果證明了利用POI之間的訪問(wèn)先后順序來(lái)提高性能的必要性。然而，這些方法僅僅集中于序列內(nèi)的POI相關(guān)性，沒(méi)有充分獲取POI之間的上下文信息，因此推薦效果并不十分理想。

GIPR利用異質(zhì)圖整合用戶信息、興趣點(diǎn)信息與交互信息，利用圖嵌入的方式學(xué)習(xí)用戶與興趣點(diǎn)的表征，說(shuō)明了圖嵌入相對(duì)于序列嵌入在捕獲上下文信息的優(yōu)越性；MSTHN利用GNN從POI關(guān)系圖中提取有用的信息來(lái)學(xué)習(xí)信息表示，比其他基線獲得了更好的性能。這驗(yàn)證了基于圖網(wǎng)絡(luò)的表示學(xué)習(xí)與全局和局部視角在下一個(gè)POI推薦中的有效性。然而，雖然這種方法在圖形設(shè)計(jì)上相對(duì)完善，但單純依靠圖神經(jīng)網(wǎng)絡(luò)堆疊生成的嵌入會(huì)忽略圖上邊緣信息致使圖上的信息丟失，導(dǎo)致性能次優(yōu)。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文模型的可行性，分別在兩個(gè)數(shù)據(jù)集上進(jìn)行了一系列消融實(shí)驗(yàn)來(lái)說(shuō)明各個(gè)模塊的有效性。在本文模型的基礎(chǔ)上，對(duì)模型的三種變體做了實(shí)驗(yàn)并進(jìn)行比較：a）A表示去掉相對(duì)編碼；b）B表示去掉全局與局部結(jié)構(gòu)編碼；c）C表示去掉Transformer；d）D表示本文模型。

D與A相比加入了相對(duì)編碼，布爾值作為相對(duì)結(jié)構(gòu)編碼捕捉節(jié)點(diǎn)之間的結(jié)構(gòu)相似性，同時(shí)拉普拉斯特征值的梯度作為相對(duì)編碼引入位置關(guān)系，使得節(jié)點(diǎn)之間的局部信息與全局信息共同影響，充分利用上下文信息，從圖5可以看出，相對(duì)編碼對(duì)最終的推薦結(jié)果具有很大的影響。

D與B相比，D中加入了全局與局部結(jié)構(gòu)編碼，其中m-step隨機(jī)游走的對(duì)角線作為局部結(jié)構(gòu)編碼可以捕獲圖上局部結(jié)構(gòu)信息，而拉普拉斯矩陣最低特征值可以捕獲全局圖上的結(jié)構(gòu)信息，兩者共同作為結(jié)構(gòu)編碼有助于模型更好地理解節(jié)點(diǎn)之間的關(guān)系，提高用戶與地點(diǎn)之間關(guān)系的建模效果。

本文模型使用graph Transformer與C僅使用圖神經(jīng)網(wǎng)絡(luò)對(duì)比之下具有一定的效果，這是因?yàn)镚T層對(duì)圖上的每個(gè)節(jié)點(diǎn)進(jìn)行注意力的作用，因此圖上節(jié)點(diǎn)的特征信息在經(jīng)過(guò)L層的傳播可以捕獲更多交互信息，避免信息丟失，加強(qiáng)用戶個(gè)性化偏好的建模，提升推薦的效果。

3.6 特征融合函數(shù)分析

本文選取了五種常見(jiàn)的不同特征融合方法來(lái)分析其對(duì)整體推薦性能的影響。

a）求和方法（SUM）：將編碼矩陣特征元素逐元素相加，生成新特征。

b）最大池化方法（MAX）：比較多個(gè)編碼特征的每個(gè)元素，返回對(duì)應(yīng)位置的最大值，形成新特征。

c）平均融合方法（AVG）：將編碼特征矩陣逐元素相加后取平均，得到融合后的特征矩陣。

d）哈達(dá)瑪乘積（Hadamard product）：對(duì)多個(gè)編碼矩陣逐元素進(jìn)行元素乘積，得到融合后的特征矩陣。

e）拼接方法（concat）：按指定維度將多個(gè)編碼特征合并，生成新特征。

不同的融合方法對(duì)模型產(chǎn)生的影響如表4、5所示，其中最優(yōu)結(jié)果加粗表示，次優(yōu)結(jié)果用下畫(huà)線表示。

首先，對(duì)多個(gè)編碼進(jìn)行求和的方法在兩個(gè)數(shù)據(jù)集上表現(xiàn)的效果是最差的，這是因?yàn)閷⒉煌木幋a簡(jiǎn)單相加，既無(wú)法有效平衡不同特征的影響，又可能導(dǎo)致特征信息的丟失；最大池化保留了最大值，但它丟棄了其他信息，這會(huì)導(dǎo)致編碼信息表示不完整，尤其是在特征值接近的情況下，某些重要信息可能被忽略；平均融合方法綜合了所有編碼的特征信息，使得特征表示更加全面，能夠更好地反映位置編碼和結(jié)構(gòu)編碼的整體特征，但同時(shí)也可能會(huì)導(dǎo)致一些重要的信息被弱化，影響推薦效果；哈達(dá)瑪乘積可以捕捉位置編碼和結(jié)構(gòu)編碼之間的交互關(guān)系，對(duì)推薦會(huì)產(chǎn)生一定的正面影響，但是，如果位置編碼與結(jié)構(gòu)編碼存在某些位置都很小的情況下，會(huì)弱化節(jié)點(diǎn)的特征信息，對(duì)推薦效果產(chǎn)生一定的影響；與上述融合方式不同，concat方法通過(guò)增加特征維度，使得特征表示更加豐富，能夠捕捉到更細(xì)粒度的特征信息，拼接保留了位置編碼和結(jié)構(gòu)編碼的獨(dú)立性，使得模型可以分別處理和學(xué)習(xí)不同信息的重要程度。

3.7 超參數(shù)實(shí)驗(yàn)

本文進(jìn)一步分析了MCGT中g(shù)raph Transformer層數(shù)和head數(shù)的影響。

a）層數(shù)的影響。為了研究堆疊graph Transformer層的影響，在{1、2、3、4}中進(jìn)行了層數(shù)的實(shí)驗(yàn)。如圖6所示， MCGT通過(guò)在TKY上使用2層，在Gowalla上疊加3層，獲得了最好的性能。在達(dá)到閾值后，隨著層數(shù)的增加，模型效果開(kāi)始下降。

b）head數(shù)量的影響。為了探討在graph Transformer層中選擇頭數(shù)的影響，從集合{1、2、4、8}中選擇頭數(shù)進(jìn)行實(shí)驗(yàn)。從圖7可以看出，兩個(gè)數(shù)據(jù)集均在頭數(shù)為4時(shí)獲得最佳性能，頭數(shù)從4增加到8，recall@10和NDCG@10開(kāi)始下降。

4 結(jié)束語(yǔ)

本文提出了一種基于GT模型的多編碼下一個(gè)興趣點(diǎn)推薦模型，用于提升下一個(gè)興趣點(diǎn)推薦系統(tǒng)的準(zhǔn)確性。通過(guò)引入隨機(jī)游走算法和拉普拉斯矩陣分解，分別從局部和全局視角對(duì)節(jié)點(diǎn)進(jìn)行位置和結(jié)構(gòu)編碼，充分捕捉了節(jié)點(diǎn)在子圖中的信息。局部編碼側(cè)重于捕捉節(jié)點(diǎn)的鄰域信息，而全局編碼則揭示了圖的整體連通性和拓?fù)浣Y(jié)構(gòu)。相對(duì)編碼進(jìn)一步明確了節(jié)點(diǎn)之間的方向性和相似性，為模型提供了豐富的特征信息，隨后通過(guò)GatedGCN和Bi-Transformer組成的網(wǎng)絡(luò)層進(jìn)一步捕獲用戶的個(gè)性化偏好。其中，GatedGCN通過(guò)門(mén)控機(jī)制和批歸一化，有效地更新了節(jié)點(diǎn)和邊緣特征，提升了模型的表達(dá)能力；Bi-Transformer則通過(guò)雙向注意力機(jī)制，增強(qiáng)了節(jié)點(diǎn)之間的上下文關(guān)聯(lián)。在Gowalla和TKY的數(shù)據(jù)集的評(píng)價(jià)指標(biāo)上提升了至少2.5%的推薦效果。在未來(lái)的工作中，可以引入自適應(yīng)的推薦算法，結(jié)合局部和全局編碼，根據(jù)用戶行為的變化自動(dòng)調(diào)整策略，提高推薦的時(shí)效性和精準(zhǔn)度；同時(shí)，也可以結(jié)合用戶在社交網(wǎng)絡(luò)上的行為數(shù)據(jù)，利用局部和全局編碼捕捉用戶的興趣和社交影響力進(jìn)行跨域推薦，提升推薦的個(gè)性化和社交性。

參考文獻(xiàn)：

［1］Ji Weiyu， Meng Xiangwu， Zhang Yujie. STARec： adaptive learning with spatiotemporal and activity influence for POI recommendation［J］. ACM Trans on Information Systems， 2021， 40（4）： article No. 65.

［2］Ji Weiyu， Meng Xiangwu， Zhang Yujie. SPATM： a social period-aware topic model for personalized venue recommendation［J］. IEEE Trans on Knowledge and Data Engineering， 2020， 34（8）： 3997-4010.

［3］Shi Lei， Song Guangjia， Cheng Gang， et al. A user-based aggregation topic model for understanding user’s preference and intention in social network［J］. Neurocomputing， 2020， 413： 1-13.

［4］Yang Song， Liu Jiamou， Zhao Kaiqi. GETNext： trajectory flow map enhanced transformer for next POI recommendation［C］// Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2022： 1144-1153.

［5］Wu Yuxia， Li Ke， Zhao Guoshuai， et al. Personalized long-and short-term preference learning for next POI recommendation［J］. IEEE Trans on Knowledge and Data Engineering， 2020， 34（4）： 1944-1957.

［6］Cheng Chen， Yang Haiqin， Lyu M R， et al. Where you like to go next： successive point-of-interest recommendation［C］// Proc of the 23rd International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2013： 2605-2611.

［7］Liu Qiang， Wu Shu， Wang Liang， et al. Predicting the next location： a recurrent model with spatial and temporal contexts［C］// Proc of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 194-200.

［8］Zhao Pengpeng， Luo Anjing， Liu Yanchi， et al. Where to go next： a spatio-temporal gated network for next POI recommendation［J］. IEEE Trans on Knowledge and Data Engineering， 2020， 34（5）： 2512-2524.

［9］Gillioz A， Casas J， Mugellini E， et al. Overview of the Transformer-based models for NLP tasks［C］// Proc of the 15th Conference on Computer Science and Information Systems. Piscataway， NJ： IEEE Press， 2020： 179-183.

［10］Guo Qing， Sun Zhu， Zhang Jie， et al. An attentional recurrent neural network for personalized next location recommendation［C］// Proc of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 83-90.

［11］吳永慶， 孫鵬， 金堯， 等. 融合一致性社交關(guān)系的協(xié)同相似嵌入推薦模型［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（10）： 2951-2956， 2966. （Wu Yongqing， Sun Peng， Jin Yao， et al. Collaborative similarity embedding recommendation model integrating consistent social relationships［J］. Application Research of Computers， 2023， 40（10）： 2951-2956， 2966.）

［12］Lim N， Hooi B， Ng S K， et al. Hierarchical multi-task graph recurrent network for next POI recommendation［C］// Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2022： 1133-1143.

［13］Xie Min， Yin Hongzhi， Xu Fanjiang， et al. Graph-based metric embedding for next POI recommendation［C］// Proc of the 17th International Conference on Web Information Systems Engineering. Berlin： Springer， 2016： 207-222.

［14］Wang Dongjing， Wang Xingliang， Xiang Zhengzhe， et al. Attentive sequential model based on graph neural network for next POI recommendation［J］. World Wide Web， 2021， 24（6）： 2161-2184.

［15］Wang Zhaobo， Zhu Yanmin， Wang Chunyan， et al. Adaptive graph representation learning for next POI recommendation［C］// Proc of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2023： 393-402.

［16］Bresson X， Laurent T. Residual gated graph convnets［EB/OL］. （2018-04-24）. https：//arxiv.org/abs/1711.07553.

［17］Devlin J， Chang Mingwei， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186.

［18］He Jing， Li Xin， Liao Lejian. Next point-of-interest recommendation via a category-aware Listwise Bayesian personalized ranking［J］. Journal of Computational Science， 2018， 28： 206-216.

［19］Zhao Kangzhi， Zhang Yong， Yin Hongzhi， et al. Discovering subsequence patterns for next POI recommendation［C］// Proc of the 29th International Conference on International Joint Conferences on Artificial Intelligence. 2020： 3216-3222.

［20］Wang Zhaobo， Zhu Yanmin， Zhang Qiaomei， et al. Graph-enhanced spatial-temporal network for next POI recommendation［J］. ACM Trans on Knowledge Discovery from Data， 2022， 16（6）： article No. 104.

［21］Fang Jinfeng， Meng Xiangfu. URPI-GRU： an approach of next POI recommendation based on user relationship and preference information［J］. Knowledge-Based Systems， 2022， 256（C）： 109848.

［22］Zheng Chenwang， Tao Dan， Wang Jiangtao， et al. Memory augmented hierarchical attention network for next point-of-interest recommendation［J］. IEEE Trans on Computational Social Systems， 2020， 8（2）： 489-499.

［23］Huang Liwei， Ma Yutao， Liu Yanbo， et al. DAN-SNR： a deep attentive network for social-aware next point-of-interest recommendation［J］. ACM Trans on Internet Technology， 2020， 21（1）： article No. 2.

［24］李曼文， 張?jiān)虑伲?張晨威， 等. 異質(zhì)圖嵌入的地理不敏感時(shí)空興趣點(diǎn)推薦方法［J］. 計(jì)算機(jī)科學(xué)與探索， 2024， 18（3）： 755-767. （Li Manwen， Zhang Yueqin， Zhang Chenwei， et al. Geographically insensitive spatiotemporal interest point recommendation method with heterogeneous graph embedding［J］. Computer Science and Discovery， 2024， 18（3）： 755-767.）

［25］Lai Yantong， Su Yijun， Wei Linwei， et al. Multi-view spatial-temporal enhanced hypergraph network for next POI recommendation［C］// Proc of the 28th International Conference on Database Systems for Advanced Applications. Cham： Springer， 2023： 237-252.

［26］Ying R， He Ruining， Chen Kaifeng， et al. Graph convolutional neural networks for Web-scale recommender systems［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press， 2018： 974-983.

［27］Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph colla-borative filtering［C］// Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2019： 165-174.

［28］He Xiangnan， Deng Kuan， Wang Xiang， et al. LightGCN： simplif-ying and powering graph convolution network for recommendation［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2020： 639-648.

［29］Wang Xiang， Jin Hongye， Zhang An， et al. Disentangled graph collaborative filtering［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2020： 1001-1010.

［30］Wang Yifan， Tang Suyao， Lei Yuntong， et al. DisenHAN： disentangled heterogeneous graph attention network for recommendation［C］// Proc of the 29th ACM International Conference on Information amp; Knowledge Management. New York： ACM Press， 2020： 1605-1614.

［31］Xia Lianghao， Huang Chao， Xu Yong， et al. Knowledge-enhanced hierarchical graph transformer network for multi-behavior recommendation［C］// Proc of the 21st AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 4486-4493.

［32］Yang Haoran， Chen Hongxu， Li Lin， et al. Hyper meta-path contrastive learning for multi-behavior recommendation［C］// Proc of the 21st IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2021： 787-796.

［33］Topping J， Di Giovanni F， Chamberlain B P， et al. Understanding over-squashing and bottlenecks on graphs via curvature［EB/OL］. （2022-11-12）. https：//arxiv.org/abs/2111.14522.

［34］Cho E， Myers S A， Leskovec J. Friendship and mobility： user movement in location-based social networks［C］// Proc of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2011： 1082-1090.

［35］Yang Dingqi， Zhang Daqing， Zheng V W， et al. Modeling user acti-vity preference by leveraging user spatial temporal characteristics in LBSNs［J］. IEEE Trans on Systems， Man， and Cybernetics： Systems， 2014， 45（1）： 129-142.

［36］Feng Jie， Li Yong， Zhang Chao， et al. DeepMove： predicting human mobility with attentional recurrent networks［C］// Proc of the 9th World Wide Web Conference. New York： ACM Press， 2018： 1459-1468.

［37］Sun Ke， Qian Tieyun， Chen Tong， et al. Where to go next： modeling long-and short-term user preferences for point-of-interest recommendation［C］// Proc of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 214-221.

［38］Liu Peng， Guo Yange， Liang Yuan， et al. TADSAM： a time-aware dynamic self-attention model for next point-of-interest recommendation［C］// Proc of the 1st International Workshop on Practical Deep Learning in the Wild. Palo Alto， CA： AAAI Press， 2022.