摘 要：在知識感知推薦領(lǐng)域，基于嵌入傳播的方式可以挖掘知識圖譜的結(jié)構(gòu)化信息，也能夠獲取n跳實體間的語義信息，但隨著傳播范圍的增加，嵌入傳播方式會丟失部分結(jié)構(gòu)化信息，且以這種方式所獲得的用戶向量表示是粗粒度的，不能充分表征用戶的偏好。針對以上問題，提出了一種融合知識感知和時間感知的用戶偏好網(wǎng)絡(luò)（FKTUPN）。首先在嵌入層生成知識圖譜的一階嵌入向量，同時單獨為用戶偏好進(jìn)行細(xì)粒度的建模；然后用隨機(jī)游走的方式劃分時間槽，進(jìn)行時間上下文編碼，獲取圖結(jié)構(gòu)的上下文信息，并將該結(jié)構(gòu)化信息嵌入到關(guān)系向量中；隨后通過知識感知注意力機(jī)制區(qū)分嵌入表示的貢獻(xiàn)并遞歸傳播；最終在預(yù)測層中聚合不同傳播層次的用戶和項目表示，將兩種表示相乘后得到推薦結(jié)果。實驗表明，該模型在Amazon-book、Last-FM以及Yelp三個數(shù)據(jù)集上的recall@20、NDCG@20指標(biāo)得分均高于對比的基線模型，細(xì)粒度的用戶偏好表示以及結(jié)構(gòu)化信息的充分利用能夠有效提高推薦的準(zhǔn)確度。

關(guān)鍵詞：推薦系統(tǒng)； 知識圖譜； 時間上下文編碼； 注意力機(jī)制

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2023）03-026-0805-05

doi： 10.19734/j.issn.1001-3695.2022.08.0375

User preference network of fusing knowledge-aware and time-aware

Wu Yubin， Qi Yunsong

（Institute of Computer Science， Jiangsu University of Science amp; Technology， Zhenjiang Jiangsu 212003， China）

Abstract：In the field of knowledge-aware recommendation， embedding propagation methods can mine the structured information of the knowledge graph and also can obtained the semantic information between n-hop entities. However， with the increase of the spread， the embedding propagation method will lose part of the structure information， the user representation obtained in this way is coarse-grained and cannot adequately characterize the user’s preferences. Aiming at these problems， this paper proposed an user preference network of fusing knowledge-aware and time-aware（FKTUPN）. Firstly， FKTUPN generated the first-order embedding of the knowledge graph in the embedding-layer， and separately modeled the fine-grained user prefe-rence. Then it divided the time slot by random walk and performed temporal context encoding to get contextual information of KG. Subsequently， the contribution of the representation was distinguished and propagated through the knowledge-aware attention mechanism. Finally，it aggregated users and items of different propagation levels in the prediction layer，and obtained the recommendation result after multiplying these two representations. Experiments show that result on three datasets： Amazon-book， Last-FM and Yelp is superior to the baseline model in terms of recall@20 and NDCG@20， fine-grained user preference representation and full utilization of structured information can effectively improve the accuracy of recommendations.

Key words：recommendation system; knowledge graph（KG）; temporal context encoding; attention mechanism

0 引言

推薦系統(tǒng)的誕生旨在解決信 息爆炸時代的數(shù)據(jù)過載問題，推薦系統(tǒng)指根據(jù)用戶的交互行為，為用戶推薦可能感興趣的內(nèi)容。傳統(tǒng)的協(xié)同過濾推薦算法出現(xiàn)新用戶或者新項目時無法作出推薦，會產(chǎn)生冷啟動問題，且互聯(lián)網(wǎng)系統(tǒng)中用戶的數(shù)量遠(yuǎn)少于項目的數(shù)量，會產(chǎn)生數(shù)據(jù)稀疏問題，這些問題嚴(yán)重影響推薦系統(tǒng)的性能［1］。為解決上述問題，研究人員在推薦系統(tǒng)中引入知識圖譜（KG）［2］，KG中豐富的實體和關(guān)系信息可以補(bǔ)充用戶和物品之間的關(guān)系建模。知識圖譜還能描述不同項目的共性（如不同的音樂由同一個歌手演唱），以及用來解釋用戶的偏好（如音樂的類型）。知識圖譜在提高推薦的準(zhǔn)確性和可解釋性方面表現(xiàn)出巨大的潛力。

近年來涌現(xiàn)出許多基于知識圖譜的推薦系統(tǒng)，主要劃分為基于嵌入的推薦、基于路徑的推薦和基于嵌入傳播的推薦三個類型。其中，CKE［3］算法為基于嵌入的算法，它通過嵌入方法生成KG三元組嵌入，并將它們視為先驗或內(nèi)容信息以補(bǔ)充項目表示，但該算法忽略了知識圖譜中信息的連通性，無法利用實體間多的多跳關(guān)系。KPRN［4］為基于路徑的方法，它將KG看做異構(gòu)信息網(wǎng)絡(luò)，豐富用戶到項目的多跳路徑交互，以更好地表征用戶—項目關(guān)系。但基于路徑的方法難以獲得高質(zhì)量的路徑，受到諸如勞動密集型特征工程、手動設(shè)計元路徑等各種問題的困擾。基于嵌入傳播的推薦克服前兩者的缺陷，能夠挖掘高階語義，例如KGAT［5］算法通過圖注意力網(wǎng)絡(luò)學(xué)習(xí)傳播過程中鄰居的權(quán)值以探索不同高階連通性的重要性。但目前基于嵌入傳播方法［5～8］仍存在兩個問題：

a）解釋用戶偏好的粒度太粗。本文認(rèn)為用戶選擇項目是基于更細(xì)粒度的偏好驅(qū)動的，是兩種及以上的關(guān)系共同作用的結(jié)果，其中更重要的關(guān)系被分配更大的權(quán)重。例如，音樂推薦領(lǐng)域，用戶偏好可以由演唱者和作詞者構(gòu)成，如用戶張三喜歡聽《青花瓷》更多是因為他喜歡“周杰倫”和“方文山”這一組合，且他喜歡“周杰倫”的比重占得更大，而他并不太關(guān)注編曲是誰以及音樂的類型是什么。因此，本文使用關(guān)系的權(quán)重組合來表示用戶細(xì)粒度的偏好。

b）上述的嵌入傳播方法雖然通過Trans系列算法得到的一階嵌入含有部分結(jié)構(gòu)信息，但隨著傳播跳數(shù)的增加，會流失大量的結(jié)構(gòu)信息。同時，上述算法太重視傳播過程，通過注意力機(jī)制或是衰減因子區(qū)分鄰居節(jié)點影響，而忽略了它們來自哪些路徑。因此應(yīng)該為圖結(jié)構(gòu)上下文進(jìn)行建模，保留圖結(jié)構(gòu)的上下文信息和來源信息。針對這兩個問題，本文提出一種融合知識感知和時間感知的用戶偏好網(wǎng)絡(luò)，具體貢獻(xiàn)有如下三點：（a）為用戶細(xì)粒度的偏好建模，使用戶偏好更具解釋性。（b）進(jìn)行時間上下文編碼，在嵌入傳播的過程中最大程度地保留圖結(jié)構(gòu)的上下文信息以及位置信息；（c）文中提出的基于嵌入傳播方法的FKTUPN算法在Last-FM、Yelp和Amazon-book三個數(shù)據(jù)集上的top-k任務(wù)有較好的表現(xiàn)。

1 相關(guān)工作

1.1 用戶偏好建模

用戶偏好是用戶選擇物品或項目的理由，傳統(tǒng)的推薦算法例如協(xié)同過濾算法中的用戶偏好可以解釋為相似度，包括用戶相似度和商品相似度，即為相似用戶推薦他選擇過的物品以及為用戶推薦相似的物品，相似度作為用戶偏好并不能很好地解釋用戶先擇項目的主觀意圖，同時因為沒有引入知識圖譜，存在冷啟動和數(shù)據(jù)稀疏問題。目前的知識感知推薦通過引入知識圖譜解決了冷啟動和數(shù)據(jù)稀疏問題的同時，用戶偏好的表示也發(fā)生了改變，通過基于嵌入方法、基于路徑方法和基于嵌入傳播的方式挖掘用戶的潛在偏好是粗粒度的，并不能較好地表示用戶選擇意圖。針對用戶偏好建模粒度過粗的問題，Wang等人［8］提出用戶意圖網(wǎng)絡(luò)（knowledge graph intent network，KGIN），將用戶偏好表示為細(xì)粒度的用戶意圖，為用戶偏好提供了更好的解釋，同時提升了推薦的精確度，成為了新的SOTA模型，但該模型與大多數(shù)基于嵌入傳播方式的算法一樣，存在結(jié)構(gòu)化信息丟失的問題。本文FKTUPN模型受KGIN模型啟發(fā)，在采用細(xì)粒度用戶偏好建模的同時對嵌入傳播的過程重新建模，獲得用戶偏好，能充分挖掘并利用結(jié)構(gòu)化信息。

1.2 知識圖譜及其嵌入學(xué)習(xí)

KG是由（頭實體，關(guān)系，尾實體）組成的三元組結(jié)構(gòu)［2］。KG中蘊涵豐富的結(jié)構(gòu)化知識和語義信息，如何獲取和利用結(jié)構(gòu)化知識和語義信息為知識感知推薦主題，可以將獲取方法分為傳統(tǒng)嵌入的方法與基于圖神經(jīng)網(wǎng)絡(luò)的方法兩類。傳統(tǒng)嵌入的方法通過評分函數(shù)學(xué)習(xí)知識圖譜中實體和關(guān)系表示，常見的方法如TransE［9］、 TransR［10］、TransH［11］以及TransG［12］，通過這些方法可以獲取到實體的一階嵌入表示，再通過嵌入傳播可以進(jìn)一步獲得實體的高階語義。圖神經(jīng)網(wǎng)絡(luò)方法主要是通過圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）［13］和圖注意力網(wǎng)絡(luò)（graph attention network，AT）［14］獲取知識圖譜實體之間的語義信息。上述兩種方法雖然能充分挖掘知識圖譜的語義信息，但是不能充分利用知識圖譜的結(jié)構(gòu)化信息。針對這一現(xiàn)象，目前的解決方法是單獨對知識圖譜的上下文建模，例如Xia等人［15］提出的知識增強(qiáng)層次圖變換器網(wǎng)絡(luò)（knowledge-enhanced hierarchical graph transformer network，KHGT），通過層級注意力獲取多行為的高階關(guān)系，同時通過上下文時間編碼嵌入知識圖的結(jié)構(gòu)信息，在用戶多行為推薦領(lǐng)域取得最優(yōu)表現(xiàn)。本文FKTUPN算法將上下文時間編碼應(yīng)用到單一交互領(lǐng)域，同時進(jìn)行相關(guān)的改進(jìn)，以解決上述問題。

2 方法

本章介紹融合知識感知和時間感知的用戶偏好網(wǎng)絡(luò)（user preference network of fusing knowledge-aware and time-aware，F(xiàn)KTUPN）。首先介紹知識感知推薦問題的定義，接著對模型整體的框架進(jìn)行介紹，同時介紹模型各個層次中的重要模塊，包括推薦任務(wù)的上游用戶偏好定義模塊和嵌入傳播中的上下文時間感知模塊。

2.1 問題定義

在推薦系統(tǒng)中，針對用戶的隱式交互行為，用戶集合U、項目集合I，存在的交互行為可以用集合C表示，（u，i）可以解釋為用戶u與項目i存在交互，（u，i）可以表示為三元組融合到KG中，作為協(xié)同知識圖。設(shè)E是一組真實世界的實體，R是關(guān)系集，它涉及正向和逆向的關(guān)系（如演唱和被演唱）。令G={（h，r，t）|h，t∈E，r∈R}是三元組的集合，其中（h，r，t）表示從頭部實體h到尾實體t存在關(guān)系r。通過項目和知識圖譜實體之間的映射（I∈V），KG能夠?qū)椖啃畔⑦M(jìn)行概括，并為交互數(shù)據(jù)提供補(bǔ)充信息。

給定交互數(shù)據(jù)C和知識圖譜G，學(xué)習(xí)預(yù)測函數(shù)yui可以求得指定用戶u采用項目i的概率ui。

2.2 模型概述

融合知識感知和時間感知的用戶偏好網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，總體框架包括嵌入層、傳播層以及預(yù)測層三個內(nèi)容。不同于傳統(tǒng)的基于嵌入傳播方法，F(xiàn)KTUPN在嵌入層對用戶偏好進(jìn)行細(xì)粒度的建模，捕捉用戶受多種行為影響的用戶偏好。傳播層基于此粒度進(jìn)行嵌入傳播，傳播的形式與絕大多數(shù)嵌入傳播方法一致，采用注意力機(jī)制來學(xué)習(xí)每個鄰居節(jié)點的權(quán)重，同時為捕獲更多的圖結(jié)構(gòu)信息，傳播過程中額外嵌入?yún)f(xié)同知識圖（collaborative knowledge graph，CKG）［5］的時間上下文，如此能夠得到同時具有豐富語義以及結(jié)構(gòu)化信息的向量表示，最終在預(yù)測層得到更加貼合用戶意圖的推薦結(jié)果。

2.3 嵌入層

嵌入層除了通過TransR嵌入算法生成實體和關(guān)系的初始嵌入以外，還對用戶偏好嵌入進(jìn)行單獨的建模，用戶偏好可以解釋為用戶選擇物品的原因，受用戶多種行為影響，是多種行為和關(guān)系的不同組合，反映了所有用戶行為的共性。

相似偏好的用戶會對項目表現(xiàn)出相似的興趣，用戶偏好是協(xié)同知識圖中關(guān)系的組合，以歌曲為例：用戶喜歡一首歌的偏好可以是演唱關(guān)系和作詞關(guān)系的不同權(quán)重組合，也可以是演唱和音樂類型關(guān)系的權(quán)重組合，因此，認(rèn)為偏好向量由不同的關(guān)系向量加權(quán)組合而成，偏好嵌入的計算如式（1）所示。

其中：ep為用戶偏好粒度的嵌入，是注意力機(jī)制分配的不同權(quán)重關(guān)系嵌入的加權(quán)和;πrp是注意力系數(shù)，可以由式（2）得到。

其中：wrp為關(guān)系r和偏好p的可訓(xùn)練權(quán)重參數(shù)。

為更好地解釋用戶偏好，偏好與偏好之間不可以相互推斷，每一個偏好都是獨立的存在。相關(guān)系數(shù)越大，向量之間的相關(guān)性就越強(qiáng)，為獲得相關(guān)性較小的偏好向量表示，采用式（3）的損失函數(shù)單獨訓(xùn)練。

其中：p （ep，ep′）是偏好p和p′的皮爾森相關(guān)系數(shù)［16］，反映嵌入之間的相似性，計算方法如式（4）所示。

上述算法的目標(biāo)是降低用戶偏好向量的相關(guān)性，盡可能使偏好向量有不同的表征以及明顯的邊界，以便下游實驗中使用偏好向量表示用戶嵌入時，能夠更加精準(zhǔn)地表明用戶的選擇意圖，以及提高后續(xù)推薦的精度。

2.4 傳播層

知識感知推薦中，基于路徑方式可以通過路徑保留大部分的結(jié)構(gòu)化信息，基于嵌入傳播方法雖通過嵌入的方式初始化結(jié)構(gòu)化信息，但隨著嵌入傳播層數(shù)的增加，有關(guān)結(jié)構(gòu)化的信息會流失，最終導(dǎo)致推薦結(jié)果不佳。在自然語言處理任務(wù)中，句子中單詞在不同的位置會產(chǎn)生不同的語義，例如“老師給學(xué)生上課”中調(diào)換“老師”與“學(xué)生”的位置，可以完全改變句子的語義。類似地，認(rèn)為圖結(jié)構(gòu)中傳播的方向以及順序同樣可以影響最終的推薦結(jié)果。因此，為捕獲CKG中目標(biāo)節(jié)點的上下文信息，使用類似Transformer［17］中的位置編碼（position embedding），對CKG進(jìn)行時間上下文建模。不同于KHGT中只為知識圖譜劃分時間槽之后給節(jié)點分配時間戳，這項操作可能會丟失大部分的結(jié)構(gòu)依賴關(guān)系，本文采用更加靈活的方式。首先，根據(jù)隨機(jī)游走（random walk）［18］的方式劃分時間槽，為訪問到的節(jié)點分配初始時間戳，為了保留結(jié)構(gòu)依賴關(guān)系，在CKG中選取一個源節(jié)點s和一個目標(biāo)節(jié)點t分別對應(yīng)的時間戳為τ（s）和τ（t），將它們相減作為對應(yīng)關(guān)系的時間戳Δτ（s，t）=τ（s）-τ（t）。這樣就能利用Δτ（s，t）和正余弦函數(shù)轉(zhuǎn)換為對應(yīng)的上下文時間編碼如式（5）所示，通過上下文時間編碼能夠充分挖掘CKG的結(jié)構(gòu)化信息。

其中：d為潛向量的維度；2k、2k+1分別表示偶數(shù)位和奇數(shù)位的時間嵌入上標(biāo)。最后將時間編碼信息嵌入關(guān)系向量表示中，在傳播過程中盡可能地保留更多的結(jié)構(gòu)化信息。

一個實體可以由它涉及的鄰居實體以及它們的關(guān)系三元組來表示，通過傳播和聚合可以獲取一個實體節(jié)點的嵌入表示。例如電影《流浪地球》可以由其導(dǎo)演郭帆和明星吳京來描述， 即通過兩個三元組（郭帆，導(dǎo)演，流浪地球）（吳京，主演，流浪地球）來描述，通過遞歸傳播和聚合三元組中多階鄰域節(jié)點的嵌入表示，能夠捕獲知識圖譜豐富的語義知識，獲取實體的最終表示，聚合公式如下：

其中：e（l）i為協(xié)同知識圖中物品i的L階嵌入表示;e（l-1）v是協(xié)同知識圖中實體的L-1階嵌入表示（注意IV）;Ni表示物品i的鄰域;Ni表示鄰域個數(shù);⊙表示向量的點積。用戶嵌入表示由不同注意力得分的偏好嵌入與物品嵌入點乘而來，如下：

其中：e（l）u是用戶u第L階傳播的向量表示；e（l-1）i是項目的第L-1階的向量表示;|Nu|表示u鄰居節(jié)點的數(shù)量;⊙為向量點積;πup為偏好p對用戶u的注意力得分，以區(qū)分偏好對用戶的影響，如式（9）所示。

通過物品嵌入和偏好嵌入基于點乘的消息傳遞，層層遞歸以后用戶嵌入含有豐富的語義知識，使用戶表征充分挖掘協(xié)同知識圖中的內(nèi)容，從而提高推薦結(jié)果的精確度。

2.5 預(yù)測層

在L層之后，本文獲得用戶u和物品i在不同層的表示，然后將它們總結(jié)為最終的表示，如式（10）所示。

其中：+表示向量相加。如此，用戶細(xì)粒度的偏好以及CKG中豐富的結(jié)構(gòu)化信息和語義信息被編碼到最終表示中，最后將用戶編碼和項目編碼作內(nèi)積，預(yù)測用戶是否會采用該商品。

損失函數(shù)采用貝葉斯個性化排序算法（BPR）［19］，數(shù)據(jù)集中存在用戶交互的項目集合為I+，不存在交互的項目集合為I-。

其中：I={（u，i，j）|（u，i）∈I+，（u，j）∈I-}；σ（·）是sigmoid激活函數(shù)。通過結(jié)合偏好構(gòu)建的損失函數(shù)和BPR損失函數(shù)，得到本文算法的損失函數(shù)如下：

其中：Θ={e（0）u，e（0）v，er，ep，w|u∈U，v∈V，p∈P}是模型參數(shù)的集合;λ1是控制偏好構(gòu)建損失（式（3））的超參數(shù);λ2是L2正則化項［20］的超參數(shù)，最終最小化損失函數(shù)從而學(xué)習(xí)模型的參數(shù)。

3 實驗

本章使用三個真實場景下的公開數(shù)據(jù)集評估模型，與主流知識感知推薦模型進(jìn)行對比分析。首先參考其他模型參數(shù)并通過實驗得到最佳的參數(shù)設(shè)置，接著對比本文模型與其他基線模型在top-20任務(wù)下的表現(xiàn)并分析產(chǎn)生差距的原因，最后進(jìn)行消融實驗驗證本文核心模塊的重要性。

3.1 實驗環(huán)境和實驗參數(shù)設(shè)置

本文的實驗環(huán)境為：Windows 10，64位操作系統(tǒng)，PyCharm 2021，Intel CoreTM i7-10700k CPU@2.90 GHz，16 GB內(nèi)存，GPU 2080ti，16 GB內(nèi)存，Python 3.8，深度學(xué)習(xí)框架PyTorch。

FKTUPN模型參數(shù)設(shè)置參考了主流的知識感知傳播推薦模型，并在實驗階段根據(jù)不同數(shù)據(jù)集的特點進(jìn)行針對性的調(diào)整，其中學(xué)習(xí)率lr在{10-4，10-3，10-2}中調(diào)節(jié)，L2正則化項的超參數(shù)λ2在{10-5，10-4，10-3，10-2}中調(diào)節(jié)，迭代傳播的層數(shù)L在{1，3，5}中選擇，嵌入向量維度d在{16，32，64，128}中選擇，用戶偏好的個數(shù)在{2，4，6，8}中選擇。

經(jīng)過實驗得到FKTUPN最優(yōu)參數(shù)設(shè)置如表1所示，包括學(xué)習(xí)率lr、嵌入的維度d、傳播層數(shù)L、用戶偏好的個數(shù)n、獨立建模偏好損失的前置系數(shù)λ1以及L2正則化項的系數(shù)λ2。

3.2 數(shù)據(jù)集

本文選取了KGAT中使用的三個知識圖譜開放數(shù)據(jù)集進(jìn)行實驗，數(shù)據(jù)集的詳細(xì)信息如下：

a）Last-FM［5］數(shù)據(jù)集，包含2 000名用戶通過Last-FM在線音樂系統(tǒng)收聽的信息記錄。用戶對交互的項目進(jìn)行了評分作為正例標(biāo)記為1，反之作為負(fù)例標(biāo)記為0。

b）Amazon-book［5］數(shù)據(jù)集，包含了8 026 324位用戶對2 330 066本書籍大約2 000萬個評分（0～5分），移除小于等于3的評分，大于等于4的作為隱式反饋推薦的正例標(biāo)記為1，小于4的作為負(fù)例標(biāo)記為0。

c）Yelp［5］數(shù)據(jù)集，Yelp是美國最大的點評網(wǎng)站，具有餐飲、購物、酒店等領(lǐng)域百萬條評分記錄，評分為1～5，將評分［3，5］的作為正例，評分［1，3）的作為負(fù)例。

其中，按6∶2∶2的比例隨機(jī)劃分訓(xùn)練集、驗證集和測試集，關(guān)于數(shù)據(jù)集的細(xì)節(jié)描述如表2所示。

3.3 評價指標(biāo)

本文選取了top-k推薦常用的兩個指標(biāo)，分別是召回率recall@k以及歸一化累計折損增益NDCG@k，召回率反映用戶推薦列表中出現(xiàn)測試集中項目的比例，NDCG為當(dāng)前 DCG與理想DCG的比例（理想DCG由全體搜索結(jié)果按相關(guān)性倒序排列，計算得出），兩個指標(biāo)的計算公式如下：

其中：TP（true position）表示正樣本被預(yù)測為正;TN（true negative）表示負(fù)樣本被預(yù)測為負(fù)；FP（1 positive）表示負(fù)樣本被預(yù)測為正；FN（1 negative）表示正樣本被預(yù)測為負(fù)；IDCG（idea discounted cumulative gain）為最理想的排序結(jié)果按照DCG式（14）計算的結(jié)果。

3.4 對比模型及實驗結(jié)果分析

為了證明FKTUPN模型的有效性，本文選取以下知識感知推薦模型進(jìn)行對比：

a）CKE［3］是一個典型的基于嵌入的模型，將CF模塊與項目的結(jié)構(gòu)、文本和視覺知識嵌入結(jié)合在一個統(tǒng)一的貝葉斯框架中，將知識圖嵌入后的向量表示去提高矩陣分解的精確度。

b）KPRN［4］知識感知的路徑循環(huán)網(wǎng)絡(luò)是典型的基于路徑的模型，通過組合實體和關(guān)系的語義來生成路徑表示，學(xué)習(xí)路徑語義并融入推薦中。

c）KGNN-LS［6］是另一種最先進(jìn)的基于嵌入傳播的模型，它將異構(gòu)KG轉(zhuǎn)換為用戶特定的加權(quán)圖，并通過標(biāo)簽平滑正則化計算圖神經(jīng)網(wǎng)絡(luò)中的個性化項目嵌入。

d）KGAT［5］是融合傳統(tǒng)知識圖嵌入和GNN聚合方法的嵌入傳播模型，通過圖注意力的方式傳播節(jié)點的嵌入表征區(qū)分鄰居的重要性，從而達(dá)到更加精確的推薦結(jié)果。

e）CKAN［7］是協(xié)作知識感知注意網(wǎng)絡(luò)模型，使用異質(zhì)傳播策略同時編碼知識屬性關(guān)聯(lián)和用戶—項目的協(xié)同信號。

f）KGIN［8］是對用戶偏好細(xì)粒度建模，通過路徑實現(xiàn)嵌入傳播的知識感知推薦模型。

為保證對比實驗結(jié)果的有效性和真實性，各基線模型的參數(shù)設(shè)置均參考原論文的最佳參數(shù)設(shè)置。

表3為FKTUPN在Amazon-book、Last-FM和Yelp三個數(shù)據(jù)集上top-20任務(wù)與其他基線模型的實驗結(jié)果對比，通過對實驗結(jié)果的分析可以得到以下結(jié)論：

a）基于嵌入傳播方法推薦的效果相比于基于嵌入方法（CKE）和基于路徑方法（KPRN）有所提升。其原因在于基于嵌入傳播方法能充分挖掘知識圖譜的高階連通性，獲取實體間的多跳語義信息，使用戶和項目有更好的嵌入表達(dá)，進(jìn)而提升推薦的精度。

b）KGIN在Amazon-book和Last-FM兩個數(shù)據(jù)集上比其他基于嵌入傳播類型的基線方法有更好的表現(xiàn)，其原因在于KGIN對用戶意圖進(jìn)行細(xì)粒度的建模，同時使用路徑傳播的方式傳播實體的語義表示。但是在Yelp數(shù)據(jù)集上表現(xiàn)不如其他基線模型，可能的原因在于Yelp數(shù)據(jù)集上有豐富的三元組表示，路徑傳播關(guān)注實體與關(guān)系間的路徑推導(dǎo)，在挖掘和利用知識圖譜豐富的語義和結(jié)構(gòu)化信息方面不如其他嵌入傳播方法。同時KGAT在Yelp數(shù)據(jù)集上較其他基線有較好的表現(xiàn)，是因為GNN的傳播方式能較好地挖掘知識圖譜語義信息。

c）本文FKTUPN模型在三個數(shù)據(jù)集上的top-20任務(wù)實驗結(jié)果優(yōu)于大部分基線模型，其中recall@20在Amazon-book和Last-FM數(shù)據(jù)集上相比于最好的基線分別提升了4.61%、6.65%，對于NDCG@20指標(biāo)在三個數(shù)據(jù)集上分別提升了0.44%、1.65%、1.92%。說明同時為用戶偏好進(jìn)行細(xì)粒度的建模以及為協(xié)同知識圖譜進(jìn)行時間上下文建?？梢愿_地學(xué)習(xí)傳播過程用戶偏好的嵌入表示，進(jìn)而達(dá)到更精確的推薦結(jié)果。

3.5 實驗參數(shù)影響分析

為了對比FKTUPN模型在不同傳播層次下的表現(xiàn)，在層次L的取值為{1，3，5}內(nèi)分別對三個數(shù)據(jù)集進(jìn)行實驗，實驗結(jié)果如圖2所示。隨著嵌入傳播的層次增加，推薦精度在各個數(shù)據(jù)集上都有上升的趨勢，說明遞歸傳播各層嵌入可以有效地獲取到節(jié)點周圍n跳鄰居的信息，進(jìn)而豐富用戶表征和項目表征語義信息，有利于最終的推薦。

圖3（a）對比了不同用戶偏好個數(shù)對最終推薦結(jié)果的影響，分別取偏好個數(shù){2，4，6，8}在Last-FM數(shù)據(jù)集上進(jìn)行實驗。實驗結(jié)果顯示，增加用戶偏好潛向量的個數(shù)可以有效提高recall@20以及NDCG@20兩項指標(biāo)，進(jìn)而說明對用戶偏好進(jìn)行細(xì)粒度的建模能夠提升推薦系統(tǒng)的表現(xiàn)。

圖3（b）對比了嵌入維度對最終推薦結(jié)果的影響，分別取維度d為{16，32，64，128}在Last-FM上進(jìn)行實驗。實驗表明，隨著嵌入維度的增加，recall@20和NDCG@20的推薦結(jié)果有所增加，但是維度d增大到128時推薦的精度開始下降，其原因可能是Last-FM是一個較小的數(shù)據(jù)集，加大嵌入的維度會增加知識傳播時的噪聲，進(jìn)而導(dǎo)致推薦結(jié)果精確度下降。

3.6 模型結(jié)構(gòu)分析

為了驗證時間上下文編碼是否對FKTUPN模型有益，進(jìn)行消融實驗，結(jié)果如表4所示。

NTE表示沒有使用時間上下文編碼，TTE表示使用傳統(tǒng)時間上下文編碼。從表4可以看出，使用時間上下文編碼的兩個實驗結(jié)果都遠(yuǎn)高于沒有使用時間上下文編碼實驗結(jié)果，證明時間上下文編碼可以充分挖掘協(xié)同知識圖中的結(jié)構(gòu)，解決基于嵌入傳播推薦模型的傳播過程容易丟失結(jié)構(gòu)信息的問題，使嵌入表示保留大部分時間上下文信息。同時本文提出的時間上下文編碼方法優(yōu)于傳統(tǒng)的編碼方法，說明本文的時間上下文編碼方法更能注意到節(jié)點之間的結(jié)構(gòu)依賴關(guān)系，從而得到更好的推薦結(jié)果。

3.7 模型實例分析

為了更直觀地了解用戶偏好形成的過程，研究選取KG關(guān)系較少的數(shù)據(jù)集Last-FM，較少的關(guān)系更能直觀地觀察到用戶偏好的構(gòu)成，同時設(shè)置偏好數(shù)量為4進(jìn)行案例分析。如圖4所示，用戶嵌入的形成過程可以用樹型結(jié)構(gòu)表示，可以觀察到用戶嵌入由四個不同權(quán)重的用戶偏好組合而成，其中p1所占的比重最大，根據(jù)百分比堆積圖可以得出，i1423偏好的形成依賴于藝術(shù)家（artist）以及作詞家（writer）兩個KG關(guān)系，進(jìn)而分析出用戶u256選擇項目i1423的主要原因為藝術(shù)家和作曲家，根據(jù)該偏好為用戶推薦他所喜歡的歌曲，如周杰倫作為藝術(shù)家，方文山作為作詞家這對組合所發(fā)表的歌曲。從圖4中還可以看出，四個偏好構(gòu)成的主要KG關(guān)系都不相同，說明式（3）可以得到獨立性更強(qiáng)的偏好向量，進(jìn)而更加明確地表達(dá)用戶選擇項目的意圖，具有更好的解釋性。

4 結(jié)束語

由于絕大多數(shù)知識感知算法在傳播知識只是簡單地通過不同的衰減因子和注意力機(jī)制獲取鄰居節(jié)點的嵌入表示，并不清楚當(dāng)前節(jié)點嵌入獲得的消息來自于哪些路徑的鄰居節(jié)點。同時，用戶向量的表征粒度過于粗糙，最終不利于推薦的結(jié)果。本文通過對協(xié)同知識圖進(jìn)行時間上下文編碼以及對用戶偏好進(jìn)行細(xì)粒度的建模提升了推薦的精度，證明結(jié)構(gòu)信息以及細(xì)粒度的表征有利于推薦。但FKTUPN算法與絕大多數(shù)端到端嵌入傳播推薦系統(tǒng)一樣，隨著傳播層數(shù)的增加，推薦系統(tǒng)會變得非常龐大難以訓(xùn)練，在未來的研究中，將進(jìn)一步精進(jìn)算法的復(fù)雜度。

參考文獻(xiàn)：

［1］于蒙，何文濤， 周緒川， 等. 推薦系統(tǒng)綜述［J］. 計算機(jī)應(yīng)用， 2022，42（6）： 1898-1913. （Yu Meng， He Wentao， Zhou Xuchuan， et al. A review of recommendation systems［J］. Journal of Compu-ter Applications， 2022，42（6）： 1898-1913.）

［2］朱冬亮， 文奕， 萬子琛. 基于知識圖譜的推薦系統(tǒng)研究綜述［J］. 數(shù)據(jù)分析與知識發(fā)現(xiàn)， 2021，5（12）： 1-13. （Zhu Dongliang， Wen Yi， Wan Zichen. Summary of research on recommendation system based on knowledge graph［J］. Data Analysis and Knowledge Discovery， 2021，5（12）： 1-13.）

［3］Zhang Fuzheng， Yuan Jing， Lian Defu， et al. Collaborative know-ledge base embedding for recommender systems［C］//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016： 353-362.

［4］Wang Xiang， Wang Dingxian， Xu Canran， et al. Explainable reaso-ning over knowledge graphs for recommendation［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence and 31st Innovative Applications of Artificial Intelligence Conference and 9th AAAI Symposium on Educational Advances in Artificial Intelligence. 2019：5329-5336.

［5］Wang Xiang， He Xiangnan， Cao Yixin， et al. KGAT： knowledge graph attention network for recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2019： 950-958.

［6］Wang Hongwei， Zhang Fuzheng， Zhang Mengdi， et al. Knowled-geaware graph neural networks with label smoothness regularization for recommender systems［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2019： 968-977.

［7］Wang Ze， Lin Guangyan， Tan Huobin， et al. CKAN： collaborative knowledge-aware attentive network for recommender systems［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020： 219-228.

［8］Wang Xiang， Huang Tinglin， Wang Dingxian， et al. Learning intents behind interactions with knowledge graph for recommendation［C］//Proc of the Web Conference. 2021： 878-887.

［9］Lin Yankai， Liu Zhiyuan， Sun Maosong， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proc of the 29th AAAI Conference on Artificial Intelligence. 2015： 2181-2187.

［10］Bordes A， Usunier N， Garcia-Durán A， et al. Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems. 2013： 2787-2795.

［11］Wang Zhen， Zhang Jianwen， Feng Jianlin， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proc of the 28th AAAI Conference on Artificial Intelligence. 2014： 1112-1119.

［12］Xiao Han， Huang Minlie， Zhu Xiaoyan. TransG： a generative mixture model for knowledge graph embedding［C］//Proc of the 54th Annual Meeting of the Association for Computational Linguistics. 2016： 2316-2325.

［13］Zhang Si， Tong Hanghang， Xu Jiejun， et al. Graph convolutional networks： a comprehensive review［J］. Computational Social Networks， 2019， 6（1）： 1-23.

［14］Velicˇkovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks［EB/OL］. （2017-10-30）. https：//arxiv.org/abs/1710.10903.

［15］Xia Lianghao， Huang Chao， Xu Yong， et al. Knowledge-enhanced hie-rarchical graph transformer network for multi-behavior recommendation［C］//Proc of AAAI Conference on Artificial Intelligence. 2021：4486-4493.

［16］劉家鋒. 模式識別［M］. 哈爾濱： 哈爾濱工業(yè)大學(xué)出版社， 2014： 257. （Liu Jiafeng. Pattern recognition［M］ Harbin： Harbin University of Technology Press， 2014： 257.）

［17］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. 2017： 6000-6010.

［18］Nikolentzos G， Vazirgiannis M. Random walk graph neural networks［C］//Proc of the 34th International Conference on Neural Information Processing Systems. 2020： 16211-16222.

［19］Rendle S， Freudenthaler C， Gantner Z， et al. BPR： Bayesian personalized ranking from implicit feedback［C］//Proc of the 25th Conference on Uncertainty in Artificial Intelligence. 2009： 452-461.

［20］Cortes C， Mohri M， Rostamizadeh A. L2 regularization for learning kernels［C］//Proc of the 25th Conference on Uncertainty in Artificial Intelligence. 2009： 109-116.

收稿日期：2022-08-08；修回日期：2022-10-04 基金項目：國家自然科學(xué)基金資助項目（62261029）

作者簡介：吳宇斌（1999-），男（通信作者），福建南平人，碩士，主要研究方向為知識圖譜（211110703107@stu.just.edu.cn）；祁云嵩（1967-），男，江蘇如皋人，教授，碩導(dǎo)，博士，主要研究方向為模式識別理論與應(yīng)用、機(jī)器學(xué)習(xí)、裝備綜合保障等．