李盼，解慶，李琳，劉永堅

（1.武漢理工大學(xué) 計算機與人工智能學(xué)院，武漢 430070；2.武漢理工大學(xué) 重慶研究院，重慶 401135）

0 概述

在信息爆炸時代，推薦系統(tǒng)被廣泛應(yīng)用于各個領(lǐng)域，幫助用戶從海量信息中發(fā)現(xiàn)可能感興趣的內(nèi)容。傳統(tǒng)推薦以靜態(tài)的方式對用戶行為進行建模，只能捕獲用戶的靜態(tài)偏好。然而在現(xiàn)實世界中，用戶的偏好隨時間動態(tài)變化，用戶與項目的交互存在一定的序列關(guān)聯(lián)。因此，序列推薦將用戶和項目的交互視為一個動態(tài)序列，并將序列相關(guān)性考慮在內(nèi)，以捕獲用戶最近的偏好，能夠獲得更準(zhǔn)確的推薦［1］。

早期的序列推薦，采用頻繁模式挖掘或者馬爾可夫鏈法。近年來，深度學(xué)習(xí)在圖像處理、自然語言處理、語音識別等領(lǐng)域取得了突破性進展，已經(jīng)成為人工智能的一個熱潮，為推薦系統(tǒng)的研究帶來了新的機遇［2］。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）具有序列建模的天然優(yōu)勢，因此在序列推薦中經(jīng)常使用RNN的兩種變體，即長短期記憶（Long Short Term Memory，LSTM）網(wǎng)絡(luò)和門控循環(huán)單元（Gate Recurrent Unit，GRU）。文獻［3］將GRU 應(yīng)用于基于會話的推薦，該模型將用戶點擊序列依次輸入GRU 模型中，預(yù)測下一個點擊的項目。文獻［4］利用數(shù)據(jù)增強和一種解決輸入數(shù)據(jù)分布變化的方法，進一步改進了基于RNN 的模型。

在序列推薦中，用戶的短期偏好和長期偏好都非常重要，而現(xiàn)有方法通常忽略了一個事實，即用戶的長期偏好會隨著時間的推移而不斷發(fā)展變化，將用戶長期偏好建模為靜態(tài)表征，可能無法充分反映動態(tài)特征，因此通常將RNN 結(jié)合注意力機制來更準(zhǔn)確地描述長期序列偏好。文獻［5］提出一種改進的神經(jīng)編碼器-解碼器體系結(jié)構(gòu)，通過將注意力機制整合到RNN中，同時捕獲用戶在當(dāng)前會話中的序列行為和主要目的。

基于RNN 的序列推薦模型有兩方面的缺點。一方面，由于過分假設(shè)序列中的任何相鄰交互都相關(guān)，因此很容易產(chǎn)生假依賴關(guān)系，因為現(xiàn)實世界中的序列通常存在不相關(guān)或嘈雜的交互。另一方面，RNN 模型只能捕獲點級依賴關(guān)系，而忽略集體依賴關(guān)系，比如一些項目共同影響下一個動作。文獻［6］提出基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的序列推薦模型Caser，按時間和潛在維度將最近的動作建模為“圖像”，并使用卷積濾波器學(xué)習(xí)序列模式，采用水平和垂直卷積來捕獲點級、集體序列模式和跳過某些嘈雜項目的序列模式。文獻［7］對Caser 進行改進，提出的模型網(wǎng)絡(luò)體系結(jié)構(gòu)由一堆空洞卷積層組成，可以有效地在不依賴池化操作的情況下增加感受場，并使用殘差網(wǎng)絡(luò)通過殘差塊包裝卷積層。但由于濾波器尺寸的限制，基于CNN 的序列推薦不能有效捕獲長期依賴關(guān)系，這限制了基于卷積神經(jīng)網(wǎng)絡(luò)的序列推薦的研究進展。

推薦算法的一大挑戰(zhàn)是從用戶/項目的交互中學(xué)習(xí)有效的用戶/項目嵌入表示，由于用戶/項目交互信息本質(zhì)上具有圖結(jié)構(gòu)，而近年來，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）在表示學(xué)習(xí)中的優(yōu)勢引起了人們的廣泛興趣，因此在推薦系統(tǒng)中利用圖神經(jīng)網(wǎng)絡(luò)的方法正在蓬勃發(fā)展。GNN 可以捕獲項目的復(fù)雜轉(zhuǎn)換，而以前的常規(guī)序列方法很難揭示這些轉(zhuǎn)換。文獻［8］提出SR-GNN 模型，為每個會話序列構(gòu)造有向會話圖，在2 個連續(xù)點擊的項目之間存在有向邊，并在序列圖上通過GNN 方法捕獲序列知識。文獻［9］提出GC-SAN 模型，采用與SR-GNN 相同的圖構(gòu)造和信息傳播策略，并且使用自注意力機制生成會話表示，該會話表示可以捕獲序列中項目之間的更多交互。文獻［10］考慮用戶的重復(fù)交互行為，除利用會話序列圖的有向結(jié)構(gòu)信息外，同時利用其無向結(jié)構(gòu)信息，并引入注意力機制，以達到更準(zhǔn)確的推薦目的。

基于GNN 的序列推薦雖然在一定程度上提高了推薦的準(zhǔn)確性，但該模型僅關(guān)注項目的序列相關(guān)性，項目序列偏好由交互順序?qū)W習(xí)得到，并沒有關(guān)注項目本身內(nèi)容，也沒有挖掘項目之間更深層的語義關(guān)系。其次，大部分模型在捕獲序列偏好時，僅關(guān)注項目信息，忽略了用戶的影響力。將用戶信息整合到序列模型中，有利于進行個性化推薦。

基于上述分析，本文提出一種知識增強的圖神經(jīng)網(wǎng)絡(luò)序列推薦模型KGGNN。將知識圖譜引入到序列推薦模型，通過將知識圖譜和用戶交互數(shù)據(jù)整合成協(xié)同知識圖譜，從中學(xué)習(xí)得到項目輔助信息和用戶輔助信息。使用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到交互結(jié)構(gòu)的序列相關(guān)性，利用項目輔助信息進行內(nèi)容相關(guān)性的補充，并通過用戶輔助信息表示用戶影響力，實現(xiàn)個性化推薦。

1 相關(guān)工作

1.1 圖神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)可以對不同事物（如用戶、項目、交互）之間的綜合關(guān)系進行捕獲和序列建模，因此在過去幾年中，深度神經(jīng)網(wǎng)絡(luò)幾乎成為序列推薦領(lǐng)域的主流研究方法。

隨著深度學(xué)習(xí)的發(fā)展，研究人員從循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、自動編碼器等得到啟發(fā)，設(shè)計了能處理圖數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即GNN 網(wǎng)絡(luò)。GNN利用節(jié)點之間的消息傳遞機制來捕獲圖結(jié)構(gòu)的依賴關(guān)系，其核心是如何迭代地聚合來自鄰居節(jié)點的特征信息，以及將當(dāng)前節(jié)點表示與其鄰域信息進行集成。

近年來，研究人員提出了許多基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)。將圖神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于推薦系統(tǒng)主要有以下原因：推薦系統(tǒng)的大部分?jǐn)?shù)據(jù)本質(zhì)上具有圖結(jié)構(gòu)；GNN 網(wǎng)絡(luò)在捕獲節(jié)點之間的連接和圖形數(shù)據(jù)表示學(xué)習(xí)方面非常強大。從圖結(jié)構(gòu)的角度看，如果用戶點擊或購買某些項目，可看作用戶和項目之間存在一種關(guān)系，將用戶和項目均視作節(jié)點，交互關(guān)系視為邊，則用戶和項目的交互可以表示為用戶-項目二部圖。對于序列推薦，同樣將項目視為節(jié)點，項目按照時間順序連接，每個項目與其后續(xù)一個項目產(chǎn)生一條有向邊，便可將一系列項目轉(zhuǎn)換為序列圖，序列圖可為項目間的關(guān)聯(lián)性提供更大的靈活性。

在各種GNN 框架中，圖注意力網(wǎng)絡(luò)（Graph Attention Network，GAT）、圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）、門控圖神經(jīng)網(wǎng)絡(luò)（Gated Graph Neural Network，GGNN）等被廣泛采用［11］。其中，GAT 將注意力機制應(yīng)用于圖結(jié)構(gòu)，在聚合特征信息時，使用注意力機制確定節(jié)點鄰域信息的權(quán)重；GCN 將卷積運算從圖像領(lǐng)域推廣到圖數(shù)據(jù)，可以分為兩大類，基于譜的方法和基于空間的方法，這兩種方法常用于靜態(tài)推薦。文獻［12］開發(fā)了一種圖卷積網(wǎng)絡(luò)算法PinSage，該算法結(jié)合了高效的隨機游動和圖卷積，以生成結(jié)合圖結(jié)構(gòu)和節(jié)點特征信息的節(jié)點嵌入，可擴展到具有大規(guī)模的推薦任務(wù)。文獻［13］對圖卷積網(wǎng)絡(luò)進行了簡化，僅包含GCN 中最重要的組件，即鄰域聚合，用于協(xié)同過濾，使其更適合推薦。GGNN 將循環(huán)神經(jīng)網(wǎng)絡(luò)推廣到圖結(jié)構(gòu)，使用鄰接矩陣存儲圖節(jié)點之間的連接信息，利用GRU 機制確定來自鄰居的哪些信息需要傳播以及哪些節(jié)點信息需要維護，主要用于序列推薦領(lǐng)域。除SR-GNN 模型與GC-SAN 模型采用GGNN外，文獻［14］也利用GGNN 提出目標(biāo)注意力圖神經(jīng)網(wǎng)絡(luò)（Target Attentive Graph Neural Network，TAGNN）模型，TAGNN 針對不同目標(biāo)項目的目標(biāo)感知注意力可以激活不同的用戶興趣。

在序列推薦中使用圖神經(jīng)網(wǎng)絡(luò)，需要解決以下主要問題：

1）圖的構(gòu)造，需要將序列數(shù)據(jù)轉(zhuǎn)換為序列圖；2）信息傳播，需要設(shè)計一種有效的傳播機制來捕獲轉(zhuǎn)換模式；

3）序列偏好學(xué)習(xí)，需要對序列表示進行集成。

大部分基于圖神經(jīng)網(wǎng)絡(luò)的序列模型都集中于從序列本身推斷用戶偏好，建模時僅關(guān)注項目彼此間的交互順序，忽略項目內(nèi)容含義以及項目間更深層的語義相關(guān)性，即僅關(guān)注結(jié)構(gòu)相關(guān)性，而忽略內(nèi)容相關(guān)性。其次，以往大部分模型僅利用項目序列建模，將項目序列學(xué)習(xí)得到的序列偏好隱式作為用戶表征，缺乏對用戶信息的有效利用。

1.2 知識圖譜與推薦系統(tǒng)

知識圖譜（Knowledge Graph，KG）是一個有向圖，它的每一個節(jié)點代表一個實體，節(jié)點與節(jié)點之間的邊表示實體之間的關(guān)系。KG 可以視為三元組（h，r，t）的集合，其含義是頭實體h和尾實體t間存在關(guān)系r，其中h∈E，r∈R，t∈E，E和R分別是實體和關(guān)系的集合。

知識圖譜富含豐富的信息，可為推薦系統(tǒng)提供潛在的輔助信息，因此，將知識圖譜引入到推薦系統(tǒng)獲得越來越多的關(guān)注。通過知識圖譜表示學(xué)習(xí)，不僅可以快速計算兩個實體間的語義相似性［15］，發(fā)現(xiàn)項目之間的深層聯(lián)系，而且有助于理解用戶的興趣，提供可解釋性。

將KG 集成到推薦中大致可以分為兩類：基于嵌入的方法和基于路徑的方法［16］?；谇度氲姆椒ú捎弥R圖譜嵌入（Knowledge Graph Embedding，KGE）技術(shù)，如TransE 和TransR等，在保持原始圖結(jié)構(gòu)或語義信息的同時，為每個實體和關(guān)系學(xué)習(xí)得到一個低維向量?；诼窂降姆椒?，引入了稱為元路徑的連接模式，元路徑被定義為實體類型的序列，利用用戶和項目的連接相似性來增強推薦。

知識圖譜本身是一種自然的圖結(jié)構(gòu)，因此圖神經(jīng)網(wǎng)絡(luò)的一些技術(shù)也能應(yīng)用到知識圖譜上，比如GCN、GAT等。文獻［17］提出用于推薦系統(tǒng)的知識圖譜卷積網(wǎng)絡(luò)KGCN，利用用戶特定的關(guān)系感知圖神經(jīng)網(wǎng)絡(luò)以匯總鄰域中的實體信息，它均勻采樣每個實體固定大小的鄰居，并作為其接收域，鄰居根據(jù)連接關(guān)系和特定用戶的分?jǐn)?shù)進行加權(quán)。文獻［18］將用戶節(jié)點視為知識圖譜中的一種實體，并將用戶與項目之間的交互視為一種關(guān)系，與知識圖譜集成為一個圖，采用GAT 機制充分利用實體之間的關(guān)系，通過遞歸傳播其鄰居的嵌入來學(xué)習(xí)每個節(jié)點的嵌入，用戶偏好的表示也通過交互項目進行迭代更新。

知識圖譜也能夠應(yīng)用于序列推薦領(lǐng)域。文獻［19］提出一種基于知識圖譜的新的項目嵌入方法，獲得項目的新表示，并設(shè)計2 個LSTM 網(wǎng)絡(luò)分別學(xué)習(xí)用戶的長短期偏好。文獻［20］將交互記錄轉(zhuǎn)換為知識轉(zhuǎn)移交互序列，基于特定的關(guān)系注意力網(wǎng)絡(luò)進一步遞歸地聚合知識圖中的信息，并引入知識感知的GRU，自動探索項目之間的序列和語義相關(guān)性。文獻［21］在知識圖譜注意力網(wǎng)絡(luò)的基礎(chǔ)上，通過KGAT 學(xué)習(xí)得到包含豐富輔助語義信息的項目嵌入，并將其按序列順序輸入RNN網(wǎng)絡(luò)中，以捕獲動態(tài)的用戶序列偏好。

2 本文模型框架

2.1 公式化描述

在介紹本文模型之前，首先詳細介紹涉及的一些基本概念和符號。

令U={u1，u2，…，u|U|} 表示一組用戶 ，I={i1，i2，…，i|I|}表示一組項目，其中|U|和|I|分別表示用戶數(shù)和項目數(shù)。將交互數(shù)據(jù)構(gòu)建為用戶-項目二部圖G1={(u，pu，i，i)|u∈U，i∈I}，p表示交互關(guān)系，如果用戶u和項目i進行了交互，則pu，i=1，否則pu，i=0。

將KG 的三元組集合記為G2={(h，r，t)|h，t∈E，r∈R}，其中E是實體ε的集合，R是關(guān)系r的集合，每個三元組表示頭實體h與尾實體t 之間存在關(guān)系r。

基于項目實體對齊集，將用戶-項目二部圖G1和知識圖譜G2合成一個統(tǒng)一的協(xié)同知識圖譜（Collaborative Knowledge Graph，CKG）：G={(h，r，t)|h，t∈E′，r∈R′}，其中E′=E∪U，R′=R∪{p}。

對于一個用戶u，按時間戳排列交互項目，將交互序列Su=[i1，i2，…，i|Su|]作為輸入，預(yù)測用戶交互的下一個項目i|Su|+1。

2.2 總體框架

本文模型KGGNN 的框架如圖1 所示，將用戶的交互數(shù)據(jù)與知識圖譜集成為一個統(tǒng)一的協(xié)同知識圖譜，通過圖注意力網(wǎng)絡(luò)學(xué)習(xí)得到用戶和項目的向量表示，以利用知識圖譜不同實體之間的深層語義相關(guān)性和高階依賴性。對于每個用戶，基于其交互序列，構(gòu)建序列有向圖，在兩個連續(xù)點擊的項目之間存在有向邊，然后通過門控圖神經(jīng)網(wǎng)絡(luò)獲得序列中節(jié)點的向量表示，并利用從協(xié)同知識圖譜中獲得的用戶輔助信息進行補充。通過注意力機制組合節(jié)點向量，將其作為全局序列偏好，然后融合本序列的當(dāng)前興趣表示以及用戶向量表示，形成統(tǒng)一序列偏好表示。最后，利用項目輔助信息，令模型預(yù)測每個項目成為下一個點擊項目的概率。

圖1 本文模型的總體框架Fig.1 Overall framework of model in this paper

2.3 協(xié)同知識圖譜傳播

通過在協(xié)同知識圖譜上挖掘節(jié)點之間的關(guān)聯(lián)屬性來捕獲節(jié)點之間的相關(guān)性。具體包括以下步驟：

1）在嵌入層上將節(jié)點參數(shù)化為向量表示；

2）信息傳播，即在圖結(jié)構(gòu)上進行高階傳播；

3）輔助信息生成，即生成用戶信息和項目信息表示。

2.3.1 嵌入層

選用TransR 方法學(xué)習(xí)實體和關(guān)系的嵌入。不同于TransE、TransH 將實體和關(guān)系映射到同一個語義空間，TransR 在不同的實體空間和關(guān)系空間內(nèi)構(gòu)建實體和關(guān)系嵌入［22］。

存在三元組（h，r，t），將頭實體h和尾實體t分別映射到關(guān)系空間，得到hr與tr，在兩個投影間構(gòu)建轉(zhuǎn)移關(guān)系，要求滿足條件hr+r≈tr。eh，et∈Rd，er∈Rm，分別表示h，t，r的嵌入向量。因此，對于給定的一個三元組（h，r，t），表達式如式（1）所示：

其中：Wr∈Rm×d是d維實體空間到m維關(guān)系空間的映射矩陣。如果（h，r，t）是真實三元組的可能性越大，f（h，r，t）分?jǐn)?shù)就越低，反之越高。

使用損失函數(shù)估量模型的預(yù)測值與真實值的不一致程度，其定義如式（2）所示：

其中：τ={(h，r，t，t′)|(h，r，t)∈G，(h，r，t′)?G}；σ(·) 是Sigmoid函數(shù)。

2.3.2 信息傳播

信息傳播機制決定了如何聚合鄰居節(jié)點信息來更新當(dāng)前節(jié)點，遞歸進行此步驟，可以捕獲圖結(jié)構(gòu)的高階連通性。采用圖注意力網(wǎng)絡(luò)捕獲用戶與項目關(guān)系和項目與項目關(guān)系。圖注意力網(wǎng)絡(luò)在基于空間域的圖神經(jīng)網(wǎng)絡(luò)中引入注意力機制，每個節(jié)點僅需關(guān)心與之相連的鄰居節(jié)點，無需關(guān)心整張圖，鄰居節(jié)點的信息權(quán)重由注意力機制決定。

對于一個實體h，其相連的三元組集合可定義為Nh={(h，r，t)|(h，r，t)∈G}，Nh可表示為式（3）所示：

其中：π(h，r，t)表示鄰居節(jié)點t在邊（h，r，t）上傳播的衰減因子，表示從實體t到實體h由關(guān)系r傳播的信息量。通過關(guān)系注意力機制實現(xiàn)π(h，r，t)，如式（4）和式（5）所示：

其中；tanh 是激活函數(shù)。式（5）是對實體h與其每個相鄰實體之間相關(guān)得分的歸一化，用來表征鄰居的重要性。

對實體表示eh和其鄰域表示eNh進行合并，作為下一層實體h的新表示：

其中：LeakyRelu 是激活函 數(shù)；W1，W2∈Rd(1)×d是可訓(xùn)練的權(quán)重矩陣；⊙表示元素對應(yīng)相乘。

以上是進行一次傳播時實體的一階表示。進行多次傳播探索高階連接信息，收集從高跳鄰居傳播的信息。第l次傳播后，實體h的l階表示定義如下：

2.3.3 輔助信息生成

在經(jīng)過l次傳播操作后，獲得節(jié)點的多階表示，對于用戶節(jié)點有，對于項目節(jié)點有。

對于每個節(jié)點，采用聚合機制將多階表示連接為一個向量，如式（9）所示：

其中：||是級聯(lián)運算；∈Rd′，d′=d(0)+d(1)+...+d(l)。使用一個全連接層，其表達式如式（10）所示：

其中：Ws∈Rd′×ds；bs∈Rds，ds是序列建模時的維度。

通過多次嵌入傳播，將用戶-項目關(guān)系以及項目-項目關(guān)系注入到表示學(xué)習(xí)過程中，獲得一個新的實體嵌入集，從而獲得用戶和項目的新表示，即用戶輔助信息向量和項目輔助信息向量。

2.4 序列建模

門控圖神經(jīng)網(wǎng)絡(luò)是基于門控循環(huán)神經(jīng)網(wǎng)絡(luò)的空間域信息傳播模型，天然適合挖掘單元之間的復(fù)雜過渡。采用類似GRU 的更新，合并來自其他相鄰節(jié)點以及前一個時間步的自身節(jié)點信息，以更新當(dāng)前時間步節(jié)點的向量表示。

對于每條交互序列，將其轉(zhuǎn)換為有向圖，在兩個連續(xù)點擊的項目之間存在有向邊。假設(shè)存在如圖2（a）所示的序列i1→i2→i3→i2→i4，則可以表示為圖2（b）的序列圖。該圖的連接信息可存儲為由出度鄰接矩陣Aout和入度鄰接矩陣Ain組成的鄰接矩陣A，如圖2（c）所示。由于序列中可能出現(xiàn)多個重復(fù)點擊的項目，因此需要給每條邊的權(quán)值進行權(quán)重分配。

圖2 有向圖及鄰接矩陣Fig.2 Directed graph and adjacency matrix

vk表示通過門控圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的關(guān)于項目ik的隱含向量。在門控圖神經(jīng)網(wǎng)絡(luò)［23-24］的節(jié)點更新基礎(chǔ)上進行改進，利用從協(xié)同知識圖譜獲得其對應(yīng)的用戶輔助信息向量，從而加入個性化信息。對于序列圖中的節(jié)點ik，節(jié)點向量的更新表達式如式（11）～式（17）所示：

2.5 序列向量表示生成及模型預(yù)測

對于節(jié)點序列[i1，i2，…，in]，用最后訪問的項目表示當(dāng)前興趣，即sl=vn。

用戶的長期偏好由注意力網(wǎng)絡(luò)計算圖中每個節(jié)點向量的權(quán)重得到，如式（18）和式（19）所示：

其中：參數(shù)q∈Rds；W3，W4∈Rds×ds。

通過當(dāng)前興趣和長期興趣向量的級聯(lián)，并加入用戶信息向量，得到最終序列偏好表示，如式（20）所示：

其中：W5∈Rds×3ds，將向量映射為ds維向量。

計算每個候選項目ik的推薦評分，評分函數(shù)定義為式（21）所示：

其中：是通過協(xié)同知識圖譜傳播得到項目ik的輔助信息向量。

使用Softmax 函數(shù)獲得輸出向量，如式（22）所示：

對于任何用戶行為，損失函數(shù)定義為預(yù)測值與真實值的交叉熵，如式（23）所示：

其中：yk是序列中下一個點擊項目真實值的one-hot向量。

模型總體的損失函數(shù)定義如式（24）所示：

其中：等式右邊最后一項是L2 正則化，作用是防止過擬合；θ是所有可訓(xùn)練參數(shù)的集合。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

為驗證模型有效性，在Amazon-Book、Last-FM和Yelp2018 數(shù)據(jù)集上進行了大量對比實驗。Amazon-Book 是推薦算法中常用的一個圖書數(shù)據(jù)集。Last-FM 是在線音樂系統(tǒng)收集的音樂收聽數(shù)據(jù)集，選取從2015 年1 月—2015 年6 月的子集進行實驗。Yelp2018 是 Yelp 挑戰(zhàn)賽的2018 年版本，將諸如餐館、酒吧等企業(yè)視為交互的項目。為確保數(shù)據(jù)集的質(zhì)量，每個數(shù)據(jù)集只保留至少具有10 個交互行為的用戶和項目。

除用戶-項目交互數(shù)據(jù)外，還需為每個數(shù)據(jù)集構(gòu)建關(guān)于項目的知識圖譜。本文使用的KG 由文獻［18］在GitHub 上發(fā)布。對于Amazon-Book 和Last-FM，如果映射可用，則通過標(biāo)題匹配將項目映射到Freebase 實體中。與僅考慮項目單跳鄰居實體的知識圖譜數(shù)據(jù)集不同，本文數(shù)據(jù)集還考慮了涉及項目兩跳鄰居實體的三元組。對于Yelp2018 數(shù)據(jù)集，從本地業(yè)務(wù)信息網(wǎng)絡(luò)中提取商品相關(guān)內(nèi)容（例如類別、位置和屬性）作為知識圖譜數(shù)據(jù)。為了保證KG 質(zhì)量，對KG 進行預(yù)處理，過濾不常見的實體（即數(shù)據(jù)集中出現(xiàn)次數(shù)少于10 次的實體），并保留至少出現(xiàn)在50 個三元組中的關(guān)系。

數(shù)據(jù)集和知識圖譜的統(tǒng)計數(shù)據(jù)如表1 所示。對于每個數(shù)據(jù)集，將處理后的數(shù)據(jù)集的80%視為訓(xùn)練集，將剩余的視為測試集。從訓(xùn)練集中隨機選擇10%的交互數(shù)據(jù)作為驗證集來調(diào)整超參數(shù)。

表1 數(shù)據(jù)集信息 Table 1 Information of datasets

3.2 實驗設(shè)置

3.2.1 評估指標(biāo)

評估指標(biāo)采用HIT@K和NDCG@K。HIT@K表示真實值位于前K個項目中的概率，對于每個用戶序列，只預(yù)測下一個點擊的項目時，HIT@K就相當(dāng)于Recall@K。NDCG@K是歸一化折損累計增益，是一個與位置相關(guān)的指標(biāo)，度量了推薦項目的排名高低，值越大表示項目位于推薦列表的頂部，表明相應(yīng)推薦系統(tǒng)的性能更好。

將K值分別設(shè)為1、5、10，查看模型效果。在K=1的情況下，HIT@1 與NDCG@1 值相等。

3.2.2 基線模型

選擇以下模型與本文模型KGGNN 進行對比。

1）GRU4Rec［2］：使用基于RNN 的模型在會話推薦中建模用戶交互序列，并利用會話并行小批量訓(xùn)練和基于排名的損失函數(shù)進行改進。

2）NARM［5］：將注意力機制整合到RNN中，能夠同時捕獲用戶在當(dāng)前會話中的順序行為和主要目的。

3）SASRec［25］：基于自注意力機制，在每個時間步中，模型從用戶的歷史交互記錄中找出相關(guān)項目，并自適應(yīng)地將權(quán)重分配給先前項目，使用它們預(yù)測下一個項目。

4）SR-GNN［8］：利用門控圖神經(jīng)網(wǎng)絡(luò)捕獲會話推薦中項目的復(fù)雜過渡關(guān)系。

5）KGSR［21］：通過知識圖譜學(xué)習(xí)得到包含豐富輔助語義信息的項目嵌入，并使用RNN 捕獲動態(tài)的用戶序列偏好。

對于長度為n的交互序列，從最后一個項目開始，依次將其作為預(yù)測結(jié)果，先前項目作為輸入序列，最后得到n-1 個訓(xùn)練樣本［8］。由于在評估過程中對所有項目進行排序太耗時，因此遵循通用策略［25-26］，對于每個輸入序列，隨機選取100 個不在交互序列的項目，與預(yù)測結(jié)果的真實值構(gòu)成101 個項目集合，并計算得分，查看真實值在這101 個項目的排名情況。

3.2.3 參數(shù)設(shè)置

網(wǎng)絡(luò)模型由2 個部分組成。第1 部分是從協(xié)同知識圖譜中學(xué)習(xí)用戶和項目的潛在向量表示，將圖注意力網(wǎng)絡(luò)的深度設(shè)置為3，其隱藏維度大小分別設(shè)置 為64、32、16，應(yīng)用dropout技術(shù)，丟包率設(shè)置為0.1。第2 部分是序列偏好的學(xué)習(xí)，采用門控圖神經(jīng)網(wǎng)絡(luò)，隱藏維度大小設(shè)置為100。采用Xavier 初始值初始化模型參數(shù)，采用Adam 優(yōu)化器對參數(shù)進行優(yōu)化。初始學(xué)習(xí)率為0.001，每3 個epoch 后衰減為原來的0.1倍，L2 正則化系數(shù)設(shè)置為1×10-5。

3.3 結(jié)果對比

將模型與基線模型進行對比，當(dāng)序列最大長度為20時，HIT@K和NDCG@K的結(jié)果如表2 所示，表中加粗?jǐn)?shù)字表示該組數(shù)據(jù)最大值。

表2 不同模型的實驗結(jié)果對比 Table 2 Comparison of experimental results of different models

由表2 可以看出：

1）GRU4Rec 模型采用RNN 進行序列建模，而NARM 模型在RNN 的基礎(chǔ)上融合了注意力機制，指標(biāo)值有一定提升。SASRec 模型的指標(biāo)值說明通過自注意力機制自適應(yīng)地給項目分配權(quán)重也能提升模型性能。SR-GNN 的指標(biāo)優(yōu)于GRU4Rec 等模型，說明利用圖神經(jīng)網(wǎng)絡(luò)可以更容易捕獲項目之間的復(fù)雜轉(zhuǎn)換。

2）KGSR、KGGNN 是在序列建模的過程中融合了知識信息，相對于GRU4Rec、NARM、SASRec、SR-GNN 模型僅使用諸如循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機制或圖神經(jīng)網(wǎng)絡(luò)，融合知識信息的模型表現(xiàn)較優(yōu)，說明了引入知識圖譜的有效性。通過知識圖譜，可以更好地挖掘項目之間的深層相關(guān)性，捕獲更細粒度的用戶偏好。

3）與KGSR 模型相比，KGGNN 模型的表現(xiàn)較優(yōu)。當(dāng)評估指標(biāo)K值為10時，KGGNN 模型的HIT@10 指標(biāo)在3 個數(shù)據(jù)集上分別提升12.9%、4.5%、6.9%，NDCG@10 指標(biāo)在3 個數(shù)據(jù)集上分別提升29.4%、5.7%、16.7%。KGSR 模型通過知識圖譜獲得項目輔助信息，改進基于循環(huán)神經(jīng)網(wǎng)絡(luò)的序列模型，KGGNN 模型不僅使用項目輔助信息進行增強，同時在圖神經(jīng)網(wǎng)絡(luò)序列建模的過程中融合用戶輔助信息，使效果也得到了有效提高，這側(cè)面反映了融合用戶向量的必要性。除用戶向量的因素外，KGSR 在使用RNN 進行序列建模時，采用直接將項目輔助信息充當(dāng)RNN 網(wǎng)絡(luò)模型的輸入向量的方式，在一定程度上將內(nèi)容相關(guān)性與序列相關(guān)性進行了糅雜，可能導(dǎo)致提升效果不明顯。

4）在本文3 個數(shù)據(jù)集上，當(dāng)K=1、5、10時，KGGNN模型的評估指標(biāo)均獲得了較好的表現(xiàn)結(jié)果，這說明了本文模型的有效性。當(dāng)K值較小時，模型提升性能最大，側(cè)面說明在給出推薦結(jié)果時，推薦列表越短，本文模型命中正確目標(biāo)項目的概率越優(yōu)于其余基線模型。通過將交互序列建模成有向的圖結(jié)構(gòu)，能有效捕獲項目的復(fù)雜轉(zhuǎn)換，得到序列相關(guān)性，這是結(jié)構(gòu)上的相關(guān)性。引入知識圖譜，挖掘項目之間的深層聯(lián)系，這是內(nèi)容上的相關(guān)性。結(jié)合這兩方面并融合用戶輔助信息，能有效提高序列推薦的準(zhǔn)確度。

5）通過對比不同模型在Amazon-Book、Last-FM、Yelp2018 這3 個數(shù)據(jù)集上的結(jié)果可以發(fā)現(xiàn)，與KGSR 模型相比，KGGNN 模型的指標(biāo)HIT@K與NDCG@K在Amazon-Book 數(shù)據(jù)集上提升的幅度大于其他2 個數(shù)據(jù)集，而在Last-FM 數(shù)據(jù)集上提升的幅度最小，這是數(shù)據(jù)集本身的原因。Amazon-Book 是圖書數(shù)據(jù)集，Yelp2018 是商戶點評類數(shù)據(jù)集，Last-FM 是音樂數(shù)據(jù)集，在表1 的數(shù)據(jù)集統(tǒng)計數(shù)據(jù)中，Amazon-Book 數(shù)據(jù)集的交互數(shù)量以及平均序列均遠小于其余2 個數(shù)據(jù)集，其序列性較差。對于Last-FM等序列性較強的數(shù)據(jù)集，通過序列模型已經(jīng)能有效得到項目之間的序列相關(guān)性，此時引入知識圖譜得到輔助信息，提升模型效果有限。而對于Amazon-Book 等本身序列性較差的數(shù)據(jù)集，引入知識圖譜后，可以通過知識圖譜實體之間的關(guān)系探索項目之間的潛在表達性，擴展推薦結(jié)果的靈活性，增強序列推薦的評估指標(biāo)。所以，本文模型對序列性不強的領(lǐng)域，提升效果更加明顯。

3.4 模型分析與討論

3.4.1 項目向量融合方法

為更大程度地融合從協(xié)同知識圖譜中學(xué)習(xí)得到的帶有輔助信息的項目向量，提出以下3 種項目向量融合方法：

1）KGGNN-i1。將輔助項目向量直接作為圖神經(jīng)網(wǎng)絡(luò)的初始向量vk，即在式（11）和式（12）中用向量替代vk。

2）KGGNN-i2。在每次節(jié)點更新時，即在式（11）和式（12）中，融合鄰接節(jié)點對應(yīng)的輔助項目向量。

3）KGGNN-i3。計算得分時使用知識圖譜中得到的輔助信息，即式（21）。

不同項目向量融合方法在數(shù)據(jù)集上的表現(xiàn)如圖3 所示。從圖3 可以看出第3 種方法KGGNN-i3的效果最好。前兩種方法在序列建模的過程中融入內(nèi)容相關(guān)性，在某種程度上可能會干擾結(jié)構(gòu)相關(guān)性的學(xué)習(xí)，所以兩種方法幾乎表現(xiàn)一致。第3 種方法在計算得分的時候利用內(nèi)容相關(guān)性，此時結(jié)構(gòu)上的序列偏好已經(jīng)學(xué)習(xí)完成，因此呈現(xiàn)了比前兩種方法提升明顯的效果。所以本文模型采用第3 種方法，即計算評分時，用輔助項目向量作為節(jié)點表示，與序列偏好表示做內(nèi)積。

圖3 不同項目向量融合方法在不同數(shù)據(jù)集上的表現(xiàn)Fig.3 Performance of different item vector fusion methods under different datasets

3.4.2 用戶信息對序列建模的影響

為驗證用戶信息對序列建模的作用以及用戶信息融合方法的有效性，將模型與以下4 種變體模型比較：

1）KGGNN-u0，不使用用戶信息。

2）KGGNN-u1，在每次節(jié)點更新時（即式（11）和式（12））融合用戶項目向量。

3）KGGNN-u2，形成序列偏好時，除考慮當(dāng)前興趣和長期興趣向量外，還融合用戶信息，即式（20）。

4）KGGNN-u3，綜合第2 種和第3 種模型。

用戶信息實質(zhì)上是從協(xié)同知識圖譜傳播得到的用戶向量，通過圖結(jié)構(gòu)u-i-u的連接，涵蓋了某種程度的基于用戶的協(xié)同過濾，因此用戶向量攜帶的是有效信息。其次，不同的用戶具有不同的行為模式，擁有不同的行為序列以及不同的項目轉(zhuǎn)換信息，考慮用戶因素，體現(xiàn)了序列推薦的個性化。

不同模型在數(shù)據(jù)集上的結(jié)果對比如圖4 所示。從圖4 中可以看出，KGGNN-u0 模型的效果最差，說明用戶信息的缺少會影響模型性能。KGGNN-u1 模型是在節(jié)點更新時使用用戶信息進行指導(dǎo)，KGGNN-u2 模型是在形成用戶偏好時融合用戶信息，這兩種方式均不同程度地提高了模型性能。

圖4 不同模型在不同數(shù)據(jù)集上的結(jié)果對比Fig.4 Comparison of results of different models under different datasets

綜合兩種模型的KGGNN-u3 在Amazon-Book、Yelp2018 數(shù)據(jù)集上的效果與KGGNN-u2 模型幾乎無區(qū)別，在序列性較強的Last-FM 數(shù)據(jù)集上，其效果略微有所提升。為充分利用用戶信息，本文模型采用KGGNN-u3，從而在序列性較強或較弱的數(shù)據(jù)集上均達到較佳性能。

3.4.3 門控圖神經(jīng)網(wǎng)絡(luò)層數(shù)對模型性能的影響

GGNN的層數(shù)也會對模型性能產(chǎn)生影響。將GGNN層數(shù)分別設(shè)置為1、2、3，在Amazon-Book數(shù)據(jù)集上進行實驗，結(jié)果如圖5 所示，其中HIT@1=NDCG@1。可以看到，隨著GGNN層數(shù)的增加，模型性能幾乎沒有提升，說明1 層GGNN 已能夠有效捕獲序列相關(guān)性。

圖5 門控圖神經(jīng)網(wǎng)絡(luò)層數(shù)對模型性能的影響Fig.5 Influence of gated graph neural network layers on model performance

3.4.4 不同序列長度對推薦結(jié)果的影響

序列長度也會影響推薦結(jié)果，序列長度越短，能體現(xiàn)的信息較少，導(dǎo)致推薦準(zhǔn)確性下降。序列長度越長，能提取的有效信息越多，但時間間隔久的某些項目，可能已經(jīng)對序列沒有影響性。例如用戶從此不再喜愛這項物品，或者這件物品不是消耗性物品，在很長一段時間內(nèi)不再需要。分別在序列性較弱的Amazon-Book 數(shù)據(jù)集和序列性較強的Last-FM 數(shù)據(jù)集上進行實驗。由表1 可知，Amazon-Book 和Last-FM 數(shù)據(jù)集的平均序列長度分別為9.23 與54.70。因此，在Amazon-Book 數(shù)據(jù)集上，限制輸入序列長度為4、6、8、10、12 分別進行實驗，結(jié)果如圖6 所示，其中HIT@1=NDCG@1。對于Last-FM 數(shù)據(jù)集，限制輸入序列長度為10、20、30、40、50 分別進行實驗，結(jié)果如圖7 所示。

圖6 Amazon-Book 數(shù)據(jù)集上序列長度對推薦結(jié)果的影響Fig.6 Impact of sequence length on recommendation result under Amazon-Book dataset

圖7 Last-FM 數(shù)據(jù)集上序列長度對推薦結(jié)果的影響Fig.7 Impact of sequence length on recommendation result under Last-FM dataset

由圖6 和圖7 可以發(fā)現(xiàn)，在Amazon-Book 數(shù)據(jù)集上，當(dāng)限制輸入序列長度為6時，效果相對較好。在Last-FM 數(shù)據(jù)集上，當(dāng)限制輸入序列長度為40時，效果相對較好。兩個數(shù)據(jù)集上的實驗結(jié)果都呈現(xiàn)了一樣的規(guī)律：隨著輸入序列長度的增加，效果逐漸上升。這說明適當(dāng)增加輸入序列長度可以有效提升效果，但當(dāng)序列長度到達一定后，增加序列長度也不會帶來加成，這是因為太久遠的歷史記錄對于用戶當(dāng)前進行的選擇將不會產(chǎn)生影響，反而可能給模型帶來干擾。針對不同序列性強弱的數(shù)據(jù)集，選擇合適的輸入序列長度，能夠有效提高模型性能。

4 結(jié)束語

本文提出一種知識增強的圖神經(jīng)網(wǎng)絡(luò)序列推薦模型KGGNN。協(xié)同知識圖譜中通過知識傳播學(xué)習(xí)得到攜帶深層語義信息的項目向量和有關(guān)用戶向量，并將其融入到門控圖神經(jīng)網(wǎng)絡(luò)中進行序列偏好學(xué)習(xí)，以彌補項目信息的不足，捕捉項目信息之間更復(fù)雜的轉(zhuǎn)換關(guān)系。實驗結(jié)果表明，本文模型KGGNN 具有一定的合理性和有效性。下一步將考慮交互項目之間的時間間隔，研究時間因素對當(dāng)前推薦性能的影響，以更準(zhǔn)確地對用戶最近偏好進行建模。