蔣雯靜，熊 熙，3*，李中志，李斌勇

（1.成都信息工程大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，成都 610255；2.先進(jìn)密碼技術(shù)與系統(tǒng)安全四川省重點實驗室（成都信息工程大學(xué)），成都 610225；3.四川大學(xué)空天科學(xué)與工程學(xué)院，成都 610065）

0 引言

隨著網(wǎng)絡(luò)應(yīng)用程序的規(guī)模日漸擴(kuò)張，互聯(lián)網(wǎng)平臺上的在線內(nèi)容也呈指數(shù)級增長，由此產(chǎn)生的信息超載問題有效地推進(jìn)了推薦系統(tǒng)的應(yīng)用：電影推薦、產(chǎn)品推薦、新聞推薦等。在大量面向用戶服務(wù)的在線平臺中，信息消費者追求精準(zhǔn)推薦的消費快感，信息生產(chǎn)者則希望推送內(nèi)容能最大限度匹配用戶需求。而推薦系統(tǒng)正是通過充當(dāng)兩者的媒介，一舉兩得解決了問題。在各種推薦策略中，經(jīng)典的協(xié)同過濾（Collaborative Filtering，CF）方法因其良好的性能被廣泛關(guān)注，它基于用戶歷史交互進(jìn)行偏好分析，為指定用戶提供推薦列表或喜好預(yù)測。盡管CF 能獨立于領(lǐng)域知識自動學(xué)習(xí)嵌入向量，但其受限于數(shù)據(jù)稀疏性和冷啟動問題。因此，研究者常結(jié)合輔助信息來優(yōu)化推薦性能。

知識圖譜（Knowledge Graph，KG）是一種新興的知識載體，它將文檔數(shù)據(jù)整合成簡單易懂的三元組形式，并通過節(jié)點之間深層次的語義關(guān)聯(lián)來補償數(shù)據(jù)稀疏性。例如，（王家衛(wèi)，導(dǎo)演，阿飛正傳）表明王家衛(wèi)是《阿飛正傳》的導(dǎo)演。KG作為一種有向異構(gòu)圖，節(jié)點和邊分別對應(yīng)于不同類型的實體和語義關(guān)系。這樣的圖結(jié)構(gòu)意味著KG 具有很強的關(guān)系表示能力和建模靈活性，近年來已經(jīng)被成功應(yīng)用于許多領(lǐng)域，如KG 補全、問答系統(tǒng)等。

基于知識圖譜的推薦系統(tǒng)正是在這一背景下所提出的新研究問題，強調(diào)學(xué)習(xí)物品（用戶）之間的關(guān)聯(lián)性，實現(xiàn)KG輔助優(yōu)化推薦系統(tǒng)。將KG 集成到推薦系統(tǒng)具有以下優(yōu)勢：1）有利于發(fā)現(xiàn)用戶深層次的潛在興趣，進(jìn)而提升推薦結(jié)果的準(zhǔn)確性；2）KG 中豐富的關(guān)系類型有效避免了推薦結(jié)果的單一性；3）用戶和物品之間的連通性為推薦結(jié)果提供了合理的解釋。盡管有以上好處，但將KG 中的高維異構(gòu)信息有效融合到推薦系統(tǒng)具有很大的困難性。一種可取的建模方法是基于知識圖嵌入（Knowledge Graph Embedding，KGE）對KG 中的組件進(jìn)行預(yù)處理，學(xué)習(xí)實體和關(guān)系的低維向量，進(jìn)而直接應(yīng)用于推薦任務(wù)中。但KGE 忽視了圖結(jié)構(gòu)信息且學(xué)習(xí)到的向量不足以描述推薦任務(wù)。另一種更直觀的方法是基于路徑的推薦，直接利用KG 圖結(jié)構(gòu)建模關(guān)聯(lián)路徑表示。由于需要手動設(shè)計元路徑，這類方法很難達(dá)到最優(yōu)。

近年來，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）及其變體在以知識圖譜作為額外信息的推薦任務(wù)中取得了巨大了成功。借鑒于GNN 中信息傳播的思想，這類方法同時從內(nèi)容信息和圖結(jié)構(gòu)兩個方面建模數(shù)據(jù)，有效克服了以往方法的缺陷。因此，目前針對KG 結(jié)合推薦的代表性研究很多沿襲了基于GNN 的技術(shù)路線。然而，引入GNN 同樣面臨以下問題：1）信息傳播過程中指數(shù)級增長的節(jié)點數(shù)量導(dǎo)致了巨大的內(nèi)存和時間成本。為了緩解這種情況，現(xiàn)有的方法通常使用采樣策略在訓(xùn)練時保留節(jié)點鄰居或子圖的子集來減輕計算成本。然而，采樣操作可能在優(yōu)化過程引入誤差。2）深度圖神經(jīng)網(wǎng)絡(luò)架構(gòu)中固有的梯度消失和特征平滑等問題，導(dǎo)致模型訓(xùn)練難度較大。盡管最近一些工作表明能在一定程度上改善這些問題，但廣泛的實驗證明深度往往不會帶來顯著的收益性。平衡模型的深度和效率，使圖神經(jīng)網(wǎng)絡(luò)能處理大規(guī)模的網(wǎng)絡(luò)是現(xiàn)階段的挑戰(zhàn)。

為了緩解上述解決方案的局限性，本文認(rèn)為開發(fā)一個兼具簡單性和表達(dá)性的基于知識圖譜的推薦模型是至關(guān)重要的。為此，本文從GNN 的研究中獲得靈感，無采樣的單個圖卷積層有潛力實現(xiàn)本文的目標(biāo)，但在基于KG 的推薦中還沒有得到足夠的探索。因此，本文提出了一種名為無采樣協(xié)作知識圖網(wǎng)絡(luò)（Non-sampling Collaborative Knowledge graph Network，NCKN）的方法。NCKN 配備了協(xié)作傳播和無采樣知識傳播兩種核心設(shè)計來分別學(xué)習(xí)用戶交互中的協(xié)作信號和知識嵌入。具體來說：1）在協(xié)作傳播模塊中編碼用戶交互中的潛在協(xié)作信號，并將其同KG 中的輔助信息結(jié)合，以獲得更具表達(dá)性的嵌入向量；2）鑒于傳播過程中的采樣誤差問題，設(shè)計了無采樣知識傳播層，它通過在單個卷積層使用不同大小的線性聚合器來捕捉深層次的信息，實現(xiàn)高效的無采樣預(yù)計算。

本文工作的安排如下：

1）提出了一種NCKN 方法，它通過協(xié)作傳播和無采樣知識傳播層，將用戶交互中的協(xié)作信號與KG 中的高階信息相結(jié)合。

2）將NCKN 應(yīng)用于三種現(xiàn)實世界的音樂推薦、書籍推薦、電影推薦場景。

1 相關(guān)工作

1.1 基于知識圖譜的推薦方法

將知識圖譜作為輔助信息集成到推薦系統(tǒng)已被證明有利于緩解數(shù)據(jù)稀疏性和冷啟動問題。一些研究利用KG 中實體的關(guān)聯(lián)性進(jìn)行嵌入學(xué)習(xí)，例如：Zhang 等采用TransE（Translating Embedding）學(xué)習(xí)項目結(jié)構(gòu)信息、內(nèi)容信息的特征嵌入，并將其統(tǒng)一集成到CF 框架中。Wang 等在DKN（Deep Knowledge aware Network）中將實體嵌入和單詞嵌入視為不同的渠道，并通過TransD（Translating embedding via Dynamic mapping matrix）生成新聞嵌入以供推薦。鑒于推薦任務(wù)和KGE 任務(wù)的高度相關(guān)性，Wang 等提出了一種交替學(xué)習(xí)兩種任務(wù)的推薦框架。和基于嵌入的方法直接利用KG 中的內(nèi)容信息不同，另一類研究強調(diào)學(xué)習(xí)KG 中的結(jié)構(gòu)信息，例如：PER（Personalized Entity Recommendation）引入元路徑來定義圖中路徑表示，并利用實體間的連接相似性來提供推薦。Hu 等在FMG（Factorization Machine with Group least absolute shrinkage and selection operator）中建議使用元圖來替代元路徑，以提供更豐富的連接信息。

綜合上述方法，為了充分發(fā)揮KG 的有效性，研究者提出了結(jié)合內(nèi)容信息和結(jié)構(gòu)信息的統(tǒng)一方法。這類方法最早在Wang 等的RippleNet（Ripple Network）中得到探索，其借鑒GraphSAGE（Graph SAmple and aggreGatE）中的消息傳遞模式，首次提出了偏好傳播的概念。具體來說，RippleNet 以用戶的歷史交互節(jié)點作為種子集，在KG 中向外擴(kuò)散并吸收多跳的鄰居信息，最終得到更深層次的用戶潛在興趣。同樣基于傳播的思想，Wang 等提出了一種融合KG 特征與圖卷積網(wǎng)絡(luò)的模型，采用圖卷積網(wǎng)絡(luò)通過KG 中的鄰居獲得項目嵌入，這使得鄰居的信息能夠?qū)е峦扑]任務(wù)完成質(zhì)量的巨大提升。KGAT（Knowledge Graph Attention Network）提出了協(xié)作知識圖，將用戶項二部圖與知識圖結(jié)合在一起，通過GNN 和注意機(jī)制在KG 上遞歸地執(zhí)行傳播來優(yōu)化實體嵌入。Wang 等通過異構(gòu)傳播分別編碼用戶交互和輔助信息。鑒于GNN 在信息傳播和推理上的自身優(yōu)勢，這類方法能更有效地在推薦任務(wù)中引入KG 中的信息。

本文在利用圖卷積來優(yōu)化實體嵌入的基礎(chǔ)之上，提出了無采樣策略，并與用戶交互中的協(xié)作信號相結(jié)合，以提升推薦結(jié)果的準(zhǔn)確性。

1.2 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用

本文的方法在概念上啟發(fā)于圖神經(jīng)網(wǎng)絡(luò)，并將其擴(kuò)展為適用于知識圖譜的無采樣圖模型。圖神經(jīng)網(wǎng)絡(luò)作為當(dāng)下熱門的深度學(xué)習(xí)模型，在處理復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù)時顯示出巨大的優(yōu)勢。在早期的關(guān)于圖神經(jīng)網(wǎng)絡(luò)的研究中，諸如圖卷積網(wǎng)絡(luò)（Graph Convolution Network，GCN）、圖注意網(wǎng)絡(luò)（Graph Attention Network，GAT）等模型在訓(xùn)練時使用全批次梯度下降的方法，圖中數(shù)量龐大的鄰居信息和節(jié)點特征導(dǎo)致了巨大的內(nèi)存成本和計算復(fù)雜度。為了解決傳統(tǒng)方法中可擴(kuò)展性問題，Hamilton 等在GraphSAGE 中首次提出了結(jié)合鄰域采樣和小批次訓(xùn)練的策略。其核心思想是從訓(xùn)練節(jié)點開始，在每一跳隨機(jī)采樣固定數(shù)量的鄰居節(jié)點，持續(xù)

L

跳，并以節(jié)點為中心進(jìn)行小批次訓(xùn)練。然而，GraphSAGE 在隨機(jī)采樣時部分節(jié)點重復(fù)出現(xiàn)，可能會增加冗余計算量。為了解決這個問題，不少后續(xù)模型集中于研究先進(jìn)的采樣策略，如ClusterGCN（Cluster Graph Convolution Network）和RSage（Recurrent Sampling to gather neighbor nodes）。盡管采樣策略有效降低了模型的計算復(fù)雜度，但同時也引入了額外的誤差，這也是本文的模型重點關(guān)注的問題。

2 問題定義

在一個主流的推薦系統(tǒng)中，假設(shè)用戶集合

U

={

u

，

u

，…，

u

}和項目集合

V

={

v

，

v

，…，

v

}。根據(jù)用戶和項目的歷史交互，定義用戶反饋矩陣為

Y

，其中

y

=1 表明用戶與項目間存在反饋行為，如點擊、轉(zhuǎn)發(fā)、評分等，否則為0。但是需要注意，

y

為0 并不完全意味著用戶對該項目不感興趣。此外，給定項目知識圖譜

G

={(

h

，

r

，

t

)|

h

，

t

∈

K

，

r

∈

R

}，其中每個三元組表示實體

h

和實體

t

間存在關(guān)系

r

，

K

和

R

分別對應(yīng)于實體和關(guān)系集合。例如，三元組（劉亦菲，演員，花木蘭）陳述了劉亦菲是電影《花木蘭》的演員的事實。在實際推薦場景中，項目

V

可能與

G

中的一個或多個實體存在映射關(guān)系。例如，圖書《傲慢與偏見》與KG 中的一個實體同名，而標(biāo)題為“劉亦菲出席花木蘭首映禮”的新聞則于“劉亦菲”和“花木蘭”多個實體有關(guān)。使用

A

={(

v

，

e

)|

v

∈

V

，

e

∈

K

} 來表示存在映射關(guān)系的集合，其中（

v

，

e

）表明項目

v

可以與知識圖中的實體

e

對齊。

3 本文方法

3.1 整體框架

本節(jié)詳細(xì)介紹了所提出的NCKN 模型的架構(gòu)，如圖1 所示，模型分為四個模塊：1）嵌入層：通過知識圖嵌入方法學(xué)習(xí)KG 中實體和關(guān)系的嵌入向量；2）無采樣知識傳播層：在KG傳播過程不進(jìn)行選擇性采樣，利用單個圖卷積層預(yù)聚合全部的鄰居信息，更新節(jié)點特征；3）協(xié)作傳播層：將用戶交互中的關(guān)鍵協(xié)作信號編碼為用戶和項目的初始偏好，并同KG 中的輔助信息相結(jié)合；4）預(yù)測層：依據(jù)最終的用戶和項目向量，輸出預(yù)測結(jié)果。

圖1 NCKN模型框架Fig.1 Model framework of NCKN

3.2 嵌入層

在保持原有圖結(jié)構(gòu)的前提下，利用知識圖嵌入方法將KG 中的實體和關(guān)系轉(zhuǎn)換為低維的向量表示。在該模塊，本文使用了具有良好表現(xiàn)的TransR方法。具體來說，對于每個三元組（

h

，

r

，

t

），考慮到同一關(guān)系對應(yīng)的實體具有不同層面的信息，它將實體和關(guān)系分別建模到兩個不同空間。其可信度評分函數(shù)如式（1）所示：

其中：

e、e

、

e

分別是

h

、

r

、

t

的嵌入向量表示；

W

為關(guān)系

r

的轉(zhuǎn)換矩陣。

g

（

h

，

r

，

t

）的值越低意味著三元組的可信度越高；反之，三元組的可信度越低。

損失函數(shù)如式（2）所示：

其中：（

h

，

r

，

t

′）為對真實三元組（

h

，

r

，

t

）進(jìn)行隨機(jī)替換生成的負(fù)樣本；

σ

（·）為Sigmoid 函數(shù)。

3.3 無采樣知識傳播層

接下來，本文基于圖卷積網(wǎng)絡(luò)的架構(gòu)，將不同大小且固定的線性聚合器結(jié)合在單個卷積層，便于進(jìn)行高效的無采樣預(yù)計算。此外，考慮到實體之間連通性的重要性不同，在傳播過程中引入了注意力機(jī)制。

請注意，不同于堆疊多個卷積層的深度圖神經(jīng)網(wǎng)絡(luò)，本文的方法僅通過單個卷積層進(jìn)行預(yù)計算。盡管只使用了淺層的網(wǎng)絡(luò)，NCKN 通過設(shè)計更有效的傳播矩陣且考慮所有鄰居信息，實現(xiàn)了和深層網(wǎng)絡(luò)相當(dāng)?shù)男阅?。具體來說，該層由三個組件組成：注意力、信息傳播、鄰居聚合。

3.3.1 注意力

通過關(guān)系注意力機(jī)制實現(xiàn)

π

（

h

，

r

，

t

），如式（3）所示。tanh 是非線性激活函數(shù)，注意力分?jǐn)?shù)由關(guān)系空間中

e

和

e

的距離決定。

此后，通過Softmax 激活函數(shù)，對整個三元組的系數(shù)進(jìn)行歸一化處理，如式（4）所示，其中

N

為以實體

h

為頭節(jié)點的三元組集合。

值得注意的是，為了不破壞圖聚合操作時高效的預(yù)計算，本文方法僅通過訓(xùn)練圖的一個小子集來預(yù)先確定注意力參數(shù)，然后固定它們計算出訓(xùn)練中所使用的傳播矩陣。對于注意力模塊的進(jìn)一步改進(jìn)將作為未來需探索的工作。

3.3.2 信息傳播

KG 中的實體和鄰居之間有著不同程度的關(guān)聯(lián)性，為了有效擴(kuò)展用戶和項目的潛在偏好，本文在傳播過程中考慮節(jié)點的高階鄰居信息。如式（5）所示，根據(jù)固定的注意力參數(shù)，計算出初始傳播矩陣。

通過對傳播矩陣進(jìn)行冪運算

B

，圖操作有效地獲取

n

跳以內(nèi)的鄰域信息。為了權(quán)衡實體鄰接信息的完整度與計算鄰接矩陣所需時間，設(shè)置

n

最大值為3。

3.3.3 鄰域聚合

如式（6）所示，通過在單個卷積層使用不同大小的線性聚合器來捕捉深層次的信息，實現(xiàn)高效的無采樣預(yù)計算。例如，在線性聚合器

CX

中（

X

為節(jié)點特征矩陣），設(shè)置不同冪級數(shù)的傳播矩陣（

C

=

B

，

C

=

B

，…，

C

=

B

），并將其連接。這個思想類似于卷積神經(jīng)網(wǎng)絡(luò)中的初始模塊（在同一卷積層結(jié)合不同大小的卷積核）。由于

CX

可以預(yù)計算，該方法考慮傳播過程中的所有鄰居信息而不進(jìn)行選擇性采樣。

3.4 協(xié)作傳播層

與傳統(tǒng)推薦算法中使用獨立的潛在向量不同，本文在協(xié)作傳播層中同時獲取用戶和項目的初始偏好，以便于同知識嵌入結(jié)合得到用戶和項目的擴(kuò)展偏好。

直觀來說，用戶的歷史交互項目能一定程度上表示該用戶的偏好。通過將用戶歷史交互中的相關(guān)項目集與KG 中的實體對齊，轉(zhuǎn)換為在KG 中計算的特征集。用戶的特征集定義為：

對用戶的特征集歸一化：

類似地，和同一個項目交互過的用戶集合，其相似的行為偏好也能描述項目的潛在表示。本文首先獲取和這些用戶集合存在交互的其他項目，并定義

V

為項目

v

的協(xié)作項目集，表示形式如式（9）所示：

將協(xié)作項目集和KG 中的實體對齊后，得到項目

v

的特征集為：

對項目的初始集歸一化并加上項目自身對齊實體的特征：

3.5 預(yù)測層

損失函數(shù)

Loss

計算如式（13）所示。其中

P

為正樣本，

P

為負(fù)樣本。

4 實驗與結(jié)果分析

本章將針對音樂、書籍和電影三個真實數(shù)據(jù)集來評估模型性能，探討以下研究問題：

1）與已有的基于知識圖譜的推薦算法相比，本文提出的模型表現(xiàn)如何？

2）模型中的關(guān)鍵組件和參數(shù)設(shè)置如何影響推薦結(jié)果？

4.1 數(shù)據(jù)集

本文使用以下三種真實數(shù)據(jù)集評估模型性能：Last.FM（Music）、Book-Crossing（Book）、MovieLens-20M（Movie），表1給出了相關(guān)統(tǒng)計信息。三個數(shù)據(jù)集均允許公開訪問，且規(guī)模和稀疏性有所不同。

表1 實驗數(shù)據(jù)集統(tǒng)計信息Tab 1 Statistical information on experimental datasets

1）Last.FM：由Last.FM 在線音樂系統(tǒng)提供的用戶聽歌行為和項目知識。

2）Book-Crossing：從圖書社區(qū)統(tǒng)計的讀者評分?jǐn)?shù)據(jù)（0 到10 不等）。

3）MovieLens-20M：是一個被廣泛使用在電影推薦領(lǐng)域的測試數(shù)據(jù)集，文件中包含了在電影網(wǎng)站上的反饋信息，即用戶對每部電影的明確評分（從1 到5 不等）。

鑒于隱式反饋能提供更豐富的交互內(nèi)容，有利于緩解冷啟動問題，本文首先在數(shù)據(jù)預(yù)處理部分將顯式反饋轉(zhuǎn)換為隱式反饋。其中1 表示用戶正面評分的樣本，而0 為從未交互集合中隨機(jī)采樣的負(fù)樣本。Last.FM 和Book-Crossing 的交互數(shù)據(jù)稀疏，故未設(shè)閾值，MovieLens-20M 正面評分閾值設(shè)置為4。

除了對用戶和項目的交互數(shù)據(jù)進(jìn)行預(yù)處理，本文在MicrosoftSatori 中生成每個數(shù)據(jù)集的項目知識圖譜。具體來說，首先從整個KG 中提取置信度高于0.9 的三元組作為子KG。對于確定的子KG，通過匹配頭節(jié)點和尾節(jié)點的名字來收集全部有效的實體id。最后，將項目id映射到KG中的實體中，并在子KG 中匹配對應(yīng)的三元組集。請注意，為了簡化整個過程，本文將排除不存在匹配或存在多個匹配的項目。

4.2 對比算法

BPRMF（Bayesian Personalized Ranking optimizations for Matrix Factorization）：一種采用矩陣分解進(jìn)行優(yōu)化的經(jīng)典CF 方法。

CKE（Collaborative Knowledge base Embedding）：將CF和多種知識圖融合進(jìn)行訓(xùn)練，分別提取了項目知識圖譜中的結(jié)構(gòu)信息、文本信息和視覺信息的特征嵌入。本文僅將結(jié)構(gòu)知識同CF 結(jié)合。

PER：利用項目知識圖譜中的關(guān)系異構(gòu)性，引入元路徑來表示不同關(guān)系路徑中用戶和項目的連通性，并基于路徑相似度來推薦項目。本文將元路徑定義為項目―屬性―項目屬性。

RippleNet：最近提出的基于偏好傳播的模型。通過將用戶歷史交互項作為KG 傳播中的初始集，在KG 中擴(kuò)散并聚合多層鄰居信息，得到更深入的用戶潛在偏好表示。

知識圖卷積神經(jīng)網(wǎng)絡(luò)（Knowledge Graph Convolutional Networks，KGCN）：最先進(jìn)的將KG 與圖卷積神經(jīng)網(wǎng)絡(luò)融合的模型，利用圖卷積從知識圖的鄰居中獲得豐富的項目嵌入，導(dǎo)致推薦任務(wù)完成質(zhì)量的巨大提升。

KGAT：也是最先進(jìn)的融合圖卷積網(wǎng)絡(luò)的模型。它將項目知識圖和用戶交互數(shù)據(jù)結(jié)合組成協(xié)同知識圖，并在該圖結(jié)構(gòu)上遞歸傳播鄰居來更新目標(biāo)節(jié)點的嵌入。另外在傳播期間使用注意力機(jī)制來區(qū)分鄰居節(jié)點的重要性。

4.3 實驗設(shè)置

對每個數(shù)據(jù)集，按照7∶2∶1 的比例隨機(jī)劃分為訓(xùn)練集、測試集和驗證集。具體來說，針對所選數(shù)據(jù)集的大小，首先采用保留法將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，通常情況下（非大規(guī)模數(shù)據(jù)集）為8∶2。其次，為了更好地檢驗?zāi)Ｐ陀?xùn)練程度，會從訓(xùn)練集中劃分一小部分為驗證集，即最終比例為7∶2∶1。本方法在以下兩個推薦場景中進(jìn)行評估：1）CTR（Click Through Rate）預(yù)測，在訓(xùn)練完成的推薦模型中預(yù)測特定用戶和項目間的交互概率。2）Top-

k

推薦，使用從訓(xùn)練集學(xué)習(xí)到的推薦模型來選擇測試集中指定用戶預(yù)測概率最高的

k

項物品。為了驗證這些方法的有效性，本文應(yīng)用了以下評估指標(biāo)：1）

Precision

：模型推薦項目的準(zhǔn)確率。

其中：

R

（

u

）為根據(jù)訓(xùn)練集對用戶推薦的項目列表；

T

（

u

）為根據(jù)測試集對用戶推薦的項目列表。2）

Recall

：候選推薦列表的命中率。

3）

F

1：

Precision

與

Recall

的加權(quán)結(jié)合，

F

1 的值更能體現(xiàn)模型的性能。

4）

AUC

：用于評估推薦系統(tǒng)將用戶喜歡和不喜歡的商品區(qū)分的性能。

a

為用戶喜歡的商品，

b

為用戶不喜歡的商品，每次比較推薦系統(tǒng)對

a

和

b

的打分，

m

為比較的總次數(shù)，

m

′為

a

的評分大于

b

的評分的次數(shù)，

m

″為

a

的評分等于

b

的評分的次數(shù)，AUC 計算公式如式（17）所示。

4.4 實驗結(jié)果對比

在CTR 和Top-

k

中的預(yù)測結(jié)果分別如表2 和圖2 所示。根據(jù)實驗結(jié)果，有以下關(guān)鍵結(jié)論：

表2 基于AUC和F1指標(biāo)的CTR預(yù)測結(jié)果Tab 2 CTR prediction results based on AUC and F1 metrics

從圖2 中的結(jié)果來看，基于KG 的推薦方法遠(yuǎn)遠(yuǎn)優(yōu)于基于CF 的方法（BPRMF），這說明引入KG 中的額外信息對推薦方法性能有很大的提升。但是，在個別指標(biāo)上BPRMF 的性能超過了CKE，這表明僅建模KG 中的一階關(guān)系可能無法充分發(fā)揮KG 的作用，這同時也驗證了NCKN 聚合來自多層高階鄰居信息的有效性。

圖2 基于Recall@k指標(biāo)的Top-k預(yù)測結(jié)果Fig.2 Top-k prediction results based on Recall@k metric

NCKN 在CTR 預(yù)測中取得了顯著的結(jié)果，基于三個數(shù)據(jù)集都表現(xiàn)最佳?；赗ecall@

k

的Top-

k

預(yù)測中，KGAT 在音樂和圖書數(shù)據(jù)集中性能表現(xiàn)優(yōu)越，但值得注意的是，在電影數(shù)據(jù)集中，本文方法NCKN 性能超越了KGAT。本文的推斷是：當(dāng)數(shù)據(jù)集規(guī)模較小且稀疏性大時，KGAT 能作出更準(zhǔn)確的預(yù)測；但是對于大規(guī)模且信息更稠密的電影數(shù)據(jù)集，KGAT在用戶交互圖中的高階傳播會引入過多的噪聲，而NCKN 使用一階協(xié)作信號和KG 相結(jié)合取得了更佳的效果。

通過觀察發(fā)現(xiàn)所有的方法在三個數(shù)據(jù)集上的性能排名分別是電影、音樂、書籍。這可能是三個數(shù)據(jù)集上的用戶平均交互數(shù)量和KG 中實體的平均鏈接數(shù)量不同導(dǎo)致的。例如，相較于音樂數(shù)據(jù)集和圖書數(shù)據(jù)集，電影數(shù)據(jù)集具有更多的交互行為和關(guān)系鏈接數(shù)量，其豐富的信息可供推薦模型更準(zhǔn)確地學(xué)習(xí)潛在的特征表示。

與所有的對比方法相比，本文提出的NCKN 在三個數(shù)據(jù)集上都取得了競爭優(yōu)勢。具體來說，在CTR 預(yù)測中，與主流算法RippleNet、KGCN 相比，NCKN 在指標(biāo)AUC 下平均分別提升了2.71%、4.60%；在F1 指標(biāo)下平均分別提升了4.17%、3.28%；在Top-

k

中，NCKN 在電影和書籍?dāng)?shù)據(jù)集中平均提升了5.26%、3.91%。。請注意，NCKN 在音樂數(shù)據(jù)集上表現(xiàn)不足但僅次于KGAT，因為音樂數(shù)據(jù)集中KG 平均鏈接數(shù)量太低，NCKN 中的無采樣策略無法發(fā)揮其最佳效果。與RippleNet 相比，證明了NCKN 不使用采樣策略和協(xié)作傳播的積極意義。

4.5 消融實驗

本節(jié)對模型所涉及的關(guān)鍵參數(shù)和方法進(jìn)行分析。NCKN的特色在于協(xié)同傳播層和無采樣知識圖傳播層的設(shè)計。為了驗證這些方法的有效性，進(jìn)行了消融實驗。

本文分別對嵌入向量的維度和傳播的最大層數(shù)進(jìn)行參數(shù)分析。具體來說：

1）在三個數(shù)據(jù)集上使用不同維度的嵌入來探索其對于模型的影響，圖3（a）顯示了直觀的結(jié)果：在一定范圍內(nèi)，隨著嵌入維度

d

的增加NCKN 的性能也得以提升，但超過某個值后，性能逐漸下降。這是因為當(dāng)

d

過大時，可能出現(xiàn)過擬合問題。

圖3 基于AUC的嵌入維度影響Fig.3 Impact of based on AUC embedding dimension

2）為了探索KG 中聚合不同層數(shù)的鄰域信息的影響，設(shè)置信息傳播

n

跳的最大層數(shù)，以研究模型的性能會如何改變。

圖4 為不同傳播層數(shù)的實驗結(jié)果，可以觀察到：音樂、書籍、電影分別為3、3、2 時達(dá)到最優(yōu)性能。對這個結(jié)果的合理解釋是，高階的鄰域信息補充更豐富的潛在信息，但同時也引入了更多噪聲，特別是對于數(shù)據(jù)量很大的電影數(shù)據(jù)集，合理的傳播層數(shù)能發(fā)揮最佳的效果。

圖4 基于AUC的傳播層數(shù)的影響Fig.4 Impact of number of propagation layers based on AUC

為了證明協(xié)作傳播層和無采樣知識傳播層的有效性，本文在模型中使用了兩種變體：1）對于協(xié)同傳播層，采用兩層協(xié)作傳播的變體來進(jìn)行對比實驗，它被稱NCKN；2）對于無采樣知識傳播層，使用隨機(jī)采樣固定數(shù)量鄰域節(jié)點的變體NCKN來觀察模型的表現(xiàn)能力。表3 的結(jié)果表明：在三個數(shù)據(jù)集上，NCKN 的一階協(xié)作傳播層比兩層協(xié)作傳播變體具有更優(yōu)的性能。這說明用戶交互中相互作用的模糊性，更高階的協(xié)作傳播反而帶來了更多的噪聲。用戶一階的交互項目能最準(zhǔn)確地表示其偏好；而采用無采樣策略的模型相較于使用隨機(jī)采樣策略也取得了優(yōu)勢，這支持了采樣機(jī)制可能會帶來誤差的前提。

表3 基于AUC的協(xié)作傳播和無采樣知識傳播模塊消融實驗結(jié)果Tab 3 Experimental results of AUC-based ablation of collaborative dissemination and non-sampling knowledge dissemination modules

5 結(jié)語

本文提出了一種無采樣協(xié)作知識圖網(wǎng)絡(luò)NCKN。NCKN通過單層圖卷積網(wǎng)絡(luò)無采樣地預(yù)聚合多層鄰域信息，并將學(xué)習(xí)到的KG 嵌入和用戶交互中協(xié)作信號相結(jié)合。

本文考慮在以下兩個方面展開未來的工作：1）由于本文專注于研究無采樣策略的應(yīng)用，進(jìn)一步的研究方向是設(shè)計出一個更好的方法融合注意力機(jī)制，能夠更準(zhǔn)確地利用鄰域信息；2）本文的模型為現(xiàn)實場景中的其他輔助信息提供了一個新的思路，比如可以嘗試應(yīng)用于社交網(wǎng)絡(luò)來提高推薦性能。