高 仰，劉 淵

1.江南大學(xué) 人工智能與計算機學(xué)院，江蘇 無錫214122

2.江蘇省媒體設(shè)計與軟件技術(shù)重點實驗室（江南大學(xué)），江蘇 無錫214122

+通信作者E-mail:lyuan1800@sina.com

隨著信息技術(shù)和互聯(lián)網(wǎng)的高速發(fā)展，人們逐漸從信息匱乏的時代走入了信息過載的時代。在這個時代，作為信息消費者，從海量信息中找到自己感興趣的信息是一件非常困難的事情；作為信息生產(chǎn)者，如何精確地捕捉客戶興趣并向客戶推送需要的信息同樣具有很大的挑戰(zhàn)。為了解決信息過載這一問題，其中最常見的解決辦法就是分類目錄和搜索引擎。這兩種辦法均需用戶明確自己需求，通過準確描述自己需求的關(guān)鍵詞來尋找信息。但當用戶不明確自己的需求時，以上兩種辦法就無能為力。推薦系統(tǒng)是一種幫助用戶快速發(fā)現(xiàn)有用信息的工具，推薦系統(tǒng)不需要用戶明確自己的需求，通過分析用戶的歷史行為得到用戶的興趣模型，從而主動給用戶推薦其可能感興趣的信息。傳統(tǒng)的推薦方法可分為：基于內(nèi)容的推薦方法，嘗試為用戶匹配那些預(yù)期喜歡的物品相似的物品；基于協(xié)同過濾的推薦方法，根據(jù)用戶的歷史行為和評分向用戶進行推薦[1]；混合推薦方法則是將前面兩種方法結(jié)合起來推薦。矩陣分解方法將評分預(yù)測任務(wù)轉(zhuǎn)化為矩陣補全任務(wù)，將用戶行為矩陣分解為兩個低秩矩陣的乘積，通過分解把用戶和物品嵌入到了同一個向量空間并使用機器學(xué)習(xí)的手段補全矩陣。雖然基于矩陣分解的方法效果很好，但依然存在數(shù)據(jù)稀疏和冷啟動問題[1]。隨著互聯(lián)網(wǎng)中越來越多的數(shù)據(jù)能夠被感知獲取，包括圖像、文本、標簽在內(nèi)的多源異構(gòu)數(shù)據(jù)蘊含著豐富的用戶行為信息及個性化需求信息[2]，融合多源異構(gòu)輔助信息（side information）的混合推薦方法越來越受到研究者的重視。例如，將用戶的社交關(guān)系、物品的相關(guān)屬性、物品的交互數(shù)據(jù)作為輔助信息來增強推薦性能，可以較好地緩解傳統(tǒng)推薦方法中的數(shù)據(jù)稀疏和冷啟動問題。然而，輔助信息包含了圖片、文本、音頻等不同格式，如何綜合考慮這些不同模態(tài)的信息成為了挑戰(zhàn)；社交關(guān)系和物品知識圖譜這些輔助信息來自不同的源頭，具有不同的數(shù)據(jù)結(jié)構(gòu)，但是這兩類數(shù)據(jù)均可以用來增強推薦性能，如何融合這些多源異構(gòu)數(shù)據(jù)成為了挑戰(zhàn)；此外，雖然巨大的輔助信息數(shù)據(jù)有利于推薦任務(wù)，但是用戶的評分數(shù)據(jù)量相對于海量的物品過小，同時物品的評分可能存在長尾現(xiàn)象，即熱門物品的評分數(shù)目遠多于冷門物品的評分數(shù)，分布不均勻，由此可見融合多源異構(gòu)數(shù)據(jù)的混合推薦方法依然面臨著嚴峻的挑戰(zhàn)[2]。知識圖譜旨在描述真實世界中存在的各種實體或概念及其關(guān)系,構(gòu)成了一張巨大的語義網(wǎng)絡(luò)圖，便于將各種輔助信息有效地融入推薦算法，從而緩解冷啟動與數(shù)據(jù)稀疏問題。

近年來，深度學(xué)習(xí)在各領(lǐng)域取得了突破性進展，且深度學(xué)習(xí)通過組合低層特征形成更加稠密的高層語義抽象，從而發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，解決了傳統(tǒng)機器學(xué)習(xí)中需要人工設(shè)計特征的問題；深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)可以很好地對序列進行建模，能夠有效挖掘數(shù)據(jù)中順序結(jié)構(gòu)[2]；此外，基于深度學(xué)習(xí)的推薦方法能夠融入多源異構(gòu)輔助信息進行推薦，通過將用戶的顯式反饋和隱式反饋數(shù)據(jù)、用戶的畫像、物品的內(nèi)容和屬性等多源異構(gòu)輔助信息作為輸入，采用一個端到端的模式自動訓(xùn)練預(yù)測模型，從而緩解傳統(tǒng)推薦系統(tǒng)面臨的數(shù)據(jù)稀疏和冷啟動的問題。但同時也存在訓(xùn)練時間長、可解釋性差的缺點。本文利用知識圖譜作為輔助信息，采用深度學(xué)習(xí)技術(shù)從輔助信息中學(xué)習(xí)用戶和物品的特征表示來增強推薦系統(tǒng)的性能。

本文的主要貢獻有：（1）提出了一種新的混合推薦框架；（2）通過RippleNet算法提取用戶和實體的潛在關(guān)系，采用多任務(wù)學(xué)習(xí)同時訓(xùn)練知識圖譜模塊和推薦模塊，從而更好地利用知識圖譜增強推薦性能；（3）提出了基于注意力機制的雙向GRU（gate recurrent unit）網(wǎng)絡(luò)從用戶近期交互序列提取用戶的短期偏好的方法；（4）在兩個真實數(shù)據(jù)集上進行驗證，結(jié)果表明提出的模型優(yōu)于其他的基準模型。

1 相關(guān)工作

1.1 推薦算法

目前針對推薦算法已經(jīng)有很多的研究成果，其中，最早被使用的是信息獲取領(lǐng)域的基于內(nèi)容的推薦方法[3]；Goldberg 等[4]在1992年提出的協(xié)同過濾推薦方法，又稱為社會過濾，篩選出特定用戶感興趣的項目集合，根據(jù)這些項目集合分析用戶的潛在需求，輔助用戶做決定。此外，混合推薦技術(shù)[5]可以克服傳統(tǒng)推薦方法的大多數(shù)限制，將它們組合可獲得更好的推薦效果。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)已經(jīng)應(yīng)用到各種推薦場景。Zhang 等[6]介紹了深度學(xué)習(xí)與推薦系統(tǒng)相結(jié)合的研究現(xiàn)狀和發(fā)展狀況，提出由于深度學(xué)習(xí)具有很強的特征提取能力，因此越來越多的研究者使用深度學(xué)習(xí)技術(shù)和文本、標簽、圖像等輔助信息來產(chǎn)生更加有效特征表示，以提高推薦性能；Chen等[7]通過神經(jīng)網(wǎng)絡(luò)捕捉用戶動態(tài)偏好的改變來實時推薦物品；Han 等[8]通過深度學(xué)習(xí)來增強隱語義模型[9]推薦效果；Cheng等[10]通過利用用戶特征、情境特征和項目特征等多元異構(gòu)數(shù)據(jù)，提出了一種深廣模型。近年來，基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理中受到廣泛關(guān)注，注意力機制與RNN（recurrent neural network）結(jié)合能夠很好地抓住文本的序列特征。Li等[11]提出了一種基于注意力機制的LSTM（long short-term memory）模型用于微博中的hashtag 推薦。Hidasi 等[12]采用GRU 來抓取會話中行為之間的依賴關(guān)系。Bansal 等[13]基于循環(huán)神經(jīng)網(wǎng)絡(luò)模型提出了一種文本推薦方法，在利用評分數(shù)據(jù)的同時，還利用文本內(nèi)容信息和文本標簽數(shù)據(jù)進行推薦。Wang等[14]提出的推薦框架采用知識圖譜作為輔助信息，使用循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶的偏好，并使用路徑信息來增強推薦的可解釋性。Sun 等[15]使用LSTM 來提取知識圖譜中連通性信息并得到用戶和物品的特征表示，從而增強推薦性能。

1.2 知識圖譜算法

知識圖譜的提出是為了提高搜索引擎的能力，改善用戶的搜索質(zhì)量以及搜索體驗。隨著人工智能的技術(shù)發(fā)展和應(yīng)用，現(xiàn)已被廣泛應(yīng)用于智能搜索、智能問答、個性化推薦、內(nèi)容分發(fā)等領(lǐng)域。將知識圖譜引入到推薦系統(tǒng)的優(yōu)勢有：（1）知識圖譜為物品引入了更多的語義關(guān)系，可以深層次地發(fā)現(xiàn)用戶興趣。（2）知識圖譜中不同的關(guān)系鏈接種類有利于推薦結(jié)果的發(fā)散。（3）知識圖譜可以連接用戶的歷史記錄和推薦結(jié)果，增強推薦系統(tǒng)的可解釋性，從而提高用戶對推薦系統(tǒng)的信任。

知識圖譜與推薦系統(tǒng)的結(jié)合大致可分為基于特征的推薦方法、基于路徑的推薦方法、知識圖譜特征學(xué)習(xí)?；谔卣鞯耐扑]方法主要是從知識圖譜中抽取一些用戶和物品的屬性作為特征，放入到傳統(tǒng)模型中，該類方法并非專門針對知識圖譜設(shè)計，因此無法高效地利用知識圖譜的全部信息?；诼窂降耐扑]方法[16]，將知識圖譜視為一個異構(gòu)信息網(wǎng)絡(luò)（heterogeneous information network），然后構(gòu)造物品之間的基于meta-path 或meta-graph 的特征，此類方法的優(yōu)點在于充分且直觀地利用了知識圖譜的網(wǎng)絡(luò)結(jié)構(gòu)，缺點是需要手動設(shè)計meta-path 或meta-graph，這在實踐中難以到達最優(yōu)；知識圖譜特征學(xué)習(xí)[17]（knowledge graph embedding）方法為知識圖譜中的每個實體和關(guān)系學(xué)習(xí)得到一個低維向量，同時保持圖中原有的結(jié)構(gòu)或語義信息。一般而言，知識圖譜特征學(xué)習(xí)的模型分為兩類：基于距離的翻譯模型和基于語義的匹配模型。其中基于距離的翻譯模型[18]（distance-based translational models）將尾節(jié)點視為頭節(jié)點和關(guān)系翻譯得到的結(jié)果，使用基于距離的評分函數(shù)評估翻譯效果。這類方法的代表有TransE、TransH、TransR 等；基于語義的匹配模型[19]（semanticbased matching models）將實體和關(guān)系映射到隱語義空間中進行相似度度量，使用基于相似度的評分函數(shù)評估映射效果。這類方法的代表有SME（semantic matching energy）、NTN（neural tensor network）、MLP（multi-layer perceptron）、NAM（neural association model）等。知識圖譜特征學(xué)習(xí)與推薦系統(tǒng)相結(jié)合的方式有依次訓(xùn)練，典型模型為DKN（deep knowledge-aware network for news recommendation）[20]、聯(lián)合訓(xùn)練，典型模型為RippleNet[21]、多任務(wù)學(xué)習(xí)，典型模型為MKR（multi-task feature learning for knowledge graph enhanced recommendation）[22]，本文采用的是多任務(wù)學(xué)習(xí)的方法。

現(xiàn)有的推薦算法往往忽略了用戶的短期偏好或沒有考慮短期偏好所占權(quán)重，導(dǎo)致推薦的物品不夠合理；現(xiàn)有的融合知識圖譜的推薦算法雖然考慮了知識圖譜的結(jié)構(gòu)和語義信息，但往往忽略了用戶和知識圖譜的聯(lián)系，有效使用以上的信息可以更好地利用知識圖譜來增強推薦性能。

2 提出的方法

2.1 問題定義

為了便于形式化描述，在此先列舉出本文后續(xù)會用到的符號。本文用U={u1,u2,…}和V={v1,v2,…}分別表示用戶集合和物品集合。用戶物品的交互矩陣Y={yuv|u∈U,v∈V}按照用戶的隱性反饋定義如下：

其中，yuv的值為1 代表用戶u和物品v之間存在隱性的交互，例如點擊行為、瀏覽行為、評分行為等。另外，用(h,r,t)這樣的三元組代表知識圖譜G中大量的實體-關(guān)系-實體元組，h∈ε,r∈R,t∈ε分別代表三元組中的頭、關(guān)系、尾，且ε,R分別代表知識圖譜的實體和關(guān)系集合。例如：三元組（我和我的祖國，表演，張譯）表示演員張譯出演了《我和我的祖國》這部電影。

給定交互矩陣Y和知識圖譜G，模型旨在預(yù)測用戶u是否對他未有過交互的物品v具有潛在的興趣。本文的目標是構(gòu)建一個預(yù)測函數(shù)其中代表用戶u將會訪問物品v的概率，Θ代表函數(shù)的相關(guān)參數(shù)。

2.2 模型描述

用戶的興趣往往受短期因素影響，例如，有些人心情差的時候喜歡看喜劇，失落的時候喜歡看勵志片，也有些人在一段時間特別喜歡懸疑片等。但是現(xiàn)有的一些算法只關(guān)注短期偏好或者忽略了短期偏好，不能精準合理地給用戶推薦其感興趣的物品。另外，現(xiàn)有的融合知識圖譜的推薦算法，一般先從知識圖譜中訓(xùn)練得到實體和關(guān)系的特征表示，再將這些特征向量應(yīng)用于推薦任務(wù)，然而知識圖譜訓(xùn)練的目的是還原知識圖譜中三元組的關(guān)系，并非為了推薦任務(wù)而學(xué)習(xí)，導(dǎo)致知識圖譜學(xué)習(xí)任務(wù)很難高效地幫助推薦任務(wù)提升推薦性能，MKR 模型[22]采用多任務(wù)學(xué)習(xí)的技術(shù)可以很好地將知識圖譜學(xué)習(xí)任務(wù)和推薦任務(wù)結(jié)合起來訓(xùn)練，但是模型只考慮了物品和知識圖譜中實體的聯(lián)系，忽略了用戶和實體的聯(lián)系。基于以上不足之處，本文提出了MKASR（multi-task feature learning approach for knowledge graph and shortterm preferences enhanced recommendation）模型。該模型考慮了用戶的短期偏好，同時在MKR 模型的基礎(chǔ)上創(chuàng)新性地采用RippleNet算法提取用戶和知識圖譜中實體的聯(lián)系，并將該聯(lián)系和知識圖譜的聯(lián)系一并融合到推薦任務(wù)以提升推薦性能。在模型訓(xùn)練前，系統(tǒng)先通過RippleNet 算法提取用戶與知識圖譜實體的關(guān)系對，并以（用戶，關(guān)系，知識圖譜實體）這樣的三元組存儲并參與訓(xùn)練。MKASR 模型結(jié)構(gòu)如圖1 所示。在這個模型中，中間的推薦模塊的輸入為評分矩陣Y和用戶近期交互的物品序列Sequv，該模塊經(jīng)過交叉壓縮單元（CCu,CCv），多層神經(jīng)網(wǎng)絡(luò)（multilayer perceptron，MLP）以及基于注意力機制的雙向GRU 網(wǎng)絡(luò)，最終得到用戶u對物品v的預(yù)測評分；圖1 左側(cè)的知識圖譜學(xué)習(xí)模塊從用戶層面提取用戶的潛在偏好，該模塊的輸入為用戶和知識圖譜實體的關(guān)系，經(jīng)過交叉壓縮單元（CCu），多層神經(jīng)網(wǎng)絡(luò)用來擬合用戶和知識圖譜實體的聯(lián)系；圖1 右側(cè)的知識圖譜學(xué)習(xí)模塊從物品層面提取物品之間的潛在聯(lián)系，該模塊的輸入為物品知識圖譜，經(jīng)過交叉壓縮單元（CCv），多層神經(jīng)網(wǎng)絡(luò)用來擬合物品知識圖譜中實體之間的聯(lián)系；三個模塊通過交叉壓縮單元相互聯(lián)系，多任務(wù)學(xué)習(xí)，最終得到一個能夠預(yù)測評分的函數(shù)

2.3 RippleNet

知識圖譜中包含大量的實體和實體之間的聯(lián)系，通過對這些復(fù)雜的聯(lián)系進行分析，可以得出用戶深層或潛在的偏好。例如：某用戶觀看《紅海行動》這部電影，他可能是主演張譯的粉絲，可能喜歡導(dǎo)演林超賢的風(fēng)格，也可能是因為喜歡戰(zhàn)爭片，然而主演張譯也出演過其他的電影，導(dǎo)演林超賢也執(zhí)導(dǎo)過其他的電影，戰(zhàn)爭片還包含許多其他優(yōu)秀作品，這些與《紅海行動》相關(guān)的實體，用戶可能都感興趣。為了從知識圖譜中提取用戶和實體的聯(lián)系，更好地從用戶層面挖掘用戶的潛在偏好，本文采用RippleNet 算法[21]，以用戶的歷史記錄為興趣中心，模擬用戶的興趣在知識圖譜上逐層向外擴散，且不斷衰減的過程，類似于水中的波紋。為方便描述，給出k-hop 的相關(guān)實體、TupleSet和RippleSet的定義如下。

Fig.1 Framework of MKASR圖1 MKASR 模型結(jié)構(gòu)

Fig.2 Propagation process of Ripple圖2 Ripple傳播過程

定義1（k-hop 相關(guān)實體）給定交互矩陣Y和知識圖譜G，則對于用戶u的k-hop 相關(guān)實體集合為：

定義2（TupleSet）用戶u的k-hop TupleSet 為知識圖譜以為種子集合傳播一層的三元組的集合為：

定義3（RippleSet）用戶u的RippleSet定義如下：

這里Ripple 是將用戶的偏好類比于水中的波紋，用戶的偏好在知識圖譜中像水波一樣逐層傳播，同時用戶的偏好強度也隨著傳播而衰減。考慮到RippleSet的大小可能隨著k的增長而變得非常大，一般會設(shè)定一個最大長度進行截斷，并且只考慮知識圖譜中實體的出度。最后將得到的RippleSet（用戶，關(guān)系，知識圖譜實體）三元組存儲并參與訓(xùn)練，用以構(gòu)建更全面的用戶表示向量。Ripple 傳播過程如圖2所示。

2.4 基于語義匹配的知識圖譜表示學(xué)習(xí)

2.4.1 交叉壓縮單元

交叉壓縮單元采用的是MKR 模型[22]里提出的，其結(jié)構(gòu)如圖3 所示。對于一個物品v和一個知識圖譜里和物品v對應(yīng)的實體h，首先構(gòu)建交叉矩陣C∈Rd×d，其中d為v和h的維度。

Fig.3 Cross&compress unit圖3 交叉壓縮單元

物品v和實體h經(jīng)過交叉壓縮單元的輸出為：

其中，w..∈Rd,w.∈Rd,b.∈Rd是交叉壓縮單元權(quán)重和偏置參數(shù)。調(diào)整該參數(shù)可以同時學(xué)習(xí)知識圖譜語義匹配和推薦這兩個任務(wù)。同理，對用戶u的特征向量也是如此。

2.4.2 知識圖譜語義匹配

基于語義匹配的模型將實體和關(guān)系映射到隱語義空間中進行相似度度量，使用基于相似度的評分函數(shù)評估三元組的匹配效果。本文采用深度語義匹配機制，先使用交叉壓縮單元和MLP 處理知識圖譜中的頭（h）、關(guān)系（r）、尾（t），然后將h和r拼接起來，再通過MLP 并將其維度降至d得到t^，也就是預(yù)測的尾（t），最后使用相似度函數(shù)fkg來評估預(yù)測結(jié)果。

其中，CCv代表交叉壓縮單元，MLP為多層感知機，MLP(x)=σ(Wx+b)，其中W為權(quán)重參數(shù)，b為偏置，σ為非線性激活函數(shù)。相似度函數(shù)為：

其中，σ為sigmoid 函數(shù)，采用標準化內(nèi)積的方法來計算相似度。

2.5 基于注意力機制的雙向GRU 網(wǎng)絡(luò)

在推薦模塊部分，使用RNN 從用戶近期的交互序列中學(xué)習(xí)用戶的短期偏好，本文采用雙向GRU 作為基礎(chǔ)單元，添加注意力機制來優(yōu)化短期偏好學(xué)習(xí)能力。該網(wǎng)絡(luò)的輸入為用戶近期的交互序列中前n個物品的序列，記為。網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4 所示。

Fig.4 Bidirectional GRU network based on attention mechanism圖4 基于注意力機制的雙向GRU 網(wǎng)絡(luò)結(jié)構(gòu)

GRU 可解決長期記憶和反向傳播中的梯度等問題，它采用門控機制控制輸入、記憶等信息并在當前時間步做出預(yù)測。GUR 網(wǎng)絡(luò)對時序比較敏感且與LSTM 網(wǎng)絡(luò)相比訓(xùn)練代價更小，可用于從用戶短期交互的物品序列中提取用戶的短期偏好，同時使用注意力機制衡量序列中各個物品的權(quán)重，這樣可以更準確地提取用戶的短期偏好。

GRU 有兩個門，即一個重置門（reset gate）和一個更新門（update gate）。重置門決定了如何將新的輸入信息與前面的記憶相結(jié)合，更新門定義了前面記憶保存到當前時間步的量。

在時間步t，更新門和重置門計算公式分別為：

式中，xt為第t個時間步的輸入向量，ht-1保存的是前一個時間步t-1 的信息，W.,U.均為參數(shù)矩陣。

候選隱藏層和輸出的隱藏層的計算公式分別為：

其中，⊙為哈達瑪積，最終得到的ht由zt控制需要從前一時刻的隱藏層ht-1遺忘多少信息，需要添加多少當前時刻隱藏層。

為捕獲用戶不同程度的短期偏好，引入注意力機制，其公式如下：

其中，Hout為RNN 輸出的隱藏層結(jié)果，wT為參數(shù)矩陣，其維度為GRU 單元個數(shù)，r為最終考慮了權(quán)重的RNN 輸出。再經(jīng)過MLP 得到考慮了權(quán)重的用戶短期偏好。后面將短期偏好獲取過程簡寫為：

2.6 綜合推薦

2.6.1 推薦模型

MKASR 中的推薦模型的輸入為描述用戶和物品的特征向量u和v以及用戶近期交互序列。給定用戶的特征向量u，經(jīng)過交叉壓縮單元和MLP處理后的uout為：

其中，λ1為短期偏好所占權(quán)重，AGRU()為用戶的短期偏好。

2.6.2 優(yōu)化算法

MKASR 模型的損失函數(shù)為：

式中，?為交叉熵損失函數(shù)，LRS是衡量推薦模型的損失值，分別是衡量用戶-關(guān)系-實體三元組和物品-關(guān)系-實體三元組擬合程度的損失值，為正則化項，λ2為正則化項系數(shù)。

算法1 MKASR

輸入：交互矩陣Y,知識圖譜G。

1.初始化所有參數(shù)

2.對每個用戶u計算RippleSetSu,并按照三元組的形式存儲下來

3.對每個用戶u計算其近期交互物品的序列Sequv

4.for 訓(xùn)練迭代次數(shù)do

5.//推薦任務(wù)

6.whilei+batchSize＜len(Y)do

7.將Y中的miniBatch 和Sequv傳入模型

8.使用Adam 算法,通過式（5）～（6），式（11）～（24）更新F的參數(shù)

9.i+=batchSize

10.end while

11.//用戶特征向量的知識圖譜學(xué)習(xí)任務(wù)

12.whilei+batchSize＜len(Su)do

13.將Su中的miniBatch 傳入模型

14.使用Adam 算法,通過式（5）～（6），式（7）～（9）更新F的參數(shù)

15.i+=batchSize

16.end while

17.//物品特征向量的知識圖譜學(xué)習(xí)任務(wù)

18.whilei+batchSize＜len(G)do

19.將G中的miniBatch 傳入模型

20.使用Adam 算法，通過式（5）～（6），式（7）～（9）更新F的參數(shù)

21.i+=batchSize

22.end while

23.end for

MKASR 模型的參數(shù)優(yōu)化過程如算法1 MKASR所示，算法1 中，第1 到3 行是數(shù)據(jù)準備階段，使用RippleNet 算法計算得到用戶和知識圖譜實體的三元組關(guān)系，對評分數(shù)據(jù)按照時間戳排序得到用戶的近期交互物品序列，第5 到10 行是推薦階段，該階段的輸入為評分矩陣和用戶近期交互的物品序列Sequv，第11 到16 行是用戶-關(guān)系-實體三元組擬合階段，該階段的輸入為用戶和知識圖譜實體的關(guān)系Su；第17到22 行是物品-關(guān)系-實體三元組擬合階段，該階段的輸入為知識圖譜數(shù)據(jù)G。在各個階段把輸入數(shù)據(jù)輸入模型按照公式正向傳播，隨后根據(jù)Adam 優(yōu)化算法反向傳播更新模型參數(shù)Θ，多次迭代最終輸出推薦預(yù)測函數(shù)

3 實驗及分析

為了驗證提出的MKASR 模型的推薦性能，采用Tensorflow 機器學(xué)習(xí)框架，在Windows10 64 位操作系統(tǒng)，PyCharm2019，Intel?CoreTMi7-9750H CPU@2.60 GHz，16 GB 內(nèi)存，Python3.7 的環(huán)境下進行對比實驗分析。

3.1 數(shù)據(jù)集

MovieLens-1M：MovieLens公開數(shù)據(jù)集被廣泛應(yīng)用在電影推薦系統(tǒng)中，選取ML-1M 作為實驗數(shù)據(jù)集，評分范圍1～5 分，共包含100 多萬的評分記錄，其中每個用戶評分過的電影條目數(shù)均大于20。

Book-Crossing：Book-Crossing 數(shù)據(jù)集包含100 多萬條書籍評分記錄，評分范圍0～10，并且包含書籍輔助信息27 萬多條，Book-Crossings 數(shù)據(jù)集是最不密集的數(shù)據(jù)集之一。

對于MovieLens-1M 數(shù)據(jù)集，本文將用戶評分大于等于4 的電影，視為用戶喜愛該電影，反之，認為用戶不喜歡該電影，且從IMDB 網(wǎng)站獲取各個電影的詳細信息來構(gòu)建電影相關(guān)的知識圖譜。由于Book-Crossing 數(shù)據(jù)集太過稀疏，本文將用戶評過的書籍視為用戶喜愛該書籍，反之，認為用戶不喜歡該書籍。該數(shù)據(jù)集同時提供了書籍的詳細信息，可用以構(gòu)建知識圖譜。各數(shù)據(jù)集的詳細數(shù)據(jù)見表1。

Table 1 Basic statistics for two datasets表1 兩數(shù)據(jù)集詳細數(shù)據(jù)

3.2 對比模型

為驗證提出的MKASR 模型的性能，對比模型如下：

（1）SVD++（singular value decomposition）[23]：Koren提出的一種矩陣分解模型。實驗中模型參數(shù)為：迭代次數(shù)為20，隱類數(shù)為20，學(xué)習(xí)率為0.007，正則化項系數(shù)為0.02。

（2）KNNWithMeans[24]：Goin 提出的基于K-近鄰算法的推薦模型。實驗中模型參數(shù)為：考慮相鄰最大樣本數(shù)為40，考慮相鄰最小樣本數(shù)為1，迭代次數(shù)20，相似度計算模型為均方差（mean square displacement，MSD）。

（3）KGNN-LS（knowledge-aware graph neural networks with label smoothness regularization for recommender systems）[25]：Wang 等人提出的一種具有標簽平滑正則化的知識感知圖神經(jīng)網(wǎng)絡(luò)。實驗中模型的參數(shù)為：迭代次數(shù)為15，考慮的相鄰的樣本數(shù)為16，用戶和物品表示向量的維度為32，正則化項系數(shù)為0.000 1，學(xué)習(xí)率為0.02。

（4）KGCN（knowledge graph convolutional networks for recommender systems）[26]：Wang等人提出的一種基于知識圖譜作為輔助信息的圖神經(jīng)網(wǎng)絡(luò)推薦模型。實驗中模型參數(shù)為：迭代次數(shù)為10，考慮的相鄰的樣本數(shù)為4，用戶和物品表示向量的維度為32，正則化項系數(shù)為0.000 1，學(xué)習(xí)率為0.02。

（5）MKR[22]：Wang 等人提出的一種使用知識圖作為輔助信息，采用多任務(wù)學(xué)習(xí)的推薦模型。在實驗中模型的參數(shù)為：迭代次數(shù)為20，用戶和物品表示向量的維度為8，正則化項系數(shù)為0.000 01，推薦任務(wù)學(xué)習(xí)率為0.02，知識圖譜學(xué)習(xí)任務(wù)學(xué)習(xí)率為0.01。

（6）MKASR：本文提出的融合知識圖譜和短期偏好，且采用多任務(wù)學(xué)習(xí)的推薦模型。

3.3 實驗評估指標及實驗設(shè)置

實驗將數(shù)據(jù)集過濾后，按照8∶2將數(shù)據(jù)集分為訓(xùn)練集和測試集。采用AUC（area under curve）和Accuracy（ACC）來評估模型的CTR（click through rate）預(yù)測性能，采用Top-K推薦中的預(yù)測率（Precision@K）和召回率（Recall@K）指標來評估推薦效果。

在實驗中，對于所有數(shù)據(jù)集，設(shè)置用戶和物品表示向量的維度為8，batch size 為4 096，近期交互物品序列長度為20，GRU 網(wǎng)絡(luò)的隱藏層數(shù)為16，正則化項系數(shù)λ2為10-6，推薦模型的優(yōu)化器為Adam，學(xué)習(xí)率為0.02，知識圖譜學(xué)習(xí)模型采用SGD（stochastic gradient descent）優(yōu)化器，學(xué)習(xí)率為10-4。

3.4 實驗結(jié)果分析

3.4.1 各參數(shù)對算法的影響

MKASR 模型里的參數(shù)λ1是一個很重要的參數(shù)，用于調(diào)節(jié)短期偏好對綜合推薦的影響，能影響推薦結(jié)果，λ1越大短期偏好對推薦結(jié)果的影響越大，反之，對推薦結(jié)果的影響就越小。圖5（a）（b）展示了在λ1的不同取值下，MKASR模型在數(shù)據(jù)集ML-1M 上的Top-K的推薦性能，其中圖5（a）展示了λ1對Precision指標的影響，圖5（b）展示了λ1對Recall 指標的影響。從圖中可以看出，當λ1取0.3 時，模型在Precision 和Recall 指標上表現(xiàn)最好。參數(shù)d同樣是模型中很重要的參數(shù)，它是模型中用戶和物品表示向量的維度，當d越大，表示用戶和物品的向量也就越復(fù)雜，圖5（c）展示了在d不同取值下模型CTR預(yù)測的效果，從圖中可以得出當d取8的時候模型CTR預(yù)測率達到最佳。

3.4.2 CTR 預(yù)測對比

Fig.5 Influence of λ1 and d on model圖5 參數(shù)λ1 和d 對模型的影響

Table 2 Result of AUC and ACC in CTR prediction表2 CTR 預(yù)測的AUC 和ACC 結(jié)果

為了得到最好的結(jié)果，取λ1=0.3，d=8，各模型在相同的實驗環(huán)境和訓(xùn)練集上得到的AUC 和Accuracy 結(jié)果如表2。從表中可以看出，提出的MKASR 模型對比各基準算法在AUC 和Accuracy 指標上均取得了最好的結(jié)果，其中在MovieLens-1M 數(shù)據(jù)集上，提出的模型（MKASR）較基準模型中表現(xiàn)最好的模型（MKR）在AUC 指標上提升了1.5%，在ACC 指標上提升了1.2%。從實驗的結(jié)果中可以看出，使用知識圖譜作為輔助信息的算法優(yōu)于傳統(tǒng)的不使用知識圖譜的算法，由此可見融合知識圖譜可以較好提升推薦系統(tǒng)的性能；其次，本文提出的模型在AUC 和ACC 這兩個評測指標上都要高于其他的基準算法，由此可見，本文的MKASR 算法的優(yōu)越性。

本文的MKASR 算法的主要優(yōu)勢在于：首先利用了知識圖譜作為輔助信息，可以較好地考慮物品之間的潛在聯(lián)系，更深層次地挖掘了用戶的興趣，同時采用多任務(wù)學(xué)習(xí)的方法，把知識圖譜訓(xùn)練任務(wù)和推薦任務(wù)緊密聯(lián)系起來，從而能夠充分地利用知識圖譜這個輔助信息來增強推薦性能；其次本文提出的模型通過RippleNet算法挖掘出用戶和知識圖譜實體的聯(lián)系，并將其作為輔助信息來提升推薦性能，可以從用戶角度挖掘用戶的偏好；最后，MKASR 算法還考慮了用戶的短期偏好，通過衡量短期偏好所占權(quán)重可以更為合理精準地向用戶推薦其感興趣的物品。

3.4.3 Top-K 推薦對比

同樣取λ1=0.3，d=8，經(jīng)過實驗，各模型Top-K推薦的預(yù)測率和召回率結(jié)果如圖6、圖7 所示，其中圖6（a）和圖6（b）分別是K取不同值時，各模型在兩個數(shù)據(jù)集上的預(yù)測率折線圖?？梢钥闯霰疚奶岢瞿Ｐ驮贛ovieLens-1M 數(shù)據(jù)集上較其他模型有較大的提升，在Book-Crossing 數(shù)據(jù)集上較其他模型也稍有提升。其中在MovieLens-1M 數(shù)據(jù)集下，K=10 時，提出的模型較MKR 算法在預(yù)測率上提高了11%，較KGCN 算法提高了25%，較KGNN-LS 算法提高了34%；在Book-Crossing 數(shù)據(jù)集下，K=10 時，提出的模型較MKR 算法在預(yù)測率上提高了18%，較KGCN 算法提高了6%，較KGNN-LS 算法提高了4%。圖7（a）和圖7（b）分別是K取不同值時，各模型在兩個數(shù)據(jù)集上的召回率折線圖?？梢钥闯霰疚奶岢龅哪Ｐ驮贛ovieLens-1M 數(shù)據(jù)集和Book-Crossing 數(shù)據(jù)集上較其他模型均有所提升。其中在MovieLens-1M 數(shù)據(jù)集下，K=10時，提出的模型較MKR 算法在召回率上提高了8%，較KGCN 算法提高了31%，較KGNN-LS 算法提高了24%；在Book-Crossing 數(shù)據(jù)集下，K=10 時，提出的模型較MKR 算法在召回率上提高了21%，較KGCN 算法提高了34%，較KGNN-LS 算法提高了11%。這表明，本文提出的MKASR算法具有優(yōu)越性。

3.4.4 短期偏好和RippleNet給推薦帶來的提升

為驗證本文提出的短期偏好和RippleNet改進對推薦性能提升的有效性，通過以下實驗進行對比。

Fig.6 Result of Precision@K in Top-K recommendation on each dataset圖6 各數(shù)據(jù)集上Top-K 推薦的預(yù)測率

Fig.7 Result of Recall@K in Top-K recommendation on each dataset圖7 各數(shù)據(jù)集上Top-K 推薦的召回率

（1）對比基于知識圖譜的推薦算法（MKR），以及在MKR 算法基礎(chǔ)上考慮了短期偏好的推薦算法（MKR with short-term preference,MKRWSP）。兩種算法在AUC 和ACC 指標的表現(xiàn)如表3 所示，可以得出使用了短期偏好的算法（MKRWSP）較未考慮短期偏好的算法（MKR）在AUC 指標上提升了1.1%，在ACC 指標上提升了0.6%。由此可以得出本文提出的短期偏好改進，可以挖掘用戶的短期偏好，從而提升推薦性能。

（2）對比基于知識圖譜的推薦算法（MKR），以及在MKR 算法基礎(chǔ)上使用RippleNet 算法從用戶層面挖掘用戶和知識圖譜實體的潛在偏好的推薦算法（MKRWRippleNet）。兩種算法在AUC 和ACC 指標的表現(xiàn)如表3 所示，可以得出使用了RippleNet 的算法（MKRWRippleNet）較未使用RippleNet的算法（MKR）在AUC 指標上提升了1.1%，在ACC 指標上提升了1.1%。由此可以得出本文提出的RippleNet改進可以挖掘用戶的潛在偏好，從而提升推薦性能。

Table 3 Comparison of short-term preference and RippleNet effect表3 短期偏好和RippleNet效果對比

從表3 還可以得出，同時考慮短期偏好改進和RippleNet 改進的算法（MKASR）較基于知識圖譜的推薦算法（MKR）在AUC 指標上提升了1.5%，在ACC指標上提升了1.2%。由此可以得出本文提出的短期偏好改進和RippleNet 改進，可以更好地挖掘用戶偏好，從而向用戶做出更優(yōu)的推薦。

4 結(jié)束語

由于傳統(tǒng)的融合知識圖譜的推薦算法往往忽略了用戶和知識圖譜實體聯(lián)系，且很少考慮用戶的短期偏好。對此，本文使用RippleNet 算法挖掘用戶和知識圖譜實體的聯(lián)系，采用基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶的短期偏好，采用多任務(wù)學(xué)習(xí)的方式，同時訓(xùn)練知識圖譜模塊和推薦模塊，最后綜合地向用戶推薦。此外，對比了三種融合知識圖譜的推薦算法和兩種傳統(tǒng)算法，實驗結(jié)果表明，MKASR算法在MovieLens 和Book-Crossing 數(shù)據(jù)集上表現(xiàn)出較好的結(jié)果，充分說明了融合用戶與知識圖譜實體關(guān)系和短期偏好能夠提高推薦性能。

盡管MKASR 模型在Top-K推薦上有較大的提升，但由于評分信息過于稀疏，模型在CTR 預(yù)測率上提升幅度仍不是很大。因此這也為接下來的工作提出了挑戰(zhàn)，如何更加有效地處理稀疏數(shù)據(jù)和怎樣更加高效地利用知識圖譜。另外，可以考慮使用異構(gòu)信息網(wǎng)絡(luò)來構(gòu)建更為高效精準的推薦框架。