王 光，石山山

遼寧工程技術(shù)大學，遼寧 葫蘆島 125000

為了更及時高效地為用戶提供有效信息以提升用戶的體驗感，多種推薦算法被廣泛地應(yīng)用在不同的領(lǐng)域，比如音樂[1]、電影[2]、飲食[3]等物品的推薦。目前，常用的推薦算法主要可以分為三類：基于協(xié)同過濾的推薦算法[4-5]、基于內(nèi)容的推薦算法[6-7]和基于知識的推薦算法[8-9]。由于前兩個算法存在著數(shù)據(jù)稀疏、解釋性不強等問題，可以采取引入輔助信息的方式來補足稀疏數(shù)據(jù)中所缺失的交互信息，比如用戶瀏覽歷史記錄、社交網(wǎng)絡(luò)、評論信息、物品關(guān)聯(lián)信息等，以此來加強推薦算法的性能。

知識圖譜（knowledge graph，KG）作為包含實體屬性信息的異構(gòu)網(wǎng)絡(luò)，通過關(guān)系路徑擴展實體的鄰域節(jié)點從而獲得實體的嵌入表示。而用戶的偏好可以通過向知識圖譜中輸入用戶的評分、用戶評論信息、瀏覽時長等參數(shù)進行計算。目前基于知識圖譜所設(shè)計的推薦算法大概可以分為三類：基于embedding的方法[10-12]、基于PATH的方法[13-14]、聯(lián)合方法[15-17]。（1）基于embedding方法是將數(shù)據(jù)信息轉(zhuǎn)化為低維稠密的實體向量。文獻[10]將隱藏的知識層面的度量加入算法中，首先將新聞投入到知識圖譜中獲得相關(guān)實體，然后通過KCNN（knowledgeaware convolutional neural network）轉(zhuǎn)化為向量表示，最后使用注意力機制（attention-based user interest extraction）獲得用戶歷史向量表示以提升推薦的精確度；文獻[11]將通過知識圖譜學習到的嵌入加入到TUP（translation-based user preference）中對物品與用戶的隱式反饋進行建模，提升算法的可解釋性；文獻[12]采用距離感知抽樣方法計算最短路徑并對其進行排序并根據(jù)最短的K條路徑構(gòu)建高階子圖，首先將其轉(zhuǎn)化為Matrix 矩陣，然后采用圖神經(jīng)網(wǎng)絡(luò)來計算權(quán)值并使用門控更新，最終使用MLP 進行預測。由于嵌入方法可能會依賴知識圖譜內(nèi)的語義關(guān)系而導致很難直觀地表征物品間的聯(lián)系。（2）基于PATH的方法是根據(jù)知識圖譜內(nèi)部路徑進行學習。為了能夠自動學習實體之間的路徑，文獻[13]首先獲取知識圖譜中實體對之間的路徑，然后采用循環(huán)網(wǎng)絡(luò)技術(shù)對其進行編碼并采用共享公共參數(shù)以避免出現(xiàn)過擬合的現(xiàn)象，最終使用池化操作根據(jù)用戶的偏好區(qū)分路徑以生成推薦列表。基于PATH的方法是以獲取到的路徑為基礎(chǔ)進行操作導致設(shè)計路徑困難且很難對算法進行優(yōu)化，因此提出了將二者進行聯(lián)合的方法。（3）基于聯(lián)合的方法是前兩種算法進行結(jié)合。文獻[15]首次提出將基于嵌入與基于路徑的方法進行結(jié)合，以用戶的歷史興趣為基礎(chǔ)沿著知識圖譜中的路徑進行傳播以獲取到用戶的潛在興趣，與基于元路徑的方法不同的是Ripple net 根據(jù)概率進行實體的傳播，從而獲得實體的鄰域集合并將其轉(zhuǎn)化為特征；文獻[16]與文獻[15]相似，以物品為基礎(chǔ)，將獲得物品的特征與用戶特征相結(jié)合以獲得用戶的點擊率。由于知識圖譜傳播過程中會產(chǎn)生較大的噪聲，文獻[17]提出加入注意力網(wǎng)絡(luò)，從知識圖譜中獲得鄰居節(jié)點的特征并不斷地遞歸傳播，使用注意力機制對節(jié)點進行區(qū)分以提高推薦的精準性。

目前已有的雙端知識圖譜推薦算法中，文獻[18]提出融合知識圖譜的雙端在線學習資源推薦算法以提高推薦的準確性，但該算法注重用戶端的信息提取，忽視了物品方面本身所具有的特性。文獻[19]提出使用卷積網(wǎng)絡(luò)對用戶和物品屬性及其關(guān)系進行推薦的雙端知識圖譜算法，明顯地提升了推薦算法的性能，但算法中忽視了用戶與實體交互信息的重要性。上述的論文中采用引入外部信息提升推薦系統(tǒng)的效果，但沒有過多考慮到用戶偏好與物品特性的關(guān)系，不能非常準確地計算用戶的偏好以及基于用戶偏好的物品特性。相同的電影對于不同的用戶來說可能是不同類型的，因此本文將用戶嵌入向量引入到物品端的計算中，可以使物品鄰域信息的傳播方向更符合用戶的喜好。

目前已有的基于神經(jīng)網(wǎng)絡(luò)的研究算法中，文獻[20]提出將CNN（convolutional neural network）與LSTM（long short-term memory）進行融合的金融交易算法以擁有更好的魯棒性。文獻[21]提出使用DQN 網(wǎng)絡(luò)結(jié)合用戶的長短期興趣以更精準地建模用戶興趣。文獻[22]提出將層次知識網(wǎng)絡(luò)與多層感知機進行結(jié)合以提高話題的推薦效果。在諸多論文的實驗中可以看出，Ripple Net[15]、KGCN[16]、KGAT[17]等算法最優(yōu)結(jié)果層數(shù)為兩層。以KGCN[16]算法為例，為減少計算量，采用固定數(shù)量采樣法以及隨機性的鄰域傳播方向，其選取的數(shù)據(jù)并未取決于用戶的喜好。因此采用注意力網(wǎng)絡(luò)可以指定更準確的傳播方向，根據(jù)注意力權(quán)值對鄰域進行選擇，減少噪聲的引入。

由于已有論文中忽視用戶與物品的聯(lián)結(jié)作用，導致推薦模型存在缺陷，為此提出基于知識圖譜和注意力網(wǎng)絡(luò)的雙端推薦算法。本文的主要貢獻有以下三點：（1）利用知識圖譜內(nèi)的異構(gòu)信息，設(shè)計雙端注意力網(wǎng)絡(luò)從用戶端與物品端中獲取更有效的鄰域。（2）為更準確地計算用戶是否喜歡該物品，在物品端的注意力網(wǎng)絡(luò)中添加用戶偏好以計算更符合用戶喜好的物品嵌入向量。（3）對數(shù)據(jù)集MovieLens-1M和Book-Crossing進行實驗，評估算法的有效性，與基線模型相比，評估指標AUC、F1、precision、recall均有提升。

1 本文算法

1.1 總體框架

為了解決已有的知識圖譜-推薦算法中忽略用戶端與物品端的信息交互以及鄰域?qū)嶓w計算方式存在的問題，本文將雙端注意力網(wǎng)絡(luò)與知識圖譜進行融合，總體框架如圖1 所示。該模型以用戶瀏覽記錄（user view record）和物品信息（item）作為輸入?？驁D由三個主要層次組成：（1）知識傳播層：根據(jù)雙端注意力網(wǎng)絡(luò)計算的權(quán)值，沿著KG 中的鏈路進行傳播以獲取鄰域集合。（2）注意力網(wǎng)絡(luò)層：將知識傳播層獲取的鄰域集合進行注意力權(quán)值計算，用戶端注意力網(wǎng)絡(luò)對用戶瀏覽記錄中的三元組進行權(quán)值計算以獲取有效鄰域；物品端注意力網(wǎng)絡(luò)將用戶的偏好與物品鄰域三元組結(jié)合以計算符合用戶喜好的有效鄰域。（3）預測層：聚合不同層次的用戶和物品的向量表示以生成用戶表示向量和物品表示向量，使用預測函數(shù)進行預測。

用戶的瀏覽記錄及其鄰域信息可以體現(xiàn)用戶對于某一類物品的喜好。以向用戶推薦電影為例，用戶u1觀看過屬于科幻片系列的《復仇者聯(lián)盟》，可以認為該用戶喜好科幻片系列的電影。在算法中，獲取用戶觀看記錄的鄰域信息，通過embedding層生成嵌入向量并聚合以表示用戶。對于物品節(jié)點，物品鄰域包含著對于物品本身信息的擴展。電影《復仇者聯(lián)盟》的導演是喬斯·韋登，則可以沿著知識圖譜中的鏈路對該導演的信息進行擴展，在注意力網(wǎng)絡(luò)中加入用戶的偏好獲取更符合用戶喜好的鄰域信息，將鄰域信息進行聚合以表示物品。由于鄰域的權(quán)重分配是提高推薦算法性能的重要因素之一，KGCN[16]是使用關(guān)系的重要度作為鄰域節(jié)點之間的權(quán)重值，KGAT[17]是采用注意力網(wǎng)絡(luò)對不同節(jié)點分配權(quán)值，CKAN[23]是采用知識感知注意網(wǎng)絡(luò)對節(jié)點分配權(quán)值。受以上算法啟發(fā)，本文為用戶端與物品端分別設(shè)計注意力網(wǎng)絡(luò)對路徑分配權(quán)值，獲得用戶向量和物品向量以預測用戶點擊率。

1.2 用戶端信息獲取

用戶的瀏覽記錄可以有效地展示用戶的偏好，例如用戶如果經(jīng)?？础朵撹F俠》《復仇者聯(lián)盟》《綠巨人》等電影，有理由認為用戶對科幻類型的電影感興趣；用戶如果經(jīng)?？茨硞€導演的電影，則可以認為用戶對這位導演的電影感興趣；用戶對演員、電影所屬國家的選擇也是如此。為更好地計算用戶偏好，本文采用基于用戶的注意力網(wǎng)絡(luò)對用戶瀏覽記錄中三元組信息進行計算以獲取更符合用戶喜好的鄰域，從而計算用戶的有效表示。對于用戶u，將其瀏覽記錄定義為Vu={v|yuv=1}，則用戶的偏好表示可以定義為：

其中，N0u ={(h,r,t)|(h,r,t)∈Gandh∈Vu}為用戶瀏覽記錄的鄰域信息，et為尾部實體的嵌入表示，為面向三元組的注意力得分，根據(jù)圖1中注意力網(wǎng)絡(luò)，將h、r、t輸入至網(wǎng)絡(luò)中獲得用戶的偏好得分。

在網(wǎng)絡(luò)中加入dropout 層以防止發(fā)生過擬合，首先使用伯努利分布生成隨機失活向量ru∈Rm，然后生成dropout層加入網(wǎng)絡(luò)中。注意力網(wǎng)絡(luò)表述如下：

其中，u∈U表示用戶，r∈R 表示關(guān)系，p為隨機失活概率。非線性激活函數(shù)選擇Tanh與Sigmoid，將首部實體與尾部實體加入至激活函數(shù)中。選擇使用Tanh函數(shù)可以使注意力權(quán)值依賴于三者的關(guān)系，并且使用Sigmoid可以更加細微地進行分類。W與b為可訓練的參數(shù)，其下標代表其所屬層數(shù)。

最后將獲取到的注意力權(quán)值進行歸一化：

由于用戶瀏覽記錄在知識圖譜內(nèi)傳播的實體較多，因此為獲取用戶更精準的偏好，將注意力權(quán)值進行排序并選用排名前ku的樣本作為鄰域。其表述如下：

其中，ku為用戶端鄰域采樣大小。

為了提高算法的聚合效果，本文選擇了三種聚合方法，如公式（7）~（9）所示：

最終將獲取到的用戶表示u與其鄰域表示向量uNu使用聚合器進行聚合，從而獲得用戶嵌入表示u。

1.3 物品端信息獲取

物品v通過知識圖譜G獲取其鄰域信息，對于實體h，本文采用Nh={(h,r,t)|(h,r,t)∈G} ，其中h∈ε,r∈R,t∈ε。采用Trans方法通過嵌入embedding獲取到三元組的向量{(eh,er,et)|eh,et∈Rm,er∈Rn} ，本文根據(jù)三元組在關(guān)系空間中的距離判斷eh與et的關(guān)系：

設(shè)定距離閾值為ε，若distance≤ε，則判定在關(guān)系空間中eh與et是接近的，否則二者應(yīng)遠離。由此設(shè)置函數(shù)d(h,r,t)計算三元組(h,r,t)距離的得分：

其中，Wr∈Rm×n為基于關(guān)系r的轉(zhuǎn)換矩陣，將實體eh與et投影至關(guān)系空間中。若d(h,r,t)數(shù)值越大，說明eh與et越貼近，三元組越符合用戶的喜好。

由于物品的信息較多，則需要在鄰域的初始集合中選擇更符合用戶喜好的元組，即d(h,r,t)排名前kv的三元組可以作為中心實體的初始集合S0v。

其中，kv為物品端采樣數(shù)量。

為使正負樣本之間得分差距變大，設(shè)置函數(shù)：

其中(h,r,t′)?G是通過在三元組(h,r,t)隨機將t進行替換而獲得的無效三元組，通過學習損失函數(shù)Ld可以更好地獲得物品的嵌入表示。

以用戶觀看電影為例，有些用戶會以演員為主選擇相應(yīng)的電影，有些用戶也會以電影題材或者導演等因素為主選擇電影，由此認為用戶偏好側(cè)重點會影響到用戶對實體的選擇。知識圖譜中各個實體e∈E的鄰域權(quán)重由πru(u,r,t)決定。選用聚合器將獲取到的鄰域?qū)嶓w與權(quán)重進行聚合以獲取物品v的最終表示：

其中，(h,r,t)是基于關(guān)系r的首部實體和尾部實體之間的權(quán)值，加入用戶對關(guān)系的偏好則為(u,r,t)。

在物品端加入dropout 層，根據(jù)概率p′使用伯努利分布生成隨機失活向量rv，注意力網(wǎng)絡(luò)表述如下：

其中，非線性激活函數(shù)、參數(shù)的選擇與用戶端一致，在這里不過多敘述。最后將注意力權(quán)值進行歸一化：

由于Sv計算復雜度較高，因此將每個節(jié)點的注意力權(quán)值進行排序，采樣排名前kv的樣本作為鄰域的方式來降低復雜度。

根據(jù)公式（14）～（18）、（7）～（9），使用聚合器將物品與物品的鄰域不斷從外向里進行聚合，最終獲得物品向量Vu。

1.4 預測部分

通過在上文中所獲得的用戶u與物品v的最終表示u和Vu，使用預測函數(shù)：

其中，σ(x)為Sigmoid函數(shù)。損失函數(shù)如下：

其中，第一項為所有用戶的真實值與預測值之間的交叉熵的損失，使用p(x)函數(shù)作為服從正態(tài)分布的負采樣，Cu=|{v:yuv=1} |為用戶u的負采樣。

2 實驗分析

2.1 數(shù)據(jù)集

為更好地對算法性能進行評估，本文選擇擁有用戶與物品交互信息的數(shù)據(jù)集MovieLens-1M 與Book-Crossing。其中MovieLens-1M是包含電影信息、用戶評價信息的數(shù)據(jù)集，用戶的評級為0~5；Book-Crossing 數(shù)據(jù)集是包含書籍信息、用戶評價信息的數(shù)據(jù)集，用戶的評級為0~10。具體信息如表1所示。

表1 選用數(shù)據(jù)集的具體信息Table 1 Details of selected datasets

2.2 對比實驗

為了驗證算法的有效性，本文選用四種基于知識圖譜的推薦算法作為比較對象。

KGCN[16]：物品信息放入知識圖譜內(nèi)進行擴展，以固定數(shù)量采樣的方式獲取領(lǐng)域并計算特征。

CKAN[23]：將協(xié)同傳播與知識圖譜相結(jié)合，設(shè)計一個動態(tài)的知識感知注意機制以獲得頭部實體與關(guān)系的權(quán)值，實現(xiàn)尾實體的注意力嵌入。

KGCN-LS[24]：將知識圖轉(zhuǎn)化為特定于用戶的加權(quán)圖，為避免評分過少導致的過擬合現(xiàn)象，加入標簽平滑正則項對損失函數(shù)進行優(yōu)化。

KCAN[25]：提出全局相似度保持和局部知識蒸餾以挖掘更準確的用戶偏好。

2.3 實驗設(shè)置

本文采用的實驗環(huán)境為Win10，使用python-3.8、sklearn-0.24.1、tensorflow-2.5.0。在兩種實驗場景中進行實驗：（1）在點擊率（CTR）預測中，將測試集放入算法中進行預測，使用AUC 和F1 評估預測性能。（2）在Top-K推薦中，將測試集放入算法中為用戶推薦點擊率前K的物品，使用precision@K、recall@K對數(shù)據(jù)集進行評估。具體參數(shù)設(shè)置如表2所示。

表2 參數(shù)設(shè)置Table 2 Parameters setting

表中-u 為用戶端，-v 為物品端，k為采樣數(shù)，d為維度，m為跳數(shù)，lr為學習率，L2 為正則化權(quán)重。

2.4 對比實驗結(jié)果

按照6∶2∶2比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集，每個基線算法重復3 次實驗并取平均值，點擊率（CTR）預測場景的實驗結(jié)果如表3所示。

表3 CTR場景下的AUC和F1預測結(jié)果Table 3 Results of AUC and F1 in CTR prediction

通過觀察四種基線算法可以發(fā)現(xiàn)：KCAN側(cè)重于實體的相似度，而KGCN、KGCN-LS僅聚合物品的鄰域信息，CKAN考慮首部實體與關(guān)系的權(quán)值卻忽略了尾部實體重要性。針對上述提到的不足，本文提出了雙端注意力網(wǎng)絡(luò)的知識圖譜推薦算法，實驗證明在數(shù)據(jù)集MovieLens-1M 中，相比于最優(yōu)算法AUC 提升了2.1 個百分點，F(xiàn)1 提升了2.3 個百分點。在數(shù)據(jù)集Book-Crossing中，相比于最優(yōu)算法AUC 提升了2.6 個百分點，F(xiàn)1 提升了2.4個百分點。在表中的-u表示僅在用戶端設(shè)定注意力網(wǎng)絡(luò)，-i 表示僅在物品端設(shè)定注意力網(wǎng)絡(luò)。通過對比，說明雙端注意力網(wǎng)絡(luò)可以有效提升算法的性能。

通過與其他算法的對比可以看出，在算法中提出兩端聚合可以有效地提高算法性能，將尾實體考慮至注意力網(wǎng)絡(luò)中可以進一步提高算法的有效性。在Top-K推薦場景下的實驗結(jié)果如圖2~5所示。

圖2 MovieLens-1M數(shù)據(jù)集上Top-K推薦準確率Fig.2 Precision@K in Top-K recommendation on MovieLens-1M dataset

圖3 Book-Crossing數(shù)據(jù)集上Top-K推薦準確率Fig.3 Precision@K in Top-K recommendation on Book-Crossing dataset

圖4 MovieLens-1M數(shù)據(jù)集上Top-K推薦召回率Fig.4 Recall@K in Top-K recommendation on MovieLens-1M dataset

圖5 Book-Crossing數(shù)據(jù)集上Top-K推薦召回率Fig.5 Recall@K in Top-K recommendation on Book-Crossing dataset

從上述四張圖中可以看出，本文算法的準確率、回歸率在MovieLens-1M 和Book-Crossing 數(shù)據(jù)集上均明顯高于其他基線算法，表明添加注意力機制可以有效提升算法性能。KCAN與KGCN準確率與回歸率較低，說明用戶端與物品端相結(jié)合可以提高算法的性能；CKAN與其他算法相比加入了動態(tài)知識感知注意機制，說明加入注意機制對鄰域信息的選擇有重要意義。但由于CKAN是將首部實體與關(guān)系加入知識圖譜，未考慮到尾部實體的重要性，因此本文提出根據(jù)用戶與物品的不同屬性分配相應(yīng)注意力值的雙端注意力網(wǎng)絡(luò)。通過實驗證明，使用兩種注意力網(wǎng)絡(luò)是可行的，并且不會導致算法的復雜度較高。當采樣大小為4 與4 時，運行時間為2 min/epoch；當采樣大小為64 與64 時，運行時間為5 min/epoch。經(jīng)調(diào)查可知KGCN 算法的運行時間是優(yōu)于其他基線算法的，KGCN 運行時間為7 min/epoch，因此證明本文算法的時間復雜度較低。

2.5 參數(shù)敏感性分析

表4表示跳數(shù)對AUC的影響，從中可以看出跳數(shù)取值過低、過高都會影響AUC，過高會引入噪音，過低則會減少算法內(nèi)所聚合的信息，從而影響算法性能。表5表示嵌入維度對AUC 的影響，從中可以看出提高維度可以有效地提升AUC，但維度過高會導致AUC下降，說明合適的嵌入維度可以更加有效地編碼信息。

表4 跳數(shù)對AUC的影響Table 4 Ⅰmpact of layer on AUC value

表5 嵌入的向量維度對AUC的影響Table 5 Ⅰmpact of embedding vector dimension on AUC value

表6表示聚合器的選擇對AUC的影響，從表中可以看出MovieLens-1M 數(shù)據(jù)集使用Sum 聚合器表現(xiàn)最好，Book-Crossing 數(shù)據(jù)集使用Concat 聚合器表現(xiàn)最好，因此說明合適的聚合器對提升算法性能是很重要的。

表6 聚合器選擇對AUC的影響Table 6 Ⅰmpact of aggregator selection on AUC value

表7~10表示兩個數(shù)據(jù)集中不同的采樣大小對AUC與F1 的影響，從表中可以看出隨著采樣大小的增大，AUC 和F1 也隨之增大，但取值過大或過小都會引起性能的下降。在數(shù)據(jù)集MovieLens-1M 中，當采樣大小設(shè)置為user-64 與item-8 時，AUC 與F1 取得最大值。在數(shù)據(jù)集Book-Crossing 中，當采樣大小設(shè)置為user-64 與item-64時，AUC與F1取得最大值。因此說明合適的取樣大小可以提高算法的性能。

表7 數(shù)據(jù)集MovieLens-1M中采樣數(shù)對AUC的影響Table 7 Ⅰmpact of different sampling sizes on AUC in MovieLens-1M dataset

表8 數(shù)據(jù)集MovieLens-1M中采樣數(shù)對F1的影響Table 8 Ⅰmpact of different sampling sizes on F1 in MovieLens-1M dataset

表9 數(shù)據(jù)集Book-Crossing中采樣數(shù)對AUC的影響Table 9 Ⅰmpact of different sampling sizes on AUC in Book-Crossing dataset

表10 數(shù)據(jù)集Book-Crossing中采樣數(shù)對F1的影響Table 10 Ⅰmpact of different sampling sizes on F1 in Book-Crossing dataset

2.6 可解釋性分析

假設(shè)電影神奇四俠和鋼鐵俠是被用戶觀看過并給予較高的評分，DEKGAN 經(jīng)過計算為用戶推薦電影復仇者聯(lián)盟。表11表示待推薦電影復仇者聯(lián)盟的實體聯(lián)系及其各元組權(quán)值排序，從中可以看出用戶對相同演員的電影更為偏愛，因此推薦復仇者聯(lián)盟的理由可以認為是用戶喜歡科幻類電影，尤其是擁有相同主演的電影。由此可以看出推薦結(jié)果是基于用戶的偏好以及知識信息，以此獲得更好的推薦結(jié)果可解釋性。

表11 推薦復仇者聯(lián)盟的解釋Table 11 Explanation of recommended avengers alliance

3 結(jié)束語

將知識圖譜與推薦算法相融合是為了可以獲取用戶與物品的更多信息，以輔助算法更準確地向用戶進行推薦。許多用戶對物品的喜愛點通常是不同的，但現(xiàn)有的推薦算法是單獨考慮用戶偏好和物品向量，因此研究用戶對物品喜好的側(cè)重點是很重要的。本文針對用戶-關(guān)系-物品三者之間的信息進行探索，提出一種融合雙端注意力網(wǎng)絡(luò)的知識圖譜推薦算法。該算法提出雙端注意力網(wǎng)絡(luò)，分別對用戶-關(guān)系、物品-用戶、實體三元組賦予基于知識的權(quán)重，以更好、更準確地形成用戶向量和物品向量。盡管本文算法提高了推薦性能，但算法中網(wǎng)絡(luò)優(yōu)化問題仍有待進一步解決。在未來工作中，如何設(shè)計注意力網(wǎng)絡(luò)對用戶范圍進行分析以完成物品對用戶的預測，是進一步研究的方向。