朱欣娟，童小凱，王西漢，高全力

(西安工程大學(xué) 計算機(jī)科學(xué)學(xué)院,陜西 西安 710048)

0 引 言

大數(shù)據(jù)時代，信息過載問題給人們帶來新挑戰(zhàn)，用戶難以從海量數(shù)據(jù)中找到其感興趣的內(nèi)容。作為信息過濾工具，推薦系統(tǒng)目前已被廣泛地應(yīng)用到各個在線平臺，從而為用戶提供精準(zhǔn)的個性化推薦服務(wù)[1-3]。傳統(tǒng)推薦算法主要分為2種：基于協(xié)同過濾和基于內(nèi)容。其中基于協(xié)同過濾的算法通過用戶的歷史交互信息來捕獲其潛在的共同偏好進(jìn)行推薦，不依賴于用戶信息與物品本身的屬性，效果較好且易于實現(xiàn)，在早期被廣泛地使用，但是存在稀疏性和冷啟動問題；基于內(nèi)容的算法在歐幾里得空間中對用戶和物品的特征進(jìn)行向量表征[4]，可以緩解以上問題，但現(xiàn)實生活中還存在許多非歐幾里得空間的數(shù)據(jù)[5]。這類數(shù)據(jù)可以通過知識圖譜進(jìn)行表示，使用多種關(guān)系將不同的實體進(jìn)行關(guān)聯(lián)。將知識圖譜引入到推薦系統(tǒng)中作為輔助信息[6]，不僅能夠豐富用戶和物品間的聯(lián)系[7]，增強(qiáng)推薦算法的挖掘能力，還可以提供可解釋的推薦理由[8]。因此越來越多的學(xué)者考慮利用知識圖譜來提升推薦效果。

現(xiàn)有基于知識圖譜的推薦算法可劃分為3類：基于連接、基于嵌入和基于傳播[9]。

基于連接的方法通過構(gòu)造物品之間的元路徑或元圖挖掘知識圖譜中的潛在關(guān)系。文獻(xiàn)[10]在具有共同注意機(jī)制的三向神經(jīng)交互模型中建模了基于元路徑上下文的推薦模型MCRec，與基于<用戶-物品>交互關(guān)系不同的是該方法使用了<用戶-元路徑-物品>構(gòu)成的三方上下文交互?；谶B接的方法在設(shè)計元路徑或元圖時需要大量領(lǐng)域知識，人工設(shè)計成本較高[11]。人工定義的元路徑和元圖可能存在信息丟失，因而限制了算法對于高階關(guān)系的捕捉[12]。

基于嵌入的方法將知識圖譜視作豐富的語義信息嵌入到推薦任務(wù)中，豐富了用戶和物品特征。文獻(xiàn)[13]針對新聞推薦提出了深度知識感知網(wǎng)絡(luò)模型，通過TransD[14]獲得知識圖譜的結(jié)構(gòu)特征，融合文本和上下文特征作為物品的最終特征進(jìn)行推薦。文獻(xiàn)[15]提出Entity2rec，通過Node2Vec這種靈活的隨機(jī)游走方法學(xué)習(xí)實體表示并展開推薦。由于以上2種方法的嵌入和推薦模塊相互解耦，所以其嵌入結(jié)果可能并不適合推薦任務(wù)，而更適用于知識圖譜補(bǔ)全和鏈路預(yù)測場景[16]。文獻(xiàn)[17]提出的協(xié)同知識嵌入模型是一種端到端的學(xué)習(xí)方法，除了知識圖譜嵌入，該模型還融合了文本和圖像特征學(xué)習(xí)，推薦模塊學(xué)習(xí)用于指導(dǎo)嵌入模塊學(xué)習(xí)。雖然基于嵌入的方法比基于連接的方法更加靈活，但是在嵌入時難以考慮到用戶興趣偏好在實體關(guān)系傳播過程中的影響，忽略了用戶的潛在偏好[18]。

為了充分利用知識圖譜中的信息，基于傳播的方法結(jié)合了以上2種方法，成為近年來一個新的研究趨勢[19]。文獻(xiàn)[20]提出的RippleNet從用戶初始興趣集合出發(fā)，沿著知識圖譜進(jìn)行鄰域多跳傳播來模擬用戶興趣偏好的傳播，將最終得到的集合聚合為用戶表征。文獻(xiàn)[21]提出的知識圖譜卷積網(wǎng)絡(luò)(knowledge graph convolutional, KGCN)則從物品實體出發(fā)，通過空域圖卷積網(wǎng)絡(luò)對物品實體在知識圖譜中的鄰域多跳傳播來獲取物品的表征，有效地捕獲物品間的相關(guān)性。文獻(xiàn)[22]提出的知識圖譜注意力網(wǎng)絡(luò)將用戶物品交互信息融入知識圖譜中，使用TransR[23]獲得初始的物品表示，通過多層傳播獲取用戶多階表示，最終聚合物品和用戶的嵌入表示進(jìn)行推薦。雖然基于傳播的方法在探索用戶潛在偏好上得到了很好的效果，但在傳播過程中容易引入不相關(guān)實體而受到噪聲影響[24]。對于高階關(guān)系的捕捉，隨著傳播階數(shù)的增長，其算法復(fù)雜度呈指數(shù)增長。

基于知識圖譜的推薦算法本質(zhì)上是基于內(nèi)容的體系結(jié)構(gòu)在知識圖譜這類異構(gòu)信息網(wǎng)絡(luò)上的拓展[25]。通過對知識圖譜中實體和關(guān)系的學(xué)習(xí)得到低維的向量表示，將非歐幾里得空間的數(shù)據(jù)特征映射到歐幾里得空間中，因此也可用基于物品相似度的方法進(jìn)行推薦[26]。但實際場景中還存在著“啤酒與尿布”這類難以依據(jù)物品相似度的隱式模式。這種隱式模式在知識圖譜中可能表現(xiàn)為高階關(guān)系或者不存在關(guān)系，在用戶物品交互信息構(gòu)成的共現(xiàn)矩陣中表現(xiàn)為用戶對物品做出的高頻組合選擇。為了加強(qiáng)對于隱式模式的發(fā)現(xiàn)和高階關(guān)系的捕捉，本文在知識圖譜傳播推薦算法中引入?yún)f(xié)同因子模塊和密度門，提出了融合協(xié)同因子的傳播推薦模型。

1 融合協(xié)同因子的傳播推薦模型

1.1 問題描述

假設(shè)有M個用戶U={u1,u2,…,uM}和N個物品V={v1,v2,…,vN}。根據(jù)用戶隱式反饋定義用戶物品交互共現(xiàn)矩陣Y∈RM×N。ymn=1表示用戶um與物品vn之間存在隱式交互，如點擊、觀看、瀏覽等行為，說明用戶對物品有反饋，否則ymn=0。

本文用G=(E,R)表示知識圖譜，其中E為圖中節(jié)點所對應(yīng)實體的集合，R為邊所對應(yīng)實體之間關(guān)系的集合。知識圖譜中任意一條邊可用三元組(h,r,t)表示，其中h∈E,r∈R,t∈E分別代表三元組的頭實體、關(guān)系和尾實體。

1.2 傳播推薦算法

目前主流的傳播推薦算法有2種傳播途徑，分別以用戶初始興趣集合或物品實體為起點在知識圖譜上進(jìn)行鄰域多跳傳播，但是根據(jù)實驗結(jié)果來看，該方法還存在以下問題：

1) 容易受到知識圖譜自身限制，知識圖譜的構(gòu)建過程更偏向知識傳播，與用戶對物品特征屬性的關(guān)注和偏好可能存在偏差，僅根據(jù)知識圖譜提供的知識進(jìn)行推理傳播會使得模型學(xué)習(xí)的感知視野片面。

2) 對于高階關(guān)系的捕捉，雖可設(shè)置為高階傳播，但高階傳播會使得模型學(xué)習(xí)的復(fù)雜度增大并引入噪聲，在傳播過程中引入與用戶興趣偏好無關(guān)的實體。

本文選取RippleNet和KGCN作為從用戶和物品這2個角度出發(fā)的傳播推薦算法融入?yún)f(xié)同因子模塊。如圖1所示，傳播推薦算法的流程可劃分為傳播階段和聚合階段。

(a) 以用戶為起點的 (b) 以物品為起點的 傳播模型 傳播模型圖 1 傳播推薦算法流程Fig.1 Propagation-based recommendation algorithm

從圖1可以看出，在傳播階段，以系統(tǒng)中用戶或物品為起點在知識圖譜上通過實體關(guān)系進(jìn)行傳播采樣，涉及的參數(shù)有采樣跳數(shù)H和鄰采樣大小K。該階段存在多種采樣方法，本文采用均勻采樣。有效地設(shè)計采樣方法可以幫助算法避免噪聲，對于計算性能也有重要意義。

聚合階段會把采樣出的候選集合通過聚合方法聚合為用戶或物品表征，該過程中決定實體傳播的強(qiáng)度，引入用戶的興趣偏好。例如采樣跳數(shù)越深的實體對于最終表征學(xué)習(xí)的影響一般是最小的?；蛘邔τ谀骋粋€用戶，某一條實體關(guān)系的傳播力度會大于另外一條。

k=1,2,…,H

(1)

通過以上多跳相關(guān)實體集可得當(dāng)前用戶的多跳偏好傳播集：

k=1,2,…,H

(2)

(3)

(4)

(5)

1.3 協(xié)同因子模塊

傳播推薦算法游走于知識圖譜的幾何空間中，如圖2所示，當(dāng)系統(tǒng)中大部分用戶存在(v1,v3)這樣一種高頻組合的選擇，在共現(xiàn)矩陣中其可被發(fā)現(xiàn)為一類隱式模式，但在知識圖譜中v1和v3之間可能是高階關(guān)系或不存在關(guān)系，難以通過傳播推薦算法發(fā)現(xiàn)。

圖 2 從共現(xiàn)矩陣中發(fā)現(xiàn)隱式模式Fig.2 Discovery of latent patterns from co-occurrence matrix

為了解決以上問題，本文引入?yún)f(xié)同過濾中矩陣分解[27]的思想，設(shè)計了協(xié)同因子模塊，通過共現(xiàn)矩陣來發(fā)掘隱式模式。該模塊將推薦問題視作矩陣填充問題，為系統(tǒng)中的每個用戶和物品分別關(guān)聯(lián)一個隱因子向量pu∈Rd×1和qv∈Rd×1，認(rèn)為在推薦任務(wù)中的用戶和物品都可用一個d維向量來表示，其中d值越大則該模塊的信息表達(dá)能力就會越強(qiáng)。所以共現(xiàn)矩陣可以分解為P∈Rd×M和Q∈Rd×M這2個低秩矩陣，當(dāng)前用戶u對物品v的偏好評分可通過點積進(jìn)行計算。為了消除不同用戶評分基準(zhǔn)的偏差，可在此基礎(chǔ)上加入偏置項bu和bv。所以協(xié)同因子模塊的預(yù)測結(jié)果可表示為

(6)

使用交替最小二乘法對該模塊進(jìn)行訓(xùn)練，損失函數(shù)為

(7)

式中：Iuv為指示函數(shù)，有交互為1，否則為0。Ω為防止過擬合正則化參數(shù)。

協(xié)同因子模塊雖緩解了隱式模式發(fā)現(xiàn)的問題，但該模塊存在稀疏性問題，在稠密的共現(xiàn)矩陣中才能發(fā)揮效果。為了使得協(xié)同因子模塊能夠感知共現(xiàn)矩陣的稀疏程度動態(tài)控制輸出，本文設(shè)計了全局交互密度、物品交互密度和用戶交互密度3類共現(xiàn)矩陣密度參數(shù)。

全局交互密度可表示為

(8)

式中：M和N分別代表用戶和物品數(shù)量。全局交互密度可以感知共現(xiàn)矩陣的填充密度，反饋當(dāng)前模型所處的生命周期階段，較小值代表模型處于冷啟動階段，知識圖譜作為輔助信息對推薦結(jié)果具有主導(dǎo)作用。隨著交互信息產(chǎn)生，該值增大，表示當(dāng)前模型具有展現(xiàn)更為精準(zhǔn)的推薦水平。該值一般較小，所以使用指數(shù)函數(shù)exp對其放大。

物品交互密度可表示為

(9)

物品交互密度反映了當(dāng)前物品被交互的程度，熱門物品的該值較大，所以對于這類物品的隱因子學(xué)習(xí)是較為精準(zhǔn)的。

用戶交互密度可表示為

(10)

用戶交互密度是模型對當(dāng)前用戶熟知程度的度量值，隨著用戶行為的增長而增大。為了保證參數(shù)規(guī)模，最后利用sigmoid函數(shù)將后2個參數(shù)壓縮到0至1之間。通過聯(lián)合以上3個共現(xiàn)矩陣密度參數(shù)可組成密度門，進(jìn)而多角度感知并控制協(xié)同因子模塊的輸出，其表達(dá)式為

W(u,v)=σ(MLP(CT(Dg,Dv,Du)))

(11)

式中：MLP表示多層感知機(jī)；CT表示向量拼接操作。

(12)

圖 3 融合協(xié)同因子的傳播推薦模型Fig.3 Propagation-based recommender modelwith collaborative factor

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集及評價指標(biāo)

為了驗證本文提出模型的效果，將本文模型RippleNet-CF(RippleNet with collaborative factor)和KGCN-CF(KGCN with collaborative factor)與原傳播推薦算法RippleNet和KGCN進(jìn)行對比實驗。

實驗集來自于3個實際場景公開數(shù)據(jù)集：電影MovieLens-1M、圖書Book-Crossing和音樂Last.fm。MovieLens-1M是電影領(lǐng)域推薦評估中常用數(shù)據(jù)集，包含用戶對電影1～5分顯式評級；Book-Crossing是來自Book-Crossing社區(qū)用戶對于圖書顯式和隱式評分的數(shù)據(jù)集，其中顯式評分范圍從1～10，用0表示用戶對圖書的隱式評分；Last.fm是用于音樂推薦的數(shù)據(jù)集，包含了Last.fm平臺上用戶對音樂家列表的播放次數(shù)。

使用微軟開放領(lǐng)域知識圖譜Satori為以上數(shù)據(jù)集構(gòu)建知識圖譜：首先在Satori中匹配置信度大于0.9的三元組子集，因為通過字面量進(jìn)行的實體匹配存在一個置信度，此處置信度越接近于1，則當(dāng)前物品與知識圖譜中的實體越匹配。針對電影和圖書數(shù)據(jù)集，為了進(jìn)一步縮減知識圖譜規(guī)模，只選擇關(guān)系名中包含“film”和“book”的三元組子集。然后對給定子集通過(head,film.film.name,tail)、(head,book.book.title,tail)和(head,type.object.name,tail)的尾部來匹配數(shù)據(jù)集中物品ID與實體ID的對應(yīng)關(guān)系。為了保證每個物品都能夠在知識圖譜中進(jìn)行傳播，匹配過程中忽略知識圖譜中不存在物品和多匹配情況，所以最終能夠用于訓(xùn)練和測試的物品、用戶和交互數(shù)量會比原始數(shù)據(jù)提供的數(shù)量少。表1中列出了3個數(shù)據(jù)集經(jīng)過知識圖譜識別匹配處理后的基本統(tǒng)計情況。

表1 處理后的數(shù)據(jù)集統(tǒng)計信息Tab.1 Statistics of processed datasets

實驗過程中選取80%的數(shù)據(jù)作為訓(xùn)練集，余下20%作為測試集。在正負(fù)樣本處理上采用了等比例隨機(jī)負(fù)樣本抽取的策略。

表2列出了實驗中在3個數(shù)據(jù)集上經(jīng)過參數(shù)搜索后得到的最終訓(xùn)練參數(shù)，其中K為鄰采樣大小，H為采樣跳數(shù)，d為嵌入層維度，σ為正則化系數(shù)，λ為模型學(xué)習(xí)率。為了保證對比的公平性，對比的模型參數(shù)與本文模型保持一致。

表 2 訓(xùn)練參數(shù)Tab.2 Hyper-parameter settings

評價指標(biāo)選取方面，設(shè)置了2個場景下的對比。針對點擊率預(yù)測(click-through-rate, CTR)場景設(shè)置了ROC曲線下面積指標(biāo)(area under curve, AUC)，針對Top-K推薦場景選取了召回率R、精確率P和綜合評價指標(biāo)F1。

2.2 實驗結(jié)果與分析

表3展示了各算法在CTR場景下的AUC指標(biāo)，括號內(nèi)列出了相比于原模型AUC指標(biāo)提升的百分比。從表3中可觀察到，改進(jìn)后的算法在原算法的AUC指標(biāo)上均有提升，在圖書和音樂數(shù)據(jù)集上的提升效果較為顯著。

表 3 CTR場景下AUC指標(biāo)對比Tab.3 Comparsion of AUC in CTR prediction

圖4展示了3類數(shù)據(jù)集對應(yīng)知識圖譜中實體關(guān)系的種類和分布，其中電影數(shù)據(jù)集有12種實體關(guān)系，圖書數(shù)據(jù)集有25種，音樂數(shù)據(jù)集有60種。

(a) 電影數(shù)據(jù)集知識圖譜實體關(guān)系 (b) 圖書數(shù)據(jù)集知識圖譜實體關(guān)系 (c) 音樂數(shù)據(jù)集知識圖譜實體關(guān)系圖 4 知識圖譜中實體關(guān)系分布占比Fig.4 Relation distribution of knowledge graph

圖4在統(tǒng)計時對占比較小的實體關(guān)系類型進(jìn)行了合并，可以觀察到，電影數(shù)據(jù)集的實體關(guān)系分布均勻且符合用戶對于電影興趣偏好的傳播。圖書與音樂數(shù)據(jù)集相反，圖書數(shù)據(jù)集關(guān)于“作者”和音樂數(shù)據(jù)集關(guān)于“影視”的實體關(guān)系占比較高，且音樂數(shù)據(jù)集占比較小的實體關(guān)系種類數(shù)量較多，容易引入噪聲。此外，后2個數(shù)據(jù)集的實體關(guān)系設(shè)計顯然不是從用戶的興趣偏好傳播出發(fā)，而更偏向于知識傳播角度。這解釋了本文模型在圖書和音樂數(shù)據(jù)集上的提升更為明顯的原因在于隱式模式的發(fā)現(xiàn)在圖書和音樂數(shù)據(jù)集中發(fā)揮了更大作用，彌補(bǔ)了傳播推薦算法在興趣偏好傳播過程中受到知識圖譜限制的短板。

圖5列出了Top-K推薦場景下的指標(biāo)對比結(jié)果。由于圖書和音樂相比電影數(shù)據(jù)集稀疏，其Top-K指標(biāo)比電影數(shù)據(jù)總體偏低。本文模型在K值較小的精確率上提升較為明顯，因為此時與CTR場景較為相似。對于其他指標(biāo)，本文的模型均有小幅提升。

(a) MovieLens-1M電影數(shù)據(jù)集

(b) Book-Crossing圖書數(shù)據(jù)集

(c) Last.fm音樂數(shù)據(jù)集圖 5 Top-K預(yù)測場景下的準(zhǔn)確率、召回率和F1指標(biāo)結(jié)果Fig.5 The result of precision,recall and F1 in Top-K recommendation

通過對CTR和Top-K這2個場景的實驗結(jié)果分析，本文模型保留了原有傳播推薦算法的學(xué)習(xí)能力，通過協(xié)同因子模塊增強(qiáng)對隱式模式的發(fā)現(xiàn)緩解了知識圖譜對用戶興趣偏好刻畫不精準(zhǔn)和高階關(guān)系發(fā)掘的問題。本文模型在損失函數(shù)優(yōu)化時使用的是Pointwise排序策略，比較符合CTR場景，在該場景下有明顯的提升效果，在Top-K場景下表現(xiàn)穩(wěn)定。

3 結(jié) 語

本文提出在知識圖譜傳播推薦算法中引入?yún)f(xié)同因子模塊來提升推薦效果。首先通過傳播推薦算法將知識圖譜中的實體和關(guān)系作為輔助信息引入到推薦中，其次設(shè)計了協(xié)同因子模塊加強(qiáng)對隱式模式發(fā)現(xiàn)和高階實體關(guān)系捕捉，設(shè)計了由3類共現(xiàn)矩陣密度參數(shù)構(gòu)成的密度門對協(xié)同因子模塊進(jìn)行控制，共同進(jìn)行推薦預(yù)測。實驗結(jié)果證明本文模型適用于CTR預(yù)測場景，對于實體關(guān)系難以解釋用戶興趣偏好的知識圖譜數(shù)據(jù)集提升效果較為明顯。

由于本文采用的3類數(shù)據(jù)集是靜態(tài)的，沒有從動態(tài)時間的角度去進(jìn)行模擬驗證模型在實際推薦場景中對于生命周期的感知能力。因此在實際場景中證明其動態(tài)推薦的效果是下一步工作的重點。