季德強,王海榮,李明亮,鐘維幸

(北方民族大學 計算機科學與工程學院,寧夏 銀川 750021)

0 引言

大數(shù)據(jù)背景下,為幫助用戶從海量數(shù)據(jù)中快速、準確地獲取感興趣的信息,推薦算法發(fā)揮著重要的作用。Rendle 等人[1-2]最早使用矩陣分解方法(Bayesian Personalized Ranking from Implicit Feedback,BPR)和因子分解機方法(Factorization Machines with libFM,LibFM)進行推薦實驗,BPR利用用戶和項目的交互學習向量表示;LibFM 使用基于推薦預測分量的貝葉斯排序模型,實現(xiàn)了三種數(shù)學算法與推薦的結(jié)合,證明了模型的性能和可行性。He等人[3]提出了一種新型神經(jīng)因子分解機模型(Neural Factorization Machines for Sparse Predictive Analytics,NFM),將用戶歷史與項目分解為用戶-項目交互對,并利用神經(jīng)網(wǎng)絡(luò)預測點擊率。Cheng等人[4]將傳統(tǒng)的寬度線性通道與深度非線性通道結(jié)合成一種深度和寬度網(wǎng)絡(luò)推薦模型(Wide&Deep Learning for Recommender Systems,Wide&Deep),使模型同時擁有記憶和泛化能力,并在實際應(yīng)用場景Google Play上進行了驗證。

上述基于矩陣分解或深度學習網(wǎng)絡(luò)的推薦方法存在數(shù)據(jù)稀疏和冷啟動問題,而將知識圖譜作為輔助信息的推薦方法可以很好地避免此類問題。因此,基于知識圖譜的路徑、嵌入、混合推薦算法研究受到廣泛關(guān)注。Yu等人[5]提出了基于異構(gòu)網(wǎng)絡(luò)的個性化元路徑推薦方法(Personalized Entity Recommendation:A Heterogeneous Information Network Approach,PER),在異構(gòu)信息網(wǎng)絡(luò)中提取元路徑特征來表示用戶和項目之間的連通性,推薦結(jié)果可由原始項目沿元路徑查找,推薦具有語義可解釋性。Ma等人[6]構(gòu)建了聯(lián)合優(yōu)化的可解釋性推薦模型(Jointly Learning Explainable Rules for Recommen-Dation with Knowledge Graph,RuleRec),根據(jù)路徑傳播方法來挖掘項目之間的關(guān)聯(lián)規(guī)則。Zhang 等人[7]提出的協(xié)同知識庫嵌入模型(Collaborative Knowledge Base Embedding for Recommender Systems,CKE),在知識圖譜中融合協(xié)同過濾方法提取結(jié)構(gòu)性知識、文本知識和視覺知識豐富用戶表示。Wang等人[8-9]設(shè)計了嵌入情感的簽名異構(gòu)信息網(wǎng)絡(luò)模型(Signed Heterogeneous Information Network Embedding for Sentiment Link Prediction,SHINE)和深度感知網(wǎng)絡(luò)模型(Deep Knowledgeaware Network for News Recommendation,DKN),SHINE可在異構(gòu)網(wǎng)絡(luò)中提取用戶的潛在表示以挖掘隱藏的用戶興趣;DKN 使用多通道單詞與實體對齊的卷積神經(jīng)網(wǎng)絡(luò)(KCNN),結(jié)合實體嵌入和單詞嵌入擴展用戶表示?；旌贤扑]模型中實體傳播模型[10](Propagating User Preferences on the Knowledge Graph for Recommender systems,RippleNet)通過匯集用戶歷史實體在圖譜傳播的鄰域?qū)嶓w擴展實體集,疊加形成用戶相對于候選項的偏好分布?；跇撕瀭鞑ニ惴ǖ膱D神經(jīng)網(wǎng)絡(luò)推薦模型[11](Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems,KGNN-LS)結(jié)合圖神經(jīng)網(wǎng)絡(luò)和知識圖譜提出標簽傳播算法,探索用戶和項目的關(guān)系,挖掘用戶的細粒度興趣。圖注意力網(wǎng)絡(luò)推薦模型[12](Knowledge Graph Attention Network for Recommendation,KGAT)將用戶二部圖與知識圖譜連接,通過圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)分別聚合用戶、項目嵌入,并挖掘用戶和項目的關(guān)系?；谪摬蓸拥闹R圖譜推薦模型[13](Reinforced Negative Sampling Over Knowledge Graph for Recommendation,KGPolicy)首次將負采樣模型與知識圖譜融合,利用知識圖譜挖掘負樣本。推薦模塊僅用矩陣分解方法就實現(xiàn)了推薦性能的大幅提升。

綜上可知,傳統(tǒng)的協(xié)同過濾和基于深度學習的推薦方法存在數(shù)據(jù)稀疏和冷啟動問題,基于知識圖譜的推薦方法雖然在一定程度上可以解決此類問題,但多數(shù)采用挖掘路徑和單一的用戶或項目表示方法,特征嵌入表示不能準確擬合用戶興趣,導致模型的次優(yōu)表示。只有同時針對用戶和候選項表示,并探索實體間的關(guān)系,才能挖掘出更深層次的用戶興趣。因此,本文使用GCN 方法聚合項目嵌入表示,使用實體傳播方法擴展用戶嵌入表示,通過注意力機制關(guān)注用戶和項目的相對關(guān)系,達到將用戶興趣放大、項目噪聲減少的目的,進而實現(xiàn)細粒度推薦。

1 匯集鄰居實體的表示推薦方法

本文方法通過用戶歷史實體傳播與候選項實體聚合圖譜實體以擴充用戶特征空間,在實現(xiàn)用戶興趣挖掘的同時,防止數(shù)據(jù)稀疏和冷啟動問題。實體傳播是將用戶歷史項目映射為知識圖譜的實體,利用距離翻譯模型TransR 在知識圖譜中傳播,擴展用戶的嵌入表示;實體聚合利用GCN 網(wǎng)絡(luò)聚合知識圖譜中候選項目實體周圍的鄰居實體擴展項目嵌入表示。方法模型如圖1所示。

圖1中,實體傳播是以用戶u的交互歷史項目作為輸入,將其通過實體映射文件映射到知識圖譜,并作為最初的擴展源實體,源實體被視為三元組的頭實體,傳播方式是使用TransR 模型表示頭實體、關(guān)系和尾實體。同時,注意力權(quán)重的獲取等價于尾實體相對當前用戶的重要性分值,將權(quán)重加權(quán)在尾實體上,獲得一次用戶傳播實體集的表示,迭代傳播k次,將每層實體表示累加得到u的嵌入表示。實體聚合是將項目v映射為知識圖譜的實體并將v視為被聚合對象,采樣距該項目實體為k及以內(nèi)的實體集,每層實體使用GCN 從最外層向內(nèi)聚合k次,獲得項目嵌入表示。聚合過程中同樣需要計算項目與用戶的重要性權(quán)重,并加權(quán)到每個聚合對象中。最終,將用戶嵌入表示與項目嵌入表示通過內(nèi)積運算計算候選項分值。

圖1 匯集鄰居實體的表示推薦模型

匯集鄰居實體的表示推薦方法包含用戶嵌入表示、候選項嵌入表示與推薦預測三個核心部分。

1.1 用戶嵌入表示

給定知識圖譜G與用戶交互矩陣Y,將Y中正樣本作為G中的源實體并進行實體傳播。Y與用戶的第k次實體傳播集表示分別如式(1)、式(2)所示。

其中,k表示傳播次數(shù),當k=0,ε0u={U}時,可以將其看作初始化的用戶點擊歷史項。實際上,擴展實體集會隨著k增加呈指數(shù)級遞增,所以本模型設(shè)計采用限制采樣鄰居的方式,采樣大小不再是實體e周圍所有鄰居集合N(e),而是遵循項目對用戶重要性由高到低取樣鄰域?qū)嶓w,以得到偏向用戶興趣的傳播實體集,將每層的采樣鄰域定義為S(e),則S(e)的實體集和三元組表示如式(3)、式(4)所示。

其中,h、r、t分別表示三元組的頭實體、關(guān)系、和尾實體,最大跳數(shù)H的初始值設(shè)為2。其中注意力機制針對的是每個實體對用戶的重要性。每個三元組分配注意力權(quán)重可表示如式(5)所示。

其中,Ri和Hi分別表示關(guān)系ri和頭實體hi的嵌入向量,關(guān)聯(lián)概率Wi表示關(guān)系空間R中測量的項目v和用戶歷史實體的相似值。由于項目實體用不同的關(guān)系測量可能有不同的相似性,所以計算權(quán)重需要考慮關(guān)系嵌入矩陣。獲得Wi后,針對第一次擴展集的向量S1u加權(quán),得到用戶的第一層傳播表示,如式(6)所示。

其中,Ti表示尾實體ti經(jīng)TransR 映射后的嵌入,具有與R相同的維度。向量U1為u對項目v的一階特征表示,使用U1繼續(xù)傳播一層,可獲得用戶u的二階特征表示U2,重復此過程,獲取S0u擴展H次的特征表示U1,U2,…,UH,累計每一層特征表示得到用戶嵌入表示,如式(7)所示。

每層特征表示都包含上一層的特征,所以UH包含了之前傳播的所有特征,但是為了防止傳播過程中信息丟失,最終采用累加每一層Ui計算u的嵌入表示uv。

1.2 候選項目嵌入表示

本文方法將候選項v映射到知識圖譜中視作被聚合對象E(v),通過聚合其一定距離內(nèi)的鄰居實體信息,以挖掘潛在的高階、高質(zhì)量的用戶偏好。獲取E(v)周圍k跳實體集如式(8)所示。

其中,N(h)表示需要聚合的鄰域?qū)嶓w,與用戶歷史實體傳播同理,為防止鄰域?qū)嶓w數(shù)目增長過快,限制采樣鄰域(見式(3)),將E(v)的采樣鄰域表示為。聚合過程中的注意力權(quán)重計算如式(9)所示。

其中,u和r分別表示用戶和關(guān)系的向量表示。將注意力加權(quán)后,每層鄰域表示如式(10)所示。

其中,rv,e表示E(v)和周圍實體e的關(guān)系,是歸一化后的用戶關(guān)系權(quán)重。具體計算如式(11)所示。

項目v周圍的每層鄰域?qū)嶓w被表示,整體形成一種拓撲鄰域結(jié)構(gòu)。因此,將實體及鄰域通過GCN 聚合方法由外向內(nèi)聚合成單個向量,用來表示E(v)匯集的k跳鄰域信息。本文主要使用基于Sum 的聚合方法,計算方法如式(12)所示。

其中,W、b分別表示權(quán)重和偏差,σ()是ReLU 激活函數(shù),S(v)為候選項的聚合實體集。

1.3 推薦預測

實體傳播后得到用戶嵌入表示uv,實體聚合后得到候選項嵌入表示vu,推薦分值基于內(nèi)積函數(shù)計算方法。得分函數(shù)如式(13)所示。

1.4 模型訓練

該模型的訓練過程如算法1所示。

算法1

Algorithm 1 Learning Model Input:interaction matrix Y,knowledge graph G,sampling neighborhood S,number of transmissions H and K,dimension d//輸入數(shù)據(jù)和相關(guān)參數(shù)。Output:F(u,v|Θ,Y,G);//預測函數(shù)1:Begin:2:for(u,v)in Y,G do//在Y、G 中采樣正負樣本和正負三元組3: {Sku}Hk=1;//用戶u 的第H 層的擴展集4: {Uk}Hk=1;//用戶H 層擴展集的嵌入表示5: uv ←∑H Uk;//用戶嵌入表示6:while limH→k vu(H)! →vu(H)do//收斂性判斷7: for(u,v)in Y do 8: {ε[i]}Hi=0←Entity_set(v);//聚合域獲取9: eu[0]←e,?e∈ε[0];//項目聚合表示10: for k∈(1,2,...,H)do 11: for e∈ε[k]do 12: euS(e)[k-1]←∑d∈S(e)w～ure,d du[k-1];//鄰域注k=1意力獲取13: eu[k]←agg(euS(e)[k-1],eu[k-1]);//GCN 聚合鄰域?qū)嶓w14: vu←eu[H];//項目嵌入表示15:y^uv=f(uv,vu);//計算預測概率16:Function Entity_Set(v)//鄰域?qū)嶓w獲取函數(shù)17: ε[k]←ε[k+1];18: for k∈(1,2,...,H )do 19: ε[k]←ε[k+1];20: forε∈ε[k+1]do 21: ε[k]∈ε[k]∪S(e);//待聚合實體集22:return{ε[i]}Hi=0;23:End

用戶歷史項目在圖譜中傳播,形成用戶嵌入uv(見式(3)～式(7)),候選項在圖譜中聚合形成項目嵌入vu(見式(8)～式(12))。為了提高計算效率,訓練過程中使用了圖譜負采樣策略獲取數(shù)據(jù)的負采樣分布。因此,模型損失函數(shù)如式(14)所示。

其中,?是交叉熵損失,N是負采樣分布,Nu是用戶u的負樣本數(shù),N和Nu服從均勻分布,λ||F||22是為防止過擬合的正則化項。

2 實驗對比與分析

為了驗證本文提出的方法,在MovieLens-20M、Book-Crossing 和Last-FM 三個數(shù)據(jù)集上進行了實驗。

2.1 數(shù)據(jù)集與實驗環(huán)境

實驗中三種數(shù)據(jù)集的基本統(tǒng)計如表2所示。

表2 三種數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)表 (單位:個)

數(shù)據(jù)集MovieLens-20M 包含大約100萬個分數(shù)在1至5之間的評分。Book-Crossing包含了其社區(qū)內(nèi)的172 576個交互。Last-FM 包含1 872個用戶與3 846個項目的42 346次交互。由于實驗中需要將交互評級轉(zhuǎn)換為隱式表示,所以MovieLens-20M 的評級閾值設(shè)置為4;Book-Crossing和Last-FM由于數(shù)據(jù)稀疏,不設(shè)置閾值。閾值處理后的數(shù)據(jù)集構(gòu)成用戶交互矩陣,其中,標記為1的條目表示用戶的正評級,0表示負評級。

實驗環(huán)境本次實驗基于Linux系統(tǒng),使用Python語言、TensorFlow 框架。所有數(shù)據(jù)集劃分訓練集、評估集和測試集的比率為6:2:2,平均每個實驗重復3次,每次訓練20 輪數(shù),統(tǒng)計平均性能。另外,一些主要的實驗參數(shù)設(shè)置如表3所示。

表3 模型參數(shù)

實體傳播部分設(shè)置圖譜的實體更新方式(Item_Update_Mode)為累加變換,實體嵌入權(quán)重(KGE_Weight)設(shè)置為默認值0.01;TransR 的嵌入維度(Dim_Rip)必須與GCN 聚合的嵌入維度(Dim)保持一致,以防止用戶嵌入和項目嵌入的維度不匹配問題;每個波紋集大小(N_Memory)的初始設(shè)置為32;實體傳播的最遠距離(N_Hop)設(shè)置為2。GCN聚合器設(shè)置的默認值是Neighbor聚合方法。另外,項目聚合的最遠距離(N_Iter)、正則化損失權(quán)重(L2_Weight)、學習率(LR)設(shè)置的默認值均為不同數(shù)據(jù)集測試的最佳值。

2.2 方法驗證與結(jié)果分析

為了驗證本文方法的性能,使用指標曲線下面積(AUC)和精確率(ACC)來評價模型性能。AUC計算如式(15)所示。

其中,rankinsi表示第i個項目的序號,M和N分別為正、負樣本的個數(shù)。ACC 計算如式(16)所示。

其中,TP 為真正例,FP 為假正例,TN 為真反例,FN 為假反例,TP+FP+TN+FN 表示所有樣本的數(shù)量。

為驗證本文方法的有效性,與Lib FM、Wide&Deep、PER 等10種模型進行了對比實驗,結(jié)果如表4所示。

表4 實驗結(jié)果對比分析

本文模型同表中其他各類推薦模型相比,推薦性能顯著提升。經(jīng)分析可得,各類模型的平均性能在電影數(shù)據(jù)集中比在書籍和音樂數(shù)據(jù)集上更優(yōu),是因為Movie Lens-20M 的數(shù)據(jù)更稠密,用戶特征空間表示更充分。Lib FM 與Wide&Deep分別基于神經(jīng)網(wǎng)絡(luò)和深度學習方法,在三個數(shù)據(jù)集上均表現(xiàn)良好,但是在實際場景中,此類模型的性能會因為數(shù)據(jù)稀疏和冷啟動問題而迅速降低。CKE 為協(xié)同知識庫推薦方法,利用知識圖譜擴充用戶特征,相比傳統(tǒng)協(xié)同方法Lib FM、Wide&Deep 等,性能大幅提升。SHINE與CKE原理類似,都是通過擴充特征空間實現(xiàn)推薦概率預測。與本文模型相比,SHINE 與CKE僅擴充用戶嵌入表示,沒有重視用戶和項目關(guān)系的重要性,ACC降低約7%～13%。DKN 在三個數(shù)據(jù)集中表現(xiàn)最差,因為DKN 的主要任務(wù)是提取高質(zhì)量的原始特征,所以在新聞數(shù)據(jù)集中,性能才存在優(yōu)勢。RippleNet模型的綜合指標相比基于嵌入的模型SHINE、CKE、DKN 和基于路徑的模型PER 性能更優(yōu),因為RippleNet屬于混合模型,融合了嵌入和路徑兩類推薦方法的優(yōu)點。KGAT 使用GCN 同時探索了用戶和項目的表示,但是模型訓練質(zhì)量較差,AUC 和ACC 分別降低約2%。KGNN-LS將GNN 應(yīng)用于推薦,獨特的圖嵌入方法可探索每個項目的交互,在各類數(shù)據(jù)集上的性能均較高。KGPolicy首次在知識圖譜中執(zhí)行負采樣策略,在Movie Lens-20M 中的ACC超過此模型,證明了負信號對推薦性能提升的重要性。本文模型的AUC和ACC相比其他所有模型在Movie Lens-20M中提升區(qū)間為0.4%～17.1%、-0.7%～20.9%;在Book-Crossing 中 提 升 區(qū) 間 為0.8% ～13.9%、0.6%～9.6%;在Last-FM 中提升區(qū)間為1.4%～ 15.5%、1.1%～13.4%。相比之下,本文模型在獲取用戶嵌入和項目嵌入時皆利用注意力機制,使用戶和項目的特征空間得以擴充,用戶興趣得以充分挖掘。實驗數(shù)據(jù)顯示的推薦性能的大幅提升,證明了模型的可行性。

聚合方法對模型的影響為了證明本文模型使用的Sum 聚合方式和GCN 聚合各類方法對模型的影響,分別對Sum 與Neighbor、Concat、Avg 方法進行實驗對比,實驗結(jié)果如表5所示。

表5 GCN 聚合方法比較

其中,Method-Sum、Method-Neighbor、Method-Concat和Method-Avg是設(shè)置GCN 聚合器中聚合節(jié)點實體的四種方法。分析實驗結(jié)果可得,模型使用Sum 聚合在各個數(shù)據(jù)集中表現(xiàn)最優(yōu),因為相比Neighbor聚合,Sum 不僅包含鄰域特征,還含有本身實體的特征,不會造成信息丟失。相比Avg和Concat方式聚合,Sum 所具有的側(cè)重性計算特點能間接捕捉用戶的個性化偏好和知識圖譜的語義特征,更有利于推薦。

數(shù)據(jù)稀疏和冷啟動對模型的影響為了驗證對數(shù)據(jù)稀疏和冷啟動問題的應(yīng)對能力,選用稠密程度不同的數(shù)據(jù)集MovieLens-1M 和MovieLens-20M做對比實驗,并統(tǒng)計性能變化。選用Wide&Deep和LibFM 方法對比,實驗結(jié)果如表6所示。

表6 MovieLens-1M 與MovieLens-20M 的實驗結(jié)果

Movie Lens-1M 與Moview Lens-20M 同屬電影數(shù)據(jù)集,Movie Lens-1M 含有6 036個項目和2 045項目的753 772 次交互;Moview Lens-20M 包含138 159個用戶與16 954個項目的13 501 622次交互,明顯MovieLens-20M 的數(shù)據(jù)更為稠密。比較兩個數(shù)據(jù)集上模型的指標不難看出,本文模型在數(shù)據(jù)量降低時,AUC分別下降0.040和0.038,下降幅度相對其余兩個模型更小,證明了基于知識圖譜的推薦模型可以更好地解決數(shù)據(jù)稀疏問題。相比協(xié)同過濾、因式分解機、深度網(wǎng)絡(luò)等推薦模型,本文模型在數(shù)據(jù)冷啟動時,可以利用知識圖譜提供的額外實體推薦候選項,不會因為冷啟動而導致新用戶推薦內(nèi)容為空的問題。

另外,實驗還探索了聚合和傳播模塊的應(yīng)用位置對模型的影響。將傳播模塊用于項目嵌入表示和將聚合模塊用于用戶嵌入表示,實驗結(jié)果說明兩者偏差不大,且本文模型的性能更優(yōu)。

3 總結(jié)

本文提出的融合用戶-項目的鄰居實體表示推薦方法,結(jié)合實體傳播與聚合獲取用戶和候選項嵌入表示,其注意力機制可以針對用戶和項目關(guān)系,選擇性地匯集圖譜中目標實體的領(lǐng)域信息,挖掘更深層的用戶興趣。且本文模型采用負采樣策略,過濾了噪聲數(shù)據(jù),為模型訓練提供優(yōu)質(zhì)的負信號。經(jīng)驗證,本文模型相比傳統(tǒng)模型性能提升顯著。

在今后的工作中,首先,將聚焦于捕獲每一個用戶和項目之間的細粒度關(guān)系,獲取用戶的高階偏好信息。其次,采用基于知識圖譜的負采樣策略,選用GNN 網(wǎng)絡(luò)提取特征,提升推薦性能。