王永貴，時(shí)啟文

結(jié)合異構(gòu)關(guān)系增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)的社交推薦

王永貴，時(shí)啟文*

（遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105）（ ? 通信作者電子郵箱1942705048@qq.com）

社交推薦旨在利用用戶的社會(huì)屬性推薦潛在的感興趣項(xiàng)目，有效緩解了數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題。然而現(xiàn)有的社交推薦算法主要面向單一社交關(guān)系進(jìn)行研究，社會(huì)屬性難以充分參與計(jì)算，存在未能合理利用社會(huì)異構(gòu)關(guān)系和節(jié)點(diǎn)特征表示質(zhì)量不高的問(wèn)題，為此提出一種結(jié)合異構(gòu)關(guān)系增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)的社交推薦模型（HR-GNN）。HR?GNN利用圖卷積網(wǎng)絡(luò)（GCN）聚合用戶和項(xiàng)目節(jié)點(diǎn)信息，生成查詢嵌入以查詢節(jié)點(diǎn)信息；通過(guò)將抽樣概率與鄰居節(jié)點(diǎn)之間的一致性分?jǐn)?shù)相結(jié)合的鄰居抽樣策略挖掘社會(huì)異構(gòu)關(guān)系；用自注意力機(jī)制聚合節(jié)點(diǎn)信息以提高用戶和項(xiàng)目特征表示的質(zhì)量。在兩個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明，所提算法在平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）兩個(gè)指標(biāo)上相較于基準(zhǔn)算法均有明顯改進(jìn)，在Ciao數(shù)據(jù)集上它們分別至少降低了1.80%和1.35%，在Epinions數(shù)據(jù)集上則分別至少降低了2.80%和3.18%，驗(yàn)證了HR-GNN的有效性。

社交推薦；圖卷積網(wǎng)絡(luò)；鄰居抽樣；注意力機(jī)制；網(wǎng)絡(luò)嵌入

0 引言

推薦系統(tǒng)旨在為目標(biāo)用戶推薦潛在的感興趣項(xiàng)目，可以帶來(lái)巨大的商業(yè)利益。然而，由于數(shù)據(jù)量大、信息復(fù)雜等原因造成收集數(shù)據(jù)的成本過(guò)高，且用戶和項(xiàng)目有效交互數(shù)據(jù)稀疏，推薦性能并不理想。為提高推薦的精度，許多模型利用社交網(wǎng)絡(luò)來(lái)合并更多有用的信息，比如，把用戶的好友或信任等關(guān)系［1］作為輔助信息與用戶-項(xiàng)目交互相融合，以提高推薦性能并解決冷啟動(dòng)和數(shù)據(jù)稀疏性問(wèn)題，這被定義為社交推薦。

如今，許多平臺(tái)將項(xiàng)目推薦和社交網(wǎng)絡(luò)服務(wù)（Social Network Service， SNS）集成在一起，這些平臺(tái)上的用戶可以單擊項(xiàng)目或?qū)?xiàng)目進(jìn)行評(píng)分以及與朋友互動(dòng)。因此，研究社交網(wǎng)絡(luò)以提高推薦質(zhì)量的問(wèn)題得到了廣泛關(guān)注。目前，推薦系統(tǒng)融合社交信息的核心挑戰(zhàn)是：如何將用戶-用戶交互關(guān)系結(jié)合到協(xié)同過(guò)濾場(chǎng)景中，并在用戶和項(xiàng)目之間進(jìn)行交互式學(xué)習(xí)。傳統(tǒng)的社交推薦方法在利用用戶的社交信息對(duì)矩陣分解框架進(jìn)行正則化方面取得了重要進(jìn)展［2］，它通過(guò)分析用戶和項(xiàng)目的互動(dòng)關(guān)系，把用戶-項(xiàng)目評(píng)分矩陣分解成兩個(gè)低秩矩陣，得出用戶偏好并完成推薦，但并沒(méi)有較好地解決數(shù)據(jù)稀疏性問(wèn)題。隨著深度學(xué)習(xí)技術(shù)的興起，探索圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）［3-6］結(jié)構(gòu)以增強(qiáng)信息利用的推薦模型得到廣泛研究，它將用戶-用戶社交關(guān)系和用戶-項(xiàng)目評(píng)分?jǐn)?shù)據(jù)用圖結(jié)構(gòu)來(lái)表示以挖掘用戶和項(xiàng)目交互關(guān)系。

圖1　異構(gòu)關(guān)系交互示意圖

本文的主要工作如下：

1）分析用戶和項(xiàng)目的多樣性，利用圖卷積網(wǎng)絡(luò)（Graph Convolutional Network， GCN）聚合用戶和項(xiàng)目的節(jié)點(diǎn)信息，學(xué)習(xí)用戶和項(xiàng)目表征，以構(gòu)造查詢嵌入模塊查詢關(guān)系一致性鄰居節(jié)點(diǎn)。

2）采用鄰居抽樣策略選擇用戶和項(xiàng)目的一致性鄰居節(jié)點(diǎn)來(lái)挖掘社會(huì)異構(gòu)關(guān)系，并通過(guò)自注意力（self-attention）機(jī)制聚合上下文關(guān)系一致的信息加強(qiáng)節(jié)點(diǎn)特征表示。

3）在兩個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，HR-GNN優(yōu)于基準(zhǔn)方法，驗(yàn)證了HR-GNN模型的有效性。

1 相關(guān)工作

1.1　基于深度學(xué)習(xí)的社交推薦模型

隨著深度學(xué)習(xí)技術(shù)的興起，開(kāi)發(fā)基于神經(jīng)網(wǎng)絡(luò)的社交推薦得到廣泛關(guān)注。將深度學(xué)習(xí)技術(shù)應(yīng)用到推薦系統(tǒng)中，可以從用戶-項(xiàng)目交互信息中提取更多的隱藏信息［9-10］。比如Bahdanau等［11］引入轉(zhuǎn)移神經(jīng)網(wǎng)絡(luò)對(duì)社交領(lǐng)域和項(xiàng)目領(lǐng)域之間的相互作用進(jìn)行建模，能捕獲復(fù)雜的非線性信息；Wu等［12］通過(guò)用戶嵌入的分層傳播，用神經(jīng)擴(kuò)散來(lái)近似用戶之間的社會(huì)影響力，有效捕捉了高階用戶關(guān)系和潛在特征。但是這些方法沒(méi)有區(qū)分社會(huì)影響力強(qiáng)度，將朋友關(guān)系看作同等影響力，會(huì)導(dǎo)致用戶偏好出現(xiàn)偏差。之后Chen等［13］將神經(jīng)網(wǎng)絡(luò)與注意力相結(jié)合，提出了一個(gè)兩階段注意力框架捕捉用戶之間的關(guān)系，并動(dòng)態(tài)地衡量用戶好友的社會(huì)影響力強(qiáng)度。EATNN（Efficient Adaptive Transfer Neural Network）［14］在注意力的基礎(chǔ)上，通過(guò)遷移學(xué)習(xí)自適應(yīng)地學(xué)習(xí)用戶偏好關(guān)系。上述方法在評(píng)分預(yù)測(cè)方面取得了顯著效果，但是推薦系統(tǒng)中的大部分?jǐn)?shù)據(jù)本質(zhì)上可以視為圖數(shù)據(jù)，GNN具有強(qiáng)大的圖表分析能力，更適用于分析網(wǎng)絡(luò)數(shù)據(jù)和社會(huì)依賴關(guān)系，且GNN的信息傳播和更新機(jī)制與社交網(wǎng)絡(luò)中的社會(huì)影響關(guān)系十分相近，因此最近的研究開(kāi)始將GNN引入基于社交關(guān)系的推薦系統(tǒng)中。

1.2　基于GNN的社交推薦模型

GNN是一種從卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）和圖嵌入思想的啟發(fā)中拓展出的新型神經(jīng)網(wǎng)絡(luò)，可以通過(guò)節(jié)點(diǎn)間的消息傳播捕捉圖上的依賴關(guān)系，即迭代聚合鄰域信息，并整合聚合后的信息與當(dāng)前節(jié)點(diǎn)的表示［15-17］。早期的基于GNN的研究方法主要集中在一階鄰居的建模影響上，例如，GraphRec［18］分別在社交圖和用戶-項(xiàng)目圖提取用戶和項(xiàng)目特征，以全面了解用戶和項(xiàng)目的嵌入；最近的研究探索了高階影響，例如，DiffNet++［19］將推薦任務(wù)轉(zhuǎn)化為一個(gè)以社交網(wǎng)絡(luò)和興趣網(wǎng)絡(luò)為輸入的異構(gòu)圖，結(jié)合多層注意力和GCN來(lái)學(xué)習(xí)節(jié)點(diǎn)嵌入；Danser［20］加入圖注意力（Graph ATtention， GAT）采用遺傳算法學(xué)習(xí)用戶/項(xiàng)目的靜態(tài)和動(dòng)態(tài)嵌入向量。然而，這些方法不能有效地處理信息多樣性問(wèn)題，在現(xiàn)實(shí)生活中，社交關(guān)系和用戶對(duì)項(xiàng)目的評(píng)分是動(dòng)態(tài)變化的，為了解決這一問(wèn)題，Luo等［21］通過(guò)堆疊Rec-conv層動(dòng)態(tài)地提取和融合社交關(guān)系、用戶評(píng)分和項(xiàng)目評(píng)分因素，并利用注意力聚合用戶和項(xiàng)目多樣性信息；Xu等［22］重構(gòu)GNN捕捉用戶關(guān)系的局部和全局上下文信息，從用戶-項(xiàng)目交互中自動(dòng)提取多關(guān)系協(xié)同信息。

盡管上述解決方案取得了顯著成效，但并未考慮社會(huì)異構(gòu)關(guān)系對(duì)用戶偏好的影響。針對(duì)此問(wèn)題，受文獻(xiàn)［21-25］工作的啟發(fā)，提出HR-GNN模型，通過(guò)GCN聚合多樣性社交因素，構(gòu)建查詢方法區(qū)分上下文關(guān)系一致的鄰居節(jié)點(diǎn)，加強(qiáng)對(duì)節(jié)點(diǎn)信息的學(xué)習(xí)能力，并利用鄰居抽樣和自注意力為鄰居節(jié)點(diǎn)分配重要度因子，增強(qiáng)模型的學(xué)習(xí)能力，進(jìn)而提高推薦性能。

2 HR?GNN模型

2.1　符號(hào)定義

2.2　模型概述

圖2　HR-GNN模型框架

2.3　圖卷積層

2.3.1用戶特征

1）用戶社交向量。

通過(guò)應(yīng)用GCN在社交圖中傳播節(jié)點(diǎn)信息提取用戶社交關(guān)系得到社交向量，它的形式可定義為：

其中：是第l層的用戶編碼表示；是要提取的用戶社交因素；表示非線性激活函數(shù)；是特定層的線性變換矩陣；是鄰接矩陣；是單位矩陣；是有自連接的鄰接矩陣；表示的對(duì)角節(jié)點(diǎn)度矩陣，采用對(duì)稱歸一化策略，通過(guò)運(yùn)算進(jìn)行鄰域信息聚合。經(jīng)過(guò)圖卷積計(jì)算，可以將用戶鄰居的影響力聚集到目標(biāo)社會(huì)因素中。

2）用戶評(píng)分向量。

3）對(duì)用戶特征的聚合。

2.3.2項(xiàng)目特征

在生成項(xiàng)目的潛在向量時(shí)，不僅要考慮項(xiàng)目自身的嵌入情況，還要考慮用戶對(duì)項(xiàng)目的評(píng)分因素。

1）項(xiàng)目評(píng)分向量。

項(xiàng)目評(píng)分向量聚合了項(xiàng)目的歷史評(píng)分，與第2.3.1節(jié)中的用戶評(píng)分向量類似，采用了通道的GCN濾波器對(duì)個(gè)不同的評(píng)分值進(jìn)行聚合。第一個(gè)通道的項(xiàng)目評(píng)分向量為：

2）對(duì)項(xiàng)目特征的聚合。

綜上所述，在每個(gè)Rec-conv層中，動(dòng)態(tài)地將用戶社交向量、用戶評(píng)分向量、項(xiàng)目評(píng)分向量聚集到用戶嵌入和項(xiàng)目嵌入中，可以有效獲取用戶和項(xiàng)目的多樣化信息。

2.4　查詢層

2.5　鄰居抽樣層

2.6　注意力層

2.7　評(píng)分預(yù)測(cè)層

2.8　算法流程

算法1 HR-GNN學(xué)習(xí)過(guò)程。

1）初始化神經(jīng)網(wǎng)絡(luò)中的各種參數(shù)

2） for每次迭代過(guò)程do

7） End for

8） 根據(jù)式（11）～（13）更新用戶和項(xiàng)目嵌入向量

10） End for

第1）行初始化模型的各種參數(shù)；在每次迭代訓(xùn)練中分構(gòu)造信息和更新信息兩個(gè)階段，第3）～7）行構(gòu)造節(jié)點(diǎn)信息，第8）行分析節(jié)點(diǎn)間異構(gòu)關(guān)系并更新節(jié)點(diǎn)信息；第9）行計(jì)算評(píng)分預(yù)測(cè)值。

3 實(shí)驗(yàn)與結(jié)果分析

3.1　實(shí)驗(yàn)設(shè)置

3.1.1數(shù)據(jù)集及預(yù)處理

HR-GNN使用了兩個(gè)真實(shí)數(shù)據(jù)集。數(shù)據(jù)集中的數(shù)據(jù)分別從流行的消費(fèi)者評(píng)論網(wǎng)站Ciao［18］和Epinions［24］收集，這兩個(gè)數(shù)據(jù)集中的用戶可以對(duì)項(xiàng)目進(jìn)行評(píng)分、瀏覽、評(píng)論。不同的推薦系統(tǒng)中，評(píng)分值的設(shè)定不同，本文根據(jù)Ciao和Epinions的設(shè)置，將評(píng)分值設(shè)定為｛1，2，3，4，5｝，評(píng)分越高表示越喜歡。在數(shù)據(jù)處理過(guò)程中，刪除了沒(méi)有社交關(guān)系的用戶。表1列出了數(shù)據(jù)集有關(guān)統(tǒng)計(jì)項(xiàng)目的內(nèi)容。

表1　數(shù)據(jù)集統(tǒng)計(jì)結(jié)果

3.1.2評(píng)價(jià)指標(biāo)

HR-GNN模型采用平均絕對(duì)誤差（Mean Absolute Error， MAE）和均方根誤差（RMSE）作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)。

MAE用于評(píng)估推薦系統(tǒng)預(yù)測(cè)的評(píng)級(jí)與用戶給出的評(píng)級(jí)之間的差異，公式如下：

RMSE用于計(jì)算評(píng)級(jí)預(yù)測(cè)中較大誤差之間的差異，計(jì)算公式如下：

3.1.3參數(shù)設(shè)置

HR-GNN在Python庫(kù)PyTorch2的基礎(chǔ)上實(shí)現(xiàn)了本文方法。對(duì)于每個(gè)數(shù)據(jù)集，使用%作為學(xué)習(xí)參數(shù)的訓(xùn)練集，使用（1-%）/2作為驗(yàn)證集來(lái)調(diào)整超參數(shù)，并使用（1-%）/2作為最終性能比較的測(cè)試集，其中取值為｛60，80｝，實(shí)驗(yàn)過(guò)程選擇使用60%作為訓(xùn)練集；分別在｛8，16，32，64，128，256｝和｛32，64，128，256，512｝范圍內(nèi)選擇嵌入維度大小和訓(xùn)練批次大小；學(xué)習(xí)率設(shè)定為0.000 5，激活函數(shù)使用ReLU，堆疊兩層Rec-conv（包含GCN結(jié)構(gòu)和ReLU激活函數(shù)）。在所有實(shí)驗(yàn)中都使用了提前終止策略，即如果驗(yàn)證集上的RMSE在5輪之內(nèi)沒(méi)有改善，則停止訓(xùn)練。對(duì)于所有的神經(jīng)網(wǎng)絡(luò)方法，采用高斯分布隨機(jī)地初始化模型參數(shù)，其中均值和標(biāo)準(zhǔn)差分別為0和0.1。對(duì)于基線模型，按照原文獻(xiàn)中的說(shuō)明調(diào)整超參數(shù)，并記錄最佳結(jié)果。

3.2　對(duì)比模型和性能評(píng)估

3.2.1對(duì)比模型

為了驗(yàn)證模型的有效性，將HR-GNN與最具代表性的方法進(jìn)行對(duì)比，對(duì)比模型包括傳統(tǒng)推薦算法和基于深度學(xué)習(xí)的推薦算法。

1）傳統(tǒng)推薦算法。PMF［27］、SocialMF［28］和SoReg［2］是基于矩陣分解的傳統(tǒng)推薦算法：PMF是傳統(tǒng)矩陣分解算法，SocialMF和SoReg是加入社會(huì)關(guān)系正則化的社交推薦算法。

2）基于深度學(xué)習(xí)的推薦算法。包括基于注意力機(jī)制的算法（SAMN［13］、EATNN［14］）和基于GNN的算法（GraphRec［18］、Danser［20］、ASR［21］、ConsisRec［23］）。

本文模型不涉及與TOP-推薦方法的比較，例如DiffNet，因?yàn)門(mén)OP-推薦的目標(biāo)是為用戶檢索或排名個(gè)項(xiàng)目，而不是直接預(yù)測(cè)用戶-項(xiàng)目評(píng)分值。

1）PMF：基于矩陣分解的模型，通過(guò)高斯分布對(duì)用戶和項(xiàng)目的隱因子進(jìn)行建模，突破了傳統(tǒng)協(xié)同過(guò)濾的限制。

2）SoReg：利用社會(huì)正則化將社交網(wǎng)絡(luò)信息建模為正則化項(xiàng)，以約束矩陣因式分解框架，解決了信任感知問(wèn)題。

3）SocialMF：將信任關(guān)系融入矩陣分解架構(gòu)中，捕捉推薦場(chǎng)景中的社交現(xiàn)象。

4）SAMN：將神經(jīng)網(wǎng)絡(luò)與注意力相結(jié)合，提出了一個(gè)兩階段注意力框架捕捉用戶之間的關(guān)系，并動(dòng)態(tài)地衡量用戶好友的社會(huì)影響力強(qiáng)度。

5）EATNN：該方法建立在基于注意力的轉(zhuǎn)移神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)遷移學(xué)習(xí)自適應(yīng)地捕捉社會(huì)領(lǐng)域和項(xiàng)目領(lǐng)域之間的相互作用關(guān)系。

6）GraphRec：初次考慮將注意力機(jī)制與GNN相結(jié)合來(lái)學(xué)習(xí)社交圖和用戶-項(xiàng)目圖中的用戶和項(xiàng)目嵌入，并結(jié)合一階鄰居獲取節(jié)點(diǎn)信息。

7）Danser：首次使用成對(duì)的圖注意力（GAT）捕獲用戶/項(xiàng)目的動(dòng)態(tài)或者靜態(tài)特征，實(shí)現(xiàn)了動(dòng)態(tài)和靜態(tài)特征的融合。

8）ASR：提出利用GCN和注意力機(jī)制分析用戶和項(xiàng)目特征的多樣性，并將這些特征聚合到用戶和項(xiàng)目嵌入向量中。

9）ConsisRec：構(gòu)造異構(gòu)圖捕獲全局上下文信息，突破了捕捉高階信息的限制，并強(qiáng)調(diào)了節(jié)點(diǎn)關(guān)系的重要性。

3.2.2性能評(píng)估

為保證實(shí)驗(yàn)結(jié)果的穩(wěn)定性，對(duì)于本文HR-GNN模型進(jìn)行5次訓(xùn)練、驗(yàn)證之后取均值作為實(shí)驗(yàn)結(jié)果，結(jié)果如表2所示，表現(xiàn)最好的結(jié)果用粗體標(biāo)出。

表2　HR-GNN模型運(yùn)行5次的均值結(jié)果

將HR-GNN模型與基線模型在Ciao和Epinions兩個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表3所示，表現(xiàn)最好的結(jié)果仍用粗體標(biāo)出，次優(yōu)結(jié)果用下畫(huà)線表示。

分析表3中的實(shí)驗(yàn)數(shù)據(jù)得出以下結(jié)論：

SocialMF和SoReg將社交圖作為附加信息，把社會(huì)關(guān)系與矩陣分解相結(jié)合，取得的效果比未考慮社會(huì)關(guān)系的傳統(tǒng)矩陣分解算法PMF更優(yōu)。對(duì)這兩類模型進(jìn)行比較，驗(yàn)證了社交圖作為輔助信息可以提高推薦性能。

SAMN和EATNN模型引入了注意力機(jī)制，利用注意力衡量用戶好友的影響力，兩者性能優(yōu)于僅考慮社會(huì)關(guān)系的SocialMF和SocReg模型。這兩類模型的對(duì)比，驗(yàn)證了社會(huì)影響力強(qiáng)度的重要性。另外，EATNN引入了遷移學(xué)習(xí)，自適應(yīng)地學(xué)習(xí)用戶偏好關(guān)系，它的性能優(yōu)于SAMN。

將使用注意力機(jī)制的模型（SAMN、EATNN）和基于GNN的模型（GraphRec、Danser、ASR、ConsisRec）進(jìn)行對(duì)比，后者的推薦性能明顯優(yōu)于前者。這揭示了使用加權(quán)求和聚集高階依賴的局限性，表明GNN在分析社交依賴關(guān)系方面更占優(yōu)勢(shì)。

ConsisRec模型考慮了節(jié)點(diǎn)間關(guān)系的異構(gòu)型，比將社會(huì)關(guān)系看成同等重要度的GraphRec模型和考慮高階節(jié)點(diǎn)關(guān)系的Danser模型效果更好。

ASR分析了節(jié)點(diǎn)交互的多樣性，挖掘出了更豐富的社交信息，故性能比GraphRec、Danser和ConsisRec更優(yōu)。

總體而言，捕捉豐富的節(jié)點(diǎn)信息對(duì)性能提高至關(guān)重要。從實(shí)驗(yàn)結(jié)果可以看出，HR-GNN模型相較于其他模型更具競(jìng)爭(zhēng)力，因?yàn)镠R-GNN在利用GCN分析用戶和項(xiàng)目多樣性的同時(shí)，增加了處理社會(huì)不一致關(guān)系的能力，表明了聚合一致性鄰居對(duì)推薦性能有很大提升。

表3　兩個(gè)數(shù)據(jù)集上不同模型的實(shí)驗(yàn)結(jié)果

3.3　消融實(shí)驗(yàn)

為了驗(yàn)證本文的查詢嵌入和鄰居抽樣對(duì)模型推薦性能提升的有效性，設(shè)計(jì)消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4　HR-GNN模型的消融實(shí)驗(yàn)結(jié)果

由圖4可以得出以下結(jié)論：

1）模型HR-GNN_A移除了查詢層，在查詢節(jié)點(diǎn)信息時(shí)直接使用卷積聚合后的用戶嵌入而不是查詢嵌入來(lái)選擇相應(yīng)的鄰居。使用查詢嵌入的HR-GNN模型較未考慮異構(gòu)關(guān)系的HR-GNN_A模型在兩個(gè)數(shù)據(jù)集上的算法性能均有提升。在Ciao數(shù)據(jù)集上，HR-GNN算法的MAE和RMSE指標(biāo)分別降低了1.77%和2.30%；在Epinions數(shù)據(jù)集上，HR-GNN算法的MAE和RMSE指標(biāo)分別降低了2.38%和1.41%。由此可知，本文構(gòu)建查詢模塊可以有效分析節(jié)點(diǎn)依賴關(guān)系，建模用戶之間的相關(guān)性，提高模型的推薦性能。

2）模型HR-GNN_B移除了鄰居抽樣層，在進(jìn)行鄰居采樣時(shí)聚合了節(jié)點(diǎn)的所有鄰居。實(shí)驗(yàn)結(jié)果表明，使用鄰居抽樣的HR-GNN模型與未考慮聚合關(guān)系一致性鄰居的HR-GNN_B模型相比，在兩個(gè)數(shù)據(jù)集上的效果均有明顯改善。以MAE和RMSE為衡量指標(biāo)，HR-GNN模型在Ciao數(shù)據(jù)集上分別降低了4.38%和3.95%，在Epinions數(shù)據(jù)集的性能分別降低了4.97%和3.34%，驗(yàn)證了選擇一致性鄰居的重要性。

3）模型HR-GNN_C移除了注意力機(jī)制，為具有不同關(guān)系的邊賦予了相同的權(quán)重。區(qū)分社會(huì)影響力強(qiáng)度的HR-GNN模型與之相比，在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果更優(yōu)，推薦性能得到了改善，說(shuō)明衡量社會(huì)影響力強(qiáng)度可以提升算法的有效性。

3.4　超參數(shù)的影響

由圖5可以看出，隨著值的增加，HR-GNN模型在兩個(gè)數(shù)據(jù)集上的性能不斷變化，在Ciao數(shù)據(jù)集上值為24時(shí)性能最佳，在Epinions數(shù)據(jù)集上值為26時(shí)性能最佳；達(dá)到峰值后，性能會(huì)隨著值的增加開(kāi)始逐步下降。由此可知，較小的嵌入維度不足以表示節(jié)點(diǎn)信息，而較大的嵌入維度會(huì)導(dǎo)致過(guò)擬合問(wèn)題。

圖5　嵌入維度對(duì)模型性能的影響

3.5　效率分析

本節(jié)主要對(duì)HR-GNN模型的效率進(jìn)行分析，并從時(shí)間復(fù)雜度和空間復(fù)雜度兩個(gè)角度分析了該模型的有效性。

由表4可以看出，與其他模型相比，HR-GNN模型的訓(xùn)練效率更高，主要原因是：該模型只在鄰居節(jié)點(diǎn)學(xué)習(xí)用戶和項(xiàng)目特征，且模型中的圖神經(jīng)網(wǎng)絡(luò)不依賴整個(gè)圖，降低了模型計(jì)算的復(fù)雜度。因此，HR-GNN模型不僅在性能上有所提升，在訓(xùn)練效率上也具有競(jìng)爭(zhēng)力。

為分析模型的空間復(fù)雜度情況，在Ciao數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)獲取不同模型的參數(shù)量、模型大小和運(yùn)行時(shí)占用的內(nèi)存量，實(shí)驗(yàn)結(jié)果如表5所示。由表5可知，模型大小和占用內(nèi)存量與模型參數(shù)量有關(guān)，說(shuō)明模型的空間復(fù)雜度與參數(shù)量有關(guān)。HR-GNN模型由于增加了計(jì)算節(jié)點(diǎn)關(guān)系的任務(wù)，所以參數(shù)量和占用內(nèi)存量會(huì)有所增加，但與基線模型相差較小。綜合分析，HR-GNN模型穩(wěn)定、高效，在包含大量社會(huì)關(guān)系的真實(shí)社交推薦場(chǎng)景中更為合適，具有一定優(yōu)勢(shì)。

表4　不同模型在兩個(gè)數(shù)據(jù)集上的平均訓(xùn)練時(shí)間

表5　不同模型的參數(shù)量分析

4 結(jié)語(yǔ)

本文提出了結(jié)合異構(gòu)關(guān)系增強(qiáng)GNN的社交推薦模型HR-GNN，分析了用戶之間的全局依賴關(guān)系和關(guān)系一致的用戶對(duì)不同項(xiàng)目的偏好情況。HR-GNN設(shè)計(jì)了查詢模塊捕捉GCN聚合的社會(huì)依賴關(guān)系中一致性的鄰居節(jié)點(diǎn)，通過(guò)鄰居抽樣策略挖掘社會(huì)異構(gòu)關(guān)系，并利用自注意力機(jī)制提高節(jié)點(diǎn)特征表示質(zhì)量。實(shí)驗(yàn)結(jié)果表明，HR-GNN模型的性能優(yōu)于先進(jìn)的社交推薦模型，但僅利用了用戶對(duì)項(xiàng)目的評(píng)分信息，未來(lái)的工作可以將項(xiàng)目的文本描述和用戶評(píng)論整合到推薦框架中，以增強(qiáng)語(yǔ)義信息，進(jìn)而提高推薦性能。

[1] YANG B， LEI Y， LIU J， et al. Social collaborative filtering by trust［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1633-1647.

[2] JAMALI M， ESTER M. A matrix factorization technique with trust propagation for recommendation in social networks［C］// Proceedings of the 4th ACM Conference on Recommender Systems. New York： ACM， 2010： 135-142.

[3] ABADAL S， JAIN A， GUIRADO R， et al. Computing graph neural networks： a survey from algorithms to accelerators［J］. ACM Computing Surveys， 2022， 54（9）： No.191.

[4] FAN W， LI Q， CHENG M. Deep modeling of social relations for recommendation［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 8075-8076.

[5] LIU Z， DOU Y， YU P S， et al. Alleviating the inconsistency problem of applying graph neural network to fraud detection［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 1569-1572.

[6] LIU Z， LI X， FAN Z， et al. Basket recommendation with multi-intent translation graph neural network［C］// Proceedings of the 2020 IEEE International Conference on Big Data. Piscataway： IEEE， 2020： 728-737.

[7] KRASNOVA H， WIDJAJA T， BUXMANN P， et al. Research note — why following friends can hurt you： an exploratory investigation of the effects of envy on social networking sites among college-age users［J］. Information Systems Research， 2015， 26（3）： 585-605.

[8] SONG L， BI Y， YAO M， et al. DREAM： a dynamic relation-aware model for social recommendation［C］// Proceedings of the 29th ACM International Conference on Information and Knowledge Management. New York： ACM， 2020： 2225-2228.

[9] FU M， QU H， YI Z， et al. A novel deep learning-based collaborative filtering model for recommendation system［J］. IEEE Transactions on Cybernetics， 2019， 49（3）： 1084-1096..

[10] NI J， HUANG Z， CHENG J， et al. An effective recommendation model based on deep representation learning［J］. Information Sciences， 2021， 542： 324-342.

[11] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate［EB/OL］. （2016-05-19） ［2022-09-13］.https：//arxiv.org/pdf/1409.0473.pdf.

[12] WU L， SUN P， FU Y， et al. A neural influence diffusion model for social recommendation［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 235-244.

[13] CHEN C， ZHANG M， LIU Y， et al. Social attentional memory network： modeling aspect-and friend-level differences in recommendation［C］// Proceedings of the 12th ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 177-185.

[14] CHEN C， ZHANG M， WANG C， et al. An efficient adaptive transfer neural network for social-aware recommendation［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 225-234.

[15] GAO C， WANG X， HE X， et al. Graph neural networks for recommender system［C］// Proceedings of the 15th ACM International Conference on Web Search and Data Mining. New York： ACM， 2022： 1623-1625.

[16] WU S， SUN F， ZHANG W， et al. Graph neural networks in recommender systems： a survey［J］. ACM Computing Surveys， 2023， 55（5）： No.97.

[17] 黃立威，江碧濤，呂守業(yè)，等. 基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述［J］. 計(jì)算機(jī)學(xué)報(bào)， 2018， 41（7）：1619-1647.（HUANG L W， JIANG B T， LYU S Y， et al. Survey on deep learning based recommender systems［J］. Chinese Journal of Computers， 2018， 41（7）： 1619-1647.）

[18] FAN W， MA Y， LI Q， et al. Graph neural networks for social recommendation［C］// Proceedings of the 2019 World Wide Web Conference. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2019： 417-426.

[19] WU L， LI J， SUN P， et al. DiffNet++： a neural influence and interest diffusion network for social recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（10）： 4753-4766.

[20] WU Q， ZHANG H， GAO X， et al. Dual graph attention networks for deep latent representation of multifaceted social effects in recommender systems［C］// Proceedings of the 2019 World Wide Web Conference. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2019： 2091-2102.

[21] LUO D， BIAN Y， ZHANG X， et al. Attentive social recommendation： Towards user and item diversities［EB/OL］. ［2022-09-13］.https：//arxiv.org/pdf/2011.04797.pdf.

[22] XU H， HUANG C， XU Y， et al. Global context enhanced social recommendation with hierarchical graph neural networks［C］// Proceedings of the 2020 IEEE International Conference on Data Mining. Piscataway： IEEE， 2020： 701-710.

[23] YANG L， LIU Z， DOU Y， et al. ConsisRec： enhancing GNN for social recommendation via consistent neighbor aggregation［C］// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 2141-2145.

[24] CONG W， FORSATI R， KANDEMIR M， et al. Minimal variance sampling with provable guarantees for fast training of graph neural networks［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 1393-1403.

[25] ZENG H， ZHOU H， SRIVASTAVA A， et al. GraphSAINT： graph sampling based inductive learning method［EB/OL］. （2020-02-16） ［2022-09-13］.https：//arxiv.org/pdf/1907.04931.pdf.

[26] CHIANG W L， LIU X， SI S， et al. Cluster-GCN： an efficient algorithm for training deep and large graph convolutional networks［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 257-266.

[27] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization［C］// Proceedings of the 20th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2007： 1257-1264.

[28] MA H， ZHOU D， LIU C， et al. Recommender systems with social regularization［C］// Proceedings of the 4th ACM International Conference on Web Search and Data Mining. New York： ACM， 2011： 287-296.

Social recommendation by enhanced GNN with heterogeneous relationship

WANG Yonggui， SHI Qiwen*

（，，125105，）

Social recommendation aims to use users’ social attributes to recommend potential items of interest， which effectively alleviates the problems of data sparsity and cold start. However， the existing social recommendation algorithms mainly focus on studying a single social relationship， and social attributes are difficult to fully participate in calculations， so that there are problems of failure to fully explore social heterogeneous relationships and poor quality of node feature representation. Therefore， an enhanced GNN model for social recommendation with Heterogeneous Relationship （HR-GNN） was proposed. In HR-GNN， Graph Convolutional Network （GCN） was used to aggregate user and item node information to generate query embeddings for node information query； the social heterogeneity relationships were explored by neighbor sampling strategy that combines sampling probabilities with consistency scores among neighbor nodes； and the node information was aggregated by self-attention mechanism to improve the quality of user and item feature representation. Experimental results on two real-world datasets demonstrate that in comparison with baseline algorithms， the proposed algorithm has significant improvements in both Mean Absolute Error （MAE） and Root Mean Square Error （RMSE）， and they are reduced by at least 1.80% and 1.35% on Ciao dataset and at least 2.80% and 3.18% on Epinions dataset， verifying the effectiveness of HR-GNN model.

social recommendation; Graph Convolutional Network (GCN); neighbor sampling; attention mechanism; network embedding

1001-9081（2023）11-3464-08

10.11772/j.issn.1001-9081.2022111774

2022?11?28；

2023?03?22；

國(guó)家自然科學(xué)基金資助項(xiàng)目（61772249）。

王永貴（1967—），男，內(nèi)蒙古赤峰人，教授，碩士，CCF會(huì)員，主要研究方向：大數(shù)據(jù)、并行計(jì)算、數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘； 時(shí)啟文（1998—），女，河南商丘人，碩士研究生，主要研究方向：推薦系統(tǒng)

TP391

A

2023?03?23。

This work is partially supported by National Natural Science Foundation of China （61772249）.

WANG Yonggui， born in 1967， M. S.， professor. His research interests include big data， parallel computing， database， data mining.

SHI Qiwen， born in 1998， M. S. candidate. Her research interests include recommender system.