李建國, 馬文杰, 程俊偉,2, 湯 庸,2

(1. 華南師范大學(xué)計(jì)算機(jī)學(xué)院, 廣州 510631; 2. 琶洲實(shí)驗(yàn)室, 廣州 510330)

近年來,隨著大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展,基于協(xié)同過濾(Collaborative Filtering,CF)的推薦系統(tǒng)[1-3]被廣泛應(yīng)用在網(wǎng)絡(luò)服務(wù)(例如電商服務(wù)、短視頻服務(wù)、社交媒體)中,以緩解信息過載的問題,其關(guān)鍵在于提取用戶和項(xiàng)目的特征,進(jìn)而對用戶-項(xiàng)目的交互行為建模。但此類方法往往只針對用戶的單一行為進(jìn)行建模。在現(xiàn)實(shí)場景中,用戶與項(xiàng)目的交互方式往往是多路復(fù)用的。例如,電商平臺上的用戶對商品有瀏覽、購買和評分等交互行為;社交網(wǎng)絡(luò)上的用戶對新聞有瀏覽、點(diǎn)贊、收藏和轉(zhuǎn)發(fā)等交互行為。多行為推薦系統(tǒng)[4]在挖掘用戶歷史行為數(shù)據(jù)、分析用戶潛在偏好方面展現(xiàn)了一定的優(yōu)勢。因此,基于多種用戶-項(xiàng)目交互行為的多行為推薦系統(tǒng)被越來越多的研究人員所關(guān)注。

多行為推薦的早期研究多利用矩陣分解(Matrix Factorization,MF)技術(shù)[5]來使用多行為數(shù)據(jù),其核心思想是先通過分解評分矩陣來提取用戶和項(xiàng)目的向量表示,然后根據(jù)向量的相似度來進(jìn)行推薦。例如:ZHAO等[6]從用戶角度出發(fā),提出了SBSUM模型,對用戶主題興趣進(jìn)行建模,通過共享項(xiàng)目信息來執(zhí)行不同類型行為的矩陣分解;TANG等[7]整合了多種用戶反饋類型,提出在每種類型行為的多個(gè)矩陣分解任務(wù)中共享用戶嵌入,以優(yōu)化推薦性能。但此類方法以向量重構(gòu)交互矩陣為優(yōu)化目標(biāo),無法利用異構(gòu)信息網(wǎng)絡(luò)豐富的語義信息。

近年來,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)[8-9]作為一種基于深度學(xué)習(xí)的圖表示技術(shù),在多行為推薦系統(tǒng)中顯現(xiàn)出優(yōu)越的性能。有學(xué)者使用GNN來挖掘高階用戶-項(xiàng)目關(guān)系,并對節(jié)點(diǎn)執(zhí)行基于鄰域的特征聚合。例如:JIN等[10]提出了一種多行為圖卷積推薦模型(MBGCN),對用戶的多種類型行為進(jìn)行建模,并使用圖卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)行為感知嵌入傳播;XIA等[11]提出了GNMR模型,探索了用戶-項(xiàng)目交互圖,通過設(shè)計(jì)一個(gè)關(guān)系聚合網(wǎng)絡(luò)來模擬用戶-項(xiàng)目交互的異質(zhì)性,以捕獲用戶多行為數(shù)據(jù)中的異構(gòu)協(xié)作信號;WU等[12]提出了SaGCN模型,通過元路徑來構(gòu)建單獨(dú)的用戶-用戶圖和項(xiàng)目-項(xiàng)目圖,并應(yīng)用單獨(dú)的聚合函數(shù)來傳播用戶信息和項(xiàng)目信息?，F(xiàn)有的多行為推薦模型雖然已與圖神經(jīng)網(wǎng)絡(luò)有聯(lián)系,但是難以捕獲不同類型行為對用戶決策的影響強(qiáng)度,并且在用戶行為預(yù)測階段也未有效利用不同層次的圖傳播信息。

為了更好學(xué)習(xí)不同類型行為影響以及有效利用不同層次的圖傳播信息,本文針對學(xué)術(shù)社交網(wǎng)絡(luò)場景,即行為類型包含用戶點(diǎn)贊、瀏覽、轉(zhuǎn)發(fā)、收藏行為,設(shè)計(jì)了一個(gè)基于圖注意力網(wǎng)絡(luò)的多行為推薦算法(Multi-Behavior Recommendation Model Based on Graph Attention Network,GABR)。該算法在GraphSAGE基礎(chǔ)上改進(jìn)現(xiàn)有節(jié)點(diǎn)表示方法:先利用小批量采樣節(jié)點(diǎn)嵌入方法聚合同一行為類型領(lǐng)域節(jié)點(diǎn)信息,再使用注意力機(jī)制學(xué)習(xí)不同行為類型的影響權(quán)重,以增強(qiáng)節(jié)點(diǎn)嵌入表示。并拼接不同層次的圖傳播信息,利用每一階節(jié)點(diǎn)聚合表示,從而有效獲取高階圖傳播信息。最后,在3個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)和消融實(shí)驗(yàn)。

1 預(yù)備知識

1.1 GNN簡介

圖神經(jīng)網(wǎng)絡(luò)(GNN)是一種基于圖域的深度學(xué)習(xí)方法,由圖和神經(jīng)網(wǎng)絡(luò)兩部分組成。圖是一個(gè)具有廣泛含義的對象。例如:在計(jì)算機(jī)領(lǐng)域,圖是一種數(shù)據(jù)結(jié)構(gòu);在數(shù)據(jù)科學(xué)領(lǐng)域,圖被用于描述各類關(guān)系型數(shù)據(jù)。而神經(jīng)網(wǎng)絡(luò)是指由大量人工神經(jīng)元互相連接組成的網(wǎng)絡(luò)結(jié)構(gòu)模型。因此,圖神經(jīng)網(wǎng)絡(luò)也可以稱為使用神經(jīng)網(wǎng)絡(luò)模型來處理圖結(jié)構(gòu)數(shù)據(jù)的方法。由于其具有的出色性能,圖神經(jīng)網(wǎng)絡(luò)最近已成為一種廣泛應(yīng)用的圖分析方法。

圖卷積神經(jīng)網(wǎng)絡(luò)[13](Graph Convolution Networks,GCN)是GNN模型中最常用的運(yùn)算結(jié)構(gòu),其在架構(gòu)上使用固定數(shù)量的層,并在每層中設(shè)置不同權(quán)重來解決相互依賴關(guān)系。GCN可以歸納為2類:頻域方法和空域方法。前者通過從圖信號處理的角度引入濾波器來定義圖卷積[14],通過構(gòu)建頻率響應(yīng)矩陣來得到圖信號,其中圖卷積操作被解釋為從圖信號中去除噪聲。但由于矩陣特征分解耗時(shí)長,具有O(N3)的時(shí)間復(fù)雜度,所以頻域方法在工程實(shí)現(xiàn)上有一定的局限性。后者繼承了循環(huán)GNN的思想,通過信息傳播來定義圖卷積。該方法的主要挑戰(zhàn)是需要在不同大小的鄰域上定義卷積操作并保持卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的局部不變性。由于空域圖卷積可以直接在空間上定義卷積操作,因此空域GCN具有高效率、靈活性和通用性,并得以迅速發(fā)展。

1.2 注意力機(jī)制簡介

現(xiàn)實(shí)生活中的注意力是指人集中于某件事物的能力。神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制[15]與之類似,即關(guān)注事物的部分信息,忽略不重要的特征,重點(diǎn)計(jì)算有用的特征,進(jìn)而避免無用特征對擬合效果的干擾,有效提升了卷積神經(jīng)網(wǎng)絡(luò)的性能。注意力機(jī)制主要通過計(jì)算注意力分?jǐn)?shù)來實(shí)現(xiàn),其取值范圍在[0,1]之間。而注意力分?jǐn)?shù)可通過模型在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練得到,并使用Softmax函數(shù)對其歸一化處理。其實(shí)現(xiàn)思想可表述為:將具體任務(wù)看作Q、K、V3個(gè)角色(Q是需要查詢的任務(wù),K、V是對應(yīng)的鍵、值),任務(wù)目標(biāo)為使用Q在K中尋找對應(yīng)的V,計(jì)算公式如下:

(1)

圖注意力機(jī)制[16]則是將注意力機(jī)制應(yīng)用到圖神經(jīng)網(wǎng)絡(luò)中,通過學(xué)習(xí)鄰域節(jié)點(diǎn)的權(quán)重,實(shí)現(xiàn)對目標(biāo)節(jié)點(diǎn)的鄰域的加權(quán)聚合(圖1)。

圖1 圖注意力機(jī)制

具體來說,對于目標(biāo)節(jié)點(diǎn)i,首先計(jì)算每一鄰域節(jié)點(diǎn)與其的相似程度,計(jì)算公式如下:

eij=a(Whi‖Whj) (jNi),

(2)

其中:eij代表節(jié)點(diǎn)j對節(jié)點(diǎn)i的重要程度;Ni為節(jié)點(diǎn)i的鄰域節(jié)點(diǎn)集合;W為可學(xué)習(xí)參數(shù),目的是給節(jié)點(diǎn)特征增維,以實(shí)現(xiàn)特征增強(qiáng)效果;hi、hj為節(jié)點(diǎn)的特征表示;‖為拼接操作;a(·)為把拼接后的高維特征映射到一個(gè)實(shí)數(shù)的函數(shù)。

接下來,為了消除數(shù)據(jù)之間的量綱不同而造成的影響,使用Softmax函數(shù)對結(jié)果進(jìn)行歸一化處理:

(3)

其中,LeakyReLU(·)為激活函數(shù)。

最后,將得到的注意力系數(shù)與原特征進(jìn)行加權(quán)聚合,并使用一層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,可得到目標(biāo)節(jié)點(diǎn)融合鄰域節(jié)點(diǎn)信息的新特征,計(jì)算公式如下:

(4)

2 GABR多行為推薦模型

2.1 多行為推薦問題描述

在社交網(wǎng)絡(luò)中,用戶行為數(shù)據(jù)通常包含兩部分信息。一部分是用戶和項(xiàng)目的自身屬性。用戶屬性主要包含用戶ID、姓名、學(xué)歷學(xué)位、工作單位、職稱、研究方向和個(gè)人簡介等。項(xiàng)目屬性主要包含項(xiàng)目ID、新聞標(biāo)題、新聞內(nèi)容、發(fā)布時(shí)間、點(diǎn)贊量、轉(zhuǎn)發(fā)量和置頂時(shí)間等。另一部分是用戶與項(xiàng)目之間的多種類型行為的交互數(shù)據(jù),例如用戶對新聞動態(tài)產(chǎn)生的4類交互行為(瀏覽、點(diǎn)贊、轉(zhuǎn)發(fā)、收藏行為)數(shù)據(jù)。

綜上,本文研究的問題可表述如下:

輸入:用戶集U、項(xiàng)目集I、交互矩陣列表X。

輸出:預(yù)測用戶對項(xiàng)目偏好的概率,即用戶u將目標(biāo)行為(例如:點(diǎn)贊)帶到項(xiàng)目i的可能性。

2.2 GABR模型的總體框架

本文的目標(biāo)是挖掘用戶與項(xiàng)目多種交互行為中所含的信息,以預(yù)測用戶的偏好。受到圖卷積神經(jīng)網(wǎng)絡(luò)有效性的啟發(fā),如MBGCN模型[10]探索了用戶-項(xiàng)目交互圖,使用圖卷積神經(jīng)網(wǎng)絡(luò)來聚合鄰域節(jié)點(diǎn)的嵌入。本文從用戶嵌入和項(xiàng)目嵌入2個(gè)角度出發(fā)來構(gòu)建推薦模型,如圖2所示。GABR模型包含3個(gè)重要組件:(1)輸入嵌入層。該層為用戶節(jié)點(diǎn)和項(xiàng)目節(jié)點(diǎn)計(jì)算初始嵌入。(2)信息傳播層,該層是本模型的關(guān)鍵。首先,用戶節(jié)點(diǎn)聚合同一行為類型交互的鄰居項(xiàng)目節(jié)點(diǎn);接著,模型引入圖注意力機(jī)制,以學(xué)習(xí)不同類型行為的影響強(qiáng)度;隨后采用一層激活函數(shù)輸出該層用戶的嵌入表示。采用同樣的方法可得到項(xiàng)目節(jié)點(diǎn)的嵌入表示。(3)聯(lián)合預(yù)測層。經(jīng)過多層的GNN傳播,可得到節(jié)點(diǎn)的高階嵌入。GABR模型將多層節(jié)點(diǎn)的嵌入拼接,獲取用戶節(jié)點(diǎn)和項(xiàng)目節(jié)點(diǎn)的最終嵌入,之后對兩者做點(diǎn)積運(yùn)算,生成預(yù)測得分。

圖2 GABR模型框架圖

2.3 GABR模型設(shè)計(jì)

2.3.1 輸入嵌入層 對于用戶和項(xiàng)目特征的初始嵌入,本文遵循現(xiàn)有推薦方法中的通用方法[17],將用戶、項(xiàng)目與 ID 嵌入相關(guān)聯(lián)。具體來說,先對用戶或項(xiàng)目的唯一ID進(jìn)行One-Hot編碼,再使用壓縮矩陣將高維的稀疏矩陣轉(zhuǎn)換成低維的稠密矩陣,從而得到用戶或項(xiàng)目的初始嵌入,公式如下:

(5)

2.3.2 信息傳播層 在得到節(jié)點(diǎn)的初始嵌入后,用戶和項(xiàng)目節(jié)點(diǎn)需要挖掘更多行為信息,以獲取更多的信息表示?？紤]到全圖訓(xùn)練的效率較低,本文采用HAMILTON等[18]提出的小批量圖信息采樣方式(GraphSAGE)來捕獲異構(gòu)網(wǎng)絡(luò)圖的交互信號。GraphSAGE的基本思想是通過學(xué)習(xí)聚合鄰域節(jié)點(diǎn)特征的函數(shù)來生成中心節(jié)點(diǎn)表示。用于更新用戶節(jié)點(diǎn)嵌入的鄰域聚合公式如下:

(6)

(7)

其中,MEAN(·)為均值聚合函數(shù),N(u)為與用戶u交互的項(xiàng)目集合,W為神經(jīng)網(wǎng)絡(luò)的權(quán)重系數(shù)。相較于對稱歸一化聚合,均值聚合方式顯著提高了性能。

為了區(qū)分不同類型的用戶行為對預(yù)測結(jié)果的影響強(qiáng)度,本文引入注意力機(jī)制來學(xué)習(xí)行為影響系數(shù)tuk,并使用Softmax函數(shù)對其進(jìn)行歸一化處理,以更好地分配權(quán)重。計(jì)算公式如下:

(8)

(9)

得到用戶節(jié)點(diǎn)表示和該用戶的行為影響系數(shù)后,對鄰域節(jié)點(diǎn)特征進(jìn)行加權(quán)求和,利用一層全連接神經(jīng)網(wǎng)絡(luò)來整合目標(biāo)節(jié)點(diǎn)的所有用戶行為表示,最終生成用戶的多行為特征。公式如下:

(10)

(11)

(12)

最后,通過計(jì)算用戶u和項(xiàng)目i的特征嵌入的內(nèi)積來獲得用戶-項(xiàng)目的評分yui:

(13)

2.3.4 模型優(yōu)化 為了優(yōu)化GABR模型,本文采用成對損失函數(shù)(pairwise loss)[20]作為模型的損失函數(shù)。具體來說,對于小批量訓(xùn)練得到的每個(gè)用戶um,本文將s個(gè)與用戶um有交互關(guān)系的項(xiàng)目Ip={ip1,ip2,…,ips}視為正樣本S,將r個(gè)與用戶ui未交互的項(xiàng)目In={in1,in2,…,inr}視為負(fù)樣本R。訓(xùn)練通過反向傳播來更新待學(xué)習(xí)的參數(shù),其目標(biāo)是最小化損失函數(shù)。成對損失函數(shù)的定義如下:

(14)

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 實(shí)驗(yàn)數(shù)據(jù)集與實(shí)驗(yàn)設(shè)定 實(shí)驗(yàn)選擇Scholat、Beibei和Yelp 3個(gè)真實(shí)數(shù)據(jù)集:

(1)Scholat數(shù)據(jù)集。該數(shù)據(jù)集來自中國最大的學(xué)術(shù)社交平臺之一——學(xué)者網(wǎng)(https:∥scholat.com)。通過構(gòu)建大數(shù)據(jù)平臺、監(jiān)聽用戶行為日志的方式,數(shù)據(jù)集收集了學(xué)者網(wǎng)從2021年7月1日至12月31日的用戶行為記錄,共127 902條。本文過濾未登錄用戶的行為記錄和無效數(shù)據(jù),共抽取4 286個(gè)用戶、3 241條新聞節(jié)點(diǎn)、21 317條瀏覽記錄、2 927條點(diǎn)贊記錄、504條收藏記錄和352條轉(zhuǎn)發(fā)記錄。本文把點(diǎn)贊視為目標(biāo)行為,其他行為視為輔助行為。

(2)Beibei數(shù)據(jù)集。該數(shù)據(jù)集來自中國最大的嬰幼兒用品零售電子商務(wù)平臺——貝貝(https:∥www.beibei.net)。該數(shù)據(jù)集包含21 716個(gè)用戶和7 977個(gè)商品,包括頁面瀏覽、加入購物車和購買3種行為數(shù)據(jù)。在貝貝平臺上,用戶的購物過程是按照瀏覽頁面、加入購物車、最后購買的流程進(jìn)行的。

(3)Yelp數(shù)據(jù)集。該數(shù)據(jù)集來自Yelp平臺(https:∥www.yelp.com)的公共數(shù)據(jù)存儲庫,包含19 800個(gè)用戶節(jié)點(diǎn)和22 734個(gè)項(xiàng)目節(jié)點(diǎn)。本文將用戶評分?jǐn)?shù)據(jù)(r)區(qū)分為多類交互行為:①不喜歡行為:1≤r≤2;②中立行為:2

數(shù)據(jù)集的各類行為數(shù)據(jù)分布見表1。

表1 數(shù)據(jù)集各類行為數(shù)據(jù)分布

實(shí)驗(yàn)設(shè)置如下:實(shí)驗(yàn)基于TensorFlow深度學(xué)習(xí)框架實(shí)現(xiàn),Python版本為3.6。實(shí)驗(yàn)服務(wù)器CPU型號為Intel(R) Xeon(R) Gold 5218 CPU@2.30 GHz,內(nèi)存大小為256 G,顯卡使用2張NVIDIA TESLA V100 32 G。實(shí)驗(yàn)設(shè)置模型訓(xùn)練迭代次數(shù)(Epoch)為120輪、批處理大小為32、GNN層數(shù)為2。實(shí)驗(yàn)中所涉及的神經(jīng)網(wǎng)絡(luò)權(quán)重和偏置采用Xavier初始化。

3.1.2 基線模型和評價(jià)標(biāo)準(zhǔn) 本實(shí)驗(yàn)將現(xiàn)有9種基線模型與GABR模型對比,其中BiasMF、DMF、NADE、ST-GCN、NMTR為基于單一行為的推薦模型,DIPN、NGCF、MBGCN、GNMR為基于多行為的推薦模型。各基線模型描述如下:

(1)BiasMF[21]:采用傳統(tǒng)的矩陣分解方法,增強(qiáng)了矩陣分解框架,同時(shí)考慮了用戶和項(xiàng)目的偏差。

(2)DMF[22]:集成了矩陣分解和神經(jīng)網(wǎng)絡(luò)2種方式,將用戶和項(xiàng)目投影到嵌入中。

(3)NADE[23]:該模型基于CF方法,集成了神經(jīng)回歸架構(gòu),通過在不同評級之間共享參數(shù)來改進(jìn)CF模型。

(4)ST-GCN[24]:是一個(gè)基于圖神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器框架,用于通過 GCN 在數(shù)據(jù)稀缺的情況下學(xué)習(xí)用戶和項(xiàng)目的潛在嵌入。

(5)NMTR[25]:是一個(gè)基于圖神經(jīng)網(wǎng)絡(luò)的多任務(wù)推薦框架,考慮了用戶的多行為數(shù)據(jù),探索了不同類型行為之間的級聯(lián)關(guān)系。

(6)DIPN[26]:將用戶的瀏覽和購買行為模式與基于BRNN的注意力機(jī)制相結(jié)合,進(jìn)而預(yù)測用戶偏好。

(7)NGCF[27]:將多行為關(guān)系學(xué)習(xí)與聯(lián)合圖神經(jīng)網(wǎng)絡(luò)下的神經(jīng)圖協(xié)同過濾模型相結(jié)合,進(jìn)而完成對用戶偏好的預(yù)測。

(8)MBGCN[10]:對用戶的多種行為進(jìn)行建模,并使用圖卷積網(wǎng)絡(luò)來執(zhí)行行為感知嵌入傳播,最后形成用戶與項(xiàng)目嵌入并預(yù)測用戶偏好商品。

(9)GNMR[11]:對用戶多種交互行為建模,通過設(shè)計(jì)一個(gè)關(guān)系聚合網(wǎng)絡(luò)來模擬用戶-物品交互的異質(zhì)性。

本實(shí)驗(yàn)采用命中率(Hit Rate,HR)和歸一化折損累計(jì)增益(Normalized Discounted Cumulative Gain,NDCG)2個(gè)評價(jià)指標(biāo)來評估性能。

(1)HR。HR用于評估推薦模型是否成功推薦用戶想要的東西,強(qiáng)調(diào)了模型的準(zhǔn)確性,是衡量用戶想要的項(xiàng)目是否在Top-N列表中的常用指標(biāo),計(jì)算公式如下:

(15)

其中:N為樣本總數(shù),即用戶發(fā)生訪問、點(diǎn)贊和轉(zhuǎn)發(fā)等行為的總量;hit(i)表示用戶的第i項(xiàng)需求是否在推薦列表中,若在,則hit(i)=1,否則hit(i)=0。

(2)NDCG。NDCG用于評估用戶的需求項(xiàng)在推薦列表中的位置次序,計(jì)算公式如下:

(16)

其中:N為樣本總數(shù);pi為用戶第i項(xiàng)需求在推薦列表中的位置;若用戶需求不在推薦列表中,則1/log2(pi+1)=0。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 對比實(shí)驗(yàn) 在Beibei、Yelp和Scholat 3個(gè)真實(shí)數(shù)據(jù)集上,將GABR模型與現(xiàn)有的9種推薦模型進(jìn)行對比,并設(shè)置Top-K中的K=10,即一次推薦10個(gè)項(xiàng)目,從而評估HG、NDCG指標(biāo)。

由實(shí)驗(yàn)結(jié)果(表2)可知:

表2 10個(gè)模型的實(shí)驗(yàn)結(jié)果

(1)在Beibei、Yelp和Scholat 3個(gè)真實(shí)數(shù)據(jù)集上,GABR模型的HR和NDCG評價(jià)指標(biāo)都優(yōu)于最好的基線模型(GNMR模型):在Scholat數(shù)據(jù)集上,GABR模型的HR、NDCG分別比GNMR模型提高了1.2%、2.0%;在Yelp數(shù)據(jù)集上,GABR模型的HR、NDCG分別比GNMR模型提高了2.6%、3.4%;在Beibei數(shù)據(jù)集上,GABR模型的HR、NDCG分別比GNMR模型提高了1.4%、1.9%。效果提升可以歸因于:①GABR模型提出信息傳播層,即首先采用小批量采樣節(jié)點(diǎn)嵌入方法聚合同一行為類型交互的鄰域節(jié)點(diǎn),再使用圖注意力機(jī)制學(xué)習(xí)不同類型行為的影響權(quán)重,從而充分利用了不同類型行為的傳播信號。②GABR模型采用聯(lián)合預(yù)測,即將不同層圖傳播節(jié)點(diǎn)特征拼接,以獲取高階圖傳播信息,從而有效利用多階節(jié)點(diǎn)聚合表示。

(2)與傳統(tǒng)基于矩陣分解的推薦模型(BiasMF、DMF)相比,基于圖神經(jīng)網(wǎng)絡(luò)的推薦模型(NGCF、MBGCN、GNMR、GABR等)的性能均有提升。這表明構(gòu)建異質(zhì)網(wǎng)絡(luò)圖、探索節(jié)點(diǎn)之間的信息傳遞具有重要意義。與NGCF模型相比,GABR模型的性能有進(jìn)一步的提升,這是源于GABR模型引入了注意力機(jī)制,對多種交互行為權(quán)重進(jìn)行學(xué)習(xí),有利于捕獲用戶的行為偏好,生成更準(zhǔn)確的推薦結(jié)果。

(3)基于多行為的推薦模型普遍優(yōu)于基于單一行為的模型,這表明挖掘用戶-項(xiàng)目的多類型交互行為有助于預(yù)測用戶偏好。

為了驗(yàn)證GABR模型在不同推薦數(shù)量上的預(yù)測性能,將其與5種在Top-K預(yù)測上性能較好的模型(BiasMF、NADE、NMTR、MBGCN、GNMR)進(jìn)行對比實(shí)驗(yàn)。本實(shí)驗(yàn)在Yelp數(shù)據(jù)集上設(shè)置不同的Top-K參數(shù),其中K={1,3,5,7,9}。由結(jié)果(圖3)可知:(1)當(dāng)K=1時(shí),GABR模型的命中率為0.325,比GNMR模型提升了0.5%,提升效果不明顯。但隨著K值的不斷增大,模型的命中率和歸一化折損累計(jì)增益也不斷提高。當(dāng)K=9時(shí),GABR模型的命中率為0.858,比GNMR模型提升了2.7%。這是由于GABR模型在獲取目標(biāo)節(jié)點(diǎn)特征時(shí)將不同層次圖聚合特征拼接,獲取了高階圖傳播信息,而GNMR模型僅使用最高階圖聚合特征。(2)相較于其他5種模型,GABR模型在性能上均有提升。這反映了GABR模型使用均值聚合和添加注意力機(jī)制(在不同類型行為聚合時(shí)設(shè)置以自動學(xué)習(xí)權(quán)重)方式的有效性。

圖3 不同Top-K下6種模型的性能評估

3.2.2 消融實(shí)驗(yàn) 在Yelp數(shù)據(jù)集上,將Top-K中的K設(shè)為10,即向每個(gè)用戶推薦10條項(xiàng)目,通過進(jìn)一步的消融實(shí)驗(yàn)來評估本文提出的GABR模型的有效性。首先,去除在同種類型行為下采用的均值聚合方式,轉(zhuǎn)而采用對稱歸一化聚合方式,記為GABR-a模型。接著,取消不同行為類型之間的注意力機(jī)制,分配不同類型行為相同的權(quán)重,記為GABR-b模型。然后,在模型優(yōu)化模塊取消L2正則化,記為GABR-c模型。

由實(shí)驗(yàn)結(jié)果(表3)可知:(1)與GABR模型相比,GABR-a模型的HR、NDCG分別降低了3.2%、2.9%。這是由于均值聚合考慮到節(jié)點(diǎn)特征維數(shù),先將鄰居節(jié)點(diǎn)向量的每一維度特征求平均,再與目標(biāo)節(jié)點(diǎn)特征拼接,而對稱歸一化方式僅計(jì)算目標(biāo)節(jié)點(diǎn)與鄰居節(jié)點(diǎn)向量的平均值。(2)與GABR模型相比, GABR-b模型的HR、NDCG分別降低了4.1%、3.6%,顯示了引入注意力機(jī)制的重要性。(3)與GABR模型相比,GABR-c模型的HR、NDCG分別降低了4.7%、3.7%,表明L2正則化通過調(diào)整網(wǎng)絡(luò)權(quán)重參數(shù),有助于提升模型訓(xùn)練效果,減少過擬合現(xiàn)象發(fā)生。

表3 消融實(shí)驗(yàn)結(jié)果

4 結(jié)論

本文提出了一種新的基于圖注意力網(wǎng)絡(luò)的多行為推薦模型(GABR),旨在提高節(jié)點(diǎn)表示能力以及捕獲高階圖傳播信息,進(jìn)而提高推薦性能。該模型采用小批量采樣節(jié)點(diǎn)嵌入方法聚合同一行為類型交互的鄰域節(jié)點(diǎn),通過注意力機(jī)制學(xué)習(xí)不同行為類型的影響系數(shù),以及采用聯(lián)合預(yù)測的方式融合了多層圖節(jié)點(diǎn)表示。并在Scholat、Yelp和Beibei 3個(gè)真實(shí)數(shù)據(jù)集上,將GABR模型與現(xiàn)有9種推薦模型進(jìn)行對比實(shí)驗(yàn)。主要結(jié)論如下:

(1)在3個(gè)真實(shí)數(shù)據(jù)集上,與目前最佳的基線模型(GNMR)相比,GABR模型的HR、NDCG指標(biāo)分別平均提高了1.73%、2.43%,表明GABR是具有良好性能的多行為推薦算法。

(2)修改節(jié)點(diǎn)聚合方式為對稱歸一化聚合方式或去除注意力機(jī)制,在Yelp數(shù)據(jù)集上,GABR模型的HR、NDCG降低了3.2%、2.9%和4.1%、3.6%。這驗(yàn)證了圖注意力網(wǎng)絡(luò)的有效性,說明GABR模型能夠有效利用融合了不同行為類型影響系數(shù)的多層圖傳播信息,更好地預(yù)測用戶偏好。

在未來的工作中,可以進(jìn)一步考慮時(shí)態(tài)屬性。用戶的行為存在時(shí)間順序,近期的行為更能反映用戶當(dāng)前的興趣偏好,后續(xù)研究可結(jié)合RNN、LSTM等深度學(xué)習(xí)技術(shù)來研究用戶的動態(tài)偏好,以進(jìn)一步提升推薦效果。