摘要:當(dāng)前意圖推薦研究提取出的用戶意圖趨向扁平化,忽略了意圖間的層次關(guān)系。針對以上問題,提出了一種基于層次意圖解耦的圖卷積神經(jīng)網(wǎng)絡(luò)推薦模型(HIDR),將用戶—項(xiàng)目交互圖劃分為多個動態(tài)交互子圖,以刻畫從細(xì)粒度到粗粒度的用戶意圖層次圖。首先,在每個意圖交互子圖中根據(jù)節(jié)點(diǎn)高階連接性自適應(yīng)地聚合來自高階鄰域的信息,解耦提取用戶細(xì)粒度意圖表示;然后,依據(jù)低層次細(xì)粒度意圖之間的相似關(guān)系在高層網(wǎng)絡(luò)上構(gòu)建粗粒度意圖超節(jié)點(diǎn),顯式建模從細(xì)粒度到粗粒度的意圖層次結(jié)構(gòu);最后,將解耦得到的層次意圖向量聚合為高質(zhì)量的用戶和項(xiàng)目表示,并進(jìn)行內(nèi)積預(yù)測和迭代優(yōu)化。在Gowalla和Amazon-book兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,相較于最優(yōu)基線模型CLSR,HIDR的召回率(recall)分別提升了10.82%、6.63%,歸一化折損累計(jì)增益(NDCG)分別提升了14.65%、9.63%,精度(precision)分別提升了10.46%和7.73%。
關(guān)鍵詞:推薦系統(tǒng);圖卷積神經(jīng)網(wǎng)絡(luò);層次意圖推薦;協(xié)同過濾;解耦表示學(xué)習(xí)
中圖分類號:TP391文獻(xiàn)標(biāo)志碼:A文章編號:1001-3695(2023)05-009-1341-05doi:10.19734/j.issn.1001-3695.2022.10.0543
0引言
隨著信息數(shù)據(jù)的迅速增加,人們對多樣化和個性化推薦的需求越來越強(qiáng)烈。用戶意圖推薦[1,2]因?yàn)槟軌蚋鶕?jù)歷史數(shù)據(jù)推薦更符合用戶偏好的項(xiàng)目,成為個性化推薦的研究熱點(diǎn)。
用戶意圖廣泛存在于每個交互行為背后,具有深化用戶和項(xiàng)目潛在關(guān)系的作用,直接影響著用戶的最終決策。目前,學(xué)者們在不同角度對用戶意圖推薦展開了研究。文獻(xiàn)[3]提出了意圖對比學(xué)習(xí)模型ICL,對交互過程中的潛在意圖因素進(jìn)行建模,并通過對比自我監(jiān)督學(xué)習(xí)將其融合到順序推薦模型中,有效緩解了數(shù)據(jù)稀疏問題。文獻(xiàn)[4]在一個在線推薦系統(tǒng)上采用異步優(yōu)化策略,分別構(gòu)建全局圖和局部圖中學(xué)習(xí)隱藏在用戶多源異構(gòu)行為下的短期和長期意圖,但該研究提取到的用戶意圖高度耦合,且認(rèn)為學(xué)習(xí)到的意圖表示的是同等重要。文獻(xiàn)[5]提出了多視圖意圖解耦圖神經(jīng)網(wǎng)絡(luò)MIDGN,解耦了用戶意圖與捆綁項(xiàng)目、用戶意圖與每個捆綁包中項(xiàng)目之間的關(guān)系,以更精細(xì)的粒度精確、全面地捕獲用戶意圖和項(xiàng)目關(guān)聯(lián)的多樣性。文獻(xiàn)[6]提出了解耦圖協(xié)同過濾模型DGCF,利用動態(tài)二分圖建模意圖感知矩陣,在用戶意圖維度展現(xiàn)了復(fù)雜的交互關(guān)系,顯著提高了意圖表示在可解釋性方面的優(yōu)勢。文獻(xiàn)[7]提出了無偏語義感知解耦學(xué)習(xí)模型CaDSI,顯式地對推薦任務(wù)的因果關(guān)系進(jìn)行建模,從而解耦用戶的真實(shí)意圖。
綜上,盡管已有相關(guān)方法[8~12]均取得了良好的推薦性能,但在真實(shí)的購物情境中,用戶通常出于某一模糊的目的展開交互,在篩選過程中逐步明確自身購物動機(jī),并最終選擇符合真實(shí)需求的某一特定物品??梢?,不同用戶可能受到不同層次意圖的驅(qū)動,不同的意圖又可以激發(fā)不同的交互行為。因此,將用戶和項(xiàng)目的嵌入特征處理為孤立的數(shù)據(jù)實(shí)例[13~15],或統(tǒng)一組織為交互圖中的一條邊[16~19]的研究方法,顯然忽略了嵌入特征與層次意圖之間的轉(zhuǎn)換關(guān)系,提取到的用戶意圖仍然存在結(jié)構(gòu)扁平化的問題,難以在推薦過程中準(zhǔn)確刻畫出用戶的真實(shí)意圖。
為解決上述問題,本文將用戶明確的交互行為建模為細(xì)粒度意圖,將模糊的交互目的建模為粗粒度意圖,提出了基于層次意圖解耦的圖卷積神經(jīng)網(wǎng)絡(luò)推薦模型HIDR。該模型在多層圖卷積神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)高階鄰域相鄰節(jié)點(diǎn)的交互特征,在意圖分布子圖中使用嵌入特征轉(zhuǎn)換矩陣解耦潛在細(xì)粒度意圖表示,解決了意圖耦合不易提取的問題;在層次圖中建模(細(xì)粒度意圖節(jié)點(diǎn),超節(jié)點(diǎn))跨粒度意圖對,并計(jì)算其相似度分?jǐn)?shù)以聚合粗粒度意圖表示,解決了意圖扁平化問題。在此基礎(chǔ)上,根據(jù)不同層次意圖表示的特征分別設(shè)置不同損失函數(shù),避免了意圖語義的混淆和干擾;使用非采樣優(yōu)化策略計(jì)算整個數(shù)據(jù)集的梯度,以更穩(wěn)定的方式提高了收斂效率。
1相關(guān)工作
近年來,解耦表示學(xué)習(xí)(disentangledrepresentationlear-ning,DRL)在學(xué)習(xí)高階解釋性因素等方面取得了巨大成功。文獻(xiàn)[20]提出了宏—微分離變分自動編碼器MacridVAE,從用戶行為中學(xué)習(xí)用戶和項(xiàng)目表示的潛在因素分離解耦表示;文獻(xiàn)[21]提出基于不同元路徑類型的模型DisHAN,解耦感知圖中用戶—項(xiàng)目的嵌入表示;文獻(xiàn)[22]提出了解耦用戶興趣推薦模型DICE,對用戶意圖的解耦表示進(jìn)行顯示建模。
圖卷積神經(jīng)網(wǎng)絡(luò)推薦模型(graphconvolutionneuralnetworkrecommendation,GCN)的基本思想是通過消息傳遞和聚合將鄰居節(jié)點(diǎn)的局部結(jié)構(gòu)信息遞歸地編碼到嵌入表示中,以提取鄰近節(jié)點(diǎn)的結(jié)構(gòu)信息。文獻(xiàn)[23]將用戶—項(xiàng)目交互圖構(gòu)建于圖卷積網(wǎng)絡(luò),提出了圖卷積矩陣補(bǔ)全模型GC-MC,基于用戶—項(xiàng)目二部圖從交互連接關(guān)系預(yù)測的角度解決了推薦系統(tǒng)中的評分預(yù)測問題。在此基礎(chǔ)上,文獻(xiàn)[24]提出了一種全新的解耦圖卷積模型DisenGCN,使用鄰域路由機(jī)制學(xué)習(xí)給定節(jié)點(diǎn)到高階鄰居節(jié)點(diǎn)的解耦表示。杜雨晅等人[25]利用圖卷積神經(jīng)網(wǎng)絡(luò)提取不同階用戶和項(xiàng)目特征,提出了基于自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法ANGCACF,通過增加自適應(yīng)填充矩陣調(diào)整用戶和項(xiàng)目的聚合系數(shù),重新分配節(jié)點(diǎn)權(quán)重系數(shù)并進(jìn)行推薦。Yu等人[26]通過聚合多層圖卷積網(wǎng)絡(luò)提出了一種用于異構(gòu)網(wǎng)絡(luò)嵌入的多路異構(gòu)圖卷積網(wǎng)絡(luò)MHGCN,自動學(xué)習(xí)多路異構(gòu)網(wǎng)絡(luò)中不同長度異構(gòu)元路徑間的相互作用。
綜上所述,當(dāng)前圖卷積推薦算法聚合了歷史行為數(shù)據(jù)中的用戶和項(xiàng)目局部信息,彌補(bǔ)了傳統(tǒng)推薦算法對高階交互信息利用的空白,緩解了數(shù)據(jù)稀疏問題;但是忽略了用戶交互數(shù)據(jù)中意圖偏好間的層次關(guān)系,得到的節(jié)點(diǎn)表示仍是次優(yōu)的。
基于以上研究工作,本文將解耦表示學(xué)習(xí)應(yīng)用于圖卷積網(wǎng)絡(luò)推薦過程,通過構(gòu)建細(xì)粒度意圖分布子圖,深度挖掘了高階用戶歷史行為的關(guān)聯(lián)性,刻畫了每個用戶交互行為背后的潛在意圖在嵌入表示的耦合性,通過將用戶意圖建模為不同層次的交互動機(jī),解耦不同粒度意圖的表示,進(jìn)一步提升了模型的推薦性能。
2HIDR模型
針對用戶意圖推薦未區(qū)分嵌入特征和交互關(guān)系導(dǎo)致意圖高度耦合、意圖結(jié)構(gòu)扁平化的問題,本文提出了基于層次意圖解耦的圖卷積神經(jīng)網(wǎng)絡(luò)推薦模型HIDR。該模型以用戶—項(xiàng)目二部圖作為輸入,以預(yù)測用戶—項(xiàng)目交互評級為輸出,通過解耦用戶意圖表示自下而上還原用戶從細(xì)粒度到粗粒度意圖的真實(shí)層次結(jié)構(gòu)??蚣芙Y(jié)構(gòu)如圖1所示,具體步驟如下:
a)從交互二部圖中劃分出受特定細(xì)粒度意圖驅(qū)動的子圖作為特征空間;
b)學(xué)習(xí)用戶和項(xiàng)目在特定意圖下的嵌入特征與交互關(guān)系,提取基于項(xiàng)目和用戶的意圖特征;
c)使用注意力單元生成權(quán)重系數(shù),動態(tài)更新并區(qū)分不同意圖在驅(qū)動下的實(shí)際交互概率;
d)添加鄰居路由和嵌入傳播機(jī)制,聚合高階鄰域中相鄰節(jié)點(diǎn)的嵌入特征,解耦子圖各鄰域內(nèi)的細(xì)粒度意圖表示;
e)初始化超節(jié)點(diǎn)嵌入特征,構(gòu)建層次圖建模與細(xì)粒度意圖的層級結(jié)構(gòu);
f)根據(jù)相似度分?jǐn)?shù)為(細(xì)粒度意圖節(jié)點(diǎn)、超節(jié)點(diǎn))跨粒度意圖對分配權(quán)重聚合得到粗粒度意圖表示;
g)使用交叉熵?fù)p失函數(shù)和獨(dú)立性損失函數(shù)將用戶意圖信息集成到最接近用戶意圖的節(jié)點(diǎn)中,減少表示冗余;
h)以內(nèi)積計(jì)算的方式對模型進(jìn)行評分預(yù)測;
i)使用非采樣優(yōu)化策略計(jì)算整個模型的梯度,將預(yù)測值收斂到一個穩(wěn)定的狀態(tài),向用戶推薦。
2.1意圖分布交互子圖
在用戶—項(xiàng)目交互二部圖G中,假設(shè)用戶行為受到K個不同意圖的驅(qū)動,為了提取與第k個意圖對應(yīng)的嵌入特征,本文分別設(shè)計(jì)了用戶特征矩陣和項(xiàng)目特征矩陣U=[u1,u2,…,uM]∈EuclidExtraaBpD×M、V=[v1,v2,…,vN]∈EuclidExtraaBpD×N,其中D是特征維度,M和N分別是用戶和項(xiàng)目的數(shù)量。用戶項(xiàng)目交互關(guān)系設(shè)為ruv∈[Ruv]M×N,當(dāng)用戶和項(xiàng)目有過交互ruv=1,反之ruv=0。由于在分析用戶的某一意圖時,用戶的行為差異受到交互意圖的自發(fā)性、交互場景的豐富性、推薦界面的偶然性等多方面因素的交叉干擾。為了保證實(shí)驗(yàn)結(jié)果的公平與準(zhǔn)確,本文將用戶—項(xiàng)目交互圖G隨機(jī)劃分為K個細(xì)粒度意圖分布子圖,并初始化表示為G={G1,…,Gk,…,GK},其中任意子圖Gk是與特定意圖耦合的一個專門化特征空間。單個意圖相關(guān)的用戶嵌入特征為
其中:用戶u的第k個相互獨(dú)立的潛在細(xì)粒度意圖為eu,k∈EuclidExtraaBpD/K。類似地,可得到項(xiàng)目v的嵌入特征ev。
2.2細(xì)粒度意圖解耦
用戶通?;诙鄠€意圖購買某些物品,不同的意圖可能會激發(fā)不同的用戶行為。在任意交互子圖Gk中,用戶與項(xiàng)目的交互受到第k個細(xì)粒度意圖的驅(qū)動,故本文分別為用戶和項(xiàng)目設(shè)計(jì)了K個特定于意圖的特征轉(zhuǎn)換矩陣P={P1,P2,…,PM}和Q={Q1,Q2,…,QN},將與單個意圖相關(guān)的特征信息提取為獨(dú)立部分。
為區(qū)分每個用戶—項(xiàng)目交互在信息傳播時發(fā)揮的作用,本文在嵌入傳播中加入了鄰居路由機(jī)制。聚合用戶u的第k個意圖下交互的項(xiàng)目特征,可提取此時意圖特征h(1)v,k,如式(2)所示。類似地,項(xiàng)目v從鄰居用戶u中提取的第k個意圖的特征s(1)u,k,如式(3)所示。
根據(jù)圖卷積網(wǎng)絡(luò)[18,19]的相關(guān)研究,鄰居節(jié)點(diǎn)信息的聚合有助于提取鄰域中每個節(jié)點(diǎn)鄰域的拓?fù)浣Y(jié)構(gòu)以及其節(jié)點(diǎn)特征,為提取用戶意圖信息提供強(qiáng)信號。然而,基于圖卷積網(wǎng)絡(luò)直接聚合用戶u在卷積層內(nèi)采用過的項(xiàng)目集V(1)v,k來描述第k個意圖的方法,時間成本高且推薦效率低。受注意力機(jī)制[1]的啟發(fā),本文在每個圖卷積層設(shè)計(jì)了一個注意力單元attnode動態(tài)更新用戶u在第k個意圖的驅(qū)動下與項(xiàng)目u實(shí)際交互的概率。
式(4)表明,用戶u購買項(xiàng)目v的概率主要取決于該意圖的特征。為進(jìn)一步區(qū)分每個用戶—項(xiàng)目交互對細(xì)粒度意圖提取的不同重要性,本文使用softmax函數(shù)進(jìn)行歸一化處理,得到特定權(quán)重系數(shù)β(1)uv,k,如式(5)所示。解耦得到一個圖卷積層的輸出,得到一階鄰域內(nèi)用戶u的第k個細(xì)粒度意圖e(1)u,k,如式(6)所示。
其中:σ表示激活函數(shù)LeakyReLU;‖表示連接操作;αk是為第k個意圖分配的注意力向量。
使用圖卷積網(wǎng)絡(luò)進(jìn)行運(yùn)算,不可避免地會存在提取特征受限、關(guān)鍵信息丟失的問題,因此將鄰居路由機(jī)制和高階連接性應(yīng)用于多層圖卷積神經(jīng)網(wǎng)絡(luò),通過嵌入傳播聚合高階鄰域中相鄰節(jié)點(diǎn)的消息。在對意圖表示進(jìn)行迭代更新之后,遞歸地將第l階鄰域內(nèi)的用戶意圖表述為
其中:e(l-1)u,k和e(l-1)v,k分別表示用戶u和項(xiàng)目v基于意圖k從第(l-1)階鄰居中聚合的信息;g(·)表示層聚合函數(shù);Nu為項(xiàng)目v第(l-1)階鄰居的數(shù)量。
如果聚合得到的某個意圖k可以由其他意圖推斷得出,且k≠k′,則意圖表示可能是冗余的。因此,為明確地識別和區(qū)分符合不同用戶意圖的項(xiàng)目,本文在細(xì)粒度意圖表示中融入了交叉熵?fù)p失函數(shù)L1(θ),使每個節(jié)點(diǎn)的分配向量盡可能地接近一個one-hot向量,如式(8)所示。
2.3粗粒度意圖聚合
在公共空間中的用戶行為通常受到某一模糊的目的(即粗粒度意圖)的影響和支配,如打發(fā)時間、有趣的推薦或貼心的服務(wù)等,忽略了粗粒度意圖的推薦方法捕獲的用戶偏好顯然是不完整甚至不準(zhǔn)確的。為了更好地挖掘粗粒度意圖信息,本文以聚合的方式自下而上建模不同粒度用戶意圖之間的層次關(guān)系。首先,為了與已有細(xì)粒度意圖作出區(qū)分,定義超節(jié)點(diǎn)以表示更粗粒度的用戶意圖,并初始化為
用戶u的每個意圖均可由購買某一項(xiàng)目的特定意圖聚合得到,即所體現(xiàn)的語義是特定的,因此衡量不同粒度意圖間的相似性是十分重要的。針對這一問題,本文將超節(jié)點(diǎn)與不同階細(xì)粒度意圖的關(guān)系建模為跨粒度意圖對(細(xì)粒度意圖節(jié)點(diǎn),超節(jié)點(diǎn)),其相似度分?jǐn)?shù)如式(10)所示,使用softmax函數(shù)為每個跨粒度意圖對分配對應(yīng)權(quán)重,如式(11)所示。
其中:e(l+1)u,k′為用戶u的第k′個超節(jié)點(diǎn);e(l)u,k為細(xì)粒度意圖節(jié)點(diǎn)表示。當(dāng)γ(l+1)u,k′的值越高,表示交互關(guān)系越可能由第k′個意圖觸發(fā)。因此,利用學(xué)習(xí)到的這些權(quán)重,融合得到用戶u的第k′個粗粒度意圖表示e(l+1)u,k′,如式(12)所示。在聚合過程中,為了將用戶意圖信息集成到最接近用戶意圖的節(jié)點(diǎn)中,本文在粗粒度意圖表示形式上引入獨(dú)立性損失函數(shù)L2(θ),如式(13)所示。
2.4預(yù)測與優(yōu)化
在融合(l+1)階信息后,本文得到了用戶u在分布子圖的各階鄰域和不同層次上意圖表示集合E={e(1)u,1,…,e(l+1)u,1,…,e(1)u,k,…,e(l+1)u,k}。由于上述用戶意圖表示來自不同連接傳遞的信息,所以它們在反映用戶偏好方面發(fā)揮著不同的作用,故將它們連接起來,以獲得最終的用戶嵌入表示,如式(14)所示;對項(xiàng)目執(zhí)行相同的操作,以獲得最終的項(xiàng)目嵌入表示,如式(15)所示;同時,將最終用戶表示與項(xiàng)目表示做內(nèi)積預(yù)測評分uv,如式(16)所示。
其中:Rkuv為用戶u在意圖k下采用項(xiàng)目v的概率預(yù)測值;cv為交互矩陣Rkuv的權(quán)重;ck+v為用戶u基于意圖k顯式交互的項(xiàng)目數(shù)量。式(17)用所有數(shù)據(jù)損失與顯式數(shù)據(jù)損失之間的殘差來表示未觀測數(shù)據(jù)的損失,并消除了未觀測到的Rkuv。式(17)的復(fù)雜度為O((|U|+|V|)d2+|vk+|d)。而傳統(tǒng)非采樣學(xué)習(xí)的訓(xùn)練復(fù)雜度為O((|U|+|V|)d)。因|vk+|lt;lt;|U||V|,故非采樣優(yōu)化的復(fù)雜度已得到顯著降低,能夠以更有效、更穩(wěn)定的方式提高實(shí)驗(yàn)效率。最后,結(jié)合交叉熵?fù)p失L1(θ)和獨(dú)立性損失L2(θ),得到最終目標(biāo)損失函數(shù)L(θ)。
3實(shí)驗(yàn)設(shè)計(jì)與分析
3.1數(shù)據(jù)集介紹與評價指標(biāo)
使用Gowalla和Amazon-book兩個數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。為了保證實(shí)驗(yàn)結(jié)果的有效性,僅保留了交互數(shù)大于10的用戶和項(xiàng)目,并隨機(jī)選取每個用戶80%的歷史交互數(shù)據(jù)作為訓(xùn)練集,20%作為測試集。同時,隨機(jī)選擇訓(xùn)練集中10%的交互數(shù)據(jù)作為驗(yàn)證集來調(diào)整超參數(shù)。處理后的數(shù)據(jù)統(tǒng)計(jì)如表1所示。
選取推薦研究中召回率(recall)、歸一化折損累計(jì)增益(NDCG)和精度(precision)三個常用評價指標(biāo)評估本文模型的推薦性能。recall即在正樣本中有多少被預(yù)測為真,主要衡量推薦的準(zhǔn)確性;NDCG為一個相對值,用于進(jìn)行不同用戶之間的比較;precision即預(yù)測為1且預(yù)測正確的樣本數(shù)與所有被預(yù)測為1的樣本總數(shù)的商。測試階段所報(bào)告評價結(jié)果均取自10次實(shí)驗(yàn)的平均值。在超參數(shù)方面,所有模型的嵌入維度都固定為64,學(xué)習(xí)率為0.001,batch-size大小固定為1024;dropout值在{00,01,…,08}中測試,正則化權(quán)重在{000001,00001,0001,001,01}中調(diào)整;使用Xavier初始化模型參數(shù),使用Adam作為優(yōu)化器。此外,執(zhí)行提前結(jié)束策略,如果驗(yàn)證集上recall和NDCG指標(biāo)在連續(xù)50個epoch內(nèi)沒有增加則實(shí)驗(yàn)提前結(jié)束。
3.2實(shí)驗(yàn)性能分析
為保證實(shí)驗(yàn)效果公平有效,本文首先將HIDR與GC-MC[22]、NGCF[11]、ANGCACF[25]、MacridVAE[20]、CGCD[19]、MIDGN[5]、CLSR[8]七個模型進(jìn)行了比較。
由表2和3的實(shí)驗(yàn)數(shù)據(jù)可知,HIDR模型在推薦任務(wù)上的性能均顯著優(yōu)于所有基線模型。更準(zhǔn)確地說,HIDR在以下方面的表現(xiàn)優(yōu)于最優(yōu)基線模型CLSR:當(dāng)取top-10、top-20、top-50推薦時,在Gowalla數(shù)據(jù)集上,recall比最優(yōu)基線模型分別提升了746%、13.04%和1196%,NDCG分別提升了9.11%、1861%和1624%,precision分別提升了9.43%、1024%和1171%;在Amazon-book數(shù)據(jù)集上,recall相較于最優(yōu)基線模型分別提升了313%、832%和845%,NDCG分別提升了554%、1129%和1208%,precision分別提升了645%、894%和781%。
基線模型GC-MC在兩個數(shù)據(jù)集上的表現(xiàn)均不佳,這表明直接將one-hot向量作為用戶—項(xiàng)目節(jié)點(diǎn)輸入模型,不足以捕獲用戶和項(xiàng)目之間的關(guān)系,這可能會忽略底層的交互信息。NGCF通過建模用戶—項(xiàng)目關(guān)系改進(jìn)了GC-MC的性能,反映了鄰居的高階信息建模的重要性。ANGCACF通過自適應(yīng)填充矩陣為節(jié)點(diǎn)重新分配最優(yōu)權(quán)重,降低了數(shù)據(jù)稀疏性。在此基礎(chǔ)上,MacridVAE通過將潛在的用戶意圖解耦為多個潛在因素,提高了個性化推薦的準(zhǔn)確性,其推薦效果明顯優(yōu)于NGCF和ANGCACF;但其各項(xiàng)指標(biāo)仍低于后四款模型,可見從用戶細(xì)粒度意圖層面優(yōu)化節(jié)點(diǎn)表示進(jìn)行針對性推薦具有更好的推薦效果。
另一方面,HIDR、CLSR和MIDGN相較于CGCD有更好的性能,這也充分體現(xiàn)了GCN相較于RNN在捕獲細(xì)粒度意圖特征方面更充分地聚合交互歷史中的高階信息的優(yōu)勢,提升推薦結(jié)果的準(zhǔn)確性。然而,CLSR與MIDGN解耦出的細(xì)粒度意圖仍存在表示冗余、結(jié)構(gòu)扁平化的問題。因此,HIDR分別為不同粒度的意圖表示配置了相應(yīng)損失函數(shù),并顯式建模從細(xì)粒度到粗粒度的層次結(jié)構(gòu)。CLSR的推薦性能略遜色于HIDR,這個實(shí)驗(yàn)結(jié)果也證明了對不同粒度意圖的層次關(guān)系建模,可得到高質(zhì)量嵌入表示的重要性。
綜合分析兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果,HIDR的效果顯著,主要?dú)w功于以下三個方面:a)通過使用圖卷積網(wǎng)絡(luò)對高階結(jié)構(gòu)中用戶—項(xiàng)目關(guān)系建模,能有效地刻畫用戶意圖,更好地表示用戶和項(xiàng)目的特征;b)通過意圖解耦方法用更細(xì)粒度的意圖對用戶表示進(jìn)行建模,豐富了用戶意圖信息;c)建模不同粒度潛在意圖間的層次關(guān)系,在更好地聚合鄰居信息的同時,有效避免了意圖冗余問題。
3.3消融實(shí)驗(yàn)
3.3.1解耦意圖表示的影響
為了進(jìn)一步探究驗(yàn)證解耦意圖表示在不同卷積層上對模型推薦效果的影響,在意圖解耦過程中引入在{100,101,102,…,1010}內(nèi)調(diào)整的影響因子τ。以隨機(jī)解耦意圖k在第l層的用戶表示為例,為其重新分配一個較小的權(quán)重α(l)k,uv/τ,同時其他意圖保持不變。圖2(a)(b)分別展示了Gowalla數(shù)據(jù)集下HIDR-L1、HIDR-L2和HIDR-L3在recall@20和NDCG@20指標(biāo)的性能對比。
從線條走向來看,當(dāng)τ∈[100,103]時各變體模型在不同指標(biāo)上的推薦性能并沒有顯著變動,可見某個意圖的變化并不會對其他意圖的解耦產(chǎn)生顯著影響,即使是少量的意圖也能起到提高解耦表示學(xué)習(xí)的作用;然而,當(dāng)τgt;104時意圖權(quán)重接近于零,推薦性能顯著下降。由此可知,任何意圖的解耦缺失都會導(dǎo)致嚴(yán)重的實(shí)驗(yàn)誤差,不同意圖之間是保持相互獨(dú)立的。
3.3.2粒度層面意圖融合的影響
為了研究意圖在粒度層面的融合如何影響性能,本文考慮使用HIDR的變體HIDR-intra、HIDR-inter分別代表移除粒度內(nèi)融合、移除粒度間融合的模型,并比較了實(shí)驗(yàn)性能。為了避免高階信息傳播的影響,采用一層卷積網(wǎng)絡(luò);同時,參照GC-MC模型的表示交互方式,從消息傳遞函數(shù)中刪除了節(jié)點(diǎn)與其鄰居之間的表示交互,以保證實(shí)驗(yàn)的公平性。在Gowalla數(shù)據(jù)集下HIDR-intra和HIDR-inter在不同推薦指標(biāo)下的性能對比如圖3所示。
由圖3可知,去除粒度內(nèi)融合或粒度間融合都在不同程度上導(dǎo)致了recall和NDCG指標(biāo)值的降低,表明這兩種融合關(guān)系對于捕獲意圖信息都發(fā)揮著重要作用。通過刪除粒度內(nèi)意圖的融合,轉(zhuǎn)換信息完全丟失,并且由于不同粒度意圖的連接性已被破壞,意圖的解耦效果在很大程度上受到限制。同時,由于長依賴的信息傳播路徑已經(jīng)被切斷,粒度間意圖信息的丟失進(jìn)一步加劇。而具有更高級別意圖粒度的HIDR-inter較具有細(xì)粒度意圖的HIDR-intra性能要穩(wěn)定,體現(xiàn)了隨著粒度變粗,性能增益變得穩(wěn)定。這表明,對于歷史交互更為復(fù)雜的數(shù)據(jù)集,需要結(jié)合更高級別的意圖粒度來捕獲用戶偏好與潛在用戶意圖。
3.3.3圖卷積層數(shù)L的分析
圖卷積層作為HIDR的核心,在挖掘用戶的解耦意圖的同時還將與優(yōu)化意圖相關(guān)的信息聚合到優(yōu)化表示中。為此,本文在{1,2,3,4}內(nèi)探索卷積層數(shù)量L的設(shè)置。在Gowalla和Amazon-book數(shù)據(jù)集下圖卷積層數(shù)L的性能分析結(jié)果如圖4所示。
從整體來看,當(dāng)L=3時本文算法在兩個數(shù)據(jù)集上均達(dá)到了最佳性能;而HIDR-L4在兩個指標(biāo)方面取得了次優(yōu)結(jié)果,這可能是由于圖卷積運(yùn)算的過度平滑效應(yīng),導(dǎo)致無法對更深層進(jìn)行建模。聯(lián)合分析表1、2和圖4可知,不同深度的HIDR在兩個數(shù)據(jù)集上始終優(yōu)于其他算法,這再次驗(yàn)證了HIDR的有效性。其次,HIDR-L2在Gowalla數(shù)據(jù)集上的recall@20和NDCG@20比HIDR-L1提升了0.747%、0.672%,這是因?yàn)镠IDR-L1只聚合來自一階鄰居的信息;而HIDR-L2代表的二階連通性可以捕捉到更多意圖相關(guān)信息,這充分體現(xiàn)了增加算法深度能夠賦予算法更強(qiáng)的推薦能力。然而,當(dāng)圖卷積層重疊到三層,HIDR-L3相較于HIDR-L2改善并不明顯,在Gowalla數(shù)據(jù)集上recall@20和NDCG@20只提升了0.297%、0334%。一方面是由于圖卷網(wǎng)絡(luò)重疊超過兩層時,多階鄰居的影響減弱;另一方面是由于用戶項(xiàng)目交互過程中產(chǎn)生額外的噪聲所導(dǎo)致的推薦性能下降。
4結(jié)束語
本文提出了一種基于層次意圖解耦的圖卷積神經(jīng)網(wǎng)絡(luò)推薦模型HIDR。該模型通過相鄰節(jié)點(diǎn)間的高階連通性以及區(qū)分不同交互行為的嵌入特征,將用戶與項(xiàng)目的嵌入特征轉(zhuǎn)換為意圖特征,解耦提取了隱藏在用戶交互行為中的細(xì)粒度用戶意圖,并根據(jù)(細(xì)粒度意圖節(jié)點(diǎn),超節(jié)點(diǎn))跨粒度意圖對的相似性聚合出了粗粒度用戶意圖,自下而上刻畫了細(xì)粒度到粗粒度意圖的層次關(guān)系,解決了意圖不易提取與結(jié)構(gòu)扁平化的問題。在兩個公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明,HIDR的推薦準(zhǔn)確性均優(yōu)于對比算法。但本文模型未考慮到用戶的地理位置、年齡等輔助信息,下一步將在層次解耦意圖推薦模型中融合研究用戶輔助屬性間的相似性,以進(jìn)一步提升解耦意圖的魯棒性。
參考文獻(xiàn):
[1]李靜楠,黃瑞章,任麗娜.用戶意圖補(bǔ)充的半監(jiān)督深度文本聚類[J/OL].計(jì)算機(jī)科學(xué)與探索.(2022-04-27).http://kns.cnki.net/kcms/detail/11.5602.TP.20220426.1913.004.html.(LiJingnan,HuangRuizhang,RenLina.Userintentcomplementthetextofthedepthofasemi-supervisedclustering[J/OL].ComputerScienceandExploration.(2022-04-27).http://kns.cnki.net/kcms/detail/11.5602.TP.20220426.1913.004.html.)
[2]趙鵬飛,李艷玲,林民.面向遷移學(xué)習(xí)的意圖識別研究進(jìn)展[J].計(jì)算機(jī)科學(xué)與探索,2020,14(8):1261-1274.(ZhaoPengfei,LiYanling,LinMin.Researchprogressonintentdetectionorientedtotransferlearning[J].JournalofFrontiersofComputerScienceandTechnology,2020,14(8):1261-1274.)
[3]WangXiao,WangRuijia,ShiChuan,etal.Multi-componentgraphconvolutionalcollaborativefiltering[C]//Procofthe34thAAAIConferenceonArtificialIntelligence.2020:6267-6274.
[4]XieRubing,WangYalong,WangRui,etal.Longshort-termtemporalmeta-learninginonlinerecommendation[C]//Procofthe15thACMInternationalConferenceonWebSearchandDataMining.2022:1168-1176.
[5]ZhaoSen,WeiWei,ZouDing,etal.Multi-viewintentdisentanglegraphnetworksforbundlerecommendation[EB/OL].(2022-08-25).https://arxiv.org/abs/2202.11425.
[6]WangXiang,JinHongye,ZhangAn,etal.Disentangledgraphcollaborativefiltering[C]//Procofthe43rdInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval.2020:1001-1010.
[7]WangXiangmeng,LiQian,YuDianer,etal.Causaldisentanglementforsemantics-awareintentlearninginrecommendation[J/OL].IEEETransonKnowledgeandDataEngineering.(2022-03-16).https://doi.org/10.1109/TKDE.2022.3159802.
[8]ZhengYu,GaoChen,ChangJianxin,etal.Disentanglinglongandshort-terminterestsforrecommendation[C]//ProcofACMWebConference.2022:2256-2267.
[9]王燕,范林,趙妮妮.利用門控網(wǎng)絡(luò)構(gòu)建用戶動態(tài)興趣的序列推薦模型[J].計(jì)算機(jī)工程,2022,48(8):283-291.(WangYan,F(xiàn)anLin,ZhaoNini.Sequentialrecommendationmodelusinggatednetworktoconstructuser’sdynamicinterest[J].ComputerEngineering,2022,48(8):283-291.)
[10]孫亞茹,楊瑩,王永劍.基于知信圖卷積神經(jīng)網(wǎng)絡(luò)的開放域知識圖譜自動構(gòu)建模型[J].計(jì)算機(jī)工程,2022,48(10):116-122.(SunYaru,YangYing,WangYongjian.Knowledgegraphautomaticconstructionmodelinopendomainbasedonknowledge-informedgraphconvolutionalneuralnetwork[J].ComputerEngineering,2022,48(10):116-122.)
[11]WangXiang,HeXiangnan,WangMeng,etal.Neuralgraphcollaborativefiltering[C]//Procofthe42ndInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval.2019:165-174.
[12]鄭誠,梅亮,趙伊研,等.基于雙向注意力機(jī)制和門控圖卷積網(wǎng)絡(luò)的文本分類方法[J].計(jì)算機(jī)科學(xué),2023,50(1):221-228.(ZhengCheng,MeiLiang,ZhaoYiyan,etal.Textclassificationbasedonbidirectionalattentionmechanismandgatedgraphconvolutionalnetwork[J].ComputerScience,2023,50(1):221-228.)
[13]WuLingfen,CuiPeng,PeiJian,etal.Graphneuralnetworks:foundations,frontiers,andapplications[M].Singapore:Springer,2022:27-37.
[14]成科揚(yáng),孟春運(yùn),王文杉,等.解耦表征學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用,2021,41(12):3409-3418.(ChengKeyang,MengChun-yun,WangWenshan,etal.Researchprogressofdisentanglingrepresentationlearning[J].JournalofComputerApplications,2021,41(12):3409-3418.)
[15]楊顯鵬,李曉楠,李冠宇.基于超圖卷積網(wǎng)絡(luò)的用戶微行為會話推薦[J/OL].計(jì)算機(jī)工程與應(yīng)用.(2022-10-11).http://kns.cnki.net/kcms/detail/11.2127.TP.20221010.1606.004.html.(YangXianpeng,LiXiaonan,LiGuanyu.Microbehaviorofusersbasedonthehypergraphconvolutionnetworksessionrecommended[J/OL].ComputerEngineeringandApplication.(2022-10-11).http://kns.cnki.net/kcms/detail/11.2127.TP.20221010.1606.004.html.)
[16]陳昱瑾,王晶,武志昊,等.基于圖卷積網(wǎng)絡(luò)融合群組關(guān)系的社會化推薦方法[J/OL].計(jì)算機(jī)工程.(2022-08-24).https://doi.org/10.19678/j.issn.1000-3428.0064216.(ChenYujin,WangJing,WuZhihao,etal.Basedontherelationshipbetweengroupsofconvolutionnetworkintegrationissocialrecommendationmethods[J/OL].ComputerEngineering.(2022-08-24).https://doi.org/10.19678/j.issn.1000-3428.0064216.)
[17]LiaoJie,ZhouWei,LuoFengji,etal.SocialLGN:lightgraphconvolutionnetworkforsocialrecommendation[J].InformationSciences,2022,589:595-607.
[18]ZhuPeng,ChengDawei,LuoSiqiang,etal.SI-news:integratingsocialinformationfornewsrecommendationwithattention-basedgraphconvolutionalnetwork[J].Neurocomputing,2022,494:33-42.
[19]陶玉合,高榕,邵雄凱,等.基于膠囊圖卷積的解纏繞會話感知推薦方法[J].計(jì)算機(jī)應(yīng)用研究,2023,40(1):122-128.(TaoYuhe,GaoRong,ShaoXiongkai,etal.Capsulefigurebasedonconvolutionofwindingsessionperceptionrecommendedmethod[J].ApplicationResearchofComputers,2023,40(1):122-128.)
[20]MaJianxin,ZhouChang,CuiPeng,etal.Learningdisentangledre-presentationsforrecommendation[EB/OL].(2019-10-31).https://arxiv.org/abs/1910.14238.
[21]WangYifang,TangSuyao,LeiYuntong,etal.DisenHAN:disentangledheterogeneousgraphattentionnetworkforrecommendation[C]//Procofthe29thACMInternationalConferenceonInformationamp;KnowledgeManagement.2020:1605-1614.
[22]ZhengYu,GaoChen,LiXiang,etal.Disentanglinguserinterestandconformityforrecommendationwithcausalembedding[C]//ProcofWebConference.NewYork:ACMPress,2021:2980-2991.
[23]VanDenBergR,KipfTN,WellingM.Graphconvolutionalmatrixcompletion[EB/OL].(2017-06-07).https://arxiv.org/abs/1706.02263.
[24]MaJiaxin,CuiPeng,KuangKun,etal.Disentangledgraphconvolutionalnetworks[C]//Procofthe36thInternationalConferenceonMachineLearning.2019:4212-4221.
[25]杜雨晅,王巍,張闖,等.基于自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法[J].計(jì)算機(jī)應(yīng)用研究,2022,39(6):1760-1766.(DuYuxuan,WangWei,ZhangChuang,etal.Graphconvolutionattentionbasedonadaptiveneuralcollaborativerecommendationalgorithm[J].ApplicationResearchofComputers,2022,33(6):1760-1766.)
[26]YuPengyang,F(xiàn)uChaofan,YuYanwei,etal.Multiplexheterogeneousgraphconvolutionalnetwork[C]//Procofthe28thACMSIGKDDConferenceonKnowledgeDiscoveryandDataMining.2022:2377-2387.
[27]ChenChong,ZhangMin,ZhangYongfeng,etal.Efficientneuralmatrixfactorizationwithoutsamplingforrecommendation[J].ACMTransonInformationSystems,2020,38(2):1-28.
[28]蔣雯靜,熊熙,李中志,等.基于無采樣協(xié)作知識圖網(wǎng)絡(luò)的推薦系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2022,42(4):1057-1064.(JiangWenjing,XiongXi,LiZhongzhi,etal.Recommendationsystembasedonnonsamplingcollaborativeknowledgegraphnetwork[J].JournalofComputerApplications,2022,42(4):1057-1064.)