孫軒宇，史艷翠

融合項(xiàng)目影響力的圖神經(jīng)網(wǎng)絡(luò)會(huì)話(huà)推薦模型

孫軒宇1，史艷翠1，2*

（1.天津科技大學(xué) 人工智能學(xué)院，天津 300457； 2.國(guó)家開(kāi)放大學(xué) 數(shù)字化學(xué)習(xí)技術(shù)集成與應(yīng)用教育部工程研究中心，北京 100039）（?通信作者電子郵箱syc@tust.edu.cn）

針對(duì)現(xiàn)有的會(huì)話(huà)推薦模型難以顯式地表示項(xiàng)目對(duì)推薦結(jié)果的影響的問(wèn)題，提出一種融合項(xiàng)目影響力的圖神經(jīng)網(wǎng)絡(luò)會(huì)話(huà)推薦模型（SR-II）。首先，提出一種新的邊權(quán)重計(jì)算方法，將計(jì)算結(jié)果作為圖結(jié)構(gòu)中轉(zhuǎn)移關(guān)系的影響力權(quán)重，并用圖神經(jīng)網(wǎng)絡(luò)（GNN）的影響力圖門(mén)控層提取該圖的特征；其次，提出改進(jìn)的捷徑圖連接有關(guān)聯(lián)的項(xiàng)目，有效捕獲遠(yuǎn)程依賴(lài)，豐富圖結(jié)構(gòu)所能表達(dá)的信息，并通過(guò)注意力機(jī)制的捷徑圖注意力層提取該圖的特征；最后，通過(guò)結(jié)合上述兩層，構(gòu)建推薦模型。在Diginetica和Gowalla數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果中，SR-II的HR@20最高達(dá)到53.12%，MRR@20最高達(dá)到25.79%。在Diginetica數(shù)據(jù)集上，相較于同一表征空間下基于訓(xùn)練模型的會(huì)話(huà)推薦（CORE-trm），SR-II在HR@20上提升了1.10%，在MRR@20上提升了1.21%。在Gowalla數(shù)據(jù)集上，相較于基于會(huì)話(huà)的自注意網(wǎng)絡(luò)推薦（SR-SAN），SR-II在HR@20上提升了1.73%；相較于基于無(wú)損邊緣保留聚合和捷徑圖注意力的推薦（LESSR）模型，SR-II在MRR@20上提升了1.14%。實(shí)驗(yàn)結(jié)果表明SR-II的推薦效果優(yōu)于對(duì)比模型，具有更高的推薦精度。

會(huì)話(huà)推薦；推薦系統(tǒng)；圖神經(jīng)網(wǎng)絡(luò)；注意力機(jī)制；會(huì)話(huà)圖

0 引言

隨著推薦系統(tǒng)的發(fā)展以及用戶(hù)對(duì)隱私保護(hù)的重視，需要用戶(hù)長(zhǎng)期歷史行為記錄作為訓(xùn)練數(shù)據(jù)的傳統(tǒng)推薦算法不再適合所有情景。為了給匿名瀏覽的用戶(hù)和沒(méi)有歷史行為記錄的新用戶(hù)推薦符合需求的商品，同時(shí)提高在一次會(huì)話(huà)中推薦系統(tǒng)的性能，學(xué)者們提出了一個(gè)新的推薦系統(tǒng)發(fā)展方向：基于會(huì)話(huà)的推薦系統(tǒng)。

基于會(huì)話(huà)的推薦系統(tǒng)將一系列連續(xù)行為從開(kāi)始到結(jié)束的過(guò)程作為一次會(huì)話(huà)。傳統(tǒng)的推薦系統(tǒng)主要研究如何利用用戶(hù)歷史行為挖掘用戶(hù)的長(zhǎng)期興趣偏好，基于會(huì)話(huà)的推薦系統(tǒng)則認(rèn)為用戶(hù)的短期興趣偏好也很重要，且認(rèn)為用戶(hù)的短期興趣偏好主要和一次會(huì)話(huà)中的上下文有關(guān)。同時(shí)用戶(hù)選擇項(xiàng)目的興趣偏好是動(dòng)態(tài)的，所以基于會(huì)話(huà)的推薦系統(tǒng)的任務(wù)是根據(jù)用戶(hù)當(dāng)前會(huì)話(huà)中的行為上下文預(yù)測(cè)用戶(hù)下一個(gè)可能感興趣的項(xiàng)目，并作出推薦。

目前的會(huì)話(huà)推薦算法存在以下兩點(diǎn)不足：

1）在為會(huì)話(huà)序列建模時(shí)，認(rèn)為同一跳的不同項(xiàng)目是同等重要的，忽略了項(xiàng)目之間的差異性，導(dǎo)致項(xiàng)目對(duì)推薦結(jié)果的影響程度不同。

2）只通過(guò)用戶(hù)點(diǎn)擊序列對(duì)連續(xù)的上下文進(jìn)行建模，使項(xiàng)目間的轉(zhuǎn)移關(guān)系局限于相鄰項(xiàng)目之間，很難捕獲不相鄰的項(xiàng)目之間的依賴(lài)關(guān)系。

為了解決上述兩點(diǎn)不足，本文提出了一種融合項(xiàng)目影響力的圖神經(jīng)網(wǎng)絡(luò)會(huì)話(huà)推薦模型（Session-based Recommendation model by graph neural network fused with Item Influence， SR-II）。

本文的主要工作如下：

1）提出影響力圖，在將會(huì)話(huà)構(gòu)建成圖的過(guò)程中使用改進(jìn)的邊權(quán)重計(jì)算方法，使越接近當(dāng)前興趣的轉(zhuǎn)移關(guān)系在同一跳中獲得的權(quán)重越大，通過(guò)加強(qiáng)邊權(quán)重的差別增強(qiáng)圖的表達(dá)能力。

2）為存在路徑的不相鄰的兩個(gè)圖節(jié)點(diǎn)間添加有向邊，構(gòu)建捷徑圖，并通過(guò)邊權(quán)重提升捷徑圖的表達(dá)能力，提供遠(yuǎn)程項(xiàng)目之間的依賴(lài)關(guān)系捕獲能力。

3）融合影響力圖和捷徑圖，建立了圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）模型進(jìn)行會(huì)話(huà)推薦，并在兩個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了本文模型在會(huì)話(huà)推薦上的合理性和有效性。

1 相關(guān)工作

1.1　GNN

近年來(lái)，由于圖結(jié)構(gòu)具有較強(qiáng)的處理關(guān)系型數(shù)據(jù)的能力，所以學(xué)者們對(duì)圖的研究和應(yīng)用的探索廣泛存在于各個(gè)領(lǐng)域，包括圖像處理［1］、藥物醫(yī)學(xué)［2-3］和交通預(yù)測(cè)［4-5］等。

GNN是一類(lèi)用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的總稱(chēng)，包括圖卷積網(wǎng)絡(luò)［6-7］、圖循環(huán)網(wǎng)絡(luò)［8］和圖注意力網(wǎng)絡(luò)［9-10］等。GNN具有處理關(guān)系型數(shù)據(jù)和解決長(zhǎng)距離信息傳播的能力，在社會(huì)化推薦、個(gè)性化推薦和會(huì)話(huà)推薦上表現(xiàn)出了較高的契合度和較好的效果［11］。

1.2　會(huì)話(huà)推薦

早期基于會(huì)話(huà)的推薦算法通常使用馬爾可夫鏈預(yù)測(cè)用戶(hù)的下一個(gè)行為。Shani等［12］提出基于馬爾可夫鏈的推薦模型，利用項(xiàng)目的轉(zhuǎn)換頻率得到轉(zhuǎn)移矩陣；但是在應(yīng)用過(guò)程中當(dāng)訓(xùn)練集中不存在轉(zhuǎn)移關(guān)系時(shí)，該模型的效果較差。為了解決這一問(wèn)題，Rendle等［13］提出將張量分解與馬爾可夫鏈結(jié)合的FPMC（Factorizing Personalized Markov Chains for next-basket recommendation）模型。Davidson等［14］提出Item-KNN（Item based K-Nearest Neighbor）模型，通過(guò)計(jì)算項(xiàng)目之間的余弦相似度預(yù)測(cè)下一個(gè)最有可能出現(xiàn)的項(xiàng)目。

隨著深度學(xué)習(xí)在許多領(lǐng)域取得了成功，在會(huì)話(huà)推薦領(lǐng)域也逐漸使用深度學(xué)習(xí)技術(shù)提高推薦算法特征提取的能力。例如Hidasi等［15］提出GRU4Rec（Gated Recurrent Unit for Recommendation）模型，將循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于會(huì)話(huà)推薦，因?yàn)檠h(huán)神經(jīng)網(wǎng)絡(luò)能夠捕捉會(huì)話(huà)中的序列模式，所以該模型取得了較好的效果；Tan等［16］改進(jìn)了該模型，使用數(shù)據(jù)擴(kuò)張的方法進(jìn)行數(shù)據(jù)預(yù)處理，并添加dropout方法防止過(guò)擬合。

隨后，注意力機(jī)制在許多機(jī)器學(xué)習(xí)任務(wù)中被使用，并在推薦系統(tǒng)領(lǐng)域引發(fā)熱潮，會(huì)話(huà)推薦模型中開(kāi)始嵌入注意力網(wǎng)絡(luò)。Li等［17］提出了一個(gè)結(jié)合注意力網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的NARM（Neural Attentive Recommendation Machine）模型，在循環(huán)神經(jīng)網(wǎng)絡(luò)考慮用戶(hù)行為序列的基礎(chǔ)上考慮用戶(hù)的注意力。Liu等［18］認(rèn)為在用戶(hù)的一次會(huì)話(huà)中應(yīng)該優(yōu)先提取用戶(hù)的當(dāng)前興趣，所以通過(guò)注意力機(jī)制為更符合用戶(hù)當(dāng)前興趣的項(xiàng)目賦予更大的權(quán)重，達(dá)到短期注意力優(yōu)先的效果。

但是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的會(huì)話(huà)推薦在建模時(shí)遵循嚴(yán)格的線(xiàn)性序列關(guān)系，忽略了項(xiàng)目之間復(fù)雜的轉(zhuǎn)移關(guān)系。為了更好地表示項(xiàng)目之間的轉(zhuǎn)移關(guān)系，GNN逐漸被用于會(huì)話(huà)推薦。Wu等［19］提出基于GNN的會(huì)話(huà)推薦模型SR-GNN（Session-based Recommendation with Graph Neural Network）模型，該模型將會(huì)話(huà)建模成不帶權(quán)重的有向圖，使用門(mén)控圖神經(jīng)網(wǎng)絡(luò)（Gated Graph Neural Network， GGNN）［8］順著節(jié)點(diǎn)方向在鄰居節(jié)點(diǎn)間傳播信息，隨后使用注意力網(wǎng)絡(luò)讀取全局興趣，融合會(huì)話(huà)的全局興趣和當(dāng)前興趣生成最終興趣，最后生成推薦結(jié)果；Song等［20］認(rèn)為用戶(hù)興趣是動(dòng)態(tài)變化且容易受社會(huì)影響的，于是提出了動(dòng)態(tài)圖注意力網(wǎng)絡(luò)進(jìn)行基于會(huì)話(huà)的社會(huì)推薦；Yu等［21］提出了一種目標(biāo)注意力圖神經(jīng)網(wǎng)絡(luò)TAGNN（Target Attentive Graph Neural Network）模型，使模型能夠針對(duì)會(huì)話(huà)中目標(biāo)項(xiàng)目的變化而激活不同的用戶(hù)興趣，更好地進(jìn)行會(huì)話(huà)推薦；Xu等［22］提出GC-SAN（Graph Contextualized Self-Attention Network for session-based recommendation）模型，結(jié)合GNN與自注意力機(jī)制，增強(qiáng)局部特征的提取能力；Xian等［23］結(jié)合GNN與復(fù)購(gòu)-探索機(jī)制，強(qiáng)化復(fù)購(gòu)行為；Chen等［24］提出基于無(wú)損邊緣保留聚合和捷徑圖注意力的推薦（Lossless Edge-order preserving aggregation and Shortcut graph attention for Session-based Recommendation， LESSR）模型，將會(huì)話(huà)序列的點(diǎn)擊順序作為權(quán)重賦值給邊，使圖結(jié)構(gòu)能夠保留會(huì)話(huà)的順序信息，又使用無(wú)權(quán)重的捷徑圖輔助捕獲遠(yuǎn)程依賴(lài)，取得了較好的效果；Fang［25］提出基于會(huì)話(huà)的自注意網(wǎng)絡(luò)推薦（Session-based Recommendation with Self-Attention Networks， SR-SAN）模型，將多頭自注意力機(jī)制應(yīng)用于會(huì)話(huà)推薦；南寧等［26］將用戶(hù)與項(xiàng)目的交互作為項(xiàng)目間轉(zhuǎn)移關(guān)系的權(quán)重，取得了較好的效果；任俊偉等［27］使用物品的類(lèi)別信息作為項(xiàng)目的補(bǔ)充信息，對(duì)SR-GNN進(jìn)行了改進(jìn)；黃震華等［28］使用模型訓(xùn)練獲得會(huì)話(huà)圖的邊權(quán)重，使用詞嵌入方法獲得數(shù)據(jù)集的全局特征；閆昭等［29］挖掘商品間的歷史交互，使用相似度構(gòu)建商品關(guān)系圖，進(jìn)行圖卷積會(huì)話(huà)推薦；Hou等［30］提出的CORE（COnsistent REpresentation space）模型，通過(guò)設(shè)計(jì)編碼器，將會(huì)話(huà)嵌入和項(xiàng)目嵌入統(tǒng)一在同一表示空間中進(jìn)行會(huì)話(huà)推薦。

現(xiàn)有模型通常認(rèn)為在傳播過(guò)程中同一跳的轉(zhuǎn)移關(guān)系同等重要，忽略了同一跳項(xiàng)目在轉(zhuǎn)移概率上的差異性；在使用捷徑圖時(shí)，也忽略了轉(zhuǎn)移關(guān)系之間的差異性。為此，本文提出了融合項(xiàng)目影響力的GNN會(huì)話(huà)推薦模型。

2 融合項(xiàng)目影響力的GNN會(huì)話(huà)推薦模型

對(duì)于一個(gè)會(huì)話(huà)，會(huì)話(huà)歷史中的項(xiàng)目可能會(huì)影響用戶(hù)對(duì)下一個(gè)感興趣項(xiàng)目的判斷，因此會(huì)話(huà)圖同一跳的每一個(gè)轉(zhuǎn)移關(guān)系對(duì)結(jié)果的影響力不同。本文提出了一種融合項(xiàng)目影響力的GNN會(huì)話(huà)推薦模型，結(jié)構(gòu)如圖1所示。

將用戶(hù)會(huì)話(huà)序列構(gòu)造為兩個(gè)具有代表性的圖結(jié)構(gòu)：影響力圖和捷徑圖。影響力圖表示目標(biāo)項(xiàng)目與同一跳中其他項(xiàng)目相比，對(duì)推薦結(jié)果的影響能力；捷徑圖為不相鄰的項(xiàng)目間添加帶權(quán)重的有向邊，強(qiáng)化遠(yuǎn)程依賴(lài)關(guān)系，提升模型的遠(yuǎn)程依賴(lài)捕獲能力。圖和節(jié)點(diǎn)的表示將作為輸入傳遞給多個(gè)交錯(cuò)的影響力圖門(mén)控層和捷徑圖注意力層，每一層都輸出新的節(jié)點(diǎn)表示，最后預(yù)測(cè)下一個(gè)項(xiàng)目的概率分布。

圖結(jié)構(gòu)中豐富的信息會(huì)給圖神經(jīng)模型更多學(xué)習(xí)選擇的空間，使模型的擬合更加靈活，從而得到更好的表達(dá)，獲得更好的推薦結(jié)果。

圖1　本文模型的結(jié)構(gòu)

2.1　相關(guān)定義

定義1 會(huì)話(huà)序列。一個(gè)會(huì)話(huà)序列表示為=［1，2，…，v］，序列長(zhǎng)度為。

2.2　將會(huì)話(huà)構(gòu)建為圖

2.2.1構(gòu)建影響力圖

在將會(huì)話(huà)序列構(gòu)建成圖結(jié)構(gòu)時(shí)，現(xiàn)有工作［19，23，29］通常將目標(biāo)節(jié)點(diǎn)的每一條出邊設(shè)定為相同權(quán)重。本文認(rèn)為這類(lèi)出邊雖然從同一目標(biāo)節(jié)點(diǎn)出發(fā)，但是這些邊表示的轉(zhuǎn)移關(guān)系的重要程度不同，這種有區(qū)別的轉(zhuǎn)移關(guān)系會(huì)影響用戶(hù)找到心儀項(xiàng)目所需的時(shí)間，本文將這樣的影響稱(chēng)為影響力，根據(jù)影響力不同，為對(duì)應(yīng)的邊添加權(quán)重，具有這樣邊權(quán)重的圖就是影響力圖。

圖2　會(huì)話(huà)圖

如圖3（a）所示，有會(huì)話(huà)序列=［1，2，2，3，2，4，5］，經(jīng)過(guò)計(jì)算可以得到如圖3（b）所示的影響力圖和如圖3（c）所示的鄰接矩陣。

圖3　構(gòu)建影響力圖

2.2.2構(gòu)建捷徑圖

圖模型的逐層傳播可能會(huì)忽略遠(yuǎn)程項(xiàng)目的信息，使得當(dāng)前節(jié)點(diǎn)的傳播與聚合只考慮相鄰的少數(shù)幾個(gè)節(jié)點(diǎn)的信息，而忽略不相鄰的節(jié)點(diǎn)的信息。這些不相鄰的節(jié)點(diǎn)信息稱(chēng)為遠(yuǎn)程依賴(lài)，豐富的遠(yuǎn)程依賴(lài)可以為模型提供更多的信息。

捷徑圖為可達(dá)但不相鄰的兩個(gè)節(jié)點(diǎn)添加有向邊，邊指向的方向由節(jié)點(diǎn)表示的項(xiàng)目在會(huì)話(huà)中出現(xiàn)的先后順序決定，這樣的邊稱(chēng)為捷徑。圖結(jié)構(gòu)通過(guò)添加捷徑和自循環(huán)，可以有效學(xué)習(xí)遠(yuǎn)程依賴(lài)，并在執(zhí)行消息傳遞時(shí)結(jié)合更新功能和聚合功能。

在使用捷徑圖進(jìn)行基于GNN的會(huì)話(huà)推薦時(shí)，現(xiàn)有工作使用無(wú)權(quán)重的捷徑圖輔助學(xué)習(xí)遠(yuǎn)程依賴(lài)［24］，忽略了圖的邊權(quán)重可以攜帶信息這一特點(diǎn)。

本文使用邊權(quán)重區(qū)分虛擬邊和真實(shí)邊，豐富圖結(jié)構(gòu)攜帶的信息：將捷徑和添加的自循環(huán)稱(chēng)為虛擬邊，將用戶(hù)真實(shí)點(diǎn)擊轉(zhuǎn)移關(guān)系形成的邊稱(chēng)為真實(shí)邊。虛擬邊是根據(jù)用戶(hù)的真實(shí)點(diǎn)擊轉(zhuǎn)移關(guān)系補(bǔ)充而成，具備參考價(jià)值；真實(shí)邊是用戶(hù)點(diǎn)擊轉(zhuǎn)移關(guān)系的真實(shí)表示，具備決定價(jià)值。為了區(qū)分虛擬邊與真實(shí)邊，在新構(gòu)成的捷徑圖中為這兩類(lèi)邊分配不同的權(quán)重。

其中：是虛擬邊的權(quán)重，決定了虛擬邊在捷徑圖注意力層中的重要程度。元素將被保存在鄰接矩陣AS2SG中。例如，對(duì)于會(huì)話(huà)S=［v1，v2，v2，v3，v2，v4，v5］，構(gòu)建的捷徑圖GS2SG和鄰接矩陣AS2SG如圖4所示。

2.3　模型構(gòu)建

2.3.1影響力圖門(mén)控層

2.3.2捷徑圖注意力層

一般情況下，一層GNN只能捕獲1跳距離的節(jié)點(diǎn)關(guān)系，想要捕獲1跳以上的節(jié)點(diǎn)關(guān)系就需要疊加多層GNN；然而使用多層GNN疊加的方法雖然可以捕獲多跳關(guān)系，但是會(huì)引入過(guò)平滑問(wèn)題，即多個(gè)節(jié)點(diǎn)收斂到同一個(gè)值。因此，使用捷徑圖為有關(guān)聯(lián)的多跳節(jié)點(diǎn)添加新的轉(zhuǎn)移關(guān)系，再使用捷徑圖注意力層學(xué)習(xí)捷徑圖，可以避免多層GNN疊加并能有效捕獲遠(yuǎn)程依賴(lài)，實(shí)現(xiàn)信息的遠(yuǎn)程傳播。

對(duì)于影響力圖門(mén)控層與捷徑圖注意力層，本文引入密集連接［31］的方法，將影響力圖門(mén)控層與捷徑圖注意力層交錯(cuò)堆疊，從而進(jìn)一步促進(jìn)特征重用。

2.3.3生成會(huì)話(huà)嵌入

其中，1，1∈R以及1，2∈R控制每個(gè)節(jié)點(diǎn)嵌入獲得的權(quán)重。

最后，將g和last向量串聯(lián)后進(jìn)行線(xiàn)性變換，可以得到混合向量h作為最終興趣表示：

其中矩陣3∈R2d把兩個(gè)向量的串聯(lián)映射到潛在空間R中。

2.3.4生成推薦和訓(xùn)練模型

對(duì)于每個(gè)會(huì)話(huà)圖，損失函數(shù)定義為預(yù)測(cè)值與真實(shí)值的交叉熵，如式（18）所示：

其中是真實(shí)的會(huì)話(huà)序列中下一個(gè)點(diǎn)擊項(xiàng)目的one-hot向量。最后通過(guò)反向傳播算法訓(xùn)練模型。

3 實(shí)驗(yàn)與結(jié)果分析

3.1　數(shù)據(jù)集

為了驗(yàn)證融合項(xiàng)目影響力的GNN推薦模型的有效性，本文在以下兩個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

1）Diginetica（https：//competitions.codalab.org/competitions/11161）是一個(gè)來(lái)自CIKM CUP 2016的數(shù)據(jù)集，包含一個(gè)電子商務(wù)網(wǎng)站5個(gè)月內(nèi)的點(diǎn)擊流數(shù)據(jù)。本文將它最后一周的點(diǎn)擊數(shù)據(jù)作為測(cè)試集，其余數(shù)據(jù)作為訓(xùn)練集。

2）Gowalla（http：//snap.stanford.edu/data/loc-gowalla.html）是一個(gè)廣泛用于興趣點(diǎn)推薦的簽到數(shù)據(jù)集。本文使用出現(xiàn)最多的前30 000個(gè)位置，并將用戶(hù)間隔時(shí)間不超過(guò)1 d的相鄰簽到記錄作為簽到會(huì)話(huà)，其中最后20%的會(huì)話(huà)作為測(cè)試集。

在訓(xùn)練之前首先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，將非常短的會(huì)話(huà)和不常出現(xiàn)的項(xiàng)目篩除，并對(duì)數(shù)據(jù)集使用數(shù)據(jù)增強(qiáng)技術(shù)［17-19，24］。預(yù)處理之后的數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

表1　實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)信息

注：長(zhǎng)度指項(xiàng)目數(shù)。

3.2　對(duì)比模型和評(píng)價(jià)指標(biāo)

為了評(píng)估SR-II的效果，用以下8個(gè)典型模型與SR-II進(jìn)行對(duì)比。

FPMC［13］：將馬爾可夫鏈和矩陣分解結(jié)合進(jìn)行下一個(gè)籃子推薦，將當(dāng)前會(huì)話(huà)中的下一個(gè)項(xiàng)目作為下一個(gè)籃子，可以使FPMC運(yùn)用在會(huì)話(huà)推薦中。

Item-KNN［14］：使用余弦相似度計(jì)算項(xiàng)目間的相似度，推薦與目標(biāo)項(xiàng)目相似度最高的項(xiàng)目。

NARM［17］：在GRU4Rec的基礎(chǔ)上引入注意力機(jī)制捕獲用戶(hù)的主要興趣。

SR-GNN［19］：將會(huì)話(huà)序列建模為圖結(jié)構(gòu)，并使用GNN聚合項(xiàng)目間的轉(zhuǎn)移關(guān)系，達(dá)到加強(qiáng)項(xiàng)目特征的目的。

GC-SAN［22］：使用GNN捕獲項(xiàng)目間的局部依賴(lài)關(guān)系，使用自注意力機(jī)制捕獲全局依賴(lài)關(guān)系。

LESSR［24］：使用圖結(jié)構(gòu)的邊保存點(diǎn)擊順序，解決由會(huì)話(huà)構(gòu)建圖的信息損失問(wèn)題，并用捷徑圖輔助學(xué)習(xí)遠(yuǎn)程依賴(lài)。

SR-SAN［25］：使用多頭自注意力機(jī)制進(jìn)行會(huì)話(huà)推薦。

CORE［30］：設(shè)計(jì)編碼器，將會(huì)話(huà)嵌入和項(xiàng)目嵌入統(tǒng)一在同一表示空間中進(jìn)行會(huì)話(huà)推薦，本文選用在兩個(gè)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果較好的同一表征空間下基于訓(xùn)練模型的會(huì)話(huà)推薦（simple and effective session-based recommendation within COnsistent REpresentation space-transformer， CORE-trm）作為對(duì)比模型。

考慮到本文提出的創(chuàng)新點(diǎn)，提供兩種實(shí)現(xiàn)作為對(duì)比模型：一是使用基礎(chǔ)會(huì)話(huà)圖（如圖2所示）和捷徑圖的實(shí)現(xiàn)，記為SR-II-base；另一個(gè)是使用影響力圖和捷徑圖的實(shí)現(xiàn)，記為SR-II。

本文使用命中率（Hit Ratio， HR）和平均倒數(shù)排名（Mean Reciprocal Rank， MRR）作為評(píng)價(jià)指標(biāo)。HR@和MRR@中的表示使用推薦結(jié)果列表的前個(gè)項(xiàng)目進(jìn)行評(píng)價(jià)。

3.3　實(shí)驗(yàn)參數(shù)設(shè)置

本文經(jīng)過(guò)多次實(shí)驗(yàn)，確定了最優(yōu)實(shí)驗(yàn)參數(shù)：初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減系數(shù)為0.2，嵌入維度為64，L2正則化系數(shù)為0.000 1，使用Adam優(yōu)化器優(yōu)化模型參數(shù)，最小批處理量為256，SR-II堆疊的層數(shù)為2，捷徑圖中虛擬邊的值設(shè)置為0.4，并且采用提前停止策略，即如果在連續(xù)10輪測(cè)試中HR@20指標(biāo)沒(méi)有提升，則提前終止訓(xùn)練。

3.4　與現(xiàn)有模型比較

為了驗(yàn)證SR-II的效果，將SR-II-base和SR-II與對(duì)比模型在兩個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2　不同模型在兩個(gè)數(shù)據(jù)集上的 HR@20和MRR@20比較 單位： %

注：下畫(huà)線(xiàn)數(shù)據(jù)表示對(duì)比模型中的最優(yōu)值。

從表2可以看出，SR-II-base模型的實(shí)驗(yàn)結(jié)果已經(jīng)超過(guò)了大部分對(duì)比模型，SR-II在HR@20和MRR@20兩個(gè)指標(biāo)上的效果均有進(jìn)一步提升。與結(jié)果最優(yōu)的對(duì)比模型進(jìn)行比較，在Diginetica數(shù)據(jù)集上，相較于CORE-trm，SR-II在HR@20上提升了1.10%，在MRR@20上提升了1.21%；在Gowalla數(shù)據(jù)集上，相較于SR-SAN，SR-II在HR@20上提升了1.73%，相較于LESSR在MRR@20上提升了1.14%。

綜上，SR-II在引入了影響力概念后，命中率進(jìn)一步提升，表明通過(guò)影響力概念豐富圖結(jié)構(gòu)的內(nèi)容后，能進(jìn)一步提升推薦效果。

3.5　消融實(shí)驗(yàn)

本節(jié)將驗(yàn)證SR-II各個(gè)組件的有效性，分析重要超參數(shù)對(duì)推薦性能的影響。

3.5.1驗(yàn)證影響力圖和捷徑圖有效性

為了驗(yàn)證本文提出的影響力圖的有效性，將影響力圖門(mén)控層模型、使用GGNN的SR-GNN和SR-II進(jìn)行對(duì)比。實(shí)驗(yàn)使用的數(shù)據(jù)集為Diginetica，3個(gè)模型在評(píng)價(jià)指標(biāo)HR@20、MRR@20上的表現(xiàn)如圖5所示。

圖5　3個(gè)模型的表現(xiàn)

根據(jù)圖5所示結(jié)果可知，與SR-GNN相比，影響力圖門(mén)控層模型在HR@20和MRR@20上分別都有提升；這是因?yàn)橛绊懥D門(mén)控層模型考慮了圖結(jié)構(gòu)中轉(zhuǎn)移關(guān)系差異性，并根據(jù)轉(zhuǎn)移關(guān)系對(duì)結(jié)果的影響力區(qū)別分配對(duì)應(yīng)權(quán)重，因此可以得出結(jié)論，考慮了圖結(jié)構(gòu)中轉(zhuǎn)移關(guān)系差異性可以改善推薦結(jié)果。

與影響力圖門(mén)控層模型相比，SR-II在HR@20和MRR@20上分別都有提升；這是因?yàn)樵赟R-II中還引入了捷徑圖。由此可以得出結(jié)論：與影響力圖門(mén)控層相比，將影響力圖門(mén)控層與捷徑圖注意力層融合得到的SR-II可以得到更好的推薦結(jié)果。

3.5.2虛擬邊的權(quán)重對(duì)性能的影響

本文提出設(shè)置虛擬邊和真實(shí)邊不同的權(quán)重值，顯式地區(qū)分兩類(lèi)邊，以提高捷徑圖的表達(dá)能力。為了研究虛擬邊權(quán)重值的變化對(duì)模型效果的影響，本文將模型的虛擬邊的權(quán)重值分別設(shè)置為｛0，0.2，0.4，0.6，0.8，1｝進(jìn)行實(shí)驗(yàn)，模型的其他參數(shù)設(shè)置與3.3節(jié)相同，在數(shù)據(jù)集Diginetica上模型表現(xiàn)如圖6所示。

圖6　不同θ下SR-II的表現(xiàn)

從圖6可以看出，使用改進(jìn)的捷徑圖（即=｛0.2，0.4，0.6，0.8｝）的推薦結(jié)果較好，明顯優(yōu)于無(wú)捷徑的會(huì)話(huà)圖（即=0）的推薦結(jié)果，說(shuō)明改進(jìn)的捷徑圖能有效提高推薦效果。同時(shí)，從圖6可以看出，虛擬邊權(quán)重值的變化會(huì)影響模型的表現(xiàn)效果。使捷徑圖不區(qū)分虛擬邊和真實(shí)邊，即虛擬邊的權(quán)重值為1時(shí)，模型表現(xiàn)明顯差于區(qū)分虛擬邊和真實(shí)邊時(shí)的情況，此現(xiàn)象表明虛擬邊和真實(shí)邊的重要性存在差異。從圖6還可以看出，在以上評(píng)價(jià)指標(biāo)中，=0.4時(shí)模型的表現(xiàn)都優(yōu)于或相近于等于其他值時(shí)模型的表現(xiàn)。

3.5.3超參數(shù)對(duì)性能的影響

模型層數(shù)和嵌入維度是兩個(gè)重要的超參數(shù)，通常能顯著影響模型的性能，本節(jié)將探究這兩個(gè)超參數(shù)對(duì)SR-II的影響。SR-II以｛影響力圖門(mén)控層，捷徑圖注意力層，影響力圖門(mén)控層｝的順序堆疊，堆疊層數(shù)在｛1，2，3，4，5｝中取值，嵌入維度在｛16，32，64，96，128｝中取值。在評(píng)價(jià)指標(biāo)HR@20上的實(shí)驗(yàn)結(jié)果如圖7所示。由于在指標(biāo)MRR@20上的結(jié)果變化趨勢(shì)與在HR@20上的類(lèi)似，又考慮到篇幅限制，故此省略。

圖7　SR-II的表現(xiàn)

從圖7可以看出，盲目地增加堆疊層數(shù)和嵌入維度大小無(wú)法使推薦性能變得更好。逐步增加堆疊層數(shù)，會(huì)使模型性能呈現(xiàn)先升高再下降的趨勢(shì)。在達(dá)到最優(yōu)層數(shù)之前，增加層數(shù)可以加強(qiáng)模型的學(xué)習(xí)能力；但是在這之后添加更多的層數(shù)，反而會(huì)導(dǎo)致過(guò)平滑等問(wèn)題，使得模型性能下降，因此堆疊層數(shù)不是越多越好。

對(duì)于嵌入維度，在Diginetica數(shù)據(jù)集上，32是最佳的嵌入維度大小，由于過(guò)擬合問(wèn)題，大于最佳大小越多，模型性能表現(xiàn)越差；對(duì)于Gowalla數(shù)據(jù)集，更大的嵌入維度大小能帶來(lái)更好的模型學(xué)習(xí)能力，提升模型的性能。因此嵌入維度不是越大越好，而是最合適的最好。

3.6　時(shí)間復(fù)雜度和時(shí)間效率分析

表3展示了本文模型和對(duì)比模型在時(shí)間復(fù)雜度上的對(duì)比和在Diginetica數(shù)據(jù)集上平均每輪的訓(xùn)練時(shí)間。

從表3可以看出：SR-GNN和CORE-trm的時(shí)間復(fù)雜度較優(yōu)，本文模型在時(shí)間復(fù)雜度上高于SR-GNN，高出的復(fù)雜度與會(huì)話(huà)圖中邊數(shù)有關(guān)，但本文模型的推薦效果更好。在平均訓(xùn)練時(shí)間方面，SR-II的平均訓(xùn)練時(shí)間較長(zhǎng)。這是因?yàn)樵诿總€(gè)會(huì)話(huà)構(gòu)建影響力圖的過(guò)程中，需要多次遍歷會(huì)話(huà)圖得到計(jì)算影響力的依據(jù)。使用普通會(huì)話(huà)圖的SR-II-base，需要的平均訓(xùn)練時(shí)間大幅縮短，與現(xiàn)有模型相比，相差不大。綜合分析推薦精確度和訓(xùn)練時(shí)間，可以得出結(jié)論：在精度要求比較高的場(chǎng)合，SR-II的表現(xiàn)優(yōu)于其他對(duì)比模型；在兼顧精度和時(shí)間的場(chǎng)合，SR-II-base更適用；在對(duì)訓(xùn)練時(shí)間要求較高的場(chǎng)合，可以選用CORE-trm。

表3　不同模型的時(shí)間復(fù)雜度和平均訓(xùn)練時(shí)間對(duì)比

4 結(jié)語(yǔ)

為了克服現(xiàn)有會(huì)話(huà)推薦算法的不足，本文提出了一種融合項(xiàng)目影響力的GNN模型的會(huì)話(huà)推薦模型（SR-II）。不僅通過(guò)增強(qiáng)圖結(jié)構(gòu)中邊的表達(dá)能力有效提升模型推薦效果，而且一定程度上解決了GNN難以捕獲遠(yuǎn)程依賴(lài)的問(wèn)題。

該模型使用GGNN根據(jù)影響力圖提取項(xiàng)目特征，通過(guò)注意力機(jī)制捕獲項(xiàng)目的遠(yuǎn)程依賴(lài)關(guān)系，得到會(huì)話(huà)全局嵌入，將會(huì)話(huà)最后點(diǎn)擊項(xiàng)目的嵌入作為局部嵌入，結(jié)合兩種嵌入得到會(huì)話(huà)的最終興趣表示，并產(chǎn)生推薦結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文模型在HR@20和MRR@20這兩個(gè)指標(biāo)上取得了較好的推薦效果。

本文使用現(xiàn)有的GNN提取影響力圖的特征，為了進(jìn)一步提升推薦效果，下一步工作將考慮優(yōu)化影響力圖的計(jì)算效率，并設(shè)計(jì)更適合影響力圖的GNN增強(qiáng)項(xiàng)目影響力的表達(dá)效果；并且對(duì)于改進(jìn)的捷徑圖，也考慮設(shè)計(jì)更看重邊的區(qū)別的神經(jīng)網(wǎng)絡(luò)，更好地利用捷徑圖的遠(yuǎn)程依賴(lài)。

[1] SHI L， ZHANG Y， CHENG J， et al. Skeleton-based action recognition with directed graph neural networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7912-7921.

[2] GOMES J， RAMSUNDAR B， FEINBERG E N， et al. Atomic convolutional networks for predicting protein-ligand binding affinity［EB/OL］. ［2022-05-10］. https：//arxiv.org/pdf/1703.10603.pdf.

[3] MA T， XIAO C， ZHOU J， et al. Drug similarity integration through attentive multi-view graph auto-encoders［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： IJCAI， 2018： 3477-3483.

[4] YU B， YIN H， ZHU Z. Spatio-temporal graph convolutional networks： a deep learning framework for traffic forecasting［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： IJCAI， 2018： 3634-3640.

[5] KOSARAJU V， SADEGHIAN A， MARTíN-MARTíN R， et al. Social-bigat： multimodal trajectory forecasting using bicycle-gan and graph attention networks［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. ?［S.l.］： NIPS， 2019： 137-146.

[6] BRUNA J， ZAREMBA W， SZLAM A， et al. Spectral networks and locally connected networks on graphs［EB/OL］. （2014-04-21）［2022-07-10］. https：//arxiv.org/pdf/1312.6203.pdf.

[7] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks ［EB/OL］. ［2022-06-02］. https：//arxiv.org/pdf/1609.02907.pdf.

[8] LI Y， ZEMEL R， BROCKSCHMIDT M， et al. Gated graph sequence neural networks ［EB/OL］. ［2022-03-26］. https：//arxiv.org/pdf/1511.05493.pdf.

[9] VELIKOVI P， CUCURULL G， CASANOVA A， et al. Graph attention networks ［EB/OL］. ［2022-03-28］. https：//arxiv.org/pdf/1710.10903.pdf.

[10] LEE J B， ROSSI R， KONG X. Graph classification using structural attention ［C］// Proceedings of the 24th International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1666-1674.

[11] 劉鑫，梅紅巖，王嘉豪，等.圖神經(jīng)網(wǎng)絡(luò)推薦方法研究［J］. 計(jì)算機(jī)工程與應(yīng)用， 2022， 58（10）： 41-49.（LIU X， MEI H Y， WANG J H， et al. Research on graph neural network recommendation method［J］. Computer Engineering and Applications， 2022， 58（10）： 41-49.）

[12] SHANI G， HECKERMAN D， BRAFMAN R I， et al. An MDP-based recommender system ［J］. Journal of Machine Learning Research， 2005， 6： 1265-1295.

[13] RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L. Factorizing personalized Markov chains for next-basket recommendation［C］// Proceedings of the 19th International Conference on World Wide Web. New York： ACM， 2010： 811-820.

[14] DAVIDSON J， LIEBALD B， LIU J， et al. The YouTube video recommendation system［C］// Proceedings of the 2010 4th ACM Conference on Recommender Systems. New York： ACM， 2010： 293-296.

[15] HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks［EB/OL］. ［2022-04-15］. https：//arxiv.org/pdf/1511.06939.pdf.

[16] TAN Y K， XU X， LIU Y. Improved recurrent neural networks for session-based recommendations［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22.

[17] LI J， REN P， CHEN Z， et al. Neural attentive session-based recommendation ［C］// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428.

[18] LIU Q， ZENG Y， MOKHOSI R， et al. STAMP： short-term attention/memory priority model for session-based recommendation ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 1831-1839.

[19] WU S， TANG Y， ZHU Y， et al. Session-based recommendation with graph neural networks ［EB/OL］. ［2022-11-01］.https：//arxiv.org/pdf/1811.00855v4.pdf.

[20] SONG W， XIAO Z， WANG Y， et al. Session-based social recommendation via dynamic graph attention networks［C］// Proceedings of the 12th ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 555-563.

[21] YU F， ZHU Y， LIU Q， et al. TAGNN： target attentive graph neural networks for session-based recommendation［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 1921-1924.

[22] XU C， ZHAO P， LIU Y， et al. Graph contextualized self-attention network for session-based recommendation ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. PaloAlto， CA： AAAI Press， 2019： 3940-3946.

[23] XIAN X， FANG L， SUN S. ReGNN： a repeat aware graph neural network for session-based recommendations［J］. IEEE Access， 2020， 8： 98518-98525.

[24] CHEN T， WONG R C W. Handling information loss of graph neural networks for session-based recommendation［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 1172-1180.

[25] FANG J. Session-based Recommendation with self-attention networks［EB/OL］. ［2022-04-28］. https：//arxiv.org/abs/2102.01922.

[26] 南寧，楊程屹，武志昊. 基于多圖神經(jīng)網(wǎng)絡(luò)的會(huì)話(huà)感知推薦模型［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（2）： 330-336.（NAN N， YANG C Y， WU Z H. Multi-graph neural network-based session perception recommendation model［J］. Journal of Computer Applications， 2021， 41（2）： 330-336.）

[27] 任俊偉，曾誠(chéng)，肖絲雨，等. 基于會(huì)話(huà)的多粒度圖神經(jīng)網(wǎng)絡(luò)推薦模型［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（11）： 3164-3170.（REN J W， ZENG C， XIAO S Y， et al. Session-based recommendation model of multi-granular graph neural network［J］. Journal of Computer Applications， 2021， 41（11）： 3164-3170.）

[28] 黃震華，林小龍，孫圣力，等. 會(huì)話(huà)場(chǎng)景下基于特征增強(qiáng)的圖神經(jīng)推薦方法［J］. 計(jì)算機(jī)學(xué)報(bào)， 2022， 45（4）： 766-780.（HUANG Z H， LIN X L， SUN S L， et al. Feature augmentation based graph neural recommendation method in session scenarios［J］. Chinese Journal of Computers， 2022， 45（4）： 766-780.）

[29] 閆昭，項(xiàng)欣光，李澤超.基于交互序列商品相關(guān)性建模的圖卷積會(huì)話(huà)推薦［J］. 中國(guó)科學(xué)：信息科學(xué)， 2022， 52（6）： 1069-1082.（YAN Z， XIANG X G， LI Z C. Graph convolution session recommendation based on interactive sequence commodity correlation modeling［J］. SCIENTIA SINICA Informationis， 2022， 52（6）： 1069-1082.）

[30] HOU Y， HU B， ZHANG Z， et al. CORE： simple and effective session-based recommendation within consistent representation space［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 1796-1801.

[31] HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4700-4708.

Session-based recommendation model by graph neural network fused with item influence

SUN Xuanyu1， SHI Yancui1，2*

（1，，300457，；2，，，100039， China）

Aiming at the problem that it is difficult for the existing session-based recommendation models to explicitly express the influence of items on the recommendation results， a Session-based Recommendation model by graph neural network fused with Item Influence （SR-II） was proposed. Firstly， a new edge weight calculation method was proposed to construct a graph structure， in which the calculated result was used as the influence weight of the transition relationship in the graph， and the features of the graph were extracted through the influence graph gated layer by using Graph Neural Network （GNN）. Then， an improved shortcut graph was proposed to connect related items， effectively capture long-range dependencies， and enrich the information expressed by the graph structure； and the features of the graph were extracted through the shortcut graph attention layer by using the attention mechanism. Finally， a recommendation model was constructed by combining the above two layers. In the experimental results on Diginetica and Gowalla datasets， the highest HR@20 of SR-II is reaching 53.12%， and the highest MRR@20 of SR-II is reaching 25.79%. On Diginetica dataset， compared with CORE-trm （simple and effective session-based recommendation within COnsistent REpresentation space-transformer）， SR-II has the HR@20 improved by 1.10% ，and the MRR@20 improved by 1.21%； On Gowalla dataset， compared with SR-SAN（Session-based Recommendation with Self-Attention Networks）， SR-II has the HR@20 improved by 1.73%.Compared with the recommendation model called LESSR （Lossless Edge-order preserving aggregation and Shortcut graph attention for Session-based Recommendation）， SR-II has the MRR@20 improved by 1.14%. The experimental results show that the performance of SR-II is better than that of the comparison models， and SR-II has a higher recommendation accuracy.

session-based recommendation; recommender system; Graph Neural Network (GNN); attention mechanism; session graph

This work is partially supported by Basic Research Business Fee Project for Science and Engineering of Tianjin Education Commission （2018KJ105）， Innovation Fund of Engineering Research Center of Ministry of Education for Integration and Application of Digital Learning Technology （1221025）.

SUN Xuanyu， born in 1998， M. S. candidate. His research interests include deep learning， recommender system.

SHI Yancui， born in 1982， Ph. D.， associate professor. Her research interests include recommender system， social network.

TP391.4

A

1001-9081（2023）12-3689-08

10.11772/j.issn.1001-9081.2022121812

2022?12?07；

2023?03?05；

2023?03?07。

天津市教委理工類(lèi)基本科研業(yè)務(wù)費(fèi)項(xiàng)目（2018KJ105）；數(shù)字化學(xué)習(xí)技術(shù)集成與應(yīng)用教育部工程研究中心創(chuàng)新基金資助項(xiàng)目（1221025）。

孫軒宇（1998—），男，江蘇南京人，碩士研究生，CCF會(huì)員，主要研究方向：深度學(xué)習(xí)、推薦系統(tǒng)；史艷翠（1982—），女，河北保定人，副教授，博士，CCF會(huì)員，主要研究方向：推薦系統(tǒng)、社會(huì)化網(wǎng)絡(luò)。