胡勝利,程 春

(安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001)

推薦系統(tǒng)[1]作為統(tǒng)籌互聯(lián)網(wǎng)上眾多數(shù)據(jù)的工具之一,在緩解信息過載、提升用戶體驗(yàn)方面發(fā)揮著重要作用[2]。會(huì)話式序列推薦[3]是序列推薦研究的分支之一,它不依賴用戶歷史交互,可以在用戶未注冊(cè)或登錄時(shí)僅提取一段時(shí)間內(nèi)的用戶行為信息,預(yù)測(cè)用戶在當(dāng)前會(huì)話中的下一個(gè)行為(如點(diǎn)擊某個(gè)項(xiàng)目)。為實(shí)現(xiàn)更好的推薦效果,近年來國(guó)內(nèi)外學(xué)者針對(duì)會(huì)話推薦做了很多研究工作。早期的馬爾可夫鏈[4]模型將推薦生成處理成序列化問題,假設(shè)用戶的下一個(gè)動(dòng)作僅基于之前的動(dòng)作。Hidasi等人基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)提出GRU4Rec[5]模型。模型利用門控循環(huán)單元(GRU)對(duì)序列信息進(jìn)行建模。SR-GNN[6]第一次提出將會(huì)話信息映射為圖結(jié)構(gòu),將序列問題轉(zhuǎn)換成圖的問題,通過GNN來學(xué)習(xí)項(xiàng)目的隱向量表示。GC-SAN[7]在SR-GNN的基礎(chǔ)上將一個(gè)會(huì)話經(jīng)過多個(gè)自注意力層,以捕獲長(zhǎng)期依賴關(guān)系。GCE-GNN[8]提出構(gòu)建全局圖和局部圖來分別提取會(huì)話信息。由于傳播的迭代有限,GNN在捕獲相鄰物品間的局部依賴時(shí)效果顯著,但在捕獲項(xiàng)目間的長(zhǎng)距離依賴關(guān)系中效果并不明顯[9]。有學(xué)者將在自然語言處理中表現(xiàn)優(yōu)異的Transformer模型用于構(gòu)建推薦系統(tǒng),雖然其采用自注意力機(jī)制[10]捕獲所有物品間的全局依賴,但它在捕獲相鄰物品間短距離的復(fù)雜依賴時(shí)效果不夠明顯。

鑒于以上問題,為了能夠有效提取會(huì)話序列的全局和局部信息,本文提出一種融合圖神經(jīng)網(wǎng)絡(luò)和稀疏自注意力的會(huì)話推薦模型(session-based recommendation fusing graph neural networks and sparse self-attention,SSA-GNN)。模型采用2種不同編碼方式,全局信息提取采用稀疏自注意力網(wǎng)絡(luò),局部信息提取采用添加目標(biāo)注意模塊的圖神經(jīng)網(wǎng)絡(luò),最后將2個(gè)模塊線性連接,完成推薦。

1 SSA-GNN模型設(shè)計(jì)

1.1 問題定義

1.2 模型結(jié)構(gòu)

圖1 SSA-GNN總體框架

1.2.1 嵌入層

嵌入層將輸入的會(huì)話序列映射為低維稠密向量表示。將會(huì)話序列S=[s1,s2,...,sn]輸入到嵌入層,通過填充0或利用最近交互保留的方式將其處理成長(zhǎng)度為n的定長(zhǎng)序列,得到對(duì)應(yīng)的嵌入序列E=[e1,e2,...,en],其中ei∈Rd,d為嵌入的維度。

1.2.2 全局信息提取網(wǎng)絡(luò)

自注意力機(jī)制可以不考慮項(xiàng)目與項(xiàng)目間的距離,減少了對(duì)外部信息的依賴,更擅長(zhǎng)捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性[11]。本文為區(qū)分會(huì)話中的無關(guān)信息,將注意力機(jī)制中的softmax轉(zhuǎn)換函數(shù)替換為α-entmax[12]函數(shù)。α-entmax函數(shù)可以將與目標(biāo)項(xiàng)毫不相關(guān)的項(xiàng)目權(quán)重置為0,減少了無關(guān)項(xiàng)目的干擾。α-entmax函數(shù)的公式如式(1)～(2)所示。

(1)

(2)

模型首先采用帶稀疏轉(zhuǎn)換的自注意力來捕獲會(huì)話中項(xiàng)目對(duì)之間的依賴關(guān)系

(3)

式中:WQ、WK和WV∈Rd×d分別為查詢、鍵、值參數(shù)矩陣;E為經(jīng)過嵌入層得到的嵌入序列。為防止點(diǎn)積運(yùn)算中內(nèi)積太大,將查詢向量和鍵向量的點(diǎn)積除以d/2,同時(shí)添加殘差連接以減少在網(wǎng)絡(luò)傳播過程中的信息損失。采用一種自動(dòng)學(xué)習(xí)α的方法,允許每個(gè)會(huì)話根據(jù)上下文自適應(yīng)地選擇參數(shù),以確保學(xué)習(xí)到的項(xiàng)目嵌入包含盡可能少的無關(guān)信息。對(duì)于每個(gè)會(huì)話,模型學(xué)習(xí)自身α的方式如式(4)所示。

α=sigmoid(Wαei+bα)+1,

(4)

式中:Wα∈R1×d表示參數(shù)矩陣;bα∈Rd為偏置向量。

然后將上述F輸入到添加殘差連接的前饋神經(jīng)網(wǎng)絡(luò)中,使模型得到更好的非線性表示。最后,在模型中添加dropout機(jī)制以減輕過擬合。

G=max(0,FW1+b1)W2+b2+F.

(5)

式中:G=[g1,g2,...,gn]為會(huì)話中物品的全局隱向量;b1∈Rf、b2∈Rd為偏置向量,所有會(huì)話將共享相同的參數(shù);W1∈Rd×f,W2∈Rf×d為參數(shù)矩陣;全局信息提取網(wǎng)絡(luò)的輸出用G表示。

1.2.3 局部信息提取網(wǎng)絡(luò)

把每一個(gè)會(huì)話序列S=[s1,s2,...,sn]都表示成一個(gè)單獨(dú)的有向圖,再將所有節(jié)點(diǎn)si∈V映射到一個(gè)統(tǒng)一的嵌入空間,si∈Rd是經(jīng)圖神經(jīng)網(wǎng)絡(luò)后得到的d維特征向量,項(xiàng)目s的隱向量用hs∈Rd表示。對(duì)于圖Gs的節(jié)點(diǎn)si,其更新規(guī)則如式(6)～(10)所示。

(6)

(7)

(8)

(9)

(10)

式中:t表示卷積層數(shù),模型將會(huì)話建模成有向圖;Ai∈R1×2n代表鄰接矩陣的第i行對(duì)應(yīng)于節(jié)點(diǎn)si;H∈Rd×2d代表可訓(xùn)練的權(quán)重;b∈Rd為偏置矩陣;σ(·)是sigmoid非線性激活函數(shù);⊙代表點(diǎn)積運(yùn)算。

模型采用局部目標(biāo)注意模塊,用于計(jì)算會(huì)話V中所有項(xiàng)目vi和每個(gè)目標(biāo)項(xiàng)目st∈S之間的注意分?jǐn)?shù)。首先,用權(quán)重矩陣W∈Rd×d參數(shù)化共享非線性變換應(yīng)用于每個(gè)節(jié)點(diǎn)目標(biāo)對(duì)。然后使用softmax函數(shù)標(biāo)準(zhǔn)化自注意分?jǐn)?shù),如式(11)所示。

(11)

最后,對(duì)于每個(gè)會(huì)話,用戶對(duì)目標(biāo)項(xiàng)st的興趣由kt∈Rd表示,即

(12)

將最后一個(gè)項(xiàng)目作為短期偏好的局部嵌入能夠有效提高推薦結(jié)果的準(zhǔn)確性。hn∈Rd表示每個(gè)會(huì)話最后訪問項(xiàng)目sn的嵌入向量表示。將目標(biāo)嵌入和局部嵌入進(jìn)行線性組和,為每個(gè)目標(biāo)項(xiàng)目生成會(huì)話嵌入,如式(13)所示。

K=W2[kt;hn].

(13)

式中:W2∈Rd×2d是將兩個(gè)向量投影到一個(gè)嵌入空間Rd中;K=[k1,k2,...,kn]表示局部隱向量的輸出。

1.2.4 預(yù)測(cè)層

在預(yù)測(cè)層將序列中的第i個(gè)物品經(jīng)過2個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)得到的局部隱向量ki和全局隱向量gi進(jìn)行線性連接,如式(14)所示。

li=ωgi+(1-ω)ki,

(14)

式中:ω為線性連接的比例;L=[l1,l2,...,ln]為經(jīng)過線性連接后的會(huì)話向量表示。

(15)

(16)

為訓(xùn)練模型,將損失函數(shù)定義為真值與預(yù)測(cè)值之間的交叉熵,如式(17)所示。

(17)

式中:有效物品的獨(dú)熱編碼用y表示,算法優(yōu)化的損失函數(shù)采用時(shí)間反向傳播(BPTT)算法。

2 試驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

SSA-GNN模型使用Yoochoose1/64[13]數(shù)據(jù)集和Diginetica[14]數(shù)據(jù)集進(jìn)行評(píng)估。為過濾噪聲數(shù)據(jù)和使試驗(yàn)數(shù)據(jù)具有可比性,先預(yù)處理掉數(shù)據(jù)集中出現(xiàn)次數(shù)少于5的項(xiàng)目,再屏蔽掉2個(gè)數(shù)據(jù)集中長(zhǎng)度少于2的所有會(huì)話。Yoochoose1/64將上周的會(huì)話數(shù)據(jù)作為測(cè)試集,Diginetica將上周的會(huì)話數(shù)據(jù)和最后一天的數(shù)據(jù)作為測(cè)試集,2個(gè)數(shù)據(jù)集中剩下的部分分別作為訓(xùn)練集。通過對(duì)會(huì)話序列S=[s1,s2,...,sn]分割預(yù)處理,生成序列和相應(yīng)的標(biāo)簽,即([s1],s2),([s1,s2],s3),...,([s1,s2,...,sn-1],sn)用于數(shù)據(jù)集的訓(xùn)練和測(cè)試。表1為2個(gè)數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)。

表1 試驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)

2.2 評(píng)價(jià)指標(biāo)

Precision@20(P@20)和MRR@20是基于會(huì)話推薦的2種常用評(píng)估指標(biāo),前者評(píng)估未排名列表中正確推薦項(xiàng)目的比例,后者進(jìn)一步考慮正確推薦項(xiàng)目在排名列表中的位置。

2.3 試驗(yàn)設(shè)置

模型在所有試驗(yàn)中將隱藏維度設(shè)置為d=100。Adam優(yōu)化器的初始學(xué)習(xí)率設(shè)置為0.001,每3個(gè)訓(xùn)練周期后衰減0.1。2個(gè)數(shù)據(jù)集的批處理大小都設(shè)置為100,L2正則化設(shè)為10-5。

2.4 消融試驗(yàn)

為進(jìn)一步研究全局偏好和局部偏好對(duì)會(huì)話推薦的影響,本文設(shè)計(jì)了SSA-GNN的2種變種模型來分別分析對(duì)模型性能的影響,如圖2所示。其中, SSA-GNN-L表示僅使用目標(biāo)感知注意的圖神經(jīng)網(wǎng)絡(luò)局部網(wǎng)絡(luò)模型, SSA-GNN-G表示僅使用稀疏自注意力的全局網(wǎng)絡(luò)模型。

(a) 不同網(wǎng)絡(luò)對(duì)P@20的影響

圖2的試驗(yàn)結(jié)果直觀的展示了使用不同網(wǎng)絡(luò)對(duì)推薦結(jié)果的影響。以Diginetica為例,SSA-GNN在Diginetica數(shù)據(jù)集上的P@20比SSA-GNN-L提高1.25%,比SSA-GNN-G提高1.37%;MRR@20比SSA-GNN-L提高0.78%,比SSA-GNN-G提高3.47%。依據(jù)試驗(yàn)結(jié)果分析,SSA-GNN試驗(yàn)數(shù)據(jù)相較于SSA-GNN-G有較大提升,SSA-GNN-L比SSA-GNN-G效果更好。因?yàn)镈iginetica數(shù)據(jù)集包含大量重復(fù)點(diǎn)擊行為且行為相關(guān)性較強(qiáng),在處理短距離復(fù)雜依賴時(shí)自注意力機(jī)制的效果沒有圖神經(jīng)網(wǎng)絡(luò)好,且SSA-GNN-L中還添加了目標(biāo)注意模塊,能捕獲更深層次的項(xiàng)目間關(guān)系。此外,可以看到SSA-GNN模型比任意一個(gè)單個(gè)模型的推薦效果都要好。

圖3的試驗(yàn)結(jié)果展示了全局網(wǎng)絡(luò)中使用稀疏自注意力與只使用普通自注意力之間的結(jié)果對(duì)比。與普通自注意力相比,使用稀疏自注意力的全局網(wǎng)絡(luò)在Diginetica數(shù)據(jù)集上的P@20指標(biāo)提高0.16%,MRR@20提高0.75%,在Yoochoose1/64數(shù)據(jù)集上也有所提升。這是因?yàn)橄∈枳宰⒁饬梢栽谌中畔⑸线M(jìn)一步減小無關(guān)項(xiàng)的比重,進(jìn)一步印證了稀疏自注意力方法在全局信息提取中的有效性。

(a) 稀疏自注意力對(duì)P@20的影響

2.5 對(duì)比模型比較

為更直觀的評(píng)估該方法的整體性能,將SSA-GNN模型與以下5種具有代表性的基線算法進(jìn)行綜合比較。

(1) POP將訓(xùn)練集中頻率最高的N個(gè)項(xiàng)目作為推薦。

(2) FPMC[4]結(jié)合了矩陣分解和一階馬爾可夫鏈,以捕獲序列效果和用戶偏好。

(3) GRU4Rec[5]是基于RNN的模型,使用門控循環(huán)單元(GRU)對(duì)用戶序列進(jìn)行建模。

(4) SR-GNN[6]將序列化問題轉(zhuǎn)換成有向圖結(jié)構(gòu),通過圖神經(jīng)網(wǎng)絡(luò)獲得項(xiàng)目嵌入,由注意力網(wǎng)絡(luò)捕獲短期興趣。

(5) GC-SAN[7]分別用自注意力網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)捕獲全局和局部信息,最后在預(yù)測(cè)層將二者進(jìn)行線性連接。

為使試驗(yàn)結(jié)果更加客觀,本文模型與基線模型在相同的公開數(shù)據(jù)集上進(jìn)行比較,并以P@20和MRR@20作為評(píng)價(jià)指標(biāo),試驗(yàn)結(jié)果如表2所示。

表2 試驗(yàn)結(jié)果對(duì)比

從表2的試驗(yàn)結(jié)果可以看出,傳統(tǒng)方法在P@20和MRR@20評(píng)價(jià)指標(biāo)上的整體效果不如深度神經(jīng)網(wǎng)絡(luò)。POP只推薦top-k個(gè)常見項(xiàng)目,主要強(qiáng)調(diào)高共現(xiàn)項(xiàng)目。FPMC利用一階馬爾可夫鏈和矩陣分解在上述評(píng)價(jià)指標(biāo)下得到了比POP略好的結(jié)果。深度神經(jīng)網(wǎng)絡(luò)GRU4Rec能夠更好的捕獲項(xiàng)目間的復(fù)雜轉(zhuǎn)換,以非線性的方式對(duì)用戶和物品進(jìn)行建模,還可以在模型訓(xùn)練過程中采用正則化、dropout等技術(shù)防止過擬合。

在上述基線方法中,基于GNN方法的模型在上述評(píng)價(jià)指標(biāo)上的表現(xiàn)優(yōu)于其他模型。SR-GNN將會(huì)話信息建模為圖結(jié)構(gòu)化數(shù)據(jù),保留物品之間復(fù)雜的關(guān)系結(jié)構(gòu)。GC-SAN的查詢向量所使用的節(jié)點(diǎn)隱向量首先經(jīng)過GNN網(wǎng)絡(luò),使得與目標(biāo)項(xiàng)目相關(guān)的非鄰節(jié)點(diǎn)的信息被弱化,無法準(zhǔn)確捕獲全局信息。

相較于上述評(píng)分指標(biāo)最好的基線模型GC-SAN,SSA-GNN在Yoochoose1/64數(shù)據(jù)集上的P@20提高1.25%,MRR@20提高4.59%;在Diginetica數(shù)據(jù)集上的P@20指標(biāo)提高0.48%,MRR@20提高3.18%。可以看出,SSA-GNN在推薦能力上均有所提升,在MRR@20上的提升效果更加明顯。表明使用稀疏自注意力網(wǎng)絡(luò)捕獲全局信息,可以有效緩解無關(guān)項(xiàng)的干擾,并解決圖神經(jīng)網(wǎng)絡(luò)在長(zhǎng)距離信息表示中項(xiàng)目間依賴過于復(fù)雜的問題;在局部信息提取中加入目標(biāo)注意模塊,可以更深層次的捕獲項(xiàng)目間的復(fù)雜依賴關(guān)系。試驗(yàn)結(jié)果進(jìn)一步說明了SSA-GNN模型的有效性。

3 結(jié)語

本文提出了一種融合圖神經(jīng)網(wǎng)絡(luò)和稀疏自注意力的會(huì)話推薦模型(SSA-GNN),模型采用2種不同的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)序列信息進(jìn)行建模,不僅通過稀疏自注意力忽略距離因素的特性對(duì)全局信息進(jìn)行提取,還將可以建模項(xiàng)目之間復(fù)雜關(guān)系的圖結(jié)構(gòu)用在提取當(dāng)前會(huì)話信息上。為進(jìn)一步提升推薦能力,本文還將目標(biāo)注意模塊添加到圖神經(jīng)網(wǎng)絡(luò)中。試驗(yàn)結(jié)果表明,本文提出的模型在評(píng)價(jià)指標(biāo)P@20和MRR@20上的推薦效果明顯高于上述基線方法。本文雖對(duì)物品的全局和局部信息進(jìn)行充分提取,但未對(duì)物品中包含的細(xì)粒度信息如時(shí)間、分類等信息進(jìn)行充分挖掘,后續(xù)可以將提取細(xì)粒度信息作為模型的補(bǔ)充,進(jìn)一步研究物品內(nèi)部細(xì)粒度信息對(duì)推薦結(jié)果的影響。