朱志國(guó)，李偉玥，姜 盼，周沛瑤

東北財(cái)經(jīng)大學(xué) 管理科學(xué)與工程學(xué)院，遼寧 大連 116025

推薦系統(tǒng)旨在幫助用戶從紛繁復(fù)雜的數(shù)據(jù)中提取出感興趣的信息，在提高效率的同時(shí)，也有助于提升用戶滿意度與平臺(tái)效益。近十年來(lái)推薦系統(tǒng)技術(shù)得到了長(zhǎng)足發(fā)展，不僅成為學(xué)術(shù)界的研究熱點(diǎn)之一，也已經(jīng)成功地運(yùn)用在電商、新聞和音樂(lè)推薦等多個(gè)場(chǎng)景中[1]。其中，會(huì)話推薦（包括基于會(huì)話的推薦與會(huì)話感知推薦，但不包括普通序列推薦）旨在以用戶當(dāng)前的項(xiàng)目交互序列為主，以歷史會(huì)話數(shù)據(jù)、場(chǎng)景、知識(shí)圖譜等信息為輔，重在通過(guò)各種方式捕捉用戶的當(dāng)前興趣，如圖1所示。

圖1 普通序列、基于會(huì)話和會(huì)話感知推薦的概念區(qū)分Fig.1 Concept distinction of recommendation among sequence-based，session-based and session-aware

此前，會(huì)話推薦領(lǐng)域的相關(guān)工作大多基于多種循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN），或采用RNN結(jié)合多種注意力機(jī)制，亦或是基于純注意力機(jī)制和復(fù)雜結(jié)構(gòu)的多層感知機(jī)（multi-layer perceptron，MLP），同時(shí)結(jié)合豐富的輔助信息來(lái)捕獲項(xiàng)目間的依賴關(guān)系。雖然這些會(huì)話推薦系統(tǒng)能夠捕捉到項(xiàng)目間的順次轉(zhuǎn)換關(guān)系，但是在當(dāng)前會(huì)話中捕捉項(xiàng)目間遠(yuǎn)距離的非嚴(yán)格時(shí)序轉(zhuǎn)換關(guān)系，或在全局會(huì)話環(huán)境中捕捉項(xiàng)目間多對(duì)多的復(fù)雜關(guān)聯(lián)關(guān)系時(shí)，其性能有待提升[2]。

圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）是可從非歐式數(shù)據(jù)的圖結(jié)構(gòu)數(shù)據(jù)中，根據(jù)目標(biāo)節(jié)點(diǎn)的鄰域信息學(xué)習(xí)特征的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。近些年來(lái)GNN的發(fā)展十分迅速，并已在生物醫(yī)學(xué)工程[3]、自然語(yǔ)言處理[4]、社交定位[5]、計(jì)算機(jī)視覺(jué)[6]、金融預(yù)測(cè)[7]等領(lǐng)域得到了一定研究。由于用戶社交關(guān)系、用戶或項(xiàng)目知識(shí)圖譜等信息可直接表示為圖，并且用戶-項(xiàng)目交互關(guān)系和原始會(huì)話序列等信息可以轉(zhuǎn)換為圖，同時(shí)GNN提供了可融合多種信息的統(tǒng)一框架，學(xué)者們提出了基于多種圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦系統(tǒng)[8-10]，旨在根據(jù)多種信息源學(xué)習(xí)，得到融合了豐富特征的目標(biāo)節(jié)點(diǎn)向量，實(shí)現(xiàn)基于用戶特征的個(gè)性化精準(zhǔn)推薦。

目前，已經(jīng)有學(xué)者以不同的分類(lèi)標(biāo)準(zhǔn)，對(duì)基于GNN的推薦系統(tǒng)進(jìn)行了對(duì)比分析[1，11]，但是其中鮮有對(duì)會(huì)話推薦相關(guān)工作的最新工作進(jìn)展評(píng)述。因此，本文將從問(wèn)題定義和會(huì)話推薦中需要考慮的因素出發(fā)，然后根據(jù)模型的不同算法原理，將諸多基于GNN的會(huì)話推薦系統(tǒng)進(jìn)一步細(xì)分為：基于圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）、門(mén)控圖神經(jīng)網(wǎng)絡(luò)（gated graph neural network，GGNN）和圖注意力網(wǎng)絡(luò)（graph attention networks，GAT）及其他結(jié)構(gòu)的會(huì)話推薦系統(tǒng)共四大類(lèi)進(jìn)行評(píng)述。隨后根據(jù)各工作的實(shí)驗(yàn)部分展開(kāi)綜合對(duì)比討論，力圖展現(xiàn)出GNN在會(huì)話推薦系統(tǒng)中的應(yīng)用與研究前沿進(jìn)展概貌。最后，提出了對(duì)該領(lǐng)域未來(lái)研究的一些思考和展望。

1 會(huì)話推薦中的考慮因素

總結(jié)起來(lái)，如圖2所示，會(huì)話推薦任務(wù)中需要考慮的因素大體可分為如下三類(lèi)：用戶因素、項(xiàng)目因素和情景因素。

圖2 會(huì)話推薦任務(wù)中的因素Fig.2 Factors in session recommendation task

（1）用戶因素：如果能獲取到用戶的信息，則可以根據(jù)其人口統(tǒng)計(jì)學(xué)特征、設(shè)備、社交關(guān)系和收入水平等信息來(lái)推斷出該用戶的興趣偏好。

（2）項(xiàng)目因素：主要包括相對(duì)穩(wěn)定的靜態(tài)特征和隨時(shí)間變動(dòng)較為明顯的動(dòng)態(tài)特征。靜態(tài)特征主要包括項(xiàng)目參數(shù)（如尺碼、價(jià)格等）、所屬類(lèi)別（即項(xiàng)目對(duì)應(yīng)的分類(lèi)信息）、發(fā)行者信息（如商品對(duì)應(yīng)的生產(chǎn)商、新聞對(duì)應(yīng)的記者等）；動(dòng)態(tài)特征主要指該項(xiàng)目的熱度高低，比如近期熱門(mén)新聞或爆火的網(wǎng)紅商品可認(rèn)為是流行項(xiàng)目。

（3）情景因素：主要包括用戶所處環(huán)境、近期熱點(diǎn)事件、季節(jié)與時(shí)間、當(dāng)前流行項(xiàng)目特征（如當(dāng)季流行配色與款式等）。這些情景因素可能會(huì)對(duì)項(xiàng)目因素產(chǎn)生較大影響，并且場(chǎng)景因素也會(huì)在一定程度上影響到用戶的長(zhǎng)短期興趣[12-13]。

2 基于GNN的會(huì)話推薦系統(tǒng)構(gòu)圖分析

對(duì)于基于GNN的會(huì)話推薦系統(tǒng)而言，如何將原始的會(huì)話序列高效地轉(zhuǎn)換為相應(yīng)的會(huì)話圖，是首要且重要的問(wèn)題。如圖3所示，SR-GNN模型[8]首次提出將會(huì)話序列轉(zhuǎn)換為會(huì)話圖進(jìn)行處理，即以會(huì)話中的項(xiàng)目為節(jié)點(diǎn)、以項(xiàng)目間的鄰接順次轉(zhuǎn)換關(guān)系為邊、以歸一化鄰接矩陣中的值為邊權(quán)重構(gòu)圖。

圖3 SR-GNN模型的經(jīng)典構(gòu)圖方式示例Fig.3 Traditional graph constructing method in SR-GNN

這種經(jīng)典的構(gòu)圖方式實(shí)現(xiàn)了序列式數(shù)據(jù)到圖數(shù)據(jù)的轉(zhuǎn)換，使得全局項(xiàng)目間的依賴關(guān)系更為直觀和易于捕捉。此后，一些學(xué)者將用戶節(jié)點(diǎn)、項(xiàng)目所屬類(lèi)別、用戶行為類(lèi)別（如點(diǎn)擊、購(gòu)買(mǎi)、分享）等多種類(lèi)型的節(jié)點(diǎn)加入圖中或單獨(dú)構(gòu)圖，同時(shí)引入了豐富類(lèi)型的邊，使模型可以直接學(xué)習(xí)到多元節(jié)點(diǎn)間的豐富交互關(guān)系，隨后可將各類(lèi)信息與項(xiàng)目特征相融合，以獲得更為豐富的項(xiàng)目表示。如圖4（a）所示，SE-Frame模型[14]在構(gòu)造會(huì)話圖時(shí)，考慮到了用戶節(jié)點(diǎn)，從而在圖學(xué)習(xí)時(shí)可直接捕捉到用戶與項(xiàng)目的豐富交互信息；SR-HetGNN模型[15]則進(jìn)一步將會(huì)話作為節(jié)點(diǎn)加入異構(gòu)圖中，使模型能夠從全新角度學(xué)習(xí)整個(gè)會(huì)話的特征表示。圖4（b）所示的GNNH模型[16]異構(gòu)圖將用戶的不同交互行為視為邊特征，并分別應(yīng)用于項(xiàng)目圖和類(lèi)別圖，使得模型能夠?qū)W習(xí)到包含多種用戶交互行為特征的項(xiàng)目及其所屬類(lèi)別的表示向量。

圖4 包含多種節(jié)點(diǎn)與邊的復(fù)雜異構(gòu)圖Fig.4 Complex heterogeneous graph with diverse nodes and edges

一些學(xué)者為了更加充分地挖掘項(xiàng)目間的上下文關(guān)系而去除了邊的方向信息，提出了DSGNN模型[17]、TAGNN模型[18]中的無(wú)向加權(quán)項(xiàng)目圖，此類(lèi)會(huì)話圖可以將全局項(xiàng)目間轉(zhuǎn)換關(guān)系更加明晰地顯示出來(lái)。

還有一些學(xué)者提出了更加具有創(chuàng)意的會(huì)話圖構(gòu)造方式，例如SGNN-HN模型[19]中的星型圖、DHCN模型[20]中的超圖及其對(duì)應(yīng)線圖等，如圖5（a）和（b）所示。星型圖中的不相鄰節(jié)點(diǎn)可通過(guò)中心節(jié)點(diǎn)以兩跳的方式相連，使得模型更易捕捉到遠(yuǎn)程項(xiàng)目的關(guān)聯(lián)關(guān)系；而超圖則直接忽略了項(xiàng)目間的順次連接關(guān)系，從會(huì)話的層面探索項(xiàng)目間的相關(guān)關(guān)系，線圖則映了超圖的連通性，可直接越過(guò)項(xiàng)目級(jí)，從更高層面上探索會(huì)話間的關(guān)系。

針對(duì)部分基于GNN的會(huì)話推薦模型中存在的有損會(huì)話編碼和難以捕捉項(xiàng)目間遠(yuǎn)距離依賴關(guān)系的問(wèn)題，LESSR模型[21]在將會(huì)話序列轉(zhuǎn)換為會(huì)話圖的過(guò)程中，加入了邊順序信息，從而避免了時(shí)序信息丟失問(wèn)題；并在原始會(huì)話圖的基礎(chǔ)上提出了快速連接圖，其中新加入遠(yuǎn)距離項(xiàng)目間的邊使模型得以更加全面地捕獲項(xiàng)目間的遠(yuǎn)距離依賴關(guān)系，如圖5（c）所示。而SR-LSG模型[22]也提出了一種類(lèi)似于LESSR模型中保持邊順序的會(huì)話圖，如圖5（d）所示。兩者的區(qū)別在于LESSR模型圖中的邊編號(hào)由指向目標(biāo)節(jié)點(diǎn)不同邊的順序確定，而SR-LSG模型圖中的邊編號(hào)由會(huì)話項(xiàng)目順序確定。

圖5 部分新型的會(huì)話圖結(jié)構(gòu)Fig.5 Some creative session graph structure

在優(yōu)化邊權(quán)重的相關(guān)工作中，除了根據(jù)近鄰矩陣或進(jìn)一步將數(shù)值歸一化后設(shè)置邊權(quán)重的經(jīng)典方法外，SR-HGNN模型[23]通過(guò)累乘原始未加權(quán)的近鄰矩陣來(lái)構(gòu)造不同階數(shù)的高階近鄰矩陣，以直接捕捉項(xiàng)目間的高階關(guān)系；Disen-GNN模型[24]將項(xiàng)目分解為因子級(jí)表示，并由此提出了因子級(jí)相似性矩陣。另外，一些基于GAT或注意力增強(qiáng)的GGNN的會(huì)話推薦系統(tǒng)也可通過(guò)動(dòng)態(tài)更新邊權(quán)重捕捉用戶不斷變化的興趣。

總的來(lái)說(shuō)，SR-GNN式的會(huì)話圖構(gòu)造方式使得GNN能夠間接處理序列式的會(huì)話數(shù)據(jù)。隨后，各學(xué)者受此啟發(fā)，從節(jié)點(diǎn)類(lèi)型、鏈接屬性等方面基于經(jīng)典會(huì)話圖進(jìn)行優(yōu)化。在此過(guò)程中，豐富的用戶側(cè)和項(xiàng)目側(cè)邊信息（side-information）以及多種圖結(jié)構(gòu)變換極大地豐富了原始會(huì)話圖中的數(shù)據(jù)，使得GNN有機(jī)會(huì)學(xué)習(xí)到包含更多信息的項(xiàng)目特征表示，從而提升了推薦結(jié)果的精準(zhǔn)性。然而，優(yōu)化會(huì)話圖的方式可能會(huì)帶來(lái)更多噪聲信息。因此，可以嘗試采用多種形式的注意力機(jī)制對(duì)特征提取結(jié)果進(jìn)行去噪，以減輕非關(guān)鍵信息對(duì)特征提取的負(fù)面影響。

3 不同GNN架構(gòu)下的會(huì)話推薦系統(tǒng)研究進(jìn)展

基于GNN的會(huì)話推薦系統(tǒng)大多首先將會(huì)話序列轉(zhuǎn)換為會(huì)話圖，并將多個(gè)會(huì)話圖合并為全局會(huì)話圖；然后通過(guò)圖神經(jīng)網(wǎng)絡(luò)中的多種架構(gòu)形式（如：GCN、GGNN、GAT等）聚合目標(biāo)節(jié)點(diǎn)的近鄰節(jié)點(diǎn)信息，從而精準(zhǔn)捕獲到n跳(n∈Z+)的鄰域信息。隨后，結(jié)合項(xiàng)目本身的信息、項(xiàng)目間的復(fù)雜轉(zhuǎn)換關(guān)系和用戶與項(xiàng)目的交互信息生成包含多種豐富信息的項(xiàng)目表示，進(jìn)而基于注意力機(jī)制、循環(huán)神經(jīng)網(wǎng)絡(luò)等模塊生成較為精確的會(huì)話表示。最后綜合用戶表示、會(huì)話表示和項(xiàng)目表示等特征計(jì)算各候選項(xiàng)目的推薦得分，實(shí)現(xiàn)精準(zhǔn)推薦。

與完全基于循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)的會(huì)話推薦系統(tǒng)不同，圖數(shù)據(jù)結(jié)構(gòu)具有良好的可擴(kuò)展性，能將多種性質(zhì)的節(jié)點(diǎn)與邊融入會(huì)話圖中，這極大地豐富了會(huì)話圖中的信息。因此，本章將基于GNN的會(huì)話推薦系統(tǒng)進(jìn)一步劃分為基于GCN、GAT、GGNN及其他GNN架構(gòu)的四類(lèi)模型，并分別對(duì)各算法原理下的相關(guān)工作展開(kāi)梳理、評(píng)述與總結(jié)。

3.1 基于GCN架構(gòu)的會(huì)話推薦系統(tǒng)

GCN將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)二維網(wǎng)格型數(shù)據(jù)的卷積運(yùn)算推廣至圖數(shù)據(jù)，其基本思想是通過(guò)對(duì)基于圖的拉普拉斯矩陣進(jìn)行一階特征分解，聚合目標(biāo)節(jié)點(diǎn)自身和近鄰節(jié)點(diǎn)的特征，從而得到目標(biāo)節(jié)點(diǎn)表示。圖6（a）表示二維卷積網(wǎng)絡(luò)對(duì)網(wǎng)格型數(shù)據(jù)的處理，即通過(guò)一定算法聚合目標(biāo)節(jié)點(diǎn)及其周?chē)藗€(gè)相鄰節(jié)點(diǎn)的特征。以生成節(jié)點(diǎn)表示。由于過(guò)濾器的大小固定不變，因此近鄰節(jié)點(diǎn)的個(gè)數(shù)也是固定不變的。而圖6（b）展示的GCN雖然也是根據(jù)一定方法聚合目標(biāo)節(jié)點(diǎn)的近鄰節(jié)點(diǎn)特征以生成節(jié)點(diǎn)表示，但由于不依賴于固定尺寸的過(guò)濾器，即不要求近鄰節(jié)點(diǎn)的個(gè)數(shù)恒定，因此該算法更為靈活。

圖6 傳統(tǒng)二維卷積與圖卷積的區(qū)別Fig.6 Difference between traditional 2D convolution and graph convolution

基于GCN的會(huì)話推薦系統(tǒng)大多基于線性變換和非線性變換結(jié)合的消息傳遞機(jī)制，根據(jù)目標(biāo)節(jié)點(diǎn)的鄰域信息學(xué)習(xí)其特征表示，如公式（1）所示：

其中，H(l)為第l層的節(jié)點(diǎn)隱狀態(tài)矩陣，ψ(·)為復(fù)雜的非線性函數(shù)，例如MLP、加性注意力機(jī)制等。A為鄰接矩陣，為了在信息傳播和聚合過(guò)程中考慮到節(jié)點(diǎn)自身信息，因此令對(duì)應(yīng)的度矩陣，且有

從多關(guān)系項(xiàng)目圖中學(xué)習(xí)項(xiàng)目特征表示時(shí)，MGNNSPred模型[25]和GNNH模型[16]首先根據(jù)目標(biāo)行為和輔助行為及前后項(xiàng)目的兩兩組合得到四類(lèi)節(jié)點(diǎn)集合，并分別使用均值池化方式聚合每個(gè)集合中的節(jié)點(diǎn)，最后采用加和池化的方式進(jìn)行聚合。其中，MGNN-SPred模型通過(guò)正則累加和門(mén)控聚合的方式通過(guò)目標(biāo)行為序列和輔助行為序列直接得到了會(huì)話表示向量；而GNNH模型還在多關(guān)系特征圖上進(jìn)行了類(lèi)似的GCN操作，并獲得了在會(huì)話中用戶對(duì)不同特征的興趣。

DGTN模型[26]在更新會(huì)話圖節(jié)點(diǎn)信息時(shí)，去除了非線性激活函數(shù)，并將權(quán)重矩陣進(jìn)行折疊，僅根據(jù)規(guī)范化后的近鄰節(jié)點(diǎn)向量對(duì)會(huì)話內(nèi)和會(huì)話間的項(xiàng)目節(jié)點(diǎn)信息進(jìn)行特征學(xué)習(xí)。而DHCN模型[20]使用新穎的超圖及其線圖對(duì)會(huì)話序列進(jìn)行建模，并基于超圖卷積對(duì)項(xiàng)目節(jié)點(diǎn)特征進(jìn)行學(xué)習(xí)。COTREC框架[27]采用了與DHCN模型類(lèi)似的聚合算法，兩者區(qū)別在于該框架使用項(xiàng)目視圖和會(huì)話視圖的概念取代了DHCN模型中的超圖概念。

GCN作為一種有效的局部特征提取算法，可對(duì)目標(biāo)節(jié)點(diǎn)的數(shù)個(gè)K階近鄰節(jié)點(diǎn)的信息進(jìn)行聚合來(lái)獲得目標(biāo)節(jié)點(diǎn)的最終表示。現(xiàn)根據(jù)GCN在會(huì)話推薦系統(tǒng)中的作用，將部分代表工作進(jìn)行分類(lèi)，如表1所示。

從表1中可以看出，GCN的主要作用是學(xué)習(xí)會(huì)話圖中各項(xiàng)目節(jié)點(diǎn)的特征表示，并根據(jù)后續(xù)模型任務(wù)，通過(guò)多種讀出函數(shù)生成局部或全局會(huì)話表示。由于GCN難以捕捉項(xiàng)目間的時(shí)序依賴關(guān)系，因此在學(xué)習(xí)用戶長(zhǎng)短期興趣時(shí)，還會(huì)引入GRU[28-29]和多種注意力機(jī)制[9，16，20，27，29，31，33]。為了更好地學(xué)習(xí)項(xiàng)目間的遠(yuǎn)距離近鄰上下文特征，大多數(shù)模型采用了堆疊GNN的方式，然而這會(huì)帶來(lái)非常嚴(yán)重的過(guò)度平滑問(wèn)題。一些模型[29-31]通過(guò)修改GCN的消息傳遞算法，有效地解決了此類(lèi)問(wèn)題。此外，由于經(jīng)典的監(jiān)督任務(wù)欠缺實(shí)踐價(jià)值，不少相關(guān)工作引入對(duì)比學(xué)習(xí)[20]、多任務(wù)學(xué)習(xí)[33]等自監(jiān)督訓(xùn)練方式，通過(guò)挖掘不同角度下的自監(jiān)督信號(hào)，實(shí)現(xiàn)對(duì)特征的自適應(yīng)學(xué)習(xí)；還有部分工作[32]從提升模型實(shí)時(shí)學(xué)習(xí)能力的角度進(jìn)行優(yōu)化。

表1 GCN架構(gòu)在各會(huì)話推薦系統(tǒng)中的作用Table 1 Role of GCN among session recommendation system

當(dāng)從短會(huì)話中推斷用戶的興趣偏好時(shí)，基于GCN的會(huì)話推薦系統(tǒng)性能尚可，但是當(dāng)會(huì)話序列較長(zhǎng)時(shí)，此類(lèi)模型的性能往往有待提升。其主要原因是在長(zhǎng)會(huì)話中學(xué)習(xí)各項(xiàng)目的特征表示時(shí)，需要更多的鄰域信息，因此在堆疊GNN的過(guò)程中帶來(lái)了嚴(yán)重的過(guò)度平滑問(wèn)題。此外，每當(dāng)會(huì)話圖中添加新的節(jié)點(diǎn)時(shí)都需要重新進(jìn)行圖推理，而不是采用增量方式計(jì)算，因此部分基于GCN的會(huì)話推薦系統(tǒng)的可擴(kuò)展性還有待提升。

總體上，基于GCN的會(huì)話推薦系統(tǒng)立足于會(huì)話圖結(jié)構(gòu)，通過(guò)多種圖卷積算法學(xué)習(xí)各節(jié)點(diǎn)的特征表示。相關(guān)工作主要以在線購(gòu)物場(chǎng)景為主，向在線音樂(lè)、短視頻、興趣點(diǎn)等場(chǎng)景進(jìn)行延伸，在多個(gè)場(chǎng)景下保持著較高的推薦精準(zhǔn)度。根據(jù)相關(guān)工作的實(shí)驗(yàn)報(bào)告，GNN-GNF模型[31]在電商數(shù)據(jù)集Yoochoose 1/64上的點(diǎn)擊率Top-20預(yù)測(cè)任務(wù)中，精準(zhǔn)度高達(dá)70.59%，DGTN模型[26]的召回率更是高達(dá)71.18%，充分地體現(xiàn)了此類(lèi)會(huì)話推薦系統(tǒng)的優(yōu)越性。

3.2 基于GGNN架構(gòu)的會(huì)話推薦系統(tǒng)

門(mén)控圖神經(jīng)網(wǎng)絡(luò)是一種以循環(huán)神經(jīng)網(wǎng)絡(luò)作為消息傳遞算法的GNN。在會(huì)話推薦領(lǐng)域，GGNN采用均值池化算法聚合會(huì)話序列中的項(xiàng)目節(jié)點(diǎn)信息，并采用門(mén)控遞歸單元（gated recurrent unit，GRU）作為遞歸函數(shù)來(lái)集成近鄰節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)的信息。相比于GCN不做區(qū)分地聚集目標(biāo)節(jié)點(diǎn)及其近鄰節(jié)點(diǎn)的信息，GGNN中的門(mén)控機(jī)制可幫助模型判斷應(yīng)當(dāng)保留和丟棄哪些信息；同時(shí)GGNN對(duì)節(jié)點(diǎn)的出邊與入邊進(jìn)行了區(qū)分，即其鄰接矩陣并非GCN中的對(duì)稱陣，而是由出度矩陣與入度矩陣拼接得到，如圖7所示。理論上，GGNN還可通過(guò)拼接節(jié)點(diǎn)間不同類(lèi)型邊對(duì)應(yīng)鄰接矩陣的方式融合節(jié)點(diǎn)間的多元關(guān)系。

圖7 GGNN示例Fig.7 Example of GGNN

Wu等人[8]提出SR-GNN模型首次將GGNN用于會(huì)話推薦系統(tǒng)，該模型在將會(huì)話序列轉(zhuǎn)換為會(huì)話圖的同時(shí)，對(duì)各項(xiàng)目進(jìn)行了嵌入編碼，并將相應(yīng)的向量矩陣作為GGNN的初始輸入，然后基于GRU實(shí)現(xiàn)節(jié)點(diǎn)間的消息傳遞，如公式（2）、（3）所示：

其中，As表示有向圖的節(jié)點(diǎn)連接信息，可由經(jīng)過(guò)歸一化處理后的出度矩陣Aosut與入度矩陣Aisn拼接得到；W和b均為可學(xué)習(xí)參數(shù)；k為GGNN的堆疊層數(shù)。雖然不難發(fā)現(xiàn)GGNN和GRU的公式除了輸入數(shù)據(jù)不同之外，其余部分基本相同，但是要明確兩種算法的目的和意義存在差別。GGNN是以會(huì)話圖的鄰接矩陣作為輸入，處理的信息實(shí)質(zhì)上是節(jié)點(diǎn)之間的連接關(guān)系，其目的在于學(xué)習(xí)包含近鄰上下文信息的節(jié)點(diǎn)表示；而GRU是以會(huì)話序列的項(xiàng)目表示向量為輸入，實(shí)質(zhì)上是在學(xué)習(xí)項(xiàng)目間的順序依賴關(guān)系。為了便于評(píng)述，在接下來(lái)的章節(jié)中稱這種形式的GGNN為經(jīng)典GGNN結(jié)構(gòu)。

SR-GNN是第一個(gè)將GNN引入會(huì)話推薦系統(tǒng)的模型，具有開(kāi)創(chuàng)性價(jià)值和里程碑意義，然而該模型存在著一定的局限之處。該模型僅學(xué)習(xí)了項(xiàng)目間的上下文依賴關(guān)系，忽略了項(xiàng)目間的時(shí)序特征。同時(shí)，由于該模型未能考慮到用戶的個(gè)人信息，因此它并非個(gè)性化的推薦系統(tǒng)。此后，學(xué)者們大多圍繞SR-GNN模型中的經(jīng)典會(huì)話圖構(gòu)造方法和GGNN架構(gòu)進(jìn)行優(yōu)化。

GC-SAN模型[34]與SR-GNN模型較為相似，但是在對(duì)通過(guò)GGNN學(xué)習(xí)到的各項(xiàng)目表示進(jìn)行處理時(shí)，相比于后者的加性注意力算法，GC-SAN模型堆疊由自注意力層、MLP層和殘差學(xué)習(xí)層組成的自注意力塊提取用戶的長(zhǎng)期興趣，并從不同高度的塊中捕捉不同層次的特征。此外，相比于SR-GNN模型采用拼接用戶長(zhǎng)短期興趣并進(jìn)行線性投影的方式獲得會(huì)話表示，GC-SAN模型采用了線性插值的方式處理用戶的長(zhǎng)短期興趣。

CIE-GNN模型[35]借鑒了GC-SAN模型的部分結(jié)構(gòu)，但是該模型將位置信息加入項(xiàng)目表示中，并將其作為經(jīng)典GGNN的初始輸出以捕捉項(xiàng)目間的時(shí)序關(guān)系。相比于GC-SAN模型簡(jiǎn)單定義局部會(huì)話興趣，CIE-GNN模型使用多頭自注意力層建模局部會(huì)話向量表示，從而自適應(yīng)地捕獲用戶的動(dòng)態(tài)當(dāng)前興趣。

不同于CIE-GNN模型將項(xiàng)目表示向量輸入經(jīng)典GGNN進(jìn)行處理之前就將位置向量與項(xiàng)目向量相加的操作，AMGNN模型[36]先將項(xiàng)目向量通過(guò)經(jīng)典GGNN處理后，再采用拼接的方式將學(xué)習(xí)到的項(xiàng)目向量與位置向量聚合，并采用多頭注意力與加性注意力相結(jié)合的方式學(xué)習(xí)會(huì)話的全局表示向量。

項(xiàng)目間的時(shí)序相關(guān)關(guān)系不僅能根據(jù)順次轉(zhuǎn)換記錄學(xué)習(xí)，TAGNN模型[37]在為用戶進(jìn)行推薦時(shí)，更注重從用戶歷史交互記錄中提取其對(duì)同類(lèi)商品的喜好。具體來(lái)說(shuō)，該模型采用注意力機(jī)制計(jì)算指定目標(biāo)項(xiàng)目下的會(huì)話表示向量，并且會(huì)話向量可在用戶對(duì)新的目標(biāo)項(xiàng)目感興趣時(shí)動(dòng)態(tài)變化，從而有效應(yīng)對(duì)了用戶興趣漂移的問(wèn)題。

總的來(lái)說(shuō)，各學(xué)者主要從表2所示的五個(gè)方向?qū)R-GNN進(jìn)行優(yōu)化。例如學(xué)者們已嘗試通過(guò)堆疊的注意力機(jī)制從融入豐富輔助信息的項(xiàng)目表示中，提取用戶的長(zhǎng)短期興趣，通過(guò)將用戶、類(lèi)別等信息融入經(jīng)典GGNN的初始輸入，或是直接改變模型架構(gòu)。此外，也有學(xué)者采用多路并行、優(yōu)化會(huì)話圖和修改整體機(jī)制的方法增強(qiáng)模型的性能。然而，相關(guān)研究工作均存在不同程度的局限性，其中不少工作僅考慮到了項(xiàng)目間的上下文依賴關(guān)系，而忽略了重要的時(shí)序相關(guān)關(guān)系。同時(shí)，部分工作簡(jiǎn)單地將用戶的最后一個(gè)交互項(xiàng)目視為短期興趣，使模型很容易受到用戶興趣漂移的影響。

表2 基于SR-GNN的優(yōu)化方式及代表模型Table 2 Each optimization mode with corresponding representative models based on SR-GNN

由于GGNN需要在所有節(jié)點(diǎn)上多次計(jì)算遞歸函數(shù)，即需要存儲(chǔ)所有節(jié)點(diǎn)的隱狀態(tài)，故該方法對(duì)內(nèi)存的需求較大，因此將GGNN應(yīng)用于多個(gè)節(jié)點(diǎn)和多條邊的大型圖上時(shí)，可能會(huì)導(dǎo)致性能變差。其次，經(jīng)典的GGNN在節(jié)點(diǎn)間進(jìn)行消息傳遞的過(guò)程中，僅使用不同時(shí)間步下的狀態(tài)隱向量，這有可能會(huì)導(dǎo)致梯度消失和底層信息丟失的問(wèn)題；并且它沒(méi)有對(duì)目標(biāo)節(jié)點(diǎn)的各近鄰節(jié)點(diǎn)進(jìn)行權(quán)重分配，因此可能會(huì)在更新節(jié)點(diǎn)表示的過(guò)程中受到噪聲數(shù)據(jù)的干擾。雖然部分學(xué)者提出了相應(yīng)的方法進(jìn)行優(yōu)化[22，53]，但是從實(shí)驗(yàn)結(jié)果來(lái)看，模型性能仍然有待提高。

在實(shí)踐方面，基于GGNN的會(huì)話推薦系統(tǒng)可有效完成不同場(chǎng)景下的精準(zhǔn)推薦任務(wù)，相關(guān)工作涵蓋了在線購(gòu)物、在線音樂(lè)、招聘求職等多個(gè)場(chǎng)景。在電商購(gòu)物推薦任務(wù)中，TAGNN模型[37]在電商數(shù)據(jù)集Yoochoose 1/64上的點(diǎn)擊率Top-20預(yù)測(cè)任務(wù)中，精準(zhǔn)度高達(dá)71.02%；在音樂(lè)推薦任務(wù)中，TA-GNN模型[47]和SDE-GNN模型[51]分別在Nowplaying數(shù)據(jù)集的Top-20推薦任務(wù)中取得了15.74%和19.01%的召回率和精準(zhǔn)率；在招聘求職推薦任務(wù)中，A-PGNN模型[49]和DSGNN模型[17]分別在Xing數(shù)據(jù)集的Top-10推薦任務(wù)中取得了17.06%和24.48%的召回率和命中率。彰顯了GGNN在會(huì)話推薦中的強(qiáng)大特征提取能力。

3.3 基于GAT架構(gòu)的會(huì)話推薦系統(tǒng)

GAT認(rèn)為不同近鄰節(jié)點(diǎn)對(duì)目標(biāo)節(jié)點(diǎn)的影響不同，因此基于多種注意力機(jī)制為各近鄰節(jié)點(diǎn)分配權(quán)重，以衡量其對(duì)目標(biāo)節(jié)點(diǎn)的不同影響程度，并通過(guò)聚合函數(shù)動(dòng)態(tài)更新每個(gè)節(jié)點(diǎn)的表示向量。值得注意的是，GCN為目標(biāo)節(jié)點(diǎn)的近鄰節(jié)點(diǎn)分配的權(quán)重是根據(jù)圖結(jié)構(gòu)預(yù)先確定的；而GAT為目標(biāo)節(jié)點(diǎn)的近鄰節(jié)點(diǎn)分配的權(quán)重，是根據(jù)消息傳播算法計(jì)算不同時(shí)間步下的節(jié)點(diǎn)隱狀態(tài)，并由此動(dòng)態(tài)更新得到的，如圖8所示。因此，相比于GCN靜態(tài)的參數(shù)化權(quán)重，GAT動(dòng)態(tài)的可學(xué)習(xí)權(quán)重更為靈活，也更能精準(zhǔn)捕獲到會(huì)話圖中的復(fù)雜交互信息。

圖8 GCN與GAT的權(quán)重分配方式區(qū)別Fig.8 Difference in weighting between GCN and GAT

基于GAT的會(huì)話推薦系統(tǒng)通過(guò)計(jì)算目標(biāo)節(jié)點(diǎn)和各近鄰節(jié)點(diǎn)間的注意力權(quán)重區(qū)分不同近鄰節(jié)點(diǎn)的重要程度，并通過(guò)多種加權(quán)聚合方式更新目標(biāo)節(jié)點(diǎn)向量，如公式（4）、（5）所示：

其中，αij為目標(biāo)節(jié)點(diǎn)i與其近鄰節(jié)點(diǎn)j的注意力權(quán)重，f(·)可為多種注意力得分計(jì)算函數(shù)，如點(diǎn)積、加性注意力等。N(i)為目標(biāo)節(jié)點(diǎn)i的近鄰節(jié)點(diǎn)集合，為目標(biāo)節(jié)點(diǎn)i在第l層的特征向量。ξ(·)和δ(·)為提高模型擬合能力的線性或非線性變換函數(shù)。

考慮到RNN有助于學(xué)習(xí)項(xiàng)目間的時(shí)序關(guān)聯(lián)關(guān)系，部分學(xué)者采用長(zhǎng)短期記憶網(wǎng)絡(luò)（long-short term networks，LSTM）對(duì)模型進(jìn)行增強(qiáng)。Song等人[10]提出的DGRec模型首先使用LSTM捕捉目標(biāo)用戶及其朋友在各自會(huì)話中的動(dòng)態(tài)興趣，然后結(jié)合用戶的社交網(wǎng)絡(luò)探索其朋友的喜好對(duì)該用戶的影響。DYAGNN模型[54]首先構(gòu)造以項(xiàng)目為節(jié)點(diǎn)的有向加權(quán)圖，然后通過(guò)堆疊多層的GAT計(jì)算各邊權(quán)重和節(jié)點(diǎn)向量，并通過(guò)LSTM進(jìn)一步捕捉項(xiàng)目間的時(shí)序關(guān)系。

多路并行的模型架構(gòu)有助于從多個(gè)角度聯(lián)合捕捉用戶興趣，其中MSGIFSR模型[55]以不同長(zhǎng)度的子會(huì)話為節(jié)點(diǎn)、以子會(huì)話間的聯(lián)系為邊建立有向加權(quán)的多粒度異構(gòu)會(huì)話圖，并使用基于多頭注意力的雙向GAT學(xué)習(xí)各粒度下不同子會(huì)話單元的表示。SHARE模型[56]也采用了類(lèi)似于MSGIFSR模型的并行GAT思想，其不同之處在于該模型基于超圖分別學(xué)習(xí)節(jié)點(diǎn)到超邊和超邊到節(jié)點(diǎn)的信息傳播，并通過(guò)疊加多層GAT學(xué)習(xí)包含豐富上下文信息的項(xiàng)目表示來(lái)精確反映會(huì)話中的用戶意圖。

為了更加直觀地對(duì)相關(guān)模型框架進(jìn)行比較，表3整理了部分具有代表性的GAT會(huì)話推薦系統(tǒng)。經(jīng)分析，大多數(shù)相關(guān)工作在計(jì)算節(jié)點(diǎn)間的注意力時(shí)，主要采用加性注意力機(jī)制計(jì)算注意力分?jǐn)?shù)，然后基于Soft max函數(shù)進(jìn)行歸一化處理，部分工作[10，56]使用基于內(nèi)積的算法計(jì)算注意力分?jǐn)?shù)。在聚合近鄰節(jié)點(diǎn)特征時(shí)，部分工作采用普通加權(quán)和的方式[10，59]，一些工作[55，57]引入了可學(xué)習(xí)參數(shù)矩陣增強(qiáng)模型的學(xué)習(xí)能力，還有不少工作[54，58，60-62]在此基礎(chǔ)上引入了激活函數(shù)，以提高模型的非線性擬合能力?？偟膩?lái)說(shuō)，基于GAT的會(huì)話推薦系統(tǒng)相關(guān)工作相對(duì)較少，還存在著較大的研究空間。

表3 基于GAT架構(gòu)的會(huì)話推薦系統(tǒng)分類(lèi)Table 3 Classification of session recommendation system based on GAT architecture

注意力機(jī)制的強(qiáng)大去噪能力使得基于GAT的會(huì)話推薦系統(tǒng)得以從包含多元信息的異構(gòu)圖中挖掘用戶興趣，多頭機(jī)制更是提升了此類(lèi)推薦系統(tǒng)的特征提取能力，從而使模型能夠更為精準(zhǔn)地推斷用戶偏好。GAT雖然能通過(guò)分配注意力權(quán)重的方式，區(qū)分鄰域節(jié)點(diǎn)的相對(duì)重要性，但是由于忽略了圖中的結(jié)構(gòu)信息，其在聚合多跳范圍內(nèi)的鄰域信息時(shí)，很容易出現(xiàn)嚴(yán)重的過(guò)度平滑問(wèn)題[63]。此外，GAT對(duì)參數(shù)的初始化策略十分敏感，模型的性能波動(dòng)較大[64]。因此，在使用GAT時(shí)仍然需要結(jié)合一些相應(yīng)措施來(lái)緩解可能出現(xiàn)的性能問(wèn)題，例如應(yīng)用更加穩(wěn)健的參數(shù)初始化策略，或嘗試NISER框架[53]和SRLSG模型[22]中的優(yōu)化策略。

在實(shí)踐方面，基于GAT的會(huì)話推薦系統(tǒng)仍以在線購(gòu)物為主，同時(shí)涉足更為廣泛，除了音樂(lè)、興趣點(diǎn)和招聘推薦之外，還涵蓋電影、書(shū)簽等娛樂(lè)場(chǎng)景下的推薦。由于GAT本身可基于注意力機(jī)制對(duì)鄰域信息分配權(quán)重，因此具有更為強(qiáng)大的去噪能力和特征提取能力。例如MGCNet模型[57]在電商數(shù)據(jù)集Yoochoose 1/64上的購(gòu)買(mǎi)率Top-20預(yù)測(cè)任務(wù)中，召回率達(dá)到了驚人的92.38%；在音樂(lè)推薦任務(wù)中，GCE-GNN模型[59]在Nowplaying數(shù)據(jù)集的Top-20推薦任務(wù)中取得22.37%的精準(zhǔn)率。刷新了基于GCN和GGNN的會(huì)話推薦系統(tǒng)的相應(yīng)最高記錄。

3.4 基于其他GNN架構(gòu)的會(huì)話推薦系統(tǒng)

正如前文所述，雖然GCN、GGNN和GAT的性能強(qiáng)大，但是也各有不足之處。因此，部分學(xué)者提出了基于混合機(jī)制的GNN會(huì)話推薦系統(tǒng)，并結(jié)合多種注意力機(jī)制、位置編碼或殘差學(xué)習(xí)等技術(shù)進(jìn)行更為精準(zhǔn)的推薦。此外，不少學(xué)者通過(guò)在原有結(jié)構(gòu)的基礎(chǔ)上融入新元素或替換的方式進(jìn)行優(yōu)化，也在一定程度上提升了模型性能。

根據(jù)各工作的實(shí)驗(yàn)結(jié)論，將注意力機(jī)制與GGNN相結(jié)合有助于增強(qiáng)模型對(duì)噪聲數(shù)據(jù)的過(guò)濾能力，從而更加精準(zhǔn)地學(xué)習(xí)項(xiàng)目特征表示。PA-GGAN模型[65]、TPA-GNN模型[18]、NA-GNN模型[66]和LESSR模型[21]均將注意力機(jī)制與GGNN相結(jié)合，其區(qū)別在于NA-GNN模型先通過(guò)GGNN獲得項(xiàng)目節(jié)點(diǎn)的初步表示，再通過(guò)自注意力機(jī)制進(jìn)一步更新節(jié)點(diǎn)向量；TPA-GNN模型先通過(guò)多頭注意力機(jī)制更新邊權(quán)重，再通過(guò)GGNN更新項(xiàng)目表示向量；而PA-GGAN模型先通過(guò)注意力機(jī)制為各項(xiàng)目分配向量，然后通過(guò)GGNN獲得節(jié)點(diǎn)向量初步表示，再通過(guò)多頭機(jī)制增強(qiáng)注意力機(jī)制，并使用殘差學(xué)習(xí)和MLP防止模型在學(xué)習(xí)過(guò)程中丟失底層信息和增強(qiáng)模型的非線性擬合能力；LESSR模型使用GGNN與GAT形成交叉堆疊的結(jié)構(gòu)交替進(jìn)行節(jié)點(diǎn)信息和邊權(quán)重的更新。然而，相關(guān)工作大多僅對(duì)項(xiàng)目的上下文近鄰特征進(jìn)行了較為充分的學(xué)習(xí)，不同程度上地忽略了項(xiàng)目間重要的時(shí)序特征關(guān)系。

引入豐富的邊信息開(kāi)可有效提升會(huì)話推薦系統(tǒng)的推薦精度，將這些邊信息融入異構(gòu)圖更是有助于學(xué)習(xí)到多種交互下的項(xiàng)目特征。SE-Frame框架[14]將用戶的社交關(guān)系加入會(huì)話推薦任務(wù)中，并以簡(jiǎn)單線性方式分別根據(jù)用戶間的聯(lián)系與用戶和項(xiàng)目間的交互計(jì)算用戶節(jié)點(diǎn)的社會(huì)影響和用戶偏好，然后使用注意力機(jī)制分別融合兩種信息。而HG-GNN模型[67]則采用均值池化與MLP結(jié)合的方式從基于包含用戶節(jié)點(diǎn)與項(xiàng)目節(jié)點(diǎn)的異構(gòu)全局會(huì)話圖中學(xué)習(xí)多種類(lèi)型的邊權(quán)重，然后使用門(mén)控機(jī)制聚合經(jīng)過(guò)加性注意力機(jī)制分別學(xué)習(xí)到的用戶長(zhǎng)短期偏好。然而，邊信息的引入也帶來(lái)了更多的噪聲，如何設(shè)計(jì)有效的去噪機(jī)制，是此類(lèi)會(huì)話推薦系統(tǒng)面臨的重大挑戰(zhàn)之一。此外，多樣化的信息來(lái)源也導(dǎo)致推薦結(jié)果的可解釋性更差。目前，元學(xué)習(xí)和基于邊信息的注意力機(jī)制是應(yīng)對(duì)此類(lèi)挑戰(zhàn)的有效方式，通過(guò)學(xué)習(xí)元路徑和為不同的項(xiàng)目屬性分配權(quán)重，可更加精準(zhǔn)地推斷用戶意圖，同時(shí)具備了良好的可解釋性。

受到變分推理的啟發(fā)，一些學(xué)者將該思想與會(huì)話推薦相融合，將用戶興趣視為復(fù)雜的分布函數(shù)，并采用自動(dòng)編碼器進(jìn)行學(xué)習(xí)。例如HybridGNN-SR模型[68]將變分推理的思想融入GNN，并結(jié)合無(wú)監(jiān)督和有監(jiān)督的圖學(xué)習(xí)來(lái)學(xué)習(xí)會(huì)話中的項(xiàng)目轉(zhuǎn)換關(guān)系。該工作所采用的方式在一定程度上解決了有監(jiān)督學(xué)習(xí)方法忽略圖結(jié)構(gòu)信息和無(wú)監(jiān)督方法忽略用戶偏好的問(wèn)題，使得推薦結(jié)果更為精準(zhǔn)全面。然而，用戶的真實(shí)興趣不僅復(fù)雜，而且多變，變分推理難以在無(wú)法獲取足夠多用戶交互歷史的情況下，捕捉到動(dòng)態(tài)變化的用戶興趣。因此，此類(lèi)思想更適合于根據(jù)用戶的長(zhǎng)期行為推斷其意圖的推薦場(chǎng)景。

雖然GRU4Rec模型奠定了GRU在會(huì)話推薦領(lǐng)域的地位，不少學(xué)者仍然嘗試基于LSTM進(jìn)行會(huì)話推薦。SR-MNN模型[69]在聚合項(xiàng)目節(jié)點(diǎn)向量的過(guò)程中，首次采用基于LSTM的GNN學(xué)習(xí)目標(biāo)節(jié)點(diǎn)及其近鄰的信息，隨后使用GRU捕捉會(huì)話中的項(xiàng)目時(shí)序關(guān)系。此外，該模型還將目標(biāo)會(huì)話中首個(gè)交互項(xiàng)目加入會(huì)話向量表示中，以捕捉用戶初始興趣對(duì)整個(gè)會(huì)話興趣的影響。SR-HetGNN模型[15]則更進(jìn)一步根據(jù)用戶節(jié)點(diǎn)、會(huì)話節(jié)點(diǎn)與項(xiàng)目節(jié)點(diǎn)形成了復(fù)雜的異質(zhì)圖，然后采用DeepWalk算法[70]和Word2Vec算法[71]學(xué)習(xí)各類(lèi)型節(jié)點(diǎn)的初始化向量，并通過(guò)基于重啟的隨機(jī)游走與雙向LSTM獲得包含多元信息的項(xiàng)目表示。雖然根據(jù)相關(guān)工作的實(shí)驗(yàn)報(bào)告，此類(lèi)會(huì)話推薦系統(tǒng)取得了較高的推薦精度。然而，模型的復(fù)雜度會(huì)隨著數(shù)據(jù)體量的增加而快速提升，此類(lèi)模型的可擴(kuò)展性還有待優(yōu)化。

綜上所述，基于混合架構(gòu)GNN的會(huì)話推薦系統(tǒng)大多仍圍繞GGNN展開(kāi)。值得注意的是，GGNN和GRU的公式除了輸入信息有所差異，其他部分基本一致。因此，基于GGNN的會(huì)話推薦系統(tǒng)也可以仿照此前基于RNN的會(huì)話推薦系統(tǒng)的相關(guān)工作，將不同類(lèi)型的注意力加入門(mén)控機(jī)制中，形成門(mén)控注意力圖神經(jīng)網(wǎng)絡(luò)。在實(shí)踐方面，相關(guān)工作仍然可以有效應(yīng)對(duì)不同場(chǎng)景下的精準(zhǔn)推薦任務(wù)，同樣以在線購(gòu)物推薦為主，以音樂(lè)推薦、興趣點(diǎn)推薦為輔，此外還有其他娛樂(lè)場(chǎng)景下的推薦應(yīng)用。部分工作在興趣點(diǎn)推薦任務(wù)上的表現(xiàn)較為出色，例如，LESSR模型[21]在Gowalla數(shù)據(jù)集的Top-20推薦任務(wù)中，取得了51.34%的召回率；基于SE-Frame框架[14]實(shí)例化的SE-Rec模型，在FourSquare數(shù)據(jù)集的Top-20推薦任務(wù)中，取得了70.05%的召回率。

由于混合模型引入了多種神經(jīng)網(wǎng)絡(luò)，如何設(shè)計(jì)整體模型框架，實(shí)現(xiàn)各模塊間良好的統(tǒng)籌協(xié)調(diào)，成為此類(lèi)模型需要應(yīng)對(duì)的重大挑戰(zhàn)。此外，模型整體深度和寬度的增加也會(huì)導(dǎo)致待訓(xùn)練參數(shù)量快速增長(zhǎng)，如何在控制參數(shù)量的同時(shí)，提升推薦的準(zhǔn)確度，值得未來(lái)進(jìn)一步研究。

4 現(xiàn)有工作中的實(shí)驗(yàn)設(shè)計(jì)綜述

本章將依據(jù)各基于GNN的會(huì)話推薦工作的實(shí)驗(yàn)部分進(jìn)行分析，由于損失函數(shù)、數(shù)據(jù)集和性能評(píng)估指標(biāo)的選取對(duì)模型性能影響較大，因此重點(diǎn)關(guān)注了各工作中的相應(yīng)信息。為了更加直觀地展示出損失函數(shù)、所選取的數(shù)據(jù)集和模型性能指標(biāo)的使用情況，現(xiàn)將統(tǒng)計(jì)結(jié)果進(jìn)行展示，如表4所示。

根據(jù)表4（a）的統(tǒng)計(jì)結(jié)果，大多數(shù)基于GNN的會(huì)話推薦系統(tǒng)使用了帶交叉熵的損失函數(shù)，即模型的學(xué)習(xí)目標(biāo)是最小化模型學(xué)習(xí)到的數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布的差異。相比于復(fù)雜形式的損失函數(shù)，交叉熵?fù)p失函數(shù)可以大幅提升模型在訓(xùn)練過(guò)程中的權(quán)重矩陣更新速度，使損失值快速收斂，有助于縮短訓(xùn)練時(shí)長(zhǎng)。然而，當(dāng)面臨帶有噪聲標(biāo)簽的樣本時(shí)，即用戶并非對(duì)會(huì)話中的每個(gè)項(xiàng)目都感興趣時(shí)，使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練很可能會(huì)帶來(lái)嚴(yán)重的過(guò)擬合問(wèn)題。此外，在點(diǎn)擊率預(yù)測(cè)或購(gòu)買(mǎi)預(yù)測(cè)任務(wù)中（即多分類(lèi)問(wèn)題），大多數(shù)基于GNN的會(huì)話推薦模型會(huì)使用Softmax函數(shù)進(jìn)行處理，然而這種處理方式會(huì)使模型重點(diǎn)關(guān)注預(yù)測(cè)的準(zhǔn)確度，而忽略了其他非正確預(yù)測(cè)結(jié)果間的差異。因此，如何通過(guò)優(yōu)化正則項(xiàng)、提高數(shù)據(jù)質(zhì)量等方式緩解訓(xùn)練過(guò)程中的過(guò)擬合，或是通過(guò)修改非線性函數(shù)的方式提升軟分類(lèi)精度，亦或是通過(guò)對(duì)比學(xué)習(xí)、蒸餾學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方式提升模型訓(xùn)練的效率，仍然值得進(jìn)一步探索。

根據(jù)表4（b）的統(tǒng)計(jì)結(jié)果，大多數(shù)基于GNN的會(huì)話推薦系統(tǒng)在實(shí)驗(yàn)部分使用了電商類(lèi)數(shù)據(jù)集，其中使用次數(shù)最高的Yoochoose數(shù)據(jù)集和Diginetica數(shù)據(jù)集均為會(huì)話推薦領(lǐng)域的基準(zhǔn)數(shù)據(jù)集。雖然兩個(gè)數(shù)據(jù)集提供了會(huì)話標(biāo)注字段，避免了人為切分會(huì)話降低數(shù)據(jù)質(zhì)量，但是并未提供更為豐富的用戶信息和交互信息。此前的文獻(xiàn)綜述已經(jīng)表明，合理引入豐富多元的邊信息，有利于提升推薦結(jié)果質(zhì)量。因此，未來(lái)的研究可以嘗試在包含多樣化信息的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

根據(jù)表4（c）的統(tǒng)計(jì)結(jié)果，大多數(shù)基于GNN的會(huì)話推薦系統(tǒng)使用了平均倒數(shù)排序（mean reciprocal rank，MRR）和準(zhǔn)確度（precision）指標(biāo)，命中率（hit rate，HR）、召回率（recall）和標(biāo)準(zhǔn)化折現(xiàn)累積增益（normalized discounted cumulative gain，NDCG）也均反映了推薦結(jié)果的精準(zhǔn)度。雖然精準(zhǔn)度是衡量推薦結(jié)果質(zhì)量的重要指標(biāo)，但并非唯一指標(biāo)，未來(lái)的研究還應(yīng)適當(dāng)關(guān)注推薦結(jié)果的新穎度、驚喜度等，可引入DIV@K[72]、POP@K、EILD-RR@K[13]、ESI-RR@K[13]等指標(biāo)對(duì)模型性能進(jìn)行評(píng)測(cè)。

表4 損失函數(shù)、數(shù)據(jù)集和評(píng)估指標(biāo)統(tǒng)計(jì)Table 4 Statistics of loss functions，datasets and metrics（a）損失函數(shù)類(lèi)別統(tǒng)計(jì)

總的來(lái)說(shuō)，大部分基于GNN的會(huì)話推薦工作面向電商購(gòu)物場(chǎng)景，并將推薦任務(wù)視為多分類(lèi)任務(wù)，更關(guān)注推薦結(jié)果的精準(zhǔn)性。

5 討論與未來(lái)工作展望

5.1 討論

根據(jù)前文對(duì)基于GNN的會(huì)話推薦系統(tǒng)相關(guān)工作的評(píng)述，為了應(yīng)對(duì)精準(zhǔn)會(huì)話推薦的挑戰(zhàn)，各工作主要從學(xué)習(xí)項(xiàng)目間的時(shí)序特征、引入豐富多元的邊信息、創(chuàng)新GNN算法、優(yōu)化模型訓(xùn)練方式四個(gè)角度進(jìn)行了突破，如表5所示。下面將對(duì)不同角度下的相關(guān)工作進(jìn)行綜合討論分析。

表5 應(yīng)對(duì)精準(zhǔn)會(huì)話推薦的策略分析Table 5 Analysis of strategies to deal with accurate session recommendation

5.1.1 學(xué)習(xí)項(xiàng)目間的時(shí)序特征

具有開(kāi)創(chuàng)性的SR-GNN式經(jīng)典構(gòu)圖提供了一種樸素的數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換思路，使GNN能間接處理序列式的原始會(huì)話信息。然而，這種構(gòu)圖方法存在一定局限，例如丟失了項(xiàng)目間的順序轉(zhuǎn)換信息和忽略鏈接屬性。

雖然部分研究工作[20，27-28，51，56]意識(shí)到了時(shí)序特征的重要性，并從多個(gè)角度出發(fā)進(jìn)行創(chuàng)新，但各方法仍存在不足之處。將時(shí)序信息作為鏈接屬性加入會(huì)話圖可以在一定程度上保留原始時(shí)序信息，然而此類(lèi)信息難以隨模型訓(xùn)練而優(yōu)化。因?yàn)轫?xiàng)目間的原始順次轉(zhuǎn)換信息是客觀信息，不應(yīng)當(dāng)隨模型的訓(xùn)練而更改。此外，現(xiàn)有的研究工作大多采用單路串行的方式設(shè)計(jì)模型，其本質(zhì)是偏重時(shí)序信息或上下文信息，難以做到兩種信息的動(dòng)態(tài)平衡。

5.1.2 引入多元的邊信息

經(jīng)典的會(huì)話推薦任務(wù)僅基于匿名用戶和項(xiàng)目的交互記錄進(jìn)行推薦，然而此類(lèi)數(shù)據(jù)的信息量有限，推薦性能的理論上限較低。受到知識(shí)圖譜相關(guān)研究的啟發(fā)，不少學(xué)者嘗試將更加多元的邊信息作為補(bǔ)充數(shù)據(jù)引入會(huì)話推薦任務(wù)中，大幅提升了會(huì)話推薦系統(tǒng)的精準(zhǔn)推薦能力?？偟膩?lái)說(shuō)，相關(guān)工作可根據(jù)信息來(lái)源渠道，分為基于用戶側(cè)邊信息的會(huì)話推薦系統(tǒng)[25，40，57]和基于項(xiàng)目側(cè)邊信息的會(huì)話推薦系統(tǒng)[42，58，73]。一些工作同時(shí)考慮到了用戶側(cè)和項(xiàng)目側(cè)的豐富的邊信息[16]。這些邊信息增強(qiáng)的會(huì)話推薦系統(tǒng)極大地提升了推薦精準(zhǔn)度，是相關(guān)領(lǐng)域具有較大研究潛力的方向之一。值得注意的是，引入更多信息的同時(shí)也會(huì)帶來(lái)更多的噪聲。因此，可以采用多種形式的注意力機(jī)制進(jìn)行去噪處理，以緩解噪聲信息對(duì)推薦性能的影響。

5.1.3 優(yōu)化模型結(jié)構(gòu)或輸入

優(yōu)化模型結(jié)構(gòu)最為明顯的特征是嘗試使用不同種類(lèi)的神經(jīng)網(wǎng)絡(luò)，或基于相應(yīng)經(jīng)典結(jié)構(gòu)進(jìn)行優(yōu)化，提高模型的推薦精準(zhǔn)度。由于GCN和GGNN模型難以處理隱藏在各種圖中的噪聲信息，因此部分學(xué)者嘗試在GNN前后引入注意力機(jī)制進(jìn)行去噪[9，34]。一些工作還采取多路并行的方式，從不同角度推斷用戶意圖[59-60]。

采用多路并行的架構(gòu)雖然有效，但是很容易導(dǎo)致模型的參數(shù)量增大，導(dǎo)致模型的訓(xùn)練時(shí)間大幅延長(zhǎng)。因此，一些學(xué)者從提高模型輸入質(zhì)量的角度入手，將多種信息與項(xiàng)目的初始嵌入編碼相結(jié)合，從源頭提升特征編碼的質(zhì)量[23，49]。提高模型輸入質(zhì)量的另一個(gè)角度是對(duì)原始會(huì)話圖進(jìn)行優(yōu)化[19，24]。優(yōu)化模型輸入有助于GNN從不同角度學(xué)習(xí)隱藏在會(huì)話中的用戶興趣，但是這種方式的擴(kuò)展性較差，當(dāng)需要從多個(gè)角度聯(lián)合推斷用戶偏好時(shí)，容易由于噪聲過(guò)多而難以提升推薦結(jié)果的精準(zhǔn)度。

5.1.4 優(yōu)化模型訓(xùn)練方式

大多數(shù)基于GNN的會(huì)話推薦系統(tǒng)將推薦視為有監(jiān)督的學(xué)習(xí)，其本質(zhì)是假設(shè)訓(xùn)練集包含了所有項(xiàng)目。然而在實(shí)際應(yīng)用場(chǎng)景中，新項(xiàng)目會(huì)源源不斷地加入，導(dǎo)致基于監(jiān)督學(xué)習(xí)的GNN會(huì)話推薦系統(tǒng)性能不佳。為此，一些學(xué)者試圖基于自監(jiān)督學(xué)習(xí)訓(xùn)練模型[20]。大多此類(lèi)模型假設(shè)用戶在會(huì)話中具有直接單一的興趣，因此不同角度下學(xué)習(xí)到的用戶特征應(yīng)當(dāng)相同。然而，部分工作[74]證實(shí)用戶在會(huì)話中的偏好可能復(fù)雜多變，因此僅基于無(wú)監(jiān)督學(xué)習(xí)的相關(guān)模型在短會(huì)話上具有較好的性能，而難以從長(zhǎng)會(huì)話中挖掘出用戶的真實(shí)興趣。

無(wú)論是有監(jiān)督學(xué)習(xí)還是自監(jiān)督學(xué)習(xí)，都存在一定缺陷?；谟斜O(jiān)督學(xué)習(xí)的相關(guān)模型難以有效應(yīng)對(duì)真實(shí)應(yīng)用場(chǎng)景下不斷涌現(xiàn)的新項(xiàng)目，而基于自監(jiān)督學(xué)習(xí)的相關(guān)模型往往無(wú)法收集到足夠多的自監(jiān)督信號(hào)。HybridGNN-SR模型[68]提供了一種應(yīng)對(duì)方式，即將無(wú)監(jiān)督和有監(jiān)督的圖學(xué)習(xí)相結(jié)合。此類(lèi)方法在一定程度上解決了有監(jiān)督學(xué)習(xí)忽略圖結(jié)構(gòu)信息和無(wú)監(jiān)督學(xué)習(xí)忽略用戶復(fù)雜偏好的問(wèn)題，使得推薦結(jié)果更為精準(zhǔn)全面。

5.2 未來(lái)工作展望

基于前文從多個(gè)角度對(duì)GNN會(huì)話推薦系統(tǒng)相關(guān)工作的評(píng)述與分析，對(duì)該領(lǐng)域未來(lái)的工作進(jìn)行展望。

5.2.1 注重模型的可解釋性

基于GNN的會(huì)話推薦系統(tǒng)的可解釋性仍然欠佳，這可能是由于隱式反饋難以收集并高度抽象。然而，良好的解釋有助于增強(qiáng)用戶對(duì)推薦系統(tǒng)的信任，這樣用戶更有可能接受來(lái)自系統(tǒng)的推薦。目前，已經(jīng)有學(xué)者通過(guò)一些方式提升模型的可解釋性[60]，相信這也是研究潛力較大的一個(gè)方向。

5.2.2 發(fā)掘用戶的個(gè)性化交互行為

由于基于GNN的推薦系統(tǒng)可有效學(xué)習(xí)項(xiàng)目間的近鄰上下文特征，因此理論上應(yīng)當(dāng)在捕捉用戶的重復(fù)交互、周期性交互等特殊信息方面有更為明顯的優(yōu)勢(shì)。基于RNN和注意力機(jī)制的RepeatNet模型[75]與基于異構(gòu)超圖注意網(wǎng)絡(luò)的MSGIFSR模型[55]已經(jīng)證明，捕捉用戶的重復(fù)交互行為有助于提升會(huì)話推薦的精準(zhǔn)度。因此，從用戶的特殊交互行為中學(xué)習(xí)其興趣偏好是值得探索的方向之一。

5.2.3 重視會(huì)話數(shù)據(jù)的質(zhì)量

由于目前的數(shù)據(jù)集大多沒(méi)有明確劃分會(huì)話，因此只能根據(jù)時(shí)間戳信息，并基于硬性規(guī)則進(jìn)行會(huì)話劃分。然而，都是人為設(shè)定的會(huì)話切分方式難免有所偏差。在未來(lái)的研究工作中，可以嘗試聯(lián)合多種方式切分會(huì)話，或根據(jù)用戶個(gè)人信息和歷史交互數(shù)據(jù)分布，使用自適應(yīng)的方式以獲得更為精準(zhǔn)的會(huì)話序列。同時(shí)，應(yīng)當(dāng)鼓勵(lì)研究人員在考慮豐富項(xiàng)目屬性和用戶信息的基礎(chǔ)上，收集攜帶會(huì)話標(biāo)識(shí)的數(shù)據(jù)集，以支撐相關(guān)領(lǐng)域的后續(xù)研究。

6 結(jié)束語(yǔ)

目前GNN已經(jīng)成為各領(lǐng)域的研究熱點(diǎn)之一，在過(guò)去的五年里，會(huì)話推薦領(lǐng)域涌現(xiàn)出不少重要的相關(guān)工作。因此，本文從推薦因素分析出發(fā)，重點(diǎn)從算法原理與性能分析兩方面對(duì)數(shù)十篇基于GNN的會(huì)話推薦相關(guān)工作展開(kāi)評(píng)述，旨在總結(jié)學(xué)者們?cè)诟鞣矫嫠龀龅呢暙I(xiàn)。最后，根據(jù)前文對(duì)相關(guān)工作的分類(lèi)評(píng)述對(duì)比，提出了對(duì)未來(lái)研究的展望。