王永貴，趙曉暄

遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105

在互聯(lián)網(wǎng)信息日益超載的時(shí)代，推薦系統(tǒng)已經(jīng)成為幫助人們從紛繁復(fù)雜的信息中迅速獲得有用信息的重要工具[1]。推薦系統(tǒng)被廣泛應(yīng)用在學(xué)習(xí)、生活、工作和娛樂等各個(gè)領(lǐng)域。大多數(shù)現(xiàn)有的推薦系統(tǒng)都依賴于用戶的個(gè)人信息和過去的歷史行為數(shù)據(jù)，但是在真實(shí)場(chǎng)景中很多服務(wù)器上無法訪問這些信息，只有正在進(jìn)行的會(huì)話期間的匿名行為記錄可用。為此，基于會(huì)話的推薦方法受到了廣泛的關(guān)注。會(huì)話是一段連續(xù)時(shí)間內(nèi)用戶與項(xiàng)目交互的行為記錄[2]，例如一小時(shí)內(nèi)用戶購買的商品?；跁?huì)話的推薦系統(tǒng)不需要對(duì)用戶的身份信息和歷史數(shù)據(jù)進(jìn)行詳細(xì)分析，只需從用戶當(dāng)前會(huì)話中的交互記錄中提取其偏好信息來進(jìn)行下一步預(yù)測(cè)。

因基于會(huì)話的推薦具有很高的實(shí)用性，許多相關(guān)研究成果不斷涌現(xiàn)。當(dāng)前表現(xiàn)較好的是基于圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）的推薦模型。GNN具有很強(qiáng)的對(duì)圖中節(jié)點(diǎn)之間的依賴關(guān)系進(jìn)行建模的能力[3]?；贕NN的推薦模型與之前的模型不同，它將會(huì)話序列建模成會(huì)話圖，利用GNN進(jìn)一步挖掘會(huì)話圖中項(xiàng)目之間豐富的隱藏信息，從而獲得良好的預(yù)測(cè)結(jié)果。但是，基于GNN的推薦模型仍面臨著數(shù)據(jù)稀疏性問題?；跁?huì)話的推薦由于缺乏長期的用戶歷史行為數(shù)據(jù)，只能利用短期會(huì)話生成的用戶交互記錄進(jìn)行推薦，然而一次會(huì)話中大多數(shù)用戶只能點(diǎn)擊大量項(xiàng)目中的一小部分，其交互數(shù)量非常有限，遠(yuǎn)少于長期的用戶行為數(shù)據(jù)?？捎脭?shù)據(jù)的匱乏使得基于會(huì)話的推薦模型無法學(xué)習(xí)到準(zhǔn)確的用戶偏好，從而導(dǎo)致模型推薦性能不佳。

自監(jiān)督學(xué)習(xí)作為一種新型學(xué)習(xí)范式，它利用數(shù)據(jù)本身的內(nèi)在關(guān)系而非人工標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督，有益于幾乎所有類型的下游任務(wù)[4]，在解決數(shù)據(jù)稀疏性問題上具有很大的優(yōu)勢(shì)。因此，為更好地利用有限的會(huì)話數(shù)據(jù)，緩解數(shù)據(jù)稀疏對(duì)會(huì)話推薦的影響，本文提出了結(jié)合自監(jiān)督學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型（self-supervised graph neural networks for session-based recommendation，Ss-GNN）。Ss-GNN模型將GNN與自監(jiān)督學(xué)習(xí)相結(jié)合來挖掘原始數(shù)據(jù)中更有價(jià)值的信息以緩解數(shù)據(jù)稀疏性問題對(duì)推薦性能的影響，進(jìn)而實(shí)現(xiàn)推薦性能的提升。

本文主要工作如下：

（1）根據(jù)會(huì)話序列構(gòu)建會(huì)話圖，采用圖注意力網(wǎng)絡(luò)（graph attention network，GAT）的思想，在GNN中加入注意力機(jī)制來學(xué)習(xí)會(huì)話中項(xiàng)目之間的關(guān)聯(lián)程度以減少數(shù)據(jù)噪聲，進(jìn)而生成更準(zhǔn)確的項(xiàng)目級(jí)表示，并結(jié)合項(xiàng)目的位置信息生成會(huì)話級(jí)表示。

（2）考慮用戶長短期興趣，在獲得項(xiàng)目級(jí)表示的基礎(chǔ)上通過全局嵌入和局部嵌入來構(gòu)建輔助任務(wù)生成輔助會(huì)話級(jí)表示。在兩個(gè)會(huì)話級(jí)表示之間利用自監(jiān)督學(xué)習(xí)來輔助推薦模型在有限的會(huì)話數(shù)據(jù)中捕獲更有價(jià)值的用戶偏好信息，緩解數(shù)據(jù)稀疏性問題。

（3）本文在兩個(gè)真實(shí)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提模型優(yōu)于對(duì)比的10個(gè)基線模型，證明了Ss-GNN模型的有效性。

1 相關(guān)工作

1.1 基于會(huì)話的推薦系統(tǒng)

給定一個(gè)正在進(jìn)行的會(huì)話中的用戶歷史行為（如點(diǎn)擊），基于會(huì)話的推薦系統(tǒng)可以預(yù)測(cè)用戶下一步操作。基于會(huì)話的推薦系統(tǒng)作為一種新興的推薦系統(tǒng)范式引起了人們的廣泛關(guān)注，相關(guān)技術(shù)和方法不斷迭代更新。在傳統(tǒng)推薦方法中，矩陣分解是常見的方法，它的基本目標(biāo)是把用戶-項(xiàng)目評(píng)分矩陣分解成兩個(gè)低秩矩陣，每個(gè)矩陣代表用戶或項(xiàng)目的潛藏信息[5]。由于會(huì)話中提供用戶偏好信息的交互項(xiàng)目并不多，矩陣分解并不適用于基于會(huì)話的推薦系統(tǒng)?；隈R爾可夫決策的思想，文獻(xiàn)[6]提出了FPMC（factorizing personalized Markov chains for next-basket recommendation）模型，將馬爾可夫鏈與矩陣分解結(jié)合，以捕捉時(shí)間信息和長期的用戶偏好，該模型可以對(duì)兩個(gè)鄰近的點(diǎn)擊項(xiàng)之間的連續(xù)行為進(jìn)行建模，從而生成更精準(zhǔn)的推薦。但是該模型僅考慮到了鄰近交互項(xiàng)目之間的局部信息，而未考慮會(huì)話上下文傳遞的整體信息。

隨著深度學(xué)習(xí)的蓬勃發(fā)展，大量的深度學(xué)習(xí)方法被應(yīng)用到了基于會(huì)話的推薦模型中，以獲取項(xiàng)目之間豐富的隱藏信息。文獻(xiàn)[7]提出了GRU4Rec（gated recurrent unit for recommendation）模型，首次提出使用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）來解決基于會(huì)話的推薦問題。該模型利用RNN和門控循環(huán)單元（gated recurrent unit，GRU）對(duì)會(huì)話數(shù)據(jù)進(jìn)行建模，可以通過給定會(huì)話的歷史交互來學(xué)習(xí)會(huì)話級(jí)表示，進(jìn)而對(duì)用戶的下一步行動(dòng)進(jìn)行預(yù)測(cè)。之后，文獻(xiàn)[8]提出了NARM（neural attentive recommendation machine）模型，該模型利用RNN和注意力機(jī)制對(duì)用戶的順序行為進(jìn)行建模，捕獲當(dāng)前會(huì)話中用戶的主要意圖。文獻(xiàn)[9]提出STAMP（short-term attention/memory priority）模型，該模型考慮到了最后一次點(diǎn)擊項(xiàng)目的重要性，設(shè)計(jì)了一個(gè)注意力層同時(shí)捕獲會(huì)話中用戶的長短期興趣。

近年來，圖神經(jīng)網(wǎng)絡(luò)被引入到了基于會(huì)話的推薦中，并取得了優(yōu)異的成果[10-15]。與之前的會(huì)話推薦方法不同，GNN通過建模會(huì)話圖來進(jìn)一步學(xué)習(xí)項(xiàng)目之間的隱藏信息。文獻(xiàn)[10]提出了SR-GNN（session-based recommendation with graph neural network）模型，將會(huì)話序列建模成會(huì)話圖，不僅考慮了傳統(tǒng)序列方法難以捕獲的復(fù)雜項(xiàng)目之間的轉(zhuǎn)換，還結(jié)合了會(huì)話的一般興趣和當(dāng)前興趣來進(jìn)行更好的預(yù)測(cè)。文獻(xiàn)[11]提出GC-SAN（graph contextual self-attention model based on graph neural network）模型，在GNN的基礎(chǔ)上加入了自注意力機(jī)制，利用兩者之間的互補(bǔ)性來提高推薦性能。文獻(xiàn)[13]提出FGNN（full graph neural network）模型，該模型考慮了會(huì)話中項(xiàng)目的內(nèi)在順序，利用一個(gè)加權(quán)圖注意力層和Readout函數(shù)來學(xué)習(xí)會(huì)話中項(xiàng)目之間的隱藏信息。文獻(xiàn)[15]提出了GCE-GNN（global context enhanced graph neural networks）模型，該模型考慮到了當(dāng)前會(huì)話以外的其他會(huì)話，在會(huì)話圖的基礎(chǔ)上增加了全局圖，利用來自兩個(gè)層次的圖模型的項(xiàng)目嵌入信息來提高當(dāng)前會(huì)話的推薦性能。由于基于會(huì)話的推薦場(chǎng)景中用戶交互行為有限，這些基于GNN的方法都面臨著數(shù)據(jù)稀疏性問題。

1.2 自監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)是一種從大量無標(biāo)記數(shù)據(jù)中挖掘自身監(jiān)督信息的表示學(xué)習(xí)方法，因其在表示學(xué)習(xí)方面的優(yōu)異表現(xiàn)而受到廣泛的關(guān)注。自監(jiān)督學(xué)習(xí)早期被應(yīng)用在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域[16-17]，通過對(duì)原樣本進(jìn)行擾亂，例如對(duì)圖像隨機(jī)翻轉(zhuǎn)、剪切放大和句子剪裁等方式來獲得一些新樣本，以增強(qiáng)原始數(shù)據(jù)。隨后受其他領(lǐng)域的影響，一些研究開始將自監(jiān)督學(xué)習(xí)引入到了序列推薦中。文獻(xiàn)[18]利用屬性、項(xiàng)目、子序列和序列之間的關(guān)聯(lián)度來獲得自監(jiān)督信號(hào)，并通過預(yù)訓(xùn)練方法來增強(qiáng)數(shù)據(jù)表示。文獻(xiàn)[19]提出了一種新的seq2seq（sequence to sequence）訓(xùn)練策略，通過在潛在空間執(zhí)行自監(jiān)督和解藕行為序列背后的用戶意圖來捕獲額外的監(jiān)督信號(hào)。文獻(xiàn)[20]提出了三種數(shù)據(jù)增強(qiáng)方法實(shí)現(xiàn)預(yù)訓(xùn)練，以提取更有價(jià)值的用戶模式。以上序列推薦模型雖然取得了良好的成績，但它們并不適用于會(huì)話推薦，因?yàn)榘谶@些模型中的隨機(jī)屏蔽方法會(huì)導(dǎo)致會(huì)話數(shù)據(jù)更加稀疏，產(chǎn)生無效的自監(jiān)督信號(hào)。因此，如何更有效地結(jié)合自監(jiān)督學(xué)習(xí)來提升基于會(huì)話的推薦模型的推薦性能是一個(gè)值得研究的問題。文獻(xiàn)[21]提出利用超圖建模會(huì)話數(shù)據(jù)并設(shè)計(jì)了基于超圖的線圖將自監(jiān)督學(xué)習(xí)集成到了基于會(huì)話的推薦場(chǎng)景中。受其啟發(fā)，本文嘗試從會(huì)話級(jí)表示的角度出發(fā)設(shè)計(jì)一個(gè)新的輔助任務(wù)，將自監(jiān)督學(xué)習(xí)與基于GNN的會(huì)話推薦模型聯(lián)合，以增強(qiáng)會(huì)話數(shù)據(jù)，緩解數(shù)據(jù)稀疏性問題給推薦系統(tǒng)帶來的影響。

2 Ss-GNN模型

基于會(huì)話的推薦系統(tǒng)從輸入的會(huì)話序列（例如，用戶在某購物平臺(tái)一小時(shí)內(nèi)點(diǎn)擊的商品）中捕捉用戶偏好，來對(duì)用戶下一次交互項(xiàng)進(jìn)行預(yù)測(cè)。為了增強(qiáng)會(huì)話數(shù)據(jù)以緩解數(shù)據(jù)稀疏性問題對(duì)系統(tǒng)帶來的影響，本文提出了結(jié)合自監(jiān)督學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦（Ss-GNN）模型，其整體框架如圖1所示。該模型通過設(shè)計(jì)輔助任務(wù)來實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)，將自監(jiān)督學(xué)習(xí)提取到的會(huì)話級(jí)表示信息，以特征增強(qiáng)的方式輔助基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦模型。

圖1 Ss-GNN模型整體框架Fig.1 Overall framework of Ss-GNN model

2.1 符號(hào)及問題描述

本文中符號(hào)定義如下：令V={v1,v2,…,vn}表示項(xiàng)目的集合，n為項(xiàng)目的數(shù)量。V中的每個(gè)項(xiàng)目vm被編碼到一個(gè)統(tǒng)一的嵌入空間hm∈?d，d為項(xiàng)目嵌入的維度。s={vs,1,vs,2,…,vs,n}表示一個(gè)長度為n的會(huì)話序列，vs,t∈V(1≤t≤n)為會(huì)話s內(nèi)用戶交互的項(xiàng)目，項(xiàng)目按交互時(shí)間排序。

Ss-GNN模型的任務(wù)是學(xué)習(xí)t時(shí)刻會(huì)話s={vs,1,vs,2,…,vs,t}中的用戶偏好，預(yù)測(cè)t+1時(shí)刻最可能交互的項(xiàng)目vs,t+1。模型輸入會(huì)話序列s，輸出所有可能項(xiàng)目的推薦得分y?={y?1,y?2,…,y?n}，最后將y?中得分最高的前N個(gè)項(xiàng)目作為會(huì)話s的推薦候選項(xiàng)目。

2.2 基于圖神經(jīng)網(wǎng)絡(luò)的推薦任務(wù)

2.2.1 構(gòu)造會(huì)話圖

每個(gè)會(huì)話序列s可以被建模成一個(gè)有向會(huì)話圖Gs=(Vs,Es)，其中Vs為表示用戶點(diǎn)擊的項(xiàng)目集合的點(diǎn)集，Es為表示會(huì)話中項(xiàng)目之間關(guān)聯(lián)關(guān)系的邊集，(vs,n-1,vs,n)∈Es表示用戶在會(huì)話s中點(diǎn)擊vs,n-1之后點(diǎn)擊了vs,n。在日常生活中，用戶在當(dāng)前會(huì)話中多次點(diǎn)擊相同的項(xiàng)目是很常見的，所以在會(huì)話圖中相鄰項(xiàng)目之間邊的類型除了入度邊、出度邊、入度-出度邊（同時(shí)存在入度邊和出度邊），還添加了自連接邊（自環(huán)）[13]。會(huì)話圖的構(gòu)造如圖2所示。

圖2 會(huì)話圖Fig.2 Session graph

2.2.2 學(xué)習(xí)項(xiàng)目級(jí)表示

會(huì)話圖中包含著當(dāng)前會(huì)話中相鄰項(xiàng)目之間豐富的隱藏信息。在推薦場(chǎng)景中，會(huì)話中的每個(gè)項(xiàng)目周圍的鄰居項(xiàng)目對(duì)其本身的重要性不同，因此本文跟隨文獻(xiàn)[15]的工作，利用GAT的思想來學(xué)習(xí)會(huì)話中的項(xiàng)目級(jí)表示。GAT是GNN的延伸，它在GNN中加入了注意力機(jī)制，可以學(xué)習(xí)不同節(jié)點(diǎn)之間的權(quán)重[22]，為鄰域內(nèi)的不同項(xiàng)目分配不同的重要性，使得GNN能夠更加關(guān)注重要的鄰居節(jié)點(diǎn)，以減少邊緣噪聲給推薦帶來的影響。模型中的GNN不需要進(jìn)行復(fù)雜的矩陣運(yùn)算，計(jì)算高效，同時(shí)可解釋性強(qiáng)。

在會(huì)話圖Gs中，模型學(xué)習(xí)項(xiàng)目級(jí)表示的過程如下：

通過式（1）計(jì)算不同節(jié)點(diǎn)間的注意力權(quán)重。其中，emn代表了項(xiàng)目vn的特征對(duì)項(xiàng)目vm的重要性，a*∈?d為一個(gè)可訓(xùn)練的權(quán)重向量，rmn則為相鄰項(xiàng)目m和n之間對(duì)應(yīng)邊的類型，激活函數(shù)使用LeakyReLU函數(shù)，LeakyReLU函數(shù)繼承了ReLU函數(shù)的優(yōu)點(diǎn)，同時(shí)給每個(gè)負(fù)值賦予一個(gè)小的正斜率，可以對(duì)輸入的負(fù)值進(jìn)行反向傳播。式（2）中，為方便比較不同節(jié)點(diǎn)之間的注意力權(quán)重系數(shù)，使用softmax函數(shù)對(duì)其進(jìn)行歸一化處理。最后通過式（3）對(duì)當(dāng)前會(huì)話中各個(gè)項(xiàng)目及其鄰居特征進(jìn)行聚合來獲得會(huì)話圖中各項(xiàng)目的項(xiàng)目級(jí)表示。其中，N vs m表示vm的一階鄰居。αmn的大小隨著不同的鄰居項(xiàng)目而變化，表明不同鄰居對(duì)項(xiàng)目的重要性不同。

2.2.3 學(xué)習(xí)會(huì)話級(jí)表示

將相應(yīng)的會(huì)話序列輸入到圖神經(jīng)網(wǎng)絡(luò)中，通過2.2.2小節(jié)中的方法可以獲得對(duì)應(yīng)會(huì)話圖中的項(xiàng)目級(jí)表示該章節(jié)中將介紹如何根據(jù)學(xué)習(xí)到的項(xiàng)目級(jí)表示來生成會(huì)話級(jí)表示。

位置嵌入已在許多場(chǎng)景下被用來存儲(chǔ)項(xiàng)目的位置信息[23]。在真實(shí)的會(huì)話場(chǎng)景中，通常偏后交互的項(xiàng)目更能代表用戶當(dāng)前的偏好，這說明了會(huì)話中的反向位置信息對(duì)于改進(jìn)推薦性能的重要性。跟隨文獻(xiàn)[15]的工作，本文利用一個(gè)可學(xué)習(xí)的位置矩陣P=[p1,p2,…,pn]將反向位置信息與已學(xué)習(xí)到的項(xiàng)目級(jí)表示相結(jié)合來獲取會(huì)話中各項(xiàng)目的反向位置嵌入：

其中，W1∈?d×2d，b1∈?d為可訓(xùn)練的參數(shù)，pm∈?d是特定位置m的位置向量，n是當(dāng)前會(huì)話序列的長度，表示連接。

通過求和的方式濃縮學(xué)習(xí)到的項(xiàng)目級(jí)表示來獲得當(dāng)前會(huì)話中的會(huì)話嵌入：

考慮到這些嵌入信息在會(huì)話中的重要性不同，本文進(jìn)一步采用軟注意力機(jī)制來獲取最終的會(huì)話級(jí)表示：

其中，W2,W3∈?d×d，q1,b2∈?d為可訓(xùn)練的參數(shù)。

2.2.4 預(yù)測(cè)

使用得到的會(huì)話級(jí)表示S和會(huì)話中的每個(gè)候選項(xiàng)目vi∈V的項(xiàng)目級(jí)表示hi來計(jì)算候選項(xiàng)目的推薦分?jǐn)?shù)，并利用softmax函數(shù)獲取模型的輸出向量：

其中，∈?m表示每個(gè)候選項(xiàng)目的推薦分?jǐn)?shù)，∈?m表示每個(gè)候選項(xiàng)目成為用戶下一次點(diǎn)擊的項(xiàng)目的概率。選用推薦系統(tǒng)常用的交叉熵?fù)p失函數(shù)作為學(xué)習(xí)目標(biāo)來訓(xùn)練模型：

其中，yi為用戶實(shí)際交互物品的one-hot向量。

2.3 輔助任務(wù)

通過構(gòu)建輔助任務(wù)將自監(jiān)督學(xué)習(xí)融入到基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦模型中，以增強(qiáng)模型對(duì)會(huì)話中深層交互信息的學(xué)習(xí)，彌補(bǔ)模型中推薦任務(wù)的不足。本文采用另一種求解會(huì)話級(jí)表示的方法[10]來設(shè)計(jì)輔助任務(wù)以產(chǎn)生自監(jiān)督信號(hào)。

其中，W4,W5∈?d×d，W6∈?d×2d，q2,b3∈?d為可訓(xùn)練的參數(shù)。

用戶最后一次交互的項(xiàng)目被認(rèn)為更能代表用戶的當(dāng)前興趣[9]，因此令會(huì)話序列中最后一次點(diǎn)擊項(xiàng)的項(xiàng)目級(jí)表示作為當(dāng)前會(huì)話的局部嵌入slocal。式（13）中sglobal為當(dāng)前會(huì)話的全局嵌入，代表用戶的長期偏好。連接全局嵌入和局部嵌入做線性轉(zhuǎn)換得到最終的輔助會(huì)話級(jí)表示Sp。

2.4 自監(jiān)督學(xué)習(xí)

本文從獲取會(huì)話級(jí)表示的角度出發(fā)，采用了兩種不同的方法學(xué)習(xí)到了相應(yīng)的會(huì)話級(jí)表示。推薦任務(wù)中采用位置嵌入和濃縮的會(huì)話嵌入來學(xué)習(xí)會(huì)話級(jí)表示，輔助任務(wù)則通過全局嵌入與局部嵌入來獲取會(huì)話級(jí)表示。兩組任務(wù)學(xué)習(xí)的角度不同，但都基于模型得到的項(xiàng)目級(jí)表示來獲取會(huì)話級(jí)表示，它們有相近之處，并非完全不同，所以兩組會(huì)話級(jí)表示可以成為彼此監(jiān)督學(xué)習(xí)的ground-truth，相互補(bǔ)充來對(duì)會(huì)話數(shù)據(jù)進(jìn)行增強(qiáng)。這也體現(xiàn)了自監(jiān)督學(xué)習(xí)與利用人工標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)的有監(jiān)督學(xué)習(xí)的不同之處。

跟隨文獻(xiàn)[16，21，24]的工作，本文將正負(fù)樣本之間帶有標(biāo)準(zhǔn)二值交叉熵?fù)p失的噪聲對(duì)比型目標(biāo)函數(shù)作為自監(jiān)督學(xué)習(xí)的學(xué)習(xí)目標(biāo)：

其中，是對(duì)Si行列變換打亂順序獲得的負(fù)樣本，fD(·):?d×?d??是一個(gè)鑒別器函數(shù)，它對(duì)輸入的兩個(gè)向量之間的一致性進(jìn)行打分。本文將鑒別器實(shí)現(xiàn)為兩個(gè)向量之間的點(diǎn)積。利用這一學(xué)習(xí)目標(biāo)來實(shí)現(xiàn)兩種方法中學(xué)習(xí)到的會(huì)話級(jí)表示之間的互信息（mutual information）最大化。

最后將基于圖神經(jīng)網(wǎng)絡(luò)的推薦模型和自監(jiān)督學(xué)習(xí)整合到同一個(gè)學(xué)習(xí)框架中進(jìn)行聯(lián)合優(yōu)化。最終的學(xué)習(xí)目標(biāo)見式（16）。其中，δ為自監(jiān)督學(xué)習(xí)損失函數(shù)的權(quán)重系數(shù)。

通過自監(jiān)督學(xué)習(xí)，最大限度地利用兩種方法學(xué)習(xí)到的會(huì)話級(jí)表示之間的互信息，使受會(huì)話數(shù)據(jù)稀疏問題影響的推薦模型可以獲得更準(zhǔn)確的信息，以提高推薦性能。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集和預(yù)處理

使用公開的Yoochoose數(shù)據(jù)集和Tmall數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)來驗(yàn)證本文提出模型的有效性。Yoochoose數(shù)據(jù)集來自RecSys 2015挑戰(zhàn)賽，其中包含用戶6個(gè)月內(nèi)在電子商務(wù)網(wǎng)站的點(diǎn)擊記錄。Tmall數(shù)據(jù)集來自IJCAI 2015競(jìng)賽，其中包含了匿名用戶在天貓?jiān)诰€購物平臺(tái)上的購物記錄。為了比較的公平性，參照文獻(xiàn)[8-9，21]的工作對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行預(yù)處理：首先過濾兩個(gè)數(shù)據(jù)集上長度為1的會(huì)話、出現(xiàn)次數(shù)少于5的項(xiàng)目。隨后對(duì)輸入的會(huì)話序列進(jìn)行拆分來生成序列和相應(yīng)的標(biāo)簽。將Yoochoose數(shù)據(jù)集上最后一天的會(huì)話數(shù)據(jù)設(shè)置為測(cè)試集，其余會(huì)話數(shù)據(jù)設(shè)置為訓(xùn)練集。將Tmall數(shù)據(jù)集上最后一周的會(huì)話數(shù)據(jù)設(shè)置為測(cè)試集，其余會(huì)話數(shù)據(jù)設(shè)置為訓(xùn)練集。由于Yoochoose數(shù)據(jù)集中數(shù)據(jù)量過大，現(xiàn)有研究按時(shí)間對(duì)訓(xùn)練集中的會(huì)話排序，發(fā)現(xiàn)偏后部分的數(shù)據(jù)能產(chǎn)生更好的訓(xùn)練結(jié)果[25]，因此本文僅選擇距離測(cè)試集時(shí)間最近的1/64會(huì)話序列作為訓(xùn)練集。經(jīng)過預(yù)處理的兩個(gè)數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果如表1所示。

表1 數(shù)據(jù)集統(tǒng)計(jì)結(jié)果Table 1 Statistical results of data sets

3.2 評(píng)價(jià)指標(biāo)

本文采用精確率（Precision）P@N和平均倒數(shù)排名（mean reciprocal rank）MRR@N作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)。

P@N被廣泛用于衡量會(huì)話推薦預(yù)測(cè)的準(zhǔn)確性，它表示正確推薦的物品在前N個(gè)物品中的比例。計(jì)算公式為：

其中，n為測(cè)試集樣本總數(shù)，nhit為前N個(gè)推薦物品中含有正確推薦物品的樣本數(shù)。

MRR@N表示正確推薦物品的排名的倒數(shù)的平均值。當(dāng)推薦列表中推薦正確的物品位置越靠前時(shí)，推薦效果越好。計(jì)算公式為：

其中，n為測(cè)試集樣本總數(shù)，R為前N個(gè)推薦物品中含有正確推薦物品的樣本數(shù)，rank(i)為物品i在推薦列表中的排名。

由于在會(huì)話推薦系統(tǒng)的實(shí)際應(yīng)用中，大多數(shù)用戶只關(guān)注靠前頁數(shù)的推薦結(jié)果，因此本實(shí)驗(yàn)N取值為20。

3.3 對(duì)比模型

為了評(píng)估該模型性能，實(shí)驗(yàn)選取以下模型作為對(duì)比模型：

（1）POP：根據(jù)物品在訓(xùn)練集中的流行度排名進(jìn)行推薦。

（2）Item-KNN[26]：通過物品之間的相似度來推薦與已點(diǎn)擊物品相似的物品，其中相似度為會(huì)話向量之間的余弦相似度。

（3）FPMC[6]：是一種基于矩陣分解和一階馬爾可夫鏈的序列預(yù)測(cè)方法，能同時(shí)捕獲時(shí)間信息和用戶偏好。

（4）GRU4Rec[7]：初次將RNN引入到基于會(huì)話的推薦領(lǐng)域中，使用GRU對(duì)會(huì)話序列進(jìn)行建模。

（5）NARM[8]：采用帶有注意力機(jī)制的RNN方法來捕捉用戶的主要意圖和序列行為特征。

（6）STAMP[9]：初次考慮長短期記憶，強(qiáng)調(diào)了最后一次點(diǎn)擊項(xiàng)目的重要性，提出了一種新的注意力機(jī)制，同時(shí)捕捉用戶的一般興趣和當(dāng)前興趣。

（7）SR-GNN[10]：初次將GNN引入到基于會(huì)話的推薦領(lǐng)域中，使用GNN捕獲會(huì)話中項(xiàng)目之間的隱藏信息，同時(shí)結(jié)合用戶的長期偏好和當(dāng)前興趣進(jìn)行推薦。

（8）GCE-GNN[15]：構(gòu)造了全局圖來捕獲全局上下文信息，利用圖卷積網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)來捕獲全局級(jí)和會(huì)話級(jí)的項(xiàng)目轉(zhuǎn)換信息。

（9）CASIF[27]：利用圖神經(jīng)網(wǎng)絡(luò)并構(gòu)建短期興趣優(yōu)先模塊和多層感知機(jī)模塊來共同捕獲用戶偏好信息。

（10）S2-DHCN[21]：采用一種雙通道超圖卷積網(wǎng)絡(luò)進(jìn)行推薦并通過自監(jiān)督學(xué)習(xí)來增強(qiáng)超圖建模。

3.4 參數(shù)設(shè)置

實(shí)驗(yàn)設(shè)定隱藏向量維度為100，訓(xùn)練批次大小設(shè)定為100，初始學(xué)習(xí)率為0.001且每訓(xùn)練迭代3次學(xué)習(xí)率衰減10%，正則化系數(shù)L2=10-5，隨機(jī)選取10%的訓(xùn)練集子集作為驗(yàn)證集，對(duì)所有參數(shù)采用均值為0、標(biāo)準(zhǔn)差為0.1的高斯分布進(jìn)行初始化，使用Adam算法優(yōu)化模型參數(shù)，訓(xùn)練迭代次數(shù)設(shè)定為20。

3.5 模型性能比較與分析

為驗(yàn)證所提模型的有效性，將所提模型與基線模型在兩個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of different models on two datasets 單位：%

根據(jù)表2給出的實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：

GRU4Rec模型采用RNN來學(xué)習(xí)會(huì)話中的用戶偏好，考慮到了會(huì)話信息的時(shí)間順序，因此其性能要優(yōu)于未考慮時(shí)間順序的POP、Item-KNN、FPMC等傳統(tǒng)方法。

NARM和STAMP模型引入了注意力機(jī)制，利用注意力機(jī)制來學(xué)習(xí)當(dāng)前會(huì)話中每個(gè)項(xiàng)目的重要程度，兩者的性能優(yōu)于GRU4Rec，說明注意力機(jī)制有助于在會(huì)話中獲取用戶興趣信息。另外，STAMP因考慮到了用戶當(dāng)前興趣的重要性，其性能優(yōu)于NARM。

SR-GNN、GCE-GNN、CASIF和S2-DHCN模型利用GNN進(jìn)一步捕獲會(huì)話中復(fù)雜的項(xiàng)目轉(zhuǎn)換，其性能明顯優(yōu)于NARM、STAMP，這表明了基于GNN的推薦模型與傳統(tǒng)推薦模型和基于RNN的推薦模型相比更適用于基于會(huì)話的推薦情景。

Ss-GNN模型利用GAT的思想在GNN中加入注意力機(jī)制來提取重要的會(huì)話信息，并在推薦任務(wù)的基礎(chǔ)上添加了輔助任務(wù)，以此來增強(qiáng)會(huì)話數(shù)據(jù)，緩解數(shù)據(jù)稀疏對(duì)推薦性能的影響，幫助系統(tǒng)捕獲更準(zhǔn)確的用戶偏好信息，進(jìn)而提升推薦性能。Ss-GNN模型與GCE-GNN模型相比，在Tmall數(shù)據(jù)集上，P@20和MRR@20指標(biāo)分別提升了9.61%和4.67%；在Yoochoose1/64數(shù)據(jù)集上，P@20指標(biāo)提升了0.94%。Ss-GNN模型與CASIF模型相比，在Tmall數(shù)據(jù)集上，P@20和MRR@20指標(biāo)分別提升了35.87%和16.70%；在Yoochoose1/64數(shù)據(jù)集上，P@20指標(biāo)提升了1.24%。Ss-GNN模型與S2-DHCN模型相比，在Tmall數(shù)據(jù)集上，P@20和MRR@20指標(biāo)分別提升了16.58%和7.24%；在Yoochoose1/64數(shù)據(jù)集上，P@20和MRR@20指標(biāo)分別提升了0.97%和0.79%。從實(shí)驗(yàn)結(jié)果可以看出，Ss-GNN模型相比于其他模型更具有競(jìng)爭力，尤其是在Tmall數(shù)據(jù)集上，雖只利用了會(huì)話圖，其性能卻遠(yuǎn)超于利用全局圖和會(huì)話圖的先進(jìn)模型GCE-GNN。推薦精確率的提升證明了Ss-GNN模型的有效性。由于未充分考慮到邊權(quán)重信息和會(huì)話間信息，Ss-GNN模型在MRR@20指標(biāo)上的表現(xiàn)稍有不足，但在P@20指標(biāo)上的表現(xiàn)排名第一，可以根據(jù)不同需求選擇相應(yīng)的模型。

3.6 自監(jiān)督學(xué)習(xí)的影響

3.6.1 自監(jiān)督學(xué)習(xí)有效性

為進(jìn)一步評(píng)估自監(jiān)督學(xué)習(xí)在Ss-GNN模型中的有效性，本文設(shè)計(jì)了兩個(gè)模型變體與所提模型進(jìn)行對(duì)比：

（1）將Ss-GNN模型中的輔助任務(wù)丟棄，不考慮會(huì)話數(shù)據(jù)稀疏帶來的影響，只利用基于GNN的推薦模型進(jìn)行推薦，即表2中的Ss-GNN-base。

（2）只用輔助任務(wù)來進(jìn)行推薦，不進(jìn)行自監(jiān)督學(xué)習(xí)，用輔助任務(wù)替代原推薦任務(wù)獲取會(huì)話級(jí)表示，即表2中的Ss-GNN-P。

從表2可以看出，與Ss-GNN-base和Ss-GNN-P相比，所提模型Ss-GNN的性能有了很大的提升。兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明自監(jiān)督學(xué)習(xí)的引入是所提模型的主要貢獻(xiàn)部分，進(jìn)一步說明所提模型中的輔助任務(wù)的設(shè)計(jì)和自監(jiān)督學(xué)習(xí)部分能夠很好地增強(qiáng)會(huì)話數(shù)據(jù)，緩解數(shù)據(jù)稀疏給系統(tǒng)性能帶來的影響。

3.6.2 自監(jiān)督學(xué)習(xí)參數(shù)影響

在所提模型中，利用權(quán)重系數(shù)δ來控制自監(jiān)督學(xué)習(xí)的程度，幫助模型在兩個(gè)學(xué)習(xí)目標(biāo)Lr和Ls之間進(jìn)行權(quán)衡，從而挖掘出更有價(jià)值的信息。為了避免輔助任務(wù)在梯度傳播中的負(fù)面干擾，本文選擇在較小的區(qū)間內(nèi)搜索合適的δ值，并根據(jù)實(shí)驗(yàn)結(jié)果將其設(shè)置為0～0.2。在0值之后，首先從0.001開始嘗試，并逐漸增加步長。本文在Yoochoose1/64和Tmall數(shù)據(jù)集上選取了一組具有代表性的δ值{0，0.001，0.005，0.01，0.02，0.05，0.1，0.2}來研究權(quán)重系數(shù)δ對(duì)Ss-GNN模型性能的影響。從圖3中可以看出，隨著δ值的增加，Ss-GNN模型在兩個(gè)數(shù)據(jù)集上的性能均得到了提升，在Tmall數(shù)據(jù)集上δ值為0.01時(shí)性能最佳，在Yoochoose1/64數(shù)據(jù)集上δ值為0.005時(shí)性能最佳。Ss-GNN模型在兩個(gè)數(shù)據(jù)集上的性能達(dá)到峰值后，隨著δ值的增加開始逐步下降。這表明使用較小的δ值可以增強(qiáng)推薦模型的表達(dá)力，提升P@20和MRR@20，而較大的δ值則會(huì)誤導(dǎo)推薦任務(wù)，給其帶來負(fù)面影響。

圖3 超參數(shù)分析Fig.3 Hyperparameter analysis

3.7 消融實(shí)驗(yàn)

為了更好地了解模型中推薦任務(wù)各部分的實(shí)際價(jià)值，本文設(shè)計(jì)了以下幾個(gè)模型變體與Ss-GNN-base進(jìn)行對(duì)比研究：

（1）Ss-GNN-1：采用SR-GNN模型中的門控圖神經(jīng)網(wǎng)絡(luò)（gated graph neural network，GGNN）來學(xué)習(xí)會(huì)話中的項(xiàng)目級(jí)表示。

（2）Ss-GNN-2：去掉推薦任務(wù)中的反向位置嵌入。

（3）Ss-GNN-3：通過對(duì)得到的項(xiàng)目級(jí)表示取平均來獲取會(huì)話嵌入。

為了方便了解推薦任務(wù)各部分功能，以上模型變體均不進(jìn)行自監(jiān)督學(xué)習(xí)。

各個(gè)模型變體的實(shí)驗(yàn)結(jié)果如圖4所示，從圖4（a）和圖4（b）中可以看出：

（1）Ss-GNN-1與Ss-GNN-base比較，可以發(fā)現(xiàn)加入注意力機(jī)制的GNN相比于GGNN更能關(guān)注到會(huì)話中的重要信息，減少噪聲數(shù)據(jù)帶來的干擾，提升推薦性能。

（2）在圖4（a）中，可以發(fā)現(xiàn)與Ss-GNN-base相比，去掉反向位置嵌入的Ss-GNN-2性能下降，但在圖4（b）中，Ss-GNN-2在兩個(gè)指標(biāo)上的性能都得到了提升，說明嚴(yán)格的時(shí)間順序可能會(huì)對(duì)推薦性能產(chǎn)生負(fù)面影響。

（3）在圖4（b）中，Ss-GNN-3與Ss-GNN-base比較，可以發(fā)現(xiàn)取平均值導(dǎo)致Ss-GNN-3性能下降，說明采用平均值來濃縮會(huì)話信息可能導(dǎo)致數(shù)據(jù)平滑影響推薦性能。

圖4 Ss-GNN模型消融實(shí)驗(yàn)對(duì)比結(jié)果Fig.4 Comparison results of Ss-GNN model ablation experiment

通過消融實(shí)驗(yàn)，驗(yàn)證了Ss-GNN模型中推薦任務(wù)各個(gè)部分的設(shè)計(jì)合理有效，缺一不可。

3.8 優(yōu)化器分析

為分析不同優(yōu)化器對(duì)性能的影響，本文分別選取SGD、Momentum、RMSprop和Adam優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果和平均訓(xùn)練時(shí)間如圖5和表3所示。

圖5 不同優(yōu)化器的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of different optimizers

從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)SGD在推薦準(zhǔn)確率上的表現(xiàn)較差，尤其是在Yoochoose1/64數(shù)據(jù)集上，且相比于其他優(yōu)化器訓(xùn)練時(shí)間要長，本文認(rèn)為主要原因是SGD在隨機(jī)選擇梯度時(shí)會(huì)引入噪聲，同時(shí)容易陷入局部最優(yōu)值。Momentum在SGD的基礎(chǔ)上增加了動(dòng)量（momentum）參數(shù)，能夠提升SGD的穩(wěn)定性，進(jìn)而加快模型訓(xùn)練速度。Momentum的訓(xùn)練速度最快，但在推薦準(zhǔn)確率上的表現(xiàn)不夠理想。RMSprop引入衰減系數(shù)，能夠進(jìn)一步緩解優(yōu)化過程中參數(shù)更新幅度大的問題，進(jìn)而提升準(zhǔn)確率。Adam結(jié)合了Momentum和RMSprop的優(yōu)點(diǎn)，不僅使用動(dòng)量指導(dǎo)參數(shù)更新方向還可以自適應(yīng)調(diào)整學(xué)習(xí)率，在訓(xùn)練速度和準(zhǔn)確率上都具有一定的優(yōu)勢(shì)。

3.9 效率分析

本文從時(shí)間復(fù)雜度和空間復(fù)雜度兩個(gè)方面對(duì)提出模型的效率情況進(jìn)行分析。

Ss-GNN模型的時(shí)間復(fù)雜度主要體現(xiàn)在圖神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制和自監(jiān)督任務(wù)三個(gè)部分。設(shè)會(huì)話圖中節(jié)點(diǎn)個(gè)數(shù)為|V|，邊的個(gè)數(shù)為|E|，項(xiàng)目嵌入向量的維度為d。模型中的圖神經(jīng)網(wǎng)絡(luò)通過計(jì)算每個(gè)節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)的注意力權(quán)重來學(xué)習(xí)會(huì)話圖中的項(xiàng)目級(jí)表示，其計(jì)算次數(shù)與會(huì)話圖中邊的數(shù)量有關(guān)，所以此部分的復(fù)雜度為O(|E|d)；注意力機(jī)制復(fù)雜度為O(|V|d2)；自監(jiān)督任務(wù)由于其計(jì)算量的核心是注意力機(jī)制，其復(fù)雜度同為O(|V|d2)。因此，模型的復(fù)雜度可歸納為O(|E|d+|V|d2)，可以看出模型復(fù)雜度主要與會(huì)話圖中節(jié)點(diǎn)和邊的數(shù)量以及項(xiàng)目嵌入向量的維度有關(guān)。表4顯示了Ss-GNN模型與基線模型在Yoochoose1/64和Tmall兩個(gè)數(shù)據(jù)集上平均每輪的訓(xùn)練時(shí)間。可以觀察到，與基線模型相比，Ss-GNN模型的訓(xùn)練效率有所提高。本文認(rèn)為主要原因是，Ss-GNN模型只在當(dāng)前會(huì)話中學(xué)習(xí)會(huì)話的項(xiàng)目嵌入且模型中的圖神經(jīng)網(wǎng)絡(luò)只依賴于邊，不依賴于完整的圖結(jié)構(gòu)，降低了模型計(jì)算量。同時(shí)，Ss-GNN模型與不進(jìn)行自監(jiān)督學(xué)習(xí)的Ss-GNN-base模型相比，訓(xùn)練時(shí)間沒有較大差距，說明模型中的自監(jiān)督學(xué)習(xí)模塊不會(huì)增加大量訓(xùn)練時(shí)間。因此，Ss-GNN模型不僅在性能上有所提高，在效率上也具有競(jìng)爭力。

表4 不同模型在兩個(gè)數(shù)據(jù)集上的平均訓(xùn)練時(shí)間Table 4 Average training time of different models on two datasets

為分析模型的空間復(fù)雜度情況，本文在Yoochoose1/64數(shù)據(jù)集上做進(jìn)一步實(shí)驗(yàn)來獲取不同模型的參數(shù)量、大小和運(yùn)行時(shí)占用內(nèi)存信息。從表5可以觀察到模型大小以及占用內(nèi)存與模型參數(shù)量有一定關(guān)系，說明模型的空間復(fù)雜度與其參數(shù)量有關(guān)。Ss-GNN模型由于增加了輔助任務(wù)，其參數(shù)量和占用內(nèi)存有所增加，但與基線模型相比差距較小。綜合來看，本文所提模型輕便、高效，在包含大量會(huì)話和項(xiàng)目的真實(shí)會(huì)話推薦場(chǎng)景中更為適合，具有較大優(yōu)勢(shì)。

表5 不同模型參數(shù)量分析Table 5 Parametric quantitative analysis of different models

4 結(jié)束語

考慮到會(huì)話數(shù)據(jù)的稀疏性問題，本文提出一種新穎的結(jié)合自監(jiān)督學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型Ss-GNN。該模型不僅利用GAT的思想降低了噪聲數(shù)據(jù)對(duì)模型學(xué)習(xí)的影響，還通過長短期興趣設(shè)計(jì)了輔助任務(wù)來產(chǎn)生自監(jiān)督信號(hào)進(jìn)行自監(jiān)督學(xué)習(xí)，增強(qiáng)模型對(duì)會(huì)話數(shù)據(jù)特征提取的能力，以緩解數(shù)據(jù)稀疏性問題對(duì)推薦性能的影響，使模型推薦性能得到了提升。目前將自監(jiān)督學(xué)習(xí)與會(huì)話推薦結(jié)合的研究并不多，本文提出的方法給自監(jiān)督學(xué)習(xí)在基于會(huì)話的推薦上的應(yīng)用提供了新思路。但本文提出的方法也有一定的局限性，如在Yoochoose數(shù)據(jù)集上的提升不夠明顯。在未來研究中，將探討如何從其他角度設(shè)計(jì)出更有效的輔助任務(wù)來進(jìn)一步提升推薦性能。