鄭小麗，王巍,2，張闖，杜雨晅

1. 河北工程大學(xué) 河北省安防信息感知與處理重點(diǎn)實(shí)驗(yàn)室，河北 邯鄲 056038

2. 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

在互聯(lián)網(wǎng)信息呈爆炸式增長(zhǎng)的時(shí)代，推薦系統(tǒng)已經(jīng)成功進(jìn)化為信息服務(wù)的基礎(chǔ)工具之一，它能夠幫助用戶做出合理的選擇和決策，提高數(shù)據(jù)處理的效率，有效緩解信息過(guò)載問(wèn)題[1-2]。傳統(tǒng)的推薦算法需要借助用戶個(gè)人簡(jiǎn)介以及歷史評(píng)分（如網(wǎng)頁(yè)的瀏覽數(shù)據(jù)、購(gòu)買記錄、社交網(wǎng)絡(luò)和地理位置）等語(yǔ)義信息來(lái)構(gòu)建推薦任務(wù)以預(yù)測(cè)用戶真正感興趣物品，然而在實(shí)際應(yīng)用中，由于隱私策略或用戶匿名訪問(wèn)的限制，用戶的檔案資料和長(zhǎng)期歷史配置文件大多都無(wú)法直接獲得，唯一可用的有效信息只有當(dāng)前會(huì)話中的點(diǎn)擊行為記錄[3]。因此，基于會(huì)話的推薦方法誕生并受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

會(huì)話推薦旨在根據(jù)短期匿名會(huì)話交互軌跡行為構(gòu)建交互行為模式，進(jìn)一步預(yù)測(cè)用戶要點(diǎn)擊的下一項(xiàng)物品的概率[4-5]。最初，所做工作主要是馬爾可夫鏈的淺層方法捕捉序列數(shù)據(jù)中隨時(shí)間推移而動(dòng)態(tài)變化的用戶興趣[6]；近幾年，以神經(jīng)網(wǎng)絡(luò)為首的深度學(xué)習(xí)技術(shù)發(fā)展火熱，深層的神經(jīng)網(wǎng)絡(luò)已被廣泛用于從非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容中提取高階信號(hào)特征的場(chǎng)景中，相關(guān)研究者也將深度神經(jīng)網(wǎng)絡(luò)引入了會(huì)話推薦中，對(duì)蘊(yùn)含在不同類型會(huì)話數(shù)據(jù)中的潛在價(jià)值進(jìn)行深入挖掘，極大地帶動(dòng)了會(huì)話推薦的研究進(jìn)程[7]。循環(huán)神經(jīng)網(wǎng)絡(luò)[8](recurrent neural networks, RNN)通過(guò)狀態(tài)變量將上一時(shí)刻輸出和此刻輸入進(jìn)行結(jié)合共同作用影響獲得此刻的輸出結(jié)果，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的“記憶存儲(chǔ)”功能。由于循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)序列型數(shù)據(jù)有著與生俱來(lái)的天然建模優(yōu)勢(shì)，文獻(xiàn)[9]首次將循環(huán)神經(jīng)網(wǎng)絡(luò)納入會(huì)話推薦系統(tǒng)中提出一種基于GRU4Rec 的方法，該方法通過(guò)多層門控循環(huán)單元和采用并行架構(gòu)批量處理方式學(xué)習(xí)序列信息，聚焦于單個(gè)會(huì)話的興趣演變，優(yōu)化了訓(xùn)練策略 ；相比而言，作為深度學(xué)習(xí)領(lǐng)域最活躍的研究方向之一，圖神經(jīng)網(wǎng)絡(luò)[10]（graph neural networks，GNN）憑借其卓越的性能已經(jīng)被廣泛應(yīng)用于個(gè)性化推薦等日常生活中，在新冠藥物研發(fā)等科學(xué)前沿領(lǐng)域也不乏其身影，Wu 等[11]開(kāi)創(chuàng)性地將會(huì)話序列構(gòu)建為圖數(shù)據(jù)結(jié)構(gòu)來(lái)提取會(huì)話級(jí)特征，顯示出了可觀的推薦性能。然而盡管研究者們?cè)趫D會(huì)話建模方面已經(jīng)取得了不錯(cuò)的進(jìn)展，但基于圖的會(huì)話推薦方法依然存在一定的局限性和挑戰(zhàn)性[12]，主要總結(jié)如下：

1)由于會(huì)話數(shù)據(jù)存在隨機(jī)性和嘈雜性的特點(diǎn)，在會(huì)話行為序列中并不是所有的交互行為都對(duì)下一項(xiàng)物品預(yù)測(cè)有幫助，且模型在形成興趣表征時(shí)無(wú)法越過(guò)與用戶主要興趣不相關(guān)的物品，這阻礙了模型進(jìn)行有效的意圖學(xué)習(xí)，使學(xué)習(xí)到的會(huì)話表示可能存在魯棒性差和不準(zhǔn)確的問(wèn)題[13]。

2)對(duì)于用戶行為中的噪聲點(diǎn)擊，傳統(tǒng)解決方法通常采用注意力機(jī)制由softmax 加權(quán)的方式削弱與用戶主要目的不相關(guān)物品的影響，即賦予不重要物品較小的權(quán)重比例，屬于一種隱式去噪方式，但是經(jīng)過(guò)多次迭代后，這種小權(quán)重嘈雜點(diǎn)擊仍會(huì)積累大量的噪聲，容易形成無(wú)效的意圖學(xué)習(xí)[14]。

3)雖然現(xiàn)有的基于會(huì)話預(yù)測(cè)方法利用強(qiáng)大的表示學(xué)習(xí)方法在低維空間中編碼項(xiàng)目的順序相關(guān)性，但它們也存在一定的局限性。用戶興趣本質(zhì)上是由用戶意圖驅(qū)動(dòng)，而用戶意圖會(huì)隨時(shí)間推移發(fā)生動(dòng)態(tài)性變化，用戶對(duì)物品的興趣也會(huì)隨之不斷改變，這種變化容易使得模型存在無(wú)法準(zhǔn)確分析隱式反饋數(shù)據(jù)內(nèi)部復(fù)雜的相互依賴關(guān)系和不能充分捕捉用戶真實(shí)偏好動(dòng)態(tài)變化規(guī)律的問(wèn)題[15]。

為此，提出融合對(duì)比學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型(comparative learning graph neural network for session-base recommendation，CLSR-GNN)，該模型首先將會(huì)話數(shù)據(jù)轉(zhuǎn)換為圖，并通過(guò)圖神經(jīng)網(wǎng)絡(luò)的圖拓?fù)浣Y(jié)構(gòu)聚合圖上項(xiàng)目的特征信息，得到項(xiàng)目隱含向量表示，作為局部會(huì)話表示，這種特征提取方式能夠增強(qiáng)模型表達(dá)能力，可以更為充分和準(zhǔn)確地學(xué)習(xí)具有豐富語(yǔ)義的項(xiàng)目表示；其次，為了更好地了解用戶的真實(shí)意圖、降低噪聲行為干擾作用、避免嘈雜點(diǎn)擊的累積，對(duì)基于項(xiàng)目的隱含向量先用軟注意力分配給每個(gè)項(xiàng)目不同注意力分?jǐn)?shù)值生成注意力參數(shù)矩陣，利用噪聲濾除器對(duì)注意力系數(shù)進(jìn)行更加細(xì)致的處理，過(guò)濾掉權(quán)重低于特定閾值的項(xiàng)目，生成有效的全局會(huì)話向量表示，顯示過(guò)濾掉與用戶主要目的不相關(guān)的物品；再次，為使模型去噪效果達(dá)到更佳，將經(jīng)過(guò)噪聲過(guò)濾的全局嵌入表示和原會(huì)話全局嵌入表示分別作為正樣本和負(fù)樣本，聯(lián)合對(duì)比學(xué)習(xí)框架對(duì)兩者建立監(jiān)督信號(hào)進(jìn)行優(yōu)化訓(xùn)練，達(dá)到更好地抑制噪聲干擾的效果，獲得高質(zhì)量的會(huì)話特征向量表示，更為有效地挖掘項(xiàng)目之間深層次的關(guān)聯(lián)，增加模型魯棒性和可解釋性；最后，采用門控機(jī)制來(lái)自適應(yīng)地融合全局偏好和局部偏好表示，有效建模會(huì)話中用戶與項(xiàng)目交互序列中的復(fù)雜轉(zhuǎn)換關(guān)系，結(jié)合全局和局部物品特征來(lái)揭示會(huì)話序列中用戶的興趣變化規(guī)律，獲得更準(zhǔn)確的會(huì)話向量表示，從而形成個(gè)性化推薦，預(yù)測(cè)用戶將要點(diǎn)擊的下一項(xiàng)物品。實(shí)驗(yàn)結(jié)果表明，該算法顯示出了較好的推薦性能，具有合理性和優(yōu)越性。

1 相關(guān)工作

1.1 基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦

隨著深度學(xué)習(xí)的發(fā)展，圖神經(jīng)網(wǎng)絡(luò)異軍突起，成為了圖計(jì)算和圖挖掘任務(wù)的最佳方法[16]。從圖的視角重新看待傳統(tǒng)推薦模型，不難看出，傳統(tǒng)模型一般只利用了圖上的一階鄰居節(jié)點(diǎn)信息，如在矩陣分解模型中，對(duì)于給定的用戶，它僅用到了其一階鄰居的信息，因此導(dǎo)致模型的推薦性能受限[17]。與傳統(tǒng)模型相比，圖神經(jīng)網(wǎng)絡(luò)模型可以通過(guò)消息傳播機(jī)制讓節(jié)點(diǎn)聚合到大部分高階鄰居的信息，即有效地捕獲高階關(guān)系以實(shí)現(xiàn)更準(zhǔn)確的表征學(xué)習(xí)[18-19]。圖作為一種通用類型的數(shù)據(jù)結(jié)構(gòu)，也被引入了會(huì)話推薦任務(wù)建模中，Wu 等[11]采用門控圖網(wǎng)絡(luò)作為項(xiàng)目特征編碼器，并利用軟注意力機(jī)制將項(xiàng)目特征和會(huì)話特征聚合在一起，進(jìn)行用戶興趣學(xué)習(xí)；Xu 等[20]設(shè)計(jì)了多層自注意力網(wǎng)絡(luò)，利用了自注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)的互補(bǔ)性，以獲得情境化的非局部表征，保持了模型的簡(jiǎn)單性和靈活性，實(shí)現(xiàn)了較好的推薦效果；Qiu等[21]提出了一種加權(quán)注意力圖結(jié)構(gòu)和一個(gè)讀出函數(shù)來(lái)學(xué)習(xí)物品和會(huì)話的嵌入的模型框架來(lái)協(xié)同處理會(huì)話圖中的潛在順序關(guān)聯(lián)；Wang 等[22]提出了一種結(jié)合上下文信息加強(qiáng)的模型，以更加細(xì)粒度的方式考慮所有會(huì)話中的物品轉(zhuǎn)換，更好地推斷出了用戶在當(dāng)前會(huì)話中的興趣偏好；Yang等[15]利用圖卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建多關(guān)系物品圖，同時(shí)考慮目標(biāo)行為和輔助行為信息，構(gòu)建全局item2item 關(guān)系圖，進(jìn)而建模用戶動(dòng)態(tài)興趣。

1.2 對(duì)比學(xué)習(xí)

自監(jiān)督學(xué)習(xí)[23]是一種新興的機(jī)器學(xué)習(xí)方法，旨在通過(guò)自監(jiān)督的方式從原始數(shù)據(jù)中學(xué)習(xí)更好的數(shù)據(jù)表示。最初它被用于計(jì)算機(jī)視覺(jué)領(lǐng)域進(jìn)行表征學(xué)習(xí)[24]，然后又將自監(jiān)督學(xué)習(xí)擴(kuò)展到圖表示學(xué)習(xí)中[25]。而對(duì)比學(xué)習(xí)(contrastive learning)是自監(jiān)督學(xué)習(xí)中的一種，用來(lái)解決"標(biāo)注少或無(wú)標(biāo)注"的問(wèn)題。對(duì)比學(xué)習(xí)是通過(guò)對(duì)比具有互信息最大化的一致和不一致視圖來(lái)幫助模型學(xué)習(xí)不同視圖中相似性較大的表征，進(jìn)而形成編碼豐富的圖或節(jié)點(diǎn)表示[26]，簡(jiǎn)而言之，其主要思想為利用對(duì)比學(xué)習(xí)可以使模型中樣本和與之相似的正樣本之間的距離遠(yuǎn)大于樣本和與之不相似的負(fù)樣本之間的距離。隨著對(duì)比學(xué)習(xí)在CV 和NLP 領(lǐng)域的成功應(yīng)用，它也被相關(guān)研究者引入了推薦系統(tǒng)任務(wù)中。Zhou等[27]使用特征掩碼來(lái)創(chuàng)建自監(jiān)督信號(hào)，但由于會(huì)話數(shù)據(jù)的稀疏性，屏蔽特征不能產(chǎn)生強(qiáng)大的自監(jiān)督信號(hào)，因此并不適用于會(huì)話推薦建模；Xia 等[28]將會(huì)話數(shù)據(jù)構(gòu)建為超圖，創(chuàng)新性地把自監(jiān)督學(xué)習(xí)融入到了網(wǎng)絡(luò)訓(xùn)練中，通過(guò)最大化地學(xué)習(xí)模型里2 個(gè)通道中會(huì)話表示之間的互信息，并將其作為改進(jìn)推薦的輔助任務(wù)來(lái)進(jìn)一步提升模型整體性能；Yang 等[29]設(shè)計(jì)了一個(gè)通用的知識(shí)圖譜對(duì)比學(xué)習(xí)框架，利用來(lái)自知識(shí)圖譜增強(qiáng)過(guò)程的額外監(jiān)督信號(hào)來(lái)指導(dǎo)跨視圖對(duì)比學(xué)習(xí)，在梯度下降中為無(wú)偏的用戶–商品交互分配更大的權(quán)重，并進(jìn)一步抑制噪聲，在具有稀疏性用戶–商品交互、長(zhǎng)尾和嘈雜的知識(shí)圖譜實(shí)體的推薦場(chǎng)景中取得了較好的推薦性能。

2 CLSR-GNN 模型

2.1 符號(hào)定義

會(huì)話推薦是要預(yù)測(cè)下一項(xiàng)要點(diǎn)擊的物品，無(wú)需訪問(wèn)用戶的長(zhǎng)期歷史數(shù)據(jù)。假設(shè)有n個(gè)匿名會(huì)話序列，所有會(huì)話序列涉及的物品數(shù)有m個(gè)，它們組成的集合分別為S=(vs,1,vs,2,···,vs,n)和V={v1,v2,···vm}。其中，Si∈V表示在會(huì)話S中用戶點(diǎn)擊的某一項(xiàng)。會(huì)話推薦任務(wù)是預(yù)測(cè)給定的會(huì)話S中用戶在下一時(shí)刻要點(diǎn)擊的所有物品的概率分布，取前k項(xiàng)形成排名列表進(jìn)行top-k推薦。

2.2 模型總體框架

CLSR-GNN 模型的整體框架如圖1 所示。模型主要由3 部分組成：1)特征提取部分。會(huì)話數(shù)據(jù)注入模型中，全部構(gòu)建為會(huì)話圖，然后利用圖神經(jīng)網(wǎng)絡(luò)組件捕捉會(huì)話圖中的物品轉(zhuǎn)換關(guān)系的高階結(jié)構(gòu)信息，生成物品局部特征嵌入。2)去噪優(yōu)化部分。為更好地刻畫(huà)用戶興趣表征，對(duì)得到的物品嵌入先通過(guò)軟注意力機(jī)制獲取不同物品的注意力權(quán)重向量，然后對(duì)權(quán)重矩陣設(shè)置相應(yīng)去噪函數(shù)，過(guò)濾掉權(quán)重低于特定閾值的項(xiàng)目，越過(guò)與用戶主要目的不相關(guān)的項(xiàng)目，形成去噪增強(qiáng)的全局特征嵌入表示。采用對(duì)比學(xué)習(xí)框架對(duì)去噪增強(qiáng)的全局特征嵌入和原會(huì)話全局嵌入構(gòu)建優(yōu)化策略，進(jìn)而輔助模型去噪，形成更加準(zhǔn)確的會(huì)話級(jí)全局特征表示。3)模型預(yù)測(cè)。結(jié)合門控機(jī)制來(lái)自適應(yīng)地融合局部和全局嵌入表示獲得最終會(huì)話表示，進(jìn)行推薦預(yù)測(cè)。

圖1 CLSR-GNN 模型整體框架

2.3 圖上學(xué)習(xí)項(xiàng)目隱含向量

2.3.1 會(huì)話圖構(gòu)建

首先，將每個(gè)會(huì)話序列構(gòu)建為有向圖Gs，公式為

式中：Gs為所有會(huì)話序列有向圖的集合，Vs為圖中節(jié)點(diǎn)集合，Es為邊的集合。Vi,s為會(huì)話S中的第i個(gè)節(jié)點(diǎn)（物品），(Vi-1,s,Vi,s)∈Es在圖上顯示為Vi-1,s指向Vi,s的有向邊，(Vi-1,s,Vi,s)對(duì)應(yīng)邊的值為1，兩物品之間無(wú)交互記為0。因此，每個(gè)會(huì)話中物品轉(zhuǎn)移關(guān)系可以用2 個(gè)矩陣來(lái)存儲(chǔ)，分別是MIn、MOut共2 個(gè)加權(quán)矩陣，來(lái)詮釋圖中項(xiàng)目的轉(zhuǎn)移順序。此外，為防止序列中重復(fù)行為的影響，需對(duì)每條邊作歸一化加權(quán)處理，這里的加權(quán)操作由該邊出現(xiàn)次數(shù)除以該邊起始節(jié)點(diǎn)的出度數(shù)計(jì)算獲得，結(jié)果如圖2 所示。

圖2 會(huì)話圖和鄰接矩陣示例

2.3.2 圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

本文利用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)項(xiàng)目的表征。為更加結(jié)構(gòu)化地利用交互數(shù)據(jù)，GNN 經(jīng)過(guò)逐次迭代鄰居節(jié)點(diǎn)信息和消息傳播機(jī)制，進(jìn)行動(dòng)態(tài)融合用戶核心興趣。會(huì)話序列推薦模型采用均值方式歸一化求和鄰接矩陣進(jìn)行信息聚合，每個(gè)節(jié)點(diǎn)根據(jù)鄰節(jié)點(diǎn)的信息進(jìn)行更新[22]，公式為

式中：，∈均為可訓(xùn)練的參數(shù)矩陣，bIn，bOut∈Rd是偏差向量，MtIn，MtOut∈分別指節(jié)點(diǎn)vi,s對(duì)應(yīng)的出度和入度鄰接關(guān)系矩陣，[v1,v2,···,vn]為t-1時(shí)刻會(huì)話中所有物品的節(jié)點(diǎn)嵌入向量。提取節(jié)點(diǎn)的鄰域信息，然后將它們和上一時(shí)刻的狀態(tài)輸入到圖神經(jīng)網(wǎng)絡(luò)中，最后GNN層的輸出計(jì)算如下：

2.4 注意力機(jī)制

2.4.1 注意力權(quán)重計(jì)算

將得到的局部節(jié)點(diǎn)表示輸入到軟注意力機(jī)制中用來(lái)捕獲全局會(huì)話偏好表示，注意力權(quán)重計(jì)算公式為

式中參數(shù)q∈Rd和W1，W2∈Rd×d控制項(xiàng)目嵌入向量的參數(shù)矩陣。

最后將獲得的和vi∈V對(duì)hi進(jìn)行刻畫(huà)，計(jì)算vi對(duì)應(yīng)的概率，結(jié)合softmax 得到，具體公式為

選取會(huì)話推薦中廣泛使用的交叉熵?fù)p失函數(shù)作為模型的訓(xùn)練函數(shù)：

2.4.2 噪聲濾除器

一般情況下，采用注意力機(jī)制對(duì)無(wú)關(guān)項(xiàng)目分配小的權(quán)重也可以起到去除噪聲作用。但是，通常會(huì)假設(shè)將最后一項(xiàng)作為用戶當(dāng)前意圖的線索，最后一項(xiàng)會(huì)被用來(lái)計(jì)算其他項(xiàng)的重要性。這種做法就可能產(chǎn)生2 個(gè)問(wèn)題：1)用于計(jì)算其他項(xiàng)目注意權(quán)重的所選項(xiàng)目（即最后1 個(gè)項(xiàng)目）也可能是嘈雜的點(diǎn)擊；2)小權(quán)重的嘈雜點(diǎn)擊仍然會(huì)積累大量的噪聲，阻礙用戶有效的意圖學(xué)習(xí)。為有效緩解噪聲帶來(lái)的干擾作用，本模型設(shè)置噪聲濾除函數(shù)來(lái)顯示去除掉無(wú)用的特征增強(qiáng)模型魯棒性，噪聲濾除函數(shù)具體表達(dá)式為

式中λ是控制去噪程度的參數(shù)，通過(guò)λ與平均注意力權(quán)重的乘積計(jì)算得出閾值大小。留下超出閾值的權(quán)重值，低于閾值的權(quán)重置為0。該做法可以顯式地過(guò)濾掉有噪聲的點(diǎn)擊，并學(xué)習(xí)當(dāng)前會(huì)話的精確嵌入，以增強(qiáng)會(huì)話意圖學(xué)習(xí)。

此時(shí)去噪增強(qiáng)后的全局會(huì)話嵌入表示計(jì)算如下：

2.5 聯(lián)合對(duì)比學(xué)習(xí)優(yōu)化策略

本模型從獲取全局會(huì)話級(jí)表示角度出發(fā)，采用對(duì)比學(xué)習(xí)框架對(duì)去噪增強(qiáng)的全局特征嵌入和原會(huì)話全局嵌入構(gòu)建優(yōu)化策略，進(jìn)而輔助模型去噪，形成更加準(zhǔn)確的興趣表征。前后思路各異，但均以獲得全局特征表示為目的，它們的區(qū)別在于有無(wú)去噪學(xué)習(xí)處理，即它可以雙向促進(jìn)更好的監(jiān)督對(duì)方，相輔相成更好的表示數(shù)據(jù)。本模型對(duì)比學(xué)習(xí)的損失函數(shù)為

式中：Sglong和S′glong表示模型無(wú)去噪處理和有去噪處理學(xué)習(xí)到的2 種全局會(huì)話序列表示；是負(fù)樣本，對(duì)Sglong進(jìn)行操作獲??；fD有辨識(shí)功能，它以2 個(gè)向量作為輸入，評(píng)估相似性。具體來(lái)說(shuō)，2 個(gè)向量之間的點(diǎn)積被記為fD函數(shù)，σ是sigmoid 激活函數(shù)。雙方可以進(jìn)行最大限度的信息利用，促進(jìn)同一全局嵌入表示不同處理方式的一致性，將不同點(diǎn)盡可能放大便于發(fā)現(xiàn)。最后推薦部分和對(duì)比學(xué)習(xí)共同產(chǎn)生效果：

式中δ代表對(duì)比損失的權(quán)重。

通過(guò)以上操作能夠結(jié)合序列中的各種信息，同時(shí)考慮到噪聲干擾，推薦性能有效提高。

不同的用戶可能有不同的行為習(xí)慣。例如，一些用戶可能會(huì)頻繁地瀏覽項(xiàng)目頁(yè)面并任意地單擊各種項(xiàng)目，經(jīng)過(guò)長(zhǎng)時(shí)間反復(fù)比較查看測(cè)評(píng)才會(huì)決定下單。而另一種用戶可能會(huì)只單擊他們想要購(gòu)買的項(xiàng)目，較短時(shí)間內(nèi)做出決策。不言而喻，在這些情況下，全局會(huì)話嵌入和局部會(huì)話嵌入對(duì)下一個(gè)項(xiàng)目預(yù)測(cè)的貢獻(xiàn)是不同的。所以，定義了以下門控機(jī)制來(lái)計(jì)算最終的用戶偏好表示：

式中：[ ； ]表示拼接操作，σ為sigmoid 激活函數(shù)，Wg∈R1×2d為模型的可訓(xùn)練參數(shù)。最后，通過(guò)對(duì)Sglabol和Slocal的加權(quán)求和得到當(dāng)前會(huì)話的用戶偏好表示：

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本模型旨在根據(jù)用戶匿名會(huì)話序列預(yù)測(cè)用戶的近期行為，為驗(yàn)證模型的準(zhǔn)確性和優(yōu)越性，在公開(kāi)的Diginetica 和Tmall[30]2 個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。其中，Diginetica 數(shù)據(jù)集來(lái)自CIKM Cup 2016 挑戰(zhàn)賽，是從搜索引擎日志中提取的電商交易型用戶會(huì)話數(shù)據(jù)，包括600 684 個(gè)用戶對(duì)184 047 件商品共計(jì)993 483 次用戶點(diǎn)擊記錄，每條數(shù)據(jù)包含會(huì)話ID、項(xiàng)目ID、項(xiàng)目類別、時(shí)間戳等信息；Tmall 數(shù)據(jù)集源于IJCAI-15 競(jìng)賽，是中國(guó)最大在線購(gòu)物平臺(tái)（天貓）記錄的用戶行為日志，大約有963 923 個(gè)戶對(duì)235 320 7 個(gè)商品的44 528 127次交互記錄，有時(shí)間戳、商品類別信息等。上述2 個(gè)數(shù)據(jù)集均是電商場(chǎng)景下的數(shù)據(jù)集，在規(guī)模大小和稀疏性方面各不相同。為方便起見(jiàn)，在實(shí)驗(yàn)過(guò)程中，參照文獻(xiàn)[30-31]對(duì)3 個(gè)數(shù)據(jù)集進(jìn)行如下預(yù)處理，過(guò)濾出現(xiàn)次數(shù)少于5 次的項(xiàng)目對(duì)應(yīng)的數(shù)據(jù)，移除少于2 個(gè)項(xiàng)目的所有會(huì)話數(shù)據(jù)。此外，將最后一周的會(huì)話數(shù)據(jù)設(shè)置為測(cè)試數(shù)據(jù)，剩下的反復(fù)實(shí)驗(yàn)可以用到。最后如表1 所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)信息

3.2 評(píng)估指標(biāo)

為評(píng)估提出模型的推薦性能，本文采用Precision@k和MRR@k共2 種推薦系統(tǒng)常用的top-k評(píng)價(jià)指標(biāo)來(lái)對(duì)模型準(zhǔn)確性進(jìn)行測(cè)試。Precision@k表示準(zhǔn)確率，用于衡量推薦預(yù)測(cè)的準(zhǔn)確性；MRR@k表示平均倒數(shù)排名，推薦列表中正確物品倒數(shù)等級(jí)的平均值。

3.3 基準(zhǔn)模型及實(shí)驗(yàn)設(shè)置

為了證明提出的 CLSR-GNN 算法的有效性，本文從多個(gè)角度對(duì)所提模型分析實(shí)驗(yàn)：

1)基準(zhǔn)模型

為了評(píng)估該模型性能，實(shí)驗(yàn)選取以下模型作為對(duì)比模型：

Pop[32]：僅利用基于重復(fù)出現(xiàn)的項(xiàng)目進(jìn)行推薦。

IitemKNN[33]：考慮項(xiàng)目向量之間的余弦相似度捕捉用戶興趣。

FPMC[34]：經(jīng)典的基于一階馬爾科夫鏈和矩陣分解的傳統(tǒng)推薦算法。

GRU4Rec[35]：使用GRU 對(duì)會(huì)話序列進(jìn)行建模，并將用戶興趣編碼為最終狀態(tài)。

Caser[36]：采用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)序列特征，為學(xué)習(xí)序列模式提供了一個(gè)靈活的網(wǎng)絡(luò)結(jié)構(gòu)。

SR-GNN[11]：在會(huì)話推薦中首次使用圖神經(jīng)網(wǎng)絡(luò)會(huì)話序列的經(jīng)典模型。

LSKGCN[37]：考慮到長(zhǎng)短興趣來(lái)對(duì)用戶意圖建模。

S2-DHCN[28]：將數(shù)據(jù)建模為超圖獲取高階項(xiàng)目特征并結(jié)合圖卷積網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

2)超參數(shù)設(shè)置

實(shí)驗(yàn)設(shè)定隱藏向量維度為100，訓(xùn)練批次大小設(shè)定為100，初始學(xué)習(xí)率為0.001 且每訓(xùn)練迭代3 次學(xué)習(xí)率衰減10%，正則化系數(shù) L2=10-5，在實(shí)驗(yàn)中，按照 8∶1∶1 的比例在用戶維度上隨機(jī)劃分?jǐn)?shù)據(jù)集來(lái)構(gòu)建訓(xùn)練集、驗(yàn)證集和測(cè)試集，對(duì)所有參數(shù)采用均值為0、標(biāo)準(zhǔn)差為0.1 的高斯分布進(jìn)行初始化，使用Adam 算法優(yōu)化模型參數(shù)，訓(xùn)練迭代輪數(shù)(epochs)設(shè)定為500，并且當(dāng)驗(yàn)證集上的評(píng)測(cè)指標(biāo)在 10 輪內(nèi)沒(méi)有變化時(shí)提前結(jié)束訓(xùn)練。

3.4 實(shí)驗(yàn)結(jié)果及分析

3.4.1 基準(zhǔn)模型比較

在會(huì)話推薦任務(wù)中，設(shè)置不同的推薦個(gè)數(shù)會(huì)直接影響測(cè)評(píng)的結(jié)果。為了將所提模型和基準(zhǔn)模型進(jìn)行更加準(zhǔn)確的比較，將推薦個(gè)數(shù)k的范圍設(shè)置為20 進(jìn)行測(cè)試。將提出的模型和基準(zhǔn)模型在Diginetica 數(shù)據(jù)集和Tmall 數(shù)據(jù)集上的Precision@20、MRR@20 的實(shí)驗(yàn)結(jié)果分別如表2 所示，其中基線模型中最優(yōu)結(jié)果已用下劃線標(biāo)出。

表2 CLSR-GNN 和基準(zhǔn)模型在2 個(gè)數(shù)據(jù)集上的性能比較

從表2 中可以直觀地看出在不同的數(shù)據(jù)集上：1) CLSR-GNN 模型和SRGNN 以及S2-DHCN模型明顯優(yōu)于設(shè)置的傳統(tǒng)的會(huì)話推薦模型，原因是這些模型考慮到了會(huì)話數(shù)據(jù)中蘊(yùn)含的順序信息，同時(shí)結(jié)合了用戶的長(zhǎng)短期興趣，捕捉用戶興趣的動(dòng)態(tài)變化性，進(jìn)而達(dá)到了高效的推薦性能。該結(jié)果還可以表明利用圖神經(jīng)網(wǎng)絡(luò)增強(qiáng)的會(huì)話偏好編碼器表現(xiàn)出不凡的效果，能夠從會(huì)話序列中學(xué)習(xí)更為精確的會(huì)話表示。2) 縱觀表2 中所有數(shù)據(jù)，基于深度學(xué)習(xí)的模型雖然都表現(xiàn)出了一定的效果，但是引入自監(jiān)督對(duì)比學(xué)習(xí)技術(shù)的CLSRGNN 模型和S2-DHCN 模型表現(xiàn)略勝一籌。這是因?yàn)? 個(gè)模型都考慮到了噪聲問(wèn)題，并且都經(jīng)過(guò)對(duì)比學(xué)習(xí)輔助任務(wù)的引入探索了會(huì)話中內(nèi)在的序列依賴性，通過(guò)提供的自監(jiān)督目標(biāo)任務(wù)來(lái)發(fā)現(xiàn)額外的語(yǔ)義信息，使得學(xué)習(xí)到的會(huì)話表征更清晰，進(jìn)而使得模型表現(xiàn)出更加優(yōu)秀的性能。3) 同樣使用圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的SRGNN 提取會(huì)話級(jí)表示的能力沒(méi)有聯(lián)合對(duì)比學(xué)習(xí)去噪優(yōu)化的CLSR-GNN 強(qiáng)。這進(jìn)一步證實(shí)CLSR-GNN 中過(guò)濾掉用戶無(wú)關(guān)行為數(shù)據(jù)的重要性，基于對(duì)比學(xué)習(xí)的輔助任務(wù)和目標(biāo)監(jiān)督任務(wù)構(gòu)成了一種相互補(bǔ)充的模式機(jī)制，通過(guò)學(xué)習(xí)適用于基于會(huì)話的推薦的魯棒表示，可以解決隱式反饋和弱監(jiān)督問(wèn)題原則上表征固有的數(shù)據(jù)相關(guān)性問(wèn)題。

3.4.2 模型穩(wěn)定性分析

為保證模型穩(wěn)定性和實(shí)驗(yàn)結(jié)果的可靠性，本小節(jié)將推薦數(shù)量k的范圍設(shè)置為10~100，間隔設(shè)置為 10，總共分為10 組實(shí)驗(yàn)。在Diginetica 數(shù)據(jù)集上運(yùn)行的Precision@20 和MRR@20 指標(biāo)結(jié)果值如圖3 所示。

圖3 模型穩(wěn)定性分析

然后通過(guò)運(yùn)行得到的結(jié)果計(jì)算出每組實(shí)驗(yàn)對(duì)應(yīng)的Precision@20、MRR@20 共2 種評(píng)價(jià)指標(biāo)的方差值，為更好地觀測(cè)方差的變化情況將數(shù)據(jù)繪制成如圖4 的折線圖來(lái)呈現(xiàn)變化情況。從圖4 中可以看出隨著實(shí)驗(yàn)組數(shù)的逐漸增加，方差值在局部位置有起伏，但是基本上保持平穩(wěn)，其中Precision@20的方差大致穩(wěn)定在0.007 附近上下波動(dòng)，MRR@20在0.002 上下波動(dòng)。

圖4 方差波動(dòng)情況

3.4.3 向量嵌入維度對(duì)模型影響

為了研究向量嵌入維數(shù)d對(duì)模型推薦性能的影響。將向量嵌入維數(shù)的范圍設(shè)置為[32,64,96,128]，分別在Diginetica 和Tmall 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并使用Precision@20 值和MRR@20 值對(duì)不同向量嵌入維數(shù)的模型效果進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)中其他參數(shù)值保持原默認(rèn)值。

如圖5 所示，隨著向量嵌入維數(shù)的增加，2 個(gè)數(shù)據(jù)集上準(zhǔn)確率和平均到排名數(shù)都呈上升趨勢(shì)，但是可以觀察到的嵌入維度取d=64 時(shí)模型的推薦性能優(yōu)秀，具有較強(qiáng)的表示能力。

圖5 向量嵌入維度對(duì)模型影響

3.4.4 對(duì)比學(xué)習(xí)參數(shù)影響

對(duì)比學(xué)習(xí)可以自動(dòng)提取與目標(biāo)項(xiàng)目相關(guān)的項(xiàng)，通過(guò)訓(xùn)練獲取一個(gè)有效的去噪模型來(lái)增強(qiáng)模型對(duì)用戶興趣的理解。在所提方法中，利用超參數(shù)δ來(lái)控制對(duì)比學(xué)習(xí)的程度。為了研究對(duì)比學(xué)習(xí)對(duì)CLSR-GNN 整體性能的影響。將超參數(shù)δ的范圍設(shè)置為{0.000 1， 0.000 5， 0.001， 0.002， 0.005，0.01，0.02}，分別在Diginetica 和Tmall 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并使用Precision@20 與MRR@20 對(duì)不同幅度對(duì)比學(xué)習(xí)下模型的性能進(jìn)行評(píng)估，且實(shí)驗(yàn)中其他參數(shù)取默認(rèn)值保持不變。當(dāng)與對(duì)比學(xué)習(xí)任務(wù)聯(lián)合優(yōu)化時(shí)，CLSR-GNN 推薦性能得到了不錯(cuò)的提高，不同參數(shù)δ值對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果如圖6 所示。從圖6 可以看出，對(duì)于這2 個(gè)數(shù)據(jù)集，使用較小的δ值進(jìn)行學(xué)習(xí)可以同時(shí)促進(jìn)Precision@20 和MRR@20，但隨著δ逐漸變大時(shí)，性能就會(huì)下降。這可能是因?yàn)檩^大的δ造成模型過(guò)度學(xué)習(xí)，有用信息可能被去除，形成不太準(zhǔn)確的引導(dǎo)，使模型表現(xiàn)不佳。

圖6 對(duì)比學(xué)習(xí)參數(shù) δ對(duì)模型影響

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種融合對(duì)比學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型來(lái)解決基于會(huì)話的推薦中的2 個(gè)挑戰(zhàn)，即用戶意圖的動(dòng)態(tài)變化和用戶行為的不確定性。不同于在之前的研究，CLSR-GNN 模型設(shè)計(jì)一種噪聲濾除器顯示地過(guò)濾掉會(huì)話中的噪聲項(xiàng)目。結(jié)合對(duì)比學(xué)習(xí)策略進(jìn)行聯(lián)合優(yōu)化去噪，在2 個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行的設(shè)置對(duì)比實(shí)驗(yàn)，證明了CLSR-GNN 模型的有效性。直接過(guò)濾掉會(huì)話中的噪聲項(xiàng)有助于挖掘用戶的真實(shí)意圖。以上這些研究拓寬了對(duì)基于會(huì)話的推薦任務(wù)的理解，并賦予了推薦系統(tǒng)準(zhǔn)確預(yù)測(cè)用戶行為的新的潛力。下一步將研究如何賦予模型多尺度特征功能和輕量化模型結(jié)構(gòu)，以實(shí)現(xiàn)更加快速且精確的推薦模型設(shè)計(jì)。