黨偉超，吳非凡，高改梅，劉春霞，白尚旺

(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024)

0 引 言

互聯(lián)網(wǎng)技術(shù)的發(fā)展給人類生活帶來(lái)了極大的便利，同時(shí)也讓數(shù)字信息以指數(shù)級(jí)的規(guī)模增長(zhǎng)。用戶在獲取其感興趣的內(nèi)容時(shí)遇到了阻礙。為解決大數(shù)據(jù)帶來(lái)的信息過(guò)載問(wèn)題，推薦系統(tǒng)應(yīng)運(yùn)而生。推薦系統(tǒng)在許多應(yīng)用場(chǎng)景(例如電子商務(wù)、音樂(lè)和新聞)中可以幫助用戶做出高效的選擇[1]。傳統(tǒng)的推薦系統(tǒng)大多是基于用戶的配置文件、長(zhǎng)期的交互歷史完成推薦。但在許多場(chǎng)景下，用戶的身份可能是未知的，歷史交互信息只表示了用戶的一般偏好，并且用戶的短期偏好會(huì)隨時(shí)間推移產(chǎn)生變化[2]，而基于會(huì)話的推薦系統(tǒng)可以通過(guò)會(huì)話序列數(shù)據(jù)，捕獲短期且動(dòng)態(tài)的用戶偏好，有效地解決上述問(wèn)題?！皶?huì)話”是指在一定時(shí)間內(nèi)用戶瀏覽網(wǎng)站發(fā)生的一系列交互行為[3]。會(huì)話數(shù)據(jù)所涉及的時(shí)間段往往較短，在一定程度上反映了用戶短期的、動(dòng)態(tài)的興趣偏好。會(huì)話推薦系統(tǒng)是根據(jù)匿名用戶會(huì)話序列中的先前行為來(lái)預(yù)測(cè)他的未來(lái)行為，如下一次點(diǎn)擊[4]。以往的會(huì)話推薦大多是基于當(dāng)前會(huì)話內(nèi)有限的序列信息，例如用戶的歷史行為和基本信息。但除此之外，推薦系統(tǒng)還可以結(jié)合其它的輔助信息來(lái)優(yōu)化預(yù)測(cè)結(jié)果，例如結(jié)合相似用戶的偏好信息，可以提供更精確的推薦；結(jié)合當(dāng)前用戶上下文信息，可以幫助推薦系統(tǒng)更好地理解用戶需求?？傊胼o助信息，推薦系統(tǒng)可以準(zhǔn)確分析用戶的內(nèi)在需求，提供更具相關(guān)性內(nèi)容的推薦。然而，如何有效地整合和分析這些輔助信息，仍然是會(huì)話推薦中的一個(gè)挑戰(zhàn)。

近年來(lái)，基于圖神經(jīng)網(wǎng)絡(luò)(graph neural network，GNN)的方法因其具有探索結(jié)構(gòu)信息的特點(diǎn)，成為了推薦系統(tǒng)中較受歡迎的方法。但許多方法僅關(guān)注當(dāng)前會(huì)話中的項(xiàng)目轉(zhuǎn)換信息，并未考慮鄰域會(huì)話包含的協(xié)作信息。單個(gè)會(huì)話構(gòu)建的會(huì)話圖包含的節(jié)點(diǎn)和邊較少，在建模不同會(huì)話間的項(xiàng)目轉(zhuǎn)換方面存在缺陷。引入鄰域會(huì)話可以輔助預(yù)測(cè)用戶的未來(lái)行為，提高推薦精度。另外，不同的目標(biāo)項(xiàng)與會(huì)話內(nèi)的項(xiàng)目有不同的相關(guān)性。在預(yù)測(cè)特定的目標(biāo)項(xiàng)目時(shí)，不需要將用戶的所有興趣嵌入到一個(gè)向量中，而是要有針對(duì)性地激活用戶的真實(shí)興趣，從而提高推薦的準(zhǔn)確率。因此，本文提出基于局部-鄰域圖信息與注意力機(jī)制的會(huì)話推薦模型，稱為SR-LNG-AM(session recommendation based on local-neighborhood graph information and attention mecha-nism)，主要貢獻(xiàn)如下：

(1)模型從當(dāng)前會(huì)話和鄰域會(huì)話兩個(gè)角度構(gòu)建會(huì)話圖，使用簡(jiǎn)化圖卷積神經(jīng)網(wǎng)絡(luò)(simple graph convolutional network，SGCN)學(xué)習(xí)項(xiàng)目轉(zhuǎn)換特征，并融合兩種類型的項(xiàng)目嵌入，得到最終的項(xiàng)目表示。

(2)使用軟注意力機(jī)制為會(huì)話序列中的項(xiàng)目賦予不同的權(quán)重，聚焦更為關(guān)鍵的信息；同時(shí)使用目標(biāo)感知注意力，對(duì)用戶興趣和目標(biāo)的建模，根據(jù)用戶的目標(biāo)調(diào)整推薦策略，優(yōu)化會(huì)話表示，提供更加滿足用戶需求的推薦結(jié)果。

1 相關(guān)工作

1.1 傳統(tǒng)的會(huì)話推薦方法

在會(huì)話推薦中，傳統(tǒng)的方法有基于項(xiàng)目的鄰域方法[5]和基于馬爾可夫鏈的序列方法[6]?；陧?xiàng)目的鄰域方法根據(jù)項(xiàng)目的相似性矩陣來(lái)完成推薦，該方法忽略了項(xiàng)目的順序且僅依據(jù)最后的點(diǎn)擊項(xiàng)。基于馬爾可夫鏈(Markov chains，MC)的方法強(qiáng)調(diào)了相鄰項(xiàng)目序列之間的連續(xù)性[7]，利用用戶的上一操作預(yù)測(cè)其下一操作，但無(wú)法捕捉長(zhǎng)期偏好。Zhan等[8]提出序列感知因子化混合相似性模型S-FMSM，對(duì)一般表示和順序表示建模，并利用兩個(gè)連續(xù)項(xiàng)目間的一般相似性優(yōu)化順序表示學(xué)習(xí)。

1.2 基于深度學(xué)習(xí)的會(huì)話推薦方法

深度學(xué)習(xí)技術(shù)擁有強(qiáng)大的序列數(shù)據(jù)建模能力，推薦系統(tǒng)因此迎來(lái)了深度學(xué)習(xí)浪潮[9]。例如基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的方法在推薦系統(tǒng)取得了不錯(cuò)的效果。Hidasi等[10]提出了基于RNN的模型GRU4Rec，使用門控循環(huán)單元對(duì)短期偏好進(jìn)行建模。Li等[11]提出NARM模型，使用RNN結(jié)合注意力網(wǎng)絡(luò)來(lái)捕獲用戶的長(zhǎng)短期偏好，為其賦予不同權(quán)重。Liu等[12]提出了一種短期記憶優(yōu)先的模型STAMP，將一般興趣和當(dāng)前興趣結(jié)合建模，用最后一次點(diǎn)擊反映當(dāng)前興趣，強(qiáng)調(diào)了最后一次點(diǎn)擊的重要性。但上述RNN模型僅能捕獲連續(xù)項(xiàng)目之間的單向轉(zhuǎn)換，忽略了同一會(huì)話中跨項(xiàng)目之間的上下文信息。Wang等[13]提出基于協(xié)作信息的推薦模型CSRM，使用上下文感知會(huì)話圖提取跨會(huì)話信息。

近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用到會(huì)話推薦領(lǐng)域。圖神經(jīng)網(wǎng)絡(luò)可以對(duì)項(xiàng)目間的復(fù)雜轉(zhuǎn)換關(guān)系建模，在探索結(jié)構(gòu)化信息方面有很大的優(yōu)勢(shì)。Wu等[14]提出SR-GNN模型，將會(huì)話序列建模為圖結(jié)構(gòu)化的數(shù)據(jù)，采用門控圖神經(jīng)網(wǎng)絡(luò)(gated graph neural network，GGNN)捕獲節(jié)點(diǎn)間的復(fù)雜依賴信息，并結(jié)合注意力機(jī)制區(qū)分用戶短期偏好和長(zhǎng)期偏好。Xu等[15]提出GC-SAN模型，將自注意力機(jī)制結(jié)合GGNN捕獲相鄰項(xiàng)間的局部轉(zhuǎn)換信息和全局依賴關(guān)系。Yu等[16]提出TAGNN模型，在SR-GNN的基礎(chǔ)上結(jié)合目標(biāo)感知注意力，將目標(biāo)項(xiàng)的特征集成到會(huì)話表示。Yang等[17]提出需求感知的圖神經(jīng)網(wǎng)絡(luò)，使用全局需求矩陣結(jié)合圖神經(jīng)網(wǎng)絡(luò)，捕捉商品之間的關(guān)系和用戶的需求，提高了推薦的準(zhǔn)確性。Li等[18]提出因子級(jí)的項(xiàng)目嵌入，使用注意力機(jī)制來(lái)捕獲用戶對(duì)不同因素的偏好，探索用戶更細(xì)粒度的興趣。

2 模型結(jié)構(gòu)

為了充分利用會(huì)話上下文信息來(lái)生成準(zhǔn)確的興趣向量，模型將鄰域會(huì)話作輔助信息，優(yōu)化項(xiàng)目表示。即在當(dāng)前會(huì)話類型的基礎(chǔ)上，引入了鄰域類型的會(huì)話。另外，在會(huì)話表示層，使用注意力機(jī)制優(yōu)化會(huì)話表示的過(guò)程，從而預(yù)測(cè)用戶行為。模型的架構(gòu)如圖1所示，主要包括4個(gè)部分：

圖1 SR-LNG-AM的模型結(jié)構(gòu)

(1)圖神經(jīng)網(wǎng)絡(luò)，模型使用簡(jiǎn)化圖卷積網(wǎng)絡(luò)(simple graph convolution network，SGCN)分別從當(dāng)前會(huì)話和鄰域會(huì)話兩個(gè)角度捕獲項(xiàng)目轉(zhuǎn)換信息，得到當(dāng)前會(huì)話和鄰域會(huì)話的項(xiàng)目嵌入。

(2)卷積融合，將兩種類型的項(xiàng)目嵌入融合為最終的項(xiàng)目表示。

(3)注意力機(jī)制，通過(guò)軟注意力機(jī)制生成全局嵌入向量，目標(biāo)注意力機(jī)制生成目標(biāo)嵌入向量。

(4)預(yù)測(cè)，將局部嵌入、全局嵌入及目標(biāo)嵌入線性組合得到會(huì)話嵌入，再與節(jié)點(diǎn)的初始嵌入計(jì)算每個(gè)候選項(xiàng)的概率，預(yù)測(cè)下一個(gè)點(diǎn)擊項(xiàng)。

2.1 問(wèn)題描述

2.2 構(gòu)建會(huì)話圖模塊

會(huì)話圖是由當(dāng)前會(huì)話s和鄰域會(huì)話集Ns構(gòu)建的，其中，Ns是由與當(dāng)前會(huì)話s最相似的r個(gè)先前會(huì)話組成，而相似度是依據(jù)會(huì)話之間重復(fù)項(xiàng)的數(shù)量來(lái)計(jì)算。鄰域會(huì)話的提取如圖2所示，首先計(jì)算先前會(huì)話和當(dāng)前會(huì)話的余弦相似度，相似度大于0.5的會(huì)話滿足相似條件，之后再按照相似度降序排列，對(duì)Top-R個(gè)會(huì)話進(jìn)行采樣以構(gòu)成鄰域會(huì)話集Ns。

圖2 鄰域會(huì)話提取過(guò)程

在完成鄰域會(huì)話的提取后，將當(dāng)前會(huì)話s及其鄰域會(huì)話Ns構(gòu)建為會(huì)話圖Gs，如圖3所示。其中每個(gè)節(jié)點(diǎn)表示出現(xiàn)在會(huì)話s中或鄰域會(huì)話集Ns中的項(xiàng)目。每條邊 (vi，vj) 表示在會(huì)話s或Ns中的任何鄰域會(huì)話中，用戶點(diǎn)擊項(xiàng)目vi之后又點(diǎn)擊了項(xiàng)目vj。另外，Vs表示當(dāng)前會(huì)話s中所包含的項(xiàng)目集，VNs表示鄰域會(huì)話集Ns中包含的項(xiàng)目集。

圖3 構(gòu)建會(huì)話圖

2.3 項(xiàng)目嵌入模塊

圖神經(jīng)網(wǎng)絡(luò)在處理結(jié)構(gòu)數(shù)據(jù)和探索結(jié)構(gòu)信息時(shí)有很大的優(yōu)勢(shì)。它采用嵌入傳播來(lái)迭代聚合鄰域信息，依據(jù)圖神經(jīng)網(wǎng)絡(luò)的消息傳遞結(jié)構(gòu)可以將項(xiàng)目轉(zhuǎn)換信號(hào)編碼到項(xiàng)目嵌入[9]。在圖結(jié)構(gòu)中，每個(gè)節(jié)點(diǎn)聚合其相鄰項(xiàng)節(jié)點(diǎn)傳遞的消息。

構(gòu)建的會(huì)話圖是由當(dāng)前會(huì)話s和鄰域會(huì)話Ns的項(xiàng)目節(jié)點(diǎn)構(gòu)建的，它們分別反映了用戶的當(dāng)前行為和全局協(xié)作信息，會(huì)對(duì)推薦結(jié)果產(chǎn)生不同的影響。因此，提取這兩種類型的相鄰項(xiàng)節(jié)點(diǎn)信息時(shí)應(yīng)分開(kāi)考慮。對(duì)于當(dāng)前會(huì)話類型，僅聚合來(lái)自Vs中的相鄰項(xiàng)節(jié)點(diǎn)的消息；對(duì)于鄰域會(huì)話類型，僅聚合來(lái)自VNs中的相鄰項(xiàng)節(jié)點(diǎn)的消息。當(dāng)前會(huì)話和鄰域會(huì)話都使用簡(jiǎn)化圖卷積網(wǎng)絡(luò)(SGCN)捕獲會(huì)話圖上的項(xiàng)目嵌入。SGCN在GCN的基礎(chǔ)上消除了非線性，并折疊權(quán)重矩陣，只有相鄰的嵌入傳播到下一層，項(xiàng)目嵌入的更新過(guò)程如下

(1)

(2)

(3)

(4)

其中，Mi∈R2×d兩種項(xiàng)目嵌入的串聯(lián)，ck∈R1×d是濾波器的卷積結(jié)果。

2.4 目標(biāo)嵌入模塊

目標(biāo)嵌入的構(gòu)造是為了綜合考慮與目標(biāo)項(xiàng)目相關(guān)的歷史行為信息，并將其用于預(yù)測(cè)候選項(xiàng)。其中，目標(biāo)項(xiàng)也指所預(yù)測(cè)的候選項(xiàng)。對(duì)于目標(biāo)項(xiàng)而言，用戶在會(huì)話內(nèi)的點(diǎn)擊序列通常只符合其興趣的一部分，需要有針對(duì)性地激活與目標(biāo)項(xiàng)相關(guān)的用戶興趣。因此，目標(biāo)注意力機(jī)制考慮了每個(gè)項(xiàng)目相對(duì)于目標(biāo)項(xiàng)目的重要性，而不是僅計(jì)算它們的注意力權(quán)重。目標(biāo)嵌入可以更準(zhǔn)確地捕捉到每個(gè)項(xiàng)目與目標(biāo)項(xiàng)目之間的關(guān)聯(lián)程度，使得推薦系統(tǒng)可以更有針對(duì)性地關(guān)注相關(guān)的項(xiàng)目。目標(biāo)注意力的公式為

(5)

式中：Wt∈Rd×d為可訓(xùn)練的參數(shù)，m表示所有會(huì)話中項(xiàng)目集合的大小，vt為目標(biāo)項(xiàng)目。

最后，對(duì)于每個(gè)會(huì)話，用戶對(duì)于目標(biāo)項(xiàng)的興趣表示為starget∈Rd×d，目標(biāo)嵌入會(huì)隨著目標(biāo)項(xiàng)的不同而不同，其公式為

(6)

2.5 會(huì)話嵌入模塊

(7)

(8)

其中，W1，W2∈Rd×d，q，b∈Rd×d均為可訓(xùn)練的參數(shù)；σ(·) 表示sigmoid函數(shù)。

最后，對(duì)局部嵌入、全局嵌入和目標(biāo)嵌入串聯(lián)進(jìn)行線性變換，生成的最終的會(huì)話嵌入

s*=W3[starget；slocal；sglobal]

(9)

式中：W3∈Rd×3d為可訓(xùn)練的參數(shù)矩陣。

2.6 預(yù)測(cè)模塊

(10)

(11)

在訓(xùn)練過(guò)程中，采用交叉熵作為損失函數(shù)

(12)

式中：yi表示真實(shí)交互項(xiàng)目的one-hot向量。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集及預(yù)處理

本文的實(shí)驗(yàn)數(shù)據(jù)來(lái)自于推薦系統(tǒng)研究的常用數(shù)據(jù)集：Yoochoose數(shù)據(jù)集、Diginetica數(shù)據(jù)集。這兩個(gè)數(shù)據(jù)集都是實(shí)際電子商務(wù)應(yīng)用場(chǎng)景中收集的真實(shí)數(shù)據(jù)，包含了用戶的點(diǎn)擊和購(gòu)買數(shù)據(jù)。另外Diginetica數(shù)據(jù)集還包含了產(chǎn)品的屬性信息，如類別、描述等。為了公平地進(jìn)行比較，本文按照文獻(xiàn)[15]中數(shù)據(jù)集的預(yù)處理方式。具體來(lái)說(shuō)，對(duì)于所有的數(shù)據(jù)集，過(guò)濾掉缺乏足夠信息的會(huì)話及難以準(zhǔn)確為用戶推薦的項(xiàng)目，即長(zhǎng)度為1的會(huì)話和在整個(gè)數(shù)據(jù)集中僅出現(xiàn)少于5次的項(xiàng)目。另外，刪除了僅在測(cè)試集中與用戶進(jìn)行交互的項(xiàng)目，以確保模型在推薦過(guò)程中具有可靠性和準(zhǔn)確性。表1中訓(xùn)練集會(huì)話數(shù)和測(cè)試集會(huì)話數(shù)的值表示增強(qiáng)后的樣本數(shù)量。由于Yoochoose數(shù)據(jù)量龐大，實(shí)驗(yàn)只使用Yoochoose訓(xùn)練序列中最近的1/64。預(yù)處理后的數(shù)據(jù)集統(tǒng)計(jì)見(jiàn)表1。

表1 預(yù)處理后的數(shù)據(jù)集統(tǒng)計(jì)

3.2 評(píng)價(jià)指標(biāo)

本文采用召回率(Recall)和平均倒數(shù)排名(mean reciprocal ranks，MRR)評(píng)估提出的模型的性能，指標(biāo)的詳細(xì)定義請(qǐng)參見(jiàn)文獻(xiàn)[15]和文獻(xiàn)[20]。Recall@N是正確推薦項(xiàng)占實(shí)際點(diǎn)擊項(xiàng)的分?jǐn)?shù)，MRR@N是衡量正確推薦項(xiàng)在推薦列表中的排名。

3.3 參數(shù)設(shè)置

3.4 相關(guān)方法比較與分析

為了驗(yàn)證本文所提模型SR-LNG-AM的優(yōu)越性，在上述兩個(gè)數(shù)據(jù)集下進(jìn)行實(shí)驗(yàn)，并用以下幾種基線模型進(jìn)行對(duì)比分析：

(1)POP(popularity)：根據(jù)物品在會(huì)話中的頻率進(jìn)行推薦，推薦的物品集中在與用戶交互次數(shù)較多的項(xiàng)目上。

(2)Item-KNN[5](item based K-nearest neighbor)：將兩個(gè)物品在不同會(huì)話中共現(xiàn)的次數(shù)構(gòu)建成項(xiàng)目間的相關(guān)性矩陣，以此度量項(xiàng)目之間的相似度，并使用K最近鄰算法來(lái)為用戶推薦項(xiàng)目。

(3)FPMC[19](factorizing personalized Markov chains)：通過(guò)矩陣分解和馬爾科夫鏈分別學(xué)習(xí)項(xiàng)目轉(zhuǎn)換模式及順序行為，以此預(yù)測(cè)用戶的下一個(gè)行為。

(4)NARM[11]：采用RNN結(jié)合注意力機(jī)制，將順序性和用戶的總體偏好融合，捕獲用戶的主要興趣。

(5)STAMP[12]：對(duì)最后一次點(diǎn)擊所反映的當(dāng)前興趣進(jìn)行建模，將當(dāng)前興趣和一般興趣結(jié)合的同時(shí)突出了當(dāng)前興趣的重要性。

(6)CSRM[13]：將跨會(huì)話信息應(yīng)用到推薦任務(wù)，構(gòu)建了時(shí)序卷積網(wǎng)絡(luò)模型，并通過(guò)會(huì)話相似性來(lái)優(yōu)化會(huì)話表示。

(7)SR-GNN[14]：將會(huì)話信息視為一個(gè)會(huì)話圖，通過(guò)GGNN對(duì)圖中節(jié)點(diǎn)進(jìn)行特征提取，并使用注意力機(jī)制捕獲用戶的長(zhǎng)期興趣。

(8)GC-SAN[15]：把普通的注意力機(jī)制改進(jìn)為自注意力機(jī)制，并通過(guò)自注意力機(jī)制來(lái)考慮項(xiàng)目間的全局依賴關(guān)系。

(9)TAGNN[16]：使用目標(biāo)感知注意力生成目標(biāo)嵌入，并集成到會(huì)話嵌入。

與其它9個(gè)基準(zhǔn)方法相比，本文所提出的模型SR-LNG-AM同樣具有較好的表現(xiàn)。具體實(shí)驗(yàn)結(jié)果見(jiàn)表2，其中，加粗的字體為本文模型的實(shí)驗(yàn)結(jié)果。從表中可以觀察到。

表2 不同模型在公開(kāi)數(shù)據(jù)集下的性能對(duì)比

(1)在所有推薦模型中，POP只根據(jù)項(xiàng)目的頻率來(lái)完成推薦，性能表現(xiàn)最差。Item-KNN考慮了項(xiàng)目之間的相似度，提高了推薦準(zhǔn)確率。FPMC采用矩陣分解和馬爾科夫鏈提升推薦結(jié)果。但傳統(tǒng)的推薦方法忽略了項(xiàng)目的順序性，在捕獲項(xiàng)目轉(zhuǎn)換信息方面存在缺陷。

(2)所有基于神經(jīng)網(wǎng)絡(luò)的推薦方法都優(yōu)于其它傳統(tǒng)的推薦方法。其中，基于注意力機(jī)制NARM和STAMP的性能明顯提高，表明了深度學(xué)習(xí)可以挖掘出用戶的潛在偏好，以及注意力機(jī)制可以聚焦于推薦任務(wù)中更為關(guān)鍵的信息。CSRM雖然考慮了多個(gè)會(huì)話之間的協(xié)作信息，提高了模型性能，但未能準(zhǔn)確模擬出會(huì)話間的復(fù)雜項(xiàng)目轉(zhuǎn)換。SR-GNN和GC-SAN使用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖節(jié)點(diǎn)的特征表示，從而捕獲用戶偏好，取得了不錯(cuò)的效果，體現(xiàn)圖神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取和學(xué)習(xí)能力。TAGNN在SR-GNN基礎(chǔ)上結(jié)合了目標(biāo)感知注意力，優(yōu)化了會(huì)話表示。

(3)本文所提模型在數(shù)據(jù)集的各項(xiàng)指標(biāo)上比其它基準(zhǔn)模型表現(xiàn)更好，驗(yàn)證了引入鄰域會(huì)話可以增加會(huì)話上下文信息，為模型輸入更多特征，輔助預(yù)測(cè)；另外使用目標(biāo)注意力機(jī)制對(duì)目標(biāo)相關(guān)性信息進(jìn)行提取，驗(yàn)證了局部-鄰域圖模型與注意力機(jī)制結(jié)合的有效性，體現(xiàn)了SR-LNG-AM的優(yōu)越性。

3.5 不同注意力機(jī)制比較與分析

SR-LNG-AM在會(huì)話表示層使用注意力機(jī)制優(yōu)化了會(huì)話表示，以下實(shí)驗(yàn)比較了不同注意力機(jī)制下對(duì)會(huì)話嵌入的影響：

(1)普通注意力機(jī)制模型(AM-Soft)：使用軟注意力機(jī)制生成全局嵌入，再融合局部嵌入得到會(huì)話表示。

(2)自注意力機(jī)制模型(AM-Self)：使用自注意力機(jī)制生成全局嵌入，再融合局部嵌入得到會(huì)話表示。

(3)自注意力機(jī)制結(jié)合目標(biāo)注意力機(jī)制(AM-Self-Target)：使用自注意力生成全局嵌入，使用目標(biāo)注意力生成目標(biāo)嵌入，再融合局部嵌入得到會(huì)話表示。

實(shí)驗(yàn)結(jié)果見(jiàn)表3，從AM-Soft與AM-Self對(duì)比可以看出軟注意力機(jī)制在本文實(shí)驗(yàn)環(huán)境下捕獲項(xiàng)目間全局依賴關(guān)系時(shí)比自注意力機(jī)制更適用；AM-Self-Target在自注意力機(jī)制的基礎(chǔ)上，引入目標(biāo)感知注意力，提高了推薦準(zhǔn)確率，這驗(yàn)證了引入目標(biāo)感知注意力可以根據(jù)目標(biāo)項(xiàng)有針對(duì)性地激活用戶興趣，優(yōu)化會(huì)話表示。SR-LNG-AM使用軟注意力機(jī)制捕獲項(xiàng)目的全局依賴關(guān)系，使用目標(biāo)感知注意力生成目標(biāo)嵌入，在實(shí)驗(yàn)過(guò)程中得到了最優(yōu)的結(jié)果，表明了模型結(jié)合軟注意力機(jī)制和目標(biāo)注意力機(jī)制的有效性。

表3 不同注意力機(jī)制下模型的表現(xiàn)

3.6 不同鄰域數(shù)量比較與分析

鄰域會(huì)話包含了豐富的協(xié)作信息，通過(guò)相似用戶的行為信息，輔助模型為當(dāng)前用戶生成更準(zhǔn)確的推薦列表。引入鄰域會(huì)話雖然可以擴(kuò)大信息范圍，增加會(huì)話上下文信息，但也會(huì)導(dǎo)致更多噪音。因此，本文設(shè)計(jì)了不同鄰域會(huì)話數(shù)量的對(duì)比實(shí)驗(yàn)，以研究鄰域會(huì)話數(shù)量對(duì)模型性能的影響。

從圖4中可以觀察到，當(dāng)鄰域數(shù)量為0時(shí)，即不引入鄰域會(huì)話，模型的性能最低。在引入了鄰域會(huì)話之后，模型的性能首先隨著鄰域數(shù)量的增加而提高，表明了鄰域會(huì)話的協(xié)作信息的有效性。隨后，在Yoochoose 1/64上鄰域數(shù)量為120時(shí)模型指標(biāo)達(dá)到最高；在Diginetica上鄰域數(shù)量為100時(shí)模型指標(biāo)達(dá)到最高。之后，指標(biāo)開(kāi)始下降，原因可能是由于會(huì)話相似度會(huì)隨著鄰域數(shù)量的增加而降低，相似度較低的會(huì)話引入了越來(lái)越多的噪聲，導(dǎo)致捕獲的項(xiàng)目轉(zhuǎn)換關(guān)系不夠準(zhǔn)確。因此，合理利于鄰域會(huì)話可以為模型提供補(bǔ)充信息，提高預(yù)測(cè)能力。

圖4 不同鄰域數(shù)量下的性能對(duì)比

4 結(jié)束語(yǔ)

為解決會(huì)話推薦問(wèn)題中對(duì)會(huì)話上下文信息利用不足的問(wèn)題，本文提出了基于局部-鄰域圖信息與注意力機(jī)制的會(huì)話推薦模型。模型通過(guò)當(dāng)前會(huì)話來(lái)提取相似的鄰域會(huì)話，將兩種類型的會(huì)話序列構(gòu)建成會(huì)話圖，從兩個(gè)角度提取項(xiàng)目轉(zhuǎn)換信息，并融合成最終的項(xiàng)目表示；之后使用軟注意力機(jī)制生成全局嵌入，使用目標(biāo)注意力機(jī)制生成目標(biāo)嵌入，并結(jié)合局部嵌入得到會(huì)話表示，在此基礎(chǔ)上進(jìn)行推薦。本文基于兩個(gè)真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，提高了各項(xiàng)指標(biāo)，驗(yàn)證了鄰域會(huì)話信息對(duì)推薦的輔助作用以及目標(biāo)注意力機(jī)制對(duì)會(huì)話表示的優(yōu)化作用。會(huì)話推薦的輔助信息除鄰域會(huì)話外，還包括會(huì)話內(nèi)項(xiàng)目的停留時(shí)間，停留時(shí)間往往隱含了用戶的興趣變化。在之后的研究工作中，通過(guò)分析用戶歷史行為數(shù)據(jù)中的時(shí)間間隔和用戶在不同時(shí)間段的行為變化，模擬用戶的興趣演化過(guò)程，準(zhǔn)確捕獲用戶興趣，以進(jìn)一步提升推薦準(zhǔn)確性。