李婉樺，孫英娟，劉藝璇，劉乾

（長(zhǎng)春師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春 130032）

0 概述

推薦系統(tǒng)［1-2］在許多在線(xiàn)平臺(tái)中扮演著重要角色，通過(guò)向用戶(hù)推薦有用內(nèi)容，從而有效解決信息超載問(wèn)題。傳統(tǒng)推薦算法常常依賴(lài)于用戶(hù)配置文件的可用性和長(zhǎng)期歷史交互。協(xié)同過(guò)濾［3-4］等經(jīng)典算法基于不同興趣愛(ài)好對(duì)用戶(hù)進(jìn)行劃分并推薦興趣相似的商品給用戶(hù)，基于內(nèi)容的推薦算法［5-6］根據(jù)相關(guān)的項(xiàng)目信息完成推薦。但在現(xiàn)實(shí)中更多的交互信息來(lái)自未登錄用戶(hù)的瀏覽或短期歷史行為，這就造成傳統(tǒng)算法推薦效果較差。為了解決這一類(lèi)問(wèn)題，便出現(xiàn)了會(huì)話(huà)推薦［7-9］，根據(jù)給定的匿名行為序列，按照時(shí)間順序預(yù)測(cè)用戶(hù)下一個(gè)可能感興趣的項(xiàng)目。

在會(huì)話(huà)推薦模型研究之初，許多學(xué)者為了有效地對(duì)會(huì)話(huà)進(jìn)行建模，采用馬爾可夫鏈［10-11］作為核心算法。WU等［12］提出一種馬爾可夫鏈嵌入模型，該模型將用戶(hù)和物品映射到歐幾里得空間，用戶(hù)和物品之間的距離代表兩者之間的轉(zhuǎn)移概率，最后根據(jù)嵌入結(jié)果對(duì)候選項(xiàng)進(jìn)行排序。RENDLE等［13］提出一種混合模型（FPMC），將矩陣分解方法與馬爾可夫鏈方法相結(jié)合，同時(shí)學(xué)習(xí)用戶(hù)的一般興趣和下一個(gè)興趣，取得了較好的效果，但由于馬爾可夫鏈模型的假設(shè)是基于前一個(gè)動(dòng)作來(lái)預(yù)測(cè)用戶(hù)的下一個(gè)動(dòng)作，這種強(qiáng)獨(dú)立性假設(shè)容易受噪聲數(shù)據(jù)的影響，因此限制了其在基于會(huì)話(huà)推薦中的使用。

針對(duì)上述問(wèn)題，學(xué)者們提出了很多基于深度神經(jīng)網(wǎng)絡(luò)的會(huì)話(huà)推薦模型并取得了良好性能。HIDASI等［14］提出基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的會(huì)話(huà)推薦模型（GRU4Rec），利用門(mén)控循環(huán)單元（GRU）層將會(huì)話(huà)數(shù)據(jù)嚴(yán)格按照時(shí)間順序建模成單向序列。LI等［15］提出NARM 模型，該模型基于RNN 且將注意力機(jī)制引入GRU 編碼器，捕獲短期會(huì)話(huà)信息。LIU等［16］提出STAMP 模型，該模型基于多層感知機(jī)（MLP）和注意力機(jī)制提取用戶(hù)潛在興趣。以上模型都是簡(jiǎn)單地根據(jù)時(shí)間序列進(jìn)行會(huì)話(huà)建模來(lái)提取用戶(hù)信息，但事實(shí)上項(xiàng)目轉(zhuǎn)換非常復(fù)雜，用戶(hù)的行為可能不嚴(yán)格按照時(shí)間順序發(fā)展，也就是說(shuō)即使會(huì)話(huà)中項(xiàng)目順序調(diào)換，也不影響用戶(hù)對(duì)項(xiàng)目的偏好，而對(duì)會(huì)話(huà)中項(xiàng)目嚴(yán)格按照時(shí)間順序建?？赡軐?dǎo)致過(guò)度擬合。

為了更好地表達(dá)項(xiàng)目之間的關(guān)系，學(xué)者們引入圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）模擬會(huì)話(huà)數(shù)據(jù)的項(xiàng)目復(fù)雜關(guān)系，提高會(huì)話(huà)推薦性能。WU等［17］提出基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話(huà)推薦模型（SR-GNN），將會(huì)話(huà)建模成圖以捕捉項(xiàng)目之間的關(guān)系。QIU等［18］提出FGNN 模型，利用多頭注意力機(jī)制挖掘鄰居信息。WANG等［19］提出GCE-GNN 模型，從會(huì)話(huà)和全局的角度學(xué)習(xí)項(xiàng)目之間的轉(zhuǎn)換關(guān)系。XIA等［20］提出DHCN 模型，基于超圖挖掘項(xiàng)目的高階信息。然而，以上模型只是孤立地考慮會(huì)話(huà)中的每一項(xiàng)，在當(dāng)前會(huì)話(huà)中沒(méi)有從更高層次的角度捕捉會(huì)話(huà)語(yǔ)義。GUO等［21］提出MIHSG 模型，通過(guò)構(gòu)造多粒度意圖單元異構(gòu)會(huì)話(huà)圖從高層次的角度捕捉完整會(huì)話(huà)意圖，因此得到了不錯(cuò)的模型效果。

雖然MIHSG 模型的效果較好，但是其多粒度意圖單元異構(gòu)會(huì)話(huà)圖只是捕捉了當(dāng)前會(huì)話(huà)內(nèi)的項(xiàng)目信息，忽略了不同會(huì)話(huà)之間的項(xiàng)目信息。本文建立基于全局圖和多粒度意圖單元的會(huì)話(huà)推薦模型（GGMIU），在多粒度意圖單元異構(gòu)會(huì)話(huà)圖［21］的基礎(chǔ)上，添加跨會(huì)話(huà)圖［19］以獲取不同會(huì)話(huà)之間的項(xiàng)目信息。

1 問(wèn)題描述

會(huì)話(huà)推薦旨在根據(jù)用戶(hù)當(dāng)前的連續(xù)會(huì)話(huà)數(shù)據(jù)，預(yù)測(cè)用戶(hù)下一步將單擊哪個(gè)項(xiàng)目，并不需要訪問(wèn)長(zhǎng)期偏好配置文件。在本文會(huì)話(huà)推薦任務(wù)中，設(shè)I={v1，v2，…，v|I|}表示所有會(huì)話(huà)中用戶(hù)產(chǎn)生交互項(xiàng)目的集合，vi表示交互過(guò)的項(xiàng)目，|I|表示所有項(xiàng)目的總數(shù)量。一個(gè)匿名會(huì)話(huà)由s={vt1，vt2，…，vtM}表示，其中，tn表示項(xiàng)目在位置n處被點(diǎn)擊的編號(hào)，且會(huì)話(huà)s的長(zhǎng)度為M。本文的目標(biāo)是對(duì)當(dāng)前會(huì)話(huà)下一步可能點(diǎn)擊的項(xiàng)目進(jìn)行預(yù)測(cè)，即預(yù)測(cè)vtM+1。將會(huì)話(huà)進(jìn)行寫(xiě)入，模型會(huì)依據(jù)輸入數(shù)據(jù)經(jīng)過(guò)一系列處理得到候選項(xiàng)目概率值y^，將項(xiàng)目概率值通過(guò)排序篩選出概率值最高的前幾個(gè)推薦項(xiàng)目，建立候選項(xiàng)目推薦序列。GGMIU 模型框架如圖1 所示。

2 GGMIU 模型

GGMIU 模型是在MIHSG 模型的基礎(chǔ)上進(jìn)行改進(jìn)。MIHSG 模型表示不同的粒度長(zhǎng)度有不同的用戶(hù)意圖，可從高層次的角度捕捉完整會(huì)話(huà)意圖，通過(guò)圖2（a）進(jìn)行說(shuō)明。在圖2（a）中，給出會(huì)話(huà)“面粉-黃油-雞蛋”：當(dāng)粒度長(zhǎng)度為1時(shí)，該用戶(hù)可能想買(mǎi)早餐類(lèi)，則可以嘗試推薦牛奶；當(dāng)粒度長(zhǎng)度為2 時(shí)就關(guān)注“黃油-雞蛋”，該用戶(hù)可能是想煎雞蛋，則可以嘗試推薦平底鍋；當(dāng)粒度長(zhǎng)度為3時(shí)，該用戶(hù)可能是想制作蛋糕，則可以嘗試推薦烤箱。通過(guò)該示例表明，在MIHSG 模型中，單個(gè)項(xiàng)目就是最小的粒度，不同的粒度長(zhǎng)度有不同的用戶(hù)意圖，因此可以從高層次捕捉不同的語(yǔ)義。

圖2 同一會(huì)話(huà)和不同會(huì)話(huà)之間的項(xiàng)目信息Fig.2 Project informations between the same session and different sessions

雖然MIHSG 模型效果較好，但是其多粒度意圖單元異構(gòu)會(huì)話(huà)圖只是捕捉當(dāng)前會(huì)話(huà)內(nèi)的項(xiàng)目信息，忽略了不同會(huì)話(huà)之間的項(xiàng)目信息。根據(jù)文獻(xiàn)［19］推測(cè)，當(dāng)前會(huì)話(huà)的項(xiàng)目出現(xiàn)在其他會(huì)話(huà)時(shí)，項(xiàng)目的鄰居信息所展示的行為也能反映當(dāng)前會(huì)話(huà)的用戶(hù)意圖，通過(guò)圖2（b）進(jìn)行說(shuō)明。在圖2（b）中，設(shè)當(dāng)前會(huì)話(huà)是會(huì)話(huà)1，會(huì)話(huà)1 的“雞蛋”也出現(xiàn)在會(huì)話(huà)2中，其項(xiàng)目對(duì)是“雞蛋-油條”，所表現(xiàn)的意圖可能是早餐類(lèi)，可以嘗試給會(huì)話(huà)1 的用戶(hù)推薦“油條”。又比如，會(huì)話(huà)1 的“黃油”出現(xiàn)在會(huì)話(huà)3，其項(xiàng)目對(duì)是“美的平底鍋-黃油-雞翅”，所表現(xiàn)的意圖可能是用“平底鍋”煎“雞翅”，可以嘗試給會(huì)話(huà)1 的用戶(hù)推薦“美的平底鍋”。通過(guò)該示例表明：利用項(xiàng)目在其他會(huì)話(huà)中的鄰居信息也能反映相似的用戶(hù)意圖，從而更好地推斷當(dāng)前會(huì)話(huà)的用戶(hù)偏好。

2.1 跨會(huì)話(huà)圖模塊

為了捕獲跨會(huì)話(huà)級(jí)別的項(xiàng)目轉(zhuǎn)換信息，將其用于學(xué)習(xí)所有會(huì)話(huà)中的項(xiàng)目依賴(lài)關(guān)系，根據(jù)WANG等［22］提出的方法進(jìn)行跨會(huì)話(huà)圖的構(gòu)建。對(duì)于當(dāng)前會(huì)話(huà)的項(xiàng)目，它的近鄰集合N?(v)是在步長(zhǎng)?階范圍內(nèi)交互過(guò)的項(xiàng)目，其中N表示集合。當(dāng)前會(huì)話(huà)Sa的節(jié)點(diǎn)vi，a的近鄰集合可以表示如下：

其中：va，i是會(huì)話(huà)sa的節(jié)點(diǎn)i；i′是會(huì)話(huà)sa中項(xiàng)目va，i在會(huì)話(huà)sb的順序位置；?是一個(gè)控制項(xiàng)目與項(xiàng)目之間轉(zhuǎn)換建模的超參數(shù)，若?超出范圍，則它捕獲的跨會(huì)話(huà)項(xiàng)目轉(zhuǎn)換信息會(huì)帶有噪聲。

跨會(huì)話(huà)圖是基于所有會(huì)話(huà)中的一個(gè)?階相鄰項(xiàng)目集構(gòu)建的圖，如圖3 所示。設(shè)Gc=(Vc，Ec)為跨會(huì)話(huà)圖，其中，c表示跨會(huì)話(huà)圖，Vc∈I表示所有會(huì)話(huà)被點(diǎn)擊的項(xiàng)目集合，Ec={ec，i，j}表示邊的集合，ec，i，j表示節(jié)點(diǎn)vi和節(jié)點(diǎn)vj之間的邊，每條邊(vi，vj，ec，i，j)對(duì)應(yīng)于所有會(huì)話(huà)中的兩個(gè)成對(duì)項(xiàng)目，vi∈I，vj∈N?(vi)。此外，對(duì)于每個(gè)節(jié)點(diǎn)vi，會(huì)為其相鄰邊產(chǎn)生權(quán)重，以區(qū)分鄰居的重要性，即每條邊的權(quán)重是由相應(yīng)邊在所有會(huì)話(huà)中的頻率確定。考慮到效率問(wèn)題，跨會(huì)話(huà)圖Gc的每個(gè)節(jié)點(diǎn)vi只保留最高權(quán)重的邊數(shù)，邊數(shù)自定義。需要注意的是，跨會(huì)話(huà)圖Gc是一個(gè)無(wú)向加權(quán)圖，因?yàn)?階鄰居集是無(wú)向的。在測(cè)試階段，沒(méi)有動(dòng)態(tài)更新跨會(huì)話(huà)圖Gc的拓?fù)浣Y(jié)構(gòu)。

圖3 跨會(huì)話(huà)圖的構(gòu)造Fig.3 Construction of cross-session graph

2.2 跨會(huì)話(huà)表示

受到LI等［23］和WANG等［19］方法的啟發(fā)，根據(jù)在跨會(huì)話(huà)圖上的傳播特性，編碼來(lái)自其他會(huì)話(huà)的項(xiàng)目轉(zhuǎn)換信息，從而輔助推薦。本文基于圖卷積網(wǎng)絡(luò)的體系結(jié)構(gòu)構(gòu)建，運(yùn)用圖注意力網(wǎng)絡(luò)理論得到連接項(xiàng)目的權(quán)重。每一層都由信息傳播和信息聚合構(gòu)成，先介紹單層，再推廣到多層。

1）信息傳播。一個(gè)項(xiàng)目可能涉及多個(gè)會(huì)話(huà)，從中可以獲得有用的項(xiàng)目轉(zhuǎn)換信息，從而有效地輔助當(dāng)前預(yù)測(cè)。

設(shè)xv∈Rd（d表示項(xiàng)目嵌入的維度）為項(xiàng)目的向量表示，利用會(huì)話(huà)感知注意力將鄰居集中的每個(gè)項(xiàng)目進(jìn)行線(xiàn)性計(jì)算，得到項(xiàng)目的鄰居表示xNc.v，如式（1）所示：其中：ξ(vi，vj)代表不同鄰居的重要性權(quán)重，即一個(gè)項(xiàng)目越接近當(dāng)前會(huì)話(huà)的偏好，這個(gè)項(xiàng)目就越重要。ξ(vi，vj)計(jì)算如下：

其中：σ為L(zhǎng)eakyReLU 激活函數(shù)；⊙表示元素乘積；[；]表示拼接操作；λi，j∈Rm表示跨會(huì)話(huà)圖的邊(vi，vj)的權(quán) 值；W1∈R(d+1)×d和P1∈R(d+1×1)是可訓(xùn)練的參 數(shù)矩陣；s為當(dāng)前會(huì)話(huà)的特征，通過(guò)計(jì)算當(dāng)前會(huì)話(huà)項(xiàng)目表示的平均值得到。s計(jì)算如下：

采用Softmax 激活函數(shù)將項(xiàng)目vi的所有鄰居進(jìn)行系數(shù)規(guī)范化，如式（4）所示：

2）信息聚合。將項(xiàng)目表示xv和項(xiàng)目的鄰居表示xNc，v進(jìn)行聚合得到當(dāng)前跨會(huì)話(huà)圖的項(xiàng)目vi表示，如式（5）所示：

其中：ψ為ReLU 激活函數(shù)；W2∈Rd×2d為變換權(quán)重。通過(guò)聚合器層，項(xiàng)目的表示依賴(lài)于它自己及其近鄰項(xiàng)目。采用聚合器從一個(gè)層擴(kuò)展到多個(gè)層來(lái)探索高階連接信息，這樣可以將更多與當(dāng)前會(huì)話(huà)相關(guān)的信息納入當(dāng)前表示。第u層的一個(gè)項(xiàng)目表示計(jì)算如式（6）所示：

其中：Γ為聚合函數(shù)；xu-1，v表示由前面的u-1 層信息傳播生成的v項(xiàng)目表示，設(shè)x0，v為xv的初始傳播迭代。由此可知，一個(gè)項(xiàng)目的u層表示由它的初始表示和它的鄰居循環(huán)到u層組成。這樣可以將更有效的消息合并到當(dāng)前會(huì)話(huà)的表示中。

在跨會(huì)話(huà)表示中，使用丟棄率來(lái)避免過(guò)度擬合，如式（7）所示：

其中：D為丟棄率函數(shù)。

2.3 連續(xù)意圖單元

當(dāng)前基于會(huì)話(huà)的推薦方法分別考慮每個(gè)項(xiàng)目，但這容易忽略本地會(huì)話(huà)片段的更高層次的意圖。為了能更加深層次地挖掘用戶(hù)在當(dāng)前會(huì)話(huà)中的意圖，利用項(xiàng)目的連續(xù)意圖單元進(jìn)行提取。連續(xù)意圖單元表示一組連續(xù)相鄰的項(xiàng)目，設(shè)vk，j=(vj，vj+1，…，vj+k-1)為一個(gè)連續(xù)的意圖單元，它是一個(gè)連續(xù)片段，在原會(huì)話(huà)中從第j個(gè)位置開(kāi)始到j(luò)+k-1 位置結(jié)束，長(zhǎng)度為k，同時(shí)將會(huì)話(huà)的單個(gè)項(xiàng)目定義為單粒度，2 個(gè)或2 個(gè)以上的項(xiàng)目定義為多粒度。為了能更好了解連續(xù)意圖單元的結(jié)構(gòu)，通過(guò)圖4 進(jìn)行說(shuō)明。在圖4中，2 級(jí)連續(xù)意圖單元v2，1是從原會(huì)話(huà){v1，v3，v2，v4，v3，v2}第1 個(gè)位置開(kāi)始且長(zhǎng)度為2 的連續(xù)片段，v2，2是從原會(huì)話(huà)第2 個(gè)位置開(kāi)始且長(zhǎng)度為2 的連續(xù)片段(v3，v2)，其他以此類(lèi)推。連續(xù)意圖單元的長(zhǎng)度k用粒度級(jí)別來(lái)表示，即k級(jí)連續(xù)意圖單元的粒度級(jí)別為k。需要注意的是同級(jí)的意圖單元是不重復(fù)的。

圖4 連續(xù)意圖單元、k 級(jí)意圖會(huì)話(huà)圖和多粒度意圖單元異構(gòu)會(huì)話(huà)圖的構(gòu)造Fig.4 Construction of continuous intention unit，k-level intention session graph and multi-granularity intention unit heterogeneous session graph

對(duì)于會(huì)話(huà)s，vk，j的k級(jí)連續(xù)意圖單元的意圖用xk，j表示，如式（8）所示：

其中：R 是Readout 函數(shù)。

為了提取高階意圖單元的完整意圖，考慮使用基于序列和基于集合的Readout 函數(shù)分別得到xk，q，j和xk，p，j。一方面xk，q，j能得到節(jié)點(diǎn)順 序相關(guān)的潛在 信息，另一方面xk，p，j能得到節(jié)點(diǎn)順序無(wú)關(guān)的潛在信息。為此，vk，j的k級(jí)連續(xù)意圖單元的意圖計(jì)算如式（9）所示：

其中，xk，q，j∈R1×d可通過(guò)門(mén)控遞歸單元得到；xk，p，j∈R1×d可通過(guò)平均值和最大值得到。

2.4 意圖會(huì)話(huà)圖和多粒度意圖單元異構(gòu)會(huì)話(huà)圖

設(shè)有向圖Gk，s=(Vk，s，Ek，s)為k級(jí)意圖會(huì)話(huà)圖，其中，節(jié)點(diǎn)Vk，s表示k級(jí)連續(xù)意圖單元，Ek，s是兩個(gè)k級(jí)連續(xù)意圖單元的邊，s表示會(huì)話(huà)。將不同k級(jí)意圖會(huì)話(huà)圖統(tǒng)一，得到多粒度意圖單元異構(gòu)會(huì)話(huà)圖。在多粒度意圖單元異構(gòu)會(huì)話(huà)圖中，節(jié)點(diǎn)vk的邊類(lèi)型有粒度內(nèi)邊（?）和粒度間邊（?），粒度內(nèi)邊在同級(jí)意圖會(huì)話(huà)圖中進(jìn)行項(xiàng)目之間的連接，粒度間邊將1 級(jí)和高級(jí)意圖會(huì)話(huà)圖進(jìn)行連接。在3級(jí)意圖會(huì)話(huà)圖中能構(gòu)造6條粒度間邊，分別是(v3，1，?，v1，4)、(v1，1，?，v3，2)、(v3，2，?，v1，2)、(v1，2，?，v3，3)、(v3，3，?，v1，3)和(v1，3，?，v3，4)。針對(duì)(v3，1，?，v1，4)，v3，1是從原會(huì)話(huà)第1 個(gè)位置開(kāi)始且長(zhǎng)度為3 的連續(xù)片段(v1，v3，v2)，v1，4是從原會(huì)話(huà)第4 個(gè)位置開(kāi)始的項(xiàng)目v4且是連續(xù)片段(v1，v3，v2)的后一個(gè)項(xiàng)目，又因?yàn)榱６乳g邊是將1 級(jí)和高級(jí)意圖會(huì)話(huà)圖進(jìn)行連接，因此粒度間邊將v3，1和v1，4連接。針 對(duì)(v1，1，?，v3，2)和(v3，2，?，v1，2)，v3，2是從原會(huì)話(huà)第2 個(gè)位置開(kāi)始且長(zhǎng)度為3 的連續(xù)片段(v3，v2，v4)，v1，1是原會(huì)話(huà)第1 個(gè)位置的項(xiàng)目v1且是原會(huì)話(huà)片段(v3，v2，v4)的前一個(gè)項(xiàng)目，v1，2是從原會(huì)話(huà)第2 個(gè)位置開(kāi)始的項(xiàng)目v3且是原會(huì)話(huà)片段(v3，v2，v4)的后一個(gè)項(xiàng)目，同時(shí)因?yàn)榱６乳g邊是將1 級(jí)和高級(jí)意圖會(huì)話(huà)圖進(jìn)行連接，所以粒度間邊將v3，2和v1，1、v1，2分別進(jìn)行連接，其他以此類(lèi)推。

2.5 連續(xù)意圖單元會(huì)話(huà)學(xué)習(xí)

采用異構(gòu)圖注意力（Heterogeneous Graph ATtention，HGAT）網(wǎng)絡(luò)得到每個(gè)連續(xù)意圖單元的表示。對(duì)于有向邊(α，e，β)，其中，e是邊，α和β分別表示為源和目標(biāo)意圖單元，同時(shí)可表示任何粒度級(jí)別。在一個(gè)k級(jí)的異構(gòu)會(huì)話(huà)圖中，將kα∈{1，2，…，K}和kβ∈{1，2，…，K}分別定義為意圖單元α和β的粒度級(jí)別。ε定義為邊緣類(lèi)型，它包含粒度內(nèi)邊和粒度間邊。在異構(gòu)圖注意力網(wǎng)絡(luò)的每一層中，通過(guò)注意力機(jī)制聚合內(nèi)鄰居和外鄰居的表示。內(nèi)鄰居集合Nε計(jì)算如式（10）所示：

其中：Λ為Softmax 函數(shù)；Wl，ε∈Rd×d和al，ε∈R2d×1是權(quán)重；B0，α=xα和B0，β=xβ分別是意圖單元α和β的初始表示；Bl，α和Bl，β分別表示意圖單元α和β在HGAT 上的第l層表示。

同時(shí)，利用多向注意力機(jī)制通過(guò)Readout 函數(shù)得到輸出節(jié)點(diǎn)的表示，如式（11）所示：

其中：i表示注意力的頭數(shù)索引；H為注意力機(jī)制的總頭數(shù)。

因?yàn)楫悩?gòu)會(huì)話(huà)圖為有向圖，每個(gè)節(jié)點(diǎn)都具有來(lái)自?xún)?nèi)鄰居和外鄰居的上下文。為從兩個(gè)方向提取上下文信息，應(yīng)用HGAT 來(lái)聚合內(nèi)鄰居和外鄰居信息以生成節(jié)點(diǎn)表示。因此，對(duì)于該圖的每個(gè)意圖單元v，聚合v兩個(gè)方向的嵌入，即和，其中，表示v左邊方向的信息嵌入表示v右邊方向的信息嵌入。節(jié)點(diǎn)v的最終表示Bl+1，v為兩個(gè)方向的嵌入之和以及會(huì)話(huà)中所有節(jié)點(diǎn)嵌入的平均值之和其中，表示會(huì)話(huà)中所有節(jié)點(diǎn)的嵌入平均值之和。

利用局部表示Hk，l和全局表示Hk，g挖掘連續(xù) 意圖單元每個(gè)級(jí)別的用戶(hù)偏好。當(dāng)給出會(huì)話(huà)si和相應(yīng)的連續(xù)意圖單元嵌入Bk，i∈Rd(i=1，2，…，nk，k=1，2，…，K)時(shí)，將最后一個(gè)意圖單元Bk，nk作為局部表示Hk，l，軟注意力機(jī)制得到全局表示Hk，g，其中，nk是k級(jí)意圖單元數(shù)，K是意圖級(jí)別數(shù)。

全局表示Hk，g通過(guò)聚合所有意圖單元的嵌入來(lái)表示。設(shè)C={Bk，i|i=1，2，…，nk，k=1，2，…，K}為意圖的上下文集合，Bc是上下文集合中的一個(gè)嵌入。Hk，g計(jì)算過(guò)程如下：

其中：Wk，0∈Rd；Wk，3∈Rd×d；Wk，4∈Rd×d；bk∈Rd為可學(xué)習(xí)的權(quán)重；σ(·)為Sigmoid 函數(shù)；χk，c為權(quán)重系數(shù)。

最后，將全局表示、局部和跨會(huì)話(huà)表示相拼接，得到連續(xù)意圖單元的每個(gè)級(jí)別用戶(hù)偏好，如式（14）所示：

其中：Wk，5為權(quán)重。

2.6 意圖融合排序和預(yù)測(cè)

式（14）生成的不同粒度級(jí)別會(huì)話(huà)嵌入(H1，s，…，Hk，s，…，HK，s)通過(guò)意圖融合排名（IFR）機(jī)制［21］融合所有粒度級(jí)別的意圖預(yù)測(cè)推薦結(jié)果得到用戶(hù)的意圖。首先根據(jù)每一級(jí)的意圖得到一個(gè)單獨(dú)的推薦；然后將結(jié)果進(jìn)行融合形成最終的推薦；最后對(duì)于每個(gè)k級(jí)別意圖，可采用內(nèi)積來(lái)計(jì)算候選項(xiàng)目意圖和k級(jí)別會(huì)話(huà)嵌入之間的相似度。對(duì)于候選項(xiàng)集I={v1，v2，…，v|I|}，計(jì)算項(xiàng)目vi的意圖在會(huì)話(huà)嵌入Hk，s和x1，i之間的相似度，如式（15）所示：

其中：＜，＞是內(nèi)積運(yùn)算。

同時(shí)，受文獻(xiàn)［24-25］的啟發(fā)，可對(duì)會(huì)話(huà)重復(fù)點(diǎn)擊行為和探索行為進(jìn)一步分析以提高準(zhǔn)確性，這首先需要將內(nèi)部會(huì)話(huà)項(xiàng)目和外部會(huì)話(huà)項(xiàng)目分開(kāi)，通過(guò)使用Softmax 函數(shù)進(jìn)行歸一化，計(jì)算過(guò)程如下：

其中：R={r1，…，ri，…，r|R|}為內(nèi)部會(huì)話(huà)項(xiàng)目，O={o1，…，oi，…，o|O|}為外部會(huì)話(huà)項(xiàng)目，|R| +|O|=|I|；∈R和∈O分別是內(nèi)部會(huì)話(huà)項(xiàng)目和外部會(huì)話(huà)項(xiàng)目的概率分布。然后使用一個(gè)鑒別器來(lái)重新加權(quán)項(xiàng)目得分，以平衡重復(fù)點(diǎn)擊和探索點(diǎn)擊之間的焦點(diǎn)。分?jǐn)?shù)y就是這兩部分的組合，計(jì)算過(guò)程如下：

其中：W6∈Rd×2、W7∈Rd×d為權(quán)重矩陣；πk，r、πk，o為權(quán)重系數(shù)。

式（16）～式（18）為重復(fù)探索規(guī)范化（RENorm）策略的具體過(guò)程。

遵循意圖融合排序機(jī)制，通過(guò)一個(gè)加權(quán)和運(yùn)算符聚合各個(gè)層次的意圖所產(chǎn)生的概率分布得到最終的概率分布y^，計(jì)算過(guò)程如下：

其中：和yk為標(biāo)準(zhǔn)化權(quán)重；θk為每個(gè)概率分布的可學(xué)習(xí)因素。

最后使用交叉熵函數(shù)作為損失函數(shù)，計(jì)算如下：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)預(yù)處理

采用Diginetica 和Tmall 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)評(píng)估GGMIU 模型的性能。在Diginetica 數(shù)據(jù)集中，使用的數(shù)據(jù)是其用戶(hù)的互動(dòng)信息，可以從CIKM Cup2016比賽下載得到。在Tmall 數(shù)據(jù)集中，使用的數(shù)據(jù)是隱藏個(gè)人信息的用戶(hù)在天貓電商上的購(gòu)買(mǎi)信息，數(shù)據(jù)可從IJCA15 大賽下載得到。實(shí)驗(yàn)?zāi)７翿ENDLE等［13］提出的預(yù)處理方式，篩選數(shù)據(jù)集中數(shù)據(jù)長(zhǎng)度是1的會(huì)話(huà)，同時(shí)去除測(cè)試集中點(diǎn)擊次數(shù)低于5 的項(xiàng)目。經(jīng)過(guò)上述預(yù)處理后，Diginetica 數(shù)據(jù)集剩下43 097 個(gè)項(xiàng)目，Tmall 數(shù)據(jù)集剩下40 728 個(gè)項(xiàng)目。此外，為了能有更多的會(huì)話(huà)數(shù)據(jù)進(jìn)行訓(xùn)練，將每個(gè)會(huì)話(huà)進(jìn)行再次劃分，具體為：對(duì)于每個(gè)會(huì)話(huà)s={ts，1，ts，2，…，ts，m}，劃分為點(diǎn)擊項(xiàng)序 列以及對(duì)應(yīng)的標(biāo)簽，即([ts，1]，ts，2)，([ts，1，ts，2]，ts，3)，…，([ts，1，ts，2，…，ts，m-1]，ts，m)，應(yīng)用于這兩個(gè)數(shù)據(jù)集的訓(xùn)練和測(cè)試。數(shù)據(jù)集統(tǒng)計(jì)信息如表1所示。

表1 數(shù)據(jù)集信息Table 1 Data set information

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)選用推薦系統(tǒng)經(jīng)常使用的兩個(gè)評(píng)價(jià)指標(biāo)：平均倒數(shù)排名（Mean Reciprocal Rank，MRR）和精確度（Precision，P）進(jìn)行模型有效性測(cè)試。同時(shí)，選用概率值最高的前10 或者20 個(gè)推薦項(xiàng)目作為候選項(xiàng)目推薦序列。

MRR@20 表示正確推薦項(xiàng)目在前20 個(gè)推薦項(xiàng)目中位置倒數(shù)的平均值。若正確推薦項(xiàng)目未出現(xiàn)在推薦序列上，則MRR@20 值為0。值越高，表明算法預(yù)測(cè)性能越好，計(jì)算如下：

其中：N表示測(cè)試集樣本總數(shù)；M表示正確推薦項(xiàng)目在推薦序列前20 個(gè)中所占的數(shù)量；τ(it)表示推薦列表中推薦項(xiàng)目i所在的位置。

P@20 常作為推薦系統(tǒng)預(yù)測(cè)精確度的衡量指標(biāo)，表示正確推薦的項(xiàng)目在前20 個(gè)項(xiàng)目中的比例，計(jì)算如下：

其中：V表示返回前20 個(gè)推薦項(xiàng)目中正確推薦的項(xiàng)目數(shù)。

3.3 實(shí)驗(yàn)參數(shù)設(shè)定

在驗(yàn)證集上選取其他超參數(shù)，驗(yàn)證集是訓(xùn)練集的10%隨機(jī)子集。所有參數(shù)均采用高斯分布初始化，均值為0、標(biāo)準(zhǔn)差為0.1。GGMIU 模型設(shè)定節(jié)點(diǎn)隱向量的維度d為100，迭代次數(shù)為20，訓(xùn)練批次大小為100。此外，模型使用Adam 算法優(yōu)化器，初始學(xué)習(xí)率為0.001，每迭代3 次學(xué)習(xí)率衰減0.1，正則化系數(shù)為10-5。實(shí)驗(yàn)參考文獻(xiàn)［19，21］，設(shè)置評(píng)估指標(biāo)連續(xù)迭代3 次小于最佳指標(biāo)則停止迭代。

3.4 對(duì)比模型

對(duì)比模型具體如下：

1）Item-KNN，基于當(dāng)前會(huì)話(huà)的項(xiàng)目和其他會(huì)話(huà)的項(xiàng)目之間的相似度來(lái)推薦項(xiàng)目。

2）GRU4Rec［14］，是一種通過(guò)門(mén)控循環(huán)單元捕捉用戶(hù)序列的依賴(lài)關(guān)系的模型。

3）NARM［15］，是一種基于RNN 的通過(guò)注意力機(jī)制捕捉當(dāng)前會(huì)話(huà)用戶(hù)意圖的模型。

4）SR-GNN［17］，在圖神經(jīng)網(wǎng)絡(luò)層獲得項(xiàng)目嵌入，對(duì)最后一個(gè)項(xiàng)目應(yīng)用注意力機(jī)制，以計(jì)算基于會(huì)話(huà)推薦的會(huì)話(huà)級(jí)嵌入。

5）GCE-GNN［19］，首先通過(guò)構(gòu)建會(huì)話(huà)圖和全局圖，學(xué)習(xí)全局項(xiàng)目嵌入層和會(huì)話(huà)項(xiàng)目嵌入層，然后利用軟注意力機(jī)制聚合兩層的項(xiàng)目嵌入得到會(huì)話(huà)嵌入，最后添加位置信息以獲得最終結(jié)果。

6）DHCN［20］，利用基于超圖的神經(jīng)網(wǎng)絡(luò)捕獲項(xiàng)目之間的高階信息，并將自監(jiān)督學(xué)習(xí)作為增強(qiáng)超圖建模的輔助方法。

7）MIHSG［21］，通過(guò)構(gòu)造多粒度意圖單元異構(gòu)會(huì)話(huà)圖從高層次的角度捕捉完整的會(huì)話(huà)意圖。

3.5 與MIHSG 模型的比較

GGMIU 模型是在多粒度意圖單元異構(gòu)會(huì)話(huà)圖的基礎(chǔ)上添加了跨會(huì)話(huà)圖。為了證明GGMIU 模型的有效性，與沒(méi)有加入跨會(huì)話(huà)圖的MIHSG 模型在Tmall 和Diginetica 數(shù)據(jù)集上進(jìn)行比較，如圖5 和圖6所示。由圖5 和圖6 可以看出，在Tmall 和Diginetica數(shù)據(jù)集上，GGMIU 和MIHSG 模型均在第4 次迭代后MRR@20 和P@20 指標(biāo)未出現(xiàn)劇烈波動(dòng)，模型趨于平穩(wěn)，GGMIU 模型在MRR@20 和P@20 指標(biāo)上的表現(xiàn)優(yōu)于MIHSG 模型，且差距也趨于穩(wěn)定。由此可以證明添加了跨會(huì)話(huà)圖的模型能更深層次地挖掘不同會(huì)話(huà)之間的潛在信息，從而提高模型推薦效果。

圖5 Tmall 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results on the Tmall data set

圖6 Diginetica 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results on the Diginetica data set

3.6 整體性能比較

GGMIU 模型和基線(xiàn)模型在兩個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示，其中，使用粗體突出每列的最佳結(jié)果，下劃線(xiàn)表示次優(yōu)結(jié)果。由表2 可以看出，GGMIU 模型表現(xiàn)最優(yōu)，并得到以下結(jié)論：

表2 不同模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of different models on two data sets %

1）SR-GNN、GCE-GNN、DHCN、MIHSG、GGMIU等應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的模型比Item-KNN、GRU4Rec、NARM 等沒(méi)有應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的模型預(yù)測(cè)效果更好，這是因?yàn)閳D神經(jīng)網(wǎng)絡(luò)模擬會(huì)話(huà)中項(xiàng)目轉(zhuǎn)換關(guān)系建模成圖能更好地捕獲項(xiàng)目之間的依賴(lài)關(guān)系，證明了基于圖神經(jīng)網(wǎng)絡(luò)的模型更適合會(huì)話(huà)推薦。

2）除了Diginetica 數(shù)據(jù)集上的P@20 指標(biāo)外，MIHSG 模型優(yōu)于SR-GNN、GCE-GNN 和DHCN 模型。這是因?yàn)镾R-GNN、GCE-GNN 和DHCN 模型只是孤立地考慮會(huì)話(huà)中的每一項(xiàng)，沒(méi)有從高層次的角度捕捉會(huì)話(huà)語(yǔ)義，MIHSG 模型通過(guò)多粒度連續(xù)用戶(hù)意圖單元從高層次角度捕捉會(huì)話(huà)完整的意圖，從而提高了模型性能。

3）GGMIU 模型優(yōu)于所有模型，相較于MIHSG 最優(yōu)基線(xiàn)模型在Tmall 數(shù)據(jù)集上 的MRR@20 和P@20上增益分別高達(dá)2.12%和1.27%。這是因?yàn)镚GMIU模型在多粒度意圖單元異構(gòu)會(huì)話(huà)圖的基礎(chǔ)上，添加了跨會(huì)話(huà)的全局圖，以獲取不同會(huì)話(huà)之間項(xiàng)目的信息?？梢?jiàn)，GGMIU 模型不僅考慮了高層次角度的會(huì)話(huà)語(yǔ)義，而且還考慮了跨會(huì)話(huà)角度的項(xiàng)目信息，從而提高了模型精度。

3.7 參數(shù)調(diào)整實(shí)驗(yàn)

跨會(huì)話(huà)表示的丟棄率是影響模型性能的重要因素。在Tmall 和Diginetica 數(shù)據(jù)集上探究不同的丟棄率對(duì)模型性能的影響，如圖7 所示。由圖7 可以看出，在丟棄率為0.3時(shí)，GGMIU 模型在Tmall 數(shù)據(jù)集上能取到P@20 和MRR@20 的最大值，因此在Tmall數(shù)據(jù)集上取丟棄率為0.3 更合適。在丟棄率為0.3 和0.1時(shí)，GGMIU 模型在Diginetica 數(shù)據(jù)集上能取 到P@20和MRR@20 的最大值，但在丟棄率為0.1 時(shí)P@20 和MRR@20 的差值小于在丟棄率為0.3 的差值，因此在Diginetica 數(shù)據(jù)集上取丟棄率為0.1 更合適。

圖7 在Tmall 和Diginetica 數(shù)據(jù)集上的不同丟棄率分析Fig.7 Analysis of different dropouts on the Tmall and Diginetica data sets

3.8 消融實(shí)驗(yàn)

項(xiàng)目的推薦概率結(jié)果由IFR 和RENorm 決定。為了研究IFR 和RENorm 的有效性，進(jìn)行消融實(shí)驗(yàn)，如表3 所示，其中，使用粗體突出每列的最佳結(jié)果，GGMIU 模型結(jié)合IFR 和RENorm，模 型1 移除了RENorm，模型2 移除了IFR。由表3 可以看出，結(jié)合IFR 和RENorm 的GGMIU 模型結(jié)果遠(yuǎn)優(yōu)于模型1 和模型2，在Tmall 數(shù)據(jù)集上的MRR@20 和P@20 增益分別高達(dá)11.20%和17.42%。這說(shuō)明將探求會(huì)話(huà)重復(fù)點(diǎn)擊行為和探索行為的RENorm 與融合所有粒度級(jí)別的意圖預(yù)測(cè)推薦結(jié)果的IFR 相結(jié)合達(dá)到了較好的推薦效果，這也證明了每個(gè)模塊都是有效的。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment %

3.9 隱向量維度對(duì)模型性能的影響

為了方便GGMIU 模型與其他模型進(jìn)行比較，設(shè)置隱向量維度d為100，其實(shí)不同的隱向量維度會(huì)影響GGMIU 模型的推薦效果。在本節(jié)中，通過(guò)設(shè)置隱向量維度d為50、100、150、200、250 和300，分析隱向量維度d對(duì)模型性能的影響，如圖8 所示。由圖8 可以看出，隨著隱向量維度d的增加，MRR@20 和P@20 指標(biāo)也隨之增加，當(dāng)達(dá)到一定的維度時(shí)，指標(biāo)開(kāi)始下降。對(duì)于Tmall 數(shù)據(jù)集：在隱向量維度d提升到100后，MRR@20 指標(biāo)開(kāi)始趨于平穩(wěn)；在隱向量維度d提升到250后，P@20 指標(biāo)開(kāi)始下降。對(duì)于Diginetica數(shù)據(jù)集：在隱向量維度d提升到150時(shí)，MRR@20 指標(biāo)開(kāi)始下降；

圖8 隱向量維度d 對(duì)模型效果的影響Fig.8 Influence of hidden vector dimension d on model effect

在隱向量維度d提升到200時(shí)，P@20 指標(biāo)開(kāi)始下降。由此可知，即使同一個(gè)數(shù)據(jù)集，不同的評(píng)估指標(biāo)對(duì)應(yīng)的最優(yōu)隱向量維度d是不同的。在一定范圍內(nèi)，增加隱向量維度d有助于模型預(yù)測(cè)效果的提升，但繼續(xù)提高維度效果反而會(huì)越來(lái)越差，不僅容易導(dǎo)致過(guò)擬合，而且會(huì)加大計(jì)算代價(jià)。綜合考慮性能和計(jì)算代價(jià)來(lái)看，在Tmall 和Diginetica 數(shù)據(jù)集上，GGMIU 模型的隱向量維度d設(shè)為200 更合適。

4 結(jié)束語(yǔ)

本文考慮了會(huì)話(huà)信息表示中當(dāng)前會(huì)話(huà)的高層次會(huì)話(huà)語(yǔ)義和不同會(huì)話(huà)間的項(xiàng)目信息，建立基于全局圖和多粒度意圖單元的會(huì)話(huà)推薦模型。首先構(gòu)造跨會(huì)話(huà)圖，利用圖神經(jīng)網(wǎng)絡(luò)得到跨會(huì)話(huà)表示；接著在連續(xù)意圖單元上構(gòu)造多粒度意圖單元異構(gòu)會(huì)話(huà)圖，得到全局和局部表示；最后將三者表示進(jìn)行融合，捕獲會(huì)話(huà)中項(xiàng)目之間的復(fù)雜依賴(lài)關(guān)系。三者所融合的表示經(jīng)過(guò)會(huì)話(huà)重復(fù)點(diǎn)擊和探索行為分析后，聚合所有級(jí)別的單元預(yù)測(cè)結(jié)果得到最終的預(yù)測(cè)概率值。通過(guò)大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的有效性。后續(xù)將對(duì)多粒度意圖單元異構(gòu)圖做進(jìn)一步改進(jìn)，探究意圖單元的潛在信息以挖掘用戶(hù)的意圖，提高推薦性能。