費(fèi) 艷，劉學(xué)軍

(南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京 211816)

1 引 言

隨著大數(shù)據(jù)和互聯(lián)網(wǎng)技術(shù)的迅速普及，推薦系統(tǒng)已經(jīng)成為幫助人們找到自己潛在興趣的商品的重要辦法，用戶在使用在線購(gòu)物平臺(tái)時(shí)，面對(duì)巨大的商品數(shù)量以及眾多的信息時(shí)，往往容易眼花繚亂而無(wú)法抉擇，推薦系統(tǒng)的引入，能夠有效解決信息過載問題.傳統(tǒng)的推薦系統(tǒng)以一種靜態(tài)的方式建模用戶和商品的交互并且只可以捕獲用戶廣義的喜好，而在大多數(shù)應(yīng)用中，用戶的行為往往是連續(xù)的，用戶與物品之間的交互、用戶偏好以及商品的流行度往往是隨時(shí)間而變化的，此時(shí)，序列推薦系統(tǒng)便應(yīng)運(yùn)而生，它將用戶和商品的交互建模為動(dòng)態(tài)的序列，并且利用序列的依賴性來學(xué)習(xí)當(dāng)前和最近用戶的喜好.

由于具有很高的實(shí)用價(jià)值，這一問題的研究日益增加，各種序列推薦的方案已被提出.一些基于馬爾可夫鏈思想的方法，根據(jù)前一個(gè)行為預(yù)測(cè)用戶的下一個(gè)行為，在很強(qiáng)的獨(dú)立性的假設(shè)下，過去各成分的獨(dú)立組合限制了預(yù)測(cè)精度.最近，基于深度學(xué)習(xí)的方法已經(jīng)被提出并應(yīng)用到序列推薦中，這些深度學(xué)習(xí)方法可以表征用戶項(xiàng)目的動(dòng)態(tài)交互，并學(xué)習(xí)有效的用戶行為表示.還有研究將用戶或物品的上下文信息融合到模型中來提高預(yù)測(cè)性能.實(shí)驗(yàn)已經(jīng)證實(shí)了這些實(shí)驗(yàn)的優(yōu)點(diǎn)，但是仍然存在以下問題：忽略了用戶的微觀行為.用戶的微觀行為即是用戶對(duì)項(xiàng)目交互的具體操作，往往可以更加細(xì)致得刻畫用戶的興趣.如圖1所示，本文以電子購(gòu)物網(wǎng)站為例解釋考慮用戶微觀行為給序列推薦帶來的意義.

圖1 用戶微觀行為在兩個(gè)不同序列中的影響Fig.1 Influence of user micro behavior in two different sequences

在圖1中，分別展示了兩個(gè)不同序列的宏觀行為和微觀行為，可以看出用戶的每一個(gè)宏觀行為都是由一系列微觀行為組成的，這些微觀行為體現(xiàn)了用戶興趣強(qiáng)弱的不同.同樣是想要買一件襯衫，在序列S1中，用戶瀏覽了襯衫1的詳情介紹，接著又看了其他用戶對(duì)于襯衫1的評(píng)論，并將其加入了購(gòu)物車，接著瀏覽了襯衫2的物品詳情介紹，看了其他用戶對(duì)于襯衫2的評(píng)論，收藏了襯衫2，最后回到了購(gòu)物車頁(yè)面，下單了襯衫1，系統(tǒng)根據(jù)用戶前面這一系列行為，為用戶推薦了褲子1，用戶瀏覽了褲子1的詳情和評(píng)論.在會(huì)話S2中，用戶瀏覽了襯衫1的詳情介紹，接著瀏覽了襯衫2的物品詳情介紹，看了其他用戶對(duì)于襯衫2的評(píng)論，并下單了襯衫2，最后又瀏覽了襯衫1其他用戶對(duì)該襯衫的評(píng)論，系統(tǒng)根據(jù)用戶前面這一系列行為，為用戶推薦了褲子2，用戶瀏覽了褲子2的詳情和評(píng)論.從宏觀角度看，用戶均與襯衫1，襯衫2，襯衫1進(jìn)行了交互，需要預(yù)測(cè)用戶隨后將與哪個(gè)項(xiàng)目進(jìn)行交互，根據(jù)傳統(tǒng)的序列推薦模式，只基于項(xiàng)目序列建模會(huì)話，S1和S2都將出現(xiàn)相同的推薦結(jié)果，因?yàn)樗麄兌际窍群笈c襯衫1，襯衫2，襯衫1進(jìn)行了交互，因此，同一個(gè)項(xiàng)目可能被推薦為兩個(gè)會(huì)話的下一個(gè)交互項(xiàng)目，這與上圖中的觀察結(jié)果不一致.而從微觀角度來看，用戶的一系列微行為展示了用戶對(duì)項(xiàng)目的不同操作體現(xiàn)了用戶對(duì)該項(xiàng)目的興趣強(qiáng)弱，提供了對(duì)用戶序列的更細(xì)粒度深入的理解，例如，用戶收藏的項(xiàng)目可能比僅僅瀏覽詳情和評(píng)論的項(xiàng)目興趣更大，而用戶下單的項(xiàng)目則顯示了比收藏的項(xiàng)目更強(qiáng)的興趣.因此，利用并開發(fā)用戶微觀行為信息對(duì)于提升序列推薦系統(tǒng)的性能有巨大的影響.

在本文中，從用戶微觀行為的角度研究序列推薦的問題，提出了一種融合項(xiàng)目序列與微觀行為的序列推薦方法(A Sequential Recommendation Method for Integrating Item Sequence and Micro-behavior，簡(jiǎn)寫ISM-SR).在該模型中，用戶序列由宏觀序列與微觀序列組成.具體來說，用戶的宏觀序列為傳統(tǒng)意義上用戶交互的一系列項(xiàng)目，而微觀序列就是與項(xiàng)目交互的具體操作序列.為了學(xué)習(xí)用戶的會(huì)話序列并為其產(chǎn)生推薦，又因宏觀序列與微觀行為序列具有不同的特點(diǎn)，本研究將用戶的項(xiàng)序列與操作行為序列分別輸入GGNN(Gated Graph Neural Network，門控圖神經(jīng)網(wǎng)絡(luò))和Transformer來學(xué)習(xí)各自的嵌入，并生成會(huì)話表示，學(xué)習(xí)會(huì)話序列的表示并為其產(chǎn)生推薦.本文的主要工作可歸納如下：

1)提出了項(xiàng)目序列與用戶微觀行為融合的方法，對(duì)用戶偏好提供了更加細(xì)粒度與深入的了解；

2)根據(jù)項(xiàng)序列與操作序列的不同特性，使用GGNN和Transformer分別對(duì)序列進(jìn)行建模，實(shí)驗(yàn)證明，本文的方法有效的提高了序列推薦系統(tǒng)的性能.

2 相關(guān)工作

2.1 傳統(tǒng)的序列推薦方法

傳統(tǒng)的序列推薦模型包括基于馬爾可夫鏈的模型以及融合上下文信息的方法.

基于馬爾可夫鏈的序列推薦方法為了預(yù)測(cè)下一次交互，通常會(huì)采用Markov鏈模型對(duì)用戶和商品的交互轉(zhuǎn)換進(jìn)行建模，最簡(jiǎn)單的基于馬爾可夫鏈的方法利用訓(xùn)練集[17]中的轉(zhuǎn)移頻率啟發(fā)式地計(jì)算轉(zhuǎn)移矩陣.但是，此方法不能處理未觀察到的轉(zhuǎn)換.FPMC方法[16]提出了一種解決方案，該方法使用張量分解技術(shù)分解個(gè)性化轉(zhuǎn)移矩陣.而Chen等[1]將項(xiàng)目嵌入到歐幾里得空間中，并通過項(xiàng)目嵌入的歐幾里得距離來估計(jì)項(xiàng)目之間的轉(zhuǎn)移概率.由于當(dāng)考慮更多先前的項(xiàng)時(shí)，狀態(tài)大小很快就變得難以管理.融合上下文信息的序列推薦方法考慮使用項(xiàng)目的鄰域信息或流行度信息并以此來提高序列推薦系統(tǒng)的性能.早期的KNN方法通過考慮交互時(shí)間來捕獲項(xiàng)目的最新共現(xiàn)信息具有一定的有效性，SKNN方法及其變體[6，10]將整個(gè)當(dāng)前會(huì)話與訓(xùn)練數(shù)據(jù)中的過去會(huì)話進(jìn)行比較，以確定要推薦的項(xiàng)目，然而，SKNN并沒有考慮到會(huì)話中現(xiàn)成的順序和時(shí)間信息.

2.2 基于深層神經(jīng)網(wǎng)絡(luò)的序列推薦方法

深層神經(jīng)網(wǎng)絡(luò)(DNN)能夠在一個(gè)序列中模擬和捕捉不同實(shí)體(如用戶、項(xiàng)目、交互)之間的復(fù)雜的綜合關(guān)系，因此在過去的幾年中，DNN幾乎占據(jù)了序列化推薦的主導(dǎo)地位.尤其是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型，包括GRU和LSTM，B等[2]最大的貢獻(xiàn)就是第一次將RNN應(yīng)用到序列推薦中來，將項(xiàng)目編碼成one-hot嵌入輸入到基于GRU的RNN的模型中并實(shí)現(xiàn)推薦，文獻(xiàn)[3]在文獻(xiàn)[2]的基礎(chǔ)上提出了一種數(shù)據(jù)增強(qiáng)技術(shù)，同時(shí)改變輸入數(shù)據(jù)的數(shù)據(jù)分布，改進(jìn)了模型的性能；Wu[4]等人為了獲得準(zhǔn)確的項(xiàng)目嵌入和考慮項(xiàng)目的復(fù)雜轉(zhuǎn)換，將序列建模為圖形結(jié)構(gòu)數(shù)據(jù)，提出了基于圖神經(jīng)網(wǎng)絡(luò)的序列推薦方法，同樣也有將注意力網(wǎng)絡(luò)應(yīng)用到序列推薦中的方法，如Liu等[5]提出了一種新的短期注意記憶優(yōu)先級(jí)模型，該模型能夠從會(huì)話上下文的長(zhǎng)期記憶中獲取用戶的一般興趣，同時(shí)考慮到用戶當(dāng)前的興趣來自于最后一次點(diǎn)擊的短期記憶，具有較好的推薦性能等.基于知識(shí)的推薦近年來在提高序列推薦性能的任務(wù)中發(fā)揮著越來越重要的作用.文獻(xiàn)[18]根據(jù)知識(shí)圖譜中中實(shí)體之間的不同關(guān)系使用Node2Vec來學(xué)習(xí)用戶以及項(xiàng)目表示；Wang[19]等利用知識(shí)圖譜嵌入模型TransD來學(xué)習(xí)知識(shí)嵌入，提出了深度模型DKN等.盡管這些深度神經(jīng)網(wǎng)絡(luò)模型在序列推薦任務(wù)重都取得了不錯(cuò)的效果，但是他們都忽略了用戶微觀行為的重要性，因此仍然有改進(jìn)的地方.當(dāng)然，目前為止也有將用戶微觀行為考慮其中的模型，文獻(xiàn)[8]采用LSTM對(duì)微觀序列進(jìn)行建模，但是該方法忽略了項(xiàng)目序列和操作序列的不同轉(zhuǎn)換特性.

2.3 基于Transformer的序列推薦方法

受到Transformer在自然語(yǔ)言處理領(lǐng)域獲得的巨大成功的啟發(fā)，已經(jīng)有學(xué)者將Transformer應(yīng)用到序列推薦系統(tǒng)來，SASRec[7]使用了與Transformer模型的編碼器部分類似的架構(gòu)，試圖從用戶的操作歷史中識(shí)別哪些項(xiàng)是相關(guān)的，并使用它們來預(yù)測(cè)下一個(gè)項(xiàng)；Wu[9]等人針對(duì)SASRec本質(zhì)上是個(gè)非個(gè)性化模型，提出了一個(gè)個(gè)性化Transformer模型；Chen[12]等人提出了BST架構(gòu)，利用Transformer層學(xué)習(xí)序列中每個(gè)項(xiàng)的更深層表示等.但是，這些模型都是在宏觀層面對(duì)序列進(jìn)行分析，沒有考慮到用戶的微觀行為.

與上述方法不同，本文融合了宏觀層面的項(xiàng)目序列以及微觀的操作序列，分別采用不同的方法從多層次多角度建模學(xué)習(xí)用戶序列特征，捕獲到用戶更加細(xì)粒度的偏好和意圖，以此來產(chǎn)生下一項(xiàng)推薦.

3 ISM-SR方法

在本節(jié)中，首先將形式化描述本文所要解決的序列推薦問題，然后對(duì)模型框架進(jìn)行簡(jiǎn)單概括與介紹，接著詳細(xì)介紹ISM-SR序列推薦方法的細(xì)節(jié)，包括多層次序列特征提取，模型的構(gòu)建以及生成最終推薦等.

3.1 問題描述

3.2 模型框架

ISM-SR的總體模型框架如圖2所示.圖2中的黑色實(shí)心矩形表示項(xiàng)目序列嵌入，格子矩形表示微觀操作序列嵌入，斜線矩形表示模型的其他操作.首先為了捕捉用戶興趣偏好，本研究分別使用不同的模型，GGNN以及Transformer學(xué)習(xí)項(xiàng)目嵌入以及微觀操作序列嵌入，學(xué)習(xí)后將兩者串聯(lián)起來作為最終的序列表示s，將當(dāng)前的序列表示s以及候選項(xiàng)目j的嵌入輸入多層感知器層(MLP，Multilayer Perceptron)以及softmax層計(jì)算得到可能為下一項(xiàng)推薦的得分，為當(dāng)前用戶推薦得分最高的項(xiàng)目，完成模型的推薦功能.

圖2 ISM-SR的總體模型框架Fig.2 General model framework of ISM-SR

3.3 多層次序列特征提取

在推薦系統(tǒng)領(lǐng)域，海量的用戶行為數(shù)據(jù)從本質(zhì)上體現(xiàn)出了用戶的興趣偏好，例如在電子購(gòu)物網(wǎng)站中，用戶對(duì)商品的評(píng)價(jià)打星體現(xiàn)出了用戶在購(gòu)買完該商品驗(yàn)貨后對(duì)該商品的滿意程度，打一顆星表示非常不滿意，五顆星表示十分滿意，用戶可能以后還會(huì)買它或者類似的商品等.提取用戶行為數(shù)據(jù)中序列特征對(duì)于本文的序列推薦任務(wù)至關(guān)重要，在本節(jié)中，將介紹如何學(xué)習(xí)序列嵌入，獲得給定會(huì)話表示以便于提取用戶行為特征.在本文的研究中，用戶的序列包括項(xiàng)目序列以及操作序列，兩種序列對(duì)任務(wù)建模有著不同的影響，并表現(xiàn)著不同的轉(zhuǎn)換模式，因此采用不同的方式進(jìn)行建模.

3.3.1 項(xiàng)目序列嵌入

首先，使用門控圖神經(jīng)網(wǎng)絡(luò)對(duì)項(xiàng)目序列進(jìn)行建模，作為圖神經(jīng)網(wǎng)絡(luò)的一種，門控圖神經(jīng)網(wǎng)絡(luò)近年來被用于建模自然語(yǔ)言處理等領(lǐng)域，如腳本事件預(yù)測(cè)、圖像分類、情境識(shí)別等[11].而項(xiàng)目序列的轉(zhuǎn)換形式不是連續(xù)項(xiàng)目之間的單一方式，前面的項(xiàng)與后面的項(xiàng)彼此都相關(guān)，相互依賴，因此這種轉(zhuǎn)換模式依賴于雙向上下文，因此為了考慮到節(jié)點(diǎn)與節(jié)點(diǎn)之間的聯(lián)系以及項(xiàng)目的復(fù)雜轉(zhuǎn)換，可以通過圖控神經(jīng)網(wǎng)絡(luò)來建模，它能夠在考慮豐富節(jié)點(diǎn)鏈接的情況下自動(dòng)提取圖的特征，非常適合項(xiàng)目序列的建模以及特征的提取.

(1)

1https://jdata.jd.com/html/detail.html?id=8

圖G中所有項(xiàng)目節(jié)點(diǎn)的嵌入表示為：

(2)

3.3.2 操作序列嵌入

因?yàn)橛脩魧?duì)項(xiàng)目的不同操作體現(xiàn)了用戶對(duì)該項(xiàng)目的興趣強(qiáng)弱，例如，用戶收藏的項(xiàng)目可能比僅僅瀏覽詳情和評(píng)論的項(xiàng)目興趣更大，而用戶下單的項(xiàng)目則顯示了比收藏的項(xiàng)目更強(qiáng)的興趣.此外，用戶操作序列中各個(gè)操作之間也表現(xiàn)出一定的順序性，而順序?qū)τ陬A(yù)測(cè)用戶未來的交互項(xiàng)目非常重要.如收藏了項(xiàng)目X的用戶，下一步可能會(huì)直接下單購(gòu)買項(xiàng)目X.近年來新出現(xiàn)的序列模型Transformer在機(jī)器翻譯任務(wù)中取得了較先進(jìn)的性能和效率，與現(xiàn)有的基于卷積模塊或基于循環(huán)模塊的順序模型不一樣，Transformer是一種完全基于自注意力機(jī)制的模型，加入了位置嵌入又使這種機(jī)制非常高效，能夠考慮到序列中的順序特征.它的思想是，每個(gè)順序輸出依賴于輸入的相關(guān)部分，而這些相關(guān)部分才是模型應(yīng)該關(guān)注的.受到啟發(fā)，本文應(yīng)用自注意力機(jī)制，通過考慮嵌入階段操作序列的順序信息，將Transformer方法應(yīng)用到序列推薦中來.通過它來提取用戶操作序列中微觀行為之間的依賴關(guān)系，結(jié)合用戶項(xiàng)目序列的學(xué)習(xí)，輸入MLP網(wǎng)絡(luò)學(xué)習(xí)隱藏特征之間的相互作用，以產(chǎn)生用戶的下一項(xiàng)推薦.

對(duì)于操作序列O={o1,o2,o3,o4,…,on}，將其嵌入矩陣設(shè)為M={M1,M2,M3,…Mn}，M∈Rn×d此外，由于自注意力模型中不包含學(xué)習(xí)序列中項(xiàng)之間位置的模塊，而本研究又需要利用序列中的順序信息，因此在操作序列輸入嵌入中加入一個(gè)可學(xué)習(xí)的位置嵌入P∈Rn×d，輸入嵌入可表示如下：

(3)

圖3 Transformer層Fig.3 Transformer layer

位置嵌入使用文獻(xiàn)[13]所提出的方法，使用不同頻率的正弦和余弦函數(shù)，將位置編碼添加到輸入嵌入中，將最終獲得的操作序列嵌入輸入transformer層，它通過捕獲序列中與其他項(xiàng)的關(guān)系來學(xué)習(xí)每個(gè)項(xiàng)的更深層次的表示，如圖3所示，transformer層由由一個(gè)個(gè)自注意力模塊堆疊而成，而每一個(gè)自注意力模塊又由自注意力層以及逐點(diǎn)前饋網(wǎng)絡(luò)層組成.注意力[13]的計(jì)算方法如下：

(4)

S=MH(E)=Concat(head1,head2,…,headh)WHheadi
=Attention(EWQ,EWQ,EWV)

(5)

其中投影矩陣WQ，WQ，WV∈Rd×d，h表示head的數(shù)目，為了使模型具有非線性，采用逐點(diǎn)前饋網(wǎng)絡(luò)：

F=FFN(S)=RELU(SW(1)+b(1))W(2)+b(2)

(6)

其中，W(1),W(2),b(1),b(2)都是可學(xué)習(xí)的參數(shù)，隨著網(wǎng)絡(luò)的加深，為了避免過擬合，在將嵌入輸入自我注意層和FFN層前對(duì)輸入進(jìn)行層歸一化，對(duì)層的輸出進(jìn)行dropout，然后再將輸入x加到最終的輸出中：

f′(x)=x+Dropout(g(LayerNorm(x)))

(7)

其中，f(x)表示自我注意層或FFN層.為了進(jìn)一步建模操作序列背后的復(fù)雜關(guān)系，將自注意力塊進(jìn)行堆疊，其中第b塊定義如下：

Sb=MH(F(b-1))
Fb=FFN(Sb)

(8)

經(jīng)過Transformer層的嵌入學(xué)習(xí)后，將學(xué)習(xí)到的輸出表示為:

(9)

(10)

⊕表示串聯(lián)運(yùn)算.通過這種操作序列嵌入的方法，具有相同項(xiàng)目序列但是微觀操作不同的兩個(gè)序列然后具有不同的表示，可以捕獲用戶更加細(xì)粒度的偏好和意圖.

3.4 生成推薦

(11)

為了訓(xùn)練模型ISM-SR，本文使用二元交叉熵作為序列推薦任務(wù)的損失函數(shù)：

(12)

其中，S表示序列集合，D表示項(xiàng)目集合，Ysj∈(0,1)表示用戶是否真的會(huì)與j產(chǎn)生交互，如果Ysj=1，表示用戶的下一項(xiàng)交互項(xiàng)目是j，如果Ysj=0，表示用戶的下一項(xiàng)交互項(xiàng)目不是j.

4 實(shí)驗(yàn)與評(píng)價(jià)

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本次實(shí)驗(yàn)采用的數(shù)據(jù)集為JDATA1數(shù)據(jù)集，該數(shù)據(jù)集來自中國(guó)著名的電子商務(wù)網(wǎng)站京東，包含了京東網(wǎng)站上兩個(gè)月的用戶行為數(shù)據(jù).其中具體的操作類型有瀏覽、下單、關(guān)注、評(píng)論以及加購(gòu)物車.

對(duì)于該數(shù)據(jù)集，本研究將會(huì)話的持續(xù)時(shí)間閾值設(shè)置為1小時(shí)，過濾在數(shù)據(jù)集中出現(xiàn)次數(shù)少于3次的項(xiàng)目以及長(zhǎng)度為1的會(huì)話.實(shí)驗(yàn)中，為了驗(yàn)證該模型的序列推薦的有效性，將數(shù)據(jù)預(yù)處理后的數(shù)據(jù)分為訓(xùn)練集和測(cè)試集后在輸入序列推薦模型，將早期的90%用戶行為作為訓(xùn)練集，并將近期10%的用戶行為作為測(cè)試集.為了進(jìn)一步驗(yàn)證本文提出的模型的有效性，模擬了一個(gè)稀疏的JDATA數(shù)據(jù)集，僅保留最初的1%用戶行為，將該稀疏數(shù)據(jù)集表示為Few.在模型的預(yù)測(cè)過程中，首先會(huì)計(jì)算項(xiàng)目集中所有項(xiàng)目的匹配分?jǐn)?shù)，然后根據(jù)分?jǐn)?shù)的大小生成top-k列表.

4.2 實(shí)驗(yàn)配置

實(shí)驗(yàn)中數(shù)據(jù)預(yù)處理、多層次序列特征提取、序列推薦模型的構(gòu)建均采用python語(yǔ)言來實(shí)現(xiàn).具體硬件環(huán)境為CPU：Intel Xeon E5-2630 v3，內(nèi)存：32GB，顯卡：NVIDIA Geforce GTX 1080 Ti 2張，Window10系統(tǒng)，軟件環(huán)境為Pytorch 1.8.0.

4.3 評(píng)價(jià)指標(biāo)

本文使用如下兩個(gè)指標(biāo)來評(píng)估ISM-SR模型推薦性能，包括Hit@k，MRR@k.

Hit@k：命中率，能直觀的衡量測(cè)試目標(biāo)項(xiàng)目是否存在于列表的top-k項(xiàng)中，是基于召回的度量，測(cè)量了推薦的準(zhǔn)確性.

MRR@k：表示用戶真正交互的項(xiàng)目在推薦列表中位置序號(hào)的倒數(shù)平均值，如果用戶真正交互的項(xiàng)目沒有出現(xiàn)在top-k列表中，則MRR為零.較大的MRR值表示正確的推薦位于推薦列表中較高的位置，表明此時(shí)的推薦性能更好.在實(shí)驗(yàn)中，K取20.

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 敏感度分析

本文提出了ISM-SR算法，該算法包含眾多不同的參數(shù)，尤其是transformer的不同組件，包括自注意力模塊的個(gè)數(shù)b，模型中的所有子層以及嵌入層產(chǎn)生維度為d，學(xué)習(xí)率(Learning rate，lr)等.這一部分將在JDATA數(shù)據(jù)集上對(duì)這些參數(shù)進(jìn)行分析與研究.

對(duì)于超參數(shù)學(xué)習(xí)率lr，它的值過小可能導(dǎo)致模型收斂速度較慢，需要更長(zhǎng)時(shí)間的訓(xùn)練，當(dāng)學(xué)習(xí)率過大可能會(huì)導(dǎo)致模型不收斂，損失loss不斷上下震蕩.為了對(duì)比出最優(yōu)的參數(shù)lr，在其他參數(shù)不變的情況下，lr取不同的值，Hit@20以及MRR@20的變化情況如圖4(a)、圖4(b)所示.

圖4 學(xué)習(xí)率的影響Fig.4 Influencce of LR

從圖4(a)、圖4(b)中可以看出，隨著lr取值越來越大，Hit@20以及MRR@20的值也在增大，實(shí)驗(yàn)效果越好，在lr=0.01時(shí)，實(shí)驗(yàn)效果達(dá)到最好，但是隨著lr取更大的值，實(shí)驗(yàn)效果變差，因此，在本模型中，lr可取0.01.

接著，展示了自注意力模塊疊加對(duì)實(shí)驗(yàn)的影響.如圖5(a)、圖5(b)所示，實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于本模型更多的自注意模塊是首選的，對(duì)于JDATA數(shù)據(jù)集，在b=5時(shí)獲得了最佳性能.

圖5 自注意模塊個(gè)數(shù)的影響Fig.5 Influence of the number of modules

在圖6中，還分析了一個(gè)關(guān)鍵的超參數(shù)潛在維度d的影響，當(dāng)d取64，128，256，512時(shí)，可以看到兩個(gè)評(píng)價(jià)指數(shù)的值都是先上升然后逐漸降低，模型的推薦性能也因此先上升然后逐漸降低，因?yàn)榍度刖S度過大會(huì)導(dǎo)致過擬合現(xiàn)象，說明實(shí)驗(yàn)中取較大的嵌入維度不一定會(huì)得到更好的模型性能，當(dāng)嵌入維度取128時(shí)，模型性能最好.

圖6 潛在維度d對(duì)實(shí)驗(yàn)效果的影響Fig.6 Influence of potential dimension d on experimental results

實(shí)驗(yàn)中對(duì)于模型中的其他參數(shù)如多頭注意力中頭的個(gè)數(shù)nhead等同樣進(jìn)行了分析，由于文章篇幅限制就不再描述.

4.4.2 算法對(duì)比

經(jīng)過大量的實(shí)驗(yàn)，模型ISM-SR中的各種參數(shù)得到了調(diào)整.為了探究本文提出的模型的整體推薦性能，接下來將與以下幾種方法在JDATA數(shù)據(jù)集以及Few數(shù)據(jù)集上進(jìn)行對(duì)比.

FPMC[16]：一種基于個(gè)性化馬爾可夫鏈以及矩陣分解的序列推薦預(yù)測(cè)方法.

GEU4Rec[2]：第一次將RNN應(yīng)用到序列推薦中來，將項(xiàng)目編碼成one-hot嵌入輸入到基于GRU的RNN的模型中并實(shí)現(xiàn)推薦.

GEU4Rec+[3]：在文獻(xiàn)[2]的基礎(chǔ)上提出了一種數(shù)據(jù)增強(qiáng)技術(shù)，同時(shí)改變輸入數(shù)據(jù)的數(shù)據(jù)分布，改進(jìn)了模型的性能.

NARM[14]：基于GRU的序列推薦模型，引入注意力機(jī)制考慮用戶偏好的長(zhǎng)期依賴關(guān)系.

SR-GNN[4]：將序列建模為圖形結(jié)構(gòu)數(shù)據(jù)，提出了基于圖神經(jīng)網(wǎng)絡(luò)的序列推薦方法.

MKM-SR[15]：同樣是將用戶微觀行為考慮其中，使用GRU處理用戶操作序列.

此外，為了證明在本文模型中納入微觀行為有效性，進(jìn)一步提出ISM-SR的一些變體進(jìn)行比較.

IS-SR：該變體去除了操作嵌入學(xué)習(xí)的模塊，剩下的模塊與ISM-SR相同；

ISM-SR-RPE：該變體去除了操作嵌入學(xué)習(xí)模塊中的位置嵌入，也就是僅考慮序列中用戶的具體操作，不考慮各個(gè)操作的順序.

為了進(jìn)行公平比較，ISM-SR以及對(duì)比模型使用相同的嵌入維度，設(shè)置為128，batch_size設(shè)置為128，多頭注意力的nhead取8，lr=0.01，b=5.如表1所示，展示了所有方法的推薦性能對(duì)比.

從表1可以看出，在JDATA和Few這兩個(gè)數(shù)據(jù)集上，相對(duì)于傳統(tǒng)的推薦方法FPMC，深度神經(jīng)網(wǎng)絡(luò)方法GEU4Rec，GEU4Rec+，NARM以及SR-GNN取得了更好的實(shí)驗(yàn)效果，是因?yàn)镕PMC方法只捕捉一階的馬爾可夫關(guān)系，但是現(xiàn)實(shí)生活中用戶的偏好會(huì)受到各種因素的影響產(chǎn)生間歇性的變化，并不是絕對(duì)連續(xù)的.

表1 推薦性能對(duì)比Table 1 Recommended performance comparison

而本文所提出的模型ISM-SR的推薦效果優(yōu)于以上所提出的所有方法，在各項(xiàng)指標(biāo)都有所提升.與GEU4Rec，GEU4Rec+相比，ISM-SR方法的推薦性能提高很多，這是因?yàn)檫@兩種方法雖然考慮到了用戶的序列行為，使用RNN來解決序列問題，但是沒有將用戶的微觀行為即用戶與項(xiàng)目相互時(shí)的具體操作考慮其中；NARM以及SR-GNN方法比前兩種深度神經(jīng)網(wǎng)絡(luò)方法取得了更好的效果，這是因?yàn)镹ARM方法在使用基于具有GRU單元的RNN來建模用戶行為序列，SR-GNN為了使用了圖神經(jīng)網(wǎng)絡(luò)來建模順序序列，同時(shí)，這兩種方法還加入了注意力機(jī)制來捕獲用戶的興趣，提高了模型性能，但是它們同樣沒有考慮到用戶的微觀操作行為，本文的方法將用戶的微觀操作行為考慮進(jìn)來，且根據(jù)項(xiàng)目序列與操作序列的不同特點(diǎn)使用了不同的方法進(jìn)行建模，取得了比NARM以及SR-GNN方法更好的效果.而與MKM-SR方法相比，本方法使用Transformer來處理用戶的操作序列，一方面Transformer比GRU可以捕獲時(shí)間序列中更加長(zhǎng)期的依賴，另一方面Transformer的并行計(jì)算能力強(qiáng)，通過自注意力模塊提取不同的特征，計(jì)算效率高，節(jié)省時(shí)間，同時(shí)它的自注意力機(jī)制也使模型具有一定的可解釋性.

與ISM-SR的兩種變體方法相比，ISM-SR取得了更好的序列推薦效果，證明了本文在序列推薦任務(wù)中將用戶操作微觀行為考慮進(jìn)來的有效性，同時(shí)各個(gè)操作行為的順序也是十分重要的因素，可以進(jìn)一步提升序列推薦的效果.

5 總結(jié)與展望

對(duì)于序列推薦任務(wù)，在用戶宏觀項(xiàng)目序列的基礎(chǔ)上，本文從更加細(xì)粒度的角度出發(fā)，提出將用戶微觀行為即用戶與項(xiàng)目交互的具體操作序列考慮進(jìn)來，并根據(jù)宏觀項(xiàng)目序列與微觀操作序列的不同轉(zhuǎn)換模式，分別采用圖神經(jīng)網(wǎng)絡(luò)以及Transformer來分別建模序列，以便獲取不同層次的用戶特征，將學(xué)習(xí)出來的兩種序列嵌入串聯(lián)起來輸入MLP及softmax網(wǎng)絡(luò)，計(jì)算出可能為下一項(xiàng)推薦的得分，以產(chǎn)生用戶的下一項(xiàng)推薦.綜合實(shí)驗(yàn)表明，本文提出的方法優(yōu)于基線方法，有效地提高了推薦系統(tǒng)的性能.

未來的工作可以在此基礎(chǔ)上，考慮融合當(dāng)前會(huì)話的上下文信息，如鄰域知識(shí)、流行度因素等，應(yīng)該會(huì)對(duì)推薦任務(wù)起到一定的輔助作用.