劉縱橫，汪海濤，姜 瑛，陳 星

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，昆明 650500)

0 引 言

推薦系統(tǒng)在互聯(lián)網(wǎng)中有著廣泛的應(yīng)用，一個(gè)優(yōu)秀的推薦系統(tǒng)可以幫助用戶快速、準(zhǔn)確地在海量的信息中尋找感興趣的內(nèi)容。它改變了人們獲取信息的方式，給用戶帶來了極大的便利。推薦系統(tǒng)目前主要可以分為2類：常規(guī)推薦系統(tǒng)與序列推薦系統(tǒng)。常規(guī)推薦系統(tǒng)的目的是學(xué)習(xí)用戶的靜態(tài)偏好，靜態(tài)偏好主要通過統(tǒng)計(jì)獲得而且更新緩慢。基于因子分解的協(xié)同過濾系統(tǒng)[1]就是這個(gè)領(lǐng)域中較有影響力的算法。但是常規(guī)推薦系統(tǒng)無法捕獲到用戶的興趣變化，現(xiàn)階段用戶行為偏好具有內(nèi)在的可變性，在一定時(shí)間段內(nèi)會(huì)受到多種因素變化的影響，例如需求的變化、興趣的變化等。相比于常規(guī)推薦系統(tǒng)，序列推薦系統(tǒng)可以建模用戶的交互序列，捕獲到用戶興趣的動(dòng)態(tài)變化，已經(jīng)成為推薦系統(tǒng)研究領(lǐng)域的熱點(diǎn)方向。

在序列推薦系統(tǒng)的建模階段，循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)及其變種網(wǎng)絡(luò)占有主流地位[2]，但是RNN在對用戶序列建模過程中依賴于過去的隱藏狀態(tài)，無法對網(wǎng)絡(luò)進(jìn)行并行運(yùn)算，所以建模速度是RNN網(wǎng)絡(luò)的劣勢。與RNN相比，時(shí)間卷積網(wǎng)絡(luò)[3](temporal convolutional network, TCN)不依賴于整個(gè)過去的隱藏狀態(tài)，可以充分利用序列進(jìn)行并行計(jì)算。因此，它在訓(xùn)練效率和預(yù)測性能上相較于RNN有一定的優(yōu)勢。受時(shí)間卷積網(wǎng)絡(luò)在序列建模中有不錯(cuò)表現(xiàn)的啟發(fā)，本文將時(shí)間卷積網(wǎng)絡(luò)引入用戶近期序列建模，用于提高基于RNN的推薦系統(tǒng)的訓(xùn)練效率與預(yù)測準(zhǔn)確度。

用戶的長期偏好反映的是用戶較為固定的興趣，如一直喜歡某種類型的電影，用戶的近期偏好則反映的是最近的消費(fèi)需求。盡管用戶的喜好隨時(shí)間動(dòng)態(tài)變化[4-5]，但是仍會(huì)存在一些長期穩(wěn)定的偏好影響用戶的行為。現(xiàn)有方法傾向于將用戶的長期偏好與近期偏好相結(jié)合[6]，但是2個(gè)方面簡單的結(jié)合是不夠的，因?yàn)檫^往的物品序列會(huì)隱含用戶的下一項(xiàng)選擇的傾向性，所以本文提出了一種基于注意力的融合方法來融合特定情境下用戶的長期偏好和近期偏好。例如，下一個(gè)交互項(xiàng)目在上一個(gè)交互項(xiàng)目之后較短時(shí)間發(fā)生，則近期的用戶交互可能在預(yù)測中起主要作用，否則，應(yīng)該將更多的權(quán)重分配到用戶的長期偏好。

基于以上表述，本文提出了一種基于混合神經(jīng)網(wǎng)絡(luò)模型的序列推薦算法，命名為HNNRec。本文的貢獻(xiàn)主要有以下2點(diǎn)。

1)與先前大部分基于RNN的模型不同，本文在用戶的近期偏好建模過程中，將自然語言處理中的時(shí)間卷積網(wǎng)絡(luò)引入到推薦系統(tǒng)，對用戶的近期偏好進(jìn)行建模以提高推薦的效率與準(zhǔn)確度。

2)本文模型在考慮用戶近期偏好與長期偏好的基礎(chǔ)上進(jìn)一步動(dòng)態(tài)融合了用戶2個(gè)階段的偏好，提高了推薦的性能。

最后，本文在公共數(shù)據(jù)集MovieLens10M與LastFM上進(jìn)行了實(shí)驗(yàn)，結(jié)果也證明了模型的有效性。

1 相關(guān)工作

在序列推薦的早期階段，主要依靠馬爾科夫鏈[7]和基于特征的矩陣分解[8-9]方法。與深度學(xué)習(xí)方法相比，馬爾可夫鏈存在無法對復(fù)雜數(shù)據(jù)建模等缺陷。文獻(xiàn)Caser[10]認(rèn)為，馬爾可夫鏈方法無法對聯(lián)合級(jí)序列模式進(jìn)行建模，而且也無法捕獲到用戶項(xiàng)目序列跳躍行為對于推薦結(jié)果的影響。而基于因數(shù)分解的方法雖然通過序列項(xiàng)矢量的總和對序列建模，但是沒有考慮到用戶交互序列順序?qū)τ谕扑]結(jié)果的影響。

與傳統(tǒng)的推薦模型相比，深度學(xué)習(xí)模型在捕捉用戶序列演變方面顯示出了自己的優(yōu)勢，例如RNN這類網(wǎng)絡(luò)模型在學(xué)習(xí)興趣演變，構(gòu)建基于會(huì)話的推薦系統(tǒng)，下一項(xiàng)推薦等領(lǐng)域顯示出自己強(qiáng)大的功能。與基于RNN的推薦算法相比，基于卷積神經(jīng)網(wǎng)絡(luò)的推薦算法更具挑戰(zhàn)性。Tuan等[11]設(shè)計(jì)了一種3D CNN模型用于高維建模，證明了用戶序列與元素復(fù)雜特征相關(guān)聯(lián)時(shí)具有有效性；An等[12]將交互序列編碼為三維向量，并使用2D卷積濾波器學(xué)習(xí)局部的特征；Tang和Wang等[10]將水平與垂直2種CNN應(yīng)用于推薦系統(tǒng)，并且取得了不錯(cuò)的效果，但是它分開學(xué)習(xí)了用戶與項(xiàng)目的嵌入，沒有捕獲到其中的交互信息，也沒有加入上下文信息。

在神經(jīng)網(wǎng)絡(luò)中，注意力機(jī)制[13]允許各部分在壓縮成單個(gè)表達(dá)式時(shí)以不同方式對最終的預(yù)測做出貢獻(xiàn)。在推薦算法中，注意力機(jī)制在算法模型中學(xué)習(xí)用戶交互序列中項(xiàng)目的不同權(quán)重，并且根據(jù)用戶的交互序列動(dòng)態(tài)調(diào)整用戶的偏好預(yù)測[14]。Xiao等[15]介紹了基于深度學(xué)習(xí)的注意力機(jī)制，并提出了注意力因子分解機(jī)(attentional factorization machines,AFM)模型。AFM的重要思想是建立一個(gè)注意力網(wǎng)絡(luò)，并依據(jù)此網(wǎng)絡(luò)推導(dǎo)用戶評(píng)分列表中每個(gè)交互的相對重要程度。最近的一些研究也調(diào)查了其在推薦任務(wù)中的能力，比如將注意力機(jī)制與神經(jīng)網(wǎng)絡(luò)結(jié)合，彌補(bǔ)了傳統(tǒng)ItemCF預(yù)測準(zhǔn)確度低的問題[16]。Wu等[17]提出了一種基于情景的注意力機(jī)制，提高了推薦的性能與可解釋性，但是并沒有對用戶進(jìn)行顯式建模；Li等[18]基于注意力機(jī)制建模了會(huì)話中的連續(xù)偏好信息，彌補(bǔ)了傳統(tǒng)建模方式的不足。

2 模型算法

本節(jié)對模型算法進(jìn)行詳細(xì)介紹。第1部分是用戶交互項(xiàng)目嵌入；第2部分是對用戶交互序列建模，預(yù)測用戶偏好。HNNRec模型如圖1。

圖1 算法整體流程圖Fig.1 Overall flow chart of the algorithm

2.1 項(xiàng)目嵌入

項(xiàng)目嵌入的目標(biāo)是在項(xiàng)目序列中學(xué)習(xí)交互序列的相似度，生成項(xiàng)目的統(tǒng)一表示。推薦系統(tǒng)之前的項(xiàng)目嵌入是通過one-hot編碼，然而當(dāng)面對大量的高維數(shù)據(jù)時(shí)，使用one-hot進(jìn)行編碼會(huì)導(dǎo)致無法進(jìn)行較好的優(yōu)化，在模型的基礎(chǔ)上再添加嵌入層又會(huì)對推薦模型的性能產(chǎn)生不小的損耗。針對上述問題，本文引入item2vec來進(jìn)行項(xiàng)目的嵌入。本文使用E={e1,e2,e3,…,en-1,en}來表示用戶交互序列G={I1,I2,I3,…,In}的嵌入向量。

Item2vec的目標(biāo)是最大化以下函數(shù)

(1)

(1)式中：L表示用戶交互序列的長度；xn表示序列中的項(xiàng)目；p(xm|xn)為softmax函數(shù)，此函數(shù)定義為

(2)

(2)式中，wn與vn對應(yīng)xn的目標(biāo)和前后信息的潛在表示向量。(2)式訓(xùn)練過程中存在復(fù)雜度較高的問題。為了降低梯度下降的復(fù)雜度，本文決定使用負(fù)采樣來代替，(2)式可轉(zhuǎn)化為

(3)

(4)

之后，本文通過訓(xùn)練item2vec得到了目標(biāo)項(xiàng)目的向量表示。在基于用戶的交互序列上，item2vec可以產(chǎn)生成K維統(tǒng)一向量，并且為計(jì)算項(xiàng)目相似度提供了條件。

2.2 用戶交互序列建模

本文將用戶的交互序列分為2個(gè)階段：①用戶的近期交互序列；②用戶的長期交互序列。

2.2.1 近期交互序列建模

受到時(shí)間卷積網(wǎng)絡(luò)的啟發(fā)，針對用戶近期交互序列相較于長期交互序列變化頻繁，更需要推薦準(zhǔn)確度與時(shí)間優(yōu)勢的情況，本文將時(shí)間卷積網(wǎng)絡(luò)引入到序列推薦系統(tǒng)之中進(jìn)行用戶近期偏好建模。卷積建模如圖2。

圖2 卷積圖Fig.2 Convolution graph

面對序列問題，如果使用普通的CNN卷積模型會(huì)引起信息泄露，此過程借鑒因果卷積[19]的思想，當(dāng)預(yù)測項(xiàng)目yt時(shí)，不允許卷積濾波器使用yt的信息。在模型中，主要抽象為根據(jù)x1…xt和y1…yt-1去預(yù)測yt，使得yt接近于實(shí)際值，通過以上方式解決普通卷積模型引起的信息泄露的問題。

為了獲得用戶序列項(xiàng)目之間更高級(jí)別的特征表示，常見的方法是增加模型中網(wǎng)絡(luò)的深度，但是會(huì)引起梯度消失等問題，這樣會(huì)使得模型的學(xué)習(xí)遇到困難。所以本文針對更深層的網(wǎng)絡(luò)引入了殘差學(xué)習(xí)[20]，將多個(gè)模型中卷積層堆疊在一起作為一個(gè)塊，然后采用跳過連接方案，將前一層的特征信息傳遞到后一層。跳過連接方案允許顯式擬合殘差映射，從而維護(hù)了輸入信息。

殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖3，將所需的映射表示為H(E)，本文讓殘差塊適合F(E)=H(E)-E的另一個(gè)映射。按元素方式將所需的映射轉(zhuǎn)換為F(E)+E。優(yōu)化殘差映射F(E)比原始的未引用映射H(E)容易得多。

圖3 殘差結(jié)構(gòu)Fig.3 Residual structure

殘差塊包含的分支通過F的轉(zhuǎn)換，其輸出作為(5)式的輸入

o=σ(X+F(x))

(5)

通過以上對于用戶近期交互序列的分析，解決了近期偏好獲取的問題。

2.2.2 長期交互序列建模

與近期交互序列相比，用戶的長期交互序列都較為固定且更新緩慢，所以對時(shí)效性的要求較低。在所有基于RNN的模型中，推薦系統(tǒng)常使用長短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)[19]或門控制單元(gate recurrent unit, GRU)來進(jìn)行用戶建模。在本文的數(shù)據(jù)集中，觀察到LSTM的表現(xiàn)略好于GRU，所以引入LSTM進(jìn)行用戶長期偏好建模。建模過程中序列更新過程為

hk=g(xkW+hk-1U+b)

(6)

(6)式中：g是激活函數(shù)；xk是最新的用戶操作；hk-1是最后一個(gè)隱藏狀態(tài)。(7)式—(11)式為用戶序列建模所涉及的結(jié)構(gòu)以及結(jié)構(gòu)的運(yùn)算過程。

it=σ(Wixt+Uiht-1+bi)

(7)

ft=σ(Wfht-1+Ufht-1+bf)

(8)

Ct=ftct-1+ittanh(Wcht-1+Wcxt+bc)

(9)

Ot=σ(Woxt+Uoht-1+bo)

(10)

ht=ottanh(ct)

(11)

2.2.3 自適應(yīng)融合階段

單純的設(shè)計(jì)用戶的偏好為近期偏好與長期偏好相加并不是一個(gè)好的思路，因?yàn)橛脩舻南乱豁?xiàng)推薦對于2種階段偏好存在一定程度的傾向。本節(jié)設(shè)計(jì)了一種方法來融合用戶的近期偏好與長期偏好。此方法中用戶偏好是否獲得更大的權(quán)重取決于當(dāng)時(shí)的上下文。舉這樣一個(gè)例子，如果行為B在行為A不久之后發(fā)生，那么近期的偏好有大概率會(huì)提供更多的信息?；谧⒁饬σ鲆韵鹿?/p>

(12)

(13)

(14)

(15)

2.3 模型的訓(xùn)練和優(yōu)化

本文將用戶的交互序列的嵌入作為網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)運(yùn)算輸出K維的向量。在模型的整體學(xué)習(xí)階段使用均方誤差作為損失函數(shù)，將此定義為

(16)

(16)式中：L代表用戶交互序列的大小；l代表分界長度；vt表示用戶的下一次交互的項(xiàng)目表示。在實(shí)驗(yàn)中使用AdaGrad對于損失函數(shù)進(jìn)行優(yōu)化。至此，本文已經(jīng)討論了HNNRec的完整階段。

2.4 算法描述

在算法模型中，首先依據(jù)時(shí)間因素將數(shù)據(jù)集劃分為2個(gè)子數(shù)據(jù)集，再將處理之后的數(shù)據(jù)分別輸入到不同階段的網(wǎng)絡(luò)中學(xué)習(xí)各自階段的偏好，之后基于注意力機(jī)制對于各階段生成的預(yù)測進(jìn)行動(dòng)態(tài)融合，最后輸出推薦列表。

算法基于混合神經(jīng)網(wǎng)絡(luò)的序列推薦算法

輸入：數(shù)據(jù)集D。

輸出：Top-N推薦列表。

步驟1將數(shù)據(jù)集D依據(jù)時(shí)間分為2部分子數(shù)據(jù)集D1與D2，D1代表長期用戶序列數(shù)據(jù)集，D2代表近期用戶序列數(shù)據(jù)集；

步驟2數(shù)據(jù)集D通過item2vec訓(xùn)練獲得用戶的全部項(xiàng)目向量E={e1,e2,e3,…,en-1,en}；

步驟3將用戶的近期項(xiàng)目向量輸入到時(shí)間卷積神經(jīng)網(wǎng)絡(luò)之中，學(xué)習(xí)用戶的近期偏好，生成近期偏好預(yù)測；

步驟4將用戶的長期序列向量輸入到長短期記憶網(wǎng)絡(luò)當(dāng)中，學(xué)習(xí)用戶的長期偏好，生成長期偏好預(yù)測；

步驟5引入注意力機(jī)制對于用戶的長期偏好和近期偏好進(jìn)行動(dòng)態(tài)融合，輸出用戶的最終偏好預(yù)測；

3 實(shí) 驗(yàn)

本節(jié)將會(huì)通過3項(xiàng)實(shí)驗(yàn)來展示混合神經(jīng)網(wǎng)絡(luò)模型在下一項(xiàng)推薦中的優(yōu)勢：①在下一項(xiàng)推薦中將混合神經(jīng)網(wǎng)絡(luò)模型的推薦效果與現(xiàn)有的先進(jìn)算法進(jìn)行比較，以證明其在推薦領(lǐng)域有不錯(cuò)的推薦效果；②對本文動(dòng)態(tài)融合的參數(shù)進(jìn)行分析，證明了設(shè)置動(dòng)態(tài)參數(shù)的有效性；③對用戶的交互序列長度進(jìn)行了分析，評(píng)估本模型與LSTM，Caser，TransRec算法在不同序列長度下的表現(xiàn)，展現(xiàn)出混合神經(jīng)網(wǎng)絡(luò)推薦模型相較于其他深度模型在不同用戶交互序列上都有著一定的優(yōu)勢。最后，本文對算法的優(yōu)點(diǎn)與缺點(diǎn)進(jìn)行了分析。

3.1 數(shù)據(jù)集

本文采用MovieLens10M與LastFM公開數(shù)據(jù)集作為這次實(shí)驗(yàn)的數(shù)據(jù)集。MovieLens10M包含了72 000個(gè)用戶對10 000部電影的1 000萬個(gè)評(píng)級(jí)和100 000個(gè)標(biāo)簽交互。平均交互長度在一百左右。LastFM是在線音樂系統(tǒng)last.fm收集的用戶信息，包含了951名用戶的83 382個(gè)交互，平均交互序列在90左右。

為了確保實(shí)驗(yàn)的可靠性，在實(shí)驗(yàn)之前，對數(shù)據(jù)集進(jìn)行了下列預(yù)處理：①將交互數(shù)量小于5 的項(xiàng)目過濾掉；②對數(shù)據(jù)集采取隨機(jī)劃分的方法，將數(shù)據(jù)集的70%作訓(xùn)練使用，30%作測試使用。本文將評(píng)分信息變?yōu)殡[式反饋信息，重點(diǎn)討論隱式反饋。

本文的實(shí)驗(yàn)硬件為CPU Intel Core i7，16 GB 內(nèi)存，Nvidia 1060顯卡，軟件環(huán)境為 Windows10系統(tǒng)，實(shí)驗(yàn)編程語言為Python3，使用Keras框架構(gòu)建神經(jīng)網(wǎng)絡(luò)，訓(xùn)練模型。

3.2 基線方法

本文將傳統(tǒng)的推薦方法和基于深度學(xué)習(xí)模型的方法與本文提出的算法作對比，下面是基線方法的描述。

1)Item-based k-NN:此模型基于項(xiàng)目的相似度，為用戶推薦與歷史項(xiàng)目相似的Top-N個(gè)項(xiàng)目；

2)Exp.Dec. Item-based k-NN[21]:此模型通過將指數(shù)衰減分量加入item-KNN模型，來降低長時(shí)間間隔交互項(xiàng)目的權(quán)重；

3)Matrix Factorization (MF):矩陣分解模型，將大矩陣分解成小矩陣的乘積，解決了近鄰模型解決不了的問題；

4)Seq.Matrix Factorization[22]:在矩陣分解模型的基礎(chǔ)上加入用戶交互序列信息；

5)LSTM[23]:常規(guī)的LSTM模型，通過對交互序列的嵌入捕捉用戶偏好，獲得對于用戶推薦的預(yù)測；

6)Caser[10]：通過卷積神經(jīng)網(wǎng)絡(luò)模擬用戶的歷史交互，構(gòu)建靈活的序列模式來提高用戶個(gè)性化序列推薦的準(zhǔn)確率；

7)TransRec[24]:該模型將嵌入思想應(yīng)用于序列推薦之中，輸出的下一項(xiàng)推薦由用戶向量與用戶的最近交互向量決定。

3.3 參數(shù)設(shè)置

在模型嵌入階段，item2vec的訓(xùn)練過程中，將上下窗口大小設(shè)置為10，嵌入維度設(shè)置為300。在用戶序列建模過程將中Dropout率設(shè)置為0.1。

3.4 評(píng)估指標(biāo)

本推薦模型推薦項(xiàng)目數(shù)量不大，預(yù)測項(xiàng)目應(yīng)處于候選列表的前列。所以選擇以下3個(gè)指標(biāo)設(shè)為評(píng)估指標(biāo)。

1)Precision：本次實(shí)驗(yàn)選擇Precision作為評(píng)價(jià)本文算法的指標(biāo)，Precision指標(biāo)衡量了推薦系統(tǒng)的準(zhǔn)確率；

2)Recall：在本次實(shí)驗(yàn)中將召回率作為衡量推薦系統(tǒng)性能的指標(biāo)之一，在本文中設(shè)定為是測試案例中前20個(gè)推薦項(xiàng)目中具有所需項(xiàng)目的比例；

3)MRR：本次實(shí)驗(yàn)中將平均倒數(shù)排名作為實(shí)驗(yàn)的指標(biāo)之一，MRR指期望項(xiàng)目倒數(shù)排名的平均值。在本次實(shí)驗(yàn)中將20設(shè)置為貢獻(xiàn)值。

3.5 實(shí)驗(yàn)結(jié)果及分析

3.5.1 推薦效果分析

對各算法的推薦性能做了對比。表1列出了所有方法的整體性能結(jié)果，這些結(jié)果清楚地表明HNNRec在序列推薦任務(wù)中獲得了不錯(cuò)的準(zhǔn)確性。

表1 本文算法與基線算法性能對比Tab.1 Performance comparison between this algorithm and the baseline algorithm

表1中將HNNRec算法與傳統(tǒng)推薦算法、推薦領(lǐng)域領(lǐng)先的推薦算法進(jìn)行了比較。從表1中可見，加入時(shí)間卷積網(wǎng)絡(luò)對用戶的近期序列進(jìn)行建模以及動(dòng)態(tài)融合用戶的偏好后，算法的有效性較基線算法存在一定的提升，由此可見，本文算法在通過用戶交互序列捕捉興趣變化方面存在一定的優(yōu)勢。與基于向量嵌入翻譯空間的TransRec模型、基于CNN的Caser模型和基于RNN的LSTM模型相比，在Precision，MRR與Recall評(píng)價(jià)指標(biāo)中都有著一定的提高。這歸功于在用戶的近期序列階段引入時(shí)間卷積網(wǎng)絡(luò)進(jìn)行用戶建模，以及對用戶不同交互序列階段的動(dòng)態(tài)融合。

3.5.2 動(dòng)態(tài)融合的有效性

表2與表3分別展示了在不同數(shù)據(jù)集中參數(shù)φ的取值對推薦效果的影響。當(dāng)φ=0時(shí)，表示僅考慮用戶的長期交互序列；當(dāng)φ=1時(shí)，表示僅考慮用戶的近期交互序列；φ為固定值時(shí)，表示本文依據(jù)以往經(jīng)驗(yàn)為每個(gè)階段搜索的較為合適的值；φ為動(dòng)態(tài)融合代表本文的實(shí)驗(yàn)思路。

從表2和表3中可以觀察到，在2個(gè)公共數(shù)據(jù)集上僅考慮近期交互序列總是比考慮長期偏好序列表現(xiàn)有優(yōu)勢，某些時(shí)候用戶2個(gè)階段的簡單組合甚至比只考慮近期交互序列表現(xiàn)還要遜色。因此，證明了動(dòng)態(tài)融合機(jī)制的有效性與必要性。

表2 在MovieLens10M數(shù)據(jù)集上驗(yàn)證融合 參數(shù)φ對推薦算法的影響Tab.2 Verify the effect of fusion parameters φ on the recommendation algorithm on the MovieLens10M dataset

表3 在LastFM數(shù)據(jù)集上驗(yàn)證融合 參數(shù)φ對推薦算法的影響Tab.3 Verify the effect of fusion parameters φ on the recommendation algorithm on the LastFM dataset

為了進(jìn)一步分析與證明參數(shù)φ的有效性，且對φ有直觀的效果展示，本文將用戶距離上一次的行為時(shí)間間隔作為自變量，并根據(jù)時(shí)間間隔的不同劃分自變量范圍，將φ作為因變量。如圖4，時(shí)間間隔劃分為4個(gè)級(jí)別，由短至長分別為一個(gè)小時(shí)、一天、一周、一個(gè)月。例如橫坐標(biāo)為一小時(shí)意味著模型做出的預(yù)測結(jié)果是在目標(biāo)用戶的最后交互行為最后一個(gè)小時(shí)內(nèi)產(chǎn)生的。圖4展示了此項(xiàng)實(shí)驗(yàn)的結(jié)果，可以看到有一個(gè)明顯的趨勢，即長期交互序列產(chǎn)生的偏好隨時(shí)間間隔的增加而顯得愈加重要，這與本文模型的假設(shè)相符。

圖4 時(shí)間間隔對權(quán)重參數(shù)φ的影響Fig.4 Effect of time interval on parameter φ

3.5.3 用戶歷史交互序列長度分析

本文將HNNRec模型與LSTM，Caser與TransRec作對比，進(jìn)一步分析推薦效果。用到的數(shù)據(jù)集平均交互長度為90—100，因此，將用到的數(shù)據(jù)劃分為3類：交互序列長度小于30，30—60，60以上的整數(shù)。此目的是衡量復(fù)雜的用戶歷史交互序列長度對HNNRec和其他深度模型的影響。

基于表1的數(shù)據(jù)，可以觀察到在數(shù)據(jù)集MovieLens10M與LastFM中，隨著歷史記錄長度的增加，本文提出的HNNRec在Recall上有著不錯(cuò)的改進(jìn)，不僅如此，還可以發(fā)現(xiàn)HNNRec與另外3種序列建模模型都隨著交互序列長度的增加而有所改進(jìn)。在其余的3種模型中，LSTM隨著交互序列的加長，性能的增幅逐漸減弱，Caser與TransRec在30—60和60以上的性能提高較HNNRec有所減弱，顯示出了HNNRec在不同交互長度下性能的魯棒性。由此可得，用戶交互的時(shí)間長度確實(shí)會(huì)對推薦系統(tǒng)的性能產(chǎn)生影響，也清楚地證明了在面對不同長度的交互序列時(shí)，通過動(dòng)態(tài)融合用戶的不同階段偏好，可以提高算法的魯棒性和推薦準(zhǔn)確度，從而使得本模型在不同序列下都有著較好的表現(xiàn)。

圖5—圖7直觀展示了4種推薦算法在MovieLens10M上的推薦效果。

圖5 不同長度的用戶交互序列在MRR的表現(xiàn)Fig.5 Performance of user interaction sequences of different lengths in MRR

圖6 不同長度的用戶交互序列在Recall的表現(xiàn)Fig.6 Performance of user interaction sequences of different lengths in Recall

圖7 不同長度的用戶交互序列在Precision的表現(xiàn)Fig.7 Performance of user interaction sequences of different lengths in Precision

3.6 算法優(yōu)缺點(diǎn)分析

本文提出一種基于混合神經(jīng)網(wǎng)絡(luò)的序列推薦算法。由上文的多項(xiàng)實(shí)驗(yàn)對比可知，本文算法具有較高的推薦準(zhǔn)確性，面對不同長度的用戶交互序列也有著較強(qiáng)的魯棒性。較高的推薦準(zhǔn)確性得益于時(shí)間卷積網(wǎng)絡(luò)思想的合理引入，但是這也會(huì)導(dǎo)致在訓(xùn)練時(shí)需要更強(qiáng)的硬件條件。

4 結(jié) 論

本文提出了一種新穎的HNNRec模型。該模型基于用戶的近期偏好與長期偏好建模，引入了時(shí)間卷積網(wǎng)絡(luò)對用戶項(xiàng)目序列進(jìn)行建模，提高了推薦準(zhǔn)確度，同時(shí)觀察到用戶的行為序列比其他領(lǐng)域序列遇到問題的復(fù)雜度更高，因此，進(jìn)一步提出基于注意力的用戶偏好動(dòng)態(tài)融合方法，根據(jù)不同條件自適應(yīng)地融合用戶的長期偏好和近期偏好。本文在公共數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)證明了提出的模型具有有效性。在將來，模型的冷啟動(dòng)與模型效率的改進(jìn)將是下一步探索的方向。