孫磊磊，張宇翔，肖春景

(中國民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300)

0 引 言

個(gè)性化推薦系統(tǒng)的目標(biāo)是從用戶的歷史交互數(shù)據(jù)中挖掘用戶的興趣，并向用戶推薦最合適的項(xiàng)目。目前矩陣分解及其變體得到了廣泛的應(yīng)用，但是這些方法并沒有明確考慮用戶的興趣偏好以及與項(xiàng)目特征屬性的時(shí)序動(dòng)態(tài)性。比如用戶的興趣和電影的受歡迎度是隨著時(shí)間不斷變化的。

時(shí)序推薦算法采用相應(yīng)的序列處理技術(shù)(比如馬爾科夫鏈、循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制等)從用戶的近期交互記錄中挖掘用戶短期的興趣偏好。然而這類算法忽略了項(xiàng)目的特征也是隨著交互而不斷變化，即用戶的興趣和項(xiàng)目的屬性是協(xié)同演進(jìn)的。時(shí)序點(diǎn)過程有效地解決了用戶和項(xiàng)目協(xié)同進(jìn)化問題，但參數(shù)假設(shè)過多，違背了實(shí)際情況。近年來人們采用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN或者LSTM)分別表征用戶以及項(xiàng)目的特征演進(jìn)過程，但由于模型在每個(gè)時(shí)刻輸入的信息太過單一，忽略了交互序列中項(xiàng)目之間的語義關(guān)系；其次由于參數(shù)共享，導(dǎo)致演進(jìn)過程中的信息丟失，因此無法有效學(xué)習(xí)到用戶以及項(xiàng)目的時(shí)序特征。

為解決上述協(xié)同演進(jìn)過程中存在的問題，本文提出了基于自注意力的協(xié)同演進(jìn)推薦模型(BSFRNN)。模型通過融合了自注意力機(jī)制提取的序列語義特征和基于RNN模型提取的時(shí)序特征有效解決了信息丟失和語義信息無法獲取的問題。其次使用矩陣分解挖掘用戶以及項(xiàng)目中長期不變的特征屬性。將長短期特征進(jìn)行融合得到用戶以及項(xiàng)目當(dāng)前時(shí)刻的隱向量。在預(yù)測(cè)層，使用多層感知機(jī)學(xué)習(xí)用戶與項(xiàng)目的交互過程。

1 相關(guān)工作

矩陣分解方法是根據(jù)評(píng)分矩陣學(xué)習(xí)到兩個(gè)低維的用戶和項(xiàng)目的隱特征矩陣，最后通過內(nèi)積的方式實(shí)現(xiàn)對(duì)未知項(xiàng)目的評(píng)分預(yù)測(cè)，但是當(dāng)歷史交互數(shù)據(jù)稀疏時(shí)，就會(huì)導(dǎo)致推薦的準(zhǔn)確度降低。He等[1]使用多層感知機(jī)為矩陣分解引入了非線性的建模能力，一定程度上解決了冷啟動(dòng)的問題。然而這些傳統(tǒng)的推薦算法將有序的交互數(shù)據(jù)獨(dú)立處理，導(dǎo)致不能反映用戶以及項(xiàng)目的時(shí)序動(dòng)態(tài)性。

為使得用戶以及項(xiàng)目特征屬性隨著時(shí)間不斷變化，文獻(xiàn)[2]引入了時(shí)序矩陣分解的方法，旨在使用用戶的歷史交互數(shù)據(jù)預(yù)測(cè)用戶的未來行為。文獻(xiàn)[3,4]使用RNN模擬用戶近期的一般偏好，然后與一般的興趣偏好進(jìn)行有效的融合。Wang等[5]使用分層表示模型將用戶序列行為表示的短期偏好與用戶的一般偏好進(jìn)行融合；特別的，Tang等[6]提出一個(gè)卷積序列向量推薦模型(Caser)，模型使用卷積過濾器提取序列的時(shí)序信息，并與隱因子模型(LFM)挖掘的一般偏好進(jìn)行融合，進(jìn)而完成top-N的推薦。Zhang等[7]提出基于自注意力的度量學(xué)習(xí)模型(AttRec)，模型通過自注意力模塊提取用戶交互序列中的時(shí)序信息作為用戶近期的興趣偏好，為避免內(nèi)積產(chǎn)生的排序損失使用度量分解模擬用戶長期的興趣偏好。Kang等[8]提出SASRec模型，可以適應(yīng)性的為用戶交互歷史分配不同的權(quán)重以預(yù)測(cè)用戶的下一個(gè)行為。

上述推薦算法，片面的認(rèn)為僅僅用戶的興趣滿足時(shí)序動(dòng)態(tài)性，而項(xiàng)目的特征屬性是靜態(tài)不變的。事實(shí)上，描述用戶以及項(xiàng)目的特征屬性是隨著交互事件的發(fā)生而不斷演進(jìn)或者協(xié)同演進(jìn)的。Wang等[9]使用時(shí)序點(diǎn)過程來學(xué)習(xí)用戶以及項(xiàng)目的協(xié)同演進(jìn)過程，但是方法中做了過多的參數(shù)假設(shè)，這些假設(shè)嚴(yán)重違背了實(shí)際。Dai等[10]提出了深層協(xié)同演進(jìn)的推薦模型(Deep-Coevolve)，該模型通過RNN模擬時(shí)序演進(jìn)過程且重新定義了點(diǎn)過程的強(qiáng)度函數(shù)，有效提高了推薦準(zhǔn)確性。Trivedi等[11]將這類思想應(yīng)用于知識(shí)圖譜，在之前的基礎(chǔ)上融合了多種信息，解決了未來行為預(yù)測(cè)的任務(wù)。Chao等[12]在修正LSTM的輸入的基礎(chǔ)上，融合了一般矩陣分解模擬的靜態(tài)特征。文獻(xiàn)[13]提出LSIC-V4模型，模型在神經(jīng)對(duì)抗的框架下，將RNN提取的特征與MF模擬的靜態(tài)特征進(jìn)行不同程度的融合，一定程度上增加了推薦的準(zhǔn)確性。這些方法均采用RNN學(xué)習(xí)用戶以及項(xiàng)目的時(shí)序動(dòng)態(tài)性。但當(dāng)仔細(xì)分析RNN的輸入時(shí)，可以發(fā)現(xiàn)RNN的輸入是順序輸入的，并沒有考慮序列中項(xiàng)目之間的交互影響，這類影響(本文稱為語義信息)對(duì)未來行為的預(yù)測(cè)是同樣重要的。而基于self-attention的模型通過多頭注意力機(jī)制可以有效獲取序列的語義信息，但文獻(xiàn)[14]通過實(shí)驗(yàn)表明self-attention能夠用其高效的堆棧多頭注意力機(jī)制有效獲取語義特征，但提取長序列的信息時(shí)卻弱于RNN。

本文提出的自注意力的協(xié)同演進(jìn)推薦模型與上述協(xié)同演進(jìn)方法所不同的是模型融合了自注意力提取的序列語義特征與RNN提取的時(shí)序演進(jìn)特征，有效解決了單一模型導(dǎo)致的信息獲取不完整的問題。其次，本文在RNN的輸入端將用戶當(dāng)前時(shí)刻的近期交互序列作為輸入，避免因參數(shù)共享而導(dǎo)致信息丟失。

2 基于自注意力的循環(huán)演進(jìn)推薦建模

BSFRNN模型的框架，如圖1所示。訓(xùn)練數(shù)據(jù)輸入到模型之前，先根據(jù)交互對(duì)應(yīng)的時(shí)間粒度分別提取用戶以及項(xiàng)目近期的交互序列。模型可以分為用戶和項(xiàng)目兩個(gè)模塊，兩個(gè)模塊是對(duì)稱的，所不同的是項(xiàng)目的特征表現(xiàn)變化相對(duì)慢，因此每個(gè)時(shí)間粒度相隔時(shí)間較長。在每個(gè)模塊中，將序列embedding化并分別輸入LSTM以及自注意力機(jī)制中提取對(duì)應(yīng)的時(shí)序信息，為了準(zhǔn)確預(yù)測(cè)當(dāng)前時(shí)刻用戶以及項(xiàng)目的特征表現(xiàn)，模型將LSTM學(xué)習(xí)的和自注意力機(jī)制提取的特征進(jìn)行融合。最后，將融合的特征按對(duì)應(yīng)元素相乘并與矩陣分解表征的靜態(tài)特征共同輸入到MLP進(jìn)行預(yù)測(cè)交互發(fā)生的可能性。

圖1 t時(shí)刻行為預(yù)測(cè)

2.1 用戶與項(xiàng)目的協(xié)同演進(jìn)

假設(shè)U={u1,u2,…,uM}表示用戶的集合，I={v1,v2,…,vN}表示項(xiàng)目集合，這里M和N分別表示用戶以及項(xiàng)目個(gè)數(shù)。根據(jù)交互數(shù)據(jù)可以構(gòu)建一個(gè)稀疏的用戶-項(xiàng)目評(píng)分矩陣R，其中的Ru,v,t表示在時(shí)間t用戶u對(duì)項(xiàng)目v的評(píng)分，評(píng)分值越高表示用戶越喜歡該項(xiàng)目，不同于評(píng)分預(yù)測(cè)的任務(wù)，BSFRNN根據(jù)隱反饋數(shù)據(jù)向用戶提供一個(gè)排序列表(top-N推薦)。

圖2 用戶以及項(xiàng)目時(shí)序演進(jìn)

從圖2中可以看出，用戶的特征向量直接影響與之交互的項(xiàng)目的隱特征，而修正的項(xiàng)目特征向量會(huì)影響與之交互的未來的用戶向量。因此可以看出這種協(xié)同演進(jìn)的過程是事件驅(qū)動(dòng)的。

2.2 循環(huán)自注意力

2.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

基于RNN的模型主要用于從交互序列中提取用戶或項(xiàng)目近期的隱特征，進(jìn)而預(yù)測(cè)用戶的下一次交互并向用戶提供一個(gè)排序列表。特別的，這里使用RNN的變體LSTM獲取用戶以及項(xiàng)目交互序列中的時(shí)序信息。每個(gè)LSTM單元中是由記憶單元ct，輸入門it，遺忘門ft和輸出門ot組成。其中ft，it和ot是由過去的隱向量ht-1和當(dāng)前時(shí)刻的輸入所計(jì)算的，這里每個(gè)門所對(duì)應(yīng)的權(quán)重參數(shù)和偏置不同，在這里使用W和b進(jìn)行統(tǒng)一表示

[ft,it,ot]=σ(W[et,ht-1]+b)

(1)

其中，最為重要的貫穿交互始終的細(xì)胞狀態(tài)ct(這里也叫記憶單元)通過LSTM中特殊的門結(jié)構(gòu)有選擇地記憶和遺忘

ct=ft⊙ct-1+it⊙tanh(V[et,ht-1]+bc)

(2)

一旦這些狀態(tài)更新，t時(shí)刻的隱狀態(tài)也就可以得到

ht=ot⊙tanh(ct)

(3)

其中，σ表示激活函數(shù)，如sigmoid和tanh。因此t時(shí)刻用戶以及項(xiàng)目的更新函數(shù)可以表示為

(4)

(5)

2.2.2 注意力機(jī)制

在循環(huán)模型中，序列的信息需要遞歸的獲取，以往采用雙向的RNN可以更好挖掘序列信息，但忽略了序列中任意兩個(gè)項(xiàng)目之間的交互影響(也可以叫語義信息)，這種交互影響對(duì)理解用戶以及項(xiàng)目細(xì)粒度特征是至關(guān)重要的。然而這種語義特征可以使用self-attention更好地提取。但一般的自注意力機(jī)制對(duì)序列中項(xiàng)目的順序不敏感，僅是詞袋模型。然而對(duì)時(shí)間序列的模型而言，順序是一個(gè)很重要的信息，因此本文將從輸入的序列向量中學(xué)習(xí)序列的位置向量

P2i(p)=sin(p/100002i/D)

(6)

P2i+1(p)= cos(p/100002i/D)

(7)

其中，D是向量的維度，p是當(dāng)前項(xiàng)目在序列中的位置索引，Pi就是序列中的位置向量。然后將提取的位置向量與用戶(項(xiàng)目)的序列向量進(jìn)行拼接

(8)

(9)

(10)

這里Zt∈RD作為自注意力機(jī)制的輸出，認(rèn)為是用戶以及項(xiàng)目的近期特征，彌補(bǔ)RNN的不足之處。

為將LSTM和自注意力機(jī)制提取的特征信息能夠有效的融合，本文嘗試使用特征相加，對(duì)應(yīng)元素相乘以及向量的直接拼接。在這些方式中，時(shí)序特征信息的拼接得到了更好的效果。可能的原因是其它的融合方式導(dǎo)致了隱特征中關(guān)鍵信息弱化，因而不能準(zhǔn)確描述當(dāng)前時(shí)刻用戶和項(xiàng)目的狀態(tài)。由此可知，用戶以及項(xiàng)目t時(shí)刻的狀態(tài)可以表示為

(11)

(12)

2.3 模型目標(biāo)函數(shù)

(13)

(14)

這里的Y表示明確交互的數(shù)據(jù)集，Y-是負(fù)采樣本中的交互數(shù)據(jù)集，θ代表了模型的參數(shù)。模型參數(shù)使用Adam不斷優(yōu)化，這樣可以使模型更快的收斂。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集概述

為驗(yàn)證本文提出模型的有效性，本文使用Movie-len100K公開數(shù)據(jù)集驗(yàn)證，包括943個(gè)用戶，1682個(gè)項(xiàng)目，共100 000條有效評(píng)論數(shù)據(jù)，時(shí)間區(qū)間是1997年9月到1998年4月。在數(shù)據(jù)處理中，首先將數(shù)據(jù)集中明確的評(píng)分轉(zhuǎn)化為隱反饋。其次，類似文獻(xiàn)[7]將數(shù)據(jù)集中用戶以及項(xiàng)目少于10次交互記錄進(jìn)行合理的過濾。最終，用戶數(shù)943，項(xiàng)目1152個(gè)，有效的交互數(shù)據(jù)有97 953條。其中，每個(gè)用戶最后一次交互的記錄作為測(cè)試集，其余數(shù)據(jù)作為訓(xùn)練集。

3.2 模型設(shè)置及評(píng)估標(biāo)準(zhǔn)

對(duì)每個(gè)用戶排序預(yù)測(cè)并排序所有的項(xiàng)目是相當(dāng)耗時(shí)的，因此本文隨機(jī)樣本化50個(gè)用戶未交互的項(xiàng)目，將測(cè)試數(shù)據(jù)與這50個(gè)樣本共同參與排序。用戶及項(xiàng)目的向量維度，使用均勻分布隨機(jī)初始化。就用戶以及項(xiàng)目時(shí)序特征表現(xiàn)的敏感性而言，用戶的興趣偏好更容易發(fā)生變化，而項(xiàng)目的特征演進(jìn)相對(duì)緩慢。因而將每個(gè)交互記錄按照發(fā)生時(shí)間的先后順序?qū)⑾嚓P(guān)的用戶以及項(xiàng)目劃分到不同的時(shí)間粒度中，本文將用戶以7天為一個(gè)時(shí)間粒度，項(xiàng)目以30天為一個(gè)時(shí)間粒度對(duì)當(dāng)前的交互記錄進(jìn)行標(biāo)識(shí)。針對(duì)特定時(shí)間的交互，根據(jù)用戶此時(shí)的時(shí)間粒度來獲取用戶近期的交互序列，根據(jù)項(xiàng)目標(biāo)識(shí)的時(shí)間粒度來獲取項(xiàng)目近期的交互序列。

對(duì)本文提出的模型而言，使用均值為0，方差為0.01的高斯分布隨機(jī)初始化模型的參數(shù)，模型的優(yōu)化使用了Adam。為評(píng)估本文提出模型的性能，本文使用命中率(HR)和標(biāo)準(zhǔn)化折扣累積增益(NDCG)來評(píng)估推薦模型的表現(xiàn)力。HR明確表示測(cè)試項(xiàng)目是否出現(xiàn)在推薦列表中，NDCG用來計(jì)算命中項(xiàng)目在推薦列表中的位置。

3.3 對(duì)比方法

為了評(píng)估本文提出的推薦模型的有效性，將其與以下相關(guān)的推薦算法進(jìn)行對(duì)比：

(1)貝葉斯個(gè)性化排序推薦模型(BPRMF)。采用BPR-Opt優(yōu)化準(zhǔn)則優(yōu)化推薦列表。

(2)NeuMF。模型融合了多層感知機(jī)以及矩陣分解來學(xué)習(xí)用戶以及項(xiàng)目得隱特征，并使用多層感知機(jī)替代內(nèi)積過程。

(3)Caser。模型使用分層的以及垂直的卷積神經(jīng)網(wǎng)絡(luò)挖掘歷史交互。

(4)循環(huán)推薦模型(RRN)。通過簡單的特征融合方法融合了矩陣分解以及LSTM模擬用戶以及項(xiàng)目的協(xié)同演進(jìn)過程。

(5)注意力推薦模型(AttRec)。模型采用自注意力機(jī)制以及度量學(xué)習(xí)共同完成推薦任務(wù)。

在這些基礎(chǔ)的算法中，BPRMF是基于傳統(tǒng)的推薦模型。Caser、RRN和NeuMF是基于神經(jīng)網(wǎng)絡(luò)中不同網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法。其中Caser是基于CNN來提取序列中的行為特征，RRN是使用LSTM獲取時(shí)序特征來模擬用戶以及項(xiàng)目的協(xié)同演進(jìn)過程的，最后的AttRec模型是通過自注意力來模擬用戶近期的行為表現(xiàn)。

3.4 對(duì)比結(jié)果及分析

模型中序列的長度l以及用戶和項(xiàng)目的維度D對(duì)推薦的結(jié)果是有影響的，因此，本節(jié)首先對(duì)l和D的取值對(duì)模型的影響進(jìn)行實(shí)驗(yàn)驗(yàn)證，在取得最優(yōu)的推薦結(jié)果的基礎(chǔ)上，與其它相關(guān)的算法進(jìn)行對(duì)比。

3.4.1 序列長度l的影響

為了衡量l對(duì)模型的影響，本文將l取值為1,2,3,…9進(jìn)行評(píng)估，為了消除維度對(duì)推薦結(jié)果的影響，將用戶以及項(xiàng)目的隱向量維度分別取50、100和150進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3和圖4所示。從圖3和圖4可以看出隨著序列長度的增加一定程度上會(huì)提高推薦的命中率，但是推薦的效果不是一直呈現(xiàn)上升的趨勢(shì)，而是一個(gè)波動(dòng)的過程。當(dāng)l=8時(shí)推薦的命中率以及累計(jì)的增益總體上是最大的，當(dāng)l<8時(shí)，推薦的評(píng)估指標(biāo)將呈現(xiàn)下降趨勢(shì)，主要是因?yàn)閿?shù)據(jù)比較稀疏的緣故，如果將每個(gè)用戶以及項(xiàng)目的總的交互個(gè)數(shù)提高，將會(huì)導(dǎo)致訓(xùn)練樣本減少。

圖3 不同序列長度l以及維度D取值對(duì)HR的影響

圖4 不同序列長度l和維度D取值對(duì)NDCG的影響

3.4.2 維度大小的影響

圖3和圖4也展示了隱向量維度對(duì)推薦結(jié)果的影響，本文將D取值50、100和150進(jìn)行實(shí)驗(yàn)，理論上增加隱向量的維度將會(huì)提高推薦的準(zhǔn)確度，但是從圖3和圖4可以發(fā)現(xiàn)并不完全符合理論，只是在總得趨勢(shì)上有一定的增長?？梢钥闯?，序列長度為8維度150時(shí)，評(píng)估指標(biāo)達(dá)到了最大值，可見增加維度一定程度能夠提高推薦的準(zhǔn)確度，但也不能過大，過大將會(huì)使得模型出現(xiàn)過擬合的問題。

3.4.3 不同模型特征提取能力的對(duì)比

BSFRNN融合了LSTM提取的時(shí)序特征以及自注意力機(jī)制提取的語義特征。為了說明這兩種信息對(duì)推薦結(jié)果的影響，給出兩種BSFRNN模型變體BSFRNN-RNN和BSFRNN-SF，實(shí)驗(yàn)結(jié)果見表1。

表1 Movielen100K推薦性能評(píng)估

(1)沒有自注意力機(jī)制的LSTM模型(BSFRNN-RNN)。僅僅使用循環(huán)神經(jīng)網(wǎng)絡(luò)描述用戶以及項(xiàng)目近期的特征表現(xiàn)。

(2)沒有RNN的自注意力機(jī)制(BSFRNN-SF)。使用自注意力機(jī)制描述用戶以及項(xiàng)目的協(xié)同演進(jìn)過程。

從表1中看出BSFRNN得到了更好的推薦效果，這說明將LSTM以及自注意力機(jī)制提取的序列特征進(jìn)行融合是有效的。

表1中BSFRNN-SF的評(píng)估結(jié)果比BSFRNN-RNN相對(duì)好一些，主要原因是自注意力機(jī)制能夠更加準(zhǔn)確地挖掘到用戶以及項(xiàng)目的時(shí)序隱特征。這并不能代表BSFRNN-RNN提取序列信息的能力就完全落后于BSFRNN-SF，從表1中BSFRNN模型的顯示結(jié)果中可以看出，BSFRNN-RNN對(duì)進(jìn)一步提升推薦的準(zhǔn)確度有大的幫助，這就說明了BSFRNN-SF提取的序列信息并不完全包括BSFRNN-RNN提取的序列信息。

3.4.4 不同推薦算法的性能對(duì)比

表2列出了BSFRNN與其它推薦模型在top-N=5和top-N=10的推薦對(duì)比結(jié)果。從表2中可以看出BSFRNN在評(píng)估指標(biāo)NDCG的取值上達(dá)到了最好的結(jié)果，也就表示BSFRNN預(yù)測(cè)用戶的下一次行為的準(zhǔn)確性更高，可將真實(shí)發(fā)生的交互項(xiàng)目排在推薦列表更靠前的位置。BSFRNN的高效性得益于融合了動(dòng)態(tài)的和靜態(tài)的特征表現(xiàn)，同時(shí)在學(xué)習(xí)用戶以及項(xiàng)目動(dòng)態(tài)特征表現(xiàn)時(shí)，精確挖掘和學(xué)習(xí)了交互序列中的時(shí)序特征和語義信息，有效提高了預(yù)測(cè)用戶下一次行為的準(zhǔn)確性。從表2可知盡管RRN在top-N=5時(shí)，HR比BPRMF相對(duì)更高些，但是NDCG的評(píng)估效果卻低于BPRMF接近6%，原因是盡管RRN考慮了時(shí)間以及評(píng)分對(duì)特征動(dòng)態(tài)性的影響，但是預(yù)測(cè)用戶下一次行為時(shí)僅涉及前一次行為涉及的項(xiàng)目(用戶)，因此這種近期的交互之間的影響并不能有效獲取到，其次模型參數(shù)共享的問題會(huì)導(dǎo)致一定信息的丟失。Caser相比于BSFRNN推薦結(jié)果不好的原因在于卷積神經(jīng)網(wǎng)絡(luò)在長序列問題上不如RNN，同時(shí)也在于本身序列語義信息提取能力不如自注意力機(jī)制。NeuMF雖然比BPRMF在top-N=5時(shí)的推薦效果好，但是并不是學(xué)習(xí)用戶以及項(xiàng)目特征的時(shí)序動(dòng)態(tài)性，因而其標(biāo)準(zhǔn)化折扣累積增益(NDCG)要比BPRMF低6.8%。從表2可知， AttRec的推薦效果要低于BPRMF，原因是僅使用自注意力機(jī)制提取了序列中用戶的近期興趣偏好，盡管融合了度量學(xué)習(xí)模擬的長期特征，但是卻忽略了項(xiàng)目特征的動(dòng)態(tài)性。從表2可知BSFRNN的推薦性能要明顯高于BPRMF，主要原因是該模型是從矩陣分解角度完成推薦，然后使用BPR-Opt優(yōu)化準(zhǔn)則優(yōu)化推薦列表，完全忽略了用戶以及項(xiàng)目的時(shí)序動(dòng)態(tài)性，因而推薦效果不明顯。

表2 不同推薦模型的性能評(píng)估

4 結(jié)束語

本文提出基于自注意力的協(xié)同演進(jìn)推薦模型，模型使用兩個(gè)LSTM分別表征用戶以及項(xiàng)目的時(shí)序演進(jìn)過程，其次，使用自注意力機(jī)制挖掘交互序列中的語義信息，并將其獲取的語義信息有效融合到LSTM模擬的時(shí)序演進(jìn)過程中。最后經(jīng)上述實(shí)驗(yàn)驗(yàn)證，本文提出的BSFRNN能有效從用戶和項(xiàng)目的時(shí)序演進(jìn)過程學(xué)習(xí)到用戶以及項(xiàng)目的時(shí)序動(dòng)態(tài)性，并能準(zhǔn)確預(yù)測(cè)用戶的下一次交互。

本文提出的推薦模型經(jīng)過在公開數(shù)據(jù)集上的驗(yàn)證，獲得了較高的推薦準(zhǔn)確性，但忽略了數(shù)據(jù)集中的輔助信息，比如評(píng)分、評(píng)論以及用戶的社會(huì)關(guān)系等，這些信息將有助于準(zhǔn)確描述用戶以及項(xiàng)目屬性。因而下一步工作將充分利用數(shù)據(jù)集中的數(shù)據(jù)，改善數(shù)據(jù)稀疏的問題并提高推薦的性能。