普洪飛，邵劍飛，張小為，魏榕劍

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

隨著互聯(lián)網(wǎng)的飛速發(fā)展，如何從海量的數(shù)據(jù)推薦用戶感興趣的內(nèi)容是至關(guān)重要的.現(xiàn)在大量APP 和網(wǎng)站都應(yīng)用自己的推薦算法為用戶推薦商品和服務(wù)，例如快手、抖音、淘寶、QQ 音樂等.

序列推薦通常認(rèn)為用戶在某個(gè)時(shí)刻的行為（點(diǎn)擊，購買）由該用戶之前多個(gè)時(shí)刻決定的，它將用戶與物品的交互視為動(dòng)態(tài)的、順序性的序列[1].序列推薦算法可分為傳統(tǒng)推薦和基于深度學(xué)習(xí)推薦.傳統(tǒng)的推薦主要有馬爾科夫鏈模型[2]和協(xié)同過濾[3]等.基于深度學(xué)習(xí)的方法主要有循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[4]、長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）[5]和基于注意力機(jī)制的 Transformer 架構(gòu)(Bidirectional Encoder Representations from Transformers,BERT)[6]等，它們都是針對(duì)用戶對(duì)項(xiàng)目的交互關(guān)系進(jìn)行建模.

RNN 和LSTM 依賴于前一時(shí)刻的計(jì)算結(jié)果無法很好地并行運(yùn)算，且RNN 和LSTM 均無法很好地處理長距離依賴問題.實(shí)際中，每個(gè)人的興趣是隨時(shí)間動(dòng)態(tài)變化的，例如，用戶在某段時(shí)間內(nèi)對(duì)數(shù)碼感興趣，另一時(shí)間段對(duì)衣服和化妝品感興趣.為了捕捉這種變化，沈?qū)W利等[7]將自注意力機(jī)制與長短期興趣偏好融合，實(shí)現(xiàn)推薦性能的提升.Zhou等[8]通過給定目標(biāo)項(xiàng)目成功捕獲用戶的動(dòng)態(tài)興趣，但是它無法捕獲到序列行為間更好的依賴關(guān)系.Zhou 等[9]設(shè)計(jì)帶有注意力機(jī)制的門控循環(huán)單元對(duì)用戶行為之間的依賴性進(jìn)行建模，根據(jù)興趣直接導(dǎo)致連續(xù)行為的原則，提出輔助損失，利用下一個(gè)行為監(jiān)督當(dāng)前隱藏狀態(tài)的學(xué)習(xí)，從而對(duì)目標(biāo)項(xiàng)目的動(dòng)態(tài)興趣變化進(jìn)行建模（Deep Interest Evolution Network for click through rate prediction，DIEN）.此外，針對(duì)用戶長短期興趣建模的還有基于會(huì)話推薦的長、短期興趣并行建模[10]、對(duì)推薦的長期偏好和短期偏好的聯(lián)合深度建模[11]等.

雖然對(duì)用戶的興趣建模增強(qiáng)推薦模型的泛化能力，但忽略了用戶與商品交互之間的上下文特征信息[12].在實(shí)際生活中，用戶和項(xiàng)目的特征，往往決定用戶的行為，例如，用戶的性別、年齡和職業(yè)等特征影響用戶的興趣愛好，女生比較喜愛化妝品，男生喜愛數(shù)碼等.項(xiàng)目的種類、價(jià)錢等特征也影響用戶的興趣愛好.于是孫金楊等[13]提出將時(shí)間上下文與特征信息融合，對(duì)項(xiàng)目的特征屬性進(jìn)行建模與時(shí)間上下文融合，提高了推薦的性能，但它忽略了對(duì)用戶的特征信息進(jìn)行融合，因?yàn)橛脩舻奶卣餍畔⒁彩侵陵P(guān)重要的.由于項(xiàng)目特征的異構(gòu)性，很難知道哪些特征決定用戶的行為，Zhang等[14]提出平凡注意力機(jī)制捕獲用戶對(duì)項(xiàng)目特征的偏好，根據(jù)影響用戶行為的重要程度賦予項(xiàng)目特征不同的權(quán)重（Feature-level Deeper Self-attention Network for sequential recommendation，F(xiàn)DSA）.例如，某用戶購買某物，在項(xiàng)目的種類、價(jià)錢等特征下，覺得該物的價(jià)錢很重要，其他都是次要的，就賦予價(jià)錢較大的權(quán)重.雖然FDSA 模型提出平凡注意力機(jī)制，深層次地對(duì)項(xiàng)目特征提取，但它也忽略了用戶特征的重要性.此外，將項(xiàng)目特征信息融合進(jìn)行推薦的算法還有基于自注意力神經(jīng)網(wǎng)絡(luò)的自動(dòng)特征交互學(xué)習(xí)[15]、融合上下文信息的個(gè)性化序列推薦深度學(xué)習(xí)模型[16]等.綜上所述，融合動(dòng)態(tài)興趣與用戶、項(xiàng)目特征信息可以模擬真實(shí)的用戶行為，有望提高對(duì)用戶推薦的準(zhǔn)確性.

本文提出融合動(dòng)態(tài)興趣偏好與特征信息的序列推薦模型.首先通過帶有注意力機(jī)制的門控循環(huán)單元和輔助損失函數(shù)對(duì)用戶項(xiàng)目交互進(jìn)行動(dòng)態(tài)興趣建模，得到動(dòng)態(tài)興趣的最終表示.然后對(duì)項(xiàng)目和用戶特征進(jìn)行編碼，送入平凡注意力機(jī)制，為每個(gè)特征賦予不同的權(quán)重，加上位置編碼，經(jīng)過多頭注意力機(jī)制，得到用戶和項(xiàng)目的特征表示.之后將動(dòng)態(tài)興趣表示和用戶項(xiàng)目特征表示拼接.最后通過多層感知機(jī)輸出得到結(jié)果.

本文的主要貢獻(xiàn)如下：

（1）提出融合動(dòng)態(tài)興趣偏好與特征信息的序列推薦模型.用戶的興趣是多變的，為了捕獲這種變化，提出了動(dòng)態(tài)興趣建模.在實(shí)際生活中，用戶和項(xiàng)目的特征，往往決定用戶的行為，所以將它們?nèi)诤峡梢愿诱鎸?shí)地模擬用戶的行為.

（2）采用經(jīng)過帶有注意力機(jī)制的門控和輔助損失函數(shù)對(duì)用戶項(xiàng)目交互進(jìn)行動(dòng)態(tài)興趣建模，分別對(duì)每個(gè)興趣的動(dòng)態(tài)變化進(jìn)行建模.

（3）采用平凡注意力機(jī)制為用戶和項(xiàng)目的特征賦予不同的權(quán)重，從而更好地得到用戶項(xiàng)目特征的表示.

（4）融合用戶的特征信息，這是其他模型所忽略的重要信息.

（5）在Yelp 和MovieLens-1M 兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明本文模型優(yōu)于不少基線模型.

1 相關(guān)工作

1.1 一般推薦一般推薦早期使用協(xié)同過濾（Collaborative Filtering，CF）對(duì)交互歷史建立用戶偏好模型[17]，其中，矩陣分解（Matrix Factorization，MF）是比較流行的一種，通過向量間內(nèi)積預(yù)測用戶對(duì)項(xiàng)目的偏好[18].此外，還有基于項(xiàng)目鄰域方法，利用項(xiàng)目之間的相似性預(yù)測用戶對(duì)用戶的偏好[19].

1.2 序列推薦現(xiàn)實(shí)中，存在用戶與項(xiàng)目交互記錄較為稀少，一般推薦面臨著局限性，其忽略了用戶行為的順序性.于是序列推薦被提出，根據(jù)用戶與項(xiàng)目的交互歷史預(yù)測下個(gè)交互項(xiàng)目，即使交互記錄少，也可以更好地提供推薦.

早期的序列推薦運(yùn)用馬爾科夫鏈[2]從用戶交互歷史中獲取用戶的興趣偏好.但是，隨著深度學(xué)習(xí)的發(fā)展，RNN 及其變體門控循環(huán)單元（Gated Recurrent Unit，GRU）和長短期記憶網(wǎng)絡(luò)得到廣泛的運(yùn)用，采用循環(huán)網(wǎng)絡(luò)對(duì)編碼后的交互記錄進(jìn)行興趣建模.例如，基于GRU 的序列推薦[20]、基于注意力機(jī)制的GRU 序列推薦[21]、基于LSTM 的序列推薦[22].

除了上述方法，還引入下面各種深度學(xué)習(xí)方法用于序列推薦.Tang 等[23]提出一種卷積序列模型，使用卷積學(xué)習(xí)用戶的興趣.Liu 等[24]通過多層感知機(jī)捕獲一般興趣和當(dāng)前興趣.Wang等[25]通過圖卷積對(duì)長短期偏好建模.

1.3 特征提取實(shí)際生活中，項(xiàng)目和用戶的特征信息是重要的.Zhou 等[8]通過將特征向量直接拼接輸出，但忽略了深層次提取.沈?qū)W利等[7]通過注意力機(jī)制對(duì)項(xiàng)目特征進(jìn)行深層次提取，但忽略了不同特征之間的重要性.于是，Zhang 等[14]通過平凡注意力機(jī)制為不同的特征賦予權(quán)重，再通過自注意力機(jī)制進(jìn)行深層次提取.

2 本文方法

2.1 主要符號(hào)含義為了增加上下文的連貫性，使用統(tǒng)一的符號(hào)表總結(jié)主要符號(hào)及其含義，如表1所示.

表1 本文方法中的符號(hào)及含義Tab.1 Symbols and meanings in this paper′s methods

2.2 問題定義本文使用U和I分別表示用戶集合與項(xiàng)目集合.對(duì)于一個(gè)用戶u∈U，Vu定義為用戶交互按時(shí)間排列的序列，其中Vu∈I，Vu={V(1),V(2),···,V(T)}.T為用戶交互的序列長度，同時(shí)也表示用戶交互行為的數(shù)量.此外，每個(gè)用戶和項(xiàng)目都有自己的特征.通過對(duì)當(dāng)前時(shí)刻之前的交互信息動(dòng)態(tài)興趣和特征信息建模，預(yù)測下一個(gè)時(shí)刻用戶感興趣的項(xiàng)目，是本文的主要工作.

2.3 模型描述本文模型如圖1 所示，整個(gè)模型分為3 個(gè)部分，分別是用戶交互序列動(dòng)態(tài)興趣建模模塊、用戶和項(xiàng)目特征的提取模塊、多層感知機(jī)輸出模塊.

圖1 融合動(dòng)態(tài)興趣偏好與特征信息的序列推薦模型Fig.1 Sequence recommendation fusing dynamic interest preference and feature information

2.4 用戶交互序列動(dòng)態(tài)興趣建模模塊

2.4.1 項(xiàng)目嵌入表示 定義用戶交互按時(shí)間排列的序列Vu經(jīng)過項(xiàng)目嵌入表示輸出e.

2.4.2 門控循環(huán)單元和輔助損失函數(shù) 本文采用門控循環(huán)單元GRU 建模交互序列之間的依賴關(guān)系，GRU 克服了RNN 梯度消失的問題，比LSTM減少了一個(gè)門控單元，效率更高[26].GRU 的原理如下：

其中，*表示元素乘積，σ表示sigmoid 激活函數(shù)，Wz、Wf和Wh為權(quán)重參數(shù)，bz、bf和bh為偏置參數(shù)，門控循環(huán)單元中的重置門zt和更新門rt輸入均為當(dāng)前時(shí)刻輸入xt與上時(shí)刻隱藏狀態(tài)ht-1，ht為當(dāng)前時(shí)間隱藏狀態(tài)ht.

然而，隱藏狀態(tài)只能捕獲行為間的依賴關(guān)系，不能有效地表示動(dòng)態(tài)興趣.由于用戶的興趣是動(dòng)態(tài)變化的，任何一個(gè)隱藏興趣狀態(tài)的變化都會(huì)直接影響下一個(gè)行為，因此為了更好地捕獲用戶的動(dòng)態(tài)變化，設(shè)計(jì)一個(gè)輔助損失函數(shù)，應(yīng)用下一個(gè)行為監(jiān)督上一個(gè)隱藏興趣狀態(tài)的學(xué)習(xí)[9].此外，定義下一時(shí)刻的交互作為正例，相反，定義除去下一時(shí)刻交互剩下的項(xiàng)目作為負(fù)例.

定義N對(duì)用戶交互嵌入序列：是大小為T×dE的矩陣，dE是嵌入向量的維度，ej表示正例，j表示負(fù)例.ej[t]∈I表示用戶交互的第t個(gè)項(xiàng)目的向量，I是項(xiàng)目的集合.[t]∈I-ej[t]表示除了第t個(gè)項(xiàng)目剩下的項(xiàng)目向量.輔助損失函數(shù)Laux定義為：

2.4.3 帶注意力機(jī)制的更新門 由于用戶的興趣存在不確定性，興趣隨時(shí)會(huì)發(fā)生轉(zhuǎn)移.為了減弱興趣轉(zhuǎn)移帶來的影響，將注意力機(jī)制與GRU 相結(jié)合[9]，建立動(dòng)態(tài)興趣模型.本文引入的注意力機(jī)制的核心思想是根據(jù)對(duì)目標(biāo)項(xiàng)目（下一時(shí)刻交互項(xiàng)目）影響程度大小，為每一個(gè)興趣狀態(tài)ht賦予不同的權(quán)重,以此減弱興趣轉(zhuǎn)移的影響，從而增強(qiáng)有利于目標(biāo)項(xiàng)目的興趣狀態(tài).

注意力機(jī)制定義如下：

在上階段中，在輔助函數(shù)的幫助下，獲得興趣序列ht.T表示用戶交互序列的長度，W是大小dE×dtarget權(quán)重參數(shù)，dE表示嵌入向量的維度，dtarget表示目標(biāo)項(xiàng)目向量（下一時(shí)刻交互向量）的維度.注意力權(quán)重at的大小反映輸入ht和目標(biāo)項(xiàng)目etarget的關(guān)聯(lián)關(guān)系.

帶注意力機(jī)制的更新門（GRU with Attentional Update Gate，AUGRU）使用注意力權(quán)重影響GRU的更新門，定義如下：

其中，at是注意力權(quán)重，zt是更新門的輸出，將at相乘zt得到是帶注意力機(jī)制更新門的輸出，將代入式（8）輸出動(dòng)態(tài)興趣表示.

2.5 用戶和項(xiàng)目特征提取模塊

2.5.1 特征嵌入表示層 對(duì)于一個(gè)項(xiàng)目i∈I，其特征向量表示為Ai={v(c1),v(c2),···,v(cg)}，v(cg)表示項(xiàng)目第g個(gè)特征的向量，cg表示第g個(gè)特征，例如項(xiàng)目的種類、價(jià)格等.

2.5.2 平凡注意力層 由于項(xiàng)目的特征是異構(gòu)的，采用平凡注意力機(jī)制[14]賦予特征不同的權(quán)重，平凡注意力層定義如下：

其中，Wa是大小為dE×dE的矩陣，ba是dE維的向量，dE是特征向量的維度，將 αi乘Ai得到特征向量fi.

2.5.3 多頭注意力機(jī)制 多頭注意力機(jī)制允許模型在不同的表示子空間里學(xué)習(xí)到相關(guān)信息，采用多頭注意力機(jī)制對(duì)項(xiàng)目特征進(jìn)行深層次學(xué)習(xí).傳統(tǒng)的注意力機(jī)制忽略了順序輸入的位置信息，添加位置向量p，p是大小為g×dE的矩陣.在平凡注意力層，得到項(xiàng)目i∈I的特征向量表示fi，于是用戶的總體特征表示為f={f1,f2,···,fg}，將特征向量表示f與位置向量p相加得到：

注意力機(jī)制（Scaled Dot-product Attention）[27]定義如下：

其中，Q、K和V相當(dāng)于F進(jìn)行線性變化.將F線性變化，通過縮放點(diǎn)積輸出：

其中，WQ、WK、WV是大小為dE×dE的可學(xué)習(xí)參數(shù)矩陣.多頭注意力機(jī)制定義如下：

其中，hl是第l頭輸出，是dE×dE可學(xué)習(xí)參數(shù)，l是多頭注意力機(jī)制的頭數(shù).通過將多頭的輸出拼接經(jīng)過線性層輸出Lf：

殘差連接具有改善梯度消失爆炸的作用[28]，所以本文在多頭注意力機(jī)制后添加殘差連接：

以ReLU 為激活函數(shù)的全連接層，克服梯度爆炸問題，在多層網(wǎng)絡(luò)結(jié)構(gòu)下梯度實(shí)現(xiàn)線性傳遞[29]，定義如下：

其中，W1、W2、b1、b2是模型可學(xué)習(xí)的參數(shù)，Of是項(xiàng)目特征的輸出表示.

每一層的參數(shù)在更新過程中，會(huì)改變下一層輸入的分布，神經(jīng)網(wǎng)絡(luò)層數(shù)越多，表現(xiàn)得越明顯，采用歸一化層來保持一致[30].

將從開始輸入F，到最后輸出Of，這個(gè)過程定義為：

疊加q層多頭注意力層表示為：

2.5.4 用戶特征提取 同理，采用上述相同方式對(duì)用戶特征提取.對(duì)于一個(gè)用戶的特征，通過特征編碼和平凡注意力機(jī)制后，與位置向量相加輸出K，K等同于項(xiàng)目特征提取中的F，經(jīng)過多頭注意力機(jī)制輸出項(xiàng)目的特征表示，定義如下：

2.6 多層感知機(jī)輸出模塊經(jīng)上文研究，得到動(dòng)態(tài)興趣建模表示、項(xiàng)目特征表示和用戶特征表示，將其拼接表示，經(jīng)過多層感知機(jī)和softmax函數(shù)，最終輸出Pout：

因多層感知機(jī)具有簡單高效的特點(diǎn)[31]，運(yùn)用它進(jìn)行深層次拼接輸出，最后用softmax函數(shù)以概率的形式輸出結(jié)果.

2.7 網(wǎng)絡(luò)模型的訓(xùn)練這里采用二元交叉熵?fù)p失作為目標(biāo)項(xiàng)目的優(yōu)化目標(biāo)函數(shù)，最終的損失函數(shù)為目標(biāo)項(xiàng)目損失Ltarget與輔助損失Laux相結(jié)合：

其中，N是訓(xùn)練樣本的數(shù)量；y∈[0,1]，y為1 時(shí)，表示用戶和項(xiàng)目有交互，y為0 時(shí)，則相反；Pout是模型的輸出，表示用戶和目標(biāo)項(xiàng)目交互的概率；β是一個(gè)超參數(shù)，用于平衡目標(biāo)項(xiàng)目損失和輔助損失.

3 實(shí)驗(yàn)及分析

3.1 數(shù)據(jù)集本文使用 MovieLens-1M[32]和 Yelp兩個(gè)公開數(shù)據(jù)集驗(yàn)證模型性能.MovieLens-1M 是個(gè)性化電影數(shù)據(jù)集.該數(shù)據(jù)集包含用戶id、項(xiàng)目id、用戶對(duì)項(xiàng)目交互的評(píng)分、時(shí)間戳、用戶特征和項(xiàng)目特征.Yelp 是美國最大的點(diǎn)評(píng)網(wǎng)站公開的內(nèi)部數(shù)據(jù)集，其涵蓋商戶、點(diǎn)評(píng)和用戶數(shù)據(jù)，也包含用戶和商戶的特征信息.在本文實(shí)驗(yàn)中Yelp 和MovieLens-1M 特征選取如表2 所示.

表2 MovieLens-1M 和 Yelp 特征選取Tab.2 Feature selection of MovieLens-1M and Yelp

使用時(shí)間戳來確定交互順序，由于用戶的交互的次數(shù)是不固定的，本文采用長度分別為50、40對(duì)應(yīng)MovieLens-1M 和Yelp 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，如果用戶交互次數(shù)少于定義的次數(shù)，在序列的左側(cè)填充0；如果用戶交互次數(shù)多于定義的次數(shù)，采用時(shí)間為近期的交互序列.截取 MovieLens-1M 和 Yelp的數(shù)據(jù)進(jìn)行過濾，實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如表3 所示.

表3 MovieLens-1M 和Yelp 數(shù)據(jù)集數(shù)據(jù)統(tǒng)計(jì)情況Tab.3 Data statistics of MovieLens-1M and Yelp data sets

最后，將數(shù)據(jù)集劃分為比例為0.8、0.1、0.1 的訓(xùn)練集、驗(yàn)證集和測試集.

3.2 評(píng)價(jià)指標(biāo)曲線下面積（Area Under Curve，AUC）是一種衡量學(xué)習(xí)優(yōu)劣的性能指標(biāo)，本文采用其作為模型的評(píng)價(jià)指標(biāo).

3.3 基線模型和參數(shù)設(shè)置

3.3.1 基線模型 為了驗(yàn)證本文模型的性能，選取若干個(gè)模型作為對(duì)比模型.

BERT4Rec[6]：該模型將BERT 運(yùn)用到序列推薦中，訓(xùn)練過程中使用掩蓋任務(wù)對(duì)用戶行為序列進(jìn)行訓(xùn)練，用 “掩蓋”增強(qiáng)后的向量作為預(yù)測用戶下一時(shí)刻交互項(xiàng)目.

FDSA[14]：該模型運(yùn)用平凡注意機(jī)制和多頭注意力機(jī)制提取用戶的興趣和項(xiàng)目特征進(jìn)行序列推薦，但是忽略了用戶特征.

DIEN[9]：運(yùn)用改進(jìn)的輔助損失函數(shù)監(jiān)督用戶的興趣轉(zhuǎn)移，同時(shí)將注意力機(jī)制和GRU 結(jié)合捕獲用戶興趣的變化，但是該模型忽略了對(duì)用戶和項(xiàng)目特征進(jìn)行深層次的特征提取.

GRU4Rec[20]：該模型利用GRU 從用戶的交互序列中獲取順序依賴關(guān)系.

GRU4RecF[33]：該模型在GRU4Rec 的基礎(chǔ)上添加了項(xiàng)目的屬性特征，提升推薦的性能.

3.3.2 參數(shù)設(shè)置 本文在Pytorch 框架下驗(yàn)證模型性能，實(shí)驗(yàn)的操作系統(tǒng)為Windows 10，顯卡為GTX1650Ti，CPU 型號(hào)為i5-10220H 處理器，Python版本為3.9，在Pycharm 集成環(huán)境下進(jìn)行實(shí)驗(yàn)，具體參數(shù)設(shè)置如表4 所示.

表4 本文實(shí)驗(yàn)參數(shù)設(shè)置Tab.4 Parameter settings of the model experiment

3.4 實(shí)驗(yàn)結(jié)果和分析在數(shù)據(jù)集Yelp 和 MovieLens-1M 上進(jìn)行驗(yàn)證，本文提出的模型和基線模型對(duì)比如圖2、3 所示.對(duì)圖2、3 分析，可得出以下結(jié)論：通過在Yelp 和MovieLens-1M 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，GRU4RecF 模型的效果始終優(yōu)于GRU4Rec，二者的區(qū)別在于GRU4RecF 模型在GRU4Rec 的基礎(chǔ)上融合了項(xiàng)目的特征信息.可見融合項(xiàng)目特征信息可以有效地提高模型的性能.

圖2 MovieLens-1M 下各模型對(duì)比結(jié)果Fig.2 Comparison results of each model under MovieLens-1M

圖3 Yelp 下各模型對(duì)比結(jié)果Fig.3 Comparison results of each model under Yelp

在兩個(gè)數(shù)據(jù)集上，F(xiàn)DSA 模型的性能優(yōu)于BERT4Rec 和GRU4Rec 模型.FDSA 模型采用平凡注意力機(jī)制提取用戶的興趣偏好和項(xiàng)目的特征信息，由實(shí)驗(yàn)可見平凡注意力機(jī)制和項(xiàng)目特征的融合更顯優(yōu)勢.

通過對(duì)本文模型與GRU4RecF 和FDSA 模型比較，GRU4RecF 和FDSA 模型融合了項(xiàng)目的特征，但沒有融合用戶的特征信息.可見用戶特征信息的融合可以有效提高模型的性能.

在MovieLens-1M 數(shù)據(jù)集上整體模型的性能比Yelp 的性能更高.原因可能是MovieLens-1M和Yelp 上性質(zhì)不一樣，MovieLens-1M 是電影影評(píng)數(shù)據(jù)集，Yelp 是類似大眾點(diǎn)評(píng)的數(shù)據(jù)集；MovieLens-1M 用戶和項(xiàng)目的平均行為數(shù)量分別為165、269，同時(shí)Yelp 過濾之后用戶和項(xiàng)目的平均行為數(shù)量為12、10，可見過濾后MovieLens-1M 數(shù)據(jù)集的平均行為數(shù)量遠(yuǎn)超于Yelp.

本文通過運(yùn)用帶注意機(jī)制的GRU 和輔助損失函數(shù)對(duì)用戶的動(dòng)態(tài)興趣建模，然后與用戶特征融合.本文的模型只比BERT4Rec 模型性能高1.5%左右，可能是用戶態(tài)興趣建模的融合和多層感知機(jī)的加入，導(dǎo)致整個(gè)模型的層數(shù)太深，出現(xiàn)梯度消失的情況.

3.5 參數(shù)對(duì)模型的影響

3.5.1 不同長度交互序列影響 不同的交互長度也會(huì)對(duì)模型的性能造成影響.本文取長度為[20，30，40，50，60]進(jìn)行實(shí)驗(yàn)，如圖4 所示.在MovieLens-1M 集上，當(dāng)序列長度為50，此時(shí)的模型性能最佳，為0.9426，可見在MovieLens-1M 集上取短時(shí)間的交互序列，相當(dāng)于短期的興趣建模，可以取得良好的效果.在Yelp 集上，當(dāng)序列長度為40，此時(shí)的模型最佳，為0.912 0，可見對(duì)短期序列建?？梢匀〉貌诲e(cuò)的效果.上述分析表明，當(dāng)交互長度較大時(shí)，序列中的噪聲增多，從而影響模型的性能.

圖4 本文模型在不同交互長度下對(duì)比實(shí)驗(yàn)Fig.4 Comparative experiments of the model in this paper under different interaction lengths

3.5.2 不同嵌入向量維度的影響 嵌入向量維度的大小影響模型的復(fù)雜程度，一定的維度大小能夠充分實(shí)現(xiàn)模型的表達(dá)能力.本文采用[8，16，32，64，128]這5 個(gè)維度進(jìn)行實(shí)驗(yàn)，如圖5 所示.在MovieLens-1M 數(shù)據(jù)集上，當(dāng)維度為128 時(shí)，模型的效果最好.在Yelp 數(shù)據(jù)集下，當(dāng)維度為64 時(shí)，模型的效果最好；當(dāng)維度為128 時(shí)，模型的效果出現(xiàn)下降，可見并不是嵌入向量越大，模型的效果越好.

圖5 本文模型在不同嵌入向量維度下對(duì)比實(shí)驗(yàn)Fig.5 Comparative experiments of the model in this paper under different embedding dimensions

3.6 消融實(shí)驗(yàn)表5 是去除各種影響因素后消融對(duì)比實(shí)驗(yàn)結(jié)果.去除用戶和項(xiàng)目特征，模型的性能在MovieLens-1M 和Yelp 上分別下降0.87%、0.62%，由此驗(yàn)證了融合用戶和項(xiàng)目特征的重要性.去除輔助損失函數(shù)，模型的性能在兩個(gè)數(shù)據(jù)集上分別下降0.48%、0.31%，可見應(yīng)用下一個(gè)行為來監(jiān)督上一個(gè)隱藏興趣狀態(tài)的學(xué)習(xí)可以提高模型的性能.

表5 去除各種影響因素后不同模型消融對(duì)比實(shí)驗(yàn)結(jié)果Tab.5 Comparative experiment results of ablation of different models after removing various influencing factors

4 結(jié)論

本文提出了一種融合動(dòng)態(tài)興趣偏好與特征信息的序列推薦模型，通過對(duì)比實(shí)驗(yàn)，本文模型在兩個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果優(yōu)于其他基線模型；通過消融實(shí)驗(yàn)，驗(yàn)證了特征信息和動(dòng)態(tài)興趣建模在序列推薦中的重要性.然而本文通過融合動(dòng)態(tài)興趣建模和多層感知機(jī)的加入，導(dǎo)致模型的層數(shù)較深，使本文的性能略高于其他模型.未來的工作將從兩個(gè)方面進(jìn)行優(yōu)化.首先，簡化模型的層數(shù)，讓模型更加簡單高效；其次，將對(duì)用戶的動(dòng)態(tài)興趣進(jìn)行增強(qiáng)建模，將用戶的長期興趣和短期興趣相結(jié)合，從而提高推薦的性能.