唐 潘，汪學(xué)明

1.貴州大學(xué) 公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，貴陽(yáng) 550025

2.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴陽(yáng) 550025

隨著信息技術(shù)的快速發(fā)展，人們從海量數(shù)據(jù)中獲取目標(biāo)信息變得十分困難，個(gè)性化推薦系統(tǒng)[1-2]為此提供了一個(gè)良好的解決方案，可以幫助用戶(hù)快速地獲取到目標(biāo)信息，減少用戶(hù)的時(shí)間成本。其核心是推薦模型對(duì)用戶(hù)的交互行為進(jìn)行分析，精準(zhǔn)刻畫(huà)用戶(hù)的畫(huà)像，進(jìn)而實(shí)現(xiàn)向用戶(hù)提供感興趣的內(nèi)容。

傳統(tǒng)協(xié)同過(guò)濾推薦[3]可以分為基于用戶(hù)的協(xié)同過(guò)濾推薦[4]和基于項(xiàng)目的協(xié)同過(guò)濾推薦[5]，這些方法在推薦系統(tǒng)領(lǐng)域獲得了廣泛的研究和應(yīng)用，但這類(lèi)算法忽略了用戶(hù)興趣偏好是一個(gè)動(dòng)態(tài)變化的過(guò)程[6]，以及在數(shù)據(jù)稀疏時(shí)存在不能提供良好的推薦性能的問(wèn)題[7]。

當(dāng)前，隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的推薦模型成為研究的熱點(diǎn)，與傳統(tǒng)的推薦方法相比，基于深度學(xué)習(xí)的推薦模型具有更強(qiáng)的深層表達(dá)能力，可以學(xué)習(xí)到更多深層的語(yǔ)義信息，從而解決數(shù)據(jù)稀疏以及興趣愛(ài)好特征提取不足等問(wèn)題[8]。He等人[9]將神經(jīng)網(wǎng)絡(luò)與協(xié)同過(guò)濾推薦進(jìn)行結(jié)合提出神經(jīng)協(xié)同過(guò)濾推薦模型（neural collaborative filtering，NCF），采用多層感知機(jī)網(wǎng)絡(luò)學(xué)習(xí)用戶(hù)和項(xiàng)目之間的交互關(guān)系，從而捕捉高階非線(xiàn)性特征。隨著循環(huán)神經(jīng)網(wǎng)絡(luò)[10]（recurrent neural network，RNN）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）和注意力機(jī)制[11]的興起，在許多任務(wù)中具有較好的表現(xiàn)，同時(shí)在推薦任務(wù)中也取得了較好的成績(jī)。然而RNN網(wǎng)絡(luò)在決策時(shí)需要過(guò)去所有的隱藏狀態(tài)，無(wú)法進(jìn)行并行計(jì)算，存在梯度爆炸或消失等問(wèn)題，以及在基于注意力機(jī)制的模型中只考慮行為序列的相對(duì)位置信息具有一定的局限性。

為了解決上述問(wèn)題，本文提出了融合時(shí)間感知與興趣偏好的推薦模型（recommendation model based on time aware and interest preference，TAIP），該模型將用戶(hù)的交互時(shí)間間隔信息融入到序列嵌入矩陣中，利用多尺度時(shí)序卷積網(wǎng)絡(luò)和Transformer編碼器挖掘用戶(hù)細(xì)粒度的長(zhǎng)短期興趣偏好，并從整體上融合長(zhǎng)短期興趣偏好，從而實(shí)現(xiàn)更好的推薦效果。

1 相關(guān)工作

序列推薦模型的核心是從用戶(hù)的行為序列中構(gòu)建用戶(hù)隨時(shí)間變化的興趣偏好，再基于興趣偏好提供個(gè)性化的推薦內(nèi)容。在早期的序列推薦方法研究中，典型的代表是基于馬爾可夫鏈[12]的推薦方法，該方法從用戶(hù)的行為序列中學(xué)習(xí)下一個(gè)狀態(tài)，得到用戶(hù)點(diǎn)擊項(xiàng)目i+1 的概率，但該方法只能關(guān)注到局部信息，無(wú)法從整體構(gòu)建用戶(hù)的興趣愛(ài)好，對(duì)推薦模型性能的提升有限。

近年來(lái)，由于深度學(xué)習(xí)技術(shù)具有更強(qiáng)的深層表達(dá)能力，基于深度學(xué)習(xí)的序列推薦研究得到了較好的發(fā)展。循環(huán)神經(jīng)網(wǎng)絡(luò)具有能處理序列數(shù)據(jù)的特點(diǎn)，在序列推薦中應(yīng)用比較廣泛。Feltus等人[13]利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)用戶(hù)的行為序列進(jìn)行學(xué)習(xí)，取得了不錯(cuò)的效果。Sun等人[14]將用戶(hù)的行為序列送入到長(zhǎng)短期記憶網(wǎng)絡(luò)（long shortterm memory，LSTM）中進(jìn)行訓(xùn)練，得到隱藏空間中不同時(shí)期的特征信息，再融合不同時(shí)期的特征從而得到了靜態(tài)的興趣愛(ài)好，也取得了不錯(cuò)的成績(jī)。Tang等人[15]基于卷積神經(jīng)網(wǎng)絡(luò)提出了Caser 模型，將用戶(hù)行為序列嵌入矩陣分別使用水平卷積核和垂直卷積核并行獲取序列中的興趣偏好信息，提高了內(nèi)存的使用效率。Chen等人[16]基于時(shí)序卷積網(wǎng)絡(luò)（temporal convolutional network，TCN）提出了MPM模型，在模型中使用時(shí)序卷積網(wǎng)絡(luò)提取了用戶(hù)行為序列中的短期愛(ài)好，并訓(xùn)練了一個(gè)行為檢測(cè)器判斷興趣愛(ài)好對(duì)目標(biāo)項(xiàng)目的影響，取得了不錯(cuò)的效果。但這些基于RNN 和CNN 的推薦方法在處理長(zhǎng)距離依賴(lài)關(guān)系時(shí)，會(huì)出現(xiàn)梯度爆炸或者梯度消失問(wèn)題，以及不具有并行計(jì)算能力的問(wèn)題。Chen 等人[17]提出BST模型，采用可以并行計(jì)算的多頭注意力機(jī)制，自適應(yīng)計(jì)算序列中每個(gè)項(xiàng)目的權(quán)重系數(shù)，在多個(gè)數(shù)據(jù)集上取得了較好的成績(jī)。

上述模型雖然可以在一定程度上獲取用戶(hù)的興趣偏好，但僅考慮行為序列的相對(duì)位置信息存在一定局限性，因?yàn)橛脩?hù)的興趣偏好不是一成不變的，而是會(huì)隨著時(shí)間的變化而動(dòng)態(tài)變化。為了引入用戶(hù)交互的時(shí)間信息，Li等人[18]將用戶(hù)序列中的時(shí)間間隔信息作為重要的因子，設(shè)計(jì)了一個(gè)時(shí)間間隔感知的注意力機(jī)制去學(xué)習(xí)各個(gè)項(xiàng)目的時(shí)間間隔權(quán)重，再進(jìn)行推薦，取得了優(yōu)異的成績(jī)。但通常認(rèn)為距離當(dāng)前時(shí)刻較遠(yuǎn)的項(xiàng)目對(duì)用戶(hù)興趣偏好的影響較小，反之，較大，因此，如何準(zhǔn)確獲取用戶(hù)的時(shí)間間隔信息是至關(guān)重要的。

在本文提出的TAIP模型中，首先，在嵌入層通過(guò)時(shí)間間隔函數(shù)和時(shí)間位置解碼器為每名用戶(hù)提供個(gè)性化的時(shí)間間隔信息，從而增強(qiáng)序列嵌入矩陣的位置信息表示；其次，采用多尺度時(shí)序卷積增大感受野，捕獲更多細(xì)粒度的序列關(guān)系，并通過(guò)通道和空間注意力機(jī)制得到用戶(hù)細(xì)粒度的短期興趣偏好；同時(shí)，采用Transformer編碼器從整體上提取用戶(hù)的興趣偏好，并通過(guò)注意力網(wǎng)絡(luò)探索待推薦項(xiàng)目與興趣偏好之間的關(guān)系，從而獲取用戶(hù)的長(zhǎng)期興趣偏好特征；最后，綜合考慮用戶(hù)的長(zhǎng)短期興趣偏好進(jìn)行個(gè)性化推薦。

2 融合時(shí)間感知與興趣偏好的推薦模型

本文提出的TAIP模型，整體結(jié)構(gòu)主要由嵌入層、多尺度時(shí)序卷積層、Transformer層和全連接輸出層四個(gè)部分組成，如圖1所示。通過(guò)嵌入層可以得到用戶(hù)和項(xiàng)目在隱藏空間中的初始嵌入向量，同時(shí)在用戶(hù)序列嵌入矩陣中引入時(shí)間位置信息加強(qiáng)序列的特征表示；多尺度時(shí)序卷積層采用多個(gè)尺度卷積操作獲取不同時(shí)期的興趣偏好，再利用通道和空間注意力機(jī)制對(duì)不同時(shí)期的興趣偏好進(jìn)行細(xì)粒度的特征提取，獲得用戶(hù)的短期興趣偏好；Transformer層采用Transformer編碼器建模用戶(hù)的興趣偏好，并通過(guò)注意力網(wǎng)絡(luò)探索目標(biāo)項(xiàng)目與興趣偏好之間的關(guān)系，從而得到用戶(hù)的長(zhǎng)期興趣偏好；最后全連接輸出層融合用戶(hù)所有相關(guān)特征，獲得目標(biāo)項(xiàng)目的概率分布。

圖1 TAIP模型整體結(jié)構(gòu)Fig.1 Overall structure of TAIP model

2.1 嵌入層

嵌入層將用戶(hù)集合U和項(xiàng)目集合I分別映射為嵌入矩陣EU和EI，其中嵌入矩陣EU的第u行eu，表示用戶(hù)u的嵌入向量；嵌入矩陣EI的第i行ei，表示項(xiàng)目i的嵌入向量。對(duì)于用戶(hù)u的行為序列，本文使用su=(i1,i2,…,in)表示，并通過(guò)嵌入層將su映射為序列嵌入矩陣Bu=[e1,e2,…,en]，其中n表示用戶(hù)行為序列的長(zhǎng)度，en表示用戶(hù)行為序列中第n個(gè)項(xiàng)目的嵌入向量。

由于TAIP 模型中使用的多尺度時(shí)序卷積網(wǎng)絡(luò)和Transformer 編碼器不能捕捉用戶(hù)行為序列中的相對(duì)位置信息，因此本文在嵌入層中引入時(shí)間位置信息加強(qiáng)模型對(duì)位置信息的學(xué)習(xí)。對(duì)于每名用戶(hù)具有不同的時(shí)間間隔信息，以及不同時(shí)期的項(xiàng)目對(duì)當(dāng)前推薦任務(wù)的重要程度也不同，所以在TAIP 模型中采用時(shí)間間隔編碼的方式獲取時(shí)間信息。首先，將用戶(hù)行為序列的交互時(shí)間定義為T(mén)u=(t1,t2,…,tn)，則在t時(shí)刻可以計(jì)算交互時(shí)間距離當(dāng)前時(shí)刻的間隔；其次，為了表示距離t時(shí)刻較遠(yuǎn)的項(xiàng)目具有較小的影響力，本文設(shè)計(jì)的時(shí)間間隔函數(shù)如式（1）所示，該函數(shù)可以將較遠(yuǎn)的項(xiàng)目賦予較小的權(quán)值：

其中，t表示當(dāng)前時(shí)刻；ti表示第i個(gè)項(xiàng)目的交互時(shí)間；表示用戶(hù)行為序列間隔時(shí)間的平均值。得到用戶(hù)的時(shí)間間隔后，再通過(guò)時(shí)間位置解碼器得到用戶(hù)的時(shí)間位置矩陣T，公式如下：

最后，將用戶(hù)的時(shí)間位置矩陣T融入到嵌入矩陣Bu中，得到帶有時(shí)間位置信息的序列嵌入矩陣=Bu+T。

2.2 多尺度時(shí)序卷積層

在時(shí)序卷積網(wǎng)絡(luò)中，膨脹因果卷積網(wǎng)絡(luò)保證了t時(shí)刻的輸出僅與t時(shí)刻之前的輸入有關(guān)，使得網(wǎng)絡(luò)無(wú)法關(guān)注到未來(lái)時(shí)刻的項(xiàng)目，因此在推薦任務(wù)中可以理解為根據(jù)用戶(hù)的行為序列中確定下一時(shí)刻點(diǎn)擊的項(xiàng)目。

為了從用戶(hù)行為序列中獲取用戶(hù)細(xì)粒度的短期興趣偏好，本文使用多尺度時(shí)序卷積網(wǎng)絡(luò)對(duì)用戶(hù)行為序列的嵌入矩陣進(jìn)行建模學(xué)習(xí)，獲取用戶(hù)各時(shí)刻的興趣偏好。

在傳統(tǒng)的時(shí)序卷積網(wǎng)絡(luò)中只使用單一的卷積模板，導(dǎo)致一次時(shí)序卷積只能觀察到特定維度的特征信息，需要加深卷積次數(shù)或增大擴(kuò)張系數(shù)才能觀察到全局特征。為了改善不足，Ma 等人[19]采用密集連接的方式在時(shí)間尺度上獲取相應(yīng)的特征，從而提高時(shí)序卷積網(wǎng)絡(luò)的性能，但在該網(wǎng)絡(luò)中存在以下問(wèn)題：?jiǎn)未尉矸e操作僅在一個(gè)尺度上進(jìn)行運(yùn)算，所有尺度不能并行運(yùn)算；得到不同尺度的特征信息后，使用單一的加和方式進(jìn)行特征融合；以及采用密集連接在深層時(shí)序卷積網(wǎng)絡(luò)中引入了大量的參數(shù)和冗余信息，導(dǎo)致模型容易出現(xiàn)過(guò)擬合現(xiàn)象。

為了解決這些問(wèn)題，本文在多尺度時(shí)序卷積網(wǎng)絡(luò)中，采用不同大小的卷積核對(duì)嵌入矩陣進(jìn)行并行卷積操作，以及引入不同的膨脹系數(shù)，增加卷積操作的感受野，從而得到不同尺度的特性信息，最后再利用通道和空間注意力機(jī)制計(jì)算不同尺度特征之間的重要程度進(jìn)行特征融合，從而增強(qiáng)特征的表示。多尺度時(shí)序卷積層如圖2所示。

圖2 多尺度時(shí)序卷積網(wǎng)絡(luò)層結(jié)構(gòu)Fig.2 Multi-scale TCN structure

其中，k為卷積核大??；ε為膨脹系數(shù)，通常設(shè)置為2i；(k-1)×ε為Padding填充值；表示l層第j個(gè)卷積的權(quán)重參數(shù)；表示l層第j個(gè)卷積的偏置；σ(?)表示激活函數(shù)；?表示膨脹因果卷積運(yùn)算，運(yùn)算過(guò)程可以表示為。同時(shí)為了緩解單尺度中因時(shí)序卷積網(wǎng)絡(luò)疊加所導(dǎo)致的梯度消失和過(guò)擬合問(wèn)題，在時(shí)序卷積中引入了殘差連接方式將前一層的特征信息加入到下一層。

多尺度時(shí)序卷積網(wǎng)絡(luò)由三個(gè)并行的時(shí)序卷積網(wǎng)絡(luò)組成，卷積核大小分別設(shè)置為k1=2,k2=3,k3=4，其中較大的卷積核，可以捕獲序列中較長(zhǎng)的特征，從而提取出較大尺度的語(yǔ)義信息；較小的卷積核，更容易關(guān)注到較短的序列特征，從而提取出較小尺度的語(yǔ)義信息。在多尺度卷積網(wǎng)絡(luò)完成卷積操作后，分別將輸出在通道維度上進(jìn)行拼接得到特征，并利用通道和空間注意力從通道和空間維度對(duì)特征F進(jìn)行融合，從而得到用戶(hù)的興趣偏好。其中通道注意力分別對(duì)特征F進(jìn)行全局平均和最大池化，再通過(guò)激活函數(shù)得到注意力權(quán)重矩陣，最后將注意力權(quán)重矩陣與特征F相乘得到通道注意力的輸出F′，公式如下：

其中，fc(?)表示通道注意力操作；AP(?)表示全局平均池化；MP(?)表示全局最大池化；?表示元素乘法。

在空間注意力中，首先對(duì)F′進(jìn)行了全局平均和最大池化；其次，使用一層卷積網(wǎng)絡(luò)生成空間注意力權(quán)重矩陣fs(F′)，表示不同通道上的權(quán)重系數(shù)，最后，與輸入特征相乘并在通道上進(jìn)行加和，從而得到用戶(hù)的短期興趣愛(ài)好表示，公式如下：

其中，fs(?)表示空間注意力操作；k1×1表示卷積核大?。弧驯硎揪矸e運(yùn)算。

2.3 Transformer層

用戶(hù)的行為序列不僅可以學(xué)習(xí)用戶(hù)的短期興趣偏好，還可以根據(jù)用戶(hù)短期興趣偏好學(xué)習(xí)用戶(hù)的長(zhǎng)期興趣偏好。因此，模型中Transformer層采用雙向Transformer編碼器建模學(xué)習(xí)用戶(hù)的行為序列，使得模型在任何時(shí)刻都能觀察到行為序列中的所有項(xiàng)目，從而學(xué)習(xí)到用戶(hù)的長(zhǎng)期興趣偏好。

Transformer 層主要由多個(gè)疊加的Encoder-block 和注意力網(wǎng)絡(luò)構(gòu)成。其中每個(gè)Encoder-block的結(jié)構(gòu)如圖3所示，主要包括多頭注意力機(jī)制、前饋神經(jīng)網(wǎng)絡(luò)、殘差連接和歸一化層。

圖3 Encoder-block結(jié)構(gòu)Fig.3 Encoder-block structure

多頭注意力機(jī)制可以在不同的隱藏空間中對(duì)用戶(hù)行為序列的內(nèi)部關(guān)系進(jìn)行學(xué)習(xí)，從而捕捉到更豐富的特征。首先，將帶有時(shí)間位置信息的嵌入矩陣通過(guò)線(xiàn)性變換得到Q、K、V矩陣，并通過(guò)公式（6）計(jì)算第h個(gè)子空間中的輸出：

其中，Att(?)表示一般注意力機(jī)制；softmax(?)表示激活函數(shù)；Qh、Kh、Vh表示第h個(gè)子空間的嵌入矩陣；表示縮放因子，可以避免內(nèi)積過(guò)大導(dǎo)致的梯度爆炸；T 表示矩陣的轉(zhuǎn)置。

在得到各子空間的輸出后，將輸出進(jìn)行拼接，并通過(guò)參數(shù)wH進(jìn)行特征變換得到多頭注意力機(jī)制的輸出，公式如下：

前饋神經(jīng)網(wǎng)絡(luò)可以在不同維度上進(jìn)行學(xué)習(xí)，增加模型的非線(xiàn)性特征，同時(shí)引入殘差連接和歸一化層，避免因?qū)訑?shù)疊加導(dǎo)致的梯度消失和過(guò)擬合問(wèn)題，公式如下：

其中，LayerNorm(?)表示歸一化層；relu(?)表示激活函數(shù)；w1、w2表示全連接網(wǎng)絡(luò)的參數(shù)矩陣；b1、b2表示全連接層的偏置值。

為了在Transformer 層中有效地融合不同時(shí)刻的興趣偏好特征，本文在Encoder-block的基礎(chǔ)上引入了注意力網(wǎng)絡(luò)對(duì)不同時(shí)刻的特征進(jìn)行聚合，探索待推薦項(xiàng)目與興趣偏好特征之間的關(guān)系，從而得到用戶(hù)的長(zhǎng)期興趣偏好，公式如下：

其中，fatt(?)表示注意力網(wǎng)絡(luò)；表示Encoder-block輸出的第j個(gè)的興趣偏好；wl表示注意力網(wǎng)絡(luò)的參數(shù)矩陣；bl為偏置值；αj表示第j個(gè)興趣偏好的權(quán)重值，計(jì)算公式如式（10）所示，其中δ(?)函數(shù)表示計(jì)算不同特征之間的權(quán)重系數(shù)：

2.4 全連接輸出層

為了有效地捕捉到用戶(hù)的全局偏好，本文從用戶(hù)和項(xiàng)目的嵌入矩陣中檢索出用戶(hù)u和目標(biāo)項(xiàng)目i的嵌入向量，并與多尺度時(shí)序卷積層和Transformer 層提取的細(xì)粒度長(zhǎng)短期興趣偏好進(jìn)行融合，通過(guò)全連接輸出層建模用戶(hù)-項(xiàng)目的交互關(guān)系，得到在t時(shí)刻用戶(hù)u點(diǎn)擊目標(biāo)項(xiàng)目i的概率，公式如式（11）所示：

其中，wo表示輸出層的參數(shù)矩陣；bo表示輸出層偏置值；sigmoid(?)表示激活函數(shù)。

本文在訓(xùn)練中優(yōu)化的目標(biāo)函數(shù)為二元交叉熵?fù)p失函數(shù)，為防止訓(xùn)練中出現(xiàn)過(guò)擬合現(xiàn)象，在目標(biāo)函數(shù)中引入L2正則化，對(duì)偏差較大的參數(shù)進(jìn)行限制，公式如下：

其中，y表示用戶(hù)對(duì)目標(biāo)項(xiàng)目的真實(shí)標(biāo)簽；表示模型輸出的預(yù)測(cè)標(biāo)簽；λ為正則化因子；w表示模型所有有效參數(shù)。

2.5 復(fù)雜度分析

對(duì)于TAIP 模型的復(fù)雜度，本文對(duì)多尺度時(shí)序卷積層和Transformer層進(jìn)行了分析。假設(shè)嵌入向量在隱藏空間中的維度為d，用戶(hù)行為序列的長(zhǎng)度為n，時(shí)序卷積網(wǎng)絡(luò)的尺度為m，卷積核大小為k。

在多尺度時(shí)序卷積網(wǎng)絡(luò)層中，每個(gè)尺度上都需要進(jìn)行卷積核為k的因果卷積操作，復(fù)雜度可以表示為O(mnk)；在通道和空間注意力上需要對(duì)各尺度輸出進(jìn)行相似度計(jì)算，復(fù)雜度可以表示為O(mnd)。由于k≤n

在Transformer 層中利用了多頭注意力機(jī)制計(jì)算序列中每個(gè)行為之間的相似性，以及利用了注意力網(wǎng)絡(luò)去融合了不同時(shí)刻的特征信息得到用戶(hù)的長(zhǎng)期偏好，兩部分的復(fù)雜度均為O(n2d)，所以Transformer 層的時(shí)間復(fù)雜度可以表示為O(n2d)。

綜上所述，本文提出的TAIP 模型復(fù)雜度可以歸納為O(n2d+mnd)，從復(fù)雜度可以看出，模型的復(fù)雜度主要與用戶(hù)序列長(zhǎng)度、嵌入向量維度和尺度數(shù)有關(guān)。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證TAIP 模型的有效性，本文在兩個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。MovieLens-1M（以下簡(jiǎn)稱(chēng)ML-1M）數(shù)據(jù)集是一個(gè)電影推薦場(chǎng)景的數(shù)據(jù)集，包含了6 040 名用戶(hù)對(duì)3 706部電影的1 000 209條評(píng)分?jǐn)?shù)據(jù)，評(píng)分值為[1，5]之間的整數(shù)，每名用戶(hù)交互的序列長(zhǎng)度超過(guò)20；YELP數(shù)據(jù)集是Yelp公司提供的商戶(hù)評(píng)分?jǐn)?shù)據(jù)集，包含42 715名用戶(hù)對(duì)31 765個(gè)商戶(hù)的2 163 945條評(píng)分?jǐn)?shù)據(jù)，評(píng)分值為[1，5]之間的整數(shù)，每名用戶(hù)交互的序列長(zhǎng)度超過(guò)10。兩個(gè)數(shù)據(jù)集的具體統(tǒng)計(jì)信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)信息Table 1 Statistics of experimental datasets

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文采用Leave-One-Out 評(píng)估策略，將用戶(hù)最近交互的行為信息作為測(cè)試集的正樣本數(shù)據(jù)，并隨機(jī)從用戶(hù)未交互的項(xiàng)目集中抽取100 個(gè)項(xiàng)目作為測(cè)試集的負(fù)樣本數(shù)據(jù)，其余的交互行為作為訓(xùn)練集數(shù)據(jù)。

本文使用的評(píng)價(jià)指標(biāo)包括HR@N、NDCG@N 和MRR：其中命中率（HR@N）用于衡量長(zhǎng)度為N的推薦列表中包含正樣本項(xiàng)目的比率，公式如下：

1967年，彼得·卡爾·戈德馬克提出了新媒體這一概念，但學(xué)術(shù)研究發(fā)展至今，學(xué)界也未能給予新媒體準(zhǔn)確定義。有專(zhuān)家認(rèn)為，以數(shù)字及互聯(lián)網(wǎng)技術(shù)為基礎(chǔ)，向人們提供信息技術(shù)服務(wù)就可以稱(chēng)為新媒體；但也有專(zhuān)家表示，在傳媒中進(jìn)行高新技術(shù)的有效運(yùn)用就可以稱(chēng)為新媒體。在筆者看來(lái)，新媒體應(yīng)該是在信息技術(shù)支持下，具有海量性、交互性以及共享性特點(diǎn)的一種向受眾提供信息服務(wù)的媒介形式。

其中，U表示所有用戶(hù)集合；idxu,i表示用戶(hù)u測(cè)試集合中的正樣本項(xiàng)目i在推薦集合中的下標(biāo)；1(idxu,i

歸一化折扣累計(jì)增益（NDCG@N）用于衡量推薦列表中正樣本項(xiàng)目在不同位置的相關(guān)性，排序越靠前，推薦效果越好，公式如式下：

平均倒數(shù)排名（MRR），用于衡量正樣本在推薦列表中的位置關(guān)系，位置越靠前，推薦效果越好，公式如下：

其中，idxu,i小于N取值為idxu,i，大于N取值為+∞。

3.3 對(duì)比模型與參數(shù)設(shè)置

為有效地評(píng)價(jià)TAIP 模型的推薦效果，本文選擇了以下具有代表性的模型進(jìn)行比較：

（1）NCF[9]：擴(kuò)展了傳統(tǒng)的協(xié)同過(guò)濾算法，利用用戶(hù)和項(xiàng)目的嵌入向量在全連接網(wǎng)絡(luò)中刻畫(huà)用戶(hù)與項(xiàng)目之間的交互關(guān)系。

（2）BST[17]：使用了單向Transformer 編碼器去捕獲用戶(hù)的行為序列中的關(guān)系，并融合用戶(hù)和項(xiàng)目的其他屬性提供序列推薦。

（4）BERT4Rec[20]：將NLP 領(lǐng)域的BERT 模型引入到推薦模型中，使用雙向的Transformer 編碼器捕捉用戶(hù)行為序列中的關(guān)系提供序列推薦。

（5）MPM[16]：訓(xùn)練了一個(gè)行為檢測(cè)器判斷興趣愛(ài)好對(duì)目標(biāo)項(xiàng)目的影響，并融合一般特征進(jìn)行推薦。

（6）SRMA[21]：采用模型增強(qiáng)的方式對(duì)模型進(jìn)行擴(kuò)充，從而提高模型的推薦性能。

（7）ContrastVAE[22]：將用戶(hù)的行為數(shù)據(jù)映射到兩個(gè)不同的隱藏空間，并利用多個(gè)Transformer從兩個(gè)空間中估計(jì)相應(yīng)的后驗(yàn)概率分布，最后再通過(guò)一個(gè)Transformer執(zhí)行推薦任務(wù)。

（8）DuoRec[23]：采用對(duì)比正則化的方法重塑用戶(hù)行為序列的表示分布，并利用無(wú)監(jiān)督和有監(jiān)督的對(duì)比樣本進(jìn)行建模學(xué)習(xí)，從而完成推薦任務(wù)。

本文的實(shí)驗(yàn)在Linux 操作系統(tǒng)上進(jìn)行，模型實(shí)現(xiàn)采用Pytorch 深度學(xué)習(xí)框架，并在NVIDIA RTX 2080Ti GPU 上進(jìn)行訓(xùn)練。實(shí)驗(yàn)中對(duì)常見(jiàn)的超參數(shù)進(jìn)行如下設(shè)置，嵌入向量的維度在[8，16，32，64，128]之間調(diào)整，初始學(xué)習(xí)率為0.001，正則化系數(shù)為0.001，優(yōu)化器為自適應(yīng)梯度下降（Adam），dropout 比例為0.2，批處理大小為256，序列長(zhǎng)度在[5，10，20，50，100]之間調(diào)整，評(píng)價(jià)指標(biāo)N取值為[1，10]。對(duì)比模型的其他超參數(shù)遵循其作者原有的設(shè)置。

3.4 實(shí)驗(yàn)結(jié)果及分析

3.4.1 模型性能分析

在ML-1M 與YELP 兩個(gè)數(shù)據(jù)集上對(duì)所有模型進(jìn)行了測(cè)試，各模型的性能結(jié)果如表2和表3所示，其中最優(yōu)的結(jié)果采用加粗表示，并在最后一行展示了TAIP 模型相較于次優(yōu)結(jié)果的提升比率。

表2 ML-1M數(shù)據(jù)集上的推薦性能比較Table 2 Performance comparison on ML-1M dataset

表3 YELP數(shù)據(jù)集上的推薦性能比較Table 3 Performance comparison on YELP dataset

從表2 和表3 中可以得出結(jié)論，采用神經(jīng)協(xié)同過(guò)濾的NCF 模型與其他模型相比，在各項(xiàng)評(píng)價(jià)指標(biāo)上均低于其他模型，這是由于NCF 模型僅考慮了用戶(hù)的點(diǎn)擊信息，而忽略了用戶(hù)行為序列之間的特征信息。

在基于用戶(hù)行為序列的模型中，Caser 模型的性能低于MPM 模型，表明時(shí)序卷積相較于傳統(tǒng)的卷積網(wǎng)絡(luò)具有更好的學(xué)習(xí)能力，這是因?yàn)闀r(shí)序卷積的結(jié)構(gòu)可以獲得更大的感受野；BST 模型的性能低于BERT4Rec 模型，表明利用雙向Transformer 編碼器對(duì)用戶(hù)的行為序列進(jìn)行建模比單向Transformer編碼器具有更好的學(xué)習(xí)能力；對(duì)于SRMA、ContrastVAE和DuoRec模型，其性能仍低于TAIP模型，表明僅考慮模型增強(qiáng)和數(shù)據(jù)增強(qiáng)，對(duì)模型性能的提升有限。

從表2、表3 中結(jié)果可知，相較于次優(yōu)模型，TAIP 模型在兩個(gè)數(shù)據(jù)集上，HR@10評(píng)價(jià)指標(biāo)分別提升了4.84%和2.57%；在NDCG@10 評(píng)價(jià)指標(biāo)上分別提升了6.01%和3.22%；在MRR 評(píng)價(jià)指標(biāo)上分別提升了10.38%和3.37%。其中MRR 指標(biāo)提升最為明顯，表明TAIP 模型對(duì)正樣本的識(shí)別能力較強(qiáng)。

綜上所述，本文提出的TAIP模型，相較于其他模型具有較大的提升，表明用戶(hù)交互的時(shí)間間隔信息和用戶(hù)的長(zhǎng)短期興趣偏好對(duì)模型性能的提升具有重要作用，驗(yàn)證了TAIP模型的有效性。

3.4.2 嵌入向量維度分析

在隱藏空間中，不同維度的嵌入向量對(duì)特征的表示能力是不同的，對(duì)推薦性能的影響也是不同的，本文對(duì)不同嵌入維度對(duì)推薦性能的影響進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4 所示。本部分僅展示了NDCG@10 和MRR 評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果，其他評(píng)價(jià)指標(biāo)具有相同的趨勢(shì)。

圖4 不同嵌入向量維度的對(duì)比圖Fig.4 Comparison of different embedding dimension

通過(guò)圖4 對(duì)比分析可知，隨著嵌入向量維度的增加，模型的性能會(huì)越來(lái)越好，這是由于在嵌入向量維度較小時(shí)，模型的參數(shù)較少，限制了模型對(duì)用戶(hù)信息的學(xué)習(xí)，從而導(dǎo)致性能不好；在嵌入向量維度較大時(shí)，模型能更好地學(xué)習(xí)到用戶(hù)的隱藏信息，提升模型的推薦性能，但較大的維度會(huì)大幅度增加模型計(jì)算量，使得收斂所需要的時(shí)間更長(zhǎng)，同時(shí)也會(huì)讓模型出現(xiàn)過(guò)擬合現(xiàn)象。在兩個(gè)數(shù)據(jù)集上，TAIP 模型在維度達(dá)到128 時(shí)，具有最佳性能，因此在兩個(gè)數(shù)據(jù)集中嵌入向量維度設(shè)置為128。

3.4.3 行為序列長(zhǎng)度分析

圖5 展示了兩個(gè)數(shù)據(jù)集上用戶(hù)行為序列長(zhǎng)度對(duì)推薦模型性能的影響，序列長(zhǎng)度的取值范圍從5到100，本部分僅展示了評(píng)價(jià)指標(biāo)HR@10和NDCG@10的實(shí)驗(yàn)結(jié)果，其他評(píng)價(jià)指標(biāo)具有相同的趨勢(shì)。

圖5 不同序列長(zhǎng)度的對(duì)比圖Fig.5 Comparison of different sequence length

從圖5 分析可知，隨著序列長(zhǎng)度的增加，模型的性能趨向于平穩(wěn)。對(duì)于數(shù)據(jù)密度較大的ML-1M 數(shù)據(jù)集，性能曲線(xiàn)呈現(xiàn)上升后再下降的趨勢(shì)，在序列長(zhǎng)度為20時(shí)，達(dá)到了最佳性能。在數(shù)據(jù)密度較小的YELP數(shù)據(jù)集中，性能曲線(xiàn)同樣呈現(xiàn)上升后再下降的趨勢(shì)，在序列長(zhǎng)度超過(guò)10 后，性能開(kāi)始趨向于平穩(wěn)下降，這是因?yàn)樵赮ELP 數(shù)據(jù)集中較長(zhǎng)的序列引入更多的噪聲，使得性能退化。因此在ML-1M 數(shù)據(jù)集上序列長(zhǎng)度設(shè)置為20，YELP數(shù)據(jù)集上的序列長(zhǎng)度設(shè)置為10。

3.4.4 超參數(shù)分析

圖6展示了兩個(gè)數(shù)據(jù)集上不同的Dropout比率和學(xué)習(xí)率對(duì)TAIP 模型的影響。從圖6（a）可以看出，在兩個(gè)數(shù)據(jù)集上隨著Dropout比率的增加，TAIP模型的推薦性能逐漸下降，在Dropout 比率超過(guò)0.5 時(shí)，推薦性能的下降幅度較大，這是由于較大的Dropout 比率減少了有效參數(shù)，導(dǎo)致模型無(wú)法學(xué)習(xí)到足夠的特征，從而降低模型的性能。從圖6（b）可以看出，較大的學(xué)習(xí)率會(huì)導(dǎo)致模型的推薦性能處于較低水平，這是因?yàn)槟Ｐ驮谟?xùn)練過(guò)程中無(wú)法收斂到最優(yōu)解；較小的學(xué)習(xí)率會(huì)導(dǎo)致模型在訓(xùn)練過(guò)程中收斂緩慢，需要更多的迭代才能達(dá)到最優(yōu)解，同時(shí)也會(huì)讓模型陷入局部最優(yōu)解，無(wú)法達(dá)到更好的性能。因此在ML-1M數(shù)據(jù)集上，Dropout比率設(shè)置為0.2，學(xué)習(xí)率設(shè)置為5E-4；YELP數(shù)據(jù)集上，Dropout比率設(shè)置為0.2，學(xué)習(xí)率設(shè)置為5E-4。

圖6 不同超參數(shù)的對(duì)比圖Fig.6 Comparison of different hyperparameters

3.4.5 優(yōu)化器分析

為分析不同優(yōu)化器對(duì)性能的影響，本文在兩個(gè)數(shù)據(jù)集上選取SGD、Adagrad、RMSprop 和Adam 優(yōu)化器進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 不同優(yōu)化器的對(duì)比圖Fig.7 Comparison of different optimisers

從圖7中可以看出，在兩個(gè)數(shù)據(jù)集上不同的優(yōu)化器具有不同的收斂速度，其中SGD優(yōu)化器的效果較差，其主要原因是在隨機(jī)梯度下降的時(shí)只考慮了一個(gè)樣本，導(dǎo)致在參數(shù)更新時(shí)出現(xiàn)較大的偏差，從而陷入局部最優(yōu)解，無(wú)法得到較好的推薦性能；Adagrad優(yōu)化器可以在訓(xùn)練過(guò)程中自動(dòng)調(diào)整模型中每個(gè)參數(shù)的學(xué)習(xí)率，從而獲得更好的訓(xùn)練效果，相比于SGD優(yōu)化器提升明顯；RMSprop是在Adagrad上改進(jìn)的梯度下降算法，該算法中結(jié)合了歷史梯度信息去動(dòng)態(tài)的調(diào)節(jié)學(xué)習(xí)率，使得模型具有良好的訓(xùn)練效率；Adam優(yōu)化器結(jié)合了RMSprop和動(dòng)量梯度下降算法，使得模型在訓(xùn)練過(guò)程中能獲得較好的收斂速度，相較于其他優(yōu)化算法具有一定的優(yōu)勢(shì)。

3.4.6 消融實(shí)驗(yàn)分析

在TAIP模型中，分別引入了時(shí)間位置信息、多尺度時(shí)序卷積層和Transformer 層，為了驗(yàn)證各組件的有效性和對(duì)模型性能的影響，在兩個(gè)數(shù)據(jù)集上的設(shè)計(jì)了消融實(shí)驗(yàn)進(jìn)行研究分析，實(shí)驗(yàn)結(jié)果如表4所示，實(shí)現(xiàn)細(xì)節(jié)如下：

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Results of ablation analysis

（1）Short：忽略TAIP 模型中的Transformer 層，只保留多尺度時(shí)序卷積層提取的短期興趣偏好作為全連接層的輸入。

（2）Long：忽略TAIP 模型中的多尺度時(shí)序卷積層，只保留Transformer層獲取的長(zhǎng)期興趣偏好作為全連接層的輸入。

（3）Relative：去除TAIP 模型中的時(shí)間位置信息，采用序列的相對(duì)位置信息，探索時(shí)間位置信息對(duì)TAIP 模型性能的影響。

從表4的實(shí)驗(yàn)結(jié)果可以得出如下結(jié)論：

（1）Short 模型與TAIP 模型相比，在各評(píng)價(jià)指標(biāo)上的性能相差較大，表明在模型中僅使用用戶(hù)的短期偏好對(duì)模型性能的提升有限。

（2）Long 模型與TAIP 模型相比，Long 模型的推薦性能有所退化，表明在模型中僅使用用戶(hù)的長(zhǎng)期偏好對(duì)模型性能的提升也有限。

（3）Short 模型與Long 模型相比，Short 的性能要低于Long 模型，表明通過(guò)Transformer 編碼器探索用戶(hù)的長(zhǎng)期興趣偏好對(duì)模型性能的提升更為重要。

（4）Relative 模型與TAIP 模型相比，采用絕對(duì)位置信息的Relative 模型推薦性能有所下降，表明用戶(hù)的時(shí)間位置信息加入到用戶(hù)行為嵌入矩陣中可以有效地提升模型的推薦性能。

綜上所述，表明TAIP 模型的各組成部分對(duì)性能的提升具有積極作用，驗(yàn)證了各組成部分的有效性。

3.4.7 注意力機(jī)制分析

在TAIP 模型的多尺度時(shí)序卷積層中，利用了通道和空間注意力計(jì)算不同尺度特征之間的重要程度，為了驗(yàn)證有無(wú)注意力和不同類(lèi)型的注意力對(duì)推薦性能的影響，在兩個(gè)數(shù)據(jù)集上的設(shè)計(jì)了實(shí)驗(yàn)進(jìn)行研究分析，實(shí)驗(yàn)結(jié)果如表5 所示，其中None 結(jié)構(gòu)表示不使用注意力機(jī)制，采用直接加和的方式融合不同尺度的輸出；Self-Attention 表示使用自注意力機(jī)制替代通道和空間注意力機(jī)制；Multi-Head表示利用多頭注意力機(jī)制替代通道和空間注意力機(jī)制。

表5 多尺度時(shí)序卷積層注意力機(jī)制實(shí)驗(yàn)結(jié)果Table 5 Results on attention mechanism for multi-scale TCN

從表5的實(shí)驗(yàn)結(jié)果可以看出：采用直接加和的方式融合各尺度的特征會(huì)讓推薦模型的性能退化，表明使用注意力去融合各尺度的特征是有效的。采用通道和空間注意力機(jī)制去融合各尺度的特征，相較于自注意力機(jī)制和多頭注意力機(jī)制具有一定的優(yōu)勢(shì)，這是因?yàn)橥ǖ篮涂臻g注意力更能識(shí)別出卷積網(wǎng)絡(luò)輸出的通道和空間維度特征，從而提升性能。

在TAIP 模型中，Transformer 層也使用了注意力機(jī)制，為了驗(yàn)證有無(wú)注意力和不同類(lèi)型的注意力對(duì)推薦性能的影響，在兩個(gè)數(shù)據(jù)集上的設(shè)計(jì)了實(shí)驗(yàn)進(jìn)行研究分析，實(shí)驗(yàn)結(jié)果如表6所示。

表6 Transformer層注意力機(jī)制實(shí)驗(yàn)結(jié)果Table 6 Results on attention mechanism for Transformer

從表6的實(shí)驗(yàn)結(jié)果可以看出，在ML-1M數(shù)據(jù)集上，不使用注意力機(jī)制推薦模型的性能退化嚴(yán)重，表明在Transformer層中注意力機(jī)制對(duì)性能的提升尤其重要。在YELP 數(shù)據(jù)集上三個(gè)結(jié)構(gòu)的性能相差不大，這是由于在數(shù)據(jù)密度較小YELP數(shù)據(jù)集中，每名用戶(hù)的有效序列長(zhǎng)度較短，使得注意力機(jī)制無(wú)法從序列中學(xué)習(xí)到足夠的有效信息去提升推薦性能。

3.4.8 復(fù)雜度分析

對(duì)于模型的復(fù)雜度，本文與MPM、SRMA、ContrastVAE和DuoRec模型在復(fù)雜度和訓(xùn)練時(shí)間效率[24]上進(jìn)行了對(duì)比分析，對(duì)比分析結(jié)果如表7 所示。設(shè)嵌入向量在隱藏空間中的維度為d，用戶(hù)行為序列的長(zhǎng)度為n，時(shí)序卷積網(wǎng)絡(luò)的尺度為m，卷積核大小為k，經(jīng)分析各模型的復(fù)雜度從小到大的排列如下：MPM

表7 不同模型復(fù)雜度比較Table 7 Complexity comparison about different models

4 結(jié)束語(yǔ)

本文提出了一種融合時(shí)間感知與興趣偏好的推薦模型，將用戶(hù)交互的時(shí)間間隔信息作為輔助信息引入到序列嵌入矩陣中，并設(shè)計(jì)多尺度時(shí)序卷積網(wǎng)絡(luò)與通道和空間注意力機(jī)制精準(zhǔn)地提取細(xì)粒度短期偏好；同時(shí)采用Transformer 編碼器挖掘目標(biāo)項(xiàng)目與用戶(hù)興趣之間的長(zhǎng)期偏好；最后利用了全連接網(wǎng)絡(luò)實(shí)現(xiàn)全局特征融合，再提供推薦。在兩個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提出的TAIP模型優(yōu)于其他模型，驗(yàn)證了模型的有效性；消融實(shí)驗(yàn)也證實(shí)了各組成部分對(duì)推薦性能的提升具有積極作用。

在未來(lái)的工作中，將考慮使用圖神經(jīng)網(wǎng)絡(luò)對(duì)用戶(hù)的社交信息進(jìn)行學(xué)習(xí)，獲取用戶(hù)的社交特征，從而進(jìn)一步提高模型的推薦性能，以及引入更多的輔助信息，建立一個(gè)更加健壯的推薦模型。