閆 昭,項欣光

(南京理工大學 計算機科學與工程學院,江蘇 南京 210094)

隨著各互聯網平臺對用戶體驗的考慮,各類平臺均提升匿名訪問服務的體驗。例如在亞馬遜、淘寶、知乎等平臺中,用戶能夠在不登錄的情況下,訪問平臺中的信息。但是,當用戶完成當次訪問并關閉會話后,平臺將失去該用戶的身份。因而每次新增會話,均需要重新確立用戶偏好。為了能夠盡快地確立會話對應用戶的喜好,為其提供優(yōu)質的推薦服務,研究會話推薦任務顯得尤其重要。

作為推薦系統(tǒng)的經典解決方案,協(xié)同過濾[1,2]利用協(xié)同信息推薦用戶感興趣的信息。項目K近鄰法(Item K nearest neighbors,Item-KNN)[2-5]和會話K近鄰法(Session K nearest neighbors,Session-KNN)[6]是會話推薦中基于記憶的協(xié)同過濾方法。Item-KNN忽略會話的歷史序列,向用戶推薦與最新交互項相似的項目。Session-KNN忽略項目間的時序相關性,利用與當前會話相似的會話中出現的項目對項目評分。矩陣分解法[7-9]基于模型的協(xié)同過濾方法,該方法忽略了會話中項目重要性的差異,使用項目隱特征的均值來代替會話表示。

近年來,隨著深度學習的快速發(fā)展,神經網絡方法[10-14]已廣泛應用于于各個領域。考慮到會話歷史為時序數據,常使用遞歸神經網絡(Recurrent neural network,RNN)[15,16]來構建會話的表示。文獻[17]忽略項目在會話中的全局信息,使用RNN獲得會話表示。文獻[18,19]引入用戶的身份信息,使用分級RNN融合用戶特征,但由于會話推薦面向匿名用戶,因而具有一定的局限性。文獻[20]使用了RNN與注意力機制結合的方法,考慮了項目與會話最新交互項目的關系,但忽略了項目所處會話中的位置信息。文獻[6]和[21]在當前會話表示中融合相似會話表示,但由于性能的限制,只能融合部分相似會話。文獻[22]采取數據增強的方法,沒有在方法上進行改進。除了RNN,文獻[23]在序列上直接使用卷積神經網絡(Convolutional neural network,CNN),文獻[24]在序列上直接使用注意力機制,這兩種方法均忽略了項目所處序列的全局信息。圖神經網絡(Graph neural network,GNN)的出現[25-27]為研究工作提供了新的方向。文獻[28]根據會話與項目之間的關系,建立圖網絡分析和生成會話表示,忽視了從整體序列建模分析項目的重要性。

RNN通過迭代的方式保留歷史交互信息中的重要內容。隨著會話過程的進行,歷史序列不斷增長,被舍棄的內容的重要性會隨之變化,但無法再次找回。本文提出的基于整體序列建模的會話推薦模型(Session-based recommendation model based on overall sequence modeling,SRMOSM)計劃采用全局的項目融合策略,同時處理歷史序列中的全部項目,避免了RNN類模型中的取舍過程,能夠更清晰地描述用戶偏好。SRMOSM將選取項目在會話歷史中所處的位置,以及項目與會話最新交互項目的關系,作為衡量項目重要性的指標。最后,SRMOSM在3個公開數據集上設計實驗來驗證其有效性。

1 基于整體序列建模的會話推薦算法

1.1 會話推薦問題描述

表1 符號

1.2 基于整體序列建模的會話推薦模型框架

圖1展示了SRMOSM整體的工作過程。首先,SRMOSM從會話整體建模出發(fā),聯合分析項目在會話歷史的位置和該項目與會話最新交互項目的關系,提取除最新交互項目外其他項的要素特征,包括該項目的編號、最新交互項目的編號、該項目所處會話中的倒序位置和會話長度。該4種要素通過要素隱特征矩陣生成項目權重。對于項目權重,最新交互項目的權重為手工指定。之后,所有的項目權重經過歸一化層再次修正。最后,各項目的隱特征向量與其對應的權重通過加權和生成會話表示。SRMOSM使用交叉熵損失函數和Adam優(yōu)化器優(yōu)化模型的所有參數。

SRMOSM聯合分析項目與最新交互項目的關系、該項目在會話歷史的位置衡量項目的重要性,進而為會話與項目分別設計相應的特征向量。令s∈RD表示某一會話的特征向量,E∈RN×D表示全部N個項目對應的特征向量,那么該會話下一次交互概率為

(1)

式中:E為各項目隱特征向量構成的矩陣,而s對應的會話特征向量,由會話中所有歷史交互項目加權構成。對于會話S,其特征向量s的表示為

(2)

式中:⊙表示向量按對應位相乘的結果,ex為項目x的隱特征向量,即E的第x行,wx為項目x在會話中的權重,取決于該項目對于會話的重要性,即

(3)

式中:cx∈RD表示項目x的重要性,除法為向量按位相除的結果。顯然,項目重要性的計算方法決定了會話表示的優(yōu)劣,也直接影響到了預測下一次交互項目的結果。

圖1 SRMOSM工作框架圖

1.3 會話中的項目重要性

對于基于整體序列建模的會話模型,會話中項目重要性的確定至關重要,本節(jié)分析如何計算項目的重要性。直觀地說,用戶下一次的訪問與他最新的訪問項目相關度最大,與他在會話中訪問的其他項目也有一定的關聯,而訪問時間越近,關聯度越大?？梢哉J為,項目的重要性依賴于他在會話中所處的位置,以及他與最新訪問項目之關的相關性。因此,本文分析了與這兩項內容相關的各種情況,抽出了影響會話S中第i個項目重要性的4種要素,包含項目編號ai,項目ai在序列中的倒數位置L-i,會話中最新交互項目的編號aL,以及會話中項目數量L。這4種要素中,通過L-i與L,可以準確地描述項目前后項目的數量,即其在會話中所處的位置;通過ai與aL,可以得到描述這兩個項目的特征向量,從而確定這兩個項目之間的關系。

這里以4組會話為例說明4種要素對于整體序列建模的必要性。會話分別為S1=[1,2,3,4],S2=[1,4],S3=[1,3],S4=[2,1,4]。

1.3.1 項目編號

會話S1中包含4個項目。以其中的項目1與項目2為例,他們代表了用戶不同的喜好。在計算他們各自對于會話重要性的時候,需要通過項目編號引入他們各自的特征,才能夠體現他們各自不同的貢獻。因此,需要引入ai,來獲取項目特征,從而更好地描述其重要性。

1.3.2 會話中最新交互項目的編號

對于S2和S3,如果僅考慮ai來計算歷史項目1的重要性,會得到相同的重要性。然而,這兩個會話的最新交互項目不同,這也意味著這兩個用戶最后的興趣點不同。所以項目1對這兩個用戶的重要性是不同的。引入會話中最新項目的編號即可解決上述問題。

1.3.3 項目在序列中的倒數位置

對于S1和S2,如果僅考慮ai和要素會話中aL來計算項目1的重要性,會發(fā)現該項目在不同會話中得到的重要性是相同的。然而,項目1所處不同會話的時序位置是不同的。如果某項目離最新交互項目時間越長,用戶興趣點轉移的概率就越大,那么該項目的重要性就越弱。如果引入了項目在序列中的倒數位置,上述問題可以解決。

1.3.4 會話中項目數量

對于S2和S4,如果僅考慮ai、aL和ai在L-i來計算項目1的重要性,這時會發(fā)現在這兩個會話中得到的重要性是相同的。然而這兩個會話的長度不同的,這也意味著用戶總的興趣點分散程度不同,所以項目1對這兩個用戶的重要性是不同的。引入會話中項目數量可解決該問題。

本文針對影響項目重要性的4種要素,設計了4種隱特征向量矩陣,A∈RN×D,B∈RG×D,C∈RN×D,D∈RG×D,分別描述項目編號、項目在序列中的倒數位置、會話中最新交互項目的編號和會話中項目數量對項目重要性的貢獻。其中A和C為項目編號,共有N組隱特征向量。而B和D與會話長度相關,共有G=max|S|組特征向量。項目的重要性可以由下列函數得到

φ(ai,L-i,aL,L)=σ(Aai+BL-i+CaL+DL+b)

(4)

式中:A、B、C和D的下標代表取該矩陣中的對應行,b為偏置向量。σ為激活函數?？紤]到最新交互項目是重要性計算的一項指標,因而其重要性直接被設為常量向量{gσ}D,其中g為隨激活函數變化的常量?？偟膩碚f,會話S中第i個項目的重要性ci的計算公式如下

(5)

1.4 基于整體序列建模的會話推薦模型訓練

(6)

1.5 基于整體序列建模的會話推薦模型算法描述

基于整體序列建模的會話推薦模型的算法描述見表2。算法主要包含兩個循環(huán)。外層循環(huán)首先選取一個會話序列,然后根據內層循環(huán)得到的項目重要性生成會話特征向量,最后生成會話下一次交互各項目的預測概率,從而執(zhí)行Top-k推薦。內層循環(huán)根據項目的編號、最新交互項目的編號、該項目所處會話中的倒數位置和會話項目數量這四種要素,計算會話中每一項的項目重要性。在訓練過程中,算法根據預測概率和式(6),執(zhí)行反向傳播,更新模型的所有參數。

表2 基于整體序列建模的會話推薦算法(前向傳播)

2 實驗與結果分析

2.1 實驗環(huán)境和評價指標

2.1.1 數據集

本文在3個公開數據集上設計實驗,包括Diginetica數據集、Yoochoose數據集和LastFM數據集。表3列出了數據集的詳細統(tǒng)計結果。

Diginetica是2016年CIKM挑戰(zhàn)賽的數據集。本文使用了與文獻[28]相同的數據預處理方法。該方法僅使用交互文件,首先過濾掉長度為1的會話和交互次數小于5的項目,然后選擇了最后7天的會話作為測試集,其余會話作為訓練集。

LastFM是音樂推薦數據集。本文使用了與文獻[21]相同的數據預處理方法。該方法過濾掉長度為1的會話和交互次數少于50的項目,然后隨機選擇269 847個會話作為訓練集,5 771個會話作為測試集。

Yoochoose[31]是2015年RecSys挑戰(zhàn)賽的數據集。本文使用了與文獻[28]相同的數據預處理方法。該方法首先過濾掉會話長度為1的會話和交互次數少于5的項目,然后使用最后一天的會話作為測試集,倒數1/64會話時間切片作為訓練集。

表3 數據集統(tǒng)計

2.1.2 對比模型

本節(jié)介紹文中使用的基準方法。流行度(POP)算法是所有推薦方法的參考基準,它只推薦訓練集中最流行的項目。會話流行度(S-POP)算法推薦當前會話進行時最流行的項目,該項目隨著會話的不同而變化。Item-KNN[2]算法根據項目之間的相似度進行推薦,相似度的大小用余弦值衡量。貝葉斯個性化排序(BPR-MF)[8]算法使用隨機梯度下降方法優(yōu)化成對目標函數。個性化馬爾可夫鏈分解(FPMC)[7]算法使用了矩陣分解和馬爾可夫鏈的混合方法?；谶f歸神經網絡的會話推薦(GRU4REC)[17]算法是一種基于RNN的方法?；谏窠涀⒁饬C制的會話推薦(NARM)[20]算法是一種基于RNN和注意力機制的方法?；趫D神經網絡的會話推薦(SR-GNN)[28]算法是一種基于門控的圖神經網絡和注意力機制的方法?；趨f(xié)同會話帶有并行內存模塊的會話推薦(CSRM)[21]算法是一種RNN和內存網絡的混合方法。

2.1.3 評價指標

本文使用兩個評價指標來評估推薦效果,召回率(Recall)和平均倒數排名(Mean reciprocal rank,MRR)。Recall計算會話下一次點擊的項目是否出現在推薦列表之中,如果會話的標簽出現在推薦列表中,則此會話標記為1;反之為0。該指標不考慮標簽出現在推薦列表中的位置。MRR用來評價標簽所處推薦列表的位置。如果會話的標簽未出現在推薦列表中,記為0;否則為標簽所在位置的倒數。

2.1.4 基于整體序列建模的會話推薦模型的參數設置

本文使用Pytorch框架構建模型并進行訓練。顯卡是TeslaV100,具有32G顯存。根據經驗,本文設置隱特征維度D為150,學習率為0.001,參數的正則化項系數為0,訓練每批次中樣本數為1 024。

2.2 實驗結果與分析

2.2.1 SRMOSM與對比模型的性能對比

展示了本文模型與各對比模型的實驗結果?？梢詮闹杏^察到現象如下現象,SRMOSM在Recall@20和MRR@20這兩個評價指標上獲得了最優(yōu)效果。

在所有傳統(tǒng)方法中,Item-KNN算法和FPMC算法取得了較好的效果,而POP算法的性能最差。POP算法僅僅考慮數據集中項目的流行程度,因而很難抓住不同會話的偏好差異。Item-KNN算法的實驗結果證明了對于會話推薦,最新交互項目對預測用戶的當前偏好有很大的影響。FPMC算法融合了馬爾可夫鏈,因此FPMC算法能夠抓住會話的局部偏好,這同時也證明了會話推薦需要分析序列的時序特性。整體上,神經網絡方法相較于傳統(tǒng)方法具有明顯優(yōu)勢,均取得了良好的效果。GRU4REC算法僅使用RNN生成會話表示。RNN采用多次迭代的方式保留會話歷史的重要信息,在每次迭代中選取局部最優(yōu)解,這使它無法從全局角度考慮會話記錄中各項目的重要性。NARM算法在RNN的基礎上使用注意力機制融合了會話的局部序列,進而生成會話表示。會話的局部序列仍然通過RNN迭代生成,這使它同樣無法從全局角度分析會話中項目的重要性。CSRM算法的會話表示生成過程與NARM算法相同,它在當前會話表示中融合了相似會話表示。因為相似會話與當前會話存在著協(xié)同信息,因而效果上有一定的提升。但本質上它沒有解決從全局角度分析項目重要性的問題。SR-GNN算法使用門控圖神經網路提取項目特征,并通過項目與最新交互項目的關系和注意力機制融合會話中的項目,最終生成會話表示。SR-GNN算法從全局角度分析各會話記錄的重要性,但是一方面,它忽視了項目在會話歷史中的位置信息對項目重要性的影響;另一方面,它的項目重要性為常量,這使它很難抓住項目特征分量對會話表示的貢獻差異。

所以,基于整體序列建模,聯合分析項目與最新交互項目的關系和該項目在會話歷史的位置可以更好地抓住會話中各項目的重要性差異,另外使用向量級的重要性可以更好地區(qū)分項目特征分量的貢獻差異,因而SRMOSM能夠生成更為有效的會話表示。

表4 SRMOSM與對比模型的性能對比

2.2.2 會話長度對推薦效果的影響

會話的最后幾個項目對用戶當前偏好的影響更大,因而,本節(jié)需要觀察會話長度如何影響推薦效果。從圖2可以看出,當會話長度小于10時,評價指標隨著長度的增加而增加。該現象的原因是,當獲得更多的用戶點擊信息后,SRMOSM可以更好地分析用戶偏好,準確生成會話表示。當會話長度大于10時,評價指標趨于穩(wěn)定。該現象的原因是,一方面,大部分會話的實際長度很短,增加會話長度對于這些短會話實際上并沒有影響,因而評價指標趨于穩(wěn)定;另一方面,這時候增加的點擊項目大都是用戶很長時間以前點擊過的項目,這些項目的增加對于當前時刻用戶的偏好影響并不大。

2.2.3 激活函數對基于整體序列建模的會話推薦模型影響

在計算項目重要性時,本文使用了不同的激活函數。本節(jié)分析不同激活函數對推薦效果的影響。對于激活函數Sigmoid,它的值域在0到1之間?？紤]到最新交互項目的重要性,本文采用1作為gσ的值。對于激活函數ReLU6,它的值域在0到6之間,同理,本文采用6作為gσ的值。對于激活函數ReLU,它的值域是0到正無窮,因為沒有上界,所以本文采用1作為gσ的值。從表5可以看出,不同激活函數對評價指標影響不大。SRMOSM可以較好適用于不同的激活函數,至少Sigmoid、ReLU和ReLU6均可以在SRMOSM中使用。激活函數的不同不會使網絡出現梯度爆炸,進而發(fā)生梯度消失現象使網絡失效。

2.2.4 基于整體序列建模的4種要素必要性

本文使用4種要素描述會話的序列特性,從而對會話進行整體序列建模。但是,是否每一個要素都有必要存在。本節(jié)進行了一系列實驗驗證每一個要素存在的必要性。從表6可以看出,隨著每次消除要素,評價指標會相應的降低,但降低的幅度并不大。這與預期相似,因為本文使用4種要素描述會話的序列特性,每次消除都導致部分特性的丟失,導致對會話當前偏好的分析能力減弱。但是,此情況在不同的數據集上表現有些差異,這是因為不同的數據集可能對于會話的序列特性信息的需要不同。由于本文不可能對現在所有的會話任務數據進行實驗,只能通過這幾個有代表性的數據集大致評估方法的有效性。基于這種考慮,為了使SRMOSM具有更強的適應性,需要每一個要素去描述會話相應的序列特性。

圖2 不同會話長度效果對比

表5 激活函數性能對比

表6 要素必要性分析

2.2.5 項目隱特征維度分析

本節(jié)分析項目隱特征向量維度對推薦效果的影響。項目隱特征向量維度設置為50、100、150和200,其他參數設置為該數據集上的最優(yōu)參數,并保持不變。從表7可以看出,隨著項目隱特征向量維度的增加,評價指標會隨之增加。但是,在Yoochoose數據集上,當項目隱特征向量維度從150提升到200時,評價指標略有下降,這說明了不同數據集對應的最優(yōu)隱特征維度不同。在一定的范圍內,增加維度對推薦效果有所提升,繼續(xù)增加獲得的收益較小,還可能導致過擬合,加大模型難度。綜合考慮性能和計算代價之間的均衡,本文設置隱特征維度為150。

2.2.6 會話推薦算法的計算效率對比

本節(jié)對比了文中所有神經網絡模型的計算效率。為了進行公平對比,本文使用訓練一次數據集的平均時間和測試的時間作為評價指標,即:時間/訓練集、時間/測試集,時間單位為s。從表8可以看出,NARM達到了最優(yōu)的計算效率,SRMOSM計算效率略顯遜色,但強于其他模型。除NARM和SRMOSM之外,其他模型的計算時間較長。GRU4REC使用項目的一位有效編碼作為項目特征,一位有效編碼的維度是數據集中項目的數量,其數值遠遠大于項目隱特征向量維度。SR-GNN使用門控圖神經網絡生成項目特征,相比于直接使用項目隱特征向量作為項目特征,增加了計算過程。CSRM在當前會話表示中融合了相似會話表示,同樣增加了計算過程。綜合考慮性能和效率,本文提出的方法取得了最優(yōu)的效果。

表7 項目隱特征維度分析

表8 算法計算效率比較結果

3 結論

本文提出一種基于整體序列建模的會話推薦模型SRMOSM。SRMOSM采用全局的項目融合策略綜合考慮會話涉及的交互項目,通過考查該項目在會話歷史中所處的位置、該項目與會話中最新交互項目的關系,衡量該項目在會話中的權重,計算出各項目對會話表示的重要性,生成更為有效的會話表示。在未來的工作中,可進一步考慮融合相似會話的特征。對比RNN-KNN和CSRM兩項工作可知,融合鄰居會話信息對于會話預測具有積極影響,能夠更容易地找到存在于會話之間的協(xié)同信號,有利于分析用戶當前偏好。