劉亦欣，王家偉，李自力

(重慶交通大學信息科學與工程學院, 重慶 400074)

0 引 言

隨著網絡信息量的不斷增長，信息過載現象越來越嚴重，推薦系統(tǒng)作為一種信息篩選的方法變得越來越重要。推薦系統(tǒng)可以幫助用戶在繁雜的數據中快速發(fā)現自己想要的信息，能夠針對主流商品對所有用戶進行推薦，根據二八原則，八成的交易數據都是由20%的用戶產生的，因此80%的用戶都沒有得到更滿意的推薦，所以對所有人使用同一套推薦系統(tǒng)變得不再可行，個性化推薦系統(tǒng)便出現了。近年來，越來越多的電子商務公司利用個性化推薦系統(tǒng)[1]對用戶的購買行為進行預測，但大多數方法都忽略了用戶與商品交互時的時間上下文信息[2]，因為用戶的時間上下文信息是動態(tài)變化的，所以推薦效果不盡人意，推薦結果的單一化的問題亟待解決。

在眾多推薦算法中，基于模型的混合推薦[3-4]是當前應用最廣的一種推薦算法，它通過組合后能避免或彌補各自推薦技術的弱點。因子分解機[5](Factorization Machines，FM)主要是解決稀疏數據集下的特征組合問題，對連續(xù)和離散特征有較好的通用性。場感知分解機[6](Field-aware Factorization Machine，FFM)通過引入場(field)的概念，FFM把相同性質的特征歸于同一個場。這樣每一維特征都會針對其他特征的每個場，分別學習到一個隱變量，該隱變量不僅與特征相關，也與場相關。深度因子分解機[7](Deep Factorization Machines，DeepFM)通過加入多層神經網絡，解決了FM只用到了特征的二階組合的缺陷，使用多層神經網絡對由輸入的一階特征進行全連接等操作形成的高階特征進行特征的提取，達到了更好的推薦效果。

盡管混合推薦算法取得了巨大的成功，但傳統(tǒng)的推薦系統(tǒng)忽視了用戶的偏好是隨時間而變化的。在這種情況下，用戶在特定時間點的意圖很容易被他或她的歷史購物行為所淹沒，從而導致不可靠的推薦。本文提出一種基于時間上下文，并融合注意力機制和深度因子分解機算法來建立推薦模型。

1 相關工作

個性化推薦算法經過了20多年的發(fā)展，從傳統(tǒng)的協(xié)同過濾、基于內容的推薦和混合推薦發(fā)展出了上下文感知推薦系統(tǒng)、動態(tài)推薦系統(tǒng)、標簽感知推薦系統(tǒng)等新式推薦系統(tǒng)。以上推薦系統(tǒng)都有著一個共同的特點，就是加入了額外的數據和信息對傳統(tǒng)的推薦系統(tǒng)進行補充，對不同的數據采用不同的建模方法與預測方法，從而提高推薦效果。竇羚源等人[8]通過標簽信息來構造用戶和資源的特征矩陣，進一步融合到基于鄰域的協(xié)同過濾推薦算法中，預測用戶對資源的評分。黃文明等人[9]使用詞嵌入模型表達數據集評論中的語義，引入注意力機制對輸入內容進行重新賦權，通過并行的卷積神經網絡挖掘用戶和項目評論數據中的隱含特征，將2組特征耦合輸入并采用因子分解機進行評分預測。但是該模型只是將注意力機制用在了評論文本的識別，并沒有用在時間上下文的處理上面。郁豹等人[10]使用DeepFM模型來實現社交廣告的個性化推薦，其中因子分解機部分主要是提取一階二階特征，深度神經網絡部分主要是提取高階特征，實驗表明了DeepFM相比邏輯回歸模型和因子分解機效果都更好。黎丹雨[11]利用Word2Vec算法對電影簡介信息進行處理后，使用卷積矩陣分解ConvMF算法得到對電影的預測評分矩陣，再使用AFINN得到電影評論情感傾向特征，接著考慮到導演和演員的信息對電影評分的影響，利用KNN算法對其進行建模處理，然后使用協(xié)同過濾得到用戶-電影評分矩陣，最后對這4種因素進行加權融合得到最后的推薦模型。謝浩然等人[12]使用改進后的TF-IDF算法對用戶評論信息進行建模，再利用協(xié)同過濾算法對新型廣播電視節(jié)目進行推薦。吳韋俊等人[13]提出了一種基于交叉網絡的因子分解機模型，降低模型復雜度，提高模型泛化性能，但是該模型只是將FM的思想融合進入了神經網絡，也就是DeepFM的串行表達方式。崔鑫[14]對用戶和問題的元路徑計算其相似度，再使用協(xié)同過濾算法計算用戶-問題評分矩陣，最后分別對其進行融合并實驗，進而實現了異構信息網絡的推薦系統(tǒng)。湯小月等人[15]提出了一個概率生成模型JUMBM(Joint User Mention Behavior Model)來發(fā)掘語義和空間上下文因素對用戶提及行為的聯(lián)合影響，解決社交媒體中的目標用戶推薦問題。陳勁松等人[16]利用LDA主題模型挖掘用戶和POI的潛在語義特征，提出了一種基于多維上下文感知的圖嵌入模型的移動推薦方法，該算法重新定義圖中頂點的關聯(lián)規(guī)則，提升了模型在數據稀疏情況下的推薦性能。

Hidasi等人[17]采用RNN中的GRU單元作為基本結構，組建了一個深層的神經網絡來預測該session下一個點擊的item的概率。使用多層GRU算法，得到的隱狀態(tài)向量通過一個前饋層預測對商品的得分。Liu等人[18]提出了適用于跨域推薦的可遷移上下文強盜(TCB)策略算法，遷移學習改善了對上下文強盜策略的利用，并加速了其在目標領域的探索。Bendada等人[19]將輪播個性化建模為具有多個播放、基于級聯(lián)的更新和延遲批處理反饋的上下文多臂賭博機問題，并利用其算法實現了音樂的個性化推薦系統(tǒng)。Ma等人[20]利用帶有元數據的分層遞歸網絡(HRNN-meta)對事件的時間上下文信息和冷啟動用戶上下文信息以及有關項目的元數據信息進行整合與訓練，以滿足實時和多樣化的元數據需求。Hansen等人[21]利用最近的消費和會話級別的上下文變量信息，提出了CoSeRNN算法，通過使用近似最近鄰居搜索算法，將此優(yōu)先級向量用于下游任務，生成上下文相關的即時推薦。Wu等人[22]不同于以前將會話看成一個序列，而是將會話序列建模為圖結構數據，使用GNN去捕獲項目的復雜轉換；然后，使用注意力網絡將每個會話表示為該會話的全局偏好和當前興趣的組成。Santana等人[23]提出了基于上下文“元強盜”的推薦算法，這是一項針對選項的策略，其中每個選項都映射到一個經過預先培訓的獨立推薦系統(tǒng)。該算法在線學習并根據情況選擇推薦者，以適應情況。Jarv[24]使用稀疏的訓練數據來限制其性能，發(fā)現基于會話的k最近鄰在比較中受到的限制最少，并且在所有分析的數據集中都有改進的空間。He等人[25]提出了一種上下文組合強盜方法，稱為UBM-LinUCB，采用用戶瀏覽模型(UBM)來解決與推薦位置相關的問題。

基于以上研究，同時為了考慮時間上下文信息，并進行有效的融合，本文提出一種融合Attention與DeepFM的時間上下文推薦模型(DeepAFM)，將用戶與商品交互時間通過注意力機制的方法融合到DeepFM模型中。實驗結果表明，該推薦算法相對于DeepFM算法，能有效地預測用戶是否對商品進行購買，提高了推薦的精度。

2 DeepAFM模型

本文基于DeepFM提出一種融合注意力機制對時間上下文深度建模的推薦方法，整體模型結構如圖1所示。本文的工作主要包括以下2點：

圖1 DeepAFM模型結構

1)時間上下文深度建模。將用戶與商品的交互時間通過Embedding的方法嵌入，實現推薦系統(tǒng)對時間上下文數據的充分利用。

2)引入注意力機制。將注意力機制引入到DNN中，提升對重點商品的關注，實現對時間上下文數據更準確的建模。

2.1 時間上下文深度建模

為了更好地訓練模型，對用戶u和商品i定義獨熱碼表示向量，由于表示為獨熱碼后，數據極其稀疏，所以將它們分別預處理為嵌入式向量U和I，使得數據更為稠密，更加利于模型進行計算。

除了嵌入了用戶和商品的向量之外，嵌入層對時間上下文數據進行了嵌入，考慮了用戶與項目時間上下文向量的交互、商品與用戶時間上下文向量的交互。DeepAFM根據時間t中觀察到的u和i的交互作用，如果用戶和商品在時間t有交互，便組合交互作用向量D和C。

2.2 注意力機制

注意力機制被廣泛使用在自然語言處理、圖像識別及語音識別等各種不同類型的深度學習任務中，其本質為根據另一組輸入向量對本向量進行加權。

DeepAFM的交互向量D和C分別被視為與用戶u的時間動態(tài)du和項目i的ci關聯(lián)的另一組潛在因子。用戶u在不同的時間t與項目i互動，定義為：

(1)

(2)

其中，ci是根據fi隱向量計算出來的商品時間上下文嵌入，du是根據gu隱向量計算出來的用戶時間上下文嵌入。用于不同商品可能會干擾不同用戶的偏好，不同用戶對不同商品的偏好也不同。DeepAFM使用注意力機制對商品與用戶交互重寫為：

mi=tanh(Wjfi+ba)

(3)

(4)

(5)

其中，Wj表示權重矩陣，ba表示偏移量，ha是時間上下文向量，mi表示由嵌入層訓練的fi的潛在表示。αi表示項目i在時間t時刻與用戶u交互的重要程度，即為項目i經過注意力機制權重更新后的得分，它通過softmax函數計算mi和時間上下文向量ha之間的相似度。同樣地，將用戶與商品交互重寫為：

nu=tanh(Wjfu+ba)

(6)

(7)

(8)

其中，nu表示由嵌入層訓練的fu的潛在表示；αu表示用戶u在時間t時刻與商品i交互的重要程度，即為用戶u經過注意力機制權重更新后的得分，它通過softmax函數計算nu和時間上下文向量ha之間的相似度。

2.3 因子分解機

在DeepAFM中，因子分解機主要是解決稀疏數據下的特征組合問題，對連續(xù)和離散特征有較好的通用性。在只考慮二階交叉時，具體模型如下：

(9)

其中，n為用戶和商品的特征數量，xi是第i個特征的值，w0、wi、wij是模型參數，這里要注意，若xi和xj中有一個為0，則交叉無意義。由于稀疏數據集中滿足交叉項w0不為0的樣本會很少，導致訓練不夠充分而影響模型參數的準確性。那么，交叉項參數的訓練問題可以用矩陣分解來近似解決，有下面的公式：

(10)

模型需要估計的參數即是：

w0∈,w∈n,V∈n×k

(11)

其中，〈·,·〉表示2個k維向量的內積：

(12)

3 實驗及結果分析

本章首先介紹實驗環(huán)境和所用數據集，然后對評價指標進行說明，最后給出DeepAFM模型與其他方法的對比實驗結果，并對實驗結果進行相應的分析。

3.1 實驗環(huán)境

本文的實驗環(huán)境為：操作系統(tǒng)為Windows 10；處理器為Intel i7-9700，8個CPU核心；內存為32 GB；實驗平臺：Visual Studio Code，Python 3.7.3，TensorFlow 2.0。

3.2 實驗數據集

本文采用真實的公開數據集，使用Yelp(https://www.yelp.com/dataset)數據集，這是美國點評網站Yelp公司開源的真實數據集，通常用于推薦系統(tǒng)研究的經典數據集。

本實驗選取了由24146個用戶提交了14696個商戶的232118條點評數據，由Yelp數據集中的yelp_oh_review表得到。時間跨度是2010年1月—2018年11月。

表1為交互數據集，將用戶在商店的消費記錄作為正樣本，然后對用戶沒有消費過的商店作為負樣本，隨機生成和正樣本一樣的數據，最后正負樣本比例為1∶1。實驗任務為預測用戶是否會在當前商店進行消費。實驗過程中，將原始數據進行拆分，其中,80%作為訓練集，20%作為測試集，得到訓練集和測試集。

表1 用戶-商戶交互數據

3.3 評價指標

本實驗使用了分類模型常用的評價指標，包括交叉熵損失(Cross Entropy Loss)、AUC(Area Under Curve)和F1分數(F1-Score)。對于交叉熵損失，評價的是訓練數據的目標分布p與測試數據的預測分布q之間的相似程度，如公式(13)所示,其中,p表示目標分布為0的概率，q表示預測分布為0的概率。

H(p,q)=-(plogq+(1-p)log(1-q))

(13)

對于AUC，評價的是預測為正的概率值比預測為負的概率值還要大的可能性，它的本質是ROC曲線下面積。計算方法是首先將測試集樣本按照預測出來為1的概率降序排列，然后將實際為正樣本的排序值rank和正樣本預測概率p1進行計算，再除以正樣本預測概率p1與負樣本預測概率p0的乘積。具體計算方法如公式(14)：

(14)

對于F1分數，評價的是精確率(precision)和召回率(recall)的調和平均數，它是根據混淆矩陣來計算的，混淆矩陣如表2所示。

表2 混淆矩陣

于是F1分數的計算公式如公式(15)：

(15)

其中，P為精準率，計算公式見式(16)。R為召回率，計算公式見式(17)。

(16)

(17)

3.4 實驗對比分析

實驗選用傳統(tǒng)的因子分解機算法(FM)和深度因子分解機算法(DeepFM)進行對比分析。

實驗中，參數設置都是統(tǒng)一的，都采用Adam算法作為優(yōu)化器，自動調整學習率，隱向量長度均設置為16，batch size設置為128。表3展示了不同評價標準下的實驗結果，其中，Epoch表示迭代次數，表中粗體表示最佳效果。

表3 不同評價標準下的實驗結果

從圖2可以明顯看出，在交叉熵損失評價標準下，DeepAFM相較于其他2個算法有著明顯的提升，而DeepFM由于過擬合的原因，效果開始還不如FM好，由于加入了時間上下文數據，DeepAFM很好地抑制了過擬合的問題。

圖2 不同迭代次數下交叉熵損失的變化

從圖3可以看出，在AUC的評價標準下，FM表現平平，由于模型過于簡單，所以擬合程度不夠，有輕微的欠擬合，在訓練次數增加的情況下，AUC上升困難。而DeepAFM相較于DeepFM，有著很大的提升，最后AUC的得分為0.808。相較于DeepFM的0.7896，提升了0.0184。

圖3 不同迭代次數下AUC的變化

圖4展示了不同迭代次數下F1-Score的變化，可以看出，3個模型的抖動都比較大，尤其是FM模型，不夠穩(wěn)定，而DeepAFM在訓練幾輪后趨于穩(wěn)定，且相比于DeepFM效果更好。

圖4 不同迭代次數下F1-Score的變化

4 結束語

針對傳統(tǒng)推薦系統(tǒng)無法對商品的購買時間進行學習的問題，本文提出了一種融合Attention與DeepFM的時間上下文推薦模型。本文方法的關鍵是引入了注意力權重更新層，該層對每個商品與其對應交互時間通過學習確定相關性。在Yelp數據集上的實驗結果表明了本文提出的模型的有效性，同時也表明了該模型能有效防止過擬合。在未來的研究計劃中，希望能找到更多影響用戶偏好的信息，例如由于用戶和用戶觀點的描述更廣泛，因此可以將商品評論作為更豐富的上下文信息，來設計更加智能的推薦系統(tǒng)。