張養(yǎng)碩，牛存良，姚 政，張琳鈺

（河北工業(yè)大學 人工智能與數(shù)據(jù)科學學院，天津 300401）

0 引言

隨著數(shù)據(jù)的爆炸增長與大數(shù)據(jù)技術(shù)的普及，如何快速的從海量數(shù)據(jù)中挖掘有效信息成為當今研究熱點。推薦系統(tǒng)作為一種緩解信息過載的重要技術(shù)，能從大量的數(shù)據(jù)中挖掘數(shù)據(jù)信息，適應用戶的喜好，并通過推薦列表向用戶提供其喜愛的項目，該功能在電商（Amazon、淘寶）、社交（Face-book、微信）、新聞（Google News、今日頭條）等方面應用日益廣泛。

本文在融入用戶數(shù)據(jù)、項目數(shù)據(jù)、用戶信任關(guān)系數(shù)據(jù)、項目屬性數(shù)據(jù)的基礎(chǔ)上，提出一種新的融合注意力機制和用戶信任機制的深度推薦算法（DRAAT，deep recommendation algorithm integrating attention and user trust mechanism）。實驗結(jié)果表明，本文所提出的DRAAT算法，在一定程度上提高了推薦的效率和精度，同時給用戶提供了更個性化的推薦。

1 相關(guān)工作

早期的基于內(nèi)容的推薦（Content-Based Recommendation）[1]主要是給用戶推薦項目種類相同的物品，推薦方法簡單直接，推薦形式單調(diào)，無法為用戶找到感興趣的其他種類，后來提出的影響深遠的協(xié)同過濾技術(shù)（Collaborative Filtering）[2]能給用戶提供新的選擇，并且在技術(shù)上易于實現(xiàn)。通過數(shù)據(jù)收集用戶喜好，并根據(jù)相似度預測評分，協(xié)同過濾技術(shù)使推薦問題逐漸變成回歸問題，矩陣分解應運而生。Salakhutdinov等[3]提出的概率矩陣分解（PMF，Probabilistic Matrix Factorization）模型運用高斯分布、貝葉斯原理進行數(shù)學建模，從概率的角度來預測用戶的評分。隨后，降噪自編碼器也應用到矩陣分解中，Wang等[4]通過降噪自編碼器實現(xiàn)了更好的推薦效果。

隨著大數(shù)據(jù)技術(shù)的發(fā)展，國內(nèi)外眾研究者對基于深度學習的推薦算法展開廣泛研究[5]。Hinton等[6]提出深度信念網(wǎng)絡概念，它比傳統(tǒng)的神經(jīng)網(wǎng)絡訓練簡單，多應用在音樂推薦中。He等[7]提出挖掘用戶和項目之間復雜關(guān)系的神經(jīng)協(xié)同過濾模型，利用多層神經(jīng)網(wǎng)絡建模用戶和項目之間的線性與非線性特征。注意力機制最初被應用于機器翻譯領(lǐng)域，后來逐漸應用于推薦系統(tǒng)，它通過學習特定關(guān)系來挖掘用戶特定層面的隱含信息，以提升推薦性能。Gong[8]等在卷積神經(jīng)網(wǎng)絡（CNN，Convolutional Neural Network）的基礎(chǔ)上加入注意力機制，提取微博的標簽特征進行話題推薦。Wang[9]等利用CNN提出動態(tài)注意力模型，通過CNN學習文章的表達形式和語義信息，捕獲作者選文章時的動態(tài)行為。王永貴等[10]通過雙層注意力機制挖掘項目信息，但缺少對用戶信息的挖掘?qū)е峦扑]效率偏低。柴超群[11]通過社交網(wǎng)絡信息構(gòu)建用戶信息，但缺少對社交網(wǎng)絡信息的挖掘，同時只挖掘項目單一屬性，導致數(shù)據(jù)利用不充分。雖然上述算法可以實現(xiàn)很好的推薦效果，但是缺少對歷史項目的挖掘，缺少通過用戶信任機制對用戶信息的建模。針對以上問題，本文提出了一種融合注意力機制和用戶信任機制的深度推薦算法，研究工作主要優(yōu)勢如下：

1）同時關(guān)注用戶數(shù)據(jù)、項目數(shù)據(jù)、用戶信任關(guān)系數(shù)據(jù)3方面數(shù)據(jù)，以實現(xiàn)更精準的深度推薦；

2）通過雙層注意力機制實現(xiàn)歷史項目信息的挖掘，更有效地捕捉有價值的高階交互信息；

3）通過顯性和隱性信任關(guān)系定義新的用戶信任關(guān)系，并利用注意力機制總結(jié)社交網(wǎng)絡中用戶信任關(guān)系的影響力；

4）引入多層感知機同時處理用戶項目的原始特征和高階特征信息，以提供top-N推薦。

2 融合注意力機制對用戶信息建模的深度推薦算法

為挖掘信息的潛在特性，對數(shù)據(jù)進行全面的分析，本文使用降噪自編碼器對原始數(shù)據(jù)編碼，在輸入時使用預處理的One-Hot編碼，表示用戶和項目的向量。通過降噪自編碼器的訓練后得到嵌入數(shù)據(jù)。研究通過獲取用戶數(shù)據(jù)、項目數(shù)據(jù)、用戶信任關(guān)系數(shù)據(jù)、項目屬性數(shù)據(jù)的降噪自編碼作為輸入，經(jīng)過4個獨立的降噪自編碼器的訓練，得到嵌入表示p、q、t、l，其中(p,q,t,l)∈?k。

2.1 融入注意力機制的項目綜合特征

注意力機制借鑒了認知心理學中的人腦注意力模型，核心目標是從眾多信息中選擇出對當前任務目標更關(guān)鍵的信息。本文的注意力機制應用在Encoder-Decoder的模型中，利用降噪自編碼器對輸入數(shù)據(jù)進行Encoder編碼，即將每個輸入的數(shù)據(jù)映射成相同長度的上下文向量，之后Decoder編碼輸出的是編碼后的上下文向量。在Decoder編碼時加入注意力機制，其輸出后的數(shù)據(jù)不是對數(shù)據(jù)在上下文信息的簡單的累加，而是引入對于各個輸入信息的權(quán)值對其進行加權(quán)求和運算的結(jié)果。

傳統(tǒng)的注意力機制針對不同的歷史項目分配相同的權(quán)重，未能充分挖掘歷史項目信息。為了挖掘項目更深層次的信息，本文利用兩層注意力機制，專注于處理項目屬性偏好和交互偏好，最終融合得到項目綜合特征，項目綜合特征模型如圖1所示。

圖1 項目綜合特征模型Fig.1 Project comprehensive feature model

本文的項目級注意力機制的構(gòu)建如下。通過降噪自編碼器建模用戶數(shù)據(jù)，獲得項目的低維向量化表示，其中項目i的表示向量為qi，(qi1,qi2,…,qix)為項目i的第x個屬性，qr為待推薦項目。為了推薦時更多的挖掘項目信息，使不同的歷史項目在預測時做出不同的貢獻，學習各個項目的潛在信息為用戶提供帶推薦項目qi時，充分考慮用戶的歷史數(shù)據(jù)，將用戶u的歷史數(shù)據(jù)融入待推薦項目qj的屬性偏好，則項目的屬性偏好向量qi表達式為

式中，μj,x為待推薦項目qr對歷史項目第x個屬性qj,x的偏好，學習到可靠的項目的屬性偏好向量qi，便可用于注意力μj,x權(quán)重的學習，所以項目屬性偏好注意力權(quán)重μj,x的表達式為

注意力的推薦中，有些用戶的歷史活躍度很長，softmax函數(shù)會對有較長歷史活躍度的用戶進行懲罰，引用文獻[10]的做法引入λ作為平滑指數(shù)，score(qr,t,qj,t)為對齊分數(shù)，用來衡量兩個向量的匹配程度，使用多層感知機模型進行學習。用tanh作為非線性激活函數(shù)，用來表示輸入序列和輸出序列的隱含層狀態(tài)，score(qr,t,qj,t)表達式為

式中，Va1和Wa1為訓練參數(shù)。為了獲取更深層次的歷史交互項目的數(shù)據(jù)，在得到用戶屬性偏好的基礎(chǔ)上，針對用戶的屬性偏好向量qj和項目交互向量lr運用注意力機制，得到交互偏好的項目隱式向量，使用注意力機制，獲取待推薦項目交互向量lr對于項目的屬性偏好向量qj的影響力權(quán)重ηr,j。其第2層待推薦項目的交互的注意力權(quán)重ηr,j的表達式為

式中，score(,qj)為對齊分數(shù)，仍采用多層感知機模型進行學習，選擇tanh作為非線性激活函數(shù)，score(lr,qj)表達式為

式中，Va2和Wa2為訓練參數(shù)。通過兩層注意力機制，感知器模型學習用戶注意力偏好，結(jié)合項目的屬性偏好向量qj和待推薦項目的交互向量lr的關(guān)系，確定各自的權(quán)重系數(shù)后獲得項目綜合特征q~r定義如下：

2.2 融入信任機制的用戶綜合特征

用戶的社交關(guān)系能提供豐富的數(shù)據(jù)信息，在傳統(tǒng)的社交網(wǎng)絡推薦中，用戶會受其信任朋友的影響，與其朋友具有相似的興趣，通過挖掘用戶的信任關(guān)系為待推薦用戶推薦其信任朋友選擇的項目。本文利用評分數(shù)據(jù)、用戶信任關(guān)系分別定義顯示和隱式信任關(guān)系得到用戶綜合信任關(guān)系數(shù)據(jù)，再利用注意力機制總結(jié)社交網(wǎng)絡中用戶信任關(guān)系的影響力，得到用戶綜合特征，模型如圖2所示。

圖2 用戶綜合特征模型Fig.2 User comprehensive feature model

傳統(tǒng)的推薦大多只關(guān)注顯性信任，而忽略了用戶隱形信任關(guān)系。本文研究的用戶信任機制基本思想是給用戶推薦其信任用戶的項目選擇，所以挖掘用戶間有效的信任關(guān)系，能得到融入信息更豐富的用戶綜合特征。首先通過用戶評分整理用戶隱性信任關(guān)系TI，接著通過用戶被信任數(shù)量的大小定義用戶的顯性信任關(guān)系TE，最后得到用戶的綜合信任關(guān)系T~，將得到用戶的綜合信任關(guān)系形成社會化信任矩陣，為接下來注意力機制的引入提供保障。

用戶評分的準確性直接影響推薦效率，用戶評分越高表示對該項目越喜愛，但是日常生活中用戶針對一些項目評分只打中間值，導致評分數(shù)據(jù)準確性低影響推薦效率，故引入用戶評分準確度系數(shù)β。

式中：Rui表示用戶u對項目j的評分；表示用戶對所有項目i的平均評分。當用戶u對項目i有評分，F(xiàn)ui取值為1，用戶u項目i沒有評分取值為0。

通常采用目前主流的Pearson相關(guān)系數(shù)計算用戶評分相似度，開始需要找到用戶i和用戶j共同評分的項目集合，但是這樣的用戶相似度并沒有考慮到目標項目信息，目標用戶及其鄰居用戶的相似度都是恒定不變的，導致推薦效率降低，在計算用戶相似度時引入項目相似度信息，定義項目的相似度SI(i,j)計算公式表示為

式中：Uij為對項目i和j同時評分的用戶集合；和則表示項目評分均值。針對不同的項目，考慮不同項目對用戶相似度的影響，將項目相似度SI(i,j)引入Pearson相關(guān)系數(shù)計算用戶評分相似度，用戶相似度計算公式為

式中：Ck為項目i的類別；為用戶種類對Ck的共同評分集合。該公式考慮到了不同項目對用戶相似度的影響，最終計算出的相似度會更加的準確。

這里定義用戶隱式信任關(guān)系TI，用戶u和v的隱式信任關(guān)系定義如下：

本文用TE表示用戶i和j的顯式信任關(guān)系。tij表示用戶i和j的信任關(guān)系，用戶i信任用戶j時取1，否則取0。但是信任關(guān)系并不是對稱的，顯然信任和被信任的數(shù)量有關(guān)，當用戶i被眾多其他用戶信任時則用戶i的可信度高影響力大；反之用戶i信任眾多其他用戶時，用戶i的受每個用戶的影響就小，可信度低影響力就小，因此結(jié)合影響力得到用戶i和j的顯式信任關(guān)系TE，定義如下：

式中：表示用戶ui被信任的用戶數(shù)量；表示用戶ui信任的用戶數(shù)量。用戶的綜合信任定義如下：

挖掘用戶信任關(guān)系數(shù)據(jù)，考慮用戶隱式信任關(guān)系和顯示信任關(guān)系，得到用戶的綜合信任關(guān)系能更真實的體現(xiàn)推薦的過程。為獲得更加豐富的用戶信任關(guān)系，挖掘用戶信任關(guān)系，定義用戶信任閾值t，判斷用戶u和v之間的信任關(guān)系有無，定義如下：

在用戶信任關(guān)系數(shù)據(jù)的基礎(chǔ)上挖掘用戶間信任關(guān)系，本文選擇多層感知機學習用戶的信任注意力關(guān)系，非線性激活函數(shù)選擇RELU，用戶u對于其信任用戶v的對齊分數(shù)score(pu,tv)表達式為

式中：W是注意力的權(quán)重矩陣；b是系統(tǒng)的偏置。用戶和其信任朋友間的影響力權(quán)重λu,v定義如下：

利用注意力機制挖掘用戶和其信任朋友間的影響力權(quán)重λu,v，并融合用戶原始數(shù)據(jù)，確定各自的權(quán)重系數(shù)之后計算獲得用戶綜合特征定義如下：

2.3 完整模型

通過上述描述，本文充分考慮用戶數(shù)據(jù)、項目數(shù)據(jù)、用戶信任關(guān)系數(shù)據(jù)、項目屬性數(shù)據(jù)，利用項目綜合特征和用戶綜合特征得到用戶項目綜合評分定義如下

為了避免因過度挖掘造成推薦效率降低，通過橫向并聯(lián)少量數(shù)據(jù)得到更加豐富的信息。因此，橫向增加用戶和項目的原始隱性特征提升推薦效率。通過多層感知機獲取用戶特征和項目特征，經(jīng)過池化層將用戶向量和項目向量堆疊起來，得到更完整的數(shù)據(jù)嵌入，其公式為

將堆疊數(shù)據(jù)利用多層感知機獲取用戶和項目信息的隱式特征，使用RELU作為激活函數(shù)，定義如下：

利用用戶項目綜合評分和用戶和項目信息的隱式特征融合，綜合變量h定義如下：

應用多層感知機，得到算法最終預測評分，引入Dropout機制防止過擬合得到最終預測評分h~。利用BPTT算法開展模型優(yōu)化，其中交叉熵損失函數(shù)定義如下：

DRAAT算法模型如圖3所示。本算法通過對項目信息引入雙層注意力機制，挖掘項目屬性偏好和交互偏好并聯(lián)合得到項目綜合特征，對用戶信息建模分別定義顯示和隱式信任關(guān)系得到用戶綜合信任關(guān)系，利用注意力機制挖掘用戶信任關(guān)系權(quán)重，利用多層感知機獲取用戶和項目的原始特征，并融合用戶項目綜合評分，得到最終預測評分應用于top-N推薦。

圖3 DRAAT算法模型圖Fig.3 DRAAT algorithm model diagram

3 實驗

3.1 數(shù)據(jù)集描述

使用推薦系統(tǒng)常用的公共數(shù)據(jù)集Film Trust和Ciao，F(xiàn)ilm Trust數(shù)據(jù)集包含了用戶數(shù)、電影數(shù)、電影評分、社交信息等。Ciao為物評論網(wǎng)站數(shù)據(jù)，其中包含了用戶、物品和物品的評分、有向社交關(guān)系等數(shù)據(jù)。為了清洗數(shù)據(jù)本文過濾項目評分數(shù)小于5的用戶，數(shù)據(jù)集的統(tǒng)計情況如表1所示。

表1 Film Trust數(shù)據(jù)集的統(tǒng)計信息Tab.1 Statistics of Film Trust data set

3.2 評估方法

為了評價推薦系統(tǒng)的推薦質(zhì)量，本文采用常用的評價指標：命中率（Hit Ratio，HR）和歸一化折扣累計增益（Normalized Discounted Cumulative Gain，NDCG）。命中率HR衡量召回率，直觀的測量推薦的準確率，式中GT為用戶在測試集中所有項目的數(shù)量之和；歸一化折扣累計增益NDCG衡量排序質(zhì)量，評價指標定義如下：

3.3 基準模型

將本文提出的DRAAT算法與以下算法比較：1）LFM[12]是一種隱語義模型通過矩陣分解預測項目評分，是最經(jīng)典的矩陣分解算法之一；2）PMF[3]是一種概率矩陣分解推薦模型，在傳統(tǒng)的矩陣分解模型基礎(chǔ)上從概率的角度對矩陣分解模型進行解釋；3）SocialMF[13]將用戶的社交信任信息融入到傳統(tǒng)的矩陣分解模型中；4）DeepMF[14]利用深度神經(jīng)網(wǎng)絡獲取多階特征信息，學習特征間的高階關(guān)系；5）NAIS[15]利用使用注意力機制和多層神經(jīng)網(wǎng)絡建模用戶和項目的線性與非線性特征；6）CFM[16]使用卷積處理特征的交互模塊，提取向量的二階特征。

3.4 實驗調(diào)參

依據(jù)以往實驗經(jīng)驗，在數(shù)據(jù)集中隨機抽取80%的數(shù)據(jù)作為實驗訓練集，20%的數(shù)據(jù)為實驗測試集。本文使用數(shù)據(jù)集Film Trust調(diào)整模型參數(shù)，設(shè)置學習率為0.01，MLP各隱藏單元數(shù)為{128，64，32，5}，各級隱藏層神經(jīng)元個數(shù)為128。注意力權(quán)重尺寸與嵌入尺寸相同，嵌入特征向量維度設(shè)為{8，16，32，64}，TOP-N推薦中的推薦個數(shù)N取值為{5，10，15，20}。

如圖4所示當嵌入向量為8時，所有算法排序質(zhì)量都較差，嵌入向量為度16時有大的提升，但隨著嵌入向量維度的增加，其他算法提升效果不明顯，但本文算法仍有一定程度的提升；在top-N推薦中，如圖5所示N的值越大推薦效果越好，符合普遍認知，推薦的數(shù)量越多就會有更多用戶喜愛的項目，N的各個取值中本文的算法與其它算法相比表現(xiàn)良好。圖6表示基礎(chǔ)信息引入的權(quán)重α和φ對于模型NDCG值的影響，由圖中信息可知，α和φ的效果都是先提升后降落，分別在用戶基礎(chǔ)信息權(quán)重在α=0.7和項目信息權(quán)重在φ=0.6時排序質(zhì)量最優(yōu)。權(quán)衡模型性能后選擇d=32，α=0.7，φ=0.6，N=10作DRAAT算法最佳參數(shù)組合。

圖4 嵌入向量維度d的影響Fig.4 Influence of the embedding vector dimension d

圖5 N的取值對排序質(zhì)量的影響Fig.5 Effect of the value of N on the quality of sorting

圖6 α和φ的取值對排序質(zhì)量的影響Fig.6 Effect of the value ofαandφon the quality of the sorting

3.5 實驗結(jié)果

使用GPU訓練所有模型，LFM、PMF、SocialMF基于概率矩陣的算法，應用格子搜索法確定獲得隱因子數(shù)量和最優(yōu)正則化系數(shù)；對于深度學習模型Deep-MF、NAIS、CFM，其超參數(shù)繁多，選擇文獻中表現(xiàn)最優(yōu)的參數(shù)值進行實驗。DRAAT算法參數(shù)選擇d=32，α=0.7，φ=0.6，N=10，各類算法實驗效果對比如表2所示。

通過表2可知，本文DRAAT算法在樣本數(shù)量大的Ciao數(shù)據(jù)集比數(shù)據(jù)量小的Film Trust數(shù)據(jù)集有較好的實驗效果，所以實驗樣本的大小影響推薦效果，說明本文提出的融合注意力機制和用戶信任機制的深度推薦算法使用大量有監(jiān)督的數(shù)據(jù)來訓練模型，學習到更多的有效信息，提高了推薦的準確率。

通過實驗數(shù)據(jù)得出本文提出的算法在兩個數(shù)據(jù)集上的HR和NDCG的指標優(yōu)于其他算法。由表2可知，本文DRRAT算法比傳統(tǒng)的矩陣分解模型LFM、概率矩陣分解模型PMF、融入社交信任信息的矩陣分解模型SocialMF這些基于矩陣分解的算法在召回率上分別提升10.11%、10.33%、6.54%，在衡量排序質(zhì)量的歸一化折扣累計增益NDCG上分別提升9.5%、7.5%、6.6%；深度神經(jīng)網(wǎng)絡模型DeepMF、注意力模型NAIS、卷積特征交互模型CFM這些基于深度學習的推薦模型，利用非線性方式表示用戶和項目特征獲得不錯的推薦效果，但是本文DRAAT算法比DeepMF、NAIS、CFM這些基于深度學習的推薦算法依然在HR的指標上提升6.34%、4.57%、4.21%，在NDCG的指標上提升4.8%、3.3%、2.4%。本文算法通過注意力機制和信任機制獲得過更好的項目綜合特征和用戶綜合特征，能更深入地挖掘數(shù)據(jù)來得到更好的推薦效果。實驗表明，DRAAT算法擁有優(yōu)秀的推薦性能。

表2 各類算法實驗效果對比Tab.2 Comparison of experimental effects of variousalgorithms

4 結(jié)語

為了給用戶提供更個性化的推薦，如何精準的把握用戶的喜好和需求，提高推薦的質(zhì)量成為當下研究的主要方向。本文利用深度學習技術(shù)更精準的捕獲數(shù)據(jù)間的交互關(guān)系，并且引入注意力機制和用戶信任機制，在融入用戶數(shù)據(jù)、項目數(shù)據(jù)、用戶信任關(guān)系數(shù)據(jù)、項目屬性數(shù)據(jù)的基礎(chǔ)上，提出一種新的融合注意力機制和用戶信任機制的深度推薦算法DRAAT。在數(shù)據(jù)集Film Trust和數(shù)據(jù)集Ciao上的試驗結(jié)果表明，本文提出的算法對提高推薦精度有一定的效果，同時給用戶提供了更個性化的推薦。在今后的工作中，需要繼續(xù)鉆研先進的推薦算法，提高推薦系統(tǒng)的質(zhì)量和算法的可解釋性。