陳子健，李俊，岳兆娟，趙澤方

1.中國科學院計算機網絡信息中心，北京 100190

2.中國科學院大學，北京 100049

引 言

隨著互聯(lián)網的普及與發(fā)展，各類數(shù)據(jù)信息在網絡空間內呈爆炸式的增長，如何讓用戶在海量的信息中尋找到自己感興趣的信息成為了一個亟待解決的問題。為了解決這一問題，推薦系統(tǒng)應運而生，它通過用戶的交互歷史為用戶提供個性化的信息推薦，滿足用戶對信息的需要。近年來，推薦系統(tǒng)在電影、音樂、新聞、電商、短視頻等領域都發(fā)揮著巨大的作用，在為用戶帶來便利的同時也具有相當大的商業(yè)價值。

傳統(tǒng)的推薦方法可以分為三大類：基于內容的推薦、協(xié)同過濾推薦以及混合推薦?；趦热莸耐扑]是最簡單有效的推薦算法，基本思想是從項目內容相似性方面進行推薦，為用戶推薦與其交互過的項目內容相似的項目。基于協(xié)同過濾的推薦算法利用群體智慧的思想，推薦結果更具新穎性?；旌贤扑]算法則是將多種不同的推薦算法融合起來，發(fā)揮各自的優(yōu)勢。

目前使用最為廣泛的推薦模型當屬協(xié)同過濾推薦模型。具體可分為基于鄰域的協(xié)同過濾與基于模型的協(xié)同過濾。其中基于鄰域的協(xié)同過濾根據(jù)用戶與項目的交互歷史信息，如評分矩陣，通過相似度的計算，計算出用戶之間的相似度或項目之間的相似度，從而進行基于用戶或基于項目的推薦?；谀Ｐ偷膮f(xié)同過濾則是通過構建偏好模型，提取用戶和項目的隱式空間表示，預測用戶對項目的潛在偏好從而進行推薦。這其中最為著名的模型為矩陣分解推薦模型，將用戶的評分矩陣分解成為兩個規(guī)模較小的矩陣，用兩個矩陣相乘得到的結果對原始的評分矩陣進行補全從而得到用戶未評分區(qū)域的預測的評分。協(xié)同過濾的優(yōu)勢在于僅使用交互矩陣就可以進行推薦，不依賴于其他信息，而且相比較于基于內容的推薦可以提供更加多樣化的推薦結果，因此受到了廣泛的關注。然而協(xié)同過濾方法也存在著一些問題，以矩陣分解推薦模型為例，它只能提取用戶和項目的淺層次特征，無法提取到深層次的非線性特征；此外，交互矩陣的數(shù)據(jù)稀疏性也使得矩陣分解模型容易出現(xiàn)過擬合等問題，對推薦的效果造成了不良的影響。

近年來，深度學習在圖像處理、自然語言處理、語音識別等許多領域都展現(xiàn)出了強大的能力。得益于其在特征提取與特征融合方面的優(yōu)勢，推薦系統(tǒng)領域的研究人員可以通過深度學習的方式將更多有效信息引入到推薦過程中來，提升推薦準確率的同時，緩解傳統(tǒng)協(xié)同過濾推薦算法的數(shù)據(jù)稀疏性與冷啟動問題。

針對協(xié)同過濾存在的上述問題，本文使用深度學習技術，提出了一種混合推薦模型以提升推薦效果，本文的工作如下：

（1）使用降噪自編碼器代替?zhèn)鹘y(tǒng)矩陣分解方法，從評分矩陣中獲取到用戶和項目魯棒性的非線性特征表示。

（2）將屬性信息融合到特征表示中去，構建一種混合推薦模型，通過訓練確定模型參數(shù)，得到用戶對項目的預測評分。

（3）通過實驗進行對比驗證，證明本文提出的模型相較于傳統(tǒng)的推薦模型可以取得更好的評分預測效果。

1 相關工作

1.1 自編碼器在推薦系統(tǒng)中的應用

自編碼器是一種經典的自監(jiān)督機器學習模型，一個最基本的自編碼器由輸入層、隱藏層和輸出層三部分組成，其中輸入層和輸出層的維度相同，隱藏層的維度較小。輸入層到隱藏層的計算過程被稱為編碼過程，隱藏層到輸出層的計算過程則被稱為解碼過程。通過最小化輸出層與輸入層的重構誤差訓練網絡使得解碼后的數(shù)據(jù)盡可能地接近輸入層的原始數(shù)據(jù)。近年來許多研究將自編碼器應用到推薦領域。Sedhain等[1]將自編碼器與協(xié)同過濾推薦結合起來，提出了AutoRec模型，使用一個單隱藏層的自編碼器對評分矩陣進行編碼與解碼，在輸出層獲得重構后的評分向量，以此得到用戶對項目的預測評分，這是自編碼器與推薦系統(tǒng)的第一次結合。Strub等[2]在此基礎上，使用棧式降噪自編碼器學習用戶和項目的特征表示，對缺失的評分進行預測，增強了模型的表示能力和魯棒性。Zhou等[3]使用棧式降噪自編碼器處理電影評分矩陣，得到電影的潛在特征表示，利用基于項目的協(xié)同過濾計算電影之間的相似度進行電影推薦。

自編碼器中隱層的輸出向量可以看作是原始輸入向量的降維壓縮表示，其在最大程度地保留了輸入向量中的關鍵特征信息的同時，也可以提取到交互矩陣中的非線性特征。由于用戶和項目之間存在著復雜的交互關系，相較于單純地使用自編碼器的重構輸出作為預測結果，將用戶與項目的隱式空間中的基于交互過程的特征表示提取出來，更有利于下游任務對用戶和項目之間復雜交互關系進行建模。

1.2 利用屬性信息進行推薦

由于評分矩陣的稀疏性，僅使用評分矩陣的推薦已經很難取得令人滿意的效果，隨著大數(shù)據(jù)時代的到來，各類屬性信息的獲取變得越來越容易，但是由于屬性信息具有多模態(tài)、異構性、分布不均勻等問題，如何有效地構建模型，提取和利用屬性信息提高推薦的準確性也成為了推薦領域的熱門研究問題[4]。Shan等[5]提出了Deep-Crossing推薦模型用于廣告領域，從搜索詞、廣告標題、點擊率、落地頁等屬性信息中提取特征，使用多層神經網絡進行特征融合完成點擊率預測任務實現(xiàn)廣告推薦。Cheng等[6]提出了Wide＆Deep模型，對提取到的屬性信息采用不同的融合方式，使用多層神經網絡構建Deep部分讓模型具有“泛化能力”，使用單輸入層構建Wide部分讓模型具有“記憶能力”，通過這樣的結構兼顧了用戶興趣的專一性與發(fā)散性，完成推薦任務。Zhang等[7]使用知識圖譜、電影摘要、電影海報等作為屬性信息，分別提取知識圖譜中實體的結構化表示、電影摘要中的文本表示以及海報中的視覺表示，對多模態(tài)的特征進行整合，從而提升推薦的效果。

2 基于自編碼器與屬性信息的混合推薦模型

2.1 模型整體介紹

基于以上的研究分析，本文提出一種基于自編碼器與屬性信息的混合推薦模型DAAI，使用兩個降噪自編碼器處理評分矩陣，分別提取出評分矩陣中蘊含的用戶特征與項目特征；同時將用戶和項目的各類屬性信息通過DNN、CNN等方式處理得到基于屬性信息的用戶特征與項目特征。將兩種特征融合之后，通過MLP層進行特征融合并輸出預測評分。最后使用真實評分與預測評分的誤差訓練整個網絡的參數(shù)。推薦模型結構如圖1所示。

圖1 DAAI推薦模型結構圖Fig.1 Structure of DAAI recommendation system

不同于現(xiàn)有的基于深度學習的推薦模型，DAAI使用評分矩陣的目的是提取矩陣中的非線性特征，而不是單純地將評分作為模型訓練的監(jiān)督信號或直接重構矩陣。而相較于協(xié)同過濾推薦模型，DAAI加入了屬性信息以提高推薦效果。DAAI與現(xiàn)有的一些推薦模型的對比如表1所示。

表1 DAAI與其他模型的對比Table 1 Comparison between DAAI and other models

2.2 交互特征的獲取

由于傳統(tǒng)的自編碼器存在過擬合，泛化能力差等缺點，所以本文使用降噪自編碼器進行特征提取。區(qū)別于普通的自編碼器，降噪自編碼器在輸入層隨機地將一部分原始數(shù)據(jù)替換為噪聲數(shù)據(jù)，而在輸出層使用原始數(shù)據(jù)進行誤差計算訓練模型，通過這種方式提高了自編碼器的泛化能力，緩解了交互矩陣的數(shù)據(jù)噪音問題[8]。

本文使用兩個降噪自編碼器在用戶項目交互矩陣上進行特征提取，分別是提取用戶特征的模塊與提取項目特征的模塊，以為例，自編碼器的訓練過程如圖2所示。

圖2 降噪自編碼器的訓練過程Fig.2 Training process of denoising autoencoder

l是具體所在的隱藏層，W代表權重矩陣，b代表偏置項，設隱藏層的總數(shù)為L，將L/2層之前看作是編碼部分，L/2層之后看作是解碼部分，是隱藏層神經元的非線性激活函數(shù)；模型的最后一層為輸出層，輸出層的表示為，最小化均方誤差作為訓練目標：，使用反向傳播將輸出層的誤差反向傳播至各層，調整各權重和偏置的值。訓練的目的是從用戶矩陣中提取用戶的特征表示，即第L/2層的隱層輸出。將用戶的評分向量通過網絡的正向傳播可以獲取到L/2層的輸出即用戶基于評分的特征向量u*。

同理，將評分矩陣轉置后，將項目的評分向量輸入到ItemDAE模塊獲得ItemDAE的L/2層的輸出即項目基于評分的特征向量i*。

2.3 屬性信息的利用

為了進一步提升推薦效果，本文將用戶與項目的屬性信息加以利用，在上一節(jié)通過評分矩陣得到的特征表示的基礎上，結合基于屬性信息的特征表示。一般來說，用戶的屬性包括用戶ID、性別、年齡、職業(yè)、地區(qū)等，而項目的屬性包括項目ID、類型、標題、摘要等。為了在推薦模型中使用這些信息，首先需要將各類屬性信息經過一定的預處理。在本文中，將用戶性別、職業(yè)、項目類型等信息通過構建字典的方式映射為數(shù)字信息。設用戶的屬性信息向量為項目的非文本屬性信息向量為在輸入層之后通過嵌入層將屬性信息中高維稀疏的編碼表示映射為低維稠密的編碼表示。將得到的嵌入表示輸入到隱藏層中對網絡進行訓練，隱藏層的輸出即為用戶基于屬性信息的特征表示和項目的基于非文本屬性的特征表示，計算過程如下：

其中f為激活函數(shù)，這里采用ReLu激活函數(shù)，w為神經網絡的權值矩陣，b代表偏置值。

2.4 使用卷積神經網絡提取文本信息

卷積神經網絡是一種前饋神經網絡，被廣泛應用于圖像音頻等領域的特征提取，通過多個卷積核在特征矩陣上的移動來提取多重局部特征，聚合局部特征來得到原始數(shù)據(jù)的特征表示[9]。最近的研究證明，卷積神經網絡在文本處理方面也可以取得良好的效果。在本文的工作中，采用CNN-Rand的方式對項目的文本信息進行特征抽取[10-11]，文本的詞匯部分被隨機初始化，并在訓練的過程中進行調整，得到每個詞的嵌入向量。在整體模型訓練的過程中，從嵌入層中得到電影標題的向量集合T=[t1,t2,t3,…,tn]，其中t表示每個詞的嵌入向量，n表示標題中詞的個數(shù)。在卷積層，將矩陣T作為卷積神經網絡的輸入進行卷積操作。使用大小為k×d的卷積核Fi對矩陣從上至下進行卷積操作，k為卷積核的寬度，即每次卷積覆蓋的單詞數(shù)量，d為每個單詞的維度。第i個卷積核在矩陣T上得到的第j個特征為eji，可以通過下面的公式得到：

每個卷積核對應著不同的特征信息，且由于卷積核大小不同，得到的特征向量的長度也是不同的，為了從每個卷積核中得到最有價值的信息，卷積層之后在池化層采用最大池化max-pooling操作提取每個向量中特征值最大的特征，去除冗余信息，組成該文本的完整文本語義向量z。

將池化后的向量輸入到全連接層，得到項目的文本特征表示it：

2.5 評分預測與模型訓練

通過以上的工作，我們得到了用戶和項目基于評分矩陣的特征表示u*，i*，基于屬性信息的特征表示，將這兩種特征拼接在一起，得到用戶特征向量和項目特征向量，同樣使用concat操作。通過多層感知機對特征進行交叉融合，輸出最后的預測評分。

推薦任務的最終目標是盡可能準確預測用戶對項目的評分，即使得逼近于，所以將模型的損失函數(shù)定義為：

3 實驗分析

3.1 實驗環(huán)境、數(shù)據(jù)集及評價指標

實驗編程環(huán)境為Python 3.6，深度學習計算框架為TensorFlow 1.4，實驗平臺為Google Colaboratory。

本實驗采用在推薦系統(tǒng)實驗中被廣泛使用的MovieLens數(shù)據(jù)集，該數(shù)據(jù)集由美國明尼蘇達大學的GroupLens研究小組收集提供。選用MovieLens-100K和MovieLens-1M兩個版本，數(shù)據(jù)集具體情況如表2所示。

表2 數(shù)據(jù)集信息統(tǒng)計Table 2 Information statistics of data sets

統(tǒng)一數(shù)據(jù)集的數(shù)據(jù)格式，去掉數(shù)據(jù)集中電影鏈接、電影題目中的發(fā)行年份等信息，將數(shù)據(jù)集按照80%、20%的比例劃分為訓練集和測試集。由于本文將推薦問題轉換為了評分預測問題，所以采用均方根誤差RMSE作為實驗的評價指標，RMSE的計算公式如下：

3.2 模型參數(shù)設置

模型的結構包括三部分，在降噪自編碼器部分，隱藏層的層數(shù)設置為3，中間隱層維度為200，采用sigmoid激活函數(shù)，噪聲率設置為0.2；在屬性特征提取部分，文本卷積核的規(guī)模分別為{2，3，4，5}，卷積核數(shù)目為8，用戶與項目的屬性信息表示維度均設置為200；評分擬合部分全連接層數(shù)設置為3，激活函數(shù)為Relu，dropout為0.5，batch_size為128。整體采用Adam優(yōu)化器進行訓練。模型訓練的過程中，學習率的選擇會對最終的實驗效果造成較大的影響，實驗表明學習率為0.0001時模型效果最好，在ML-100K數(shù)據(jù)集上誤差值隨學習率的變化趨勢如圖3所示。

圖3 不同學習率下RMSE的比較Fig.3 RMSE comparison with different learning rates

3.3 對比實驗

實驗選用的對比模型包括：

（1）SVD[12]：經典的基于用戶和項目的奇異值矩陣分解模型,將評分矩陣分解為奇異矩陣和奇異值。

（2）PMF[13]：概率矩陣分解模型，假設用戶隱向量、項目隱向量以及評分的分布都服從高斯分布。

（3）NMF[14]：非負矩陣分解模型，分解后的矩陣元素均為正值，符合實際打分的情況。

（4）U-AutoRec：基于用戶角度的自編碼器推薦模型，輸入用戶對項目的評分矩陣，通過編碼解碼預測缺失的評分值，對評分數(shù)據(jù)進行補全。

3.4 結果分析

通過實驗我們發(fā)現(xiàn)，在ML-100K數(shù)據(jù)集上NMF模型的準確率最高，DAAI模型的準確率相較于其他三種模型均有提高，略低于NMF模型；而在數(shù)據(jù)更加稀疏的ML-1M數(shù)據(jù)集上面，DAAI模型可以取得最好的預測準確率，相較于對比模型最多提升了2.9%。這意味著我們的模型在稀疏數(shù)據(jù)集上依然能取得良好的效果。實驗結果如表3所示。

表3 不同推薦模型的RMSE對比Table 3 RMSE comparison with different models

4 結論與下一步工作

本文使用降噪自編碼器對評分矩陣進行特征提取，使用DNN、CNN等方式結合屬性信息構建推薦模型，通過實驗證明相比較于傳統(tǒng)的基于評分矩陣的推薦模型可以取得更好的推薦效果。屬性信息的加入意味著在數(shù)據(jù)稀疏的情況下可以依靠屬性信息進行推薦，在緩解數(shù)據(jù)稀疏性問題方面起到了一定的作用。下一步可以將注意力機制和更多的屬性信息等加入推薦模型中，進一步提升推薦的準確度。

利益沖突聲明

所有作者聲明不存在利益沖突關系。