周思鳴, 畢忠勤, 李永斌

(上海電力大學 計算機科學與技術學院, 上海 200090)

推薦系統(tǒng)在電子商務平臺中發(fā)揮著極其重要的作用,因為它能幫助平臺向用戶推廣廣告和產品,帶來巨大的商業(yè)效益[1]。目前,協(xié)同過濾是應用最廣泛的商業(yè)推薦算法。該算法通過學習已有的商品用戶評價建立評價矩陣,預測未評分商品的用戶評價[2]。隨著大數(shù)據(jù)時代的到來,用戶和產品的數(shù)量都在飆升。大多數(shù)產品只被一小部分用戶評價過。因此,評價矩陣的稀疏性嚴重影響了推薦結果的質量[3]。

為了提高推薦結果的準確率,本文利用基于貝葉斯個性化排序(Bayesian Personalized Ranking,BPR)和棧式降噪自編碼器(Stack Denoising Auto-Encoder,SDAE)的深度學習網(wǎng)絡來確定每個商品獨有的相關性排序表,提出了一種新的推薦方法。此方法與以前依賴特定上下文信息的方法不同,對每個商品在特征提取步驟中選擇SDAE方法。該方法在輸入數(shù)據(jù)中加入噪聲,具有較強的泛化能力和魯棒性[4]。另外,通過對其他商品和自身的相似度排序,可以保證更相似的商品比不相似商品的相似度高,從而解決不平衡問題。

1 模型描述

1.1 模型結構

本文提出的模型融合了SDAE和BPR的優(yōu)點,形成了一個新的深度學習模型(SDAE-BPR)。首先,通過SDAE對深度網(wǎng)絡進行提取,每個條目的評價向量可以得到更復雜的隱藏特征表示。同時噪聲的加入也提高了模型的抗干擾性,使得提取的特征更加可靠。其次,最后的BPR排序部分可以更好地捕捉每個商品的獨特特征,給出每個商品之間相似度的概率,有效減少數(shù)據(jù)稀疏性的影響。模型結構示意如圖1所示。

圖1 系統(tǒng)模型結構示意

1.2 問題定義

在提出的模型中,用u∈RN表示用戶,i∈RI表示商品。定義E∈[0,1]I×N表示全部用戶對所有商品的評分構成的評價矩陣。eiu=E(i,u)=1表示用戶u∈RN對商品i∈RI感興趣,eiu=E(i,u)=0表示用戶u∈RN對商品i∈RI不感興趣。在實際應用中,評價矩陣E通常是稀疏的,因為大部分用戶接觸到的商品只是整個商品數(shù)據(jù)庫中極少的一部分。

定義R∈[0,1]I×N表示商品之間相似概率構成的相似概率矩陣,rij=R(i,j)=p(eij=1)表示商品i和商品j相似的概率。這樣對于每個商品i都可以分為兩個不相交的集合——即具有相似關系的商品集合Pi={u|rij=1},其余不確定相似關系的商品集合Mi={u|rij<1}。定義相似概率矩陣的目的是要實現(xiàn)推薦排序任務的學習模型,也就是保證有相似關系的商品全部排在相似關系不確定的商品前面。通過進一步分析,把不確定相似關系的商品Mi分為未知的商品Ui和沒有相似關系的商品Ni,即Mi=Ui∪Ni。在排序任務的訓練過程中,應保證j∈Pi和k∈Mi,或者j∈Ui和k∈Ni,則商品相似概率rij應該大于rik。在BPR中,這個關系稱為偏序關系j>ik。

基于以上定義,本文的商品推薦可以分為兩類偏序關系:Pi與Mi之間的偏序關系{j>ik|j∈Pi和k∈Mi}和Ui與Ni之間的偏序關系{j>ik|j∈Ui和k∈Ni}。商品i的所有偏序關系式的集合表示為Ri={(j,k)|j>ik}。因此,可以看出在本文中商品推薦任務的實質就是排序任務,相比分類和擬合,排序任務可以更好地避免不平衡問題。這個排序任務的最終目標是排序似然概率最大化,公式如下

(1)

1.3 特征提取

SDAE將多個降噪編碼器連接在一起,是一種深度模型結構。對于普通的自編碼器來說,如果僅僅通過最小化輸入、輸出之間的誤差來提取商品評分的特征,那么很容易得到一個恒等函數(shù)。本文采用多層降噪編碼器相連的原因在于,如果在每個商品的用戶評分中加入噪聲,自編碼器在重構輸入數(shù)據(jù)時就需要被迫去除這種噪聲,因為增加了去除噪聲的過程,特征提取層訓練后也會相應得到一個比恒等函數(shù)更為復雜的函數(shù)。為了消除評分中噪聲的影響,在損失函數(shù)中加入L2正則項[5],其目的是對過大的權重進行懲罰。在如今互聯(lián)網(wǎng)海量數(shù)據(jù)信息的背景下,淺層模型面對眾多商品的評分向量時表達能力有限,不能準確區(qū)分出不同商品的特征。深度模型可以通過更強大的深層提取能力獲得用戶對每個商品評分背后隱藏的特質,在提取方面更形象、更具有代表性[6]。

模型中的SDAE部分隱層H共3層,結構為U-A-B,U為每條商品評分向量的輸入層,A,B分別為第1個隱層和第2個隱層。對于原始評分x按照比例在輸入網(wǎng)絡之前將其中的部分數(shù)據(jù)賦值為0得到x～。把x～代入后采用逐層貪婪訓練策略依次訓練網(wǎng)絡的每一層,進而預訓練整個深度網(wǎng)絡,最終使用最后一個隱層訓練得到的編碼為該商品的隱特征,考慮到輸入數(shù)據(jù)的非線性和非負性,選擇Sigmoid函數(shù)作為SDAE部分的激活函數(shù),其中的權值矩陣為W,偏置向量為b。

訓練過程如下:首先代入x～經過第1個隱層得到f1,再把f1代入解碼函數(shù)得到x′1,對于每一條輸入的商品評分,它在任一層的重構誤差函數(shù)為

(1-xn)log2(1-x′n)

(2)

式中:x′——評分經編碼和解碼后的重構。

對于整個包含I條商品數(shù)據(jù)的訓練集來說,它在該層的整體誤差函數(shù)為

(3)

式中:θ,λ——正則化參數(shù);

h——神經網(wǎng)絡的層數(shù);

In——該層神經網(wǎng)絡中商品元素的個數(shù)。

每一次的訓練目標就是最小化這個誤差函數(shù)。其中,為了防止過擬合引入正則化參數(shù)λ來減小權重幅,對于每一層的誤差函數(shù)使用反向傳播法和隨機梯度下降法相結合求出這一層的參數(shù)θl,在這個參數(shù)下該層得到的輸出fl即為下一層隱層的輸入。重復迭代以上訓練過程,保留每層訓練得到的參數(shù)。

1.4 排序學習

模型結構其余部分基于隱層H,在最后的輸出層采用BPR方法,對輸出結果做排序學習,使最相似的商品排在最前面,最終推薦出的商品就從排名前k個商品中選取。訓練模型使式(1)的似然概率最大化,整個模型的損失函數(shù)為

λ1‖θc‖2+λ2‖θr‖2

(4)

θc={W11,W21,b11,b21}為SDAE部分的權重和偏置,θr={W2,b2,b3}是其他部分的參數(shù),即隱藏層和推理層的權重和偏置。經過SDAE層的預訓練后,再次對θc和θr使用反向傳播的隨機梯度下降法確定。當梯度穩(wěn)定后,針對每個商品i計算其余所有商品和它相似的概率rij,并制作一個排名列表。系統(tǒng)根據(jù)這張排名列表向用戶推薦商品。在模型訓練結束后,輸入任意兩個商品的用戶評價向量,可以得到這兩個商品相似的概率值即rij=p(eij=1),而這個概率值就是推薦商品的理由。

隱藏層的輸入部分為Fi,Fj,Fk,即商品i,j,k經過SDAE后提取出的特征,作用為將其嵌入Hi,Hj,Hk中作進一步的計算。在該層的神經網(wǎng)絡中選擇ReLU函數(shù)作為激活函數(shù),這里的隱層作用并非提取特征,因此可以選用一個信息量相對較少但收斂速度更快的ReLU函數(shù),即

Hi=ReLU(W2Fi+b2)

(5)

推理層的輸入為Hi,Hj,Hk,輸出為rij和rik的相似概率,即

(6)

這里的激活函數(shù)選擇Sigmoid函數(shù)是因為要保證最后輸出的概率rij∈[0,1]。在隱藏層中,為了提高訓練的效率,所有的商品都使用了相同的參數(shù){w2,b2},但是在推理層每個商品都有自己獨特的參數(shù)b3,這樣更有利于發(fā)掘每個商品內在的潛質,提高推薦的準確性。rij與rik之間相似關系的概率定義為

(7)

2 實驗結果分析

2.1 數(shù)據(jù)集

實驗部分將本文所提出的模型SDAE-BPR與兩個現(xiàn)有經典協(xié)同過濾商品推薦算法模型,即基于商品的協(xié)同過濾(IB-CF)、基于用戶的協(xié)同過濾(UB-CF)進行了比較。以下實驗分別基于互聯(lián)網(wǎng)上已經公開的Movielens 20 M數(shù)據(jù)集和Movielens 1 M數(shù)據(jù)集,數(shù)據(jù)集分別包含20 M和1 M大小的真實用戶對各個電影的評分txt文件。每種方法都在數(shù)據(jù)集中使用10折交叉驗證,并顯示平均結果。

2.2 評價指標

為了檢驗不同方法在指定數(shù)據(jù)集上的性能,使用受試者工作曲線下的面積(AUC)和歸一化折損累計增益(NDCG)作為指標[7]來評估不同推薦方法的性能,并繪制P-R曲線圖進行直觀比較。AUC能夠衡量一個學習器的優(yōu)劣,AUC的值越大,通常可以說明該學習器的效果越好。NDCG表示高關聯(lián)度結果是否排名靠前,NDCG值越高,說明排序靠前的結果相關性越高。P-R曲線是以精準率和召回率為變量而做出的曲線,其中召回率為橫坐標,精準率為縱坐標。如果一個學習器的P-R曲線被另一個學習器的P-R曲線完全包住,則可斷言后者的性能優(yōu)于前者。

2.3 實驗結果

為了測量3種模型在不同大小數(shù)據(jù)集上的性能,分別使用Movielens 20 M和Movielens 1 M數(shù)據(jù)集對這些模型進行驗證。AUC和NDCG@6以及P-R曲線的結果對比如表1、圖2、圖3所示。

圖2 Movielens 20 M上的PR曲線

圖3 Movielens 1 M上的PR曲線

表1 3種模型的AUC和NDCG@6結果對比

由表1的數(shù)據(jù)可以看出:對于Movielens 20 M數(shù)據(jù)集,SDAE-BPR的AUC比IB-CF高2.6%。比UB-CF高4.1%;對于Movielens 1 M數(shù)據(jù)集,SDAE-BPR的AUC比IB-CF高1.7%,比UB-CF高3.1%。在橫向比較的基礎上,隨著訓練樣本大小的增加,模型能夠更好地擬合。因此,這3種模型在大型數(shù)據(jù)集上的性能都優(yōu)于小型數(shù)據(jù)集。從縱向上看,SDAE-BPR在每個訓練集上的表現(xiàn)最好,其次是IB-CF,而UB-CF的性能最差。

由圖2和圖3可以看出,SDAE-BPR的P-R曲線基本包住了其他兩個模型的曲線。根據(jù)前文對P-R曲線的定義,可以得出SDAE-BPR的綜合性能在大數(shù)據(jù)集和小數(shù)據(jù)集上都是最好的。這里得出的結論與AUC的結果一致。通過比較這兩個結果,可以清楚地看出SDAE-BPR比其他兩種經典協(xié)同過濾商品推薦算法模型具有更好的綜合性能。但是在圖3中,所有模型的P-R曲線幾乎重合。這一現(xiàn)象說明本文提出的模型在數(shù)據(jù)量大的情況下更能表現(xiàn)出較好的效果。

圖4和圖5為選取不同n值時3種模型的NDCG結果圖。由圖4和圖5可以看出:當n=6時,NDCG趨于穩(wěn)定,因此選擇6作為n的值;SDAE-BPR的曲線遠高于其他兩條曲線,即SDAE-BPR模型的NDCG@n也大于其他兩種經典協(xié)同過濾商品推薦算法模型。由此可以證明SDAE-BPR的排序結果總是比經典算法模型更精確。

圖5 Movielens 1 M上的NDCG結果

3 結 語

本文把已有的BPR模型和SDAE相結合來推薦商品,其中SDAE部分用來提取用戶評價向量的隱特征,BPR部分利用已提取的隱特征來獲取商品的深層特性,并在此基礎上提出了一套適用于該模型的預訓練和微調策略用于提高訓練效率和推薦準確度。經過實驗驗證,所提出的模型比現(xiàn)有的經典協(xié)同過濾商品推薦算法模型具有更良好的性能,如準確率更高,排序結果更好,也避免了稀疏性的影響。但是該模型仍有一些缺點,如當數(shù)據(jù)量較大時,對每個商品提取特征并且計算任意兩個商品的相似概率,模型的學習和數(shù)據(jù)的保存都可能會遇到困難,因此在大規(guī)模的商業(yè)應用之前還需要進行優(yōu)化。