張光榮，王寶亮，侯永宏

1.天津大學(xué) 電氣自動化與信息工程學(xué)院，天津 300072

2.天津大學(xué) 信息與網(wǎng)絡(luò)中心，天津 300072

1 引言

隨著信息時代的到來，信息過載[1]使得用戶很難從海量的數(shù)據(jù)中找到自己感興趣的內(nèi)容，針對用戶興趣的推薦算法（recommendation algorithm）應(yīng)運(yùn)而生。推薦是根據(jù)用戶的個人歷史行為信息，預(yù)測出用戶的個性化偏好，從而為用戶提供可能感興趣的商品，目前已成為電子商務(wù)、視頻音樂點(diǎn)播、新聞推送等領(lǐng)域的核心技術(shù)[2]。

推薦算法也面臨著一系列的問題，數(shù)據(jù)稀疏性（sparseness）就是其中之一。數(shù)據(jù)稀疏性是指用戶歷史行為數(shù)據(jù)總量巨大，但具體到每一個用戶，能利用的數(shù)據(jù)卻十分稀少[3]。推薦系統(tǒng)（recommended system）自定義至今，針對數(shù)據(jù)稀疏性難題，研究人員提出了各種方法予以緩解，主要有兩種思路：第一是基于數(shù)據(jù)填充方法，主要思想是借助其他信息建立有效的用戶模型，以此緩解用戶歷史數(shù)據(jù)的稀疏性；第二是不借助其他數(shù)據(jù)建立模型，直接利用用戶歷史評分信息，通過矩陣分解（matrix factorization）、聚類（cluster）、機(jī)器學(xué)習(xí)（mac-hine learning）等對用戶歷史評分?jǐn)?shù)據(jù)進(jìn)行預(yù)處理[4]。

本文通過融合以上兩種思路，把表達(dá)用戶對商品屬性認(rèn)知的標(biāo)簽，通過算法預(yù)處理，加入至機(jī)器學(xué)習(xí)模型，提出融合標(biāo)簽的實值條件受限玻爾茲曼機(jī)推薦算法——Tag_R_CRBMs，降低推薦算法中數(shù)據(jù)的稀疏性。

本文第2章介紹相關(guān)工作；第3章主要介紹本文提出的融合用戶標(biāo)簽的實值條件受限玻爾茲曼機(jī)推薦算法；第4章內(nèi)容為基于MovieLens數(shù)據(jù)集的實驗結(jié)果及分析；第5章對全文進(jìn)行總結(jié)。

2 相關(guān)工作

在借助其他信息緩解數(shù)據(jù)稀疏中，文獻(xiàn)[5]提出一種基于項目相似度的數(shù)據(jù)填充方法，其目的在于當(dāng)原始數(shù)據(jù)集極度稀疏時通過數(shù)據(jù)填充為算法提供足夠的數(shù)據(jù)支持。文獻(xiàn)[6]通過用戶隱含的反饋，例如在頁面停留的時間、聽一首歌的時長、選擇商品的順序，隱含反饋信息與用戶已有的歷史信息結(jié)合，組成一個混合的推薦系統(tǒng)。

隨著Web2.0的到來，標(biāo)簽（tag）成為一種有用且能很好反映用戶偏好的文本信息[7]，在對標(biāo)簽的處理中，主要有潛在Dirichlet分布（latent Dirichlet allocation，LDA）模型、TF-IDF（term frequency-inverse document frequency）模型、Word2vec模型。文獻(xiàn)[8]在標(biāo)簽系統(tǒng)中運(yùn)用LDA模型，以此來發(fā)現(xiàn)用戶與標(biāo)簽、資源與標(biāo)簽之間的潛在語義關(guān)系，并計算用戶選擇某個資源的條件概率，然后將計算出的概率與通過協(xié)同過濾算法計算出的資源相似度相結(jié)合，預(yù)測用戶偏好值。TF-IDF是一種統(tǒng)計方法，用以評估一個詞對于一個文檔集或者一個語料庫中的某一份文檔的重要程度，字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時會隨著它在語料庫中出現(xiàn)的頻率成反比例下降[9]。Word2vec是Google推出的詞嵌入（word embedding）的開源工具，為一群用來產(chǎn)生詞向量的相關(guān)模型，這些模型為雙層的神經(jīng)網(wǎng)絡(luò)（neural network，NN），用來訓(xùn)練以重新建構(gòu)語言學(xué)的詞文本[10]。以上三種模型，TF-IDF以其容易理解，計算簡單的優(yōu)點(diǎn)，在計算用戶對標(biāo)簽偏愛度上脫穎而出。

在借助學(xué)習(xí)模型對數(shù)據(jù)進(jìn)行預(yù)處理方法中，矩陣分解方法首當(dāng)其沖，主要有奇異值分解（singular value decomposition，SVD）[11]、隱因子模型（latent factor models，LFM）[12]、非負(fù)矩陣分解（non-negative matrix factorization，NMF）[13]、基于概率的矩陣分解（probabilistic matrix factorization，PMF）[14]。矩陣分解模型通過減少用戶-商品評分矩陣的維數(shù)，能在一定程度上緩解用戶歷史數(shù)據(jù)稀疏性。矩陣分解中因子的選取至關(guān)重要，因子越能準(zhǔn)確地描述用戶偏好與商品特征，推薦結(jié)果越準(zhǔn)確。現(xiàn)有矩陣分解推薦算法通常采用商品類別構(gòu)成因子向量，然而商品類別并不足以精準(zhǔn)描述用戶偏好和商品特征，限制了矩陣分解推薦算法性能進(jìn)一步提高。

隨著近年來深度學(xué)習(xí)（deep learning，DL）的興起，基于深度學(xué)習(xí)的推薦模型快速發(fā)展[15]，其中以受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）模型以及條件受限玻爾茲曼機(jī)（conditional restricted Boltzmann machine，CRBM）模型最受歡迎[16]。2013年Georgiev等[17]提出顯層為實值的單元的受限玻爾茲曼機(jī)（real-valued restricted Boltzmann machine，R_RBM）模型，使得模型訓(xùn)練得到簡化，性能獲得提升。文獻(xiàn)[18]在實值條件玻爾茲曼機(jī)里引入了好友之間的信任關(guān)系，緩解了數(shù)據(jù)稀疏性，提升了推薦的準(zhǔn)確性。

雖然研究者對兩個思路都進(jìn)行了深入的研究，但兩個思路結(jié)合，尤其是把標(biāo)簽與深度學(xué)習(xí)模型結(jié)合的研究相對欠缺?；诖?，本文提出了Tag_R_CRBMs算法。首先，引入文本分類當(dāng)中的TF-IDF算法，得出用戶對其所使用標(biāo)簽的喜愛程度，與標(biāo)簽基因（taggenome）[19]數(shù)據(jù)相乘，可以得到用戶對具有使用過標(biāo)簽屬性的商品的評分，標(biāo)準(zhǔn)化預(yù)測商品評分使其在0～5的范圍內(nèi)。其次借鑒文獻(xiàn)[17]和文獻(xiàn)[18]思想，提出顯層單元為實值的條件受限玻爾茲曼機(jī)（realvalued conditional restricted Boltzmann machine，R_CRBM）模型，此模型不需要把實值評分轉(zhuǎn)化為整數(shù)值評分，減少了顯層的參數(shù)，R_CRBM模型顯層輸入為通過標(biāo)簽的預(yù)測評分與用戶歷史評分，條件層輸入用戶潛在的評分/未評分{0,1}向量與使用標(biāo)簽/未標(biāo)簽{0,1}向量。最后訓(xùn)練模型，獲得模型的參數(shù)。Tag_R_CRBMs算法流程圖如圖1所示。

本文的Tag_R_CRBMs算法的主要貢獻(xiàn)有兩方面：第一，應(yīng)用TF-IDF算法與標(biāo)簽基因數(shù)據(jù)把用戶標(biāo)簽數(shù)據(jù)轉(zhuǎn)換為用戶評分?jǐn)?shù)據(jù)，緩解了用戶評分?jǐn)?shù)據(jù)的稀疏性；第二，在R_CRBM模型的條件層中，加入了用戶潛在的使用標(biāo)簽/未使用標(biāo)簽信息。

Fig.1 Workflow of Tag_R_CRBMs algorithm圖1 Tag_R_CRBMs算法流程圖

3 Tag_R_CRBMs算法描述

3.1 用戶對標(biāo)簽的喜愛度

用戶對商品所應(yīng)用的標(biāo)簽是用戶對商品態(tài)度一個很好的反饋，用戶可能對同一個商品使用多個標(biāo)簽，也可能對多個商品使用同一個標(biāo)簽，本文引入TF-IDF算法獲得用戶對標(biāo)簽的喜愛度。

TF-IDF是一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)，TF（term frequency）為詞頻，表示一個詞在文檔中出現(xiàn)的頻率，IDF（inverse document frequency）為逆文檔頻率，是一個詞普遍重要性的度量。令U={u1,u2,…,un}為用戶集合，T={t1,t2,…,tk}表示用戶所使用的標(biāo)簽集合，用戶對所應(yīng)用標(biāo)簽的使用頻率為：

式（1）中，分子表示用戶u對標(biāo)簽t的使用次數(shù)，分母表示用戶使用標(biāo)簽的總次數(shù)。

用戶u對標(biāo)簽t的逆文件頻率為：

其中，n(ui,tj)表示標(biāo)簽tj被用戶ui使用的次數(shù)，n(ui,t)表示用戶ui對標(biāo)簽t使用的次數(shù)。IDF(u,t)是標(biāo)簽t對用戶u普遍重要性的度量，表明標(biāo)簽t被不同用戶使用的可能性。

用戶對其標(biāo)簽的喜愛程度即用戶對其使用標(biāo)簽的TF-IDF為：

對于標(biāo)簽集合中，用戶沒有使用過的標(biāo)簽，其TF-IDF值設(shè)為None。用戶對標(biāo)簽的TF-IDF矩陣如表1所示。

Table 1 User-tag TF-IDF matrix表1 用戶-標(biāo)簽TF-IDF矩陣

3.2 基于標(biāo)簽的用戶商品評分預(yù)測

3.1節(jié)獲得了用戶對標(biāo)簽的喜愛度，本節(jié)通過利用標(biāo)簽基因數(shù)據(jù)與用戶對標(biāo)簽的喜愛程度相乘，得到用戶-商品預(yù)測評分。

標(biāo)簽基因是一種提升傳統(tǒng)標(biāo)簽?zāi)Ｐ偷臄?shù)據(jù)結(jié)構(gòu)，目的是更好地提供與用戶的交互。I={i1,i2,…,im}是商品集合，用rel(t,i)∈[0,1]量化每個標(biāo)簽t∈T與每個商品i∈I之間的關(guān)聯(lián)度，rel(t,i)為0表示不相關(guān)，為1表示強(qiáng)相關(guān)。定義標(biāo)簽基因G為標(biāo)簽-項目矩陣，數(shù)學(xué)公式為：

其圖像化描述如表2。

基于隱因子分解模型的思想，用戶對標(biāo)簽t∈T的偏愛度很高，商品i∈I和標(biāo)簽t∈T強(qiáng)相關(guān)，那么可以預(yù)測用戶對商品i∈I擁有較高的喜愛度，因此預(yù)測用戶對商品的評分值如下式：

Table 2 Relevance table between tags and items表2 商品與標(biāo)簽之間的相關(guān)性表

其中，l(u,i)表示預(yù)測的評分，由于用戶對標(biāo)簽應(yīng)用的缺失，l(u,i)也是一個充滿缺失值的預(yù)測評分矩陣。由于用戶歷史評分?jǐn)?shù)據(jù)范圍為[0,5]，l(u,i)需要進(jìn)行規(guī)范化到0～5范圍內(nèi)。

如式（6）所示，rp(u,i)為規(guī)范化后的評分，min(l(u,i))為l(u,i)的最小值，max(l(u,i))為l(u,i)的最大值。

3.3 實值條件受限玻爾茲曼機(jī)模型R_CRBM

RBM是Smolensky基于波爾茲曼機(jī)（Boltzmann machine，BM）提出的一種根植于統(tǒng)計力學(xué)的隨機(jī)神經(jīng)網(wǎng)絡(luò)，Salakhutdinov首先運(yùn)用RBM于推薦領(lǐng)域，并同時提出了CRBM模型[16]。本文依據(jù)已有研究，提出顯層單元為實值的條件受限波爾茲曼機(jī)（R_CRBM）模型，模型如圖2所示。

Fig.2 R_CRBM model圖2 實值條件受限玻爾茲曼機(jī)模型

設(shè)有m個商品，n個用戶，用戶對商品的反饋為0～5的實值評分，V={v1,v2,…,vm}為顯層單元，其輸入為實值評分?jǐn)?shù)據(jù)，H={h1,h2,…,hF}為隱藏單元，F(xiàn)表示隱藏單元的數(shù)目，H為0,1二值單元，r表示條件向量，W表示隱層與顯層的連接權(quán)重，r∈{0,1}m，用以表示用戶的特征信息，本文表示用戶其潛在評分/未評分、標(biāo)簽/未標(biāo)簽信息，D表示r對H的影響矩陣。

依據(jù)R_CRBM模型的層內(nèi)無連接，層間全連接的特點(diǎn)，當(dāng)給定可見單元與條件單元的狀態(tài)時，第j個隱單元的激活概率為：

式（7）中，σ(x)=1/[1+exp(-x)]為sigmoid的函數(shù)，bj為隱層單元的偏置。

當(dāng)給定隱單元的狀態(tài)時，顯層第i個可見單元的值為：

式（8）中，Ν為高斯分布，ai表示顯層單元的偏置。

3.4 R_CRBM模型的訓(xùn)練

訓(xùn)練R_CRBM模型的目的是求出各參數(shù)的值，包括顯層偏置ai、隱層偏置bj、顯層與隱層的連接權(quán)重Wij，以及條件層與隱層的單向連接矩陣D，參數(shù)的獲取可以利用最大化R_CRBM在訓(xùn)練集上的對數(shù)似然函數(shù)學(xué)習(xí)得到[20]。把顯層單元設(shè)置為一組訓(xùn)練樣本，利用式（7）計算所有隱單元的二值狀態(tài)，在所有隱層單元的狀態(tài)確定后，根據(jù)式（8）來確定第i個可見單元vi的取值進(jìn)而產(chǎn)生可見層的一個重構(gòu)（reconstruction）。使用隨機(jī)梯度下降法（stochastic gradient descent）最大化對數(shù)似然函數(shù)在訓(xùn)練數(shù)據(jù)上的值時，各參數(shù)的更新準(zhǔn)則為：

其中，ε為學(xué)習(xí)率（learning rate），＜?＞data表示訓(xùn)練數(shù)據(jù)分布，＜?＞recon表示T步采樣計算后的數(shù)據(jù)的分布。整個訓(xùn)練如算法1所示。

算法1R_CRBM模型基于CD的訓(xùn)練算法

輸入：評分矩陣ratings，條件向量ri，隱單元個數(shù)F，學(xué)習(xí)率ε。

1.Initialize：visible units,conditional layer,Wij,Dij,ai,bj

2.while model is not convergence

3.fort=1,2,…,T

4.fori=1,2,…,F

5.utilize formula(7)to gethi

6.end for

7.forj=1,2,…,m

8.utilize formula(7)to getvj

9.end for

10.utilize formula(10)to update parameters

輸出：顯層隱層連接矩陣Wij，條件向量與隱層連接矩陣Dij，顯層偏置ai，隱層偏置bj。

模型訓(xùn)練完成后，對于某個具體用戶，輸入用戶歷史評分?jǐn)?shù)據(jù)和經(jīng)過計算獲得的基于標(biāo)簽的評分?jǐn)?shù)據(jù)以及條件向量數(shù)據(jù)至訓(xùn)練好的R_CRBM模型，得到的顯層單元的值為用戶對商品的預(yù)測評分。

4 實驗結(jié)果分析

本章通過實驗驗證本文所提算法性能，實驗數(shù)據(jù)集采用的是 MovieLens(http：//movielens.org)中的ml-20m數(shù)據(jù)集，采用5-折交叉驗證法(5-fold cross validation)進(jìn)行模型訓(xùn)練，以文獻(xiàn)[17]和文獻(xiàn)[18]的算法作為對比結(jié)果。文獻(xiàn)[17]改進(jìn)了CD算法，其改進(jìn)方法為可見單元的值等于對應(yīng)隱單元連接權(quán)重的和（sum weight）再加上偏置，稱之為S_RBM模型。文獻(xiàn)[18]在R_CRBM模型中加入了基于MoleTrust[21-22]最近信任好友關(guān)系（nearest trusted friends based on MoleTrust，NTFMT），稱之為R_CRBM_NTFMT算法。

4.1 實驗數(shù)據(jù)集介紹

本文選取MovieLens的ml-20m數(shù)據(jù)集應(yīng)用標(biāo)簽數(shù)量大于10條的用戶，數(shù)據(jù)量信息如表3。

4.2 評價指標(biāo)

本文應(yīng)用的度量方法有平均絕對誤差(MAE)、均方根誤差（RMSE）。

平均絕對誤差計算預(yù)測值與用戶實際評分值之間的平均絕對誤差，能很好地反映預(yù)測值誤差的實際情況，其計算公式如式（11）：

Table 3 Experimental dataset information表3 實驗數(shù)據(jù)集信息

其中，Ntest表示測試數(shù)據(jù)集，ru,i表示實際用戶評分?jǐn)?shù)據(jù)集，restimated表示預(yù)測評分，|Ntest|表示測試數(shù)據(jù)集的個數(shù)。

RMSE用來衡量觀測值與真值之間的偏差，是觀測值與真值偏差的平方和與觀測次數(shù)比值的平方根，其計算公式如式（12）：

其中，Ntest表示測試集中用戶數(shù)量，|Ntest|表示測試數(shù)據(jù)集的個數(shù)，r表示用戶實際評分值，restimated表示R_CRBM模型的預(yù)測值。

4.3 實驗結(jié)果分析

4.3.1 R_CRBM中隱藏單元的確定

本實驗的目的是確定R_CRBM模型的隱單元數(shù)目，實驗中顯層單元的輸入數(shù)據(jù)為用戶商品評分矩陣，條件層輸入數(shù)據(jù)為用戶潛在的評分/未評分?jǐn)?shù)據(jù)。實驗是基于Epochs=20進(jìn)行的，其實驗結(jié)果如圖3、圖4所示。

如圖3、圖4所示，橫坐標(biāo)表示隱單元的數(shù)目，縱坐標(biāo)分別表示RMSE、MAE的值。實驗結(jié)果反映出，隱單元數(shù)目對RMSE和MAE的影響是先好后壞，符合實際情況。隱單元數(shù)量過少，不能完全表達(dá)出數(shù)據(jù)的特征，是欠擬合的狀態(tài)；隱單元數(shù)量過多，容易出現(xiàn)過擬合。依據(jù)本實驗結(jié)果；隱單元數(shù)量為90時，隱單元數(shù)量足夠表達(dá)數(shù)據(jù)的特征，因此本文后續(xù)實驗選擇隱單元數(shù)量為90。

Fig.3 Influence of hidden number on RMSE圖3 隱單元數(shù)目對RMSE的影響

Fig.4 Influence of hidden number on MAE圖4 隱單元數(shù)目對MAE的影響

4.3.2 條件層加入標(biāo)簽/未標(biāo)簽{0,1}向量影響

本文的一個貢獻(xiàn)為在條件層數(shù)據(jù)中加入了用戶潛在的標(biāo)簽/未標(biāo)簽數(shù)據(jù)，本節(jié)對向量加入的影響進(jìn)行驗證。

本文驗證方法為使用兩個R_CRBM模型，兩個模型顯層單元輸入為用戶商品評分?jǐn)?shù)據(jù)，一個條件層的輸入為用戶潛在的評分/未評分?jǐn)?shù)據(jù)，取名為R_CRBM模型；一個條件層輸入數(shù)據(jù)為用戶潛在評分/未評分、標(biāo)簽/未標(biāo)簽數(shù)據(jù)，取名為R_CRBM_C模型。隱單元數(shù)量為90，其RMSE、MAE對比結(jié)果如圖5、圖6所示。

從圖5、圖6可以看出，兩個模型都在Epochs=10時開始收斂，在Epochs=70時模型收斂速度基本不變。條件向量中加入用戶潛在的標(biāo)簽/未標(biāo)簽信息有助于模型的收斂，使模型的預(yù)測結(jié)果更加準(zhǔn)確。同時也說明，用戶與商品的交互信息越多，越能反映出用戶對該商品的喜愛程度。

4.3.3 模型對比實驗結(jié)果與分析

本節(jié)的模型對比實驗中，一共包括5種模型，分別是本文的Tag_R_CRBMs模型以及4個對比模型，分別是最經(jīng)典的RBM模型與CRBM模型[16]，文獻(xiàn)[17]的S_RBM模型以及文獻(xiàn)[18]的R_CRBM_NTFMT模型。各模型的RMSE以及MAE如圖7、圖8所示。

如圖7、圖8所示，5種模型的收斂速度大致相同，都是在Epoch為10時開始收斂，在Epoch達(dá)到70的時候，各模型的收斂速度基本不變。從圖中RMSE與MAE的值可以看出，文獻(xiàn)[17]的S_RBM模型以及文獻(xiàn)[18]的R_CRBM_NTFMT模型明顯優(yōu)于經(jīng)典的RBM與CRBM模型，而本文提出的Tag_R_CRBMs優(yōu)化效果明顯，取得了理想的預(yù)測結(jié)果，說明本文所提方法具有一定準(zhǔn)確性與有效性。

Fig.5 Influence of conditional layer input data on RMSE圖5 條件層輸入數(shù)據(jù)對RMSE的影響

Fig.6 Influence of conditional layer input data on MAE圖6 條件層輸入數(shù)據(jù)對MAE的影響

Fig.7 RMSE of five comparable models圖7 5個對比模型的RMSE

Fig.8 MAE of five comparable models圖8 5個對比模型的MAE

5 結(jié)束語

本文針對推薦算法中數(shù)據(jù)稀疏性難題，提出融合標(biāo)簽的實值條件受限玻爾茲曼機(jī)推薦方法。采用MovieLens數(shù)據(jù)集對本文提出的方法進(jìn)行測試，并對結(jié)果進(jìn)行了展示與分析，實驗結(jié)果表明了本文提出的推薦方法的有效性。

用戶的歷史信息數(shù)據(jù)量巨大，更新速度快，如何在盡可能多的利用用戶歷史信息條件下，降低時間復(fù)雜度，實時快速準(zhǔn)確地為用戶提供感興趣的商品，是今后研究的重點(diǎn)。