楊豐瑞，鄭云俊，張 昌

(1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065; 2.重慶重郵信科(集團(tuán))股份有限公司，重慶 401121)

0 引言

在信息化時代，我們很難在短時間內(nèi)從大量的數(shù)據(jù)中選擇有用的信息，而傳統(tǒng)的推薦算法已經(jīng)不能滿足用戶對有效信息的需求。在這種復(fù)雜的數(shù)據(jù)背景下，基于個性化的推薦算法成為一個熱點的研究主題[1]。

如今推薦系統(tǒng)一直是幫助用戶在短時間內(nèi)獲取有效信息的最有用的工具之一。越來越多的電子商務(wù)和視頻網(wǎng)站如亞馬遜[2]、Twitter[3]和YouTube[4]制定了各自的推薦系統(tǒng)，以促進(jìn)銷售和提高用戶體驗。亞馬遜的CF(Collaborative Filtering)算法比傳統(tǒng)的CF算法，大大節(jié)約了資源。Twitter幫助用戶找到合適關(guān)注的賬號，提升用戶參與度，吸引更多新用戶來到Twitter平臺。YouTube使用用戶的觀看歷史、搜索記錄以及用戶統(tǒng)計信息為用戶推薦視頻。

本文的主要工作為：提出了結(jié)合特征傳遞和概率矩陣因式分解(feature Transfer and Probability Matrix Factorization, TPMF)的社交網(wǎng)絡(luò)推薦算法,其主要思想是融合個人潛在特征、社會潛在特征和推薦項目間的關(guān)聯(lián)特征屬性，將三者結(jié)合在統(tǒng)一的推薦框架中，將實驗數(shù)據(jù)應(yīng)用到所提出的推薦算法中，分析了推薦的各方面性能以及實驗參數(shù)對推薦性能的影響。

1 相關(guān)工作

推薦系統(tǒng)通過分析用戶購買和評級的歷史記錄來進(jìn)行預(yù)測和推薦。協(xié)同過濾[5-6]是個性化推薦中最成功的技術(shù)之一，使用用戶的大量評分記錄來預(yù)測目標(biāo)用戶將會選擇哪些項目已被廣泛研究[7-9]，但算法存在稀疏性問題、評級數(shù)據(jù)不平衡和冷啟動問題，很難向新用戶或者評價項目少的用戶提供推薦服務(wù)。矩陣分解技術(shù)[10]是解決數(shù)據(jù)稀疏和不平衡問題廣泛使用的方法之一，如基于聯(lián)合概率矩陣分解(Union Probability Matrix Factorization, UPMF)的推薦算法[11]、郭磊等[12]提出了StrengthMF和InfluenceMF，利用信任關(guān)系和興趣偏好通過共享的特征空間建模。矩陣分解技術(shù)通常從稀疏用戶評分矩陣中學(xué)習(xí)用戶和項目的潛在特征，根據(jù)用戶和項目潛在特征預(yù)測非購買項目的評級。雖然這種方法已經(jīng)取得了顯著成果，由于新用戶缺乏輔助信息或用戶很少被評級，仍遭受冷啟動問題。許多社交網(wǎng)站如Facebook和Twitter[13]已經(jīng)成為滿足人們的好友交互與溝通的平臺，可以從社交網(wǎng)絡(luò)中的所有的朋友列表中提取直接信任網(wǎng)絡(luò)[14]，這是一個解決冷啟動問題的可用輔助數(shù)據(jù)，提高推薦質(zhì)量。

以上的推薦算法取得了不錯的推薦效果，但沒有考慮推薦項目之間的關(guān)聯(lián)關(guān)系。本文提出的算法融合社交網(wǎng)絡(luò)、評級記錄中的信任信息和推薦項目之間的關(guān)聯(lián)信息，以學(xué)習(xí)項目潛在特征向量，用戶個人潛在特征向量和社會潛在特征向量；特征傳遞用于從受信任的人獲得社會影響力，自適應(yīng)權(quán)重用于決策個人潛在特征和社交潛在特征對用戶的影響程度?；谝陨蟽?nèi)容，本文提出了一種新型的混合型推薦算法。

2 TPMF算法流程

本章就用戶項目評分矩陣、用戶社交潛在特征矩陣和推薦項目之間的關(guān)聯(lián)關(guān)系矩陣進(jìn)行描述和細(xì)化，將這三個矩陣融合在統(tǒng)一的推薦框架下，實現(xiàn)推薦系統(tǒng)的性能更優(yōu)化。

2.1 用戶項目評分矩陣分解

在推薦算法中，用戶項目評分矩陣R=[rij]m×n表示將m個用戶對n個項目的評分關(guān)系用矩陣R表示。rij表示用戶i對項目j的評分，通常rij的取值范圍被限定在區(qū)間[Rmin,Rmax]中。在本文中，為了不失一般性，通過使用映射函數(shù)f(x)=(x-Rmin)/(Rmax-Rmin)將所有的用戶對項目的評分值映射到區(qū)間[0,1]內(nèi)。評分值rij越高，表示用戶i對項目j的滿意度越高，如用戶i尚未對項目j進(jìn)行評分，則相應(yīng)的rij=0。通過矩陣分解可以將用戶項目評分矩陣R∈Rm×n分解為兩個矩陣U∈Rm×l和V∈Rn×l，其中l(wèi)維行向量Ui和Vj代表了用戶i的潛在特征向量和項目j的潛在特征向量，將用戶項目評分矩陣R的條件概率定義為：

(1)

(2)

(3)

根據(jù)貝葉斯推理，潛在變量用戶U和項目V的后驗概率為：

(4)

相應(yīng)的模型如圖1所示，它是概率矩陣分解(Probability Matrix Factorization, PMF)的模型。根據(jù)方程式(4)可以從用戶項目評分矩陣中學(xué)習(xí)用戶和項目的潛在特征向量。

圖1 概率矩陣分解的圖形模型 Fig. 1 Graphic model of probability matrix factorization

2.2 用戶社交潛在特征

對于每個用戶，向量Ui代表個人潛在特征，通過由矩陣Z∈Rm×l的行向量的l維向量Zi表示社交信任網(wǎng)絡(luò)中的社交潛在特征。

圖2 社交信任網(wǎng)絡(luò)模型 Fig. 2 Social trust network model

由于特征轉(zhuǎn)移，用戶i的行為受到其社交網(wǎng)絡(luò)信任用戶的影響，因此，用戶i的社會潛在特征依賴于社交信任網(wǎng)絡(luò)中用戶的個人潛在特征。社交潛在特征矩陣Z可以通過個人潛在特征U和信任矩陣S來進(jìn)行推導(dǎo)，這就是此算法中“特征傳遞”的基本原理。對于社交潛在特征矩陣，服從均值為0的高斯先驗分布可以防止過擬合：

(5)

由貝葉斯公式得，個人潛在特征U、社交潛在特征Z和信任矩陣S的后驗概率為：

(6)

(7)

上述模型中，缺乏項目之間的關(guān)聯(lián)關(guān)系矩陣，在優(yōu)化的PMF算法基礎(chǔ)上對算法進(jìn)行改進(jìn)，提出了結(jié)合特征轉(zhuǎn)移和矩陣分解的推薦算法(TPMF)，融合推薦項目之間的關(guān)聯(lián)關(guān)系進(jìn)行推薦。

2.3 推薦項目關(guān)聯(lián)關(guān)系矩陣

推薦項目間的關(guān)聯(lián)關(guān)系用矩陣C表示。當(dāng)推薦一本書籍給用戶時，它會介紹此書籍的作者及其類型等。書籍分為是小說、記敘文還是自傳等各種元素，這類描述項目特征的詞可以認(rèn)為是此項目的關(guān)鍵字。因此，對于給用戶推薦的每個項目Vn={W1,W2,…,Wk}，Wi表示項目Vn的第i個特征。Wi=1表示項目Vn具有第i個特征，Wi=0表示不具有該特征，各個項目的集合可以組成一個內(nèi)容特征矩陣。

根據(jù)各個推薦項目之間的內(nèi)容特征矩陣，可以計算推薦項目之間的關(guān)聯(lián)度，推薦項目Vi與Vj之間的關(guān)聯(lián)關(guān)系權(quán)重可以表示為：

(8)

WVi,k=1表示推薦項目Vi有第k個特性，否則WVi,k=0。CViVj表示推薦項目Vi和Vj之間的特征關(guān)聯(lián)關(guān)系，其值的大小決定了這兩個項目關(guān)聯(lián)的程度。C={CViVj}是一個(n×n)維的項目特征矩陣，CViVj≠0表示兩個推薦項目之間有關(guān)聯(lián)關(guān)系，否則CViVj=0，CViVj∈[0,1]表示了推薦項目間的關(guān)聯(lián)關(guān)系權(quán)重的大小。

推薦項目Vi和Vj的特征關(guān)聯(lián)關(guān)系可以從矩陣C中得到，特征關(guān)聯(lián)關(guān)系矩陣C的后驗概率分布可以表示為：

(9)

2.4 TPMF

根據(jù)用戶個人潛在特征和社交潛在特征，可以為目標(biāo)用戶獲得兩個不同的評分預(yù)測。個人潛在特征和社交潛在特征將給用戶推薦項目帶來影響，為了自適應(yīng)用戶的個人潛在特征和社交潛在特征，設(shè)計了一個自適應(yīng)權(quán)重α∈Rm×l，αi表示用戶的個人潛在特征的影響，(1-αi)表示社交潛在特征對用戶推薦項目帶來的影響，假設(shè)α服從均值為1/2的高斯先驗分布，則：

(10)

為綜合U、Z、V、C、α，在社交網(wǎng)絡(luò)中作出更好的推薦，所使用的概率模型如圖3所示。

圖3 TPMF概率模型 Fig. 3 TPMF probability model

通過貝葉斯推理得，U,Z,V,C,α的聯(lián)合后驗概率可以表示為：

(11)

U,Z,V,α的對數(shù)聯(lián)合后驗概率表示為：

(12)

此處舉例說明：某工廠有4條流水線生產(chǎn)同一產(chǎn)品，生產(chǎn)量分別占得比例為15%、20%、30%、35%，這4條流水線的次品率依次為0.05、0.04、0.03、0.02，現(xiàn)從出廠的產(chǎn)品中任取一件，求抽到次品的概率。

假設(shè)B={抽到次品}，Ai={抽到i條流水線的產(chǎn)品}，i=1,2,3,4,于是由全概率公式有：

0.04+0.3×0.03+0.35×0.02=0.032 5

式(12)的原理亦是如此，此處取對數(shù)的目的是維持系統(tǒng)方差的恒定，提升推薦準(zhǔn)確度。

ω是常數(shù)，最大化對數(shù)后驗相當(dāng)于最小化以下二次正則化項的平方誤差之和函數(shù)：

(13)

(14)

(15)

(16)

(17)

其中g(shù)′(x)=ex/(1+ex)2。

求函數(shù)f(x,y)=x2+xy+y的極值，此處的思想就是梯度下降。分別求x,y的梯度有：

3 實驗結(jié)果與分析

將本文提出的算法在實驗數(shù)據(jù)集上與已存在的算法進(jìn)行推薦性能的比較，以及不同的實驗參數(shù)對實驗結(jié)果的影響。

3.1 實驗數(shù)據(jù)集

本文選取的實驗數(shù)據(jù)集來自于Epinions網(wǎng)站和Ciao網(wǎng)站，數(shù)據(jù)集不僅包含用戶評分記錄，用戶信任記錄，還包含推薦項目間的關(guān)聯(lián)關(guān)系信息。它是很受歡迎的產(chǎn)品評論網(wǎng)站，用戶可以為已推薦的項目撰寫評論和作出評分記錄。這數(shù)據(jù)集中的每條評分記錄包含[用戶ID，項目ID，評分]，信任記錄[用戶ID1，用戶ID2]，項目關(guān)聯(lián)關(guān)系[項目ID1，項目ID2，關(guān)聯(lián)度]。項目的所有評分記錄在[1,5]，項目的關(guān)聯(lián)度在[0,1]。Epinions數(shù)據(jù)集包含22 166個用戶和296 277個項目，用戶的評論信息有922 267條，Ciao數(shù)據(jù)集中包含7 375個用戶，106 797個項目和284 086條用戶評論信息。用戶項目評分記錄[25,2567,4.5]表示的是用戶25對項目2567的評分是4.5，信任記錄[23,35]表示用戶23信任用戶35，項目關(guān)聯(lián)關(guān)系[256,672,0.7]表示的是項目256與項目672之間的關(guān)聯(lián)度為0.7。

3.2 實驗評估指標(biāo)

為了評估算法的推薦性能，采用平均絕對誤差(Mean Asolute Error, MAE)和均方根誤差(Root Mean Square Error, RMSE)作為評估指標(biāo)。

MAE是表示算法提出的預(yù)測值和真實值之間的平均絕對誤差，不會出現(xiàn)正負(fù)抵消的情況，能更好地反映預(yù)測值誤差的實際情況。RMSE是表示預(yù)測值與真實值偏差的平方與觀測次數(shù)n比值的平方根，均方根誤差對一組測量中的特大或特小誤差反映非常敏感，能夠很好地反映預(yù)測的精密度和數(shù)據(jù)集的離散程度。MAE和RMSE的定義如下：

(18)

(19)

其中:n表示的是預(yù)測的評分項目的個數(shù)，rij表示的是該算法計算出用戶Ui對項目Vj預(yù)測值，xij表示的是用戶Ui對項目Vj的真實的評分值。MAE值和RMSE值越小，說明提出算法的性能更好，算法的預(yù)測值更接近于實際值。

3.3 實驗仿真結(jié)果對比

在此實驗中，比較了UBCF[15]、TidalTrust[16]、PMF[17]、SoRec[18]和TPMF算法在Epinions和Ciao兩數(shù)據(jù)集上面的推薦結(jié)果。其中的主要參數(shù)設(shè)置如下：λU=λZ=λV=0.01,λα=0.01,λS=0.1,λC=10,各算法的最大迭代次數(shù)為100。隨機(jī)選擇實驗數(shù)據(jù)集的10%作為測試集，90%作為訓(xùn)練集，潛在的特征向量維度選取的是學(xué)術(shù)界實驗常用的5維和10維的情況下的實驗。實驗結(jié)果如表1所示。

表1 實驗結(jié)果對比Tab. 1 Comparison of experimental results

從表1中可以得到當(dāng)維度為5維和10維時，本文所提出的算法在平均絕對誤差和均方根誤差上優(yōu)于其他的4種推薦算法。以上5種算法分為兩類，其中UBCF和TidalTrust屬于非矩陣分解方法，PMF、SoRec和TPMF屬于矩陣分解方法。可以得到，基于矩陣分解的推薦算法的推薦性能要優(yōu)于基于非矩陣分解的推薦算法。其中基于矩陣分解方法的算法中，PMF算法僅僅是以用戶項目評分矩陣作為推薦的主要依據(jù)，而SoRec算法是基于用戶社交信任信息和用戶項目評分記錄來進(jìn)行推薦，其推薦性能要優(yōu)于PMF算法。本文提出的TPMF算法不僅聯(lián)合用戶社交信任信息、用戶項目評分矩陣，增加了大數(shù)據(jù)環(huán)境下用戶在社交網(wǎng)絡(luò)中的特征傳遞和項目間的關(guān)聯(lián)關(guān)系權(quán)重，推薦性能有較大程度的提升。其中MAE降低了4.1%～20.8%，RMSE降低了3.3%～18.5%。

在社交網(wǎng)絡(luò)中，冷啟動問題是指推薦系統(tǒng)中因為缺乏足夠的歷史數(shù)據(jù)而難以得到可靠結(jié)果。實驗中使用學(xué)術(shù)界常用的定義，將評分項目數(shù)小于10的用戶稱為冷啟動用戶。隨機(jī)從Epinions和Ciao數(shù)據(jù)集中選擇10%的數(shù)據(jù)作為測試數(shù)據(jù)，90%作為實驗訓(xùn)練集。在兩個數(shù)據(jù)集中對用戶冷啟動的推薦結(jié)果如表2所示。

從表2中可得基于矩陣分解的推薦算法在解決冷啟動問題上優(yōu)于基于非矩陣分解的推薦算法。本文提出的TPMF算法融合了社交網(wǎng)絡(luò)信任信息，并利用自適應(yīng)權(quán)重α權(quán)衡個人特征和社交特征對用戶推薦項目的影響，在解決冷啟動問題上優(yōu)于基于矩陣分解的推薦算法。MAE評估指標(biāo)降低了1.6%～14.7%，RMSE指標(biāo)降低了1.2%～9.7%。

表2 不同算法中用戶冷啟動的實驗對比結(jié)果Tab. 2 Comparison of experimental results of cold start for different algorithms

3.4 實驗參數(shù)的影響

在本文提出的TPMF算法中，參數(shù)對推薦系統(tǒng)的性能有重要的作用和影響。參數(shù)λS控制著社交網(wǎng)絡(luò)中用戶之間的特征傳遞，λS的值越大，表示社交網(wǎng)絡(luò)中用戶之間的特征傳遞更容易，則用戶的購買行為更容易受到影響。參數(shù)αi越大，表示用戶的購買行為受個人潛在特征Ui的影響越大，則(1-αi)越小，用戶的購買行為受社交潛在特征Zi影響越小。

圖4顯示了λS在MAE和RMSE這兩個方面對兩個數(shù)據(jù)集的影響?？梢郧逦乜闯觯琈AE和RMSE隨著參數(shù)λS的變化而發(fā)生著變化，當(dāng)λS從0增加到0.1時，Epinions數(shù)據(jù)集的MAE先減小，達(dá)到一定閾值后又增加，RMSE也是先減小后增加。Ciao數(shù)據(jù)集也呈現(xiàn)出類似的變化，測試結(jié)果趨于穩(wěn)定，證實了提出算法的魯棒性很好。

4 結(jié)語

本文提出了一種新型的混合型推薦算法——TPMF算法，該算法以概率矩陣分解為框架，混合了社交信任關(guān)系、個人潛在特征、社交潛在特征、用戶項目評分矩陣和推薦項目之間的關(guān)聯(lián)關(guān)系，自適應(yīng)權(quán)重α平衡個人潛在特征和社交潛在特征的影響。實驗結(jié)果表明TPMF算法優(yōu)于現(xiàn)有的基于矩陣分解的推薦算法，減少了冷啟動問題對推薦系統(tǒng)的影響，提高了推薦的準(zhǔn)確度。在當(dāng)前大數(shù)據(jù)環(huán)境下，如何確認(rèn)社交信任信息、個人潛在特征、社交潛在特征、用戶項目評分矩陣以及推薦項目之間的關(guān)聯(lián)關(guān)系在推薦系統(tǒng)中所占的權(quán)重值，得到更優(yōu)的推薦結(jié)果，將是下一步的研究方向。

圖4 參數(shù)λS對MAE和RMSE的影響 Fig. 4 Impact of parameterλS on MAE and RMSE

參考文獻(xiàn)(References)

[1] DURAO F, DOLOG P. Improving tag-based recommendation with the collaborative value of wiki pages for knowledge sharing [J]. Journal of Ambient Intelligence Humanized Computing, 2014, 5(1): 21-38.

[2] LINDEN G, SMITH B, YORK J. Amazon.com recommendation: item-to-item collaborative filtering [J]. IEEE Internet Computing, 2003, 7(1): 76-80.

[3] ELMONGUI H G, MANSOUR R, MORSY H, et al. TRUPI: Twitter recommendation based on user’ personal interests [C]// International Conference on Intelligent Text Processing and Computational Linguistics, LNCS 9042. Berlin: Springer, 2015: 272-284.

[4] DAVIDSON J, LIEBALD B, LIU J, et al. The YouTube video recommendation system [C]// Proceeding of the 4th ACM Conference on Recommender Systems. New York: ACM, 2010: 293-296.

[5] SHI Y, LARSON M, HANJALIC A. Collaborative filtering beyond the user-item matrix: a survey of the state of the art and future challenges [J]. ACM Computing Surveys, 2014, 47(1): Article No. 3.

[6] 張付志,劉賽，李忠華，等.融合用戶評論和環(huán)境信息的協(xié)同過濾推薦算法[J].小型微型計算機(jī)系統(tǒng),2014, 35(2):228-232.(ZHANG F Z, LIU S, LI Z H, et al. Collaborative filtering recommendation algorithm incorporating user’s reviews and contextual information [J]. Journal of Chinese Computer Systems,2014, 35(2): 228-232.)

[7] WANG B, HUANG J, OU L, et al. A collaborative filtering algorithm fusing user-based, item-based and social networks [C]// Proceedings of the 2015 IEEE International Conference on Big Data. Washington, DC: IEEE Computer Society, 2015: 2337-2343.

[8] JABAKJI A, DAG H. Improving item-based recommendation accuracy with user’s preferences on Apache Mahout [C]// Proceedings of the 2016 IEEE Internetional Conference on Big Data. Piscataway, NJ: IEEE, 2017:1742-1749.

[9] LI S. Collaborative filtering recommendation algorithm based on cloud model clustering of multi-indicators item evaluation [C]// Proceedings of the 2011 International Conference on Business Computing and Global Informatization. Washington, DC: IEEE Computer Society, 2011: 645-648.

[10] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems [J]. Computer, 2009, 42(8): 30-37.

[11] 涂丹丹，舒承椿，余海燕.基于聯(lián)合概率矩陣分解的上下文廣告推薦算法[J]. 軟件學(xué)報，2013,24(3)：454-464.(TU D D, SHU C C, YU H Y. Using unified probabilistic matrix factorization for contextual advertisement recommendation [J]. Journal of Software, 2013, 24(3): 454-464.)

[12] 郭磊,馬軍,陳竹敏,等.一種結(jié)合推薦對象間關(guān)聯(lián)關(guān)系的社會化推薦算法[J]. 計算機(jī)學(xué)報, 2014, 37(1): 219-228.(GUO L, MA J, CHEN Z M, et al. Incorporating item relations for social recommendation [J]. Chinese Journal of Computers, 2014, 37(1): 219-228.)

[13] YANG J, MCAULEY J, LESKOVEC J. Community detection in networks with node attributes [C]// Proceedings of the 2013 IEEE 13th International Conference on Data Mining. Washington, DC: IEEE Computer Society, 2013: 1151-1156.

[14] TANG J, GAO H, HU X, et al. Exploiting homophily effect for trust prediction [C]// Proceedings of the 6th ACM International Conference on Web Search and Data Mining. New York: ACM, 2013: 53-62.

[15] 孟祥武,劉樹棟,張玉潔,等.社會化推薦系統(tǒng)研究[J].軟件學(xué)報, 2015,26(6):1356-1372.(MENG X W, LIU S D, ZHANG Y J, et al. Research on social recommender systems [J]. Journal of Software, 2015, 26(6): 1356-1372.)

[16] YAHYAOUI H, AL-MUTAIRI A. A feature-based trust sequence classification algorithm [J]. Information Science, 2016, 328(C): 455-484.

[17] FANG H, BAO Y, ZHANG J. Leveraging decomposed trust in probabilistic matrix factorization for effective recommendation [C]// Proceedings of the 28th AAAI Conference on Artificial Intelligence. Menlo Park, CA: AAAI Press, 2014: 30-36.

[18] MA H, YANG H, LYU M R, et al. Social recommendation using probailistic matrix factorization [C]// Proceedings of the 17th ACM Conference on Information and Knowledge Management. New York: ACM, 2008: 931-940.

YANGFengrui, born in 1963, Ph. D., professor. His research interests include mobile communication, big data.

ZHENGYunjun, born in 1992, M. S. candidate. His research interests include data mining, recommendation system.

ZHANGChang, born in 1993, M. S. candidate. His research interests include data mining, recommendation system.