李幸幸，劉華鋒，景麗萍

北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044

1 引言

隨著信息時(shí)代的到來，人們獲取的信息越來越豐富，而如何有效獲取有用的信息成為一個(gè)難題。以搜索為代表的信息檢索雖然可以幫助用戶獲取有用的信息，但是關(guān)鍵字檢索無法滿足用戶的個(gè)性化需求。而推薦系統(tǒng)[1-13]可以通過用戶的興趣愛好以及需求信息、歷史行為等信息為用戶提供個(gè)性化服務(wù)。篩選滿足用戶特定需求的信息，來解決信息過載的難題[14-15]。

推薦系統(tǒng)廣泛存在于人們的生活中，亞馬遜的商品推薦，網(wǎng)易的音樂推薦，Netflix的電影推薦等，這些平臺(tái)的推薦基礎(chǔ)是根據(jù)用戶的歷史信息獲取用戶的喜好[15]，而矩陣分解[16]的方法由于思路簡單易于理解，穩(wěn)定性高，可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)成為當(dāng)前的研究熱點(diǎn)。矩陣分解的方法主要學(xué)習(xí)用戶物品的潛在因子矩陣，通過用戶對不同元素的偏好程度來近似擬合原始的評分矩陣[16-17]。傳統(tǒng)的矩陣分解方法NMF（non-negative matrix factorization）[2]、PMF（probabilistic matrix factorization）[1]、SVD++（singular value decomposition）[18]等通過矩陣分解獲取用戶物品的潛在因子矩陣來預(yù)測評分。雖然這種方法可以基于所有用戶對物品的評分，獲取具有結(jié)構(gòu)信息的預(yù)測評分，但是卻丟失了局部信息，例如相似用戶對某些物品評分之間的聯(lián)系。

為了挖掘用戶物品之間的強(qiáng)相關(guān)性，基于集成的局部矩陣補(bǔ)全方法成為研究熱點(diǎn)[19-20]。LLORMA（local low-rank matrix approximation）[21]是一種利用聯(lián)合聚類算法將原始評分矩陣劃分成一系列具有局部結(jié)構(gòu)的子矩陣，通過多次加權(quán)多次劃分結(jié)果對原始評分矩陣進(jìn)行預(yù)測。ACCAMS（additive co-clustering to approximate matrices succinctly）[22]通過聯(lián)合聚類將相似用戶以及相似物品聚類到一起，然后基于相似性原則，以每個(gè)子矩陣中評分的均值作為該子矩陣中空缺元素的預(yù)測。雖然這些方法取得了顯著的推薦精度提升，但只關(guān)心評分矩陣的局部強(qiáng)相關(guān)性信息，忽略了整體的結(jié)構(gòu)信息。此外，由于不同數(shù)據(jù)往往具備不同的結(jié)構(gòu)信息，手動(dòng)調(diào)試聚類個(gè)數(shù)需耗費(fèi)大量的時(shí)間。因此本文提出了一種基于boosting框架的混合矩陣秩的矩陣分解方法（mixture rank matrix factorization，MRMF）[23-24]。

隨著評分矩陣結(jié)構(gòu)越來越復(fù)雜，基于單一角度分析的模型推薦精度較低。比如傳統(tǒng)矩陣分解方法通過用戶物品的特征矩陣從整體結(jié)構(gòu)角度擬合矩陣評分，忽視了評分矩陣的局部強(qiáng)相關(guān)性以及用戶的特殊偏好等局部信息，而基于局部的集成方法忽略了整體的結(jié)構(gòu)信息。為了更好地對用戶進(jìn)行個(gè)性化推薦，本文提出混合秩矩陣分解的模型MRMF。MRMF既考慮整體結(jié)構(gòu)信息也考慮局部強(qiáng)相關(guān)性信息，通過減少真實(shí)評分與預(yù)測評分的差值來提高預(yù)測精度。MRMF可以從殘差矩陣中學(xué)習(xí)局部信息。為了更好地抓取局部信息，通過設(shè)定不同的秩來表示不同的特征偏好，進(jìn)而表示不同用戶的喜好。MRMF對每一部分的殘差矩陣進(jìn)行矩陣近似求解，同時(shí)考慮混合模型的魯棒性，讓每個(gè)模型只學(xué)習(xí)有用的信息，防止模型過擬合。

基于評分服從高斯分布的先驗(yàn)，考慮到整體樣本權(quán)重向量應(yīng)具備稀疏性，為此，通過引入服從拉普拉斯分布的用戶/物品特征權(quán)重，提出了自適應(yīng)權(quán)重矩陣分解模型（adaptive weight matrix factorization，AWMF）。當(dāng)預(yù)測評分值與真實(shí)評分值誤差較小時(shí)，存在較大的權(quán)重值；否則，權(quán)重值較小。此外，考慮到隨著殘差迭代學(xué)習(xí)的進(jìn)行，殘差矩陣的稀疏度不斷增大。采用EM（expectation-maximization）[25]算法對矩陣集成的權(quán)重進(jìn)行自適應(yīng)求解，從而減少人工調(diào)參的復(fù)雜性。通過在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法可以獲取一個(gè)較好的推薦精度。

2 概率矩陣分解

矩陣分解（matrix factorization，MF）推薦模型最早由Simon Funk在博客上公布。如圖1所示，其基本思想是從評分矩陣X∈?n×m中學(xué)習(xí)用戶在低維隱空間上的表示U∈?K×n和物品在低維隱空間上的表示V∈ ?K×m。

Fig.1 Matrix factorization圖1 矩陣分解

在矩陣分解中，將評分矩陣近似表示為：X≈UTV。其中U=[U1,U2,…,Un]∈?K×n代表用戶的特征矩陣，Ui表示用戶i的特征向量（偏好向量），V=[V1,V2,…,Vm]∈?K×m代表物品的潛在因子矩陣，Vj表示物品j的特征向量。

Salakhutdinov和Mnih從概率的角度對于上述矩陣分解模型進(jìn)行解釋，提出概率矩陣分解模型（probabilistic matrix factorization，PMF）[1]。如圖2所示。

概率矩陣分解模型假設(shè)評分?jǐn)?shù)據(jù)Xij滿足高斯分布Xij～Ν(UiTVj,σ2)，同時(shí)用戶、物品的特征矩陣也滿足均值為0的高斯分布，Ui～Ν(0,σU2，)Vj～Ν(0,σV2，)其中Ν(μ,σ2)代表均值為μ，方差為σ2的高斯分布。

Fig.2 Graphical model for probabilistic matrix factorization圖2 基于概率矩陣分解的圖模型

根據(jù)貝葉斯規(guī)則，特征矩陣的后驗(yàn)概率可以表示為：

最大化特征矩陣的后驗(yàn)概率等價(jià)于最小化上式的負(fù)對數(shù)。因此，當(dāng)超參數(shù)固定時(shí)，可得如下目標(biāo)函數(shù)：

其中Ω={Xij|Xij≠0}為觀測數(shù)據(jù)集合，λ代表正則項(xiàng)的系數(shù)。

3 基于Boosting學(xué)習(xí)的混合秩矩陣分解模型構(gòu)建

PMF等單模型僅關(guān)注評分矩陣的整體結(jié)構(gòu)信息，而忽視局部用戶對某些產(chǎn)品的偏好等信息。為了挖掘評分矩陣的局部信息，對評分矩陣的殘差進(jìn)行學(xué)習(xí)，從殘差中學(xué)習(xí)整體結(jié)構(gòu)中忽略的局部信息。然而隨著迭代矩陣近似求解的學(xué)習(xí)，殘差矩陣越來越稀疏，若選用固定的矩陣秩，易導(dǎo)致模型過擬合。因此，在混合秩矩陣近似模型MRMF中，隨著迭代計(jì)算學(xué)習(xí)，殘差矩陣所對應(yīng)的矩陣秩也需要不斷變大。最后，基于隨機(jī)梯度提升的框架，將不同秩的殘差矩陣結(jié)合起來進(jìn)行評分預(yù)測。同時(shí)每一步中的殘差矩陣求解使用自適應(yīng)權(quán)重模型AWMF，即如果真實(shí)評分與預(yù)測評分之間差距較小，則賦予較大的權(quán)重；否則，賦予較小的權(quán)重。

3.1 自適應(yīng)權(quán)重概率矩陣分解模型

本節(jié)在傳統(tǒng)概率矩陣分解模型基礎(chǔ)上提出自適應(yīng)權(quán)重概率矩陣分解模型（AWMF）。通過自適應(yīng)學(xué)習(xí)每一個(gè)用戶和物品的權(quán)重，實(shí)現(xiàn)不同用戶和物品的區(qū)別對待。其概率圖模型如圖3所示。

Fig.3 Graphical model for adaptive weight matrix factorization圖3 自適應(yīng)權(quán)重概率矩陣分解圖模型

依據(jù)傳統(tǒng)概率矩陣分解模型，考慮到整體樣本權(quán)重向量應(yīng)具備稀疏性，為此，通過引入服從拉普拉斯分布的用戶/物品權(quán)重向量α∈?n×1,β∈?m×1，構(gòu)建自適應(yīng)權(quán)重概率矩陣分解模型。具體來說，評分?jǐn)?shù)據(jù)服從的概率分布如下所示：

式中，α、β分別表示用戶與物品的權(quán)重向量。αi、βj表示用戶i與物品j的特征權(quán)重。依據(jù)模型構(gòu)建規(guī)則，當(dāng)預(yù)測評分值與真實(shí)評分值誤差較小時(shí)，存在較大的權(quán)重值αi?βj；否則，權(quán)重值較小。

通過自適應(yīng)學(xué)習(xí)用戶與物品的特征權(quán)重，實(shí)現(xiàn)對觀測數(shù)據(jù)信息的充分挖掘，得到更加精確的用戶物品特征向量U、V，避免模型過擬合。因此根據(jù)貝葉斯規(guī)則，特征矩陣U、V以及權(quán)重向量α、β的后驗(yàn)分布可表示成：

最大化特征矩陣U、V以及權(quán)重向量α、β的后驗(yàn)分布等價(jià)于最小化上式的負(fù)對數(shù)。由于得到的目標(biāo)函數(shù)難以直接求解，故使用Jensen不等式獲取下界，最終得到自適應(yīng)權(quán)重模型的目標(biāo)函數(shù)如式（5）所示。因此可通過下式獲取用戶物品的隱因子矩陣對(U,V：)

通過分析上式，若令先驗(yàn)分布中的超參數(shù)固定，由于超參數(shù)個(gè)數(shù)較多，極易導(dǎo)致模型過擬合。此外，由于不同用戶偏好與物品種類的多樣性，導(dǎo)致不同用戶和物品特征矩陣服從的高斯分布的方差也大不相同。因此超參數(shù)具體更新規(guī)則如下：

3.2 基于梯度提升的混合秩矩陣分解模型

基于矩陣分解的協(xié)同過濾方法，通常人為選擇一個(gè)較小的值r＜＜min{m,n}作為原始評分矩陣的秩。然而，由于不同數(shù)據(jù)集往往在數(shù)量級和稀疏度等方面存在較大的差異，所有數(shù)據(jù)服從統(tǒng)一秩的假設(shè)往往會(huì)造成模型出現(xiàn)過擬合或欠擬合的現(xiàn)象，從而無法準(zhǔn)確學(xué)習(xí)用戶的偏好。

為此，結(jié)合boosting學(xué)習(xí)策略，通過結(jié)合不同秩矩陣學(xué)習(xí)方法，提出混合秩矩陣分解模型（MRMF），以此挖掘評分矩陣的整體結(jié)構(gòu)信息與局部相關(guān)信息。對于評分矩陣Xn×m，MRMF模型通過融合K個(gè)由AWMF學(xué)習(xí)獲得的近似矩陣Rk=(Uk)TVk來預(yù)測缺失的評分值，預(yù)測的評分可表示為：

其中，K代表模型的個(gè)數(shù)，k代表第k次迭代。Rk表示第k次迭代中AWMF模型的預(yù)測評分矩陣。ωk代表第k次迭代學(xué)習(xí)得到的評分矩陣權(quán)重。其中Rk=(Uk)TVk，(Uk,Vk)為第k次迭代獲取用戶物品的隱因子矩陣對。因此可以得到目標(biāo)函數(shù)的形式如式（8）所示，k=1時(shí)，即為普通的矩陣分解模型。

MRMF模型采用梯度提升（gradient boosting）的思想，依據(jù)前向分步算法，利用損失函數(shù)的負(fù)梯度作為當(dāng)前模型的輸入。在MRMF中，負(fù)梯度表示為評分的真實(shí)值與預(yù)測值之間的差值。

在第k-1步迭代中，評分是由前k-1個(gè)預(yù)測評分矩陣共同表示，其中表示第k-1次迭代所得預(yù)測殘差矩陣。計(jì)算第k-1步真實(shí)值與預(yù)測值之間差值，即第k步的殘差矩陣。具體殘差矩陣計(jì)算方式如圖4所示。

Fig.4 Residual matrix determined by rating matrix and predictive rating matrix in previous stage圖4 通過前一步驟的真實(shí)值與預(yù)測值獲取殘差矩陣

得益于boosting學(xué)習(xí)策略，MRMF能夠通過不斷擬合殘差矩陣來實(shí)現(xiàn)對原始評分矩陣Xn×m的近似。在第k次迭代過程中，將前k-1個(gè)殘差矩陣擬合的預(yù)測評分值與真實(shí)值的殘差矩陣作為當(dāng)前迭代的評分矩陣，通過AWMF模型學(xué)習(xí)用戶和物品的特征表示Uk、Vk。第k步殘差矩陣計(jì)算公式如下：

其中，ωk表示第k步學(xué)習(xí)到的預(yù)測評分矩陣的權(quán)重。殘差矩陣Xk作為第k步模型的輸入。在第k步中，模型AWMF的輸入如下表示：

其中，Rk=(Uk)TVk。當(dāng)進(jìn)行第k次學(xué)習(xí)時(shí)，依據(jù)自適應(yīng)權(quán)重概率矩陣分解模型AWMF，學(xué)習(xí)得到當(dāng)前殘差矩陣的用戶/物品特征表示Uk、Vk。

基于梯度提升學(xué)習(xí)策略，漸進(jìn)地學(xué)習(xí)用戶/物品特征表示。具體計(jì)算步驟如算法1所示，具體來說，在每一次迭代計(jì)算過程中，依據(jù)式（9）計(jì)算當(dāng)前迭代殘差矩陣，進(jìn)而利用自適應(yīng)權(quán)重矩陣分解模型AWMF學(xué)習(xí)殘差矩陣的用戶物品隱特征表示Uk、Vk。而后通過EM算法計(jì)算當(dāng)前迭代計(jì)算中預(yù)測評分矩陣的權(quán)重，從而實(shí)現(xiàn)對原始評分矩陣的近似求解。

算法1MRMF算法框架

輸入：觀測評分矩陣X∈?n×m，擬合矩陣的數(shù)目K。

輸出：預(yù)測評分矩陣R?。

對k=1,2,…,K

1.依據(jù)式（9）計(jì)算當(dāng)前迭代殘差矩陣Xk

2.根據(jù)AWMF模型學(xué)習(xí)殘差矩陣Xk的用戶物品特征表示Uk、Vk，進(jìn)而得到第k次迭代預(yù)測Rk=(Uk)TVk

3.通過EM算法更新矩陣權(quán)重ω1,ω2,…,ωk

4.更新預(yù)測評分表示為：

4 實(shí)驗(yàn)與結(jié)果

本文使用四個(gè)典型推薦數(shù)據(jù)集Ciao、Epinions、Douban、Movielens（10M）來驗(yàn)證提出的混合秩矩陣分解模型MRMF。

4.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集為研究推薦問題常用的公開數(shù)據(jù)集Ciao、Epinions、Douban、Movielens（10M）。上述數(shù)據(jù)集中評分的范圍為1～5分，對每一個(gè)數(shù)據(jù)集采用五折交叉驗(yàn)證，將數(shù)據(jù)集隨機(jī)劃分為5份，輪流將4份作為訓(xùn)練集進(jìn)行建模，1份數(shù)據(jù)作為測試集進(jìn)行預(yù)測，5次實(shí)驗(yàn)結(jié)果的均值作為最終的實(shí)驗(yàn)結(jié)果。這些數(shù)據(jù)集的詳細(xì)信息如表1所示。

Table 1 Statistics of experimental datasets表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)

4.2 評測標(biāo)準(zhǔn)

評價(jià)推薦預(yù)測精度高低的評測指標(biāo)主要是均方根誤差（root mean squared error，RMSE）和平均絕對誤差（mean absolute error，MAE），兩個(gè)指標(biāo)均通過評估預(yù)測值與真實(shí)值的差異大小作為衡量標(biāo)準(zhǔn)。RMSE的定義為：

式中，Τ表示測試集中評分的集合，Τ的模|Τ|表示測試集中評分的個(gè)數(shù)，Xij表示用戶i對物品j的真實(shí)評分，而表示用戶i對物品j的評分預(yù)測值，MAE的表示如下：

較小的RMSE或者M(jìn)AE代表精度更高，并且由于推薦評分?jǐn)?shù)據(jù)龐大，一個(gè)較小的精度提升在推薦系統(tǒng)的應(yīng)用上均可以擁有顯著的提高。

4.3 對比算法

本節(jié)介紹三種本實(shí)驗(yàn)對比算法：基于整體結(jié)構(gòu)的PMF、RSVD（regularized singular value decomposition）以及基于局部信息的集成模型ACCAMS。

（1）PMF[1]：一種基于概率的矩陣分解方法，假設(shè)評分服從高斯分布。同時(shí)模型中的超參數(shù)均采用固定值。

（2）RSVD[18]：是一種應(yīng)用廣泛的矩陣分解方法，通過最小化預(yù)測與真實(shí)值的誤差來獲取用戶物品的特征向量。

（3）ACCAMS[22]：通過聯(lián)合聚類將相似用戶以及相似物品聚類到一起，然后基于相似性原則，以每個(gè)子矩陣中評分的均值作為該子矩陣中空缺元素的預(yù)測。

4.4 實(shí)驗(yàn)參數(shù)設(shè)置

比較本文提出的MRMF模型與PMF、RSVD、ACCAMS模型在4.1節(jié)介紹的數(shù)據(jù)集上的測試結(jié)果，實(shí)驗(yàn)結(jié)果如表2所示。在MRMF算法中，在訓(xùn)練過程中自適應(yīng)學(xué)習(xí)模型中的超參數(shù)（如3.2節(jié)所述），通過自動(dòng)調(diào)整避免模型過擬合。而迭代更新參數(shù)和超參數(shù)的過程中，梯度下降學(xué)習(xí)率會(huì)影響最終的推薦精度。學(xué)習(xí)率代表梯度下降的步長，太大的值容易在最低點(diǎn)“震蕩”，太小的步長則導(dǎo)致下降速度太慢，實(shí)驗(yàn)效率較低。經(jīng)過對已有的梯度下降算法進(jìn)行實(shí)驗(yàn)對比，adam方法具有下降速度快且收斂精度高的特點(diǎn)。因此在本實(shí)驗(yàn)中，選擇adam作為梯度下降的方法。設(shè)置其中的步長為0.001，指數(shù)衰減率分別為0.900、0.999。在本文的模型中，高斯分布的個(gè)數(shù)設(shè)置為5。

對比算法參數(shù)設(shè)置如下，在PMF、RSVD中正則項(xiàng)的系數(shù)λu=0.01,λv=0.01 ，PMF中使用加入動(dòng)量的梯度下降，動(dòng)量為0.8，矩陣的秩為10。在RSVD中正則項(xiàng)的系數(shù)為λu=0.06,λv=0.06 ，其余參數(shù) 設(shè)置均為論文中的參數(shù)設(shè)定。對于ACCAMS算法，用戶物品聚類個(gè)數(shù)相同。在數(shù)據(jù)集Ciao、Epinions上，模板數(shù)與聚類數(shù)分別為s=1,k=4 ；在數(shù)據(jù)集Douban、Movielens（10M）上，分別為s=1,k=30，參數(shù)設(shè)置為實(shí)驗(yàn)驗(yàn)證適合對應(yīng)數(shù)據(jù)分布最優(yōu)參數(shù)。

4.5 實(shí)驗(yàn)結(jié)果分析

為了評估各推薦算法的性能，從整體、局部的角度對實(shí)驗(yàn)結(jié)果進(jìn)行分析，整體的角度為所有用戶的整體架構(gòu)，適合大部分評分的普適性能。局部的角度表示局部相同愛好的用戶，相似性質(zhì)物品的高相似性，以及用戶對某些物品的偏好等。以下分析主要從上述兩方面進(jìn)行分析。

用戶評分以及預(yù)測評分之間的誤差統(tǒng)計(jì)可以有力反映算法的預(yù)測性能。RMSE或者M(jìn)AE的微小提升反映在龐大的推薦數(shù)據(jù)集上，可以在推薦應(yīng)用上擁有顯著的效益。表2表示MRMF模型與傳統(tǒng)的PMF、RSVD，以及經(jīng)典local算法ACCAMS在上述提到數(shù)據(jù)集上的性能對比。從表中可以看到，本文提出的混合秩矩陣分解算法MRMF相比較于傳統(tǒng)的基于高斯的矩陣分解算法PMF有很大的性能提升。

Table 2 Performance comparisons of different collaborative filtering methods表2 不同協(xié)同過濾方法的性能對比

實(shí)驗(yàn)數(shù)據(jù)集Ciao和Epinions具有較高的稀疏度（其稀疏度分別為0.036%和0.010%）。如何提升高度稀疏數(shù)據(jù)集的推薦精度，是推薦系統(tǒng)面臨的一大挑戰(zhàn)。從表2中可以發(fā)現(xiàn)稀疏數(shù)據(jù)的推薦精度明顯低于Douban以及Movielens（10M）相對稠密的數(shù)據(jù)集。分析表中數(shù)據(jù)以及圖5、圖6可以發(fā)現(xiàn)，RSVD在稀疏數(shù)據(jù)上的性能較差，而本文提出的算法MRMF由于融合多個(gè)不同秩矩陣，以及自適應(yīng)樣本點(diǎn)權(quán)重的加入，使得模型可以充分挖掘隱藏的局部特征，在稀疏數(shù)據(jù)上仍能保持較好的性能。

ACCAMS作為一種多個(gè)評分矩陣集成的模型在推薦精度取得了較高的提升，但ACCAMS只關(guān)注局部信息，忽視了整體的結(jié)構(gòu)信息，用聚類之后用戶對物品的評分直接取平均表示預(yù)測物品的評分，過于強(qiáng)調(diào)局部相關(guān)性，忽視整體數(shù)據(jù)對局部的影響。而本文提出的MRMF模型，結(jié)合評分矩陣的整體結(jié)構(gòu)化信息以及評分矩陣的局部強(qiáng)相關(guān)性，解決了ACCAMS忽視整體結(jié)構(gòu)的缺點(diǎn)，同時(shí)考慮隨著殘差矩陣越來越稀疏，對應(yīng)的殘差矩陣的秩也越來越大。

4.6 實(shí)驗(yàn)結(jié)果可視化

本節(jié)對實(shí)驗(yàn)結(jié)果進(jìn)行可視化分析，分析提出模型MRMF相對PMF、RSVD、ACCAMS等對比算法的提升程度及原因，以及RMSE（MAE）隨著融合矩陣個(gè)數(shù)增加的變化趨勢。

圖5、圖6展示了提出的算法MRMF在不同數(shù)據(jù)集上對比整體的模型PMF、RSVD以及局部集成模型ACCAMS的提升比重。可以看到本文提出的算法MRMF較PMF具有較大的提升，同時(shí)也優(yōu)于考慮了局部結(jié)構(gòu)信息的ACCAMS。如圖5、圖6所示，MRMF相較于RSVD在稀疏數(shù)據(jù)集（Ciao稀疏度0.036%，Epinions稀疏度0.010%）具有明顯的性能提升，由此說明MRMF能夠有效解決因數(shù)據(jù)稀疏帶來的推薦精度低的問題。

Fig.5 Relative improvements of MRMF in term of MAE圖5 MRMF在MAE上的提升比重

Fig.6 Relative improvements of MRMF in term of RMSE圖6 MRMF在RMSE上的提升比重

為了驗(yàn)證boosting框架的有效性，展示了預(yù)測誤差隨擬合矩陣個(gè)數(shù)變化的變化趨勢，如圖7、圖8所示。分析圖像當(dāng)矩陣個(gè)數(shù)從1增加到5，整體呈現(xiàn)下降趨勢，但在k=3時(shí)出現(xiàn)了微小的上浮。k=1時(shí)，一個(gè)矩陣擬合時(shí)學(xué)習(xí)具有整體結(jié)構(gòu)的整體普適信息。k=2時(shí)，擬合去除整體結(jié)構(gòu)化評分剩下的局部個(gè)性化特征，此時(shí)過于強(qiáng)調(diào)局部個(gè)性化信息易導(dǎo)致過擬合。MRMF模型融合多個(gè)子模型矩陣的加權(quán)表示，隨著融合矩陣個(gè)數(shù)的增加，模型對異常點(diǎn)權(quán)重調(diào)整可以看成對訓(xùn)練數(shù)據(jù)的一種擾動(dòng)。因此MRMF模型可以降低方差，不斷增強(qiáng)模型的魯棒性，降低RMSE以及MAE，但隨著融合矩陣個(gè)數(shù)的增加，相應(yīng)的迭代次數(shù)也增加，雖然推薦精度提升，但實(shí)驗(yàn)成本耗時(shí)也增大，因此折中處理，選擇矩陣個(gè)數(shù)為5進(jìn)行實(shí)驗(yàn)。

Fig.8 MAE under different number of matrices圖8 不同矩陣個(gè)數(shù)下MAE的變化

5 總結(jié)

本文提出了一種混合秩矩陣近似模型。本文基于boosting框架，融合多個(gè)不同秩的殘差矩陣，同時(shí)每一個(gè)殘差矩陣引入拉普拉斯先驗(yàn)的權(quán)重先驗(yàn)，可以自適應(yīng)地學(xué)習(xí)樣本權(quán)重。本文提出的MRMF方法在準(zhǔn)確度方面優(yōu)于已有的傳統(tǒng)矩陣分解方法。通過實(shí)驗(yàn)結(jié)果的對比分析，本文方法可行且有效。