蔣宗禮，陸 晨

（北京工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，北京100124）

0 引 言

推薦系統(tǒng)的研究已經(jīng)有了20多年的歷史[1]。很多系統(tǒng)都提供了推薦功能，努力向用戶推薦用戶可能感興趣的某類對象。例如，Google給用戶推薦新聞；Netflix、Youtube等視頻網(wǎng)站為用戶推薦他們可能喜歡的視頻[2]；Facebook和Twitter為用戶推薦他們的潛在好友；豆瓣向用戶推薦他們感興趣的圖書和資料。這些推薦不僅給用戶提供了方便，而且也給運(yùn)營商帶來收益。特別在電子商務(wù)領(lǐng)域，推薦系統(tǒng)具有良好的發(fā)展和應(yīng)用前景[3]。例如，Amazon公司將推薦引入到電子商務(wù)后，其銷售額提高了30%之多。另外，研究人員還研究過推薦系統(tǒng)對YouTube網(wǎng)站所產(chǎn)生的影響[4]。

目前，推薦領(lǐng)域已經(jīng)有了一些較成熟的方法:

Content Based （基于內(nèi)容的推薦）算法[5，6]認(rèn)為用戶會喜歡和他之前喜歡的物品類似的物品。算法會根據(jù)物品的屬性，找到與用戶喜歡的物品相似的一系列物品來推薦給用戶。推薦的根據(jù)是物品屬性的相似性。

Collaborative Filtering （協(xié)同過濾，以下稱CF）[7]不依賴于物品本身的屬性，而是通過分析大量的行為數(shù)據(jù)，從中找出特定的行為模式，根據(jù)用戶的興趣進(jìn)行預(yù)測，并為用戶做出推薦。CF分為基于用戶的CF（以下稱User Based CF）和基于物品的CF （以下稱Item Based CF）[8]。

社會化過濾算法認(rèn)為用戶的興趣和他的好友興趣存在共同點(diǎn)，從而通過對好友興趣的分析來預(yù)測用戶的興趣。

時間對于推薦系統(tǒng)是非常重要的。隨著時間的推移，用戶的興趣很容易發(fā)生變化。例如，一個用戶小時候喜歡看動畫片，長大后會更傾向于看動作片或體育片；物品受歡迎的程度也會隨時間變化，一個剛剛上映的電影往往要比上映很久的電影更受歡迎；某些社會焦點(diǎn)事件也會對特定物品的受關(guān)注程度產(chǎn)生影響。另外，任何在線系統(tǒng)也都是動態(tài)變化的。每天都有新用戶加入，老用戶離開，新內(nèi)容被加入，老內(nèi)容被移除。不僅如此，用戶的年齡、興趣、社會關(guān)系、所處的環(huán)境等也是時刻變化的。甚至是物品的流行程度、用戶對物品的評價也不是一成不變的。但是絕大多數(shù)推薦算法，都只考慮了靜態(tài)的屬性和關(guān)系，沒有將時間這一重要信息考慮進(jìn)去，而時間與用戶的興趣有很大的相關(guān)性。

為了更好的刻畫時間對推薦準(zhǔn)確度的影響，更準(zhǔn)確地反映用戶對物品行為的時間效應(yīng)，本文采用級聯(lián)二部圖來描述用戶和物品之間的關(guān)系。

1 基于二部圖的協(xié)同過濾

推薦的基本目標(biāo)是向用戶推薦他可能感興趣的對象，這種 “興趣”就是用戶與被推薦對象 （物品、新聞……）之間的關(guān)聯(lián)關(guān)系。圖是表達(dá)這種關(guān)聯(lián)關(guān)系的基本數(shù)據(jù)結(jié)構(gòu)，可以很好的刻畫用戶和物品之間的關(guān)系。因此圖模型常常被用來解決推薦領(lǐng)域內(nèi)的很多問題[9，10]。

在圖中，用戶、對象均作為頂點(diǎn)。如果用戶A對物品B感興趣，則從頂點(diǎn)A到頂點(diǎn)B有一條邊，表現(xiàn)用戶對物品的興趣。在這里，我們可以忽略邊的方向，如此便得到了一個二部圖。

定義1 二部圖G＝（V1∪V2，E），其中V1∪V2是頂點(diǎn)的有窮集合，且V1∩V2＝Φ，E是邊的有窮集合。

例如，圖1就是表示3個用戶和4種物品的二部圖。這里V1＝｛用戶A，用戶B，用戶C｝，V2＝｛物品A，物品B，物品C，物品D｝。該圖表現(xiàn)出的是3個用戶對4種物品的不同的興趣。

圖1 面向User Based CF的二部圖

對推薦系統(tǒng)來說，可以以用戶為中心考慮問題，如圖1所示。這種User Based CF的方法通過分析用戶對物品的歷史行為信息，找到與該用戶興趣相似的用戶集合。然后，基于這些相似用戶的歷史偏好信息，為當(dāng)前用戶進(jìn)行推薦。

這種推薦算法的主要數(shù)據(jù)結(jié)構(gòu)是用戶－物品關(guān)聯(lián)矩陣。該矩陣為0、1矩陣。矩陣的每一行代表一個用戶，每一列代表一個物品。如果用戶對物品有過歷史行為，則在矩陣的相應(yīng)位置上記1，反之記0。

算法計(jì)算矩陣中每兩行之間的相似度，即計(jì)算用戶之間的相似度。在計(jì)算用戶之間相似度的時候，將矩陣中的每一行看作一個用戶對所有物品的偏好向量，使用式 （1），用Cosine相似度計(jì)算用戶之間的相似度

對于每一個用戶，利用與該用戶相似度最高的前N個用戶的歷史數(shù)據(jù)對其進(jìn)行物品的推薦。

觀察圖1得知，用戶A對物品A、C感興趣，用戶B對物品B有過歷史行為，用戶C則喜歡物品A、C、D；通過圖1所示的二部圖，我們發(fā)現(xiàn)用戶A和C的興趣比較相似，就可以將用戶C喜歡而用戶A沒有喜歡的物品D推薦給用戶A。

也可以以物品為中心考慮問題，如圖2所示。

圖2 面向Item Based CF的二部圖

這種Item Based CF的方法是分析用戶的歷史行為，找到與該用戶所感興趣的物品類似的物品集合，隨后對用戶進(jìn)行個性化推薦。這種算法的主要數(shù)據(jù)結(jié)構(gòu)依然是用戶－物品關(guān)聯(lián)矩陣。

算法計(jì)算矩陣中每兩個列向量之間的相似度，即計(jì)算物品之間的相似度。在計(jì)算物品之間相似度的時候，我們將矩陣中的每一列看作所有用戶對特定物品的偏好向量，使用式 （1）的Cosine相似度方法計(jì)算物品之間的相似度。

對于每一個用戶，找到與該用戶歷史數(shù)據(jù)中的物品相似度高的物品進(jìn)行推薦。

在圖2中，用戶A對物品A、C感興趣，用戶B對物品A、B、C均有過歷史行為，用戶C則喜歡物品A。從圖2我們又可以發(fā)現(xiàn)物品A與物品C都被同樣的用戶群體所喜歡，進(jìn)而推斷出物品A和C的相似度比較高。基于這個數(shù)據(jù)推斷，喜歡物品A的用戶C很可能也物品C感興趣，于是對用戶C做出推薦。

2 基于級聯(lián)二部圖的協(xié)同過濾

定義2 級聯(lián)二部圖G＝｛G1，G2，…，Gn｝，其中Gi＝（Vi，1∪Vi，2，Ei），且對于1≤i＜n，Vi，2＝Vi＋1，1，n稱為圖的級數(shù)。在Gi＝（Vi，1∪Vi，2，Ei）中，Ei表示Gi中頂點(diǎn)集合Vi，1到Vi，2的權(quán)重的集合。權(quán)重的大小刻畫了Vi，1與Vi，2的緊密程度。

一個級聯(lián)二部圖是n個二部圖的并。其第i個二部圖的第二部分頂點(diǎn)是第i＋1個二部圖的第一部分頂點(diǎn)。圖3是一個二級級聯(lián)二部圖。

圖3 二級級聯(lián)二部圖

二級級聯(lián)二部圖就是將兩個二部圖相連。通過圖3可以看出，原本用戶和物品之間的單一關(guān)系，經(jīng)過二部圖的組合，用戶之間便通過物品中間節(jié)點(diǎn)關(guān)聯(lián)起來:注意到分列在級聯(lián)二部圖左右的兩組不同用戶頂點(diǎn)，都有可能指向同樣的物品，由此可以得到用戶與用戶之間的關(guān)系。通過用戶之間的關(guān)系，就可以得到用戶之間的相似度，進(jìn)而對用戶進(jìn)行推薦。在圖3中，用戶A和用戶D、F都對物品A有過行為，因而用戶A與用戶D、F很可能是有一定相似度的，而與用戶E的相似程度比較低。

可以通過以下的步驟來計(jì)算左右兩側(cè)頂點(diǎn)之間的相似度:

首先，為了保證每個用戶對物品行為的合理性，要對Gi＝（Vi，1∪Vi，2，Ei）中邊的集合Ei進(jìn)行權(quán)重歸一化處理，如圖4所示。

圖4 歸一化權(quán)重

圖4 中左右兩側(cè)邊的權(quán)重分別是使用式 （2）所示的兩種歸一化方法得到的

其中Ei，v表示Gi中以頂點(diǎn)v為起點(diǎn)的邊的集合。還可以根據(jù)具體需要使用其他的歸一化方法。

其次，推薦領(lǐng)域中有一個經(jīng)典的 “哈利波特問題”，即有一些物品是非常大眾化的，沒有區(qū)分度。比如哈利波特的小說有成千上萬人看過，奧運(yùn)會也幾乎人人都看，但這些都不能明確代表一個人的喜好，如圖5所示。

圖5 計(jì)算中間節(jié)點(diǎn)懲罰值

在圖5中，物品A被所有的用戶喜歡，因此物品A對于判別用戶之間的相似度作用不大。因此，我們需要對中間節(jié)點(diǎn)做一個適當(dāng)?shù)膽土P，以得到更好的推薦效果。

定義3G＝｛G1，G2｝的二級級聯(lián)二部圖中，G1的V1，2，也就是G2的V2，1所含的頂點(diǎn)為G的中間節(jié)點(diǎn)。中間節(jié)點(diǎn)懲罰值P為

其中，Ei，v＇表示Gi中以頂點(diǎn)v＇為終點(diǎn)的邊的集合。

接著，利用之前兩步得到的結(jié)果，計(jì)算左右兩側(cè)頂點(diǎn)之間單條路徑的距離。單條路徑如圖6中虛線所標(biāo)注，圖中有兩條連接用戶B和用戶F的路徑，其中每條路徑的距離由3部分組成:左側(cè)邊權(quán)重，右側(cè)邊權(quán)重和中間節(jié)點(diǎn)的懲罰值。計(jì)算時，將三部分進(jìn)行連乘，得到的結(jié)果就是整個路徑的距離

圖6 計(jì)算單條路徑權(quán)重

利用上面的式 （4）、式 （5）可以計(jì)算出圖6中用戶B到用戶F兩條路徑的長度，分別為0.33×PA×0.707和0.33×PC×0.707。

最后，可以計(jì)算左右兩側(cè)頂點(diǎn)的相關(guān)度了。為此，引出頂點(diǎn)相關(guān)度的定義。

定義4G＝｛G1，G2｝是一個二級級聯(lián)二部圖，G1的V1，1的頂點(diǎn)A與G2的V2，2的頂點(diǎn)B之間的相關(guān)度為

兩個頂點(diǎn)的相關(guān)度可以用連接這兩個頂點(diǎn)的所有路徑的權(quán)重之和來表示。如圖6所示，用戶B和用戶F的相關(guān)度就是圖中兩條虛線的權(quán)重之和。

總結(jié)上面的推薦步驟，可以得到基于級聯(lián)二部圖的協(xié)同過濾算法。

算法 基于級聯(lián)二部圖的協(xié)同過濾

（1）對級聯(lián)二部圖中連接用戶頂點(diǎn)到物品頂點(diǎn)的邊的權(quán)重進(jìn)行歸一化，保證用戶對物品行為的合理性。

（2）計(jì)算中間節(jié)點(diǎn)的懲罰值，保證推薦的結(jié)果更加真實(shí)準(zhǔn)確。

（3）計(jì)算出級聯(lián)二部圖中左側(cè)節(jié)點(diǎn)到右側(cè)節(jié)點(diǎn)的路徑的距離。

（4）將相同起止節(jié)點(diǎn)的距離相加得到級聯(lián)二部圖中左側(cè)節(jié)點(diǎn)和右側(cè)節(jié)點(diǎn)的相關(guān)性。

（5）取出前N個最相似的用戶或物品進(jìn)行協(xié)同過濾推薦。

對于經(jīng)典的User Based CF，可以首先使用User－Item－User的級聯(lián)二部圖計(jì)算User－User的相似度，然后再使用User－User－Item的級聯(lián)二部圖計(jì)算User－Item的相似度，將前N個與User最相似的Item推薦給該User。

對于Item Based CF，類似地，先使用Item－User－Item級聯(lián)二部圖得到Item－Item的相似度，然后使用User－Item－Item的級聯(lián)二部圖得到User－Item的相似度，同樣將前N個與User最相似的Item推薦給該User。

下面我們以User Based CF為例，具體加以說明。

圖7 User－Item－User級聯(lián)二部圖

可以通過User－Item－User的級聯(lián)二部圖，計(jì)算出User－User的相似度。圖7所示，可以計(jì)算出用戶A和用戶D與用戶F的相似度。同理，也可以得到所有其他用戶之間的相似度。

利用上一步得到的User－User相似度，我們可以構(gòu)造出新的級聯(lián)二部圖，User－User－Item級聯(lián)二部圖。如圖8所示。

圖8 User－User－Item級聯(lián)二部圖

其中，左邊的User－User二部圖是根據(jù)上面圖7中計(jì)算的User－User相似度得到的。而User和User頂點(diǎn)之間邊的權(quán)重就是上一步所計(jì)算出來的相似度的值。右半邊二部圖是根據(jù)用戶的歷史記錄生成的，邊的權(quán)重為歸一化結(jié)果。以用戶A為例，用戶A和用戶D與F相似，通過用戶D與F，用戶A可以與物品A、B、C相連，而用戶A本身對A和C有過行為，因此系統(tǒng)會將物品B推薦給用戶A。當(dāng)然，值得注意的是，這里只是用3個物品進(jìn)行舉例說明，如果物品數(shù)量比較大，我們要找到與用戶相似度最高的前N個物品進(jìn)行推薦，即所謂的Top－N推薦。

實(shí)驗(yàn)證明，這種級聯(lián)二部圖的方法非常適合解決推薦問題，推薦的正確率達(dá)到了比較高的水平。

3 時間因素

對于推薦系統(tǒng)來說，越高的推薦準(zhǔn)確率就意味著越好的用戶體驗(yàn)，更強(qiáng)的用戶黏度甚至是更高的收益。前面已經(jīng)提到，時間因素對于推薦系統(tǒng)的重要性不言而喻。但是由于時間信息難以捕捉和量化，絕大多數(shù)的推薦算法并沒有將時間因素考慮在內(nèi)。近些年來，隨著一些商業(yè)網(wǎng)站（如Netflix等）對帶有時間信息的用戶行為數(shù)據(jù)的公開，研究人員開始研究如何在推薦系統(tǒng)中加入時間因素[10－13]，以使得推薦系統(tǒng)具有更好的動態(tài)特性。

通過對時間因素的分析，不妨假設(shè)用戶最近的行為，往往價值大于用戶很久以前的行為。

在二級級聯(lián)二部圖G＝｛G1，G2｝中，對于G中的Gi＝（Vi，1∪Vi，2，Ei），在不考慮時間時，Ei集合中的所有權(quán)重的值是通過歸一化來得到的。當(dāng)考慮時間信息時，就不能簡單的為所有的邊賦予相等的權(quán)重，而是根據(jù)時間的遠(yuǎn)近進(jìn)行權(quán)重分配。為了更加真實(shí)地描述時間和用戶興趣的關(guān)系，采用下面的式 （7）來計(jì)算時間相關(guān)的權(quán)重

通過式 （7）可以看到:時間間隔T越大，et的值越小。經(jīng)過時間權(quán)重分配后，級聯(lián)二部圖的各條邊權(quán)重被賦予了不同的值。如圖9所示。

圖9 利用時間間隔分配邊的權(quán)重

在對Ei進(jìn)行了時間上的加權(quán)處理后，利用上面提到的級聯(lián)二部圖方法進(jìn)行推薦的實(shí)驗(yàn)。通過對推薦結(jié)果的分析發(fā)現(xiàn)，這種基于級聯(lián)二部圖的動態(tài)推薦在推薦的準(zhǔn)確率上比靜態(tài)推薦又有了不少的提高。

4 實(shí)驗(yàn)驗(yàn)證

4.1 數(shù)據(jù)集

采用CiteULike論文數(shù)據(jù)集作基本的實(shí)驗(yàn)數(shù)據(jù)集。這是一個隱性反饋的數(shù)據(jù)集，用戶可以收藏自己喜歡的論文并為論文打上標(biāo)簽。這個數(shù)據(jù)集比較龐大，有124263個用戶，3997844篇論文，用戶和論文的關(guān)系數(shù)為5211046。之所以選擇這個數(shù)據(jù)集，最重要的原因是該數(shù)據(jù)集提供了收藏的時間信息，可以用來做時間相關(guān)的推薦。但是這個數(shù)據(jù)集比較稀疏，因此本實(shí)驗(yàn)從中抽取了一個相對稠密的數(shù)據(jù)集，抽取的標(biāo)準(zhǔn)是收藏論文數(shù)大于5篇的用戶，以及被5個以上用戶收藏的論文。這樣，就將數(shù)據(jù)集精簡為用戶數(shù)45193，論文數(shù)68359篇，用戶與論文收藏關(guān)系數(shù)1530037個的數(shù)據(jù)集。

4.2 評價標(biāo)準(zhǔn)

衡量一個推薦系統(tǒng)的優(yōu)劣，有很多種評測的方法和角度[14，15]，本文使用推薦的命中率 （hit ratio）來對 Top－N 推薦進(jìn)行評測。將整個的數(shù)據(jù)集分成訓(xùn)練集Utrain和測試集Utest。對于每個用戶，把這個用戶最后一次對物品的行為取出放入測試集中，其他行為放入訓(xùn)練集中。

給每個用戶推薦N（N＝20）篇論文，論文集合記為R（u，t）。如果在R（u，t）中剛好有一個物品在測試集中，我們就記一次命中

其中，I（Tu∈R（u，t））是一個示性函數(shù)，Tu是測試集中用戶行為針對的物品。

4.3 實(shí)驗(yàn)結(jié)果

圖10給出了使用User Based CF，Item Based CF，結(jié)合時間的User Based CF與結(jié)合時間的Item Based CF的推薦命中率以及加入時間因素后，推薦準(zhǔn)確率提高的比例。

圖10 4種推薦方式準(zhǔn)確率

4.4 結(jié)果分析

從圖10可以看出，基于級聯(lián)二部圖的推薦方法很好地刻畫了協(xié)同過濾中用戶和物品之間的關(guān)系。無論是User Based CF還是Item Based CF，在推薦的準(zhǔn)確率上的表現(xiàn)都是相當(dāng)不錯的。不僅如此，相比于傳統(tǒng)的協(xié)同過濾中用戶物品矩陣向量相似度計(jì)算的方法，這種方法的效率大大提高，并不需要計(jì)算每一對用戶或物品的相似度，大大提高了開發(fā)和運(yùn)行維護(hù)的效率。

另外，無論是User Based CF還是Item Based CF，在加入時間因素后，其推薦的準(zhǔn)確率都有或多或少的提升。而User Based CF在加入時間后，其命中率更是提高了19.04%之多，效果還是非常明顯的。這也很好的驗(yàn)證了我們前面的假設(shè)。

此外，Item Based CF的推薦效果要優(yōu)于User Based CF，很可能是由于該系統(tǒng)中，論文的數(shù)量和分類比較穩(wěn)定，而用戶的興趣和對論文的專注度變化比較頻繁所導(dǎo)致的。

4.5 結(jié)論和以后的研究工作

實(shí)驗(yàn)表明，時間因素在真實(shí)系統(tǒng)中確實(shí)起著至關(guān)重要的作用，不能忽視。由此，也會自然的聯(lián)想到，除了時間，地點(diǎn)，動機(jī)等因素的變化，也會對用戶的真實(shí)意圖產(chǎn)生影響。因此要想對用戶進(jìn)行精準(zhǔn)的智能推薦，僅僅靠用戶的歷史數(shù)據(jù)和靜態(tài)屬性是遠(yuǎn)遠(yuǎn)不夠的，還要考慮時間，地點(diǎn)，動機(jī)等其他主觀和客觀因素，綜合對推薦結(jié)果產(chǎn)生影響。這也應(yīng)該是未來推薦系統(tǒng)研究的一個目標(biāo)和方向。

此外，在推薦系統(tǒng)中，推薦的準(zhǔn)確率并不是衡量推薦系統(tǒng)的唯一指標(biāo)。近年來，推薦的多樣性、驚喜度等其他指標(biāo)也是推薦系統(tǒng)研究的熱點(diǎn)。在推薦準(zhǔn)確率越來越高的基礎(chǔ)上，增加推薦的多樣性和驚喜度，無疑會使推薦系統(tǒng)更加人性化。

5 結(jié)束語

推薦系統(tǒng)是用戶和內(nèi)容提供者之間的橋梁和紐帶，推薦系統(tǒng)的終極目標(biāo)就是達(dá)到這兩者的雙贏和平衡。推薦系統(tǒng)的主要方法是通過用戶的歷史行為來預(yù)測用戶未來可能的行為。而在影響用戶行為的因素中，時間很少被考慮進(jìn)來。本文使用一種全新的級聯(lián)二部圖的方法對推薦系統(tǒng)進(jìn)行建模，并且合理的加入了時間這一動態(tài)因素。實(shí)驗(yàn)證明:級聯(lián)二部圖的方法簡單、有效，時間的加入也對推薦的準(zhǔn)確率起著一定的促進(jìn)作用。

[1]LIU Jianguo，ZHOU Tao，WANG Binghong.The research progress of personalized recommendation system[J].Progress in Natural Science，2009，19 （1）:1－15 （in Chinese）.[劉建國，周濤，汪秉宏.個性化推薦系統(tǒng)的研究進(jìn)展[J].自然科學(xué)進(jìn)展，2009，19 （1）:1－15.]

[2]James Davidson，Benjamin Liebald，Liu Junning.The YouTube video recommendation system[C]／／RecSys Proceedings of the fourth ACM conference on Recommender Systems，2010:293－296.

[3]CAO Yi，LUO Xinxing.Research on recommending system of primary technologies in E－commerce[J].Journal of Xiangnan University，2008，29 （5）:63－66 （in Chinese）.[曹毅，羅新星.電子商務(wù)推薦系統(tǒng)關(guān)鍵技術(shù)研究[J].湘南學(xué)院學(xué)報(bào)，2008，29 （5）:63－66.]

[4]ZHOU Renjie，Samamon Khemmarat，GAO Lixin.The impact of YouTube recommendation system on video views[C]／／IMC Proceedings of the 10th ACM SIGCOMM conference on Internet measurement，2010:404－410.

[5]Raymond J Mooney，Loriene Roy.Content－based book recommending using learning for text categorization[C]／／The Fifth ACM Conference on Digital Libraries，2000，195－240.

[6]Souvik Debnath，Niloy Ganguly，Pabitra Mitra.Feature weighting in content based recommendation system using social network analysis[C]／／Proceeding of the 17th international conference on World Wide Web，2008:1041－1042.

[7]Yehude Koren.Factorization meets the neighborhood:A multifaceted collaborative filtering model[C]／／Proceeding of the 14th ACM SIGKDD International Conference on Knowledge Discovery And Data Mining，2008:426－434.

[8]Mukund Deshpande，George Karypis.Item based top－n recommendation algorithms[J].Journal ACM Transactions on Information Systems TOIS Homepage archive，2004，22 （1）:143－177.

[9]Shumeet Baluja，Rohan Seth，Sivakumar D，et al.Video suggestion and discovery for youtube:Taking random walks through the view gragh[C]／／Proceeding of the 17th international conference on World Wide Web，2008:895－904.

[10]Xiang Liang，Yuan Quan，Zhao Shiwan.Temporal recommendation on graphs via long－and short－term preference fusion[C]／／Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2010:723－732.

[11]CONG Xiaoqi，YANG Huaizhen，LIU Meilian.On collaborative filtering algorithm based on time weight[J].Computer Applications and Software，2009，26 （8）:121－140 （in Chinese）.[叢曉琪，楊懷珍，劉枚蓮.基于時間加權(quán)的協(xié)同過濾算法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2009，26 （8）:121－140.]

[12]He Liang，Wu Faqing.A time－context－based collaborative filtering algorithm[C]／／IEEE International Conference Granular Computing，2009:209－213.

[13]Andreas T，Michael Jahrer，Bell R M.The bigchaos solution to the netflix grand prize，2009:1－52.

[14]Oscar Celma，Perfecto Herrera.A new approach to evaluating novel recommendations[J].In RecSys，New York，NY，USA:ACM.2008:179－186.

[15]LIU Jianguo，ZHOU Tao，GUO Qiang，et al.Overview of the evaluated algorithms for the personal recommendation systems[J].Complex Systems and Complexity Science，2009，6 （3）:1－10（in Chinese）.[劉建國，周濤，郭強(qiáng)，等.個性化推薦系統(tǒng)評價方法綜述[J].復(fù)雜系統(tǒng)與復(fù)雜性科學(xué)，2009，6 （3）:1－10.]