翁星星

合肥工業(yè)大學(xué)管理學(xué)院，安徽合肥 230009

0 引言

隨著網(wǎng)絡(luò)和電子商務(wù)的迅猛發(fā)展，用戶可以在網(wǎng)上隨意尋找自己感興趣的商品，但隨著信息爆炸式增長，用戶在這過程中浪費了很多時間，個性化推薦系統(tǒng)對電子商務(wù)網(wǎng)站的業(yè)績有很深的影響，其主要作用表現(xiàn)在以下幾方面：可以把隨意瀏覽網(wǎng)站的潛在客戶轉(zhuǎn)變?yōu)閷嶋H購買者；提升電子商務(wù)網(wǎng)站交叉銷售能力；提升客戶對網(wǎng)站的忠誠度。其中協(xié)同過濾技術(shù)是目前運用最廣泛的個性化推薦技術(shù)。

1 協(xié)同過濾算法

協(xié)同過濾技術(shù)是通過收集整理過去用戶產(chǎn)生的數(shù)據(jù)來尋找鄰居用戶，其基本原理是根據(jù)相似用戶的興趣來推薦當(dāng)前用戶沒有參與但是很有可能會感興趣的項目，所基于的假設(shè)是如果兩個用戶興趣類似，那么很有可能當(dāng)前用戶會喜歡另一個用戶所喜歡的項目。協(xié)同過濾推薦技術(shù)分為3 個階段：評分?jǐn)?shù)據(jù)表示；最近鄰居形成；推薦項目集產(chǎn)生

1）評分?jǐn)?shù)據(jù)表示：將用戶對于項目的評分收集整理后描述成一個的用戶-項評分矩陣,其中m 表述用戶數(shù)，n 表式項目數(shù)。矩陣中元素表述用戶 對項目的評分；

2）最近鄰居形成：指根據(jù)項目評分矩陣來發(fā)現(xiàn)目標(biāo)用戶的最近鄰居。協(xié)同過濾技術(shù)是通過計算用戶之間的相似性來找到目標(biāo)用戶的最近鄰，所以算法的關(guān)鍵就在于如何準(zhǔn)確找到目標(biāo)用戶的最近鄰。常用的用戶之間的相似度算法有Pearson 相關(guān)系數(shù)和余弦相似性；

3）推薦項目集產(chǎn)生：目標(biāo)用戶的最近鄰居集產(chǎn)生后，可以得出目標(biāo)用戶對未評分項的預(yù)測分，將分值按照高低排列，產(chǎn)生TOP-N 的推薦項目集合；

這就導(dǎo)致了協(xié)同過濾技術(shù)過分依賴于用戶評分，但目前電子商務(wù)網(wǎng)站的用戶和商品數(shù)量一直在上升，同時用戶對商品項的評分卻非常稀少，通常在1%以下，使得用戶-項目評分矩陣過于稀疏，導(dǎo)致個性化推薦質(zhì)量下降：

1）評分矩陣稀疏使得尋找最近鄰的準(zhǔn)確度降低；

2）冷啟動（cold-start）問題，此問題是稀疏性的極端情況，指當(dāng)新用戶或新項目進(jìn)入到推薦系統(tǒng)中時，由于沒有歷史數(shù)據(jù)，導(dǎo)致無法產(chǎn)生推薦集。

針對評分矩陣稀疏性問題許多研究人員對協(xié)同過濾算法提出了改進(jìn)，本文系統(tǒng)的歸納和分析了各算法的研究情況，同時為協(xié)同過濾算法提供了幾點研究方向。

2 改進(jìn)的協(xié)同過濾算法綜述

2.1 結(jié)合項目相似性和時間函數(shù)的協(xié)同過濾算法

劉芳先等分析傳統(tǒng)協(xié)同過濾算法的局限于以下三點：

1）傳統(tǒng)算法對于用戶之間的相似度是通過兩用戶共同給予的項目評分來計算的，卻沒有考慮項目是否相關(guān)，如一用戶對于某書籍的興趣可能跟他看過的書有關(guān)，而跟他評價過的服裝沒關(guān)系；2）隨著時間變化用戶的興趣也會變化的，這點傳統(tǒng)算法卻沒有考慮到；3）傳統(tǒng)的協(xié)同過濾算法在計算項目間相似性，沒能將項目特征考慮在內(nèi)，導(dǎo)致相似性度量不夠準(zhǔn)確。

在此基礎(chǔ)上劉芳先提出來改進(jìn)算法，其主要思想是將項目的相關(guān)性引入到用戶相似性的計算公式中，同時在預(yù)測新目標(biāo)項的得分時引入了時間加權(quán)函數(shù)，時間加權(quán)函數(shù)能反映出用戶對最近點擊的項目興趣較大，新數(shù)據(jù)對于預(yù)測得分影響大，而舊數(shù)據(jù)體現(xiàn)的是用戶之前的興趣，所以在預(yù)測上占權(quán)重較小。

這種改進(jìn)算法在計算用戶相似性的時候引入項目相似度，這樣可以在一定程度上減少不相關(guān)的項目對于推薦結(jié)果的影響，同時將時間函數(shù)引入了預(yù)測得分的公式中，一定程度上反映出隨用戶趣變化得到推薦集也不同。但是這算法依然對用戶-項目評分矩陣依賴性太大，不利于解決數(shù)據(jù)稀疏性問題。

劉勇在分析了計算項目相似度時碰到的問題：當(dāng)兩項目只有很少用戶給予評分，同時給予評分的用戶所關(guān)注的項目特征可能不是目標(biāo)用戶所關(guān)注的特征，這會導(dǎo)致推薦質(zhì)量下降?；谶@類問題，劉勇提出了改進(jìn)的相似度計算公式：

Mutual_num 表示對于項目i、j 都評分的用戶數(shù)目，item_num 表示對項目i，j 中任何一個有評分的用戶集合數(shù)目。

2.2 降維處理

文獻(xiàn)[7] 為了降低項目評分矩陣的稀疏性, 提升推薦精度,提出了一種基于主成分降維技術(shù)和K-means 聚類的混合協(xié)同過濾新算法。算法先對用戶-項目矩陣進(jìn)行缺失值填充，然后運用主成分分析技術(shù)提取主成分因子，在降低矩陣的維數(shù)同時保證大部分信息沒有損失，在降維后的向量空間上進(jìn)行K-m eans 聚類, 找到目標(biāo)用戶的最近鄰，最后得到目標(biāo)用戶對于未評分項目的預(yù)測值，從而產(chǎn)生推薦集。該算法在一定程度上緩解超高維空間尋找最近鄰問題。

文獻(xiàn)[8]提出了基于項目聚類的協(xié)同過濾，算法主要思想是結(jié)合項目評分與項目屬性的項目相似度，再對項進(jìn)行聚類。聚類可以通過一些聚類算法將項和用戶聚成若干子類，再在各小類中產(chǎn)生推薦集。張娜等先計算項目相似度再用k 劃分聚類算法進(jìn)行項目聚類，產(chǎn)生k 個用戶－項目子矩陣，然后對已有的項目聚類結(jié)果用k 劃分算法進(jìn)行客戶聚類，最后在目標(biāo)用戶所在的幾個矩陣中尋找最近鄰。

2.3 結(jié)合基于內(nèi)容推薦的協(xié)同過濾算法

文獻(xiàn)[10]在分析了傳統(tǒng)協(xié)同過濾在處理新項目和新用戶問題上的瓶頸提出了結(jié)合基于內(nèi)容推薦的協(xié)同技術(shù)。協(xié)同過濾算法過分依賴于用戶評分，而對于新項目和新用戶沒能產(chǎn)生評分?jǐn)?shù)據(jù)，推薦集中就不會出現(xiàn)，但基于內(nèi)容的推薦算法對于每個用戶都有用戶描述，其中記錄了用戶感興趣的內(nèi)容?？梢愿鶕?jù)用戶喜好和項目的特征信息，推薦給與目標(biāo)用戶特征相似的項目，這就能較好的解決這一問題。

雖然這算法可以一定程度上解決“新項目”問題，但也存在一定的局限：用戶或項目特征提取能力有限，目前只能進(jìn)行簡單的提取，對于項目特征不能做到準(zhǔn)確的定位，基于內(nèi)容的推薦現(xiàn)階段只能對文本內(nèi)容提取，而對于一些影像，圖像很難做到提取特征。

2.4 結(jié)合基于關(guān)聯(lián)規(guī)則的協(xié)同過濾算法

文獻(xiàn)[11]提出了一種結(jié)合關(guān)聯(lián)規(guī)則和協(xié)同過濾的算法，其主要思想是：先通過關(guān)聯(lián)規(guī)則在商品項中找到頻繁項，再將這些頻繁項捆綁在一起對目標(biāo)用戶進(jìn)行推薦，這就可以更好更多的產(chǎn)生推薦集了。但是目前這方面算法研究還處于初級階段，可以從以下幾方面進(jìn)行進(jìn)一步的研究：1）如何將Web 日志預(yù)處理更好的融入到協(xié)同過濾中去；2）面對數(shù)據(jù)快速更新速度，如何剔除無用的信息，保證推薦及時性和準(zhǔn)確性；3）如何更好的將這一推薦技術(shù)應(yīng)用到實踐中。

2.5 其他的一些改進(jìn)算法

傅鶴崗[12]等在分析了傳統(tǒng)協(xié)同過濾算法在用戶數(shù)量快速增長的時代下所需要付出的代價很大，提出了基于模范用戶的協(xié)同過濾算法。其主要思想是：用戶的興趣常集中在某幾個特定區(qū)域，可以先對用戶進(jìn)行聚類，使得類內(nèi)相似度高而類間相似度低，再在這基礎(chǔ)上產(chǎn)生推薦集。施鳳仙[13]等提出了結(jié)合項目區(qū)分用戶興趣度的協(xié)同過濾算法，其主要思想是在計算用戶相似度時對于不同的項目所占的權(quán)重不同，因為用戶對于很多大眾流行產(chǎn)品評分很高但不能真正反映用戶的興趣度，

3 總結(jié)與展望

隨著電子商務(wù)迅速發(fā)展，用戶及商品項都呈現(xiàn)爆炸式增長，同時用戶對商品項的評分又過于稀少，導(dǎo)致數(shù)據(jù)過分稀疏，對于未來個性化推薦系統(tǒng)發(fā)展來說這是個瓶頸。本文總結(jié)了大量研究人員提出的改進(jìn)算法，這些算法在一定程度上能解決數(shù)據(jù)稀疏性問題。但這一問題一直都存在，因此對該算法如何改進(jìn)還需要進(jìn)一步研究探討，下一步的工作可以從以下幾方面進(jìn)行：

1）建立一套完善的評分激勵制度。這可以從根本上解決數(shù)據(jù)稀疏性問題，完善的激勵制度可以使得用戶愿意客觀的去給予商品項評分，通過這項制度，可以得到更多準(zhǔn)確，可信度高的評分項，從而利于推薦系統(tǒng)產(chǎn)生推薦集；

2）與政府及企業(yè)部門共享客戶資料。目前的政府和企業(yè)都有一套完善的管理系統(tǒng)，其中包含了很多個人信息，如果可以將這些信息和電子商務(wù)網(wǎng)站上的客戶信息整合，那數(shù)據(jù)稀疏性問題可以得到一定程度的解決；

3）如何將新的評價替代舊的評價。用戶的興趣會隨著時間變化，用戶對于某商品項的評價也會改變，在推薦系統(tǒng)中如何快速有效的用新評價來替代舊評價有待于進(jìn)一步的研究。

[1]趙亮，胡乃靜，張守志.個性化推薦算法設(shè)計[J].計算機(jī)研究與發(fā)展，2002，39(8)：986-990.

[2]Sarwar BM.Sparsity，scalability，and distribution in recommender systems[D].Minneapolis， USA: University of Minnesota，2001.

[3]Park ST，Pennock D，Madani O，et al.Na? ve filterbots for obust cold-start recommendations[A]. In: Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining[C]. New York，USA: ACM Press，2006: 699-705.

[4]劉芳先，宋順林.改進(jìn)的協(xié)同過濾推薦算法[J].計算機(jī)工程與應(yīng)用，2011，47(8)：72-75.

[5]張丙奇.域知識的個性化推薦算法研究[J].計算機(jī)工程，2005，31(21)：7-9.

[6]劉勇.基于項目相似度計算改進(jìn)的協(xié)同過濾算法[J].商場現(xiàn)代化，2007，520：84-85.

[7]郁雪，李敏強.一種結(jié)合有效降維和K-means聚類的協(xié)同過濾推薦模型[J].計算機(jī)應(yīng)用研究，2009，26(10)：718-3720.

[8]魯培.一種改進(jìn)的基于項目聚類的協(xié)同過濾推薦算法[J].科技傳播，2011，1 ：205-206.

[9］張娜，何建民.基于項目與客戶聚類的協(xié)同過濾推薦方法[J].合肥工業(yè)大學(xué)學(xué)報，2007，30(9) : 1160 -1162.

[10]Adomavicius G，Tuzhilin A.Toward t he Next Generation of Recommender Systems: A Survey of the St ate-of-the-art and Possible Extensions[J].IEEE Transaction on K now ledge and Data Engineering, 2005，17(6): 734-749.

[11]裘立波，姜元春，林文龍.基于關(guān)聯(lián)規(guī)則和協(xié)同過濾的網(wǎng)絡(luò)商品捆綁方法研究[J].計算機(jī)與現(xiàn)代化，2009，9:169-172.

[12]傅鶴崗，彭晉. 基于模范用戶的改進(jìn)協(xié)同過濾算法[J].計算機(jī)工程，2011，39(3)：70-72.

[13]施鳳仙，陳恩紅. 結(jié)合項目區(qū)分用戶興趣度的協(xié)同過濾算法[J].小型微型計算機(jī)系統(tǒng)，2012，7(33)：1533-1536.