劉華玲，郭 淵，馬 俊

上海對(duì)外經(jīng)貿(mào)大學(xué) 統(tǒng)計(jì)與信息學(xué)院，上海 201620

隨著大數(shù)據(jù)、互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量增速越來越快[1]。如何從海量的文章和數(shù)據(jù)中搜索用戶的歷史信息，滿足用戶的推薦需求，產(chǎn)生高質(zhì)量推薦已經(jīng)成為各大平臺(tái)的研究目標(biāo)。滿足用戶的個(gè)性化需求是產(chǎn)生高質(zhì)量推薦的基礎(chǔ)，在推薦系統(tǒng)的設(shè)計(jì)中涉及到兩個(gè)關(guān)鍵問題：一是構(gòu)建用戶的偏好模型，得到用戶感興趣的項(xiàng)目或近鄰用戶；二是設(shè)計(jì)個(gè)性化推薦算法，對(duì)用戶產(chǎn)生準(zhǔn)確的推薦。

目前應(yīng)用最廣泛的是協(xié)同過濾[2-4]算法和基于內(nèi)容的推薦。協(xié)同過濾根據(jù)用戶的歷史數(shù)據(jù)尋找相似用戶或偏好項(xiàng)目并進(jìn)行推薦，協(xié)同過濾算法在各領(lǐng)域應(yīng)用廣泛，但是也面臨著以下問題：與推薦系統(tǒng)中的用戶數(shù)量和項(xiàng)目數(shù)據(jù)相比，大多用戶只對(duì)一小部分項(xiàng)目進(jìn)行過評(píng)價(jià)，用戶對(duì)項(xiàng)目的評(píng)分信息非常稀疏；數(shù)據(jù)量大，算法很難短時(shí)間內(nèi)產(chǎn)生最優(yōu)推薦；數(shù)據(jù)具有動(dòng)態(tài)性，用戶的興趣也是在不斷變化的。解決上述問題，提高推薦精度一直是推薦領(lǐng)域的重點(diǎn)研究方向。相似度的計(jì)算決定了協(xié)同過濾算法的準(zhǔn)確性，是算法中最重要的部分，相似度的計(jì)算決定了近鄰用戶和近鄰項(xiàng)目的選擇，進(jìn)而影響整個(gè)推薦結(jié)果，因此協(xié)同過濾算法中的核心問題是相似度算法。

協(xié)同過濾中常用Jaccard相似度、余弦相似度、Pearson相似系數(shù)等來衡量用戶或項(xiàng)目之間的相似程度，但是一般的傳統(tǒng)相似度不足以捕捉相似用戶，尤其是在數(shù)據(jù)稀疏的場景和新用戶評(píng)分不足的場景，使用傳統(tǒng)的相似度算法不能準(zhǔn)確定位相似用戶。為提高推薦質(zhì)量，許多學(xué)者從相似度方向進(jìn)行研究，以解決傳統(tǒng)的相似度算法存在的缺點(diǎn)。本文首先介紹了常用的相似度計(jì)算公式，從數(shù)據(jù)稀疏、冷啟動(dòng)、用戶興趣偏移和用戶偏好三個(gè)方面歸納相關(guān)學(xué)者在相似度算法方向上的創(chuàng)新與不足，最后對(duì)未來可能的改進(jìn)方向進(jìn)行了展望。

1 協(xié)同過濾推薦

基于用戶歷史行為的推薦稱為協(xié)同過濾推薦，目前協(xié)同過濾算法是最常用的推薦算法，在各大平臺(tái)應(yīng)用廣泛，協(xié)同過濾算法主要包括基于用戶的推薦[5-8]、基于項(xiàng)目的協(xié)同過濾推薦[9-10]和基于模型的推薦[11-12]。

基于用戶的協(xié)同過濾推薦算法目標(biāo)是根據(jù)用戶的歷史數(shù)據(jù)找到與目標(biāo)用戶相似的用戶[13]，根據(jù)尋找的近鄰用戶的評(píng)分?jǐn)?shù)據(jù)，尋找目標(biāo)用戶可能感興趣的項(xiàng)目，進(jìn)而產(chǎn)生推薦。

基于項(xiàng)目的協(xié)同過濾是根據(jù)用戶對(duì)物品的歷史評(píng)分信息，找到物品之間的相似性，然后通過目標(biāo)用戶偏好信息，將目標(biāo)用戶可能感興趣的項(xiàng)目推薦給該用戶[14-15]。

此種類型的推薦系統(tǒng)向活躍用戶進(jìn)行推薦時(shí)基于該活躍用戶和其他類似用戶的先前評(píng)分，并且沒有關(guān)于項(xiàng)目和用戶的附加信息。

基于模型的協(xié)同過濾推薦就是基于歷史數(shù)據(jù)訓(xùn)練一個(gè)推薦模型，然后在模型中引入用戶的實(shí)時(shí)評(píng)分信息，并進(jìn)行預(yù)測和推薦，基于模型的方法大多試圖使用矩陣分解來建模系統(tǒng)。

設(shè)計(jì)基于協(xié)同過濾方法的關(guān)鍵是使用有效的相似度函數(shù)來計(jì)算用戶或項(xiàng)目之間的相似性，相似度函數(shù)直接影響推薦模型的性能，本文對(duì)傳統(tǒng)的相似度算法進(jìn)行了總結(jié)比較，并總結(jié)了相關(guān)學(xué)者對(duì)相似度算法的擴(kuò)展和改進(jìn)。

2 相似性度量

2.1 傳統(tǒng)相似度算法

相似度常用來判斷事物之間的相似性，通過計(jì)算事物之間的距離來進(jìn)行判斷，距離值越小相似度越大。在推薦系統(tǒng)中，常用Pearson相關(guān)系數(shù)、余弦相似度等計(jì)算推薦系統(tǒng)中的用戶相似性。

Pearson相關(guān)系數(shù)：常用來衡量向量之間的相關(guān)性，取值范圍為[?1，1][16]，計(jì)算時(shí)通常需要具有共同評(píng)分的項(xiàng)目。

樊艷清等[17]通過準(zhǔn)確率、召回率等指標(biāo)深入分析了余弦相似度、修正的余弦相似度、Pearson 相關(guān)系數(shù)、歐式距離、Jaccard相似度、古本系數(shù)等指標(biāo)，綜合分析準(zhǔn)確率、召回率等指標(biāo)，發(fā)現(xiàn)基于Pearson相關(guān)系數(shù)的相似度具有更加廣泛的應(yīng)用領(lǐng)域，而且Pearson 相似度在量綱不同的數(shù)據(jù)集中同樣適用。不同的相似度適用不同的應(yīng)用場景，本文對(duì)常用的相似度進(jìn)行了總結(jié)比較，如表1所示。

表1 傳統(tǒng)相似度適用條件及優(yōu)缺點(diǎn)Table 1 Applicable conditions and advantages and disadvantages of traditional similarity

傳統(tǒng)的相似度計(jì)算方法依賴于共同評(píng)分信息，不能很好的解決推薦系統(tǒng)中冷啟動(dòng)問題[18]和數(shù)據(jù)稀疏問題，越來越多的學(xué)者開始將傳統(tǒng)的相似度算法與其他潛在因素結(jié)合，構(gòu)造新的模型提高推薦質(zhì)量。

2.2 基于冷啟動(dòng)問題的相似度改進(jìn)

當(dāng)系統(tǒng)中產(chǎn)生新項(xiàng)目或新用戶時(shí)，缺少項(xiàng)目或用戶的相關(guān)信息，此時(shí)無法根據(jù)歷史信息進(jìn)行推薦，系統(tǒng)需要解決冷啟動(dòng)問題，相關(guān)學(xué)者從冷啟動(dòng)方向?qū)ν扑]系統(tǒng)進(jìn)行了一些改進(jìn)。

一些學(xué)者從相似度公式本身出發(fā)，在公式構(gòu)建時(shí)加入影響因子。Ahn[19]將鄰近性、影響力和知名度等因素引入到相似度算法中，構(gòu)建了稱為PIP 的相似度算法，該度量利用數(shù)據(jù)在特定領(lǐng)域的含義，而不僅僅是采用傳統(tǒng)的相似性，以便在冷啟動(dòng)條件下更有效，相似度公式為：

否則：

其中μu、μv分別表示用戶的評(píng)分均值，σu、σv表示用戶的評(píng)分方差，所提出的算法很好的提高了推薦精度，但是算法的時(shí)間效率不足。

在傳統(tǒng)相似度中加入反映偏好和興趣的影響因子，改進(jìn)了傳統(tǒng)相似度計(jì)算較為單一的問題，能很好解決系統(tǒng)沒有新用戶歷史信息的缺陷，但是改進(jìn)的混合相似度往往具有較高的時(shí)間復(fù)雜度。

一些學(xué)者提出利用傳統(tǒng)的相似度構(gòu)建混合相似度[21]，以解決單一算法的局限性。Bobadilla等[22]提出將Jaccard 相似度與均方差（MSD）相結(jié)合，認(rèn)為Jaccard 和MSD 的組合可以用投票的數(shù)值來補(bǔ)充Jaccard，并可以緩解MSD 使用中的覆蓋率不足問題，其混合相似度公式如下：

Bag等[23]的目標(biāo)是開發(fā)新的簡單而有效的相似性模型，在更低的計(jì)算時(shí)間內(nèi)提高推薦的準(zhǔn)確性。Ajaegbu[24]為解決冷啟動(dòng)問題，提出了一種優(yōu)化算法，通過在相似度公式中增加一個(gè)平衡因子和改變?chǔ)林祦斫鉀Q這個(gè)問題，改進(jìn)后的算法在冷啟動(dòng)問題中具有較好的推薦效果。譚學(xué)清等[25]將用戶特征、專家信任度等因素引入到相似度計(jì)算中，當(dāng)新用戶進(jìn)入系統(tǒng)時(shí)，采用專家用戶信息對(duì)未評(píng)分項(xiàng)目進(jìn)行預(yù)測，進(jìn)而提升推薦效果?；诶鋯?dòng)改進(jìn)的相似度算法優(yōu)缺點(diǎn)對(duì)比如表2所示。

表2 基于冷啟動(dòng)改進(jìn)的相似度Table 2 Similarity based on cold start improvement

一些學(xué)者在對(duì)相似度進(jìn)行改進(jìn)時(shí)與基于模型的方法相結(jié)合，將其他統(tǒng)計(jì)學(xué)方法與相似度結(jié)合起來，產(chǎn)生高質(zhì)量推薦。韓勝寶等[26]為了緩解用戶冷啟動(dòng)問題，將相似度和層次聚類相結(jié)合，利用用戶的統(tǒng)計(jì)學(xué)信息、用戶的評(píng)分信息和項(xiàng)目的類別信息，提出了混合相似度，作者進(jìn)行層次聚類時(shí)考慮用戶的人口統(tǒng)計(jì)學(xué)信息，當(dāng)新用戶進(jìn)入系統(tǒng)，盡管沒有新用戶的歷史信息，但可以利用新用戶的統(tǒng)計(jì)學(xué)信息計(jì)算冷啟動(dòng)用戶與其所在類簇中的其他用戶之間的相似度，從而進(jìn)行推薦。Rajendran等[27]為了緩解協(xié)同過濾算法中的用戶冷啟動(dòng)問題，將維基百科數(shù)據(jù)和瀏覽歷史結(jié)合并引入到推薦算法中，通過使用維基百科數(shù)據(jù)上的潛在狄利克雷分布模型來生成主題，然后使用用戶瀏覽歷史上的主題來提取用戶偏好，采用層次聚類法對(duì)用戶進(jìn)行聚類，在為冷啟動(dòng)用戶進(jìn)行推薦時(shí)，尋找冷啟動(dòng)用戶所在簇，只需在所在簇中尋找近鄰用戶進(jìn)行推薦。Wang等[28]提出了基于α-散度的相似性度量，該度量根據(jù)評(píng)分的概率密度分布進(jìn)行計(jì)算，大大減少了對(duì)共同評(píng)分案例的依賴性，在評(píng)分矩陣中，選取項(xiàng)目a和b的評(píng)分列，基于α-散度來計(jì)算項(xiàng)目a和項(xiàng)目b之間的相似程度。

對(duì)于基于模型的改進(jìn)，當(dāng)推薦系統(tǒng)中加入的新用戶或新產(chǎn)品，依舊可以產(chǎn)生較好的推薦，突破了共同評(píng)分項(xiàng)目的限制，可以使用更多的信息來計(jì)算相似度，有利于提高預(yù)測精度，但是時(shí)間復(fù)雜度過高，很難產(chǎn)生高效率的推薦。

2.3 基于數(shù)據(jù)稀疏問題的相似度改進(jìn)

推薦系統(tǒng)中評(píng)分矩陣往往是稀疏的，大多用戶只對(duì)一小部分項(xiàng)目進(jìn)行評(píng)分，數(shù)據(jù)稀疏性嚴(yán)重影響了推薦精度。

有學(xué)者構(gòu)建了不依賴于共同評(píng)分項(xiàng)目的相似度，充分利用評(píng)分矩陣的信息。Patra 等[29]在傳統(tǒng)計(jì)算公式中引入Bhattacharyya 系數(shù)，提出了BCS 相似性度量；其次，加入信任權(quán)重，精確計(jì)算直接信任值，引入信任傳遞機(jī)制，計(jì)算用戶的間接信任值，將用戶的評(píng)分偏好和用戶信任度結(jié)合起來構(gòu)建混合相似度。從評(píng)分?jǐn)?shù)據(jù)中獲得的兩個(gè)項(xiàng)目i和j的BC系數(shù)：

在公開數(shù)據(jù)集上證明，加入一致性因子和折中因子的相似度算法可以提高推薦效率，但是改進(jìn)的算法目前只在公開數(shù)據(jù)集中進(jìn)行了驗(yàn)證，無法有效驗(yàn)證算法在其他領(lǐng)域是否具有較好的推薦效果。

Deng等[31]考慮商品的非對(duì)稱性，提出了基于概率分布的新型K-medoids 聚類推薦算法，在KL 散度的基礎(chǔ)上引入聚類算法。KL散度常常被用來描述兩個(gè)概率分布之間的差異問題，不僅考慮共同評(píng)分信息，還充分利用了項(xiàng)目的隱形信息，很好地解決了數(shù)據(jù)稀疏問題，改進(jìn)的KL散度為：

部分學(xué)者在相似度計(jì)算時(shí)采用混合模型進(jìn)行計(jì)算，將其他模型融入到協(xié)同過濾中，以解決數(shù)據(jù)稀疏帶來的局限性。Slope one 算法具有實(shí)時(shí)高效、操作方便的特點(diǎn)，在推薦系統(tǒng)中常被用于數(shù)據(jù)填充，通過數(shù)據(jù)填充進(jìn)一步對(duì)相似度進(jìn)行改進(jìn)。Song 等[33]提出了一種融合評(píng)分偏好和聚類的Slope one 推薦算法。國內(nèi)，向小東等[34]也將Slope one 算法應(yīng)用在推薦系統(tǒng)中，用戶—項(xiàng)目矩陣往往是稀疏的，通過改進(jìn)Slope one 算法計(jì)算預(yù)測值時(shí)利用用戶和項(xiàng)目的綜合相似度過濾干擾項(xiàng)。對(duì)于算法存在的不足，研究人員對(duì)用戶相似度和項(xiàng)目相似度進(jìn)行改進(jìn)[35-38]，通過用戶特征屬性和用戶評(píng)分構(gòu)建混合相似度提高推薦質(zhì)量。Thakkar等[39]提出了一種結(jié)合推薦方法預(yù)測的方法：通過使用多元線性回歸將常用的推薦方法進(jìn)行結(jié)合，以減少預(yù)測誤差。稀疏場景下經(jīng)典的相似度算法優(yōu)缺點(diǎn)對(duì)比如表3所示。

表3 基于數(shù)據(jù)稀疏的相似度改進(jìn)Table 3 Similarity improvement based on data sparsity

上述算法能降低絕對(duì)平均誤差，推薦效果相較其他算法而言有較大的提升，但是在公用的標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)證，在面對(duì)其他多樣性的推薦和較新的數(shù)據(jù)時(shí)并不一定適用。

2.4 基于用戶興趣偏移和用戶偏好的相似度改進(jìn)

用戶的興趣偏好往往是不斷變化的[40-43]，隨著時(shí)間的推移，可能會(huì)導(dǎo)致推薦結(jié)果偏離用戶的需求，在建立用戶動(dòng)態(tài)偏好模型時(shí)[44-46]，時(shí)間動(dòng)態(tài)性是重要問題。

王道平等[47]針對(duì)傳統(tǒng)協(xié)同過濾算法中存在的相似度分辨性低和未考慮用戶興趣漂移的問題，提出了一種融合時(shí)間因素和灰色關(guān)聯(lián)分析的推薦模型，以提高實(shí)驗(yàn)精度，在相似度公式中引入時(shí)間權(quán)重函數(shù)，公式為：

王道平等[47]提出的混合相似度有效降低了實(shí)驗(yàn)的絕對(duì)平均誤差（MAE），明顯提高了實(shí)驗(yàn)精度，但算法模型較為復(fù)雜，效率不高。

陳海濤等[48]根據(jù)用戶對(duì)項(xiàng)目的評(píng)分時(shí)間來考察用戶興趣的變化，在相似度計(jì)算中給予興趣相似性權(quán)重，改進(jìn)的用戶相似性計(jì)算方法解決了不能動(dòng)態(tài)衡量用戶興趣變化的問題，用戶興趣的計(jì)算公式為：

用戶在某些類別中具有相同偏好，但在其他類別中偏好完全不同，所以在推薦過程中還需要考慮項(xiàng)目[51-52]。因?yàn)槟承╉?xiàng)目類別邊界模糊，很難對(duì)其進(jìn)行精準(zhǔn)定位，在項(xiàng)目類別分類中，無法充分發(fā)揮項(xiàng)目屬性在分類中的作用。程文娟等[53]提出了一種融合項(xiàng)目特征和用戶特征的算法，在進(jìn)行分類時(shí)考慮標(biāo)簽屬性，進(jìn)一步挖掘用戶偏好信息。Chen 等[54]認(rèn)為利用項(xiàng)目等輔助信息可以提高推薦精度，通過建立用戶-項(xiàng)目-權(quán)重矩陣來進(jìn)行推薦，給予用戶特別喜歡的項(xiàng)目一定的權(quán)重，可以用來向用戶解釋為什么推薦某些項(xiàng)目，相較于推薦系統(tǒng)中的KNN模型，此方法有較好的覆蓋率，可以實(shí)時(shí)進(jìn)行預(yù)測。標(biāo)簽具有同時(shí)反映項(xiàng)目特征和用戶興趣的特點(diǎn)，用戶Chen 等[55]從用戶行為和標(biāo)簽語義兩個(gè)方面計(jì)算標(biāo)簽相似度，并通過標(biāo)簽擴(kuò)展提高推薦精度，在計(jì)算項(xiàng)目相似度時(shí)，給予標(biāo)簽和項(xiàng)目不同的權(quán)重構(gòu)成混合相似度，以增加用戶標(biāo)注和喜歡的項(xiàng)目的權(quán)重。

通過γ進(jìn)行權(quán)重調(diào)整，simt為基于標(biāo)簽的相似度，simr為基于評(píng)分的項(xiàng)目相似度。

關(guān)聯(lián)規(guī)則在發(fā)現(xiàn)用戶興趣偏好的文獻(xiàn)中有較多應(yīng)用[56]，可以發(fā)掘更多的屬性特點(diǎn)，可以通過與社交關(guān)系相結(jié)合[57]，快速尋找目標(biāo)用戶的近鄰用戶，挖掘潛在偏好。胡文江等[58]在社交網(wǎng)絡(luò)的改進(jìn)中引入關(guān)聯(lián)規(guī)則，通過關(guān)聯(lián)規(guī)則尋找目標(biāo)用戶的好友用戶，建立用戶的關(guān)系矩陣，改進(jìn)用戶標(biāo)簽相似度，對(duì)關(guān)系矩陣中標(biāo)簽相似度較大的用戶，增加推薦權(quán)重。紀(jì)文璐等[59]歸納總結(jié)了基于關(guān)聯(lián)規(guī)則的推薦算法，關(guān)聯(lián)規(guī)則一定程度上可以發(fā)現(xiàn)數(shù)據(jù)潛在關(guān)系以及用戶的潛在偏好，在數(shù)據(jù)稀疏和冷啟動(dòng)問題中具有較好的表現(xiàn)。針對(duì)用戶興趣偏移和偏好改進(jìn)的相似度優(yōu)缺點(diǎn)對(duì)比如表4所示。

表4 基于用戶興趣偏移和偏好的相似度改進(jìn)Table 4 Similarity improvement based on user interest offset and preference

3 未來研究方向

許多學(xué)者對(duì)相似度算法的改進(jìn)提高了推薦精度，有些學(xué)者解決了傳統(tǒng)的相似度計(jì)算方法往往需要用戶之間具有共同評(píng)分項(xiàng)目的問題，但其相關(guān)研究在未來發(fā)展中仍舊面臨諸多挑戰(zhàn)，值得進(jìn)一步深入研究。

（1）通過構(gòu)建混合相似度來尋找用戶的近鄰用戶集合可以很好的提升推薦效果，但是混合相似度尋找近鄰集合的過程往往需要耗費(fèi)更多的時(shí)間，時(shí)間效率不足，復(fù)雜度相較于傳統(tǒng)方法更高，從推薦效率的角度出發(fā)，重點(diǎn)關(guān)注在提升推薦質(zhì)量的同時(shí)提升推薦系效率?；旌舷嗨贫鹊臋?quán)重設(shè)置多為人工設(shè)置，如何擺脫手動(dòng)調(diào)整，用機(jī)器自動(dòng)調(diào)整權(quán)重應(yīng)該成為重點(diǎn)關(guān)注方向。

（2）考慮到傳統(tǒng)相似度受共同評(píng)分項(xiàng)目的影響，可將其他領(lǐng)域如環(huán)境領(lǐng)域、物理領(lǐng)域、信號(hào)理論中衡量相似程度的方法引入到推薦系統(tǒng)中，嘗試創(chuàng)造新的相似度計(jì)算方法，解決傳統(tǒng)相似度應(yīng)用的局限。

（3）協(xié)同過濾中評(píng)分矩陣往往是稀疏的，用戶對(duì)項(xiàng)目的偏好信息較少，將協(xié)同過濾與目標(biāo)用戶的位置信息相結(jié)合，得到用戶興趣點(diǎn)的信息，更準(zhǔn)確定位用戶的偏好將是未來的重要研究方向。

（4）目前多數(shù)研究都是在公開數(shù)據(jù)集上驗(yàn)證的，眾多學(xué)者選擇電影評(píng)分?jǐn)?shù)據(jù)集來驗(yàn)證算法的精度及可行性，但是實(shí)際應(yīng)用場景不能局限于電影領(lǐng)域，從算法的可擴(kuò)展性方向出發(fā)，探究新的算法在其他平臺(tái)，如購物、音樂、短視頻等領(lǐng)域的推薦效果，擴(kuò)展算法的使用范圍。

4 結(jié)束語

未來推薦系統(tǒng)仍是研究的熱點(diǎn)，數(shù)據(jù)稀疏、冷啟動(dòng)等問題嚴(yán)重影響了推薦質(zhì)量，相似度作為推薦的核心環(huán)節(jié)，一直是眾多學(xué)者關(guān)注的重點(diǎn)研究方向。學(xué)者們對(duì)相似度的改進(jìn)提出了自己的見解，可以很好地解決推薦質(zhì)量低的問題。本文從數(shù)據(jù)稀疏、冷啟動(dòng)等方向?qū)ο嚓P(guān)學(xué)者的研究進(jìn)行了全面的綜述，總結(jié)了以往提出的改進(jìn)算法存在的不足，并對(duì)未來可能的研究方向進(jìn)行了展望，為了得到更有效的結(jié)論，需要在未來可能的研究方向上進(jìn)行更深入的研究和分析。