吳賓，陳允，孫中川，葉陽(yáng)東

（鄭州大學(xué)信息工程學(xué)院，河南 鄭州 450001）

1 引言

隨著網(wǎng)絡(luò)信息的爆炸式增長(zhǎng)，如何從海量數(shù)據(jù)中幫助用戶快速獲取所需信息，已成為信息檢索領(lǐng)域亟待解決的問(wèn)題。相比于傳統(tǒng)的搜索引擎技術(shù)，推薦技術(shù)因不需要用戶的明確需求便能主動(dòng)向用戶提供個(gè)性化服務(wù)而成為緩解這一問(wèn)題的重要工具[1-3]。近些年，眾多網(wǎng)站已將推薦技術(shù)作為系統(tǒng)的必備組件，如亞馬遜商品推薦、Netflix 電影推薦等。推薦技術(shù)不僅可以增加用戶的參與度及對(duì)系統(tǒng)的信任度，而且能夠?yàn)樯碳規(guī)?lái)可觀的收益[4]。

在現(xiàn)有的推薦技術(shù)中，協(xié)同過(guò)濾[5]技術(shù)是當(dāng)前電子商務(wù)系統(tǒng)中應(yīng)用最為廣泛的技術(shù)，其核心思想是根據(jù)目標(biāo)用戶的歷史行為記錄來(lái)尋找興趣相投的近鄰用戶，綜合考慮這些用戶的興趣愛好，幫助目標(biāo)用戶發(fā)現(xiàn)可能感興趣的物品。用戶的歷史行為記錄通?？煞譃閮深悾?)顯式反饋，即評(píng)分信息，例如亞馬遜網(wǎng)站用戶對(duì)所購(gòu)買的物品打出1～5 的評(píng)分，該評(píng)分能夠明確地表達(dá)用戶對(duì)物品的喜好程度；2)隱式反饋，例如購(gòu)買、點(diǎn)擊、瀏覽等信息，其不能明確表達(dá)用戶對(duì)物品的喜好程度，但在一定程度上反映了用戶感興趣的物品。早期的協(xié)同過(guò)濾技術(shù)主要基于顯式反饋來(lái)處理推薦系統(tǒng)中的評(píng)分預(yù)測(cè)任務(wù)[6]。相比不易收集的評(píng)分信息，隱式反饋的形式多樣性和易獲取的特性使基于隱式反饋的推薦模型更具實(shí)用性。近些年，基于隱式反饋信息的建模方法通?？煞譃閮深怺7]：?jiǎn)沃蹬判颍╬ointwise ranking）[8-9]和成對(duì)排序（pairwise ranking）[10-12]。單值排序方法通常潛在地假設(shè)用戶已交互的物品為正樣本且所有未交互物品為負(fù)樣本。與單值排序方法不同，成對(duì)排序方法基于一個(gè)更弱的假設(shè)[10]，即用戶對(duì)已交互物品的喜好強(qiáng)于未交互的物品。相比單值排序方法優(yōu)化用戶對(duì)物品的絕對(duì)偏好，成對(duì)排序方法優(yōu)化物品之間相對(duì)排名位置的建模方式顯得更加合理。

在眾多基于成對(duì)排序的推薦模型中，貝葉斯個(gè)性化排序（BPR,Bayesian personalized ranking）[10]因具有理論完備、精度較高、易于實(shí)現(xiàn)等優(yōu)點(diǎn)受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。當(dāng)前已有不少推薦算法擴(kuò)展了該模型[13-15]，如融合社會(huì)關(guān)系的SBPR（social Bayesian personalized ranking）[13]、融合多級(jí)反饋信息的BPR++[14]、融合用戶瀏覽信息的BPR+view[11]等。上述模型僅從用戶角度來(lái)構(gòu)建用戶-物品樣本對(duì)，忽略了從物品角度建模物品之間內(nèi)在的功能關(guān)系。在現(xiàn)實(shí)生活中，用戶在做出購(gòu)買決策時(shí)，不僅受自身喜好的影響，還受物品在功能上互補(bǔ)關(guān)系的影響因素。在圖1 手機(jī)及配件推薦場(chǎng)景中，Lily 已經(jīng)購(gòu)買了手機(jī)、耳機(jī)、自拍桿等商品，亞馬遜網(wǎng)站向其推薦與已購(gòu)買物品存在功能互補(bǔ)關(guān)系的手機(jī)殼可能更為合適；在寵物用品推薦場(chǎng)景中，Jason 的歷史購(gòu)買列表中有狗糧、寵物牽引繩、寵物墊子、寵物項(xiàng)圈等商品，此時(shí)系統(tǒng)向用戶推薦寵物沐浴露更為合適。圖1 所示的2 個(gè)推薦場(chǎng)景通過(guò)考慮商品之間的互補(bǔ)關(guān)系，這不僅避免了產(chǎn)生重復(fù)性推薦，同時(shí)滿足了用戶的當(dāng)前需求。

對(duì)于成對(duì)排序方法而言，推薦模型的學(xué)習(xí)通常需要選取合適的正負(fù)樣本對(duì)。在現(xiàn)實(shí)商業(yè)推薦場(chǎng)景中，用戶與物品之間的歷史交互數(shù)據(jù)通常具有長(zhǎng)尾分布的特性[15]，這使負(fù)樣本的選取對(duì)于模型的精度和收斂性都有很大影響[16]。在采樣過(guò)程中，需要選取一個(gè)比正樣本具有更高排名的負(fù)樣本，從而能夠有效地更新參數(shù)并訓(xùn)練模型[17]。原始BPR 模型基于均勻采樣策略構(gòu)建正負(fù)樣本對(duì)，該策略未考慮物品流行度和上下文信息的影響，同時(shí)忽略了正負(fù)樣本的相對(duì)排名位置。當(dāng)選取的正樣本比負(fù)樣本的排名位置靠前時(shí)，該正負(fù)樣本對(duì)用于模型訓(xùn)練的貢獻(xiàn)甚微。文獻(xiàn)[16]提出了自適應(yīng)采樣策略，該策略每次迭代時(shí)根據(jù)當(dāng)前正樣本排名選取負(fù)樣本，每隔固定的迭代次數(shù)更新一次排名信息。相比均勻采樣策略，該策略的收斂更快，但忽略了正樣本當(dāng)前排名位置對(duì)于學(xué)習(xí)模型梯度的影響。

圖1 亞馬遜網(wǎng)站的商品推薦案例

針對(duì)上述問(wèn)題，本文從用戶和物品2 個(gè)角度，同時(shí)考慮用戶-物品之間的交互關(guān)系和物品之間在功能上的互補(bǔ)關(guān)系，提出一種聯(lián)合成對(duì)排序的推薦模型?？紤]到正樣本的排名位置和負(fù)樣本的選取將直接影響模型精度及收斂速度，本文進(jìn)一步構(gòu)建了一種新穎的排序感知策略，使每次迭代均能合理選取正負(fù)樣本對(duì)并根據(jù)正樣本的當(dāng)前排名位置動(dòng)態(tài)控制模型學(xué)習(xí)梯度。最后基于該策略設(shè)計(jì)了一種高效的協(xié)同過(guò)濾推薦（CPR,co-pairwise ranking）學(xué)習(xí)算法，用于求解所提出模型的參數(shù)。

本文主要貢獻(xiàn)如下。

1)依據(jù)用戶與物品之間的交互關(guān)系與物品和物品之間在功能上的互補(bǔ)關(guān)系分別從用戶和物品2 個(gè)角度構(gòu)建正負(fù)樣本對(duì)，提出一種聯(lián)合成對(duì)排序的推薦模型。

2)構(gòu)建一種新穎的排序感知策略，該策略不僅能夠合理選取負(fù)樣本，而且可以根據(jù)正樣本當(dāng)前排名位置動(dòng)態(tài)控制模型學(xué)習(xí)梯度。

3)設(shè)計(jì)一種高效的協(xié)同過(guò)濾推薦算法——CPR。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的算法在推薦精度及收斂速度上均優(yōu)于當(dāng)前主流推薦算法。

2 相關(guān)工作

單值排序方法通常把物品排序任務(wù)轉(zhuǎn)化為回歸或分類問(wèn)題，將觀測(cè)數(shù)據(jù)視為正樣本，并將所有未觀測(cè)數(shù)據(jù)視為負(fù)樣本。系統(tǒng)從觀測(cè)數(shù)據(jù)和未觀測(cè)數(shù)據(jù)中學(xué)習(xí)一個(gè)回歸或分類函數(shù)，并基于該函數(shù)預(yù)測(cè)用戶對(duì)物品的喜好程度，最后根據(jù)喜好程度進(jìn)行排序獲得推薦列表。Hu 等[8]提出一種加權(quán)正則化矩陣分解（WRMF,weighted regularized matrix factorization）模型，該模型通過(guò)學(xué)習(xí)一個(gè)加權(quán)平方損失函數(shù)來(lái)建模用戶和物品之間的交互關(guān)系。盡管該模型基于權(quán)重策略緩解了正負(fù)樣本不平衡的問(wèn)題，但存在所有負(fù)樣本使用相同權(quán)重的問(wèn)題。為了解決該問(wèn)題，He 等[9]設(shè)計(jì)了一種用于負(fù)樣本的基于物品流行度的可變權(quán)重策略，使改進(jìn)后的模型性能明顯提升。He 等[17]又提出了一種神經(jīng)矩陣分解（NeuMF,neural matrix factorization）模型，該模型統(tǒng)一了矩陣分解模型的線性優(yōu)勢(shì)和多層感知機(jī)的非線性優(yōu)勢(shì)。

相比于單值排序方法，成對(duì)排序方法更加關(guān)注物品之間的相對(duì)排名位置。該類方法通常假設(shè)用戶對(duì)已交互物品的喜好要強(qiáng)于未交互物品。貝葉斯個(gè)性化排序[10]由于理論完備、可擴(kuò)展性強(qiáng)、易于實(shí)現(xiàn)等優(yōu)勢(shì)已成為成對(duì)排序方法中的經(jīng)典模型。近些年，不少學(xué)者以此為出發(fā)點(diǎn)，提出了許多擴(kuò)展的模型并取得了不錯(cuò)的推薦效果。例如，Zhao 等[13]融入用戶社交關(guān)系，構(gòu)建社會(huì)化貝葉斯個(gè)性化排序（SBPR,social Bayesian personalized ranking）模型，該模型潛在地滿足2 個(gè)假設(shè)：1)用戶對(duì)自身購(gòu)買物品的偏好要強(qiáng)于其朋友購(gòu)買過(guò)的物品；2)用戶對(duì)自身或朋友購(gòu)買過(guò)物品的喜好要強(qiáng)于兩者均未購(gòu)買的物品。Zhao 等[13]通過(guò)大量實(shí)驗(yàn)驗(yàn)證了上述假設(shè)的成立。Chen 等[18]通過(guò)設(shè)計(jì)一種計(jì)算用戶之間局部相似性的模式來(lái)改進(jìn)BPR 模型，提出局部相似度的貝葉斯個(gè)性化排序（HLBPR,hybrid local Bayesian personal ranking）。Ding 等[11]提出了一種改進(jìn)的貝葉斯個(gè)性化排序（BPR+view）模型，該模型通過(guò)考慮用戶的瀏覽信息減小了對(duì)負(fù)樣本的搜索空間。這些模型雖然通過(guò)融入額外信息提升了原始BPR 的推薦精度，但負(fù)樣本的選取依然基于均勻采樣。Rendle 等[16]認(rèn)為現(xiàn)實(shí)世界中物品的流行度大都符合長(zhǎng)尾分布，這使負(fù)樣本基于均勻采樣的算法面臨著收斂緩慢問(wèn)題，鑒于此，提出了一種自適應(yīng)的負(fù)采樣算法，并將其用于原始的BPR 模型。

上述工作主要側(cè)重于從用戶角度優(yōu)化物品之間的相對(duì)排名位置，忽略了物品之間內(nèi)在的功能關(guān)系對(duì)用戶決策的影響。本文同時(shí)從用戶和物品2 個(gè)角度對(duì)決策過(guò)程進(jìn)行建模，即分別基于用戶歷史購(gòu)買記錄和物品的聯(lián)合購(gòu)買記錄構(gòu)建正負(fù)樣本對(duì)。其次，在構(gòu)建正負(fù)樣本對(duì)時(shí)，上述模型均忽略了正樣本的當(dāng)前排名位置對(duì)于模型學(xué)習(xí)梯度的影響，鑒于此，本文設(shè)計(jì)了一種新穎的排序感知策略，該策略不僅能夠自適應(yīng)地選擇負(fù)樣本，而且能夠根據(jù)正樣本當(dāng)前的排名位置動(dòng)態(tài)控制模型學(xué)習(xí)梯度。

3 預(yù)備知識(shí)

3.1 符號(hào)定義

本文使用黑斜體的大寫字母表示矩陣(如P)，并使用黑斜體的小寫字母表示向量(如p)，集合用花體表示(如U)。用字符上加^表示預(yù)測(cè)值(如)。本文的主要符號(hào)及其含義如表1 所示。

表1 主要符號(hào)及其含義

本文用矩陣R=[rui]m×n表示用戶-物品交互矩陣，其中，u表示用戶，i表示物品，用戶u購(gòu)買過(guò)物品i則rui=1，否則rui=0。矩陣C=[ckv]n×n表示物品-物品互補(bǔ)矩陣，ckv表示物品k與物品v之間互補(bǔ)程度，用戶經(jīng)常聯(lián)合購(gòu)買物品k與物品v則ckv=1，否則ckv=0 。用戶-物品成對(duì)樣本集合為DT={(u,i,j)|i∈Iu,j∈IIu}，其中IIu表示用戶u未購(gòu)買物品集合。物品-物品成對(duì)樣本集合為DS={(k,v,w)|v∈Ik,w∈IIk}，其中IIk表示未與物品k進(jìn)行聯(lián)合購(gòu)買的物品集合。本文的目標(biāo)是向每個(gè)用戶生成一個(gè)個(gè)性化的物品排序列表，表中的物品來(lái)自用戶未購(gòu)買過(guò)的物品 {j| (u,j)?T }。

3.2 貝葉斯個(gè)性化排序

成對(duì)排序方法通常使用(u,i)?(u,j)表示用戶u對(duì)物品i的喜好強(qiáng)于物品j的。δ(b)是二元指示函數(shù)，b為真，則δ(b)=1，否則δ(b)=0。δ((u,i)?(u,j))表示用戶對(duì)物品i的喜好是否強(qiáng)于物品j。基于δ((u,i)?(u,j))的伯努利分布計(jì)算用戶u與所有物品的成對(duì)喜好似然表示為

基于式(1)的成對(duì)喜好似然表示，Rendle 等[10]提出了一種貝葉斯個(gè)性化排序的推薦模型。從準(zhǔn)確性和效率兩方面來(lái)看，該模型是解決推薦系統(tǒng)中物品排序任務(wù)的主流模型，其滿足以下假設(shè)條件。

假設(shè) 1對(duì)于用戶u，物品i∈Iu，物品j∈I Iu，用戶u對(duì)物品i的喜好程度強(qiáng)于物品j，其形式化可表示為(u,i)?(u,j)或＞ 0。

基于該假設(shè)所有用戶的成對(duì)喜好似然表示為

通常使用 Sigmod 函數(shù)σ(x)=近似于。最大化式(2)等價(jià)于優(yōu)化式(3)所示的目標(biāo)函數(shù)。

其中，θλ為模型超參數(shù)，θ為求解的模型參數(shù)。

4 聯(lián)合成對(duì)排序的推薦方法

4.1 聯(lián)合建模交互關(guān)系與互補(bǔ)關(guān)系

在現(xiàn)實(shí)生活中，除用戶自身喜好之外，物品之間的功能關(guān)系往往也是用戶做出購(gòu)買決策的重要因素。在圖1 中，用戶經(jīng)常同時(shí)購(gòu)買手機(jī)、手機(jī)殼、耳機(jī)等物品，文獻(xiàn)[19-20]分析得出這些物品在功能上通常具有互補(bǔ)性。合理使用物品之間的互補(bǔ)關(guān)系對(duì)用戶的決策過(guò)程進(jìn)行建模，不僅有助于提升推薦系統(tǒng)的精確度，而且有助于增加推薦結(jié)果的多樣性與用戶的滿意度。與文獻(xiàn)[20]做法一致，本文使用數(shù)據(jù)集中聯(lián)合購(gòu)買記錄來(lái)構(gòu)建物品之間在功能上的互補(bǔ)關(guān)系。與建模用戶和物品之間的交互關(guān)系相似，對(duì)于物品之間的互補(bǔ)關(guān)系需要滿足以下假設(shè)。

假設(shè) 2對(duì)于物品k，物品v∈Ik，物品w∈IIk，存在物品k對(duì)物品v的互補(bǔ)程度強(qiáng)于對(duì)物品w的，可形式化表示為(k,v)?(k,w)或＞ 0。

假定系統(tǒng)中存在m個(gè)用戶和n個(gè)物品，那么根據(jù)用戶的歷史購(gòu)買記錄可以構(gòu)建用戶-物品的交互矩陣R=[rui]m×n，根據(jù)聯(lián)合購(gòu)買信息可以構(gòu)建物品-物品的互補(bǔ)矩陣C=[ckv]n×n

[19-20]。本文用P∈Rm×d表示用戶潛在特征矩陣，Q∈Rn×d表示物品潛在特征矩陣，up表示用戶u的潛在特征向量，iq表示物品i的潛在特征向量。在電子商務(wù)系統(tǒng)中，物品之間的互補(bǔ)關(guān)系通常具有方向性，譬如用戶u最近購(gòu)買了手機(jī)，向其推薦手機(jī)殼是比較合適的；但反向推薦不但不能增加商家的銷售量，反而會(huì)降低用戶對(duì)系統(tǒng)的信任度。如果僅用矩陣Q建模物品之間的互補(bǔ)關(guān)系，將無(wú)法體現(xiàn)互補(bǔ)關(guān)系的有向性，即。鑒于此，本文引入互補(bǔ)潛在特征矩陣H∈Rn×d，使學(xué)習(xí)的互補(bǔ)關(guān)系具有方向性，即，其中hv、hk分別表示建模物品v和k在功能互補(bǔ)方面的特征向量。聯(lián)合假設(shè)1 和假設(shè)2，從用戶自身因素和物品之間的內(nèi)在聯(lián)系這2 個(gè)角度建模用戶的決策過(guò)程，如式(4)所示。

其中，有

其中，β是超參數(shù)，控制物品的互補(bǔ)關(guān)系在用戶決策過(guò)程中所占的比重。與式(2)類似，如使用近似于，則有。最大化式(4)等價(jià)于優(yōu)化式(5)所示的目標(biāo)函數(shù)。

4.2 融合排序感知策略的聯(lián)合成對(duì)排序模型

對(duì)于成對(duì)排序方法而言，其最終優(yōu)化目標(biāo)是將用戶喜歡的物品排在推薦列表比較靠前的位置。然而，當(dāng)前成對(duì)排序方法大都忽略了正樣本的當(dāng)前排名位置及負(fù)樣本的選取對(duì)于推薦結(jié)果的影響。為了更加清晰地闡述，本節(jié)給出一個(gè)直觀的例子，如圖2所示。對(duì)比圖2(a)和圖2(b)可知，圖2(a)中正樣本i的排名位置更接近于底部，如果與圖2(b)一樣使用相同學(xué)習(xí)梯度來(lái)更新模型的參數(shù)，這顯然降低了模型的收斂速度。對(duì)比圖2(a)和圖2(c)可知，圖2(c)中正樣本i與負(fù)樣本j的相對(duì)排名位置趨向于理想的排名列表。如若選取類似于圖2(c)中的正負(fù)樣本對(duì)，那么該負(fù)樣本對(duì)于模型訓(xùn)練貢獻(xiàn)甚微。為了解決當(dāng)前多數(shù)方法面臨的這個(gè)問(wèn)題，本文設(shè)計(jì)了一種新穎的排序感知策略，該策略能夠根據(jù)正樣本的當(dāng)前排名位置動(dòng)態(tài)地定義權(quán)重函數(shù)，并能夠根據(jù)當(dāng)前的正樣本選取合適的負(fù)樣本。

圖2 用戶u的3 種排序列表

給定用戶u，本文用iγ表示正樣本i在用戶推薦列表中的排名位置。由圖2 可知，正樣本的排名位置越高（越接近底部），對(duì)于模型的梯度更新應(yīng)該貢獻(xiàn)越大。受此啟發(fā)，可定義權(quán)重函數(shù)為

從式(6)和式(8)可看出，權(quán)重函數(shù)是一個(gè)遞增函數(shù)，γi和γv越大表明正樣本的排名位置越接近底部，其權(quán)重值越大，從而模型學(xué)習(xí)速度越快。通過(guò)將式(6)和式(8)代入式(5)中可得出最終聯(lián)合成對(duì)排序模型的目標(biāo)函數(shù)如式(10)所示。

式(10)所示的目標(biāo)函數(shù)通過(guò)排序感知策略不僅能選取比正樣本排名更靠前的負(fù)樣本，而且能根據(jù)正樣本的當(dāng)前排名位置動(dòng)態(tài)地控制模型學(xué)習(xí)梯度。

4.3 模型求解

基于成對(duì)排序的推薦模型通常直接采用隨機(jī)梯度下降優(yōu)化算法[9]求解模型的參數(shù)。然而從表2可以看出，用戶的歷史購(gòu)買信息與物品的聯(lián)合購(gòu)買信息極度不平衡，即前者遠(yuǎn)比后者稠密，直接優(yōu)化本文模型將會(huì)導(dǎo)致不能有效使用后者信息。鑒于此，本文采用交替優(yōu)化方式[21]對(duì)式(10)進(jìn)行求解，即首先使用用戶和物品之間的交互關(guān)系求解參數(shù)pu、qi、qj，然后基于物品之間的互補(bǔ)關(guān)系求解qk、hv、hw。對(duì)于的求解結(jié)果如式(11)所示。

本節(jié)在算法1 給出了求解所提模型的詳細(xì)步驟。

算法1求解所提模型的詳細(xì)步驟

算法1的時(shí)間復(fù)雜度主要包括負(fù)采樣過(guò)程和各梯度變量的更新。獲取用戶-物品正負(fù)樣本對(duì)和物品-物品正負(fù)樣本對(duì)的時(shí)間復(fù)雜度分別為和，其中，表示建模交互關(guān)系時(shí)選取有效負(fù)樣本平均需要的次數(shù)，且表示建模互補(bǔ)關(guān)系時(shí)選取有效負(fù)樣本平均需要的次數(shù)，且。計(jì)算各梯度的時(shí)間復(fù)雜度均為O(d)。因此，CPR 算法每次迭代的復(fù)雜度為，其中，表示用戶歷史購(gòu)買數(shù)量，表示聯(lián)合購(gòu)買數(shù)量。由此可看出，算法1 的整體復(fù)雜度與歷史購(gòu)買數(shù)量和聯(lián)合購(gòu)買數(shù)量呈線性相關(guān)。

5 實(shí)驗(yàn)結(jié)果及分析

5.1 數(shù)據(jù)集介紹

為了驗(yàn)證CPR 算法在Top-N推薦上的有效性，本文在4 個(gè)不同規(guī)模的亞馬遜數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中所使用的數(shù)據(jù)集分別為Health and Personal Care、Video Games、Pet Supplies 和Cell Phones and Accessories，這些數(shù)據(jù)集含有豐富的元數(shù)據(jù)信息，如用戶歷史購(gòu)買記錄、物品圖片信息、用戶的評(píng)論、物品之間的聯(lián)合購(gòu)買等信息。在這些數(shù)據(jù)中，本文使用用戶歷史購(gòu)買記錄構(gòu)建用戶和物品之間的交互關(guān)系，使用聯(lián)合購(gòu)買信息[19-20]構(gòu)建物品和物品之間的互補(bǔ)關(guān)系。

實(shí)驗(yàn)中對(duì)4 個(gè)數(shù)據(jù)集進(jìn)行初步處理，剔除歷史購(gòu)買記錄少于5 個(gè)的用戶，表2 給出了最終所使用數(shù)據(jù)集的一些統(tǒng)計(jì)特性。

5.2 評(píng)價(jià)指標(biāo)

1)準(zhǔn)確率和召回率

準(zhǔn)確率（Precision）定義為正確預(yù)測(cè)的物品數(shù)與推薦列表長(zhǎng)度N的比值。召回率（Recall）定義為正確預(yù)測(cè)的物品數(shù)與用戶u在測(cè)試集中真正購(gòu)買的物品數(shù)的比值。假定使用lrec表示用戶u的推薦列表，ltes表示用戶u在測(cè)試集中真實(shí)購(gòu)買的物品列表。準(zhǔn)確率和召回率的定義如下所示。

2)平均準(zhǔn)確率

平均準(zhǔn)確率（MAP,mean average precision）是衡量所有用戶Top-N推薦列表的平均準(zhǔn)確率，用于評(píng)價(jià)推薦的平均質(zhì)量。AP(average precision)為單個(gè)用戶的平均準(zhǔn)確率，定義如式(14)所示。

其中，P(a)表示在Top-N推薦列表中前a個(gè)位置的準(zhǔn)確率；δ(a)是一個(gè)指示函數(shù)，若在測(cè)試集中用戶購(gòu)買了排序?yàn)閍的物品，則δ(a)指示函數(shù)值為1，否則為0。MAP 為所有用戶在AP 上的平均值。

3)平均折損累積增益

平均折損累積增益（DCG,discounted cumulative gain）是衡量推薦列表與真實(shí)購(gòu)買列表相關(guān)度的指標(biāo)。若用戶u購(gòu)買了推薦列表中第j個(gè)物品則relj=1，否則relj=0。其定義如式(15)所示。

其中，DCG*@(u)是DCG(u)的理想最大值，平均折損累積增益（NDCG,normalize discounted cumulative gain）為所有用戶DCG 的平均值，其定義如式(16)所示。

5.3 算法對(duì)比及實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)中，CPR 算法及各對(duì)比算法均基于開源算法庫(kù)Librec 實(shí)現(xiàn)。為了驗(yàn)證物品之間在功能上的互補(bǔ)關(guān)系和排序感知策略對(duì)于推薦結(jié)果的影響，本文選取以下7 種主流推薦算法進(jìn)行對(duì)比。

1)POP（popular）：該算法是一種非個(gè)性化推薦算法，根據(jù)物品流行度向用戶推薦當(dāng)前最熱門的物品。

2)BPR[10]：該推薦算法主要優(yōu)化用戶對(duì)不同物品的相對(duì)排序，即用戶對(duì)于已購(gòu)買物品的喜好強(qiáng)于未購(gòu)買物品，從而得出每個(gè)用戶對(duì)所有物品的偏序關(guān)系。

3)GBPR（group Bayesian personalized ranking）[7]：該算法是對(duì)BPR 的一種擴(kuò)展，考慮了群組用戶偏好對(duì)個(gè)體偏好的影響，并弱化了原始模型中用戶之間相互獨(dú)立的假設(shè)。

4)AOBPR（adaptive over-sampling Bayesian personalized ranking）[16]：一種基于BPR 的擴(kuò)展推薦算法，采用自適應(yīng)采樣策略優(yōu)化采樣。該算法每隔固定的迭代次數(shù)更新一次物品排序列表，并根據(jù)當(dāng)前的正樣本排名選取負(fù)樣本。

表2 4 個(gè)數(shù)據(jù)集的統(tǒng)計(jì)特性

5)WARP（weighted approximate-rank pair wise ranking）[22]：由Weston 等[22]提出的一種成對(duì)排序?qū)W習(xí)算法，該算法同樣采用自適應(yīng)采樣策略選取負(fù)樣本，但與AOBPR 不同，它基于間隔鉸鏈損失(hinge loss)函數(shù)來(lái)求解目標(biāo)函數(shù)。

6)UPR（uniform over-sampling pair wise ranking）：本文設(shè)計(jì)的對(duì)比算法之一，該算法同時(shí)考慮了用戶-物品的交互關(guān)系和物品之間在功能上的互補(bǔ)關(guān)系，但采用均勻采樣策略選取負(fù)樣本，其目標(biāo)函數(shù)如式(5)所示。

7)APR（adaptive over-sampling pair wise ranking）：本文設(shè)計(jì)的對(duì)比算法之一，該算法與UPR 目標(biāo)函數(shù)相同，但采用與AOBPR 相同的自適應(yīng)采樣策略選取負(fù)樣本。

在實(shí)驗(yàn)中，首先根據(jù)每個(gè)用戶的歷史購(gòu)買記錄的時(shí)間信息進(jìn)行排序，然后選取前70%數(shù)據(jù)作為訓(xùn)練集，10%用于驗(yàn)證集，剩余的20%作為測(cè)試集。所有推薦算法的學(xué)習(xí)速率選取范圍為{0.001,0.005,0.01,0.05}，正則化超參數(shù)的選取范圍為{0.001,0.001,0.1,1} 。CPR 算法中α選取范圍為{0.6,0.8,1,1.2,1.4,1.6}，β調(diào)參范圍為{0.1,1,2,3,4,5,6} 。AOBPR 算法中ρ選取范圍為{0.01,0.03,0.05,0.07,0.1,0.3,0.5}。GBPR 算法中對(duì)于群組用戶大小的設(shè)定與原文獻(xiàn)保持一致，設(shè)置為3。本文所有實(shí)驗(yàn)在Windows 7 操作系統(tǒng)，64 GB 內(nèi)存，Intel(R)Xeon(R)CPU E5-26200 @2.00 GHz 服務(wù)器上進(jìn)行。

5.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)1全局實(shí)驗(yàn)

本實(shí)驗(yàn)用于對(duì)比各推薦算法在4 個(gè)不同規(guī)模和稀疏度的數(shù)據(jù)集上的性能。本實(shí)驗(yàn)設(shè)置潛在特征向量維度d分別為50 和100，推薦列表長(zhǎng)度N為10。表3 詳細(xì)展示了各算法在Precision、Recall、MAP和NDCG 這4 個(gè)評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果(均已乘以100)，從表3 中可得出以下4 個(gè)結(jié)論。

1)在4 個(gè)數(shù)據(jù)集上，BPR、GBPR 和AOBPR算法均優(yōu)于非個(gè)性化推薦算法POP，這表明個(gè)性化推薦算法能夠更好地發(fā)掘用戶的喜好。

2)由表2 可知4 個(gè)數(shù)據(jù)集的歷史購(gòu)買記錄均極為稀疏。BPR 和UPR 算法采用均勻采樣策略，但UPR 同時(shí)考慮了用戶的歷史購(gòu)買記錄和物品的聯(lián)合購(gòu)買記錄。從表3 中不難看出，UPR 的推薦精度要優(yōu)于BPR，這說(shuō)明考慮輔助信息在一定程度上緩解了推薦系統(tǒng)面臨的數(shù)據(jù)稀疏問(wèn)題，同時(shí)驗(yàn)證了本文假設(shè)2 的成立。

3)使用自適應(yīng)負(fù)采樣策略的APR 推薦精度要明顯優(yōu)于使用均勻負(fù)采樣策略的UPR，這說(shuō)明負(fù)樣本的選擇策略對(duì)于模型的性能起著至關(guān)重要的作用。

4)采用排序感知策略的CPR 明顯優(yōu)于APR。這是因?yàn)镃PR 每次迭代均考慮正樣本的當(dāng)前排名位置對(duì)于模型訓(xùn)練的影響，動(dòng)態(tài)控制了模型的學(xué)習(xí)梯度。

實(shí)驗(yàn)2不同推薦列表長(zhǎng)度下的性能對(duì)比

為了驗(yàn)證各推薦算法在不同推薦列表長(zhǎng)度N下的性能，本實(shí)驗(yàn)在潛在特征向量維度為100，推薦列表長(zhǎng)度N={10,15,20,25}的條件下進(jìn)行了實(shí)驗(yàn)。由于空間限制，本文僅展示了 Precision@N和Recall@N指標(biāo)上的實(shí)驗(yàn)結(jié)果，如圖3 所示。從圖3中可得出以下主要結(jié)論。

1)在不同推薦列表長(zhǎng)度下，各算法具有相同的變化趨勢(shì)；隨著N的增大，在各算法的Precision逐漸下降，Recall 逐漸上升。

2)CPR 算法在4 個(gè)數(shù)據(jù)集的不同推薦列表長(zhǎng)度下均優(yōu)于其他主流的推薦算法，這進(jìn)一步驗(yàn)證了本文算法的有效性及假設(shè)2 的合理性。

實(shí)驗(yàn)3不同歷史購(gòu)買數(shù)量下的性能對(duì)比

為了分析在不同用戶上各推薦算法的性能，本實(shí)驗(yàn)依據(jù)訓(xùn)練集中用戶的歷史購(gòu)買數(shù)量將用戶劃分為1～10、11～15、16～20、＞20 這4 組，圖4 顯示了4 個(gè)數(shù)據(jù)集中每組用戶所占比例。從圖4 中可看出歷史購(gòu)買數(shù)量少于10 個(gè)的用戶占大部分，即多數(shù)用戶為不活躍用戶。依據(jù)用戶的歷史購(gòu)買數(shù)量進(jìn)行分組之后，使用訓(xùn)練集來(lái)學(xué)習(xí)各推薦算法，然后在測(cè)試集上分別計(jì)算4 組用戶的推薦精度。圖5 展示了CPR 與3 種對(duì)比算法在Precision@10 上的實(shí)驗(yàn)結(jié)果，由此可得出以下結(jié)論。

1)在第一組用戶上，UPR 的精度均優(yōu)于BPR。這是因?yàn)樵摻M用戶歷史購(gòu)買數(shù)據(jù)比較稀疏，融入物品之間的功能互補(bǔ)關(guān)系不僅有助于緩解數(shù)據(jù)稀疏問(wèn)題，同時(shí)更加合理地對(duì)用戶和物品進(jìn)行了建模。

表3 在4 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

2)隨著用戶購(gòu)買數(shù)量的增加，各推薦算法的Precision@10 值也隨之增加。這是因?yàn)橛脩舻馁?gòu)買數(shù)量增多，訓(xùn)練模型可使用的數(shù)據(jù)變得更豐富，更易學(xué)習(xí)到用戶的潛在特征向量。值得注意的是，CPR 算法在4 組用戶上均明顯優(yōu)于各對(duì)比算法，這是因?yàn)樵撍惴ú粌H考慮了物品之間在功能上的互補(bǔ)關(guān)系，同時(shí)采用排序感知的負(fù)采樣策略，使每次迭代時(shí)模型學(xué)習(xí)梯度均趨向較優(yōu)的方向。

實(shí)驗(yàn)4收斂性分析

圖3 不同N值下的性能對(duì)比

為了分析CPR 算法在收斂性上的優(yōu)勢(shì)，本實(shí)驗(yàn)統(tǒng)一設(shè)置各算法的潛在特征向量維度d為50，并迭代1 000 次。圖6 詳細(xì)展示了該實(shí)驗(yàn)結(jié)果，其中橫軸表示迭代次數(shù)，縱軸表示評(píng)估指標(biāo)(實(shí)驗(yàn)結(jié)果均已乘以100)。由于各推薦算法在4 個(gè)指標(biāo)上具有相似的結(jié)論，本實(shí)驗(yàn)僅展示在Precision@10 指標(biāo)下各算法的收斂趨勢(shì)。從圖6 中可得出以下3 種結(jié)果。

圖4 不同歷史購(gòu)買記錄下用戶的分布

1)4 種推薦算法隨著迭代次數(shù)的增加均趨于收斂，最終在很小的范圍內(nèi)波動(dòng)。相比于采用均勻采樣策略的算法BPR，采用自適應(yīng)采樣策略的算法AOBPR 和APR 具有收斂快的特點(diǎn)，這與文獻(xiàn)[16]結(jié)論一致。

2)APR 與AOBPR 均采用自適應(yīng)負(fù)采樣策略，但具有不同的收斂速度。從圖6 可以看出，在4 個(gè)數(shù)據(jù)集上融入物品之間功能互補(bǔ)關(guān)系的APR 算法收斂速度更快。這說(shuō)明輔助信息的融入有助于模型更易學(xué)習(xí)出用戶和物品的潛在特征向量，從而加快了算法的收斂速度。

3)除Pet Supplies 以外，在其他數(shù)據(jù)集上迭代30～50 次使用不同采樣策略的APR 和CPR 收斂速度基本重合。當(dāng)APR 算法趨于收斂時(shí)，CPR 算法依然有推薦精度上的提升。這是因?yàn)镃PR 算法采用了排序感知采樣策略，使得每次迭代不僅能夠選取有效的負(fù)樣本，并能根據(jù)正樣本的當(dāng)前排名位置動(dòng)態(tài)控制模型的學(xué)習(xí)梯度。

實(shí)驗(yàn)5超參數(shù)對(duì)算法的影響

為了分析CPR 算法中2 個(gè)重要超參數(shù)對(duì)于推薦精度的影響，本文在4 個(gè)數(shù)據(jù)集上詳細(xì)討論了不同取值下的實(shí)驗(yàn)結(jié)果，如圖7 所示。其中，超參數(shù)α取值范圍為{0.6,0.8,1.0,1.2,1.4,1.6}，超參數(shù)β取值范圍為{0,1.0,1.5,2,2.5,3}。從圖7 可得出以下2 個(gè)結(jié)論。

圖5 不同歷史購(gòu)買記錄下各算法對(duì)比結(jié)果

圖6 收斂性對(duì)比

1)α控制著正樣本與負(fù)樣本之間的排名間隔，其值越大，表示在已知正樣本排名位置的情況下，選取負(fù)樣本的排名越靠近頂部。在4 個(gè)數(shù)據(jù)集上超參數(shù)α的值從0.6 開始NDCG@10 值先上升到達(dá)某個(gè)閾值后下降，這說(shuō)明正負(fù)樣本的排名間隔直接影響著CPR 算法的性能。α值較小時(shí)模型訓(xùn)練變慢，在有限迭代次數(shù)下，其推薦性能將會(huì)受到影響；相反α值較大時(shí)，不僅在選取負(fù)樣本時(shí)可能需要更多時(shí)間開銷，而且當(dāng)正樣本排名比較靠近頂部時(shí)，可能選擇不到符合條件的負(fù)樣本，使該次迭代對(duì)于學(xué)習(xí)模型參數(shù)貢獻(xiàn)甚微。

2)β控制著物品之間的功能互補(bǔ)關(guān)系在用戶決策過(guò)程中所占的比重。當(dāng)β為0 時(shí)，表示僅考慮用戶歷史購(gòu)買信息，并采用排序感知策略選取負(fù)樣本的實(shí)驗(yàn)結(jié)果。從圖7 可看出，在超參數(shù)β為0 時(shí)，實(shí)驗(yàn)結(jié)果較差，這說(shuō)明物品之間在功能上的互補(bǔ)關(guān)系在用戶決策過(guò)程中起著積極的作用。但當(dāng)超參數(shù)β的值超過(guò)某個(gè)閾值時(shí)，其推薦結(jié)果開始下降，這因?yàn)檫^(guò)度依賴物品之間的互補(bǔ)關(guān)系將失去用戶自身偏好的影響，使推薦系統(tǒng)的個(gè)性化程度降低，從而影響了推薦性能。

圖7 超參數(shù)的影響

表4 在4 個(gè)數(shù)據(jù)集上各算法運(yùn)行時(shí)長(zhǎng)(時(shí):分:秒)

實(shí)驗(yàn)6各算法運(yùn)行時(shí)間對(duì)比

為了檢驗(yàn)本文算法的效率，實(shí)驗(yàn)6 詳細(xì)對(duì)比了不同推薦算法的訓(xùn)練時(shí)間。不同推薦算法在4 個(gè)數(shù)據(jù)集上的訓(xùn)練時(shí)間如表4 所示(d=50)。

從表4 可觀察出，AOBPR 和 WARP 在4 個(gè)數(shù)據(jù)集上的訓(xùn)練時(shí)間均多于BPR。這說(shuō)明在每次迭代中選取高質(zhì)量的負(fù)樣本需要額外的時(shí)間開銷。GBPR 和 UPR 在效率方面弱于BPR,這是因?yàn)锽PR 僅使用用戶的歷史購(gòu)買記錄，而GBPR 和UPR為了更準(zhǔn)確地建模用戶的喜好而引入了輔助信息。在4 個(gè)數(shù)據(jù)集上，本文算法CPR 效率均優(yōu)于APR，這說(shuō)明本文所設(shè)計(jì)的排序感知采樣策略要優(yōu)于文獻(xiàn)[16]所設(shè)計(jì)的自適應(yīng)采樣策略。綜上所述，從實(shí)驗(yàn)結(jié)果來(lái)看：本文所提出的融合用戶-物品交互關(guān)系和物品之間互補(bǔ)關(guān)系的CPR算法在4個(gè)數(shù)據(jù)集上其推薦準(zhǔn)確性優(yōu)于各對(duì)比算法；在學(xué)習(xí)模型參數(shù)的效率方面，本文算法與目前主流的推薦算法相當(dāng)。

6 結(jié)束語(yǔ)

現(xiàn)實(shí)生活中，用戶的購(gòu)買決策不僅出于自身的喜好，物品之間的功能互補(bǔ)關(guān)系也起著重要作用。鑒于此，本文從用戶和物品2 個(gè)角度對(duì)用戶的決策過(guò)程進(jìn)行建模，提出一種聯(lián)合成對(duì)排序的物品推薦模型。對(duì)于成對(duì)排序方法而言，正樣本的排名位置和負(fù)樣本的選取策略將直接影響模型的精度及收斂速度。進(jìn)一步，本文設(shè)計(jì)了一種新穎的排序感知策略，并基于該策略構(gòu)建了一種高效的學(xué)習(xí)算法CPR 用于求解所提模型的參數(shù)。大量實(shí)驗(yàn)結(jié)果表明，本文的算法不僅緩解了數(shù)據(jù)稀疏問(wèn)題，同時(shí)加快了模型收斂，并能夠在不同歷史購(gòu)買數(shù)量的用戶上表現(xiàn)出較優(yōu)的推薦性能。

在未來(lái)研究中，本文將探索如何結(jié)合其他輔助信息，如物品的視覺信息[23-24]、社交關(guān)系[25-26]、時(shí)間信息[27]等來(lái)進(jìn)一步改進(jìn)所提出的模型。