鄧 凱，黃佳進(jìn)，秦 進(jìn)

（1.貴州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴陽(yáng)550025；2.北京工業(yè)大學(xué)國(guó)際WIC研究院，北京100000）

0 引言

推薦系統(tǒng)旨在為用戶提供需要的物品，讓用戶能更快速更高效地找到自己所需物品。在信息過(guò)載的時(shí)代，推薦系統(tǒng)在電子商務(wù)、音樂(lè)/電影/書(shū)籍網(wǎng)址、社交平臺(tái)等許多網(wǎng)絡(luò)服務(wù)上扮演著重要的角色?，F(xiàn)如今推薦系統(tǒng)已經(jīng)成為了人們研究的熱點(diǎn)話題，并且在信息檢索、人工智能以及數(shù)據(jù)挖掘方面的關(guān)注度在逐漸增加。

在各種推薦方法中，協(xié)同過(guò)濾（Collaborative Filtering，CF）［1］已被人們廣泛采用，它通過(guò)用戶與物品之間交互的數(shù)據(jù)來(lái)預(yù)測(cè)用戶與物品間的相關(guān)性。在一種假設(shè)下：CF 通過(guò)給相似用戶推薦其他用戶喜歡的內(nèi)容；另一種假設(shè)是：基于用戶對(duì)物品的偏好找到相似的物品，然后根據(jù)用戶的歷史偏好，推薦相似的物品給他。根據(jù)不同的假設(shè)，CF 被分為兩種類型：一種是基于用戶的協(xié)同過(guò)濾方法（User-based Collaborative Filtering，UCF）；一種是基于物品的協(xié)同過(guò)濾方法（Item-based Collaborative Filtering，ICF）［2］。矩陣分解（Matrix Factorization，MF）模型［3-4］在UCF 中是一個(gè)典型的例子，通過(guò)計(jì)算該用戶的潛在因子（Latent Factor，LF）和對(duì)應(yīng)物品的LF的內(nèi)積，最后將內(nèi)積的結(jié)果作為預(yù)測(cè)的評(píng)分矩陣?；谖锲返膮f(xié)同過(guò)濾表示一個(gè)用戶已經(jīng)購(gòu)買過(guò)的物品記錄，并且通過(guò)使用該用戶要購(gòu)買的目標(biāo)物品和該用戶購(gòu)買過(guò)的物品的相似性來(lái)評(píng)估用戶-物品的相關(guān)性。為了更好地表示出一個(gè)用戶和他購(gòu)買過(guò)的物品記錄，每一個(gè)用戶都有一個(gè)固定的ID，這樣在輸入階段ICF過(guò)濾方法與UCF 相比更具有標(biāo)志性。此外，當(dāng)一個(gè)用戶有新的物品購(gòu)買記錄或者一個(gè)新用戶開(kāi)始購(gòu)買物品，不需要重新訓(xùn)練模型參數(shù)來(lái)更新推薦列表。ICF 能通過(guò)簡(jiǎn)單的檢索新購(gòu)買的物品和之前購(gòu)買過(guò)的物品的相似性來(lái)更新物品清單。然而UCF 方法像矩陣分解一樣將模型參數(shù)與用戶ID 關(guān)聯(lián)，強(qiáng)制它們?yōu)榱艘粋€(gè)用戶更新參數(shù)來(lái)更新推薦列表（MF是在線更新策略）。

在最近幾年，用戶購(gòu)買的物品被應(yīng)用在兩種常見(jiàn)的代表方法中：一種是直接采用用戶已經(jīng)購(gòu)買過(guò)的物品作為輸入向量，并且采用神經(jīng)網(wǎng)絡(luò)把輸入的向量轉(zhuǎn)化為能更好表示用戶低秩表示的學(xué)習(xí)（Latent Low-Rank Representation，LatLLR），這充分利用了神經(jīng)網(wǎng)絡(luò)的非線性和高容量特征；另一種表示將每一個(gè)被用戶購(gòu)買過(guò)的物品作為一個(gè)潛在向量，并且把這些潛在向量?jī)蓛蓛?nèi)積計(jì)算其兩個(gè)物品的相似性。前一種方法僅僅是把歷史物品轉(zhuǎn)化為一個(gè)用戶向量而沒(méi)有考慮物品之間的相似性；后一種方法考慮了物品之間的相似性，但每一個(gè)被購(gòu)買過(guò)的物品都有很多參數(shù)以及一個(gè)額外的潛在向量。因此這兩種方法各有優(yōu)勢(shì)，如果能把這些不同性能的方法整合起來(lái)將得到更好的推薦效果。

1 相關(guān)工作

雖然MF 在推薦研究中很受歡迎，但I(xiàn)CF 在推薦系統(tǒng)中效果要好于UCF。ICF 通過(guò)表示用戶所購(gòu)買的物品，在物品中編碼更多的信號(hào)輸入，并不是簡(jiǎn)單地使用ID 表示用戶的UCF。這為ICF 提供了更大的潛力，且提高了用戶偏好建模的準(zhǔn)確性和可解釋性。對(duì)于top-N 推薦，ICF 方法的準(zhǔn)確性優(yōu)于UCF 方法［5］。ICF 可以將推薦的物品解釋為與用戶之前購(gòu)買過(guò)的某些物品高度相似，這比基于“相似用戶”的解釋方案［6］更容易被用戶接受。其次，ICF在用戶偏好建模中的可組合性使得在線個(gè)性化［7］的實(shí)現(xiàn)更加容易。例如，當(dāng)用戶有新的購(gòu)買時(shí)，ICF 不需要重新訓(xùn)練模型參數(shù)來(lái)刷新推薦列表，而只需檢索與新購(gòu)買的物品相似的物品，就可以近似地得到已刷新的列表。這種策略基于用戶最近的觀看成功地在YouTube 上提供了即時(shí)個(gè)性化。相比之下，像MF 這樣的UCF方法將模型參數(shù)與用戶ID 關(guān)聯(lián)起來(lái)，使得它們必須更新模型參數(shù)來(lái)刷新用戶的推薦列表。

ICF通常是采用Pearson相關(guān)性和余弦相似度來(lái)計(jì)算兩個(gè)物品之間的相似性［8-9］。近年來(lái)，為了從數(shù)據(jù)中學(xué)習(xí)物品相似度，人們研究了獲取數(shù)據(jù)特征的方法，其中比較有代表性的兩種方法是稀疏線性方法（Sparse Linear Method，SLIM）［10］和分解物品相似度模型（Factored Item Similarity Model，F(xiàn)ISM）［11］。在FISM 中，兩個(gè)物品之間的相似性是通過(guò)它們的潛在向量乘積后得到的，可以將其視為物品-物品相似矩陣。ICF 的一些最新發(fā)現(xiàn)通過(guò)神經(jīng)注意相似度（Neural Attentive Item Similarity，NAIS）模型擴(kuò)展了FISM 模型。利用注意網(wǎng)絡(luò)區(qū)分物品間的相似性對(duì)預(yù)測(cè)更為重要，即協(xié)同去噪自動(dòng)編碼器（Collaborative Denoising Auto-Encoder，CDAE）［12］采用非線性自編碼結(jié)構(gòu)［13］學(xué)習(xí)物品相似性全局和本地SLIM，它為不同的用戶子集使用不同的SLIM模型。

MLP（Multi-Layer Perception）［1］是一個(gè)多層神經(jīng)網(wǎng)絡(luò)模型，它一般由三部分組成：一部分是輸出層且含有多個(gè)感知單元；一部分是由多個(gè)感知單元構(gòu)成的一層或者多層隱藏層；還有一部分是含有多個(gè)感知單元的的輸出層。MLP被廣泛地應(yīng)用于自然語(yǔ)言處理、圖像處理等多個(gè)領(lǐng)域。在本文工作中，將MLP 應(yīng)用于個(gè)性化推薦領(lǐng)域，用于建模用戶和物品或者是物品與物品之間的交互關(guān)系。

基于前人的研究，本文將FISM 模型和MLP 模型結(jié)合成UICF模型，這對(duì)于物品的推薦更具有表征力。

2 模型設(shè)計(jì)和描述

2.1 MLP

設(shè)用戶集U 包含M 個(gè)用戶，物品集I 包含N 個(gè)物品，ruj表示用戶u 對(duì)物品j 是否有過(guò)交互。對(duì)于隱式反饋（如購(gòu)買），ruj用二進(jìn)制數(shù)1或0表示用戶u是否和物品j有過(guò)交互，1表示有過(guò)交互，0 表示沒(méi)有。這種思想是基于物品的協(xié)同過(guò)濾，它通過(guò)一個(gè)用戶和該用戶在過(guò)去所有交互過(guò)的物品與現(xiàn)有物品i的相似性來(lái)預(yù)測(cè)該用戶對(duì)現(xiàn)有物品i的偏好。

對(duì)于用戶u 有：ru=(ru1，ru2，…，ruN)。本文把一個(gè)N 行N列的物品-物品表示為相似矩陣S。在相似矩陣S 中第i 行和第j 列表示的是第i 個(gè)物品和第j 個(gè)物品的相似性。Si表示的是物品i 和其他所有物品之間的相似性。的值表示的是用戶打算購(gòu)買的目標(biāo)物品與該用戶之前交互過(guò)物品的相似性。預(yù)測(cè)模型被表示為：

其中：W*和b*表示每一層的權(quán)重和偏置，α 是Sigmoid 激活函數(shù)。

2.2 FISM

Ru表示用戶u 購(gòu)買過(guò)的物品集，并且每一個(gè)物品被兩個(gè)嵌入向量p 和q 劃分為兩部分：一部分是預(yù)測(cè)的目標(biāo)物品，另一部分是之前與用戶交互過(guò)的物品。預(yù)測(cè)模型表示為：

式（1）采用0-1 向量直接表示一個(gè)用戶的輸入，并且把這個(gè)向量轉(zhuǎn)化成一個(gè)LatLLR 方法。兩個(gè)向量的內(nèi)積被直接用來(lái)表示物品i與購(gòu)買物品i的這個(gè)用戶之前所交互過(guò)的所有物品之間的相似性。在式（2）中，被購(gòu)買過(guò)的物品嵌入到q ∈RN×d中，其中d 是物品嵌入的維度。式（2）能被考慮作為計(jì)算物品i與購(gòu)買物品i的用戶所有交互過(guò)的物品之間相似性的一種直接方法。不同的0-1 表示，不僅從整個(gè)物品集中獲取物品的嵌入，并且這樣還包含了全局語(yǔ)義信息。對(duì)于每一個(gè)被購(gòu)買的物品，這樣的分布式表示自然可以作為用戶對(duì)物品的喜好程度。

2.3 MLP和FISM結(jié)合

為了結(jié)合FISM和MLP這兩種模型，本文需要設(shè)計(jì)一種策略融合它們，以便結(jié)合后它們的性能都得到增強(qiáng)。其中一種最常見(jiàn)的融合策略是通過(guò)連接學(xué)習(xí)表示法來(lái)獲得聯(lián)合表示，并且把這種表示輸入到一個(gè)全連接層。在本文的方法中，預(yù)測(cè)函數(shù)是由兩步得到的：第一步，該模型利用FISM 模型和MLP 模型中用戶偏好潛在因子和物品潛在因子的元素乘積⊙分別計(jì)算出兩個(gè)預(yù)測(cè)向量；第二步，將用戶進(jìn)行Multi-Hot編碼，目標(biāo)物品進(jìn)行One-Hot 編碼，再用不同權(quán)重將兩個(gè)預(yù)測(cè)向量串聯(lián)起來(lái)。CF 兩種類型方法有不同的優(yōu)勢(shì)，并且從不同的環(huán)境中學(xué)習(xí)預(yù)測(cè)向量，將這兩個(gè)預(yù)測(cè)向量連接起來(lái)，將得到一個(gè)更健壯、更魯棒的聯(lián)合表示用戶-物品對(duì)。由此產(chǎn)生的全連接層使模型能夠?qū)β?lián)合表示中包含的特征分配不同的權(quán)重。圖1說(shuō)明了上述提出的融合策略，給出的形式如下：

其中：hT、b 分別是權(quán)重和偏置，σ 是Sigmoid 激活函數(shù)。UICF的模型圖如圖1所示。

圖1 UICF模型Fig.1 Model graph of UICF

2.4 損失函數(shù)

其中σ 是Sigmoid 函數(shù)。Sigmoid 函數(shù)是一個(gè)單調(diào)增函數(shù)，在式（4）中將使得大于

文獻(xiàn)［14］提出，模型參數(shù)的初始化對(duì)基于深度學(xué)習(xí)（Deep Learning，DL）的模型收斂和最終表現(xiàn)起到相當(dāng)重要的作用。為了能夠得到更好的預(yù)測(cè)評(píng)分的效果，先初始化FISM模型的參數(shù)，使其服從均值為0、標(biāo)準(zhǔn)差為0.01 的Gaussian 分布，然后再訓(xùn)練FISM 模型直到收斂。同樣地，也初始化MLP模型，使其服從均值為0、標(biāo)準(zhǔn)差為0.01 的Gaussian 分布。對(duì)于最終模型的融合是分別將單獨(dú)訓(xùn)練好的FISM 模型和MLP模型對(duì)應(yīng)參數(shù)初始化融合模型中的FISM 和MLP，其中包含了FISM 中的用戶偏置項(xiàng)、物品偏置項(xiàng)以及MLP部分隱藏層權(quán)重系數(shù)和偏置項(xiàng)的初始化。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用了3個(gè)公開(kāi)的數(shù)據(jù)來(lái)驗(yàn)證本文方法的有效性：

1）MovieLens 是一個(gè)被廣泛使用于驗(yàn)證CF 算法有效性的電影評(píng)分?jǐn)?shù)據(jù)集。MovieLens 有多個(gè)版本，在本文的實(shí)驗(yàn)中選擇含有約100 萬(wàn)條交互記錄的版本ML-1M。因?yàn)樵谶@個(gè)版本的MovieLens數(shù)據(jù)集中，每個(gè)用戶都至少含有20條交互記錄。

2）Foursquare數(shù)據(jù)集。該數(shù)據(jù)集相當(dāng)稀疏，為了能更好地評(píng)估本文的模型，先對(duì)Foursquare 進(jìn)行過(guò)濾，使得這個(gè)數(shù)據(jù)集中每個(gè)用戶至少含有30條交互記錄。

3）ratings_Digital_Music 數(shù)據(jù)集（下面簡(jiǎn)稱Music數(shù)據(jù)集）。該數(shù)據(jù)集同樣極其稀疏，因此對(duì)該數(shù)據(jù)集也進(jìn)行了同樣的過(guò)濾，確保每個(gè)用戶至少含有30條交互記錄。

3個(gè)數(shù)據(jù)的具體數(shù)值指標(biāo)如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)信息Tab.1 Statistics of experimental datasets

3.1.2 評(píng)估指標(biāo)與對(duì)比算法

為了驗(yàn)證本文將兩個(gè)模型結(jié)合后的評(píng)分預(yù)測(cè)效果的有效性，選擇了4個(gè)基準(zhǔn)方法進(jìn)行對(duì)比實(shí)驗(yàn)，分別為ItemKNN（Itembased K-Nearest Neighbors）［16］、DeepICF（Deep Item-based Collaborative Filtering）［17］、MLP 和FISM。其中，ItemKNN 是傳統(tǒng)的基于物品的協(xié)同過(guò)濾方法，DeepICF是解決物品間高階連接（Higher-Order）關(guān)系問(wèn)題的一種基于物品的協(xié)同過(guò)濾方法。

在實(shí)驗(yàn)中，首先根據(jù)數(shù)據(jù)中的時(shí)間戳信息來(lái)對(duì)每個(gè)用戶以及物品進(jìn)行由遠(yuǎn)及近進(jìn)行編號(hào)和排序。對(duì)于3 個(gè)數(shù)據(jù)集，本文都用同樣的方法，對(duì)每個(gè)用戶選擇最后一次交互的數(shù)據(jù)作為測(cè)試集，其他部分作為訓(xùn)練集。關(guān)于評(píng)價(jià)指標(biāo)，采用了兩種 不 同 的 評(píng) 估 方 法：NDCG（Normalized DCG）和HR（Hit Ratio），對(duì)于兩個(gè)評(píng)級(jí)指標(biāo)的計(jì)算參考文獻(xiàn)［15-16］。NDCG和HR的值越大，表示模型預(yù)測(cè)分值越精確。

3.1.3 參數(shù)設(shè)置

為了避免模型過(guò)擬合，對(duì)于每一個(gè)方法本文都會(huì)在[10-7，10-6，…，10-1，100]范圍內(nèi)來(lái)調(diào)整正則化項(xiàng)系數(shù)的值。對(duì)于用戶（物品）潛在因子向量的維度embedding_size，本文在進(jìn)行不同方法對(duì)比中選取 32 進(jìn)行測(cè)試，即embedding_size=32；另外也對(duì)不同向量維度進(jìn)行對(duì)比，即embedding_size=8，16，32，64。對(duì)于學(xué)習(xí)率，在實(shí)驗(yàn)中對(duì)不同大小的學(xué)習(xí)率選擇[10-5，10-4，…，10-2]進(jìn)行實(shí)驗(yàn)，選出最佳學(xué)習(xí)率；本文選擇的優(yōu)化器為標(biāo)準(zhǔn)梯度下降法（Gradient Descent，GD）。

3.2 實(shí)驗(yàn)結(jié)果與分析

1）UICF模型與3個(gè)基準(zhǔn)模型在2個(gè)評(píng)估指標(biāo)上的效果的展示。

UICF 與基準(zhǔn)方法的對(duì)比結(jié)果如表2 所示，加粗的數(shù)值表示最好結(jié)果。為了公平地進(jìn)行比較，表中每個(gè)方法的embedding_size 均設(shè)為32（本文將在下個(gè)實(shí)驗(yàn)中比較不同embedding_size 對(duì)UICF 的影響）。從表2 中可以看出，融合后的模型UICF 在3 個(gè)數(shù)據(jù)集上的HR 和NDCG 上基本上都取得了最大值（HR 和NDCG 的值越大代表訓(xùn)練出來(lái)的模型在測(cè)試集上的測(cè)試分值越接近實(shí)際分值），特別是在Foursquare 和Music兩個(gè)數(shù)據(jù)集上，效果更加明顯。

融合后的模型UICF 的HR 和NDCG 的值在top-5 和top-10上效果很明顯，遠(yuǎn)大于其他三個(gè)對(duì)比方法的HR 和NDCG 的值；而在MovieLens 數(shù)據(jù)集上，這兩個(gè)值有了提高但并不是很明顯。

2）預(yù)訓(xùn)練與非預(yù)訓(xùn)練對(duì)實(shí)驗(yàn)效果的影響。

表3 展示了在3 個(gè)數(shù)據(jù)集上分別使用預(yù)訓(xùn)練和未使用預(yù)訓(xùn)練對(duì)實(shí)驗(yàn)效果的影響。從表3 可以明顯觀察出，使用預(yù)訓(xùn)練后效果都明顯好于沒(méi)有預(yù)訓(xùn)練的，這也進(jìn)一步說(shuō)明了，預(yù)訓(xùn)練對(duì)基于DL 模型的收斂和最終表現(xiàn)效果起到了極其重要的作用。

表2 UICF和基準(zhǔn)方法的對(duì)比結(jié)果Tab.2 Comparison between UICF and benchmark methods

表3 預(yù)訓(xùn)練和非預(yù)訓(xùn)練方法的對(duì)比結(jié)果Tab.3 Comparison between method with pre-training and method without pre-training

3）維度d對(duì)實(shí)驗(yàn)效果的影響。

對(duì)于物品維度d 的大小考慮與其他基準(zhǔn)方法在3 個(gè)數(shù)據(jù)集上對(duì)比NDCG 和HR 值的變化，在實(shí)驗(yàn)中不同維度d 對(duì)預(yù)測(cè)評(píng)分的影響。表4 為維度d 取值8、16、32、64 時(shí)UICF 的不同表現(xiàn)效果。從表4 中可以看出，當(dāng)維度d 的值分別為8、16、32、64 時(shí)HR 和NDCG 的值基本沒(méi)什么波動(dòng)，這也說(shuō)明了維度d的大小對(duì)UICF的表現(xiàn)效果影響不大。

4）UICF與基準(zhǔn)方法在數(shù)據(jù)集上的HR@5走勢(shì)圖。

將各方法分別在3 個(gè)數(shù)據(jù)集上運(yùn)行90 個(gè)epoch 后，top@5時(shí)HR上的結(jié)果如圖2所示?？梢钥闯?，本文方法把MLP方法和FISM 方法結(jié)合后性能得到了提高，經(jīng)過(guò)90 個(gè)epoch 的訓(xùn)練，本文的融合方法UICF 在3 個(gè)數(shù)據(jù)集上的結(jié)果好于對(duì)比方法；而且UICF 模型從開(kāi)始訓(xùn)練到訓(xùn)練結(jié)束時(shí)HR 值的變化不大，這是因?yàn)镕ISM 和MLP 這兩個(gè)模型在結(jié)合前都經(jīng)過(guò)預(yù)訓(xùn)練，收斂較快。在MovieLens 和Foursquare 數(shù)據(jù)集上，UICF 模型的HR 從開(kāi)始上漲到一定值后就保持不變了，UICF 模型的效果高于其他幾種對(duì)比方法；在Music 數(shù)據(jù)集上，HR 的值在0.23與0.28之間波動(dòng)相對(duì)很大，這是由于學(xué)習(xí)率設(shè)置較大造成的，但這并不影響它的效果優(yōu)于其他對(duì)比方法。

表4 維度大小的影響Tab.4 The impact of dimension size

圖2 UICF和基準(zhǔn)方法在3個(gè)數(shù)據(jù)集上的HR@5走勢(shì)圖Fig.2 HR@5 of UICF and benchmark methods on three datasets

4 結(jié)語(yǔ)

本文提出了FISM 模型和MLP 模型結(jié)合后的UICF 模型，并通過(guò)實(shí)驗(yàn)驗(yàn)證了UICF 模型的有效性。本文主要利用了基于物品的推薦方法假設(shè)用戶傾向于選擇與他們之前喜歡的物品相似的物品，因此利用物品的相似作為推薦的依據(jù)，在解決數(shù)據(jù)稀疏性上具有優(yōu)勢(shì)。