李廣麗，滑 瑾，袁 天，朱 濤，鄔任重，姬東鴻，張紅斌+

1.華東交通大學(xué) 信息工程學(xué)院，南昌 330013

2.華東交通大學(xué) 軟件學(xué)院，南昌 330013

3.武漢大學(xué) 國家網(wǎng)絡(luò)安全學(xué)院，武漢 430072

1 引言

互聯(lián)網(wǎng)的快速發(fā)展使Web 上的信息呈指數(shù)增長，為緩解“信息過載”問題，人們著力構(gòu)建各種推薦系統(tǒng)。推薦系統(tǒng)是一種有效的信息過濾機(jī)制，它可從大量候選信息中發(fā)現(xiàn)符合用戶興趣的產(chǎn)品和服務(wù)，更好地擬合用戶實際需求。尤其對于電影、音樂、書籍、家電等評分類產(chǎn)品，推薦系統(tǒng)的實際效果非常顯著。因此，Amazon、京東、Google、Facebook 等互聯(lián)網(wǎng)企業(yè)均研發(fā)了相關(guān)的推薦系統(tǒng)?；谕扑]系統(tǒng)，它們自動、高效地向用戶推薦其產(chǎn)品和服務(wù)，獲取了巨大的經(jīng)濟(jì)效益。

本文主要貢獻(xiàn)：基于生成對抗網(wǎng)絡(luò)[1]（generative adversarial networks，GAN）框架，提出用戶偏好挖掘生成對抗網(wǎng)絡(luò)（users’ preference mining GAN，UPMGAN），圍繞用戶偏好挖掘展開推薦系統(tǒng)研究：基于三元組損失算法[2]（triplet loss）對MovieLens 數(shù)據(jù)集的評分矩陣進(jìn)行處理，挖掘難分負(fù)樣本以更好地確立正樣本，為準(zhǔn)確刻畫用戶偏好奠定基礎(chǔ)；采用SVD++算法[3]設(shè)計UPM-GAN 的生成模型，即利用SVD++算法中的偏置信息及隱式參數(shù)描述用戶隱含偏好，以提高評分預(yù)測精度；基于GAN 框架完成推薦過程對抗學(xué)習(xí)。實驗表明：UPM-GAN 可準(zhǔn)確刻畫用戶偏好，從而改善推薦質(zhì)量。同時，UPM-GAN 收斂速度更快，模型訓(xùn)練過程也更平穩(wěn)。

2 相關(guān)工作

推薦系統(tǒng)是一種有效的信息過濾機(jī)制，它主要包括兩大類[4]：一類是基于內(nèi)容的推薦系統(tǒng)，它為用戶和項目創(chuàng)建配置文件，以表征其特性，然后基于用戶、項目之間的相似性生成推薦結(jié)果。它常采用最近鄰[5]、貝葉斯分類器[6]等模型完成推薦。如在電影推薦中，項目特征包括電影類型、演員等，用戶特征指用戶曾評價的電影，它們也包含電影類型、演員等信息，故基于KNN（K-nearest neighbor）模型可計算用戶與項目間的相似性。然而，某些領(lǐng)域配置文件需專業(yè)人員設(shè)置，故推薦系統(tǒng)專業(yè)性較強(qiáng)，不適合跨領(lǐng)域應(yīng)用。目前，較成功的基于內(nèi)容的推薦系統(tǒng)是音樂基因組計劃[7]，它被應(yīng)用于互聯(lián)網(wǎng)服務(wù)Pandora.com。另一類是基于協(xié)同過濾的推薦系統(tǒng)，它依賴用戶過去的行為完成推薦。如瀏覽記錄或評分等，它無需創(chuàng)建配置文件，而僅需分析用戶之間的關(guān)系及項目之間的依賴性。它常采用矩陣分解[8]、因子分解機(jī)[9]等模型完成推薦。一般基于協(xié)同過濾的推薦系統(tǒng)比基于內(nèi)容的推薦系統(tǒng)更準(zhǔn)確，但它存在冷啟動問題，因此有研究者將上述兩類推薦系統(tǒng)進(jìn)行混合，構(gòu)建混合型推薦系統(tǒng)[10]，以發(fā)揮不同類型推薦系統(tǒng)的優(yōu)勢，獲取更優(yōu)推薦效果。

近年來，深度學(xué)習(xí)（deep learning）在機(jī)器視覺、自然語言處理等領(lǐng)域快速發(fā)展[11]，這為推薦系統(tǒng)的研究帶來了新機(jī)遇。深度學(xué)習(xí)模型是一種深層次非線性網(wǎng)絡(luò)結(jié)構(gòu)，它可獲取深層的用戶和項目特征表示，即深層語義信息，為建立優(yōu)秀的用戶模型和對象模型奠定基礎(chǔ)。目前，推薦系統(tǒng)中常用的深度學(xué)習(xí)模型包括：卷積神經(jīng)網(wǎng)絡(luò)[12]（convolutional neural network，CNN）、多層感知機(jī)[13]（multi-layer perception，MLP）、深度結(jié)構(gòu)化語義模型[14]（deep structured semantic model，DSSM）、自編碼器[15]（autoencoder，AE）等。此外，研究者還嘗試混合若干種深度學(xué)習(xí)模型，完成高質(zhì)量推薦。例如，Chen 等[16]提出基于位置感知的新聞推薦系統(tǒng)，他們?yōu)镈SSM 模型增加位置通道，利用MLP模型從用戶信息、項目信息和位置信息分布中學(xué)習(xí)用戶、對象和位置的隱含表示，結(jié)合這三方面信息計算特定位置下用戶偏好與新聞內(nèi)容的關(guān)聯(lián)度，從而產(chǎn)生推薦結(jié)果。Lei 等[17]提出一個基于CNN 和MLP模型的圖像推薦系統(tǒng)：CNN 模型完成圖像特征提取，而MLP 模型則完成用戶偏好建模。因此，深度學(xué)習(xí)模型有力地推動了推薦系統(tǒng)的研究。

2014 年，Goodfellow 等提出生成對抗網(wǎng)絡(luò)（GAN）[1]。GAN 正逐漸成為學(xué)術(shù)界研究熱點，它在圖像生成[18]、圖像理解[19]、序列生成[20]等諸多任務(wù)中表現(xiàn)優(yōu)越。最近，研究者們開始將GAN 應(yīng)用到推薦系統(tǒng)研究中：Wang 等[21]提出IRGAN（information retrieval generative adversarial networks）模型，即把信息檢索領(lǐng)域的生成模型和判別模型統(tǒng)一在GAN 框架內(nèi)，采用策略梯度下降算法優(yōu)化模型，完成高質(zhì)量推薦。Cai 等[22]提出基于異構(gòu)目錄網(wǎng)絡(luò)表示（heterogeneous bibliographic network representation，HBNR）的GAN，有效解決引文推薦。Wang 等[23]運(yùn)用GAN 完成基于記憶網(wǎng)絡(luò)的流媒體推薦。

綜上，深度學(xué)習(xí)模型在推薦系統(tǒng)的研究中發(fā)揮了重要作用[12-23]。上述基于GAN 的研究工作[21-23]主要聚焦推薦結(jié)果對抗學(xué)習(xí)，而忽略用戶偏好挖掘，用戶偏好是制約推薦質(zhì)量的關(guān)鍵因素。因此，本文在IRGAN[21]的基礎(chǔ)上，提出高效、魯棒、性能優(yōu)秀的UPM-GAN，基于UPM-GAN 構(gòu)建全新推薦系統(tǒng)。它從兩個角度進(jìn)行用戶偏好挖掘，生成能準(zhǔn)確擬合用戶需求的推薦結(jié)果，最終改善用戶體驗。

3 基于UPM-GAN 的推薦系統(tǒng)

3.1 推薦系統(tǒng)框架

基于UPM-GAN 的推薦系統(tǒng)框架如圖1 所示：UPM-GAN 主要包括生成模型和判別模型兩部分?；赟VD++算法構(gòu)造生成模型G，圖1 中pu、qi分別表示用戶向量和項目向量，bu、bi分別表示用戶偏置、項目偏置，它們刻畫用戶隱含偏好；采用三元組損失算法對數(shù)據(jù)集執(zhí)行難分樣本挖掘，預(yù)先在樣本候選池中確立樣本類別（圖1 中白色圓點為正樣本，黑色圓點為負(fù)樣本）；生成模型G從樣本候選池中選取負(fù)樣本并根據(jù)樣本間的相關(guān)概率分布生成偽造正樣本給判別模型D；繼而，基于矩陣分解（matrix factorization，MF）算法構(gòu)造判別模型D，它通過向量內(nèi)積計算候選池中正樣本和生成模型G提供的偽正樣本的相似性，并基于策略梯度下降算法向生成模型G提供反饋，以優(yōu)化生成模型G，使其更好地生成偽正樣本。高質(zhì)量的偽造正樣本能提高判別模型D的判別能力。G和D兩個模型通過對抗學(xué)習(xí)，不斷提高各自性能并達(dá)到納什均衡。最后，基于訓(xùn)練好的生成模型G輸出推薦列表。

3.2 UPM-GAN

3.2.1 三元組損失算法

在推薦系統(tǒng)的數(shù)據(jù)集中，數(shù)據(jù)分布極不平衡：高分?jǐn)?shù)據(jù)占多數(shù)，而低分?jǐn)?shù)據(jù)相對較少。因為大部分用戶傾向于表達(dá)積極觀點而不愿給出消極評價，故傳統(tǒng)推薦系統(tǒng)很難準(zhǔn)確捕獲用戶偏好，設(shè)計優(yōu)良的難分負(fù)樣本挖掘（hard negative mining）策略是抑制數(shù)據(jù)分布不平衡，進(jìn)而準(zhǔn)確刻畫用戶偏好并提高推薦性能的重要手段。提出采用三元組損失算法[2]完成難分負(fù)樣本挖掘，為構(gòu)建高質(zhì)量推薦系統(tǒng)奠定基礎(chǔ)。三元組損失算法能實現(xiàn)精確到個體的圖像識別，它被廣泛用于人臉識別、車輛識別、行人識別等熱門領(lǐng)域。算法基本原理：把樣本分為Anchor (A)、Negative (N)和Positive (P)三類，任意樣本都可作為基點A，通過訓(xùn)練不斷“拉近”它與同類樣本的距離，而“疏遠(yuǎn)”與之異類的樣本。最終，近距離樣本作為正樣本P，而遠(yuǎn)距離樣本則作為負(fù)樣本N。在用戶-評分矩陣中，評分范圍固定，如從1 分到5 分，但評分模式或標(biāo)準(zhǔn)不同，某些用戶給4 分表示非常喜歡，他們幾乎不給5 分，而某些用戶給4 分則表示一般。故應(yīng)深入分析評分?jǐn)?shù)據(jù)，更好地挖掘用戶偏好。三元組損失算法聚焦于確定正樣本評分和負(fù)樣本評分（而非評分絕對大?。龢颖驹u分的確定有助于描述用戶偏好，故將三元組損失算法應(yīng)用到UPM-GAN中：把用戶的一個高評分項目作為基點A，經(jīng)過多輪訓(xùn)練，將與之距離較近的項目作為正樣本P，而將與之距離較遠(yuǎn)的項目作為負(fù)樣本N。難分負(fù)樣本被不斷送回模型，以提升模型對正樣本的識別性能，即以負(fù)樣本反向激勵的方式確立正樣本，從而更好地刻畫用戶偏好。

在用戶評分矩陣中，項目特征向量表示為f(x)∈Rd，每個項目i都可映射到d維歐式空間，三元組損失算法使用戶基點特征向量f(xa)與正樣本特征向量f(xp)更近，而與負(fù)樣本特征向量f(xn)更遠(yuǎn)。故它的優(yōu)化目標(biāo)如式（1）所示：

式中，α是一個常量，表示正負(fù)樣本對訓(xùn)練的邊界值。H是與用戶有關(guān)的所有樣本集合，從中選擇樣本構(gòu)建三元組，訓(xùn)練模型。最小化式（2）所示的代價函數(shù)，完成難分負(fù)樣本挖掘：

由于采用歐式距離度量向量間距離，故當(dāng)式（2）中“[]”內(nèi)的值大于0 時，該值即代價函數(shù)損失值。小于0 時，規(guī)定損失值為0。

3.2.2 SVD++算法

SVD++[3]基于奇異值分解（singular value decomposition，SVD），相比傳統(tǒng)矩陣分解算法，SVD++加入用戶偏置信息及隱式參數(shù)，以客觀描述用戶偏好。而用戶評分中確實隱含偏好信息：某些評分偏低（或偏高）。故用SVD++算法設(shè)計UPM-GAN 的生成模型能更好地挖掘用戶偏好，并準(zhǔn)確計算預(yù)測評分。SVD++算法中預(yù)測評分計算如式（3）所示：

式中，bi是項目偏置，它指項目i相對均值μ的偏移量。bu是用戶偏置，它指用戶u相對均值μ的偏移量。pu、qi分別表示矩陣分解后的用戶向量和項目向量。Nu是用戶u的評分?jǐn)?shù)據(jù)集合，|Nu|表示集合大小；yi是隱式參數(shù)，它表示用戶u評價過項目i。綜上，SVD++算法根據(jù)偏置信息、隱式參數(shù)等來刻畫用戶偏好。

SVD++算法的損失函數(shù)如式（4）所示：

式（4）前半部計算損失值，UR為所有用戶向量和項目向量構(gòu)成的用戶評分矩陣，后半部分+為正則化項，以防止算法過擬合，λ是規(guī)則化系數(shù)。

3.2.3 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)由生成模型G和判別模型D組成，它們在對抗模式下競爭：D嘗試區(qū)分真實正樣本與G偽造的正樣本，而G嘗試欺騙D。當(dāng)對抗相對平衡后，GAN 訓(xùn)練完成。GAN 的代價函數(shù)如式（5）所示。其中m為訓(xùn)練集中樣本，U表示用戶集合，un表示第n個用戶，?、θ分別表示判別模型D和生成模型G的參數(shù)。

首先，訓(xùn)練判別模型，即最大化正確判別真實正樣本與G偽造的正樣本的概率，如式（6）所示：

式中，m+、m-分別表示正樣本和負(fù)樣本，mg表示生成模型G偽造的正樣本。與判別模型D相反，生成模型G旨在最小化判別模型D的正確判別概率，即欺騙判別模型。如圖1 所示：G從樣本池中根據(jù)相關(guān)概率分布（參見式（7），g?(u,m)計算樣本相似度，t是溫度參數(shù)）抽取負(fù)樣本，故生成模型的參數(shù)優(yōu)化如式（8）所示，M表示樣本集合。

由于在采樣時樣本是離散的，故不能直接通過梯度下降法求式（8）的最優(yōu)解，需采用基于強(qiáng)化學(xué)習(xí)的策略梯度法進(jìn)行近似求解，如式（9）所示，其中K是需要判別的樣本對列表大小。

3.3 推薦系統(tǒng)的算法描述

算法1基于UPM-GAN 的推薦系統(tǒng)

4 實驗結(jié)果與討論

4.1 數(shù)據(jù)集

本文采用兩個主流數(shù)據(jù)集MovieLens-100K 和MovieLens-1M 評估UPM-GAN 的有效性。MovieLens（https://movielens.org/）由GroupLens 團(tuán)隊在處理電影評分后得到，它包含用戶對電影的評分，每個用戶至少評價過20 部電影。數(shù)據(jù)集的統(tǒng)計信息如表1 所示。實驗時將數(shù)據(jù)集隨機(jī)分割成兩部分，選取80%作為訓(xùn)練集，剩余20%作為測試集。

Table 1 Statistics of MovieLens datasets表1 MovieLens數(shù)據(jù)集的統(tǒng)計信息

4.2 基線模型

本文的對比基線有四類，具體介紹如下：

（1）最大似然估計（maximum likelihood estimation，MLE）模型[24]，即采用最大似然估計方法完成評分預(yù)測，它來源于傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域。

（2）貝葉斯個性化排序（Bayesian personalized ranking，BPR）[25]模型，它基于矩陣分解（MF）方法分析用戶及項目的潛在語義信息，并以逐對排序方式訓(xùn)練推薦系統(tǒng)，完成推薦。

（3）LambdaFM（lambda factorization machine，LambdaFM）模型[26]是基于FM（factorization machine）的排序模型，它將LambdaRank 和FM 混合以提高基于Top-n排序的推薦性能。

（4）信息檢索生成對抗網(wǎng)絡(luò)（IRGAN）[21]，它是首個基于生成對抗學(xué)習(xí)模型的推薦系統(tǒng)。

4.3 實驗結(jié)果及分析

4.3.1 推薦性能對比

采用基于排名的評價指標(biāo)衡量模型的Top-n推薦表現(xiàn)[27]，包括Precision@K（簡寫為P@K）、標(biāo)準(zhǔn)化折現(xiàn)累積增益（normalized discounted cumulative gain，NDCG@K）、均值平均精度（mean average precision，MAP）、平均倒數(shù)排名（mean reciprocal ranking，MRR）。以上指標(biāo)越大說明推薦性能越好。實驗結(jié)果如表2（MovieLens-100K）、表3（MovieLens-1M）所示。表2中倒數(shù)第二行、最后一行分別表示在MovieLens-100K 數(shù)據(jù)集上，UPM-GAN 相對LambdaFM、IRGAN模型的性能提升幅度Improve1和Improve2。表3 與之類似，它采用Improve3、Improve4表示。

由表2 可見：在MovieLens-100K 數(shù)據(jù)集上，UPMGAN 的推薦性能提升顯著，尤其是P@5、P@10、MAP、NDCG@5 等指標(biāo)，各模型/算法的推薦性能降序排列UPM-GAN>IRGAN>LambdaFM>BPR>MLE。首先，相對于LambdaFM、BPR、MLE 等推薦系統(tǒng)，UPM-GAN 的MAP 指標(biāo)提升最顯著，MAP 是綜合類指標(biāo)，這表明UPM-GAN 的整體推薦性能更優(yōu)。主要原因：不同于傳統(tǒng)推薦系統(tǒng)，UPM-GAN 基于生成對抗學(xué)習(xí)框架，它的生成模型能產(chǎn)生若干接近真實正樣本的偽造正樣本，而其判別模型能準(zhǔn)確區(qū)分真實正樣本與偽造正樣本，并給生成模型反饋（獎勵）。故生成模型與判別模型相互對抗，在提升各自能力的同時不斷改善推薦性能。其次，相比IRGAN 這一主流模型，UPM-GAN 的推薦性能也有提升。其中基于準(zhǔn)確率的P@K指標(biāo)整體提升幅度高于基于排序權(quán)重的NDCG@K指標(biāo)。這表明UPM-GAN 在準(zhǔn)確率提升上優(yōu)勢明顯，而對推薦結(jié)果中的位置關(guān)注度稍弱。

UPM-GAN 表現(xiàn)優(yōu)秀的主要原因：（1）基于三元組損失算法處理用戶評分?jǐn)?shù)據(jù)時，難分負(fù)樣本以間接方式更好地確立正樣本，從而準(zhǔn)確描述用戶偏好；（2）GAN 的訓(xùn)練過程更有效，它通過生成模型和判別模型之間的對抗學(xué)習(xí)，不斷提升推薦性能；（3）UPMGAN 中的生成模型采用了SVD++算法，SVD++算法中加入了偏置信息、隱式參數(shù)等來更好地挖掘用戶隱含偏好，進(jìn)而準(zhǔn)確預(yù)測評分并改善推薦性能。綜上，GAN 框架、三元組損失算法、SVD++算法在推薦中都發(fā)揮了重要作用。4.4 節(jié)將對UPM-GAN 做模型簡化測試，更精準(zhǔn)地確定UPM-GAN 中各組成部分的相對重要性。

Table 2 Performance comparisons among different models/algorithms（MovieLens-100K）表2 不同模型/算法的推薦性能比較（MovieLens-100K）

Table 3 Performance comparisons among different models/algorithms（MovieLens-1M）表3 不同模型/算法的推薦性能比較（MovieLens-1M）

表3 實驗結(jié)果與表2 實驗結(jié)果相似，即在Movie-Lens-1M 數(shù)據(jù)集上，UPM-GAN 的推薦性能提升也很顯著，尤其是P@5、P@10、MAP、NDCG@5 等指標(biāo)。各模型推薦性能降序排列UPM-GAN>IRGAN>LambdaFM>BPR>MLE，主要原因同上，不再贅述。表3 結(jié)果進(jìn)一步說明UPM-GAN 具有較強(qiáng)的魯棒性。此外，在表2 中，UPM-GAN 相對LambdaFM、IRGAN兩模型的平均提升幅度分別是10.22%、3.27%。而在表3 中，UPM-GAN 相對LambdaFM、IRGAN 兩模型的平均提升幅度分別是9.43%、3.05%。顯然，在MovieLens-100K 數(shù)據(jù)集上，UPM-GAN 的平均提升幅度更大，這主要是由于MovieLens-100K相對Movie-Lens-1M 更稠密（參見表1），而推薦系統(tǒng)在稀疏數(shù)據(jù)中較難準(zhǔn)確捕獲用戶隱性偏好，故推薦性能的提升幅度不大（對比MLE、BPR 等模型，它們的部分性能指標(biāo)因為數(shù)據(jù)稀疏而出現(xiàn)了衰減，即傳統(tǒng)推薦系統(tǒng)對數(shù)據(jù)稀疏更加敏感。相比，UPM-GAN 對數(shù)據(jù)稀疏的敏感度稍低）。

深入分析不同模型在MovieLens-100K 和Movie-Lens-1M 兩個數(shù)據(jù)集上的推薦性能差異，實驗結(jié)果如圖2 所示。例如，對于MLE 模型，它在MovieLens-100K 和MovieLens-1M 兩個數(shù)據(jù)集上的P@3 指標(biāo)性能差異是0.336 9-0.278 4=0.058 5。其他差異值同理，故圖2 中顏色越深，表示性能差異越大。

由圖2 可發(fā)現(xiàn)：MLE 和BPR 兩模型各類指標(biāo)的顏色較深，它們在稀疏數(shù)據(jù)集上出現(xiàn)性能衰減。相反，LambdaFM、IRGAN、UPM-GAN 這三個模型的性能衰減有限。若計算性能衰減均值，LambdaFM 是0.008 7，IRGAN 是0.010 3，UPM-GAN 是0.011 6，UPMGAN 衰減較多，但這并不影響它在表3 中表現(xiàn)最優(yōu)。需要說明：MRR 指標(biāo)僅計算結(jié)果中第一個正確推薦的樣本的位置，它受數(shù)據(jù)稀疏影響非常大，故各模型的MRR 指標(biāo)性能衰減都較嚴(yán)重。

綜上，數(shù)據(jù)稀疏一直以來都是推薦系統(tǒng)研究中的難點問題，尤其針對大型數(shù)據(jù)集（如MovieLens-1M），未來擬引入額外信息（文本、圖像等）來進(jìn)行推薦對象建模，全方位、多角度地刻畫待推薦對象，期望可在一定程度上緩解數(shù)據(jù)稀疏問題。

4.3.2 模型訓(xùn)練過程分析

本小節(jié)主要對模型訓(xùn)練過程進(jìn)行深入分析，以獲取一些重要結(jié)論。因篇幅問題，僅選取在Movie-Lens-100K 數(shù)據(jù)集上，IRGAN 模型和UPM-GAN 模型的P@5、NDCG@5 指標(biāo)（其他指標(biāo)與它們相似）的訓(xùn)練過程曲線（生成模型）做比較，如圖3 所示。Movie-Lens-1M 數(shù)據(jù)集的結(jié)果與之類似。

Fig.2 Performance difference of each model between MovieLens-100K and MovieLens-1M datasets圖2 各模型在MovieLens-100K 和MovieLens-1M 上的性能差異

Fig.3 Learning curves of different recommendation systems圖3 不同推薦系統(tǒng)的學(xué)習(xí)曲線

如圖3 所示：（1）對于IRGAN，當(dāng)?shù)螖?shù)達(dá)到650 次左右，IRGAN 的推薦性能達(dá)最優(yōu)，即此時模型趨于收斂。繼續(xù)增加迭代次數(shù)，推薦性能出現(xiàn)小幅衰減。對于UPM-GAN，當(dāng)?shù)螖?shù)達(dá)到500 次左右，UPM-GAN 的推薦性能達(dá)最優(yōu)，即此時模型趨于收斂。顯然，UPM-GAN 比IRGAN 獲取了更快的收斂速度，這一優(yōu)勢在訓(xùn)練大型數(shù)據(jù)集時將更顯著。主要原因：在UPM-GAN 中，三元組損失算法為判別模型挖掘了高質(zhì)量的負(fù)樣本，進(jìn)而更好地確立正樣本并加速模型訓(xùn)練速度。相反，IRGAN 采用隨機(jī)方式選取負(fù)樣本進(jìn)行訓(xùn)練，樣本質(zhì)量整體較差。

（2）在圖3 中，IRGAN 的最優(yōu)性能分別是P@5=0.375 0，NDCG@5=0.400 9，而UPM-GAN 的最優(yōu)性能分別是P@5=0.390 7，NDCG@5=0.412 3。UPMGAN 推薦性能更優(yōu)，這與表2、表3 結(jié)論吻合。主要原因：三元組損失算法識別的高質(zhì)量負(fù)樣本并確立了正樣本，促使判別模型能更好地辨別真實正樣本和偽造正樣本，UPM-GAN 判別模型的能力不斷提升，而由于基于GAN 框架，判別模型能力的改善會促使UPM-GAN 的生成模型的性能不斷提升。最終，它們在對抗學(xué)習(xí)之下不斷提高系統(tǒng)推薦性能。顯然，GAN 框架是UPM-GAN 的核心組成部分，參見4.4 節(jié)分析。

（3）UPM-GAN 的訓(xùn)練過程曲線較IRGAN 更平滑，即迂回曲折、突變、毛刺等現(xiàn)象更少，故模型訓(xùn)練過程更平穩(wěn)，未出現(xiàn)大幅度“顛簸”現(xiàn)象。這也是由于三元組損失算法在UPM-GAN 中發(fā)揮重要作用，故結(jié)合（1）的實驗結(jié)果可推測：三元組損失算法對于高質(zhì)量推薦也非常重要。參見4.4 節(jié)分析。

由于UPM-GAN 收斂速度快，訓(xùn)練代價大大降低。因此，UPM-GAN模型不但推薦性能優(yōu)越，且模型實時運(yùn)行效率也非常不錯，推薦系統(tǒng)的實用價值更高。

參數(shù)的調(diào)制，主要包括GAN 框架的t及三元組損失算法的α。圖4 是在MovieLens-100K 數(shù)據(jù)集上，UPM-GAN 中t參數(shù)的動態(tài)調(diào)整過程，選取P@5 和NDCG@5 這兩項指標(biāo)進(jìn)行展示。與之對應(yīng)，圖5 是在MovieLens-100K 數(shù)據(jù)集上，UPM-GAN 中α參數(shù)的調(diào)整過程，同樣選取P@5 和NDCG@5 這兩項指標(biāo)進(jìn)行展示。

Fig.4 Performance variations of P@5 and NDCG@5 with respect to t圖4 P@5 和NDCG@5 性能指標(biāo)伴隨t值的變化

Fig.5 Performance variations of P@5 and NDCG@5 with respect to α圖5 P@5 和NDCG@5 性能指標(biāo)伴隨α值的變化

在圖4 中，由生成模型t參數(shù)的動態(tài)調(diào)整過程可知：P@5 和NDCG@5 這兩類指標(biāo)的變化趨勢非常相似。當(dāng)t＞0 時，UPM-GAN 的推薦性能逐漸上升，直到t=0.2 時，推薦性能最優(yōu)。之后，伴隨t值增加，推薦性能出現(xiàn)衰減。這表明：在UPM-GAN 中，生成模型需根據(jù)用戶和項目的相關(guān)概率分布，選取合適的敏感度參數(shù)t，完成最佳推薦。

在圖5 中，由三元組損失算法α參數(shù)的動態(tài)調(diào)整過程可知：P@5 和NDCG@5 這兩類指標(biāo)的變化趨勢也非常相似。當(dāng)α＞0 時，UPM-GAN 的推薦性能逐漸提升，直到α=0.20，三元組損失算法可獲取最合理的樣本分布，進(jìn)而促使推薦系統(tǒng)性能最優(yōu)。

4.4 模型簡化測試

如圖1 所示，基于UPM-GAN 的推薦系統(tǒng)包含三大核心部分：GAN 框架、基于三元組損失算法的難分負(fù)樣本挖掘和SVD++算法。為明確各部分在推薦中的作用，本節(jié)對UPM-GAN進(jìn)行模型簡化測試（ablation analysis），這也為未來優(yōu)化模型指明方向。選取表2、表3 中的UPM-GAN 作為Baseline 進(jìn)行模型簡化測試，得到如表4、表5 所示實驗結(jié)果?！癗o_GAN”表示推薦系統(tǒng)未使用GAN 框架，它被簡化為次優(yōu)模型LambdaFM，該簡化測試的目的是評價GAN 框架的重要性?！癗o_SVD++”表示基于GAN 的推薦系統(tǒng)未使用SVD++算法作為生成模型G，該簡化測試的目的是評價SVD++算法的重要性?！癗o_TripletLoss”表示基于GAN 和SVD++算法的推薦系統(tǒng)未使用三元組損失算法完成難分負(fù)樣本挖掘，該簡化測試的目的是評價Triplet Loss算法的作用。

如表4、表5 所示：在UPM-GAN 中，GAN 框架最重要，即強(qiáng)有力的對抗學(xué)習(xí)使得生成模型、判別模型的能力都不斷增強(qiáng)，從而大幅改善推薦性能；其次是三元組損失算法，難分負(fù)樣本被不斷篩選出，進(jìn)而提升模型對正樣本的識別精度；SVD++算法相對重要性最低。當(dāng)然，UPM-GAN 中的難分負(fù)樣本挖掘還有改進(jìn)空間，如引入文本、圖像等額外信息進(jìn)行基于內(nèi)容的難分負(fù)樣本挖掘。另外，可引入DeepFM[28]來改進(jìn)UPM-GAN 的生成模型，更好地挖掘用戶隱性偏好。

Table 4 Ablation analysis on MovieLens-100K dataset表4 在MovieLens-100K 數(shù)據(jù)集上的模型簡化測試結(jié)果

Table 5 Ablation analysis on MovieLens-1M dataset表5 在MovieLens-1M 數(shù)據(jù)集上的模型簡化測試結(jié)果

5 結(jié)論與展望

用戶偏好挖掘是制約推薦性能的關(guān)鍵因素。提出全新的基于UPM-GAN 的推薦系統(tǒng)，從兩個角度深入分析用戶偏好：基于三元組損失算法完成難分負(fù)樣本挖掘，即以負(fù)樣本反向激勵的方式確立正樣本，從而更好地刻畫用戶偏好；設(shè)計基于SVD++算法的生成模型，加入隱式參數(shù)、偏置信息等更準(zhǔn)確地描述用戶潛在偏好。在GAN 框架上訓(xùn)練出高效、魯棒的推薦系統(tǒng)。實驗表明：UPM-GAN 不但推薦性能優(yōu)秀，且其收斂速度更快，模型訓(xùn)練過程更平穩(wěn)，故基于UPM-GAN 的推薦系統(tǒng)的實用價值較高。

未來研究方向：（1）引入文本、圖像等額外信息進(jìn)行基于內(nèi)容的難分負(fù)樣本挖掘，更好地確立正樣本；（2）設(shè)計基于DeepFM[28]的生成模型，更好地挖掘用戶隱性偏好；（3）加入文本、圖像、知識圖譜[29-30]等輔助信息進(jìn)行高質(zhì)量的對象建模，進(jìn)一步緩解推薦時的數(shù)據(jù)稀疏問題。