趙 煜, 郭貴冰, 姜琳穎

東北大學(xué)軟件學(xué)院 沈陽 中國 110819

1 引言

推薦技術(shù)雖已應(yīng)用廣泛, 但整個推薦領(lǐng)域面臨的挑戰(zhàn)卻依舊存在, 如數(shù)據(jù)稀疏、數(shù)據(jù)噪聲等[1-2]。其中, 數(shù)據(jù)稀疏對于推薦性能有舉足輕重的影響,例如淘寶上有近百億商品, 一個用戶平均能瀏覽一千件商品, 那么稀疏度能達(dá)到千萬分之一或以下的量級, 這就使得很多僅使用用戶—物品交互數(shù)據(jù)進(jìn)行訓(xùn)練的傳統(tǒng)協(xié)同過濾算法效果并不是很滿意。

緩解數(shù)據(jù)稀疏的一個有效辦法是利用其他數(shù)據(jù)域的知識來增強(qiáng)原數(shù)據(jù)域, 設(shè)計(jì)更為精細(xì)的模型[3-6]。其中, 社交關(guān)系數(shù)據(jù)是非常有用的知識[7-8], 在社交領(lǐng)域, 人們的偏好很大程度上會被其有關(guān)聯(lián)的朋友所影響[9-10]。從圖1 中可知, 基于社交的推薦算法中一般涉及用戶—物品域和用戶—社交域, 前者代表用戶與物品的交互, 后者則代表用戶與用戶之間的社交關(guān)系。兩個數(shù)據(jù)域之間通過公共的用戶作為橋梁進(jìn)行信息遷移, 那么同時使用這兩種信息對用戶進(jìn)行建模, 能有效降低用戶—物品域的數(shù)據(jù)稀疏性,提高推薦性能[5-8]。

圖1 社交推薦算法涉及的兩個數(shù)據(jù)域Figure 1 Two data domains in social recommender

然而, 直接使用這種顯式的社交關(guān)系來改善推薦性能的方法雖然通常能取得一定的效果, 但不容忽視的是社交網(wǎng)絡(luò)非常稀疏, 并且用戶結(jié)點(diǎn)的偏好具有差異性[3,11]。具體來講, 線上具有顯式朋友關(guān)系的用戶不一定擁有相同的興趣偏好, “朋友”這個詞是廣義的, 線上社交網(wǎng)絡(luò)中的“朋友”通常包括同學(xué)、同事、親戚等, 用戶與不同朋友的興趣偏好各有遠(yuǎn)近,那么直接利用顯式朋友的興趣偏好進(jìn)行推薦就會存在噪聲。因此, 基于社交的推薦算法需要在利用社交信息之前重構(gòu)社交網(wǎng)絡(luò), 找到用戶偏好真正相似的朋友, 以減少偏好差異較大的朋友帶來的噪聲。

除此, 目前大部分基于排序的推薦算法通常使用用戶與物品的交互記錄(如點(diǎn)擊、觀看歷史)進(jìn)行訓(xùn)練。如果用戶與物品有交互記錄, 就認(rèn)為用戶喜歡該物品,沒有則認(rèn)為用戶不喜歡[7,12]。這些算法直接對用戶沒有交互過的物品進(jìn)行隨機(jī)采樣, 然后將其作為用戶實(shí)際交互過的物品的負(fù)樣本來優(yōu)化模型, 但用戶沒有交互過的物品不一定代表用戶不喜歡, 所以直接利用上述粗略的采樣策略得到的負(fù)樣本也會存在噪聲。文獻(xiàn)[3]和文獻(xiàn)[7]則利用社交信息, 不僅對用戶沒有交互過的物品進(jìn)行隨機(jī)采樣, 也對用戶朋友交互過的物品進(jìn)行采樣, 進(jìn)一步細(xì)化了采樣策略。其根據(jù)“相比于未交互的物品, 用戶更偏愛其朋友交互過的物品”的假設(shè), 將朋友交互過的物品作為用戶實(shí)際交互過的物品的負(fù)樣本, 將用戶未交互過的物品作為其朋友交互過的物品的負(fù)樣本, 取得了不錯的推薦性能。然而,這類社交推薦算法中仍然粗略地對未交互過的物品進(jìn)行隨機(jī)采樣, 并且受到上述社交網(wǎng)絡(luò)差異性的影響,依然存在大量噪聲。因此, 需要更為細(xì)粒度的采樣方法來降低相關(guān)算法中存在的噪聲影響。

近年來, 生成對抗網(wǎng)絡(luò)因其在訓(xùn)練中捕獲復(fù)雜數(shù)據(jù)分布的能力以及強(qiáng)大的魯棒性被廣泛應(yīng)用到推薦系統(tǒng)中[13-15]。我們基于生成對抗網(wǎng)絡(luò), 提出了一種細(xì)粒度的對抗采樣推薦模型(ASGAN)。具體地, 生成器首先為用戶生成偏好相似的朋友, 然后從該朋友交互過的物品中同時采樣出該用戶可能喜歡的物品和可能不喜歡的物品, 判別器則利用兩種排序方法來區(qū)分用戶實(shí)際交互過的物品和生成器采樣出的兩類物品。隨著對抗訓(xùn)練的進(jìn)行, 生成器能重構(gòu)出更為可靠的社交網(wǎng)絡(luò), 有效地進(jìn)行社交朋友采樣和物品采樣, 而判別器能夠良好地捕獲用戶的真實(shí)偏好分布。本文主要貢獻(xiàn)簡要如下:

(1) 針對顯式社交信息和物品采樣策略存在的噪聲問題, 我們基于生成對抗網(wǎng)絡(luò)提出了一個細(xì)粒度的對抗采樣推薦模型ASGAN, 實(shí)現(xiàn)了端到端的訓(xùn)練與推薦。

(2) 我們在生成器中結(jié)合圖表示學(xué)習(xí)思想初始化社交網(wǎng)絡(luò), 然后利用Gumbel-Softmax 技術(shù)進(jìn)行朋友采樣和細(xì)粒度的物品采樣, 并在判別器中使用兩種排序方法來鑒別采樣出的3 類物品。

(3) 我們在3 個真實(shí)的數(shù)據(jù)集中進(jìn)行了詳細(xì)的實(shí)驗(yàn), 并與6 個現(xiàn)有的相關(guān)算法對比, 證明了ASGAN的有效性。

2 相關(guān)工作

2.1 社交推薦算法

社交推薦領(lǐng)域早期的研究中主要使用顯式的社交關(guān)系來改善推薦性能, 例如文獻(xiàn)[16]和文獻(xiàn)[17]通過共享一部分公共用戶在物品域和社交域中的特征對用戶—物品交互矩陣和用戶—社交矩陣進(jìn)行分解。文獻(xiàn)[7]提出了一種經(jīng)典的基于社交的貝葉斯排序方法。文獻(xiàn)[5]則使用圖卷積神經(jīng)網(wǎng)絡(luò)聚合用戶多階的顯式社交關(guān)系, 以便捕獲更精準(zhǔn)的用戶偏好。以上研究都把關(guān)注點(diǎn)放在了對顯式社交關(guān)系的使用上, 卻忽略了社交數(shù)據(jù)本身的稀疏性和差異性, 反而不能達(dá)到滿意的推薦效果。

那么另外一種挖掘“隱式朋友”的代替方案就顯得更加可靠, 所謂“隱式朋友”就是在社交網(wǎng)絡(luò)上并沒有顯式連接卻有著相似偏好的用戶, 或者偏好真正相似的顯式朋友。例如, 文獻(xiàn)[18]基于文獻(xiàn)[8]的模型使用Hellinger 距離來抽取隱式的社交關(guān)系。文獻(xiàn)[11]使用一種異構(gòu)網(wǎng)絡(luò)嵌入的方式來挖掘隱式社交關(guān)系。文獻(xiàn)[3]利用了文獻(xiàn)[11]中獲取的隱式朋友作為生成對抗網(wǎng)絡(luò)模型的輸入來生成社交關(guān)系, 但其嚴(yán)格意義上并不是一個端到端的模型。我們的ASGAN 則使用了類似圖表示學(xué)習(xí)的方法來初始化社交網(wǎng)絡(luò), 同時維持社交網(wǎng)絡(luò)的總體信息和各用戶結(jié)點(diǎn)自身的社交信息, 然后與細(xì)粒度的對抗訓(xùn)練相結(jié)合來重構(gòu)出更為真實(shí)可靠的社交網(wǎng)絡(luò), 有效降低了顯式社交信息帶來的噪聲影響。

2.2 對抗采樣推薦算法

負(fù)樣本采樣器在基于隱式反饋的推薦算法中不可或缺[7,12], 當(dāng)前存在的負(fù)樣本采樣器可以大致分為兩類: 靜態(tài)采樣器[12,19]與適應(yīng)性采樣器[13,20]。靜態(tài)采樣器使用一個固定的采樣分布來抽取負(fù)樣本, 而適應(yīng)性采樣器則根據(jù)模型的參數(shù)和狀態(tài)動態(tài)地抽取負(fù)樣本, 并且根據(jù)采樣結(jié)果調(diào)整采樣分布, 往往能取得更優(yōu)的采樣效果。

由于生成對抗網(wǎng)絡(luò)優(yōu)秀的擬合分布能力以及良好的魯棒性[21-22], 其生成器能夠作為適應(yīng)性采樣器,這衍生出了許多對抗采樣推薦算法。例如, 文獻(xiàn)[13]使用生成器采樣出用戶可能喜歡的物品, 并使用判別器判斷該樣本是用戶實(shí)際交互過的物品還是生成器生成的物品, 證明了利用生成對抗網(wǎng)絡(luò)在推薦系統(tǒng)中進(jìn)行負(fù)采樣的有效性, 但其使用的單個離散索引的訓(xùn)練方式使得生成器采樣出的物品過早地與樣本中真實(shí)的隱式反饋擬合, 致使訓(xùn)練后期的性能退化。類似地, 文獻(xiàn)[23]也利用生成器生成樣本來補(bǔ)充原始的用戶—物品交互數(shù)據(jù), 從而增強(qiáng)推薦性能。不同于以上的方法, 文獻(xiàn)[15]則并沒有將生成器既當(dāng)做采樣器, 又用做推薦, 他們提出了一種通用的成對對抗學(xué)習(xí)模型, 僅使用生成器作為采樣器, 然后利用判別器對采樣出的樣本對進(jìn)行排序, 即使用判別器進(jìn)行推薦。此外, 文獻(xiàn)[4]利用對抗采樣將用戶信息從社交領(lǐng)域遷移到物品領(lǐng)域以指導(dǎo)模型更好地進(jìn)行跨域推薦。文獻(xiàn)[3]則首先為用戶生成更可靠的社交朋友, 其次再根據(jù)該社交朋友交互過的物品生成用戶可能喜歡的物品作為負(fù)樣本。和以上相關(guān)的方法相比, 我們的ASGAN在生成器中采用了更為細(xì)粒度的采樣方式, 同時為用戶采樣出其可能喜歡的物品和可能不喜歡的物品, 并在判別器中采用兩種不同的排序方式來鑒別采樣出的物品, 有效降低了負(fù)采樣策略帶來噪聲的影響。

3 基于對抗采樣的社交推薦算法

3.1 模型概要

為了更有效地降低顯式社交信息和物品采樣帶來的噪聲影響, 我們提出了一種新穎的基于生成對抗網(wǎng)絡(luò)的采樣推薦模型ASGAN, 具體模型結(jié)構(gòu)如圖2 所示, 主要包含一個生成器(Gθ)和一個判別器(Dφ), 其中θ和φ代表其各自的參數(shù)。首先在生成器中使用一個自編碼器重構(gòu)社交網(wǎng)絡(luò), 更好地捕獲真實(shí)可靠的社交關(guān)系, 然后利用Gumbel-Softmax 技術(shù)[24]為用戶挑選出偏好相似的朋友, 接著在采樣出的朋友交互過的物品集中進(jìn)行細(xì)粒度的物品采樣, 為當(dāng)前用戶挑選出其可能喜歡的物品和可能不喜歡的物品。判別器則對用戶實(shí)際交互過的物品, 以及生成器采樣出的兩類物品組成的三元組進(jìn)行排序, 捕獲用戶的偏好分布。如果生成器采樣出的物品不符合判別器的排序目標(biāo), 那么判別器會給生成器返回梯度, 讓其減少采樣類似朋友以及兩類物品的概率, 從而進(jìn)行有效的懲罰。隨著對抗訓(xùn)練的進(jìn)行, 生成器和判別器的能力達(dá)到相對平衡,生成器能重構(gòu)出更為可靠的社交網(wǎng)絡(luò), 并有效地進(jìn)行社交朋友采樣和物品采樣, 而判別器能夠更好地捕獲用戶的偏好, 達(dá)到不錯的推薦效果。

圖2 模型概要Figure 2 Model overview

3.2 重構(gòu)社交網(wǎng)絡(luò)

在社交領(lǐng)域, 人們的偏好很大程度上會被其信賴的朋友所影響[9-10], 但社交網(wǎng)絡(luò)中各朋友的偏好具有差異性[3,11], 因此為用戶生成新的朋友, 找到偏好相似的朋友, 對緩解數(shù)據(jù)稀疏和降低社交信息帶來噪聲的影響十分重要。為了指導(dǎo)生成器能夠生成更為可靠的朋友, 我們設(shè)計(jì)了一個類似圖表示學(xué)習(xí)[25]的自編碼器(Auto-Encoder)來同時優(yōu)化社交網(wǎng)絡(luò)的總體結(jié)構(gòu)信息和各用戶結(jié)點(diǎn)自身的社交信息。挖掘朋友關(guān)系, 可以看做預(yù)測社交網(wǎng)絡(luò)中兩個用戶結(jié)點(diǎn)的鏈接概率, 如果兩個結(jié)點(diǎn)之間存在邊的概率較大, 則可以認(rèn)為用戶偏好相似, 即可能存在朋友關(guān)系。

自編碼器本身是一個半監(jiān)督模型, 主要由編碼器 (Encoder) 和解碼器 (Decoder) 兩部分組成。其目標(biāo)是最小化輸出和輸入的重構(gòu)誤差, 我們基于這種結(jié)構(gòu)來保持社交網(wǎng)絡(luò)的總體結(jié)構(gòu)信息。將給定用戶u 的原始社交關(guān)系向量su作為輸入, 對于每一個元素suv, 如果用戶u 與用戶v 擁有顯式的社交關(guān)系則為1, 否則為0。各個隱藏層的輸出可以表示為:

其中, k 為隱含層層數(shù), σ為Sigmoid 激活函數(shù)。在獲得后, 逆向編碼器的過程可得到重構(gòu)后用戶u 的社交關(guān)系向量。自編碼器的目標(biāo)函數(shù)定義為:

其中⊙表示Element-Wise 的乘積。cuv為懲罰矩陣C中的懲罰因子, 如果用戶u 與用戶v 沒有顯式朋友關(guān)系, 則ci,j為0, 反之ci,j大于1, 這一思想與一些基于Point-Wise 的協(xié)同過濾方法極為相似[14,26], 即只考慮非零元素的重構(gòu)誤差?，F(xiàn)在通過使用修改后的懲罰矩陣C 作為輸入, 保證了具有相似顯式社交朋友的用戶結(jié)點(diǎn)將被映射到相似的表示空間附近, 維持了社交網(wǎng)絡(luò)的全局結(jié)構(gòu)。

除了保留社交網(wǎng)絡(luò)的全局結(jié)構(gòu), 捕捉局部結(jié)構(gòu)也是十分必要的。當(dāng)擁有顯式社交關(guān)系的兩個用戶在映射到嵌入空間后相距很遠(yuǎn)時應(yīng)給予相應(yīng)的懲罰,便可使得兩個彼此有社交關(guān)系的用戶在映射空間中也十分靠近, 從而保持了網(wǎng)絡(luò)的局部結(jié)構(gòu)。我們使用原始的社交關(guān)系su,v來約束是否進(jìn)行懲罰。目標(biāo)函數(shù)設(shè)置為:

其中, Lreg為自編碼器的L2 正則項(xiàng), α, β和γ為對應(yīng)部分目標(biāo)函數(shù)的權(quán)重系數(shù)。

3.3 朋友采樣

在重構(gòu)社交網(wǎng)絡(luò)后, 我們對自編碼器的輸出層使用Softmax 函數(shù)得到了包含用戶社交信息的概率分布, 即用戶u 對于所有用戶的一個關(guān)系概率向量,那么直覺上可以選擇概率最大的用戶v 作為用戶可靠的朋友, 但這種方式面臨以下兩個問題。首先, 概率最大的用戶雖然會在模型的優(yōu)化過程中發(fā)生變化,但本次概率最大的用戶v下一次被選擇作為u的朋友的可能性依然會很大, 進(jìn)一步導(dǎo)致用戶v交互過的物品集將多次被采樣, 容易引起模型過擬合。除此, 離散的采樣過程是不可微的, 這意味著不能進(jìn)行端到端地訓(xùn)練。一些模型使用Policy Gradient 策略來解決離散空間內(nèi)采樣不可微的問題[13], 然而這種方法經(jīng)常由于采樣造成的不穩(wěn)定損失加劇訓(xùn)練的不穩(wěn)定,并且收斂緩慢, 特別涉及大規(guī)模候選集采樣時, 更會造成性能的進(jìn)一步惡化[15]?；谝陨蠁栴}, 為了提高模型魯棒性, 并能在采樣時通過反向傳播進(jìn)行端到端的訓(xùn)練, 我們選擇了Gumbel-Softmax[24]進(jìn)行朋友采樣和物品采樣。

Gumbel-Softmax 通過一個可微的重參數(shù)化過程來近似分類樣本[24]。對于每一個用戶u, gi表示從Gumbel(0,1)分布中得到的隨機(jī)噪聲向量, 則朋友采樣過程可以表示為:

v 是經(jīng)過Gumbel-Softmax 生成的類似One-Hot的向量, 代表生成器為用戶u 采樣出的朋友。pu為用戶u 經(jīng)過社交重構(gòu)后輸出的社交關(guān)系概率向量。超參數(shù)τ按照慣例稱為溫度, 選擇大的溫度τ相當(dāng)于對社交關(guān)系概率向量進(jìn)行平滑操作, 即減小原始分布中各標(biāo)簽概率的差距。相反地, 當(dāng)τ越接近于0, v越逼近One-Hot 向量, 將增大原始分布中概率最大的標(biāo)簽的概率, 也就代表了離散的朋友采樣過程,如圖3 所示。

圖3 Gumbel-Softmax 最大概率采樣Figure 3 Max sampling based on Gumbel-Softmax

通過這種重參數(shù)化的技巧使得采樣過程中梯度能夠反向傳播, 同時Gumbel 噪聲給采樣帶來了一定的隨機(jī)性, 如果能夠在隨機(jī)性和可靠性之間找到一個平衡點(diǎn), 將有助于避免過擬合, 增強(qiáng)模型的魯棒性。

3.4 物品采樣

經(jīng)過采樣得到偏好相近的朋友v 之后, 從用戶-物品交互的隱式反饋矩陣中找出該朋友對數(shù)據(jù)集與所有物品的交互向量。注意, 物品采樣不同于朋友采樣, 朋友采樣的概率分布由重構(gòu)社交網(wǎng)絡(luò)部分的自編碼器所得, 所以為了將朋友v 的偏好向量變成與用戶u 直接關(guān)聯(lián)的物品采樣概率分布, 我們同文獻(xiàn)[3]和文獻(xiàn)[15]一樣, 定義一個嵌入矩陣H 表示各用戶對其朋友交互過的物品的偏好, 從而來動態(tài)地表示用戶的物品采樣概率分布, 該采樣過程可以表示為:

同樣地, 我們再次利用Gumbel-Softmax 根據(jù)假設(shè)“用戶對他們可信賴的朋友們不喜歡的物品也同樣不感興趣”, 在采樣朋友v 的交互向量中為用戶抽取出其可能不喜歡的物品。根據(jù)使用溫度小于1 的Gumbel-Softmax 抽取用戶可能喜歡的物品時, 會將分布標(biāo)簽之間的差距拉大, 即將可能性大的物品的概率增大, 將可能性小的物品的概率減小, 起到Max函數(shù)的作用, 我們發(fā)現(xiàn)在同樣的候選集中, 僅需要將傳入的采樣概率分布向量中各元素變成對應(yīng)的負(fù)值, 則Gumbel-Softmax 就可變?yōu)樵挤植嫉淖钚「怕蕵颖静蓸悠? 即將可能性大的物品的概率變小,將可能性小的物品的概率增大, 達(dá)到Min 函數(shù)的作用。如圖4 所示。

圖4 Gumbel-Softmax 最小概率采樣Figure 4 Min sampling based on Gumbel-Softmax

那么, 用戶u 可能不喜歡的物品的采樣過程可以表示為:

3.5 對抗訓(xùn)練

基于“用戶對他們可信賴的朋友交互過的物品更感興趣, 對他們可信賴的朋友們不喜歡的物品也同樣不感興趣”的假設(shè), 我們利用生成器進(jìn)行了更為細(xì)粒度的采樣, 得到用戶可能喜歡的物品p 和用戶可能不喜歡的物品n。然后, 我們再從用戶交互過的物品中隨機(jī)采樣出用戶交互過的物品i, 并與上述3個物品組成三元組作為判別器的輸入。注意, 這里對物品i 進(jìn)行的隨機(jī)采樣通常認(rèn)為是理論無噪的, 因?yàn)樵诰€下訓(xùn)練或測試時, 實(shí)驗(yàn)前提就是將用戶實(shí)際交互數(shù)據(jù)當(dāng)做用戶真實(shí)的偏好。

首先, 根據(jù)假設(shè)“相比于未交互過的樣本, 用戶更偏愛于其可信賴的朋友交互過的物品”, 則偏好排序可表示為:

xui表示用戶u 對其交互過的物品i 的偏好, xup表示用戶u 對其朋友們喜歡的物品的偏好, 也就是用戶u對生成器為其生成的其可能喜歡的物品p 的偏好, xun表示用戶u 對其朋友不喜歡的物品的偏好, 即用戶u 對生成器為其生成的其可能不喜歡的物品n 的偏好。同樣地, 我們也可以認(rèn)為用戶u 對物品i 的偏好應(yīng)該同時大于其對物品p 和n 的偏好, 則偏好排序也可以表示為:

根據(jù)以上兩個社交約束, 生成器設(shè)計(jì)的目標(biāo)是嘗試從用戶的朋友們交互過的物品候選集中采樣出與用戶交互過的物品偏好相當(dāng)?shù)奈锲? 則生成器的目標(biāo)函數(shù)可以記為:

其中, 最后一項(xiàng)為正則化項(xiàng), λθ為正則化系數(shù)。σ為Sigmoid 激活函數(shù), 當(dāng)用戶u 對其可能喜歡的物品p的偏好xup越接近用戶u 對其已交互過的物品i 的偏好xui時, 生成器的目標(biāo)函數(shù)值就會越大, 所以最大化生成器的目標(biāo)函數(shù), 可以讓生成器生成與用戶交互過的物品偏好相當(dāng)?shù)奈锲? 并且增大采樣偏好相似的朋友的可能性。

其中, 最后一項(xiàng)為正則化項(xiàng), λφ為正則化系數(shù)。當(dāng)最小化判別器的目標(biāo)函數(shù)時, 可擴(kuò)大xui與xup的差值和xup與xun的差值, 即讓判別器更好區(qū)分出三類不同的物品。

此外, 根據(jù)式(11), 在判別器中也可以將生成器采樣出的用戶可能喜歡的物品p 和用戶可能不喜歡的物品n 同時作為用戶實(shí)際交互過的物品i 的負(fù)樣本[7]。那么判別器的目標(biāo)函數(shù)也可以定義為:

根據(jù)生成對抗網(wǎng)絡(luò)的原理[21], 生成器和判別器的目標(biāo)是相反的, 那么通過這個最大最小化游戲,訓(xùn)練過程最終將達(dá)到一個平衡狀態(tài), 生成器可以生成用戶更為可靠的朋友, 以及用戶喜歡的物品和其不喜歡的物品, 而判別器可以鑒別出三類候選物品,并捕獲到用戶真實(shí)的偏好, 從而得到不錯的推薦性能。ASGAN 模型的算法訓(xùn)練過程具體如算法1 所示:

算法1:ASGAN 模型的訓(xùn)練過程.

輸入: 社交網(wǎng)絡(luò)鄰接矩陣S, 基于用戶—物品交互的隱式反饋矩陣R

輸出: 生成器(Gθ)與判別器(Dφ)可訓(xùn)練的參數(shù)

1. 初始化生成器(Gθ)與判別器(Dφ)

2. 根據(jù)式(6)預(yù)訓(xùn)練社交重構(gòu)模塊

3. FOR 迭代次數(shù)DO

4. FOR 每一位用戶DO

5. 向生成器中輸入用戶顯式的社交朋友

6. 經(jīng)過社交重構(gòu)模塊得到新的社交概率分布

7. 根據(jù)式(7)為用戶采樣出的朋友v

8. 根據(jù)式(8)為用戶采樣其喜歡的物品p

9. 根據(jù)式(9)為用戶采樣其不喜歡的物品n

10. 將采樣生成的物品p 與物品n 傳給判別器

11. 根據(jù)式(12)計(jì)算生成器損失, 并更新其參數(shù)

12. END

13. FOR 每一位用戶DO

14. 通過生成器得到為用戶采樣出的物品p 和物品n

15. 從R 中為用戶采樣出其實(shí)際交互過的物品i

17. 根據(jù)式(13)(或式(14))計(jì)算判別器損失, 并更新其參數(shù)

18. END

19. END

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 數(shù)據(jù)集

實(shí)驗(yàn)采用了三個公開的數(shù)據(jù)集 LastFM①http://files.grouplens.org/datasets/hetrec2011//、Delicious①和Douban②http://smiles.xjtu.edu.cn/Download/download Douban.html, 數(shù)據(jù)集詳細(xì)信息如表1 所示。我們將整個數(shù)據(jù)集劃分為訓(xùn)練集和測試集, 測試集占總數(shù)據(jù)集的30%, 其他70%為訓(xùn)練集。

表1 數(shù)據(jù)集Table 1 Dataset

在LastFM 數(shù)據(jù)集中, 我們?yōu)橛脩敉扑]藝術(shù)家,使用了用戶與藝術(shù)家的交互記錄和用戶的社交信息,并過濾了用戶和藝術(shù)家的交互數(shù)據(jù)中僅有一次交互的記錄, 然后將剩余數(shù)據(jù)轉(zhuǎn)換成隱式反饋[3,11]。在Delicious 數(shù)據(jù)集中, 我們將所有的用戶與書簽的交互記錄轉(zhuǎn)換為隱式反饋。在Douban 數(shù)據(jù)集中, 我們則將用戶評分大于1 的交互數(shù)據(jù)轉(zhuǎn)為隱式反饋來訓(xùn)練、測試ASGAN 與對比算法。

4.1.2 評估指標(biāo)

實(shí)驗(yàn)中, 我們采用了三個推薦任務(wù)中常用的評估指標(biāo)來定量衡量模型的推薦性能: 精確率(P@k)、召回率(R@k)和歸一化的累計(jì)折損增益(NDCG@k)。其中, 精確率和召回率是無序評估指標(biāo), 僅考慮推薦列表中的物品是否與用戶喜歡有關(guān), 而歸一化的累計(jì)折損增益則評估了推薦列表中各物品在列表中的相對位置和排序。在TopK 推薦任務(wù)中, 推薦列表頂部的物品更為重要, 實(shí)驗(yàn)中取K 為5 和10。

4.1.3 對比算法

為了證明本算法的優(yōu)越性, 我們選擇與現(xiàn)存的六個相關(guān)算法進(jìn)行了詳細(xì)的對比實(shí)驗(yàn):

POP(Popularity): 是一種基于物品流行度的非個性化推薦算法, 其根據(jù)用戶與物品的交互次數(shù)對物品進(jìn)行排序, 為每一位用戶給出相同的推薦列表。

BPR(Bayesian Personalized Ranking)[12]: 是一種基于隱式反饋的經(jīng)典成對排序算法, 其對用戶未交互過的物品進(jìn)行隨機(jī)采樣, 然后作為用戶實(shí)際交互過物品的負(fù)樣本來優(yōu)化貝葉斯后驗(yàn)概率。

SBPR(Social Bayesian Personalized Ranking)[7]:是一種利用社交信息的經(jīng)典成對排序算法, 其將隨機(jī)采樣的朋友交互過的物品和用戶未交互過的物品作為用戶實(shí)際交互過物品的負(fù)樣本, 然后利用該物品三元組進(jìn)行排序優(yōu)化。

IRGAN(Information Retrieval Generative Adversarial Nets)[13]: 是一種將離散值采樣與生成對抗網(wǎng)絡(luò)相結(jié)合的經(jīng)典算法, 其將生成器采樣出的樣本視為負(fù)樣本, 證明了在推薦系統(tǒng)中使用生成對抗網(wǎng)絡(luò)進(jìn)行動態(tài)采樣的有效性。

APR(Adversarial Personalized Ranking)[22]: 是一種通用的基于對抗學(xué)習(xí)的成對排序算法, 有效提高了成對學(xué)習(xí)模型整體的魯棒性與泛化能力, 但其并沒有引入額外的社交信息。

RSGAN(Reliable Social Generative Adversarial Nets)[3]: 是一種基于社交朋友生成的對抗學(xué)習(xí)算法,其首先利用自定義的異構(gòu)網(wǎng)絡(luò)生成各用戶偏好相似的朋友, 然后使用生成對抗網(wǎng)絡(luò)進(jìn)行朋友采樣與物品采樣, 但其在生成器中進(jìn)行物品采樣時, 僅對用戶可能喜歡的物品進(jìn)行采樣, 而且本質(zhì)上并不是一個端到端的模型。

針對不同的數(shù)據(jù)集, 我們對本文所提出模型ASGAN 的重要參數(shù)進(jìn)行設(shè)置。社交重構(gòu)模塊中的權(quán)重系數(shù)α在{0.5, 1, 1.5}之間進(jìn)行調(diào)整, 權(quán)重系數(shù)β則在{80, 90, 100}之間進(jìn)行調(diào)整, 懲罰因子c在{20, 25,30, 35}之間進(jìn)行調(diào)整。正則化系數(shù)γ、λθ和λφ在{0.01,0.05, 0.1, 0.2}之間進(jìn)行調(diào)整, Gumbel-Softmax 中的溫度系數(shù)τ則在{0.05, 0.1, 0.15, 0.2, 0.25}之間進(jìn)行調(diào)整, 其他常見的超參數(shù)如學(xué)習(xí)率、批次大小和迭代次數(shù)則根據(jù)具體情況進(jìn)行調(diào)優(yōu)。

4.2 推薦性能對比

根據(jù)上述實(shí)驗(yàn)設(shè)置, 我們在三個數(shù)據(jù)集上對ASGAN 和六個對比算法進(jìn)行了充分的實(shí)驗(yàn), 實(shí)驗(yàn)結(jié)果如表2 所示, 包括了所有的六個評估指標(biāo), 其中每個評估指標(biāo)的提升比例根據(jù)式(15)計(jì)算而得。我們可得到以下結(jié)論:

表2 在三個數(shù)據(jù)集中的推薦性能對比Table 2 Comparison of recommendation performance in three datasets

個性化推薦算法的性能明顯優(yōu)于基于物品流行度的非個性化推薦算法POP。SBPR 的推薦性能在大部分指標(biāo)中都明顯優(yōu)于BPR, ASGAN 和RSGAN 在大部分指標(biāo)中也比僅使用用戶—物品交互信息的IRGAN 和APR 具有優(yōu)勢, 證明了有效利用社交數(shù)據(jù)有利于提高推薦性能?；趯箤W(xué)習(xí)的推薦算法IRGAN、APR、RSGAN 和SAGAN 在大部分指標(biāo)中普遍比傳統(tǒng)算法POP、BPR 和SBPR 擁有更好的性能, 表明在對抗訓(xùn)練可以減少噪聲對模型的干擾,提高模型的魯棒性, 從而更好地捕獲用戶的偏好。

ASGAN 在各指標(biāo)上均高于六個對比算法。對比傳統(tǒng)推算法, ASGAN 具有更為明顯的性能優(yōu)勢, 進(jìn)一步說明基于深度學(xué)習(xí)和對抗學(xué)習(xí)的模型具有更強(qiáng)的學(xué)習(xí)能力。對比僅使用用戶—物品交互數(shù)據(jù)的對抗模型IRGAN 和APR, ASGAN 優(yōu)勢也十分明顯, 再次證明了有效利用社交信息進(jìn)行對抗訓(xùn)練的優(yōu)勢。此外, 在與同樣基于社交信息和生成對抗網(wǎng)絡(luò)的RSGAN 的對比中, 我們的ASGAN 也具有明顯的優(yōu)勢, 證明了細(xì)粒度采樣有效緩解了社交信息和粗粒度采樣策略帶來的噪聲問題, 提高了推薦的準(zhǔn)確率。

進(jìn)一步地, 為了定量分析ASGAN 性能提升的顯著性差異, 我們選取對比算法中性能較好的RSGAN 與我們的ASGAN 在每個數(shù)據(jù)集上都進(jìn)行五次重復(fù)實(shí)驗(yàn), 然后在精確率(P@5)上進(jìn)行T-test 檢驗(yàn), 假設(shè)二者性能相等的顯著性水平為0.01, 檢驗(yàn)結(jié)果P-value 都遠(yuǎn)小于0.01, 所以ASGAN 的性能提升顯著。

4.3 負(fù)采樣的影響

負(fù)采樣對基于隱式反饋數(shù)據(jù)進(jìn)行訓(xùn)練的模型至關(guān)重要。在ASGAN 中, 我們基于社交信息利用生成對抗網(wǎng)絡(luò)的生成器進(jìn)行了更為細(xì)粒度的采樣, 同時采樣出用戶可能喜歡的物品和可能不喜歡的物品,在判別器中則隨機(jī)采樣出用戶交互過的物品, 并使用了兩種排序方式利用采樣出的物品三元組。為了探究判別器中不同排序方式的推薦性能情況, 我們將利用式(11)對應(yīng)的排序方式訓(xùn)練判別器的模型記為AS-1, 將利用式(12)進(jìn)行訓(xùn)練的模型記為AS-2。此外, 為了探究ASGAN 細(xì)粒度采樣方法的有效性,我們同文獻(xiàn)[3]一樣, 在生成器中僅采樣出用戶可能喜歡的物品, 在判別器中對用戶交互過的物品和用戶未交互的物品都進(jìn)行隨機(jī)采樣, 然后同樣利用兩種排序方式優(yōu)化判別器, 記為模型RS-1 和RS-2。

實(shí)驗(yàn)結(jié)果如表3 所示, 首先在兩個數(shù)據(jù)集中分別將AS-1 與RS-1 進(jìn)行對比, AS-2 與RS-2 進(jìn)行對比,并利用五次重復(fù)實(shí)驗(yàn)的精確率(P@5)對兩組實(shí)驗(yàn)實(shí)施T-test 檢驗(yàn), 檢驗(yàn)結(jié)果P-value 都遠(yuǎn)小于0.01, 證明在判別器排序方式相同的情況下, ASGAN 生成器中采用的細(xì)粒度采樣方式比粗粒度的隨機(jī)采樣效果更優(yōu), 并且推薦性能提升顯著。

表3 負(fù)采樣的影響Table 3 Effects of negative sampling

此外, 在兩種采樣方式中對比判別器中不同排序方式對推薦性能的影響, 可知在LastFM 數(shù)據(jù)集中, 使用第一種排序方式性能較好, 而在Delicious中, 第二種排序方式性能更佳。導(dǎo)致這種情況出現(xiàn)的一個合理解釋是不同數(shù)據(jù)集中采樣出的兩類細(xì)粒度樣本攜帶的相對噪聲大小是未知的, 所以在實(shí)際的推薦數(shù)據(jù)和背景下, 我們無法在真實(shí)數(shù)據(jù)中直接觀察到這兩種排序方式中的優(yōu)劣, 需要實(shí)驗(yàn)確定。類似地, 文獻(xiàn)[7]中也同樣說明了這兩種排序方式的不確定性。

4.4 采樣溫度的影響

ASGAN 采用Gumbel-Softmax 進(jìn)行社交朋友采樣和物品采樣, 這種方法使得采樣過程中梯度能夠反向傳播, 同時Gumbel 噪聲給采樣過程帶來了一定的隨機(jī)性, 溫度系數(shù)τ則控制了采樣結(jié)果所攜帶的信息熵含量, 如果能夠在隨機(jī)性和可靠性之間找到一個平衡點(diǎn), 有利于增強(qiáng)模型的魯棒性。溫度τ的取值越小, 則采樣得到的結(jié)果向量越接近于一個One-Hot 向量, 但所攜帶信息熵含量也越少。注意,從表3 中可知, 在兩個數(shù)據(jù)集采用兩種不同的排序方式性能差距較大, 因此我們選擇對兩個數(shù)據(jù)集中分別表現(xiàn)較優(yōu)的模型(即LastFM 數(shù)據(jù)集中的AS-1 模型和Delicious 中的AS-2 模型)不同的τ值進(jìn)行實(shí)驗(yàn)。圖5 展示了在兩個數(shù)據(jù)集中, 不同采樣溫度τ的取值對召回率(R@10)的影響, 從圖中可知兩個數(shù)據(jù)集中τ在0.1 附近取值性能最優(yōu), 并且都呈現(xiàn)先上升后下降的趨勢。

圖5 采樣溫度的影響Figure 5 Effects of sampling temperature

4.5 社交重構(gòu)的影響

社交重構(gòu)模塊對于找到與用戶偏好真正相近的朋友, 降低社交信息帶來的噪聲影響必不可少。ASGAN 中對社交重構(gòu)模塊參數(shù)的調(diào)整來自于重構(gòu)模塊的預(yù)訓(xùn)練以及對抗訓(xùn)練過程中帶來的懲罰。表2和表3 可以證明對抗訓(xùn)練對于減少社交信息攜帶噪聲的有效性。為了證明對社交重構(gòu)模塊預(yù)訓(xùn)練帶來的影響, 我們?nèi)コ龑ι缃恢貥?gòu)模塊的預(yù)訓(xùn)練過程,直接進(jìn)行對抗訓(xùn)練。對應(yīng)兩種排序方式并擁有完整訓(xùn)練過程的AS-1 和AS-2, 分別得到未進(jìn)行預(yù)訓(xùn)練的模型AS-1-P 和AS-2-P。

如圖6 所示, AS-1-P 和AS-2-P 在兩個數(shù)據(jù)集中的召回率(R@10)上都要低于相應(yīng)的經(jīng)過預(yù)訓(xùn)練的模型, 證明了我們使用類似圖表示學(xué)習(xí)的方法對社交重構(gòu)模塊進(jìn)行預(yù)訓(xùn)練對減少社交信息攜帶噪聲, 提升推薦準(zhǔn)確率的有效性。

圖6 社交重構(gòu)預(yù)訓(xùn)練的影響Figure 6 Effects of social reconstruction pretrain

5 結(jié)論

本文針對顯式社交信息和物品采樣策略中存在的噪聲問題, 基于生成對抗網(wǎng)絡(luò)提出了一種對抗采樣推薦模型ASGAN。具體地, 生成器首先結(jié)合圖表示學(xué)習(xí)方法初始化社交網(wǎng)絡(luò), 然后使用 Gumbel-Softmax 進(jìn)行朋友采樣和細(xì)粒度的物品采樣。在判別器中, 我們使用兩種排序方式來區(qū)分采樣出的物品三元組(用戶喜歡的物品、用戶不喜歡的物品和用戶實(shí)際交互過的物品), 并指導(dǎo)生成器進(jìn)行更為有效的采樣, 實(shí)現(xiàn)了端到端的推薦。最后, 我們在三個真實(shí)的數(shù)據(jù)集中進(jìn)行了充分的實(shí)驗(yàn), 證明了ASGAN比現(xiàn)有的相關(guān)工作具有更優(yōu)秀的推薦性能, 所提出的采樣方法對于降低顯式社交信息和物品采樣帶來噪聲的影響是有效的。在未來的工作中, 我們將會把圖表示學(xué)習(xí)初始化社交網(wǎng)絡(luò)的方法融入對抗訓(xùn)練的過程中, 從而更好地利用社交信息進(jìn)行推薦。