王永強(qiáng)，陳徐洪，張壯壯，董云泉

(1.南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044；2.國(guó)家開(kāi)發(fā)銀行 重慶市分行，重慶 400023)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息呈現(xiàn)爆炸式增長(zhǎng)。因此，為滿足用戶的特殊需求而設(shè)計(jì)的各種推薦系統(tǒng)得到廣泛的研究[1-3]，如基于內(nèi)容的推薦[4，5]和基于協(xié)同過(guò)濾的推薦[6-8]等。深度學(xué)習(xí)在模式識(shí)別領(lǐng)域的廣泛應(yīng)用[9-12]為推薦系統(tǒng)的發(fā)展提供了新的研究方向。然而深度學(xué)習(xí)模型的損失函數(shù)設(shè)計(jì)對(duì)于缺乏較強(qiáng)領(lǐng)域知識(shí)的研究者頗為困難。Goodfellow等[13]在2014年提出的生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)，代替設(shè)計(jì)復(fù)雜的損失函數(shù)，將問(wèn)題置于極小極大的二人零和博弈框架中。隨后Wang等[14]將GAN應(yīng)用于信息檢索(information retrieval，IR)領(lǐng)域，提出IRGAN模型，之后Dong-KyuChae等[15]又提出CFGAN模型，相比IRGAN模型，CFGAN推薦精度更好，推薦結(jié)果更理想。

CFGAN模型中考慮以用戶交互向量作為條件，然而用戶交互向量中存在未交互項(xiàng)語(yǔ)義模糊，即未評(píng)分項(xiàng)可能是用戶不感興趣或者尚未觀察到的，使用這種不明確信息作為條件引導(dǎo)生成器生成接近真實(shí)情況的交互向量，會(huì)導(dǎo)致判別器回傳不精確的梯度給生成器，從而造成推薦精度的降低。在實(shí)際推薦場(chǎng)景中，用戶的很多屬性信息可以被利用，將這些信息進(jìn)行特征化可以充分表達(dá)和區(qū)分用戶之間的關(guān)系，因而在設(shè)計(jì)推薦模型時(shí)考慮到用戶屬性對(duì)推薦質(zhì)量的提升也起到關(guān)鍵作用。因此，本文在CFGAN的基礎(chǔ)上，融合用戶基本屬性并進(jìn)行特征提取和編碼，將提取出的用戶屬性特征向量規(guī)范化，并作為生成對(duì)抗網(wǎng)絡(luò)的條件指導(dǎo)生成器生成更加準(zhǔn)確的推薦序列，提升用戶體驗(yàn)。

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)模型

GAN包含兩個(gè)模型：生成模型(Generator，G)生成盡可能真實(shí)的數(shù)據(jù)，判別模型(Discriminator，D)估計(jì)樣本來(lái)自真實(shí)數(shù)據(jù)的概率。為了學(xué)習(xí)生成器在數(shù)據(jù)x上的分布pg(x)， 生成器構(gòu)建了一個(gè)從先驗(yàn)噪聲分布pz(z) 到數(shù)據(jù)空間的映射G(z；θg)； 判別器D(x；θd) 輸出一個(gè)單一標(biāo)量，表示x來(lái)自訓(xùn)練樣本而不是來(lái)自生成器的概率，其中θg和θd分別為生成器和判別器的模型參數(shù)。G和D同時(shí)訓(xùn)練，D和G用價(jià)值函數(shù)V(D，G) 進(jìn)行二人最小最大博弈

(1)

圖1中給出了GAN的可視化表示，其中x′表示噪聲z經(jīng)生成器G映射到數(shù)據(jù)空間的合成數(shù)據(jù)樣本，即x′=G(z；θg)。 通過(guò)先驗(yàn)噪聲分布pz(z)， 生成器G生成合成數(shù)據(jù)樣本x′， 與真實(shí)數(shù)據(jù)樣本x共同送入判別器D判別真假，利用回傳的梯度學(xué)習(xí)G在數(shù)據(jù)x上的分布pg(x)， 使其接近真實(shí)數(shù)據(jù)分布pdata(x)， 重復(fù)對(duì)抗訓(xùn)練直到判別器無(wú)法判別數(shù)據(jù)是來(lái)自生成器還是真實(shí)數(shù)據(jù)。

圖1 GAN基本結(jié)構(gòu)

傳統(tǒng)的GAN不能控制生成器生成數(shù)據(jù)的模式。因此，以便有條件地生成數(shù)據(jù)點(diǎn)，條件對(duì)抗模型(conditional GAN，cGAN)應(yīng)運(yùn)而生。圖2為cGAN的模型框架，生成和判別模型都為多層感知機(jī)模型。在生成器G中，先驗(yàn)輸入噪聲z和y串聯(lián)通過(guò)隱藏層生成與真實(shí)數(shù)據(jù)樣本x相同維度的生成數(shù)據(jù)樣本G(z|y)； 在判別器D中，真實(shí)數(shù)據(jù)樣本x或者生成數(shù)據(jù)樣本G(z|y) 和y串接作為輸入，送至隱藏層最后通過(guò)激活函數(shù)判定樣本來(lái)自真實(shí)數(shù)據(jù)樣本的概率D(x|y)。 為了公式的簡(jiǎn)潔性，省略生成器和判別器的模型參數(shù)θg和θd， 則cGAN的優(yōu)化目標(biāo)函數(shù)為

圖2 cGAN基本框架

(2)

1.2 基于GAN的推薦模型

GAN模型在訓(xùn)練過(guò)程中只用到了反向傳播，避免了復(fù)雜的推理過(guò)程，可以生成更加真實(shí)的樣本。在推薦系統(tǒng)中，使用GAN可以模擬用戶的偏好程度，進(jìn)而實(shí)現(xiàn)用戶的個(gè)性化推薦。

Dong-Kyu Chae等[15]指出IRGAN模型沒(méi)有充分利用對(duì)抗性訓(xùn)練的優(yōu)勢(shì)，原因在于其訓(xùn)練方案使G生成離散的物品索引，這不同于原始GAN生成每個(gè)元素有連續(xù)值的向量，這種離散的物品索引時(shí)而標(biāo)記為真時(shí)而標(biāo)記為假，使判別器陷入困惑，不能傳遞正確的梯度給生成器，因此會(huì)降低推薦的精度。為了解決這一問(wèn)題提出CFGAN模型，引入了向量形式的訓(xùn)練，其核心思想是將用戶的歷史交互信息作為特征向量，并以用戶的交互信息作為條件，通過(guò)對(duì)抗訓(xùn)練使G生成看似合理的歷史交互向量，而不是對(duì)相關(guān)物品進(jìn)行離散抽樣。判別器負(fù)責(zé)區(qū)分生成的用戶交互向量和真實(shí)的用戶交互向量。這也有助于避免使用強(qiáng)化算法來(lái)更新生成器，因?yàn)橥ㄟ^(guò)向量訓(xùn)練，G和D都可以使用SGD進(jìn)行訓(xùn)練。

2 基于用戶屬性的CFGAN模型

假設(shè)系統(tǒng)有m個(gè)用戶，n個(gè)物品，用ru表示用戶u對(duì)所有物品的評(píng)分向量。為了模型的簡(jiǎn)潔性，本文考慮隱式反饋，即用戶u對(duì)物品i有交互行為，則rui為1，沒(méi)有交互行為則為0。沒(méi)有交互行為不能表示用戶對(duì)物品不感興趣，也可能存在其它情況，比如用戶尚未觀察發(fā)現(xiàn)該物品。在原始CFGAN模型中，將用戶(或物品的)交互向量作為額外的先驗(yàn)條件，通常用戶交互向量非常稀疏，由于沒(méi)有交互行為而語(yǔ)義模糊會(huì)導(dǎo)致判別器的性能下降繼而影響生成器以及推薦的準(zhǔn)確性。并且在實(shí)際推薦系統(tǒng)中，用戶或物品數(shù)可高達(dá)百萬(wàn)，因此將用戶交互向量作為條件與用戶生成交互向量或真實(shí)交互向量合并進(jìn)行訓(xùn)練，輸入向量的維度較長(zhǎng)，在隱藏層進(jìn)行特征降維時(shí)會(huì)有一定的精度損失，并且訓(xùn)練時(shí)間較長(zhǎng)。

為解決這一問(wèn)題，本文將用戶的屬性特征進(jìn)行編碼作為CFGAN模型額外的信息條件，不同用戶有不同的屬性特征，常見(jiàn)的用戶屬性特征包括：性別、年齡、職業(yè)、收入、興趣、郵政編碼等。本文將用戶屬性分為類別類型、枚舉類型和數(shù)值型變量進(jìn)行編碼。對(duì)于類別型變量利用one-hot進(jìn)行編碼，例如性別中男和女可分別表示為[0，1]和[1，0]，此方法映射后將生成多個(gè)特征。對(duì)于枚舉型用戶屬性，將標(biāo)稱型數(shù)據(jù)映射稱為一組數(shù)字，相同的標(biāo)稱型映射為相同的數(shù)字，例如用遞增整數(shù)值映射用戶不同的職業(yè)，這種映射最后只生成一個(gè)特征。對(duì)于數(shù)值類型，通過(guò)減去均值然后除以方差(或標(biāo)準(zhǔn)差)標(biāo)準(zhǔn)化數(shù)據(jù)，這種數(shù)據(jù)標(biāo)準(zhǔn)化方法經(jīng)過(guò)處理后數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布。年齡、收入類等數(shù)值類屬性可通過(guò)該方法特征化。最后將所有處理好的各類屬性特征串接起來(lái)作為用戶的屬性特征向量，該特征向量的每一項(xiàng)都有明確的含義，不存在二義性。不同的數(shù)據(jù)集會(huì)收集不同的用戶屬性，本文使用Movielens電影評(píng)分?jǐn)?shù)據(jù)集，該數(shù)據(jù)集提供用戶的性別、年齡、職業(yè)和郵編，將其進(jìn)行編碼轉(zhuǎn)換為五維的屬性特征向量，其中性別占兩維，對(duì)比使用上千維的用戶交互向量作為條件，極大減小了條件特征維度。

圖3 基于用戶屬性的CFGAN的結(jié)構(gòu)

JD=-xpdata[log(D(x|y))]-

(3)

G的目標(biāo)函數(shù)JG可表示為

(4)

為了解決平凡解的問(wèn)題，CFGAN作者[15]引入了3種方法。它們的主要思想是，在每輪訓(xùn)練迭代開(kāi)始時(shí)，為每個(gè)用戶選擇一部分未交互的物品作為負(fù)樣本，負(fù)樣本表示用戶不感興趣的項(xiàng)。負(fù)樣本的占比用S表示，例如S=20， 則未交互項(xiàng)物品的20%將被選為負(fù)樣本，3種方法的負(fù)樣本抽樣占比可分別表示為SZR、SPM和SZP。 假設(shè)它們與用戶不相關(guān)而不是缺失，訓(xùn)練G在生成用戶交互向量中將這些負(fù)樣本物品項(xiàng)輸出為零，3種方法如下：

零-重構(gòu)正則化法(zero-reconstruction regularization，ZR)：未交互項(xiàng)物品以SZR的比例隨機(jī)選擇并假設(shè)為不相關(guān)。生成器的目標(biāo)函數(shù)修改為

(5)

(6)

(7)

且滿足

零-重構(gòu)和部分掩藏的組合方法(zero-reconstruction regularization and partial-masking，ZP)：同時(shí)使用零重構(gòu)正則化和部分掩藏方法，D的目標(biāo)函數(shù)與部分掩藏方法的目標(biāo)函數(shù)相同，G的目標(biāo)函數(shù)修改如下

(8)

算法1：基于用戶屬性的CFGAN模型(CFGAN-A)

輸入：用戶的屬性信息，用戶對(duì)物品的交互矩陣，G和D的學(xué)習(xí)率μG、μD， 批處理大小MG、MD， 推薦序列的長(zhǎng)度N

輸出：G的參數(shù)θg，給用戶推薦top-N個(gè)物品序列

(1) 用戶屬性進(jìn)行特征編碼并串接為向量

(2) 初始化G和D的模型參數(shù)θg和θd

(3)repeat:

(4) 對(duì)所有用戶的未交互項(xiàng)進(jìn)行負(fù)采樣:

(7)forG-stepdo

(8) 抽樣批處理MG個(gè)用戶

(11)endfor

(12)forD-stepdo

(13) 抽樣批處理MD個(gè)用戶

(14) 獲取真實(shí)交互向量 {r1,r2,…rMD}

(16)endfor

(17)until: 當(dāng)D無(wú)法判別樣本來(lái)自真實(shí)訓(xùn)練數(shù)據(jù)還是G生成數(shù)據(jù)時(shí)結(jié)束循環(huán),并保存模型

算法1為基于用戶屬性的CFGAN模型的訓(xùn)練過(guò)程。首先將用戶屬性編碼，并初始化生成模型和判別模型的參數(shù)。接著對(duì)用戶未交互項(xiàng)進(jìn)行負(fù)采樣，使用零重構(gòu)正則化法跳過(guò)步驟(6)，部分掩藏法跳過(guò)步驟(5)，組合方法同時(shí)使用步驟(5)和(6)進(jìn)行抽樣，然后分別通過(guò)生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)更新模型參數(shù)直至判別器無(wú)法區(qū)分真實(shí)數(shù)據(jù)與生成數(shù)據(jù)，保存模型參數(shù)。最后通過(guò)將生成器生成的用戶偏好倒序排序，取前N個(gè)最相關(guān)的物品進(jìn)行推薦。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出方法可以改善推薦性能，在真實(shí)數(shù)據(jù)集上與一些常用的top-N推薦方法進(jìn)行比較，并考慮不同的負(fù)采樣比例和正則化系數(shù)對(duì)推薦性能的影響。

3.1 實(shí)驗(yàn)設(shè)置與數(shù)據(jù)集

表1 數(shù)據(jù)集的統(tǒng)計(jì)信息

經(jīng)多次實(shí)驗(yàn)比較，將神經(jīng)網(wǎng)絡(luò)隱藏層設(shè)置為三層，判別器網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)設(shè)置為{1024，128，16}，生成器網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)設(shè)置為{256，512，1024}。并且確定一些在經(jīng)驗(yàn)上表現(xiàn)良好的超參數(shù)，使用sigmoid函數(shù)作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，設(shè)置學(xué)習(xí)率為0.0001，批量大小為32，用{10，30，50，70，90}改變SZR和SPM，用{0.5，0.25，0.1，0.05，0.01}改變正則化系數(shù)α，比較這些超參數(shù)對(duì)推薦精度的影響。

3.2 評(píng)價(jià)指標(biāo)

本文為top-N推薦任務(wù)采用了4種常用的準(zhǔn)確度指標(biāo)：準(zhǔn)確率(precision，P@N)、召回率(recall，R@N)、歸一化折損累計(jì)增益(normalized discounted cumulative gain，NDCG@N)和平均倒數(shù)排名(mean reciprocal rank，MRR@N)。前兩個(gè)指標(biāo)關(guān)注推薦列表中包含多少正確的項(xiàng)目，后兩個(gè)指標(biāo)關(guān)注正確項(xiàng)目在推薦列表中的排名位置。對(duì)用戶u推薦N個(gè)物品(記為R(u))， 另用戶u在測(cè)試集上交互的物品集合為T(mén)(u)， 則準(zhǔn)確率和召回率計(jì)算公式分別為

(9)

(10)

NDCG@N可表示為

(11)

MRR@N計(jì)算公式為

(12)

其中，|U| 為測(cè)試集的用戶數(shù)，ranku表示用戶u的推薦列表中第一個(gè)推薦正確所在的位置。

以上4個(gè)評(píng)價(jià)指標(biāo)越大，模型的推薦性能越好。本文設(shè)置推薦列表長(zhǎng)度N固定為5和20。

3.3 不同超參數(shù)下的比較

以評(píng)價(jià)指標(biāo)準(zhǔn)確率(precision，P@N)為例，設(shè)置N=5，在ml-100k數(shù)據(jù)集上比較不同參數(shù)對(duì)改進(jìn)CFGAN推薦性能的影響。

首先固定正則化系數(shù)α=0.1， 圖4分別為零-重構(gòu)正則化法和部分掩藏法下不同負(fù)采樣占比對(duì)推薦精度的影響，觀察到當(dāng)負(fù)采樣比例較低時(shí)，有很多未交互項(xiàng)無(wú)法判斷是否與用戶相關(guān)，當(dāng)負(fù)采樣比例較高時(shí)，有一些相關(guān)項(xiàng)被選為不相關(guān)，因此會(huì)產(chǎn)生一些噪聲，影響梯度的傳播，導(dǎo)致準(zhǔn)確度偏低。當(dāng)SZR和SPM取到{50，70}時(shí)準(zhǔn)確度較高，并且CFGAN作者[15]的經(jīng)驗(yàn)表明，零-重構(gòu)和部分掩藏的組合方法ZP在推薦性能上優(yōu)于單一的ZR或PM方法，所以在下面的實(shí)驗(yàn)中使用混合方法，并固定SZR和SPM為70。

圖4 不同負(fù)采樣占比對(duì)推薦準(zhǔn)確度的影響

圖5為混合方法ZP使用不同正則化系數(shù)對(duì)推薦準(zhǔn)確度的影響。觀察到當(dāng)α取0.1時(shí)推薦準(zhǔn)確度最高，當(dāng)α取值較大時(shí) (α≥0.5)， 生成器G將集中大量注意力使輸出趨于0，而不是實(shí)現(xiàn)初始的目標(biāo)生成看似真實(shí)的交互向量，當(dāng)α取值較小時(shí) (α≤0.01)， G受零-重構(gòu)正則化項(xiàng)影響較小，因而容易生成平凡解的交互向量。故下文對(duì)比實(shí)驗(yàn)設(shè)置α取0.1。

圖5 不同正則化系數(shù)對(duì)推薦準(zhǔn)確度的影響

3.4 對(duì)比實(shí)驗(yàn)

本節(jié)比較本文提出方法與常用top-N推薦算法的推薦性能來(lái)驗(yàn)證提出方法是否可以改善推薦精度。具體比較方法如下：

ItemPop：最簡(jiǎn)單的非個(gè)性化推薦算法，按照受歡迎程度降序(即購(gòu)買記錄的數(shù)量)對(duì)物品進(jìn)行排序。

MF-BPR：一種基于矩陣分解的排序算法，針對(duì)每一個(gè)用戶自己的商品喜好程度做排序優(yōu)化，需要用戶對(duì)商品的喜好排序三元組做訓(xùn)練集。

IRGAN：使用條件生成對(duì)抗網(wǎng)絡(luò)生成離散物品索引來(lái)模仿用戶真實(shí)相互行為。

CFGAN-I：采用向量式條件對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)真實(shí)數(shù)據(jù)分布，學(xué)習(xí)條件為用戶真實(shí)交互行為。

CFGAN-A：將用戶屬性編碼并作為CFGAN模型的引導(dǎo)條件，模擬用戶的交互行為。

圖6為ml-100k數(shù)據(jù)集上基于用戶屬性和用戶交互向量的性能比較，其中虛線為基于用戶屬性推薦，實(shí)線為基于用戶交互向量推薦，設(shè)置迭代次數(shù)1000。首先，從圖中可以看出基于用戶屬性的CFGAN推薦方法在各評(píng)價(jià)指標(biāo)上總體都略優(yōu)于基于用戶交互向量推薦，克服了基于用戶交互向量CFGAN模型中未知項(xiàng)的二義性輸入神經(jīng)網(wǎng)絡(luò)全連接層帶來(lái)的誤差，從而驗(yàn)證了提出方法的有效性。其次，由于基于GAN模型零和博弈收斂較為困難，易受超參數(shù)影響。從圖中可以看出基于用戶交互的CFGAN算法的各項(xiàng)評(píng)價(jià)指標(biāo)整體呈現(xiàn)先增后減的趨勢(shì)，其在運(yùn)行約600輪時(shí)開(kāi)始收斂，但是隨著運(yùn)行輪次的增加其各項(xiàng)評(píng)價(jià)指標(biāo)開(kāi)始下降，這是因?yàn)橛脩艚换ハ蛄砍霈F(xiàn)過(guò)擬合現(xiàn)象，導(dǎo)致推薦精度開(kāi)始下降；而基于用戶屬性的CFGAN模型的各項(xiàng)評(píng)價(jià)指標(biāo)在收斂之后保持平穩(wěn)。通過(guò)以上分析可知基于用戶屬性的CFGAN推薦模型的推薦精度收斂更為平滑穩(wěn)定，也驗(yàn)證了該方法收斂性能較好。

圖6 兩種輸入條件下CFGAN模型推薦性能比較

表2和表3進(jìn)一步比較了兩個(gè)數(shù)據(jù)集推薦top-5和top-20相關(guān)電影在不同推薦方法下的指標(biāo)性能，分別用P、R、G、M表示Precision、Recall、NDCG和MRR。從表2中可以看出基于用戶屬性的CFGAN-A在各評(píng)價(jià)指標(biāo)上都略優(yōu)于其它推薦方法，在推薦準(zhǔn)確度P@5是非個(gè)性化推薦ItemPop的2.5倍，較基于用戶交互向量CFGAN-I提高了0.04，R@5較于CFGAN-I提高了0.01；在推薦位置排序指標(biāo)G@5是ItemPop的兩倍，較于CFGAN-I提高了0.03，M@5較于CFGAN-I提升了0.04。在推薦top-20電影時(shí)CFGAN-A對(duì)比其它方法也有一定的精度改進(jìn)，但由于推薦了相關(guān)性不是很高的電影，對(duì)比top-5改進(jìn)效果略微下降。表3在ml-1m數(shù)據(jù)集上的各項(xiàng)推薦性能指標(biāo)同樣可看出本文提出方法優(yōu)于其它推薦方法，從而驗(yàn)證了基于用戶屬性的CFGAN推薦模型可以改善推薦性能。

表2 ml-100k數(shù)據(jù)集不同推薦方法的性能比較

表3 ml-1m數(shù)據(jù)集不同推薦方法的性能比較

4 結(jié)束語(yǔ)

本文提出了一種基于用戶屬性的條件生成對(duì)抗網(wǎng)絡(luò)推薦方法，在原始CFGAN模型的基礎(chǔ)上，將模型的原始條件用戶交互向量替換為用戶屬性編碼向量，以此指導(dǎo)生成盡可能接近真實(shí)的用戶偏好分布，根據(jù)用戶對(duì)項(xiàng)目的偏好程度進(jìn)行排序生成Top-N推薦，該方法能夠降低向量表示維度，去除用戶交互向量中不明確項(xiàng)帶來(lái)的噪聲，減少模型的訓(xùn)練參數(shù)。實(shí)驗(yàn)結(jié)果表明，基于用戶屬性信息的CFGAN模型可以改善推薦精度。未來(lái)將從項(xiàng)目角度入手，嘗試融合項(xiàng)目的附加信息，使用神經(jīng)網(wǎng)絡(luò)深入挖掘用戶和項(xiàng)目的特征表示，將其與生成對(duì)抗網(wǎng)絡(luò)模型融合，實(shí)現(xiàn)更精準(zhǔn)的推薦。