王 磊 熊于寧 李云鵬 劉媛媛

(西南財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息工程學(xué)院 成都 610074)

協(xié)同過(guò)濾(collaborative filtering,CF)是推薦系統(tǒng)中的主要方法之一[1].根據(jù)是否采用了機(jī)器學(xué)習(xí)模型，它可以分為：基于內(nèi)存的協(xié)同過(guò)濾[2-3]和基于模型的協(xié)同過(guò)濾[4-9].相比于前者存在的依賴于相似度函數(shù)、內(nèi)存占用度高、難以發(fā)現(xiàn)實(shí)體之間的非線性和隱含聯(lián)系等不足，基于模型的方法利用矩陣隱空間分解[4-5]、Markov鏈[6]、深度神經(jīng)網(wǎng)絡(luò)[7-8]等模型學(xué)習(xí)實(shí)體的嵌入表示，能夠從實(shí)體交互操作及輔助信息中更有效地捕獲實(shí)體間的復(fù)雜聯(lián)系，是目前研究最廣泛的推薦方法.

近幾年，圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional neural network,GCN)的研究逐漸興起[9-14]，由于具有在圖結(jié)構(gòu)上學(xué)習(xí)嵌入表示的強(qiáng)大能力，它成為當(dāng)前推薦系統(tǒng)中最熱門的研究方法[10-11,15-18].GCN利用譜圖理論定義了圖卷積操作，在拓?fù)鋱D上傳播和聚合鄰居節(jié)點(diǎn)的消息，具有同時(shí)利用實(shí)體特征和圖結(jié)構(gòu)特征學(xué)習(xí)實(shí)體嵌入表示的優(yōu)勢(shì).實(shí)質(zhì)上，它是將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[17]優(yōu)良的特征學(xué)習(xí)和表示能力擴(kuò)展到非規(guī)則的圖數(shù)據(jù)上.

推薦場(chǎng)景中的實(shí)體及其交互關(guān)系可以很自然地用拓?fù)鋱D表示，因而非常適于采用GCN模型實(shí)現(xiàn)基于圖的推薦任務(wù).近3年來(lái)，一些基于圖卷積神經(jīng)網(wǎng)絡(luò)的推薦模型相繼被提出.例如，Berg等人[10]使用GCN作為編碼器在圖自編碼框架下實(shí)現(xiàn)了GCMC(graph convolutional matrix completion)推薦模型，它利用單個(gè)圖卷積層在“用戶-項(xiàng)目”二分圖上聚合1階鄰居的協(xié)同信號(hào)，實(shí)現(xiàn)了端到端的評(píng)分預(yù)測(cè).Wang等人[15]提出了一種NGCF(neural graph collaborative filtering)模型，它利用GCN的消息傳遞機(jī)制堆疊多個(gè)圖卷積層，實(shí)現(xiàn)了二分圖上高階鄰居的協(xié)同信號(hào)隱式傳遞，最后合并所有層的節(jié)點(diǎn)嵌入進(jìn)行推薦，一定程度彌補(bǔ)了GCMC模型只能利用1階協(xié)同信號(hào)的弱點(diǎn).此外，一些學(xué)者從提升圖卷積操作效率[16-17]、利用注意力機(jī)制[19-20]、引入輔助信息[21]、提高擴(kuò)展性[11,22]、克服冷啟動(dòng)[23]等方面改進(jìn)了基于GCN的推薦模型.這些研究均表明：得益于強(qiáng)大的特征表示學(xué)習(xí)能力，基于GCN的推薦模型能夠更好地在實(shí)體交互圖上捕獲隱含、非線性的協(xié)同信號(hào)，通常獲得了比傳統(tǒng)協(xié)同推薦模型更優(yōu)的準(zhǔn)確率.

盡管圖卷積神經(jīng)網(wǎng)絡(luò)已被公認(rèn)在推薦任務(wù)中具有顯著優(yōu)勢(shì)，但已提出的基于GCN的推薦模型通常忽視了2個(gè)方面的問(wèn)題，尚需進(jìn)一步完善.

1)大多數(shù)模型的圖卷積層沒(méi)有充分利用高階鄰居的協(xié)同信號(hào).例如，GCMC只利用了1階鄰居的信號(hào)更新節(jié)點(diǎn)嵌入.而文獻(xiàn)[24]的研究表明高階鄰居的協(xié)同信號(hào)同樣對(duì)學(xué)習(xí)節(jié)點(diǎn)嵌入非常重要.此后的多個(gè)模型在GCN框架下堆疊多個(gè)圖卷積層隱含地傳遞高階協(xié)同信號(hào)[15-16,18,23]，但在他們的圖卷積層內(nèi)部仍然只用1階鄰居更新節(jié)點(diǎn)嵌入.該方式不僅很難控制聚合高階信號(hào)時(shí)的強(qiáng)度，而且容易受到噪聲的影響(詳見(jiàn)1.3節(jié)的分析).2019年提出的GraphRec模型直接利用社交關(guān)系聚合了好友的協(xié)同信號(hào)[20]，但該方法并沒(méi)有利用項(xiàng)目的高階信號(hào)且需要額外的輔助信息.

2)現(xiàn)有模型的圖卷積層在傳播和聚合協(xié)同信號(hào)時(shí)很少重視用戶的不同觀點(diǎn)對(duì)推薦結(jié)果的影響.在推薦場(chǎng)景中，評(píng)分代表了用戶的觀點(diǎn).例如，若用戶對(duì)項(xiàng)目v1和v2分別給予的評(píng)分為2和5，則顯然他對(duì)v2表達(dá)了更“喜歡”的觀點(diǎn)，或者該項(xiàng)目更符合用戶的偏好.然而，現(xiàn)有的大多數(shù)模型在聚合1階協(xié)同信號(hào)時(shí)忽略了用戶觀點(diǎn)的差異[15-19,23].我們注意到，GCMC和文獻(xiàn)[25]提出的模型試圖在不同評(píng)分等級(jí)上分別聚合協(xié)同信號(hào)，但是他們的方法在合并多個(gè)等級(jí)的信號(hào)時(shí)仍然沒(méi)有考慮用戶觀點(diǎn)的差別.

針對(duì)上述不足，本文以推薦系統(tǒng)中的評(píng)分預(yù)測(cè)任務(wù)為對(duì)象，研究利用2階鄰居的協(xié)同信號(hào)和用戶觀點(diǎn)來(lái)提升圖卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)節(jié)點(diǎn)嵌入時(shí)的準(zhǔn)確性，進(jìn)而提出一種增強(qiáng)的基于圖卷積神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾推薦模型——EGCN-CF(enhanced graph convolutional neural network based collaborative filtering recommendation model).

本文的主要貢獻(xiàn)有3個(gè)方面：

1)提出一種直接從鄰接矩陣計(jì)算2階協(xié)同信號(hào)及其強(qiáng)度的方法，用于更新圖卷積層的節(jié)點(diǎn)嵌入；

2)給出一種簡(jiǎn)便方法將用戶觀點(diǎn)融合入1階協(xié)同信號(hào)聚合過(guò)程，以便利用用戶偏好更準(zhǔn)確地學(xué)習(xí)節(jié)點(diǎn)的嵌入表示；

3)結(jié)合1)2)方法，提出了一種增強(qiáng)的基于圖卷積神經(jīng)網(wǎng)絡(luò)的協(xié)同推薦模型，并在多個(gè)推薦數(shù)據(jù)集上驗(yàn)證了其性能優(yōu)勢(shì).

1 利用圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)協(xié)同推薦

1.1 推薦系統(tǒng)中的評(píng)分預(yù)測(cè)問(wèn)題的定義

在推薦場(chǎng)景中，假設(shè)已知稀疏的評(píng)分矩陣R∈m×n，它的少量非0元素ru,v∈{1,2，…,T}代表用戶u對(duì)項(xiàng)目v的評(píng)分結(jié)果，共有T個(gè)等級(jí)；矩陣Xu∈m×du和Xv∈n×dv分別表示用戶和項(xiàng)目的實(shí)體特征，其中，m和n分別是用戶集和項(xiàng)目集的規(guī)模，du和dv分別是用戶特征向量和項(xiàng)目特征向量的維度.評(píng)分預(yù)測(cè)的目標(biāo)是：建立預(yù)測(cè)模型對(duì)大量尚未評(píng)分的項(xiàng)目給予準(zhǔn)確地評(píng)分，進(jìn)而實(shí)現(xiàn)項(xiàng)目推薦.

1.2 基于GCN的通用推薦模型

基于圖卷積神經(jīng)網(wǎng)絡(luò)的推薦模型利用消息傳遞的思想在二分圖上傳播和聚合協(xié)同信號(hào)，學(xué)習(xí)節(jié)點(diǎn)的嵌入表示并用于推薦預(yù)測(cè)[10,15-16,18,26].它們的模型結(jié)構(gòu)通常由3個(gè)部分構(gòu)成：輸入層、圖卷積層和預(yù)測(cè)層.

e0=Enc(x,Θin)，

(1)

2)圖卷積層.又稱為“嵌入傳播層”，它利用二分圖的結(jié)構(gòu)特征在圖上傳播和聚合鄰居節(jié)點(diǎn)的協(xié)同信號(hào)，實(shí)現(xiàn)節(jié)點(diǎn)的嵌入更新.其主要操作包括：協(xié)同信號(hào)構(gòu)造和節(jié)點(diǎn)嵌入更新.

以用戶u對(duì)項(xiàng)目v的一次評(píng)分為例，該操作反映了用戶對(duì)項(xiàng)目的一定程度的偏好.因此，可以將此次操作傳播的1階協(xié)同信號(hào)構(gòu)造為

su←v=f(eu,ev,pu,v,Θf)，

(2)

嵌入更新操作在二分圖上匯集所有1階鄰居的協(xié)同信號(hào)，用于更新用戶u的嵌入表示：

(3)

其中，聚合函數(shù)g(·)可以采用均值、最大池化、LSTM網(wǎng)絡(luò)等方式實(shí)現(xiàn)[13,18].

類似地，當(dāng)項(xiàng)目v獲得用戶u的評(píng)分，表明項(xiàng)目的品質(zhì)與用戶偏好一定程度的相符.因此，可以利用用戶的協(xié)同信號(hào)對(duì)項(xiàng)目實(shí)體的嵌入進(jìn)行更新，即

sv←u=f(ev,eu,pu,v,Θf)，

(4)

(5)

這樣，圖卷積層利用1階協(xié)同信號(hào)在二分圖上實(shí)現(xiàn)了實(shí)體節(jié)點(diǎn)的嵌入表示的一次更新.

(6)

其中，預(yù)測(cè)函數(shù)h(·)通常采用雙線性解碼函數(shù)[10,25]或多層感知機(jī)網(wǎng)絡(luò)[5,20]實(shí)現(xiàn)；Θh代表其參數(shù)集合.

1.3 問(wèn)題分析

一方面，如1.2節(jié)所述，圖卷積層采用的協(xié)同信號(hào)聚合式(3)(5)中，只使用了來(lái)自直接交互的1階鄰居和自身的協(xié)同信號(hào)，忽略了卷積層內(nèi)的高階信號(hào).然而，根據(jù)協(xié)同過(guò)濾的基本思想[1]，用戶行為或偏好還受到與之相似的其他用戶的影響，他們?cè)诙謭D上可視為相似的高階鄰居.因此，在圖卷積層聚合高階信號(hào)是非常有益的.近期，文獻(xiàn)[27]也利用隨機(jī)游走模型指出了高階信號(hào)對(duì)于優(yōu)化節(jié)點(diǎn)嵌入的價(jià)值.

一些基于GCN的推薦模型雖然通過(guò)堆疊多個(gè)圖卷積層隱含地傳播了高階協(xié)同信號(hào)[15-16,18,23]，但這種方式難以控制高階信號(hào)的強(qiáng)度，容易受到噪聲的干擾.例如，假設(shè)在二分圖上存在一條連通路徑u0→v1→u2→v3→u4，其中，用戶u4由于偶然原因評(píng)分了項(xiàng)目v3，盡管它與目標(biāo)用戶u0的偏好并不相似，但這次評(píng)分操作仍將導(dǎo)致u4的協(xié)同信號(hào)隱含地沿著堆疊的4個(gè)圖卷積層逆向傳遞到u0，而不是被視為噪聲信號(hào)受到抑制或消除.

另一方面，在圖卷積層的聚合式(3)(5)中，所有的1階鄰居信號(hào)被同等對(duì)待，沒(méi)有考慮用戶觀點(diǎn)(即評(píng)分值)的差別.顯然，高評(píng)分項(xiàng)目的品味比低評(píng)分項(xiàng)目更能夠反映用戶的偏好[20,28]，應(yīng)該在信號(hào)聚合操作中起到更大的作用.

2 提出的EGCN-CF協(xié)同推薦模型

本節(jié)將針對(duì)基于GCN的推薦模型存在的如1.3節(jié)所述的缺陷，提出一種端到端的EGCN-CF模型.它通過(guò)在圖卷積層內(nèi)引入2階協(xié)同信號(hào)和用戶觀點(diǎn)，更有效地利用協(xié)同信號(hào)學(xué)習(xí)節(jié)點(diǎn)的嵌入表示，最后利用多層的感知機(jī)網(wǎng)絡(luò)(multi-layer perceptron,MLP)實(shí)現(xiàn)對(duì)未知評(píng)分的預(yù)測(cè).其基本結(jié)構(gòu)如圖1所示，包括輸入層、增強(qiáng)的圖卷積層和預(yù)測(cè)層3個(gè)部分.

2.1 輸入層

EGCN-CF模型的輸入層負(fù)責(zé)對(duì)用戶或項(xiàng)目的實(shí)體特征進(jìn)行編碼，生成的低維嵌入向量作為圖卷積層的輸入.它采用的編碼函數(shù)為

(7)

值得注意的是，式(7)采用了直接對(duì)用戶或項(xiàng)目的原始實(shí)體特征進(jìn)行編碼的方法，獲得它們的初始嵌入向量.相比于NGCF等模型采用的基于節(jié)點(diǎn)序號(hào)的獨(dú)熱編碼方法[15-16]，該方法可以將語(yǔ)義更豐富的實(shí)體特征或輔助信息編碼后輸入到圖卷積層，更有利于準(zhǔn)確地學(xué)習(xí)節(jié)點(diǎn)的嵌入表示；并且，由于只需要優(yōu)化編碼矩陣，使得模型的優(yōu)化參數(shù)更少.實(shí)驗(yàn)部分將具體描述對(duì)實(shí)體特征進(jìn)行編碼的細(xì)節(jié).

2.2 增強(qiáng)的圖卷積層

同NGCF模型類似，本文模型通過(guò)堆疊L個(gè)圖卷積層實(shí)現(xiàn)節(jié)點(diǎn)嵌入表示的逐層精化.但我們針對(duì)現(xiàn)有模型的圖卷積層的缺陷，通過(guò)融合2階協(xié)同信號(hào)和用戶觀點(diǎn)進(jìn)行了增強(qiáng).本節(jié)以第l∈{1,2，…,L}圖卷積層為例介紹其主要操作.

2.2.1 構(gòu)造的2階協(xié)同信號(hào)

如1.3節(jié)的討論，在圖卷積層中聚合高階協(xié)同信號(hào)有益于節(jié)點(diǎn)嵌入表示的學(xué)習(xí).但是，本文模型只使用了所有高階鄰居中的2階鄰居的協(xié)同信號(hào)，主要原因有2點(diǎn):1)根據(jù)Xu等人[27]的研究，連通路徑上高階鄰居的協(xié)同信號(hào)的強(qiáng)度隨著階數(shù)增加而迅速衰減，并且噪聲信號(hào)容易在路徑上積累，實(shí)際上該論斷也一定程度解釋了許多基于GCN的模型只堆疊了3或4個(gè)圖卷積層的原因[15-16]；2)2階鄰居是與目標(biāo)用戶(項(xiàng)目)有共同交互項(xiàng)目(用戶)的同質(zhì)實(shí)體，按照三元閉包理論的解釋[29]，2階鄰居相對(duì)于更高階鄰居而言，它們與目標(biāo)實(shí)體的偏好更為相似，并且，與目標(biāo)實(shí)體共同的交互實(shí)體越多，相似度越高.此外，第3節(jié)的實(shí)驗(yàn)結(jié)果也驗(yàn)證了增加同質(zhì)的4階鄰居的協(xié)同信號(hào)不能明顯提高推薦模型的性能.

(8)

(9)

令El-1∈(m+n)×h是第l-1層所有嵌入向量組成的矩陣；Sl(2)∈(m+n)×h表示第l層所有節(jié)點(diǎn)匯集的2階協(xié)同信號(hào)矩陣，其行向量由或構(gòu)成.根據(jù)譜圖理論知識(shí)[31]，可以整理出2階協(xié)同信號(hào)矩陣Sl(2)的簡(jiǎn)潔形式：

(10)

(11)

2.2.2 帶用戶觀點(diǎn)的1階協(xié)同信號(hào)

用戶對(duì)項(xiàng)目的評(píng)分不僅說(shuō)明他們之間存在交互關(guān)系，更重要的是評(píng)分具體表達(dá)了用戶的觀點(diǎn).例如，在電影推薦中，用5分、3分、1分表達(dá)了用戶的“非常喜歡”“一般喜歡”“不喜歡”3種不同的觀點(diǎn).根據(jù)文獻(xiàn)[28]的解釋，獲得了正向觀點(diǎn)的高評(píng)分項(xiàng)目更能反映用戶的真實(shí)偏好.因此，在匯聚1階協(xié)同信號(hào)時(shí)融入用戶觀點(diǎn)，能夠更準(zhǔn)確地學(xué)習(xí)用戶嵌入.

我們借鑒GCN的消息傳遞機(jī)制，給出一種帶用戶觀點(diǎn)的1階協(xié)同信號(hào)構(gòu)造方法.它把匯聚到用戶ui的1階協(xié)同信號(hào)定義為

(12)

顯然，高評(píng)分項(xiàng)目的觀點(diǎn)系數(shù)取較大值，其傳遞的協(xié)同信號(hào)更多，反之亦然.因此，這種帶觀點(diǎn)的方式更合理地聚合了1階協(xié)同信號(hào).

同樣，我們根據(jù)譜圖理論整理出帶觀點(diǎn)的1階協(xié)同信號(hào)的簡(jiǎn)潔矩陣形式，即

(13)

2.2.3 節(jié)點(diǎn)的嵌入更新

我們匯集1階、2階協(xié)同信號(hào)以及節(jié)點(diǎn)前一層的嵌入，對(duì)第l層的節(jié)點(diǎn)嵌入向量進(jìn)行更新，如

(14)

此后，EGCN-CF模型可以堆疊L個(gè)圖卷積層，按照式(14)實(shí)現(xiàn)嵌入表示的逐層精化，也即，依次獲得E1,E2,…,EL.

2.3 非線性預(yù)測(cè)層

(15)

其中，W3∈2h×d′,W4∈d′×1是待學(xué)習(xí)的MLP權(quán)重矩陣；d′是MLP第1層(隱層)神經(jīng)元的數(shù)量.

需要指出的是，相比于一些文獻(xiàn)采用的線性預(yù)測(cè)模型[10,15-16,18]，本文采用非線性的MLP模型具有對(duì)節(jié)點(diǎn)嵌入向量之間復(fù)雜關(guān)系的更強(qiáng)的擬合能力，更適用于評(píng)分預(yù)測(cè)問(wèn)題.

2.4 模型訓(xùn)練

EGCN-CF模型是一種端到端的推薦模型.為了訓(xùn)練其模型參數(shù)，我們給出一種基于均方誤差的優(yōu)化目標(biāo)函數(shù)：

(16)

此外，在模型訓(xùn)練時(shí)還借鑒文獻(xiàn)[15]采用的節(jié)點(diǎn)dropout技術(shù)防止過(guò)擬合，其dropout率為η.

最后，我們采用Adam梯度下降優(yōu)化器對(duì)式(16)進(jìn)行優(yōu)化[32]，并采用小批量(minibatch)技術(shù)提高模型訓(xùn)練效率.

2.5 討 論

在EGCN-CF模型的圖卷積層中，顯式地增加了對(duì)同質(zhì)的2階鄰居的協(xié)同信號(hào)的聚合.從理論上講，它可以聚合更高階的協(xié)同信號(hào).例如，在二分圖上同時(shí)聚合2階和4階的同質(zhì)協(xié)同信號(hào)時(shí)，只需簡(jiǎn)單地將式(11)替換為式(17)即可：

(17)

另外，在文獻(xiàn)[20]的推薦模型中，將社交網(wǎng)絡(luò)中好友的協(xié)同信號(hào)聚合到圖卷積層.社交好友相當(dāng)于二分圖上具有高相似性的同質(zhì)高階鄰居，聚合其協(xié)同信號(hào)顯然有利于學(xué)習(xí)用戶節(jié)點(diǎn)的嵌入表示.與之相比，本文模型通過(guò)矩陣運(yùn)算對(duì)2階鄰居及其信號(hào)強(qiáng)度進(jìn)行了合理的計(jì)算，無(wú)需額外的輔助信息.并且，當(dāng)數(shù)據(jù)集中存在關(guān)于同質(zhì)節(jié)點(diǎn)關(guān)系的輔助信息時(shí)，比如，社交關(guān)系矩陣Qu∈m×m，項(xiàng)目相似性矩陣Qv∈n×n，通過(guò)修改式(11)很容易把它們?nèi)谌氡疚哪Ｐ?，?/p>

(18)

其中，α是融合參數(shù).

最后，EGCN-CF的3層結(jié)構(gòu)與文獻(xiàn)[15]的NGCF模型有相似之處，但它們?cè)谳斎雽印?階協(xié)同信號(hào)利用、用戶觀點(diǎn)結(jié)合、預(yù)測(cè)層設(shè)計(jì)等方面具有顯著差異.

3 實(shí)驗(yàn)與分析

為了驗(yàn)證提出的EGCN-CF推薦模型在評(píng)分預(yù)測(cè)任務(wù)上的性能，我們?cè)?個(gè)通用的推薦數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并將它與主流的推薦模型進(jìn)行性能對(duì)比.

3.1 數(shù)據(jù)集

表1概括了實(shí)驗(yàn)用數(shù)據(jù)集的情況.其中，F(xiàn)lixster和Douban直接使用文獻(xiàn)[33]提供的預(yù)處理后的數(shù)據(jù)集；ML-100K，ML-1M，ML-10 M是來(lái)自于Movie-Lens網(wǎng)站的不同規(guī)模的電影推薦數(shù)據(jù)集(1)https://grouplens.org/datasets/movielens/.

在預(yù)處理階段，我們?cè)诙謭D上直接利用輔助信息和圖結(jié)構(gòu)特征對(duì)用戶和項(xiàng)目的原始實(shí)體特征進(jìn)行編碼.對(duì)于Flixster和Douban數(shù)據(jù)集，實(shí)體特征由3個(gè)部分連接獲得：節(jié)點(diǎn)度F1、評(píng)分特征F2、鄰接關(guān)系特征F3.其中，評(píng)分特征F2統(tǒng)計(jì)了用戶(或項(xiàng)目)給予(或獲得)的不同等級(jí)評(píng)分的比例，鄰接關(guān)系特征F3體現(xiàn)了同質(zhì)節(jié)點(diǎn)之間的鄰接關(guān)系，本文將其設(shè)置為用Node2vec模型[34]在用戶或項(xiàng)目鄰接矩陣上生成的256維向量.對(duì)于MovieLens數(shù)據(jù)集，項(xiàng)目的實(shí)體特征由節(jié)點(diǎn)度F1、評(píng)分特征F2、語(yǔ)義特征F3三部分組成.其中，語(yǔ)義特征F3采用文獻(xiàn)[28]中的實(shí)驗(yàn)方法，對(duì)電影類別、名稱、發(fā)行年編碼獲得，用戶的實(shí)體特征由節(jié)點(diǎn)度F1、評(píng)分特征F2、人口統(tǒng)計(jì)特征F3、交互項(xiàng)目的平均語(yǔ)義特征F4四部分組成.其中，人口統(tǒng)計(jì)特征F3是由年齡、性別、職業(yè)編碼的23維向量.表1最后2列給出了編碼后的用戶和項(xiàng)目的實(shí)體特征維度.

Table 1 Statistics of Experimental Datasets表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中，我們選取4種主流推薦模型作為對(duì)比算法，包括：NeuCF[5]，GCMC[10]，GraphRec[20],NGCF[15].其中，NeuCF是近幾年提出的基于矩陣分解的協(xié)同推薦模型，它采用深度神經(jīng)網(wǎng)絡(luò)代替嵌入向量的內(nèi)積運(yùn)算，實(shí)驗(yàn)中我們采用式(16)替換其原優(yōu)化目標(biāo)，使之能夠適用于評(píng)分預(yù)測(cè)任務(wù).其他3種模型都是目前主流的基于GCN的協(xié)同過(guò)濾推薦模型，其中，對(duì)于GraphRec模型，我們采用用戶的2階鄰居模擬其在MovieLens數(shù)據(jù)集上的社交關(guān)系；對(duì)于NGCF模型，我們也采用式(16)代替其原有的成對(duì)BPR(Bayesian personalized ranking)損失目標(biāo)函數(shù)，以便進(jìn)行評(píng)分預(yù)測(cè).

我們用Tensorflow實(shí)現(xiàn)了本文的EGCN-CF模型，其主要參數(shù)配置為：節(jié)點(diǎn)嵌入維度h=64，圖卷積層的數(shù)量L=3，正則系數(shù)λ通過(guò)交叉驗(yàn)證的方法在{0.01,0.05,0.1,0.5,1,5,10}范圍內(nèi)選取，MLP的隱層參數(shù)d′=16；訓(xùn)練時(shí)Adam優(yōu)化器的學(xué)習(xí)速率設(shè)置為10-3，最大迭代次數(shù)為1 000次，每批訓(xùn)練數(shù)據(jù)規(guī)模設(shè)置為1 024，節(jié)點(diǎn)dropout概率η=0.3.對(duì)比算法的參數(shù)基本按照原文設(shè)置.

另外，將數(shù)據(jù)集按0.8，0.1，0.1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.在驗(yàn)證集上實(shí)現(xiàn)模型參數(shù)的選取，并采用均方根誤差(root mean square error,RMSE)指標(biāo)在測(cè)試集上評(píng)價(jià)各模型的預(yù)測(cè)誤差.

3.3 對(duì)比實(shí)驗(yàn)

我們?cè)诟鲾?shù)據(jù)集上比較EGCN-CF模型與對(duì)比算法的性能，它們?cè)跍y(cè)試集上預(yù)測(cè)時(shí)的均方根誤差如表2所示.這里，除GCMC的結(jié)果來(lái)自于文獻(xiàn)[10]外，其他結(jié)果都是3次重復(fù)實(shí)驗(yàn)的平均值.

Table 2 Comparison of Prediction Errors (RMSE)of Different Recommendation Models表2 比較不同推薦模型的預(yù)測(cè)誤差(RMSE)

觀察表2的實(shí)驗(yàn)結(jié)果，可以得出4個(gè)結(jié)論：

1)基于圖卷積神經(jīng)網(wǎng)絡(luò)的4種推薦模型的預(yù)測(cè)誤差明顯優(yōu)于基于矩陣分解的NeuCF模型.這說(shuō)明受益于在拓?fù)鋱D上融合了節(jié)點(diǎn)的實(shí)體特征和圖結(jié)構(gòu)特征，前者能夠更加準(zhǔn)確地學(xué)習(xí)節(jié)點(diǎn)的嵌入表示，從而獲得更好的預(yù)測(cè)結(jié)果.

2)GCMC模型由于采用1個(gè)圖卷積層，只能聚合1階鄰居的協(xié)同信號(hào)，對(duì)節(jié)點(diǎn)嵌入的學(xué)習(xí)能力不足，因而它在4種基于GCN的推薦模型中表現(xiàn)最差，特別是在非常稀疏的Flixster數(shù)據(jù)集上.

3)GraphRec和NGCF模型都利用了高階協(xié)同信號(hào)，均取得了優(yōu)于GCMC的預(yù)測(cè)結(jié)果.不同的是，GraphRec直接聚合社交好友的協(xié)同信號(hào)，他們相當(dāng)于二分圖中的相似的高階鄰居；NGCF則通過(guò)堆疊多個(gè)圖卷積層隱式地傳播和聚合高階協(xié)同信號(hào).這說(shuō)明了聚合高階協(xié)同信號(hào)有助于提高推薦模型的性能.

4)本文的EGCN-CF模型在絕大部分?jǐn)?shù)據(jù)集上均取得了最低的預(yù)測(cè)誤差，僅僅在Douban數(shù)據(jù)集上稍微高于GraphRec模型.并且，我們通過(guò)采用“A/B測(cè)試”進(jìn)行顯著性檢驗(yàn)，發(fā)現(xiàn)本文的EGCN-CF模型的實(shí)驗(yàn)結(jié)果在大多數(shù)情況下以95%置信度顯著優(yōu)于其他模型(僅在3種情況下無(wú)明顯優(yōu)勢(shì)，包括：在Douban,ML-1M數(shù)據(jù)集上與GraphRec比較、在ML-1M數(shù)據(jù)集上與NGCF比較).本文模型的優(yōu)異性能可以歸結(jié)于它在圖卷積層中增加了對(duì)更高階協(xié)同信號(hào)的利用和將用戶觀點(diǎn)引入信號(hào)聚合過(guò)程.與之相比，GraphRec只是從社交關(guān)系中直接獲取了用戶的高階協(xié)同信號(hào)，并未考慮項(xiàng)目的高階信號(hào)；NGCF模型并未在圖卷積層內(nèi)部顯式地利用高階協(xié)同信號(hào)，也未考慮用戶觀點(diǎn)的影響.

3.4 EGCN-CF模型的進(jìn)一步分析

Table 3 Comparison of Prediction Errors (RMSE)of Different Variant Models表3 比較不同變體模型的預(yù)測(cè)誤差(RMSE)

觀察表3的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)：

1)盡管EGCN-CF-a4模型增加了4階協(xié)同信號(hào)，但其取得的預(yù)測(cè)誤差與基本模型相當(dāng).這說(shuō)明由于更高階的協(xié)同信號(hào)強(qiáng)度較弱且可能帶有噪聲，無(wú)助于明顯提高推薦模型的性能，這也是本文模型在圖卷積層中只增加同質(zhì)的2階協(xié)同信號(hào)的原因.

2)去掉用戶觀點(diǎn)的EGCN-CF-do模型在各數(shù)據(jù)集的預(yù)測(cè)誤差相比于基本模型均有一定程度的增大.這說(shuō)明結(jié)合用戶觀點(diǎn)有利于提高推薦模型的性能.

3)去掉2階協(xié)同信號(hào)的EGCN-CF-oo模型在各數(shù)據(jù)集上表現(xiàn)最差.例如，F(xiàn)lixster數(shù)據(jù)集上的誤差相比基本模型增大了2.1%.這表明在圖卷積層中增加2階協(xié)同信號(hào)有利于提升評(píng)分預(yù)測(cè)的準(zhǔn)確率.

4)采用線性預(yù)測(cè)層的EGCN-CF-1模型也取得了較低的預(yù)測(cè)誤差，稍差于標(biāo)準(zhǔn)模型.這表明：一方面圖卷積層已經(jīng)能夠?qū)W習(xí)獲得準(zhǔn)確的節(jié)點(diǎn)嵌入表示，即使利用簡(jiǎn)單的線性預(yù)測(cè)方法也能獲得較好的準(zhǔn)確率；另一方面，采用非線性的預(yù)測(cè)層能進(jìn)一步提高模型的預(yù)測(cè)準(zhǔn)確率.

3.5 圖卷積層數(shù)量的影響

考慮到NGCF和EGCN-CF都堆疊了多個(gè)圖卷積層，實(shí)現(xiàn)對(duì)節(jié)點(diǎn)嵌入的逐層精化.我們通過(guò)實(shí)驗(yàn)考察2種模型取不同數(shù)量的圖卷積層時(shí)的預(yù)測(cè)誤差情況.出于篇幅原因，我們只給出在Flixster和ML-100K數(shù)據(jù)集上的對(duì)比結(jié)果，如圖2、圖3所示:

Fig.2 Effect of graph convolutional layer numbers on Flixster圖2 在Flixster數(shù)據(jù)集上圖卷積層數(shù)量的影響

Fig.3 Effect of graph convolutional layer numbers on ML-100K圖3 在ML-100K數(shù)據(jù)集上圖卷積層數(shù)量的影響

分析圖2，3中的結(jié)果，可以觀察到：

1)2種模型的預(yù)測(cè)誤差均明顯受到圖卷積層數(shù)量的影響，在2個(gè)數(shù)據(jù)集上呈現(xiàn)相似的變化趨勢(shì)：預(yù)測(cè)誤差先是隨著層數(shù)增加而明顯降低，但在3層以后，不再明顯降低并出現(xiàn)小幅增加的現(xiàn)象.這說(shuō)明堆疊過(guò)多的圖卷積層容易產(chǎn)生過(guò)擬合問(wèn)題.因此，本文模型的最大層數(shù)設(shè)置為3.

2)在各種情況下，本文模型的預(yù)測(cè)誤差均明顯優(yōu)于NGCF.特別是當(dāng)圖卷積層的數(shù)量較少時(shí)，其優(yōu)勢(shì)更加明顯.該現(xiàn)象得益于EGCN-CF采用的增強(qiáng)圖卷積層的優(yōu)勢(shì)，它通過(guò)在層內(nèi)聚合2階協(xié)同信號(hào)和融入用戶觀點(diǎn)，更合理地聚合了協(xié)同信號(hào)，提高了節(jié)點(diǎn)嵌入學(xué)習(xí)的準(zhǔn)確性，因而在圖卷積層較少的情況下也能獲得優(yōu)異的預(yù)測(cè)準(zhǔn)確率.

4 總 結(jié)

本文以推薦系統(tǒng)中的評(píng)分預(yù)測(cè)問(wèn)題為對(duì)象，提出一種端到端的、基于增強(qiáng)圖卷積神經(jīng)網(wǎng)絡(luò)的協(xié)同推薦模型.它通過(guò)增加2階協(xié)同信號(hào)和融入用戶觀點(diǎn)，得到一種增強(qiáng)的圖卷積層，并堆疊多個(gè)層次更合理地捕獲二分圖上的協(xié)同信號(hào)，提高對(duì)節(jié)點(diǎn)嵌入學(xué)習(xí)的準(zhǔn)確性，最后利用非線性MLP網(wǎng)絡(luò)實(shí)現(xiàn)評(píng)分預(yù)測(cè).在多個(gè)推薦數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型的預(yù)測(cè)準(zhǔn)確率優(yōu)于現(xiàn)有的推薦模型.

本文模型在運(yùn)行時(shí)需要存儲(chǔ)二分圖的鄰接矩陣，在超大規(guī)模圖上可能遭遇存儲(chǔ)瓶頸.在未來(lái)的研究工作中，我們將研究借鑒文獻(xiàn)[11]的基于隨機(jī)游走的節(jié)點(diǎn)采樣技術(shù)，對(duì)本文模型進(jìn)行改進(jìn)，使其能夠適應(yīng)超大規(guī)模的推薦應(yīng)用.