周文榮，張 ，肖 述

(1.湖北大學(xué) 校園建設(shè)與信息化辦公室，湖北 武漢 430062； 2.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，湖北 武漢 430062)

0 引 言

近年來(lái)，隨著深度學(xué)習(xí)研究在推薦系統(tǒng)領(lǐng)域不斷深入，大多數(shù)研究人員從經(jīng)典的內(nèi)容感知推薦方法[1,2]開(kāi)始轉(zhuǎn)向利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文本內(nèi)容信息相關(guān)特征，將這些特征用于推薦系統(tǒng)的建模，獲得不錯(cuò)的推薦性能[3,4]。

現(xiàn)有內(nèi)容感知推薦方法取得了很好的推薦性能，但是仍然存在一些問(wèn)題亟待解決：

問(wèn)題1：大多數(shù)內(nèi)容感知推薦方法采用評(píng)分預(yù)測(cè)模型實(shí)現(xiàn)項(xiàng)目推薦。但是，實(shí)際推薦場(chǎng)景中，項(xiàng)目在推薦列表的排序更加吸引用戶(hù)[5]。然而如何將異構(gòu)的文本內(nèi)容信息融合到統(tǒng)一的排序推薦模型中，是一項(xiàng)具有挑戰(zhàn)的工作。

問(wèn)題2：大多數(shù)內(nèi)容感知推薦模型在學(xué)習(xí)文本特征信息中缺乏對(duì)于文本中單詞之間的長(zhǎng)程語(yǔ)義關(guān)系及其相關(guān)依賴(lài)性的描述，同時(shí)也忽略了文本的層次結(jié)構(gòu)信息。

針對(duì)上述問(wèn)題，本文提出了一種融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)建模文本內(nèi)容的聯(lián)合排序推薦算法(ranking lear-ning fused with capsule networks and graph convolutional network，RL-CNGCN)。具體而言，首先，構(gòu)建圖卷積網(wǎng)絡(luò)學(xué)習(xí)文本特征并捕捉文本單詞之間豐富關(guān)系，同時(shí)采用膠囊網(wǎng)絡(luò)提取文本信息的高階層次結(jié)構(gòu)信息，從而通過(guò)融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)實(shí)現(xiàn)文本特征的細(xì)粒度學(xué)習(xí)。然后基于擴(kuò)展的排序?qū)W習(xí)模型對(duì)用戶(hù)與項(xiàng)目交互的聯(lián)合關(guān)聯(lián)以及項(xiàng)目與項(xiàng)目描述相關(guān)文本內(nèi)容之間的關(guān)系進(jìn)行聯(lián)合建模，實(shí)現(xiàn)精準(zhǔn)用戶(hù)偏好的推斷?；诠_(kāi)亞馬遜數(shù)據(jù)集進(jìn)行廣泛的實(shí)驗(yàn)結(jié)果表明，本文所提出的方法具有更好的推薦性能。

1 相關(guān)工作

本節(jié)從如下兩個(gè)方面回顧與本文相關(guān)的內(nèi)容感知推薦算法研究技術(shù)：

(1)基于評(píng)論和評(píng)分信息實(shí)現(xiàn)內(nèi)容特征學(xué)習(xí)。傳統(tǒng)方法基于主題模型從評(píng)論中提取主題實(shí)現(xiàn)用戶(hù)和項(xiàng)目的特征表示學(xué)習(xí)，然后基于評(píng)分預(yù)測(cè)模型進(jìn)行推薦[2]。由于主題模型是標(biāo)準(zhǔn)的詞袋模型，使得上述傳統(tǒng)方法大多受限于詞袋模型固有的缺陷，不能有效利用內(nèi)容文本中的上下文信息和單詞序列。當(dāng)前深度學(xué)習(xí)模型偏好利用深度學(xué)習(xí)理論學(xué)習(xí)文本信息的潛在完整特征，從而達(dá)到緩解上述問(wèn)題的目的。Zheng等[3]采用兩個(gè)并行的CNN從評(píng)論文本中對(duì)用戶(hù)行為和項(xiàng)目屬性進(jìn)行建模。而Xia等[6]則基于注意力的GRU網(wǎng)絡(luò)從用戶(hù)和項(xiàng)目評(píng)論中學(xué)習(xí)上下文感知表示，然后進(jìn)行評(píng)分預(yù)測(cè)。Liu等[7]則提出一種基于混合神經(jīng)網(wǎng)絡(luò)融合評(píng)分和評(píng)論的推薦模型。受限于卷積操作接受域或局部注意力等，使得大多已有深度學(xué)習(xí)方法在文本特征學(xué)習(xí)時(shí)，忽視了文本中語(yǔ)義信息上下文特征相關(guān)性的學(xué)習(xí)以及文本中固有的高階層次結(jié)構(gòu)信息，無(wú)法突出文本中不同語(yǔ)義特征的差異性、多樣性和重要性。

近年來(lái)，隨著圖神經(jīng)網(wǎng)絡(luò)研究的深入，GCN超強(qiáng)的特征學(xué)習(xí)能力為深度學(xué)習(xí)方法在內(nèi)容特征建模中遇到的上述問(wèn)題提供了一種新的解決方案。Wu等[8]基于多視圖的理論，提出了一種新的融合注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)文本信息建模的方法。TextGCN模型[9]則基于詞共現(xiàn)和文本-詞關(guān)系構(gòu)建單個(gè)文本圖，然后基于圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)詞和文本的特征學(xué)習(xí)。

(2)基于排序的推薦方法。基于內(nèi)容的推薦方法大多偏好采用評(píng)分預(yù)測(cè)模型，僅僅依靠評(píng)分大小的順序并不能準(zhǔn)確體現(xiàn)用戶(hù)的偏好。用戶(hù)在實(shí)際場(chǎng)景中更關(guān)心項(xiàng)目的排序，而基于排序?qū)W習(xí)的推薦算法直觀展示了推薦結(jié)果。其中最具代表性的基于排序?qū)W習(xí)推薦模型是逐對(duì)排序推薦模型-BPR模型。Shang等[10]將BPR排序模型與貝葉斯模型結(jié)合用于事件推薦。Wu等[11]的工作則是將BPR模型和圖嵌入模型結(jié)合用于推薦模型。而Gao等[12]利用地理社交相關(guān)性，提出一種新的BPR成對(duì)排序假設(shè)，從而構(gòu)建一個(gè)三級(jí)聯(lián)合成對(duì)排序模型用于興趣點(diǎn)推薦，獲得了更好的推薦性能。

本文基于融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的方法學(xué)習(xí)文本信息的細(xì)粒度特征表示。然后，提出基于一種新的聯(lián)合逐對(duì)排序推薦算法實(shí)現(xiàn)用戶(hù)-項(xiàng)目-文本三者的融合，從而提升推薦性能。

2 提出的模型

本節(jié)中，主要介紹所提出的RL-CNGCN算法框架，如圖1所示。本文首先給出相關(guān)問(wèn)題的形式化描述，然后提出融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的細(xì)粒度文本特征學(xué)習(xí)，再構(gòu)建一個(gè)基于聯(lián)合函數(shù)的內(nèi)容感知排序推薦模型，實(shí)現(xiàn)用戶(hù)-項(xiàng)目交互的聯(lián)合關(guān)聯(lián)以及項(xiàng)目與關(guān)聯(lián)詞之間的關(guān)系建模的融合，從而將評(píng)分和評(píng)論信息的文本特征表示融合到一個(gè)統(tǒng)一的排序推薦模型中，提供精準(zhǔn)推薦服務(wù)。

圖1 RL-CNGCN 算法框架

2.1 問(wèn)題形式化和預(yù)備知識(shí)

在本文中，讓U、I和N分別表示用戶(hù)、項(xiàng)目和詞的集合。對(duì)于用戶(hù)和項(xiàng)目之間的交互，表示為Cu,i={(u,i)|u∈U,i∈I}， 以及項(xiàng)目和單詞之間的關(guān)系，表示為Ci,z={(i,z)|i∈I,z∈N}， 其中每個(gè)項(xiàng)目的單詞是從其描述文本中提取的。同時(shí)，給定一個(gè)無(wú)向圖G=(V,E)， 其中，V是頂點(diǎn)集， |V| 表示頂點(diǎn)的數(shù)量，E是邊集。每個(gè)頂點(diǎn)都與一個(gè)維度為d的特征向量相關(guān)聯(lián)，文檔特征矩陣X∈R|V|×d用于表示所有頂點(diǎn)的特征，它也被設(shè)置為單位矩陣。邊集E通常由鄰接矩陣A∈R|V|×|V|表示，其中Aim,jn是第im個(gè)頂點(diǎn)和第jn個(gè)頂點(diǎn)之間的邊的權(quán)重。度矩陣B∈R|V|×|V|是對(duì)角矩陣，Bim,jn=∑jmAim,jn。 構(gòu)建的文本圖中的節(jié)點(diǎn)數(shù) |V| 是文本的數(shù)量加上數(shù)據(jù)集中唯一詞的數(shù)量。一個(gè)文本節(jié)點(diǎn)和一個(gè)詞節(jié)點(diǎn)之間的邊的權(quán)重是該詞在文本中的詞頻-逆文本頻率，其中詞頻是指該詞在文本中出現(xiàn)的次數(shù)，逆文本頻率是包含該詞文本數(shù)量的對(duì)數(shù)比例倒數(shù)。

本文的目標(biāo)就是通過(guò)采用融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的混合網(wǎng)絡(luò)學(xué)習(xí)文本細(xì)粒度特征，然后整合用戶(hù)-項(xiàng)目、用戶(hù)-文本、項(xiàng)目-文本之間的關(guān)聯(lián)來(lái)構(gòu)建聯(lián)合排序推薦模型學(xué)習(xí)用戶(hù)偏好，從而為每個(gè)用戶(hù)提供個(gè)性化項(xiàng)目排名列表。

2.2 文本細(xì)粒度特征學(xué)習(xí)

本節(jié)描述如何融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)學(xué)習(xí)文本細(xì)粒度特征。由于文本中存在的層次結(jié)構(gòu)常常在特征學(xué)習(xí)時(shí)被忽略[13]，為了學(xué)習(xí)文本的細(xì)粒度特征，本文受到膠囊網(wǎng)絡(luò)[14,15]的啟發(fā)，利用膠囊網(wǎng)絡(luò)提取文本中的層次結(jié)構(gòu)信息，從而融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)來(lái)學(xué)習(xí)文本細(xì)粒度特征。如圖2所示，基于圖卷積模型構(gòu)建相關(guān)文本中單詞的圖模型表示，精準(zhǔn)捕獲了文本中單詞的長(zhǎng)期且非連續(xù)關(guān)系。然后將獲得的文本單詞特征表示視為一個(gè)膠囊，通過(guò)構(gòu)建含有兩個(gè)膠囊層的膠囊網(wǎng)絡(luò)，實(shí)現(xiàn)圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的密切融合，達(dá)到學(xué)習(xí)文本的細(xì)粒度特征表示的目的。在融合圖卷積網(wǎng)絡(luò)的膠囊網(wǎng)絡(luò)中，兩個(gè)連續(xù)膠囊層間基于多次迭代的路由算法進(jìn)行更新，進(jìn)而提取文本信息中層次結(jié)構(gòu)信息，這有助于捕獲到復(fù)雜場(chǎng)景中文本的細(xì)粒度特征。

圖2 文本細(xì)粒度特征學(xué)習(xí)

2.2.1 構(gòu)建基于圖卷積網(wǎng)絡(luò)的文本單詞特征學(xué)習(xí)

首先，本文為每個(gè)文本創(chuàng)建一個(gè)無(wú)向圖來(lái)對(duì)其內(nèi)容信息進(jìn)行建模。給定一個(gè)文本，將內(nèi)容中的詞作為圖的頂點(diǎn)。與Wu等[13]一樣，本文也采用逐點(diǎn)互信息(PMI)來(lái)計(jì)算邊的權(quán)重，從而保留了全局詞共現(xiàn)信息。具體來(lái)說(shuō)，在源域和目標(biāo)域中的所有文本上使用固定大小的滑動(dòng)窗口來(lái)收集單詞共現(xiàn)統(tǒng)計(jì)信息。

計(jì)算詞對(duì)的PMI如下

(1)

(2)

(3)

其中，Hw(zi) 是包含單詞zi的滑動(dòng)窗口數(shù)，Hw(zi,zj) 是包含單詞zi和zj的滑動(dòng)窗口數(shù)， |Hw| 是滑動(dòng)窗口的總數(shù)。由于PMI分?jǐn)?shù)可以反映詞之間的相關(guān)性，PMI分?jǐn)?shù)越高，則反映語(yǔ)義相關(guān)性越強(qiáng)[8]。因此，本文只保留具有正PMI分?jǐn)?shù)的詞對(duì)之間添加邊

(4)

其中，ai,j是詞zi和zj之間的關(guān)系。經(jīng)過(guò)這個(gè)過(guò)程，得到了全局語(yǔ)料上的詞關(guān)系，鄰接矩陣A是每個(gè)文檔中詞關(guān)系的子集。

然后，本文采用多層GCN模型實(shí)現(xiàn)節(jié)點(diǎn)級(jí)單詞的文本特征學(xué)習(xí)。本文通過(guò)堆疊多個(gè)圖卷積層來(lái)合并高階鄰域信息，為節(jié)點(diǎn)生成新的向量表示l，得到如下公式

l0=X

(5)

(6)

(7)

2.2.2 融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的文本細(xì)粒度特征學(xué)習(xí)

(8)

其中，擠壓函數(shù)squash() 確保每個(gè)特征向量的方向不變，而其膠囊的長(zhǎng)度縮小。

(9)

(10)

(11)

(12)

2.3 聯(lián)合排序模型

首先，本節(jié)深入分析用戶(hù)與項(xiàng)目及項(xiàng)目與文本之間的關(guān)系，同時(shí)受到Chen等[16]設(shè)計(jì)的排序?qū)W習(xí)模型啟發(fā)，基于本文提出的模型假設(shè)，分別建模項(xiàng)目偏好排名和詞相關(guān)性排序模型。然后描述所提出的聯(lián)合排序模型，并給出采用模型的推導(dǎo)與優(yōu)化過(guò)程和參數(shù)學(xué)習(xí)過(guò)程。

2.3.1 用戶(hù)項(xiàng)目偏好排序?qū)W習(xí)

基于BPR模型實(shí)現(xiàn)項(xiàng)目偏好排名模型，本節(jié)通過(guò)利用三元組Du作為訓(xùn)練數(shù)據(jù)來(lái)優(yōu)化項(xiàng)目對(duì)的正確排名，基于觀察到的用戶(hù)-項(xiàng)目交互為每個(gè)用戶(hù)生成個(gè)性化的項(xiàng)目排名列表。該模型的似然函數(shù)如下

(13)

q(j>u|Θ)=η(〈Θu,Θj-Θ′j〉)

(14)

其中， 〈·,·〉 表示兩個(gè)向量之間的點(diǎn)積， Θu和Θj分別表示上節(jié)中用戶(hù)u∈U和項(xiàng)目j∈I的d維向量表示，j>uj′表示用戶(hù)u更喜歡項(xiàng)目j而不是項(xiàng)目j′， 對(duì)于每個(gè)三元組 (u,j,j′)∈Du，j>uj′。 〈Θi,Θj-Θ′j〉 表示對(duì)關(guān)于項(xiàng)目j和j′與項(xiàng)目i的相似度建模，η(·) 表示sigmoid函數(shù)。

2.3.2 項(xiàng)目文本相似性排序?qū)W習(xí)

基于BPR擴(kuò)展模型，本文根據(jù)項(xiàng)目的描述對(duì)項(xiàng)目和相關(guān)詞之間的關(guān)系基于排序?qū)W習(xí)模型進(jìn)行建模。受到Xu等[17]基于單詞分布學(xué)習(xí)單詞語(yǔ)義建模技術(shù)的啟發(fā)，本文提出最大化相關(guān)(正)項(xiàng)目-詞對(duì)的似然函數(shù)，通過(guò)利用Di中的項(xiàng)目-單詞-單詞三元組作為訓(xùn)練數(shù)據(jù)，而不是每個(gè)項(xiàng)目的不相關(guān)(負(fù))項(xiàng)目詞對(duì)，因此有如下公式

(15)

其中， >i表示項(xiàng)目i的成對(duì)單詞相關(guān)性(即，ez>iez′表示單詞z比單詞z′與項(xiàng)目i的相關(guān)性更高，對(duì)于每個(gè)三元組 (i,z,z′)∈Di，ez>iez′)。q(ez>iez′|i) 計(jì)算為

q(ez>iez′|i)=η(〈Θi,Θz-Θz′〉)

(16)

其中， Θz是來(lái)自單詞z∈Z的d維行向量表示， 〈Θi,Θz-Θz′〉 表示對(duì)關(guān)于單詞z和z′的項(xiàng)目i的詞相關(guān)性排序建模。η(·) 表示sigmoid 函數(shù)。

2.4 聯(lián)合排序模型學(xué)習(xí)與優(yōu)化

文本信息來(lái)源的重要來(lái)源是項(xiàng)目描述。在相關(guān)文本信息的描述中，用戶(hù)對(duì)有些關(guān)鍵詞更加關(guān)注，因?yàn)檫@些詞能夠更加體現(xiàn)項(xiàng)目的特征(例如它們的長(zhǎng)度、年齡或風(fēng)格)，從而潛在的反應(yīng)用戶(hù)的偏好。因此，本節(jié)提出構(gòu)建一個(gè)融合文本內(nèi)容基于排序?qū)W習(xí)的聯(lián)合推薦模型。

首先，本文給出如下定義：

(1)〈Θu,Θj-Θj′〉： 對(duì)用戶(hù)u關(guān)于項(xiàng)目j和j′之間的項(xiàng)目偏好排名進(jìn)行建模；

(2)〈Θi,Θj-Θj′〉 表示對(duì)關(guān)于項(xiàng)目j和j′與項(xiàng)目i的相似度建模；

(3)〈Θu,Θz-Θz′〉： 對(duì)用戶(hù)u關(guān)于詞z和z′的詞相關(guān)性排名進(jìn)行建模；

(4)〈Θi,Θz-Θz′〉： 對(duì)關(guān)于詞z和z′的項(xiàng)目i的詞相關(guān)性排名進(jìn)行建模。

因此本文設(shè)計(jì)一個(gè)聯(lián)合似然函數(shù)，該函數(shù)聯(lián)合考慮上述定義中(1)～(4)所示的4種類(lèi)型結(jié)構(gòu)。即分別由上述2.3.1小節(jié)和2.3.2小節(jié)的排序?qū)W習(xí)模型組成： >u和>i。 顯然>u和>i本質(zhì)上是相互依賴(lài)的，因?yàn)榻o定用戶(hù)交互的項(xiàng)目在這兩個(gè)排序?qū)W習(xí)結(jié)構(gòu)中重疊。本文設(shè)計(jì)的這個(gè)聯(lián)合似然函數(shù)的目標(biāo)是找到一個(gè)聯(lián)合表示矩陣Θ，從而最大化觀察到的用戶(hù)-項(xiàng)目和項(xiàng)目-詞對(duì)，并描述上述4種復(fù)雜關(guān)系

(17)

其中， >u表示給定用戶(hù)u∈U的兩個(gè)項(xiàng)目之間的偏好結(jié)構(gòu)， >i表示給定項(xiàng)目i∈I的單詞之間的相關(guān)性結(jié)構(gòu)。

基于上述假設(shè)的上述聯(lián)合似然函數(shù)的計(jì)算如下

(18)

(19)

其中，ζΘ是特定于模型的正則化參數(shù)。

根據(jù)學(xué)習(xí)率?更新模型參數(shù)

(20)

在本文中，式(17)中的目標(biāo)函數(shù)采用異步隨機(jī)梯度下降算法—ADMA算法來(lái)最大化公式以并行有效地更新參數(shù)。具體來(lái)說(shuō)，對(duì)于每個(gè)給定的 (u,i) 對(duì)，本文為用戶(hù)u隨機(jī)抽取一個(gè)正項(xiàng)目作為j，將一個(gè)負(fù)項(xiàng)目作為j′， 為項(xiàng)目i隨機(jī)抽取一個(gè)正負(fù)單詞對(duì)作為 (z,z′)， 從而得到三元組 (u,j,j′)∈Du和 (i,z,z′)∈Di用于更新參數(shù)，梯度定義為

(21)

算法：融合圖卷積和膠囊網(wǎng)絡(luò)的內(nèi)容感知排序推薦算法

輸入：用戶(hù)評(píng)分?jǐn)?shù)據(jù)信息、項(xiàng)目屬性信息、目標(biāo)用戶(hù)，文本信息

輸出：目標(biāo)用戶(hù)的排序列表q(j>uj′,ez>iez′|Θ)

具體的步驟如下：

步驟1 對(duì)用戶(hù)評(píng)分?jǐn)?shù)據(jù)進(jìn)行預(yù)處理；

步驟2 根據(jù)式(1)～式(4)構(gòu)建文本信息中單詞圖模型；

步驟3 根據(jù)式(5)～式(7)，基于圖卷積網(wǎng)絡(luò)學(xué)習(xí)文本單詞特征的表示為lm；

步驟5 利用用戶(hù)-項(xiàng)目-項(xiàng)目三元組Du， 根據(jù)式(13)～式(14)優(yōu)化項(xiàng)目的正確排名q(j>u|Θ)；

步驟7 根據(jù)給出的定義，基于式(17)～式(18)，構(gòu)建聯(lián)合排序?qū)W習(xí)損失函數(shù)q(j>uj′,ez>iez′|Θ)。

步驟8 采用異步隨機(jī)梯度下降算法-ADMA算法，基于式(18)～式(20)來(lái)優(yōu)化上述損失函數(shù)，并更新相關(guān)參數(shù)。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集與數(shù)據(jù)處理

與Liu等[18]類(lèi)似，本文也采用4個(gè)不同領(lǐng)域的亞馬遜數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文提出推薦算法的性能，其數(shù)據(jù)集描述見(jiàn)表1。顯然，這4個(gè)數(shù)據(jù)集具有不同的特征。對(duì)于這些亞馬遜數(shù)據(jù)，本文在實(shí)驗(yàn)中采用了用戶(hù)項(xiàng)目評(píng)分和項(xiàng)目描述，將評(píng)分項(xiàng)目視為正面反饋，其余視為負(fù)面反饋，并刪除評(píng)分少于3個(gè)項(xiàng)目的用戶(hù)。所有的實(shí)驗(yàn)數(shù)據(jù)集都包含用戶(hù)-項(xiàng)目交互和文本項(xiàng)目描述。在預(yù)處理中，本文將用戶(hù)-項(xiàng)目交互轉(zhuǎn)換為隱式反饋。對(duì)于項(xiàng)目描述，本文過(guò)濾掉詞頻小于5的詞或文本頻率小于相應(yīng)語(yǔ)料庫(kù)10%的詞。表1列出了每個(gè)數(shù)據(jù)集的預(yù)處理數(shù)據(jù)的統(tǒng)計(jì)信息，包括單詞數(shù)、隱式反饋量(U-I邊)以及項(xiàng)目和單詞之間的關(guān)系數(shù)(I-W 邊)。同時(shí)遵循Liu等[18]的方法，對(duì)數(shù)據(jù)集的評(píng)論信息還進(jìn)行了如下預(yù)處理：①刪除停用詞；②將原始文本的長(zhǎng)度設(shè)置為300；③計(jì)算每個(gè)單詞的詞頻與文本頻率成反比的值。

表1 亞馬遜數(shù)據(jù)集統(tǒng)計(jì)

3.2 評(píng)估指標(biāo)與參數(shù)設(shè)置

本文基于兩個(gè)評(píng)估指標(biāo)進(jìn)行Top-N推薦的性能評(píng)估：召回率(表示為Recall@N[8])和歸一化折扣累積增益(表示為NDCG@N[8])。對(duì)于所有數(shù)據(jù)集，本文將用戶(hù)-項(xiàng)目交互隨機(jī)分為70%和30%，分別作為訓(xùn)練集和測(cè)試集。每個(gè)用戶(hù)的推薦集是作為正面項(xiàng)目的集合生成的，其中包含1000個(gè)隨機(jī)選擇的負(fù)面項(xiàng)目。

在本文的實(shí)驗(yàn)中，RL-CNGCN和GCN中文本特征的維度為150，ζΘ=0.025， 學(xué)習(xí)率?=0.05， 窗口大小設(shè)置為10，p在訓(xùn)練中從0到1。NCTR和DAML中批次大小設(shè)置為128，丟棄率為0.2，學(xué)習(xí)率是0.0001，維度大小設(shè)置為100，卷積核數(shù)量為100，滑動(dòng)窗口的大小是5，迭代次數(shù)設(shè)置為200。JRL的批次大小是64，學(xué)習(xí)率是0.5，維度大小為300。MCRec的批量大小為256，學(xué)習(xí)率為0.001，正則化參數(shù)為0.0001，維度大小為128。RMG的學(xué)習(xí)率為0.001，潛在維度為32，丟棄比率為0.1，正則化項(xiàng)為0.1。

3.3 實(shí)驗(yàn)方案設(shè)計(jì)

本文從如下3個(gè)不同的角度進(jìn)行實(shí)驗(yàn)測(cè)試，以驗(yàn)證文中算法的有效性：

(1)將本文提出的算法與4個(gè)主流先進(jìn)推薦算法進(jìn)行對(duì)比；

(2)基于提出的融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的方法與3個(gè)基準(zhǔn)方法進(jìn)行對(duì)比，這些基準(zhǔn)方法是推薦系統(tǒng)中常用的；

(3)討論了維度參數(shù)對(duì)于推薦結(jié)果的影響。

實(shí)驗(yàn)中選取如下幾種基準(zhǔn)算法進(jìn)行對(duì)比：

(1)DAML[18]：一種基于雙層注意力互學(xué)習(xí)機(jī)制的基于內(nèi)容的推薦算法。

(2)JRL[19]：一種基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法，它在圖神經(jīng)網(wǎng)絡(luò)框架下對(duì)協(xié)同知識(shí)圖中的高階關(guān)系進(jìn)行顯式建模，基于不同信息源中學(xué)習(xí)聯(lián)合表示以進(jìn)行Top-N推薦。

(3)MCRec[20]：一種融合正則化和基于路徑的推薦算法，這種模型結(jié)合了正則化和基于路徑的方法。

(4)NCTR模型[7]：一種混合神經(jīng)網(wǎng)絡(luò)融合評(píng)分和評(píng)論信息進(jìn)行項(xiàng)目推薦算法。

為了評(píng)估本文提出的方法和下面幾種學(xué)習(xí)方法進(jìn)行比較：

(1)GCN[9]：基于圖卷積網(wǎng)絡(luò)學(xué)習(xí)文本特征；

(2)GRU[6]：基于GRU網(wǎng)絡(luò)學(xué)習(xí)文本特征；

(3)RMG[8]：基于層次圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制學(xué)習(xí)文本特征。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 實(shí)驗(yàn)?zāi)Ｐ托阅軐?duì)比

實(shí)驗(yàn)結(jié)果見(jiàn)表2和表3，顯然，本文提出的RL-CNGCN在所有數(shù)據(jù)集上始終優(yōu)于其它上述對(duì)比主流先進(jìn)推薦算法。也驗(yàn)證了本文提出的模型的有效性和高效性。可能原因如下：①對(duì)于內(nèi)容特征學(xué)習(xí)這個(gè)方面，本文采用融合圖卷積神經(jīng)網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)的混合神經(jīng)網(wǎng)絡(luò)有著更強(qiáng)的學(xué)習(xí)能力；②基于擴(kuò)展BPR模型的逐對(duì)排序推薦性能優(yōu)于基于評(píng)分預(yù)測(cè)的推薦性能，同時(shí)融入項(xiàng)目-文本的交互實(shí)現(xiàn)了對(duì)用戶(hù)特征向量的一定約束從而得到了用戶(hù)偏好更細(xì)粒度的描述，很明顯，這也再次驗(yàn)證了文本內(nèi)容信息能夠?qū)τ谟脩?hù)的偏好產(chǎn)生一定的影響。MCRec是基于元路徑實(shí)現(xiàn)用戶(hù)和項(xiàng)目的精準(zhǔn)表示，但是其過(guò)于依賴(lài)元路徑的質(zhì)量，使得其需要極其廣泛的領(lǐng)域知識(shí)來(lái)實(shí)現(xiàn)元路徑的定義。DAML和NCTR都是基于深度學(xué)習(xí)的方法融合評(píng)論和評(píng)分信息進(jìn)行推薦，其中NCTR缺乏對(duì)于用戶(hù)和項(xiàng)目高階交互信息的建模，使得其性能落后于DAML。而DAML模型一方面相對(duì)于MCREC, 容易受到數(shù)據(jù)稀疏的影響，另外一方面，也如同3.4.2小節(jié)所驗(yàn)證的，基于圖卷積模型對(duì)文本的表示學(xué)習(xí)優(yōu)于采用基于卷積操作的文本內(nèi)容特征學(xué)習(xí)。JRL模型雖然采用了TOP-N推薦框架，但是它沒(méi)有采用深度學(xué)習(xí)的方法，而是利用doc2vec模型實(shí)現(xiàn)了內(nèi)容特征的學(xué)習(xí)。在文本內(nèi)容建模過(guò)程中，沒(méi)有突出文本中關(guān)鍵詞的權(quán)重，也沒(méi)有考慮文本上下相關(guān)詞的特征之間的影響，使得其只實(shí)現(xiàn)對(duì)文本內(nèi)容的粗粒度建模，同時(shí)上述實(shí)驗(yàn)結(jié)果也恰好再次驗(yàn)證了基于深度學(xué)習(xí)的方法對(duì)比傳統(tǒng)方法可以實(shí)現(xiàn)文本內(nèi)容特征更加精準(zhǔn)的學(xué)習(xí)。

表2 基于Beauty數(shù)據(jù)集和Application數(shù)據(jù)集的性能對(duì)比

表3 基于Software數(shù)據(jù)集和Fashion數(shù)據(jù)集的性能對(duì)比

3.4.2 文本特征建模對(duì)比

本節(jié)將本文采用的方法與幾種主流方法進(jìn)行對(duì)比。

實(shí)驗(yàn)結(jié)果見(jiàn)表4和表5，RL-CNGCN在4個(gè)數(shù)據(jù)集上的表現(xiàn)最好并且明顯優(yōu)于所有對(duì)比模型，這展示了所提出的方法的有效性和高效性。其將膠囊理論融合到圖神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)了文本內(nèi)容表示學(xué)習(xí)，生成的圖和膠囊不僅保留了層次結(jié)構(gòu)等相關(guān)的信息，還保留與圖屬性有關(guān)的其它信息，這些信息可能對(duì)后續(xù)建模工作有用。其作為一種新穎的框架，顯然融合膠囊網(wǎng)絡(luò)的圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)了更有效的圖表示學(xué)習(xí)。對(duì)于其更深入的性能分析，本文也發(fā)現(xiàn)其在稠密數(shù)據(jù)集上性能優(yōu)于稀疏數(shù)據(jù)集。GCN相對(duì)比RMG、GRU，其自身圖卷積結(jié)構(gòu)的特點(diǎn)決定了在捕捉文本-詞關(guān)系和文本中全局詞-詞關(guān)系，使得其優(yōu)于GRU方法和RMG方法。但同時(shí)GCN也受限其自身運(yùn)行機(jī)制，在文本內(nèi)容特征抽取中，大多忽略了文本中層次結(jié)構(gòu)關(guān)系。GRU模型性能最弱，可能的原因因?yàn)榛?RNN 的方法擅長(zhǎng)處理序列信息，特別是短期序列信息，但其無(wú)法對(duì)非連續(xù)短語(yǔ)和長(zhǎng)距離詞依賴(lài)信息進(jìn)行建模，從而無(wú)法獲得文本中長(zhǎng)距離的關(guān)鍵關(guān)系。RMG稍強(qiáng)于GRU，可能的原因因?yàn)樗鼈兝脤哟螆D神經(jīng)網(wǎng)絡(luò)加上注意力的方式學(xué)習(xí)文本特征，通過(guò)利用注意力機(jī)制來(lái)突出文本特征中單詞、句子、段落等重要性。

表4 基于Beauty數(shù)據(jù)集和Application數(shù)據(jù)集文本特征建模對(duì)比

表5 基于Software數(shù)據(jù)集和Fashion數(shù)據(jù)集文本特征建模對(duì)比

3.4.3 參數(shù)影響分析

這一節(jié)主要介紹相關(guān)參數(shù)設(shè)置對(duì)RL-CNGCN的影響。主要從文檔潛在因子的維度這個(gè)方面對(duì)RL-CNGCN算法進(jìn)行分析，結(jié)果見(jiàn)表6和表7。

從表6和表7的結(jié)果中，可以觀察到：①通過(guò)增加潛在維度，模型性能得到了提高。可能的原因是過(guò)于小的維度不足以充分表達(dá)用戶(hù)的潛在特征。但是，當(dāng)潛在維度增大到一定范圍時(shí)，模型趨于穩(wěn)定，如果繼續(xù)增加潛在維度，則推薦性能不再提高。造成這個(gè)現(xiàn)象的原因可能是模型也隨維度的增加從而導(dǎo)致過(guò)擬合現(xiàn)象的出現(xiàn)。因此，本文將潛在維度設(shè)置為150；②在4個(gè)數(shù)據(jù)集上均呈現(xiàn)相似的變化，但是相同的潛在維度在不同的數(shù)據(jù)集上具有不同的性能?？赡艿脑蚴歉鱾€(gè)數(shù)據(jù)集的稀疏度各不相同。

表6 基于亞馬遜數(shù)據(jù)集潛在維度Recall值分析

表7 基于亞馬遜數(shù)據(jù)集潛在維度NDCG值分析

4 結(jié)束語(yǔ)

在本文中，提出了一種內(nèi)容感知推薦算法。它融合圖卷積網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)來(lái)建模文本評(píng)論內(nèi)容，全面捕獲文本中的語(yǔ)義信息和層次信息。然后將推薦問(wèn)題視為排序問(wèn)題，基于擴(kuò)展的BPR標(biāo)準(zhǔn)，設(shè)計(jì)一個(gè)統(tǒng)一的聯(lián)合損失函數(shù)，擬合用戶(hù)-項(xiàng)目交互的聯(lián)合關(guān)聯(lián)，并融合項(xiàng)目與相關(guān)文本之間的關(guān)系，最終實(shí)現(xiàn)用戶(hù)偏好的精準(zhǔn)推斷。實(shí)驗(yàn)結(jié)果表明，所提出算法優(yōu)于基準(zhǔn)推薦算法。未來(lái)工作，將進(jìn)一步研究圖神經(jīng)網(wǎng)絡(luò)在內(nèi)容感知推薦系統(tǒng)的應(yīng)用。