劉慧婷 李茵捷 郭玲玲 陳庚 趙鵬 韓宇晨

(安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601)

隨著電子商務(wù)中用戶(hù)和商品數(shù)量的爆炸式增長(zhǎng)，推薦系統(tǒng)在幫助人們克服信息超載、促進(jìn)電子商務(wù)公司銷(xiāo)售方面發(fā)揮著越來(lái)越重要的作用。在不同的推薦策略中，協(xié)同過(guò)濾(CF)由于其有效性和快捷性，在過(guò)去的幾十年中得到了廣泛的研究[1- 3]。一些傳統(tǒng)的CF方法從用戶(hù)的使用習(xí)慣(如用戶(hù)-項(xiàng)目的歷史交互)中學(xué)習(xí)用戶(hù)的偏好，進(jìn)而完成推薦，但在用戶(hù)和項(xiàng)目交互稀疏的情況下性能較差[4]。

為了解決傳統(tǒng)CF方法面臨的稀疏性問(wèn)題，一些改進(jìn)的CF方法開(kāi)始利用并且有效整合其他輔助信息。Koren等[5]把基于模型的CF方法和基于鄰居的CF方法有效整合在一起完成推薦，在使用評(píng)分矩陣的同時(shí)，使用了用戶(hù)的隱式反饋，如用戶(hù)的瀏覽歷史、搜索模式甚至鼠標(biāo)的移動(dòng)軌跡等。為了更加有效地整合多方面的輔助信息，有研究提出了混合推薦方法。常見(jiàn)的混合推薦方法是將輔助信息與用戶(hù)ID、項(xiàng)目ID轉(zhuǎn)換成一個(gè)通用的特征向量，并將它們輸入到監(jiān)督學(xué)習(xí)(SL)模型來(lái)預(yù)測(cè)評(píng)分。這種混合推薦方法已經(jīng)得到了廣泛的應(yīng)用，代表性的模型有Wide&Deep[6]、xDeepFM[7]等。

根據(jù)評(píng)分信息與輔助信息之間是否存在雙向交互，混合推薦模型分為松耦合和緊耦合兩種方式。Sevil等[8]提出了一種松耦合推薦算法，該算法優(yōu)先處理輔助信息，然后將處理后的輔助信息傳遞給CF模型。由于信息的流向是單向的，評(píng)分信息無(wú)法指導(dǎo)輔助信息特征的提取。在這種方式下，通常需要依賴(lài)人工提取特征來(lái)提高推薦的性能。相反，在緊耦合方法[9]中，評(píng)分信息可以指導(dǎo)特征的學(xué)習(xí)，提取的特征可以進(jìn)一步提高CF模型的預(yù)測(cè)能力。通過(guò)二者的雙向交互，緊耦合方法可以自動(dòng)地從輔助信息中學(xué)習(xí)特征，從而緩解CF模型面臨的評(píng)分稀疏問(wèn)題。因此，緊耦合方法常常優(yōu)于松耦合方法。協(xié)同主題回歸(CTR)[10]和協(xié)同深度學(xué)習(xí)(CDL)[11]是近年來(lái)具代表性的緊耦合推薦方法。然而，上述方法都只能處理單一類(lèi)型的輔助信息。隨著電子商務(wù)的迅速發(fā)展，輔助信息的類(lèi)型越來(lái)越多，因此開(kāi)發(fā)一種通用的方法來(lái)處理這些不同的輔助信息，變得越來(lái)越重要。

異構(gòu)信息網(wǎng)絡(luò)(HIN)由于其在建模數(shù)據(jù)異構(gòu)性方面的靈活性而被用于推薦系統(tǒng)中表示豐富的輔助信息[12- 13]，HIN中連接節(jié)點(diǎn)對(duì)的關(guān)系序列元路徑則被廣泛用于提取輔助信息的結(jié)構(gòu)特征[14]?？梢酝ㄟ^(guò)定義一條元路徑(如User→ Movie→Type→Movie)來(lái)表達(dá)用戶(hù)對(duì)某一類(lèi)型電影的偏好。構(gòu)建不同的推薦元路徑，則可以有效地整合更多的信息，表達(dá)不同的語(yǔ)義。最近，一些文獻(xiàn)研究了基于HIN的個(gè)性化推薦方法。PathSim模型[14]可度量不同實(shí)體之間的相似性，首先計(jì)算不同元路徑實(shí)例的數(shù)量，然后除以一個(gè)標(biāo)準(zhǔn)化項(xiàng)得到起始節(jié)點(diǎn)和終止節(jié)點(diǎn)之間的相似矩陣。FMG[13]利用與文獻(xiàn)[14]相同的方法獲得相似矩陣，然后將相似矩陣分解為用戶(hù)和項(xiàng)目特征向量。文獻(xiàn)[15]設(shè)計(jì)了一種基于元路徑的隨機(jī)游走模型HERec來(lái)獲得不同節(jié)點(diǎn)序列的網(wǎng)絡(luò)嵌入，再將嵌入與擴(kuò)展的矩陣因子分解模型進(jìn)行聯(lián)合優(yōu)化完成評(píng)分預(yù)測(cè)任務(wù)。文獻(xiàn)[16]利用模型層的元學(xué)習(xí)捕獲異構(gòu)信息網(wǎng)絡(luò)的語(yǔ)義，解決了推薦任務(wù)中的冷啟動(dòng)問(wèn)題。

雖然上述方法在一定程度上提高了推薦系統(tǒng)的性能，但現(xiàn)有的HIN方法存在如下不足：①?zèng)]有考慮不同元路徑對(duì)用戶(hù)、項(xiàng)目特征建模貢獻(xiàn)程度的差異性；②沒(méi)有將異構(gòu)輔助信息與CF模型進(jìn)行緊耦合。近年來(lái)注意力機(jī)制被提出并已在多種機(jī)器學(xué)習(xí)任務(wù)中證明了其有效性，如圖像字幕[17- 18]和機(jī)器翻譯[19]。有研究者將注意力機(jī)制應(yīng)用于推薦系統(tǒng)中，Li等[20]采用注意力機(jī)制對(duì)用戶(hù)的順序行為進(jìn)行建模，以捕捉用戶(hù)的偏好。Wang等[21]提出了一種基于分層注意的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)，通過(guò)學(xué)習(xí)的兩層注意力分?jǐn)?shù)指導(dǎo)基于元路徑的相鄰節(jié)點(diǎn)的特征聚合。

針對(duì)上述問(wèn)題和注意力機(jī)制的有效性，本文提出了一種基于HIN的緊耦合推薦模型。對(duì)于給定的一個(gè)目標(biāo)用戶(hù)或項(xiàng)目，本文首先使用基于優(yōu)先級(jí)的抽樣技術(shù)選擇元路徑中高質(zhì)量的路徑實(shí)例，并聚合各個(gè)路徑實(shí)例得到不同元路徑的顯式嵌入，然后基于注意力機(jī)制得到聚合元路徑的嵌入，最后將聚合元路徑嵌入與CF模型緊耦合完成推薦。

1 異構(gòu)信息網(wǎng)絡(luò)相關(guān)理論

1.1 異構(gòu)信息網(wǎng)絡(luò)

異構(gòu)信息網(wǎng)絡(luò)[22]表示為G={V，E}，由對(duì)象集V和鏈接集E組成。HIN也與對(duì)象類(lèi)型映射函數(shù)φ:V→A和鏈接類(lèi)型映射函數(shù) ∮:E→R相對(duì)應(yīng)。A和R表示預(yù)定義的對(duì)象和鏈接類(lèi)型的集合，其中|A|+|R|>2。圖1給出了一個(gè)用HIN表示的電影推薦實(shí)例，由圖中可以看出，HIN包含多種類(lèi)型的實(shí)體，實(shí)體之間由不同類(lèi)型的關(guān)系相互連接。為了更好地理解網(wǎng)絡(luò)中的對(duì)象類(lèi)型和鏈接類(lèi)型，文獻(xiàn)[23- 24]提出網(wǎng)絡(luò)模式的概念，用于描述網(wǎng)絡(luò)的元結(jié)構(gòu)。

圖1 異構(gòu)信息網(wǎng)絡(luò)表示的電影推薦實(shí)例

1.2 網(wǎng)絡(luò)模式

對(duì)于使用對(duì)象類(lèi)型映射φ:V→A和鏈接類(lèi)型映射 ∮:E→R的異構(gòu)信息網(wǎng)絡(luò)G={V，E}，網(wǎng)絡(luò)模式是它的元模板，記為S=(A，R)。它是一個(gè)定義在對(duì)象類(lèi)型A上的有向圖，邊是來(lái)自R的關(guān)系。

例1圖2(b)為圖1中電影推薦系統(tǒng)實(shí)例對(duì)應(yīng)的網(wǎng)絡(luò)模式，網(wǎng)絡(luò)由多種類(lèi)型的對(duì)象(如用戶(hù)(U)、用戶(hù)組(G)、電影(M)、導(dǎo)演(D)、電影類(lèi)型(T))及其語(yǔ)義關(guān)系(如用戶(hù)與電影的關(guān)系(U-M)、電影與導(dǎo)演的關(guān)系(M-D)、電影和電影類(lèi)型的關(guān)系(M-T))構(gòu)成。

圖2 數(shù)據(jù)集中的網(wǎng)絡(luò)模式

在HIN中，兩個(gè)對(duì)象可以通過(guò)不同的語(yǔ)義路徑連接，這些語(yǔ)義路徑被定義為元路徑。

1.3 元路徑和路徑實(shí)例

給定一條元路徑，該元路徑下存在多條具體的路徑，稱(chēng)為路徑實(shí)例，用p表示。

例2圖1中的用戶(hù)u1和電影m2可以通過(guò)多條元路徑進(jìn)行連接，以u(píng)1作為起始節(jié)點(diǎn)，有u1-m1-u2-m2(UMUM)和u1-m1-t1-m2(UMTM)，以m2作為起始節(jié)點(diǎn)，有m2-d1-m1-u1(MDMU)和m2-u2-m1-u1(MUMU)，它們分別構(gòu)成了u1和m2的路徑實(shí)例，代表u1和m2各自的偏好。

1.4 基于HIN的推薦

在推薦系統(tǒng)中，各種信息都可以被建模為G={V，E}。本文的HIN中包含兩種實(shí)體(即用戶(hù)和項(xiàng)目)以及它們之間的評(píng)分關(guān)系。令U?V，I?V，R?E，其中U和I分別表示用戶(hù)集和項(xiàng)目集，三元組〈u，i，ru，i〉表示用戶(hù)u對(duì)i的評(píng)分為ru，i。給定一個(gè)HIN，G={V，E}，推薦的目標(biāo)是預(yù)測(cè)一個(gè)用戶(hù)u對(duì)項(xiàng)目i的評(píng)分(項(xiàng)目i未被用戶(hù)u評(píng)分)。

2 基于異構(gòu)信息網(wǎng)絡(luò)嵌入的緊耦合推薦模型

本文提出的緊耦合推薦模型HTCRec如圖3所示，該模型主要由3部分組成：①對(duì)評(píng)分矩陣進(jìn)行分解，生成用戶(hù)u和項(xiàng)目i的潛在向量xu、yi；②利用HIN獲得用戶(hù)和項(xiàng)目輔助信息的單一元路徑嵌入，并基于注意力機(jī)制、用戶(hù)和項(xiàng)目的潛在向量(xu、yi)學(xué)習(xí)用戶(hù)和項(xiàng)目輔助信息嵌入cu和ci；③通過(guò)用戶(hù)和項(xiàng)目輔助信息(cu和ci)與用戶(hù)和項(xiàng)目潛在向量(xu、yi)之間的相互影響，完成推薦模型HTCRec的訓(xùn)練，實(shí)現(xiàn)評(píng)分預(yù)測(cè)。圖3中上方虛線(xiàn)框是矩陣分解和評(píng)分預(yù)測(cè)部分，下方虛線(xiàn)框是用戶(hù)和項(xiàng)目輔助信息的提取、學(xué)習(xí)部分，兩部分之間的信息進(jìn)行雙向交互。

圖3 基于異構(gòu)信息網(wǎng)絡(luò)嵌入的緊耦合推薦模型

2.1 潛在因子模型

矩陣分解(MF)是一種有效的協(xié)同過(guò)濾方法[4]，給定由m個(gè)用戶(hù)u和n個(gè)項(xiàng)目i組成的原始評(píng)分矩陣R∈Rm×n，可以將其分解為低秩矩陣U∈Rm×d和V∈Rn×d，分別代表m個(gè)用戶(hù)和n個(gè)項(xiàng)目的潛在向量集合，d表示潛在向量的維度。潛在因子模型(LFM)是一類(lèi)主要基于矩陣分解技術(shù)的算法，本文的推薦模型使用LFM作為評(píng)分預(yù)測(cè)組件，預(yù)測(cè)用戶(hù)u對(duì)項(xiàng)目i的評(píng)分：

(1)

式中，bu和bi分別是用戶(hù)u、項(xiàng)目i的偏差項(xiàng)，μ是全局平均評(píng)分。LFM方法的評(píng)分預(yù)測(cè)損失函數(shù)可以表示為式(2)，通過(guò)最小化該損失函數(shù)可以學(xué)習(xí)到用戶(hù)u和項(xiàng)目i的潛在向量xu、yi。

(2)

2.2 輔助信息的提取與學(xué)習(xí)

因?yàn)橛脩?hù)u和項(xiàng)目i的輔助信息的學(xué)習(xí)過(guò)程是相似的，本文中僅對(duì)用戶(hù)u的輔助信息嵌入生成過(guò)程進(jìn)行闡述。

2.2.1 基于元路徑的嵌入

從多個(gè)元路徑中獲得路徑實(shí)例的嵌入矩陣的集合后，本文依照以下層次結(jié)構(gòu)來(lái)學(xué)習(xí)輔助信息的嵌入表示：路徑實(shí)例的潛在嵌入→單一元路徑嵌入→聚合元路徑嵌入(即輔助信息的嵌入表示)。

hp=CNN(Cp;Θ)

(3)

式中，Cp為路徑實(shí)例p的矩陣，Θ為CNN中的所有相關(guān)參數(shù)。

(4)

式中的最大池化操作是針對(duì)前k個(gè)路徑實(shí)例嵌入來(lái)執(zhí)行的，它的目標(biāo)是從多個(gè)路徑實(shí)例中捕獲重要的維度特性。

2.2.2 基于注意力機(jī)制的改進(jìn)聚合元路徑嵌入

利用2.2.1節(jié)方法得到單一元路徑的嵌入表示后，傳統(tǒng)的元路徑聚合方法通常是使用平均池化操作來(lái)得到聚合元路徑的嵌入，具體形式如下：

(5)

式中，cu是用戶(hù)u的聚合元路徑嵌入，也是用戶(hù)u的輔助信息嵌入表示，Pu是u的所有不同的元路徑的集合。在這種傳統(tǒng)的元路徑聚合方法中，每條元路徑都受到同等的關(guān)注，元路徑的表示完全依賴(lài)于生成的路徑實(shí)例。它沒(méi)有考慮到所涉及的用戶(hù)和項(xiàng)目，因此缺乏在不同交互場(chǎng)景中從元路徑捕獲不同語(yǔ)義的能力。

直觀地說(shuō)，用戶(hù)或者項(xiàng)目可能對(duì)不同元路徑有不同的偏好，如果能夠改進(jìn)聚合元路徑嵌入的方法，就可以得到更有效的輔助信息的嵌入表示。受計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理中注意力機(jī)制的啟發(fā)[17，20]，本文基于注意力機(jī)制來(lái)實(shí)現(xiàn)這一目標(biāo)。通過(guò)注意力機(jī)制，用戶(hù)u的輔助信息cu的提取和學(xué)習(xí)組件的框架如圖4所示。

圖4 用戶(hù)u的輔助信息cu的提取和學(xué)習(xí)組件的框架圖

(6)

(7)

本文通過(guò)使用Softmax函數(shù)對(duì)所有元路徑上的注意力分?jǐn)?shù)進(jìn)行歸一化，得到不同元路徑的注意力權(quán)值：

(8)

(9)

對(duì)于項(xiàng)目i，其輔助信息ci的提取學(xué)習(xí)過(guò)程是相似的。

2.3 潛在因子模型與輔助信息嵌入的緊耦合

受到協(xié)同過(guò)濾(DCF)[27]框架的啟發(fā)，本文將2.1節(jié)的矩陣分解部分與2.2節(jié)的輔助信息學(xué)習(xí)組件相結(jié)合，提出了一種緊耦合混合推薦模型HTCRec，利用評(píng)分矩陣和輔助信息，將矩陣分解和輔助信息的嵌入學(xué)習(xí)緊密聯(lián)系起來(lái)。

給定用戶(hù)-項(xiàng)目評(píng)分ru，i、用戶(hù)輔助信息cu和項(xiàng)目輔助信息ci，本文從評(píng)分和輔助信息中聯(lián)合學(xué)習(xí)用戶(hù)u和項(xiàng)目i的潛在因子，損失函數(shù)為

ζ=ζMF+ζ(u，cu)+ζ(i，ci)

(10)

(11)

(12)

(13)

3 實(shí)驗(yàn)

為驗(yàn)證HTCRec模型的有效性，本文將在兩個(gè)真實(shí)數(shù)據(jù)集(MovieLens 1m和Douban數(shù)據(jù)集)上進(jìn)行實(shí)驗(yàn)，并與目前常用的推薦方法進(jìn)行對(duì)比分析。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

MovieLens 1m數(shù)據(jù)集包含了用戶(hù)對(duì)電影的評(píng)分和一些電影的屬性信息，Douban數(shù)據(jù)集則包含用戶(hù)對(duì)電影的評(píng)分、電影屬性和一些用戶(hù)屬性。評(píng)分的范圍從1到5，評(píng)分越高意味著用戶(hù)越喜歡這部電影。兩個(gè)數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示(其中稠密度表示已有用戶(hù)-項(xiàng)目評(píng)分在所有用戶(hù)項(xiàng)目關(guān)系中的比值)，網(wǎng)絡(luò)模式如圖2所示。

表1 兩個(gè)數(shù)據(jù)集的統(tǒng)計(jì)信息

3.2 評(píng)價(jià)指標(biāo)

本文使用均方根誤差(RMSE)和平均絕對(duì)誤差(MAE)來(lái)衡量不同模型的推薦性能，RMSE和MAE的定義如下：

(14)

(15)

式中，Dtest是評(píng)分記錄的測(cè)試集。RMSE和MAE的值越小，推薦模型的性能越好。

3.3 對(duì)比算法

本文使用的對(duì)比算法如下：

(1)PMF[28]，這是一個(gè)經(jīng)典的概率矩陣分解模型，僅通過(guò)顯式地將評(píng)分矩陣分解為兩個(gè)低維矩陣來(lái)進(jìn)行推薦。

(2)RegSVD[4]，這是采用L2正則化的基本矩陣分解，僅使用用戶(hù)-項(xiàng)目評(píng)分矩陣進(jìn)行推薦。

(3)CDL[11]，它通過(guò)使用項(xiàng)目的輔助信息，集成了矩陣分解和深度特征學(xué)習(xí)來(lái)提高評(píng)分預(yù)測(cè)的準(zhǔn)確性。

(4)DCF[27]，它同時(shí)使用了用戶(hù)和項(xiàng)目的輔助信息，集成了矩陣分解和深度特征學(xué)習(xí)來(lái)提高評(píng)分預(yù)測(cè)的準(zhǔn)確性。

(5)HeteMF[29]，這是一種基于MF的推薦方法，利用HIN中的元路徑計(jì)算出實(shí)體之間的相似度。

(6)SemRec[30]，它是基于加權(quán)元路徑的推薦模型，通過(guò)元路徑的加權(quán)計(jì)算用戶(hù)相似度矩陣，并結(jié)合從不同元路徑獲得的結(jié)果進(jìn)行評(píng)分預(yù)測(cè)。

(7)NeuACF[31]，它先通過(guò)不同的元路徑分別提取用戶(hù)和項(xiàng)目的不同方面級(jí)的相似矩陣，然后將這些矩陣輸入深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面級(jí)潛在因子，最后融合方面級(jí)潛在因子進(jìn)行推薦。

PMF和RegSVD是傳統(tǒng)的基于矩陣分解的CF模型，僅使用了用戶(hù)-項(xiàng)目的歷史交互；CDL和DCF 在使用用戶(hù)-項(xiàng)目交互的基礎(chǔ)上，利用了用戶(hù)或者項(xiàng)目屬性充當(dāng)輔助信息與矩陣分解結(jié)合；HeteMF、SemRec、NeuACF使用了HIN充當(dāng)輔助信息，該類(lèi)輔助信息考慮了用戶(hù)、項(xiàng)目屬性之間的關(guān)系。

3.4 實(shí)驗(yàn)設(shè)置

對(duì)于兩個(gè)數(shù)據(jù)集所選擇的元路徑(見(jiàn)表2)，本文對(duì)不同的用戶(hù)和項(xiàng)目分別只選擇最多四步的短元路徑，因?yàn)樘L(zhǎng)的元路徑很可能會(huì)引入噪聲語(yǔ)義信息[30]。在HTCRec模型中，本文采用高斯分布隨機(jī)初始化模型參數(shù)，利用Adam優(yōu)化器對(duì)模型進(jìn)行優(yōu)化，設(shè)置批處理大小為256，學(xué)習(xí)率為0.001，正則化參數(shù)設(shè)置為λx=λy=1、λΘu=λΘi=0.005、λb=0.000 1和λβ=0.05。此外，抽樣的路徑實(shí)例數(shù)為5。所有方法的潛在因子的維度k=10。

表2 兩個(gè)數(shù)據(jù)集選擇的元路徑

3.5 實(shí)驗(yàn)結(jié)果分析

3.5.1 推薦模型性能的比較

為了比較不同數(shù)據(jù)稀疏度下的實(shí)驗(yàn)結(jié)果，本文對(duì)每個(gè)數(shù)據(jù)集進(jìn)行了隨機(jī)分割，分別選取其中80%、60%、40%、20%的數(shù)據(jù)用于訓(xùn)練，余下的20%、40%、60%、80%數(shù)據(jù)用于測(cè)試。每個(gè)比率都重復(fù)進(jìn)行5次實(shí)驗(yàn)，取5次測(cè)試的平均RMSE和MAE值，結(jié)果如表3所示。從表中可以看出：

(1)HTCRec模型的推薦性能始終優(yōu)于所有對(duì)比模型。這是因?yàn)镠TCRec模型采用了注意力機(jī)制和緊耦合的方式，利用了網(wǎng)絡(luò)的異構(gòu)信息來(lái)提高推薦性能。此外，在訓(xùn)練數(shù)據(jù)較少的情況下，該模型的優(yōu)勢(shì)更加明顯。例如，對(duì)于Douban數(shù)據(jù)集，相比于PMF模型，在訓(xùn)練數(shù)據(jù)為80%的情況下，HTCRec模型的RMSE提升了6%；而在訓(xùn)練數(shù)據(jù)為20%的情況下，HTCRec模型的RMSE提升了17%。

對(duì)于不同的數(shù)據(jù)集，Douban數(shù)據(jù)集的評(píng)分稀疏度比MovieLens 1m要高得多。在訓(xùn)練數(shù)據(jù)為20%的情況，在MovieLens 1m 數(shù)據(jù)集中， HTCRec模型的RMSE相對(duì)于PMF提升了5%，而在Douban數(shù)據(jù)集中，HTCRec模型的RMSE相對(duì)于PMF模型提升得更高。可見(jiàn)，在數(shù)據(jù)集稀疏度較高的情況下，本文提出的模型的優(yōu)越性更加顯著。這是因?yàn)橛?xùn)練數(shù)據(jù)越稀疏，通過(guò)矩陣分解部分和異構(gòu)信息特征提取部分的雙向交互，從輔助信息中學(xué)習(xí)的特征對(duì)稀疏評(píng)分?jǐn)?shù)據(jù)的影響越大，稀疏問(wèn)題解決得越明顯。

(2)基于HIN的HeteMF、SemRec、NeuACF和HTCRec模型的推薦性能優(yōu)于傳統(tǒng)的基于MF的PMF和RegSVD模型，也優(yōu)于沒(méi)有考慮屬性關(guān)系的CDL、DCF模型，這驗(yàn)證了異構(gòu)信息對(duì)于提高推薦模型性能的有效性。

(3)與同樣基于HIN的HeteMF、SemRec和NeuACF模型相比，HTCRec模型采用了一種更有效的方法來(lái)利用HIN改進(jìn)推薦系統(tǒng)，提供了更好的輔助信息提取方法。另外，在訓(xùn)練數(shù)據(jù)較少的情況下，HTCRec模型的優(yōu)越性更加顯著。例如，在訓(xùn)練數(shù)據(jù)為20%的情況下，在MovieLens 1m 數(shù)據(jù)集中，HTCRec模型的RMSE相比于SemRec模型提升了1.2%，而在評(píng)分稀疏度較高的Douban數(shù)據(jù)集中，HTCRec模型的RMSE相比于SemRec模型提升了9%?？梢?jiàn)，數(shù)據(jù)集稀疏度越高，HTCRec模型相對(duì)于對(duì)比模型的改進(jìn)率越高。

表3 8種模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

3.5.2 注意力機(jī)制和緊耦合對(duì)模型性能的影響

為了驗(yàn)證HTCRec模型中注意力機(jī)制和緊耦合方式的有效性，本文提出了HTCRec模型的兩種不同的變體HTCRec-tc(使用松耦合的方式進(jìn)行推薦)和HTCRec-att(僅僅使用傳統(tǒng)的元路徑聚合方法來(lái)獲得聚合元路徑的嵌入)。

HTCRec及其兩個(gè)變體HTCRec-tc、HTCRec-att在不同數(shù)據(jù)集上的預(yù)測(cè)結(jié)果如表4所示。對(duì)于緊耦合模型HTCRec，一方面評(píng)分信息可以指導(dǎo)HIN從用戶(hù)或項(xiàng)目的輔助信息中學(xué)習(xí)特征；另一方面，HIN從輔助信息中提取的特征可以進(jìn)一步提高潛在因子模型的預(yù)測(cè)能力。通過(guò)二者的雙向交互，模型HTCRec可以自動(dòng)地從輔助信息中學(xué)習(xí)特征，從而平衡評(píng)分和輔助信息之間的相互影響。例如，對(duì)于Douban數(shù)據(jù)集，在訓(xùn)練數(shù)據(jù)為20%的情況下，相比于HTCRec-tc模型，HTCRec模型的RMSE提升了1.6%。對(duì)于注意力機(jī)制，每個(gè)元路徑的重要性應(yīng)該依賴(lài)于特定的交互，而不能平等對(duì)待，忽略這種影響可能無(wú)法充分利用不同元路徑上的語(yǔ)義信息。實(shí)驗(yàn)結(jié)果表明，使用了注意力機(jī)制的模型能夠更好地利用聚合元路徑的嵌入進(jìn)行推薦。例如，對(duì)于Douban數(shù)據(jù)集，在訓(xùn)練數(shù)據(jù)為20%的情況下，相比于HTCRec-att模型，HTCRec模型的RMSE提升了2.2%。

表4 在兩個(gè)數(shù)據(jù)集上注意機(jī)制和緊耦合方式對(duì)3種模型性能的影響

3.5.3 每條元路徑的注意力權(quán)值

對(duì)于兩個(gè)實(shí)驗(yàn)數(shù)據(jù)集中給定的幾條元路徑，根據(jù)式(6)-(8)可以計(jì)算其注意力權(quán)值，得到MovieLens 1m數(shù)據(jù)集中元路徑UMUM、UMTM、UMDM、MUMU、MTMU、MDMU的注意力權(quán)值分別為0.30、0.48、0.22、0.21、0.55、0.24，Douban數(shù)據(jù)集中元路徑UGUM、UMUM、UMDM、UMTM、MAMU、MDMU、MTMU、MUMU的注意力權(quán)值分別為0.16、0.11、0.38、0.35、0.35、0.12、0.38、0.15 。可以看出，每條元路徑的注意力權(quán)值各不相同。這說(shuō)明獲取用戶(hù)或者項(xiàng)目的輔助信息嵌入表示時(shí)，需要考慮每條元路徑的不同貢獻(xiàn)程度，也證明了本文模型利用注意力機(jī)制聚合元路徑的合理性。

3.5.4 不同元路徑對(duì)模型的影響

為了進(jìn)一步分析不同元路徑對(duì)推薦性能的影響，本實(shí)驗(yàn)逐步將這些元路徑合并到所提出的推薦模型HTCRec中，并檢查推薦模型的性能變化，結(jié)果如圖5所示。從圖中可以看出，HTCRec模型的推薦性能總體上隨著元路徑的加入而提高，以用戶(hù)類(lèi)型和項(xiàng)目類(lèi)型開(kāi)始的元路徑都有助于提高模型的推薦性能。同時(shí)，不同的元路徑對(duì)推薦性能有著不同的影響。從圖5中還可以發(fā)現(xiàn)，當(dāng)添加UMTM或MTMU時(shí)，HTCRec模型在兩個(gè)數(shù)據(jù)集上的評(píng)分預(yù)測(cè)性能有了明顯的提升，3.5.3節(jié)給出了不同元路徑的權(quán)值，這里可以看出，不同元路徑的權(quán)值會(huì)導(dǎo)致不同的實(shí)驗(yàn)結(jié)果，元路徑權(quán)值越大，對(duì)模型性能的影響越大。但是，使用更多的元路徑并不能一直帶來(lái)推薦效果的改進(jìn)，而且性能略有波動(dòng)，其原因是一些元路徑可能包含有噪聲或與現(xiàn)有元路徑?jīng)_突的信息。另外，只要合并少量元數(shù)據(jù)，模型就可以快速獲得相對(duì)較好的評(píng)分預(yù)測(cè)性能。這也證實(shí)了之前的發(fā)現(xiàn)[14]：少量高質(zhì)量的元路徑能夠帶來(lái)較大的性能改進(jìn)。因此，如前所述，可以通過(guò)選擇一些有效的元路徑來(lái)控制模型的復(fù)雜性。

圖5 逐漸添加元路徑時(shí)HTCRec模型的RMSE值的變化

3.5.5 正則化參數(shù)對(duì)模型的影響

本文將正則化參數(shù)λx和λy的值分別從0.1開(kāi)始變化到10，然后觀察在MovieLens 1m數(shù)據(jù)集上HTCRec模型的RMSE值的變化：當(dāng)λx分別取0.1、0.5、1.0、10.0時(shí)，HTCRec模型的RMSE分別為0.873 9、0.869 1、0.852 1、0.856 3；當(dāng)λy分別取0.1、0.5、1.0、10.0時(shí)，HTCRec模型的RMSE分別為0.881 1、0.872 5、0.852 1、0.853 3。可以看出，當(dāng)λx或者λy為1時(shí)，評(píng)分預(yù)測(cè)的性能達(dá)到較為理想的水平。

3.5.6 潛在因子的個(gè)數(shù)對(duì)模型的影響

對(duì)于基于矩陣分解的方法，一個(gè)重要的參數(shù)是潛在因子的個(gè)數(shù)。當(dāng)潛在因子個(gè)數(shù)取5、10、20、30、40時(shí)， HTCRec模型在MovieLens 1m數(shù)據(jù)集上的RMSE值分別為0.860 3、0.859 9、0.854 7、0.865 3，在Douban數(shù)據(jù)集上的RMSE值分別為0.721 3、0.715 8、0.717 5、0.735 1?？梢钥闯觯瑵撛谝蜃觽€(gè)數(shù)為10時(shí)可以獲得最好的推薦性能，這表明潛在因子個(gè)數(shù)應(yīng)該設(shè)置為一個(gè)較小的數(shù)字。

4 結(jié)語(yǔ)

本文提出了基于異構(gòu)信息網(wǎng)絡(luò)的具有注意力機(jī)制的深度緊耦合推薦模型HTCRec，有效地利用了HIN中的輔助信息進(jìn)行推薦。該模型首先利用評(píng)分矩陣的矩陣分解獲得用戶(hù)和項(xiàng)目的潛在向量，然后基于注意力機(jī)制調(diào)用并聚合元路徑及其路徑實(shí)例，將目標(biāo)用戶(hù)或項(xiàng)目的輔助信息用各自的聚合元路徑的嵌入進(jìn)行表示，最后通過(guò)顯式地將元路徑合并到緊耦合交互模型中來(lái)完成評(píng)分預(yù)測(cè)任務(wù)。實(shí)驗(yàn)結(jié)果表明， HTCRec模型較其他常用推薦模型具有更好的推薦性能，有效地緩解了數(shù)據(jù)稀疏問(wèn)題。本文中元路徑的選擇是手動(dòng)設(shè)置的，今后可以考慮開(kāi)發(fā)一種更有效的方法來(lái)自動(dòng)選擇HIN中的最優(yōu)元路徑，或者進(jìn)一步考慮如何處理HIN中更復(fù)雜的結(jié)構(gòu)模式，如元圖。