許榮海, 王昌棟

中山大學(xué) 計算機學(xué)院, 廣州 中國510000

1 引言

1.1 選題背景及意義

互聯(lián)網(wǎng)爆炸式增長的今天, 在電商鄰域[1], 淘寶、京東等電商平臺擁有數(shù)以億計的商品數(shù)目, 每日上千萬的用戶級流量。在社交網(wǎng)絡(luò)領(lǐng)域, 新浪微博坐擁千萬級日活量, 知乎作為新興的知識型社區(qū)總回答數(shù)也過億。這些新型的平臺極大地改變了傳統(tǒng)的信息傳遞方式[2], 使得信息能夠即時共享, 用戶與他人與世界能夠更加高效地交互、作用、影響。

然而, 面對海量的信息, 一方面用戶逐漸提高了對信息準(zhǔn)確性和有效性的要求, 一方面卻日益難以獲取到自己真正需要的信息。在信息爆炸的時代,如何從龐大的數(shù)據(jù)中獲取不同用戶所需的有效信息成了一個重要的問題。而個性化推薦算法可以有效地緩解此類問題[3]。推薦算法本質(zhì)在做的是挖掘不同用戶的不同喜好, 基于用戶的偏好來推薦信息。這個信息可以是某一商品信息, 也可以是某一條微博包含的文本信息, 也可以是好友推薦的用戶信息。推薦算法過濾掉大部分無效信息, 留下少量用戶可能感興趣的內(nèi)容, 在這一意義上, 推薦算法在應(yīng)用層面改變了信息的傳遞方式。

然而, 基于過去的方法, 我們?nèi)匀幻媾R著許多挑戰(zhàn)[4]。如常見的由數(shù)據(jù)稀疏帶來的冷啟動問題[5]。商品的信息是龐大的, 但新用戶卻缺乏歷史購物數(shù)據(jù), 使得推薦的誤差極大。為了應(yīng)對這一問題, 許多方法加入了輔助信息進(jìn)行緩解。新用戶雖然缺乏購物信息, 通過考慮用戶年齡段、性別、職業(yè)、興趣、好友等輔助信息能較好地應(yīng)對冷啟動問題。對這類輔助信息, 異構(gòu)信息網(wǎng)絡(luò)[6]相比同構(gòu)網(wǎng)絡(luò)能夠存儲更加豐富的語義特征。

此外, 深度學(xué)習(xí)在推薦系統(tǒng)取得了不錯的成果[7]?；谏窠?jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型一般是深層非線性結(jié)構(gòu)的。能夠自動地學(xué)習(xí)不同的多維的異構(gòu)數(shù)據(jù),深度地挖掘其中的特征。從而緩解了數(shù)據(jù)稀疏的問題?；诖? 本文將結(jié)合異構(gòu)信息網(wǎng)絡(luò)和深度學(xué)習(xí)的方法, 提出新的推薦模型, 以此緩解數(shù)據(jù)稀疏問題。

1.2 國內(nèi)外研究現(xiàn)狀和相關(guān)工作

協(xié)同過濾算法[8], 有分為基于用戶[9]的協(xié)同過濾和基于物品[10]的協(xié)同過濾方法。其主要思想是基于鄰域考慮用戶對商品偏好的關(guān)聯(lián)性?；谖锲返姆椒?item-based)考慮相似度高的物品做推薦, 基于用戶的方法(user-based)考慮相似度高的用戶的物品做推薦。這一類方法由于只考慮了領(lǐng)域間的信息傳遞,導(dǎo)致泛化能力較差。

另一種基于矩陣分解(matrix factorization, MF)[11]的方法很好地解決了這一問題, 矩陣分解方法將用戶和物品映射到同一維度的向量空間中。但矩陣分解只考慮了二維的用戶評分信息, 在用戶評分較少時, 無法很好地應(yīng)對數(shù)據(jù)稀疏的問題。

近年來, 深度神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域都有了很成功的應(yīng)用[12]。在推薦系統(tǒng)領(lǐng)域中, He 等[13]提出了NCF 模型, 用MLP 代替了MF 中的點積操作, 同時融合了改進(jìn)的矩陣分解方法, 增強了泛化能力。Deng等提出的DeepCF[14],將協(xié)同過濾算法分為表征學(xué)習(xí)過程和融合學(xué)習(xí)過程, 結(jié)合MLP 提出的CFnet, 提高了推薦的準(zhǔn)確率。

在輔助信息方面, 異構(gòu)信息網(wǎng)絡(luò)(heterogeneous information network , HIN)[15]是包含多種類型的節(jié)點和邊的圖?；诖水a(chǎn)生了許多基于異構(gòu)信息網(wǎng)絡(luò)的推薦模型。這類模型的一個基本思想是基于元路徑(meta-path)產(chǎn)生路徑實例。通過路徑本身包含的語義信息, 可以計算出用戶, 物品間相似性, 以此作推薦。Sun 等[15], 提出新的基于路徑的相似度計算方式(path-sim), 做top-k 推薦。Yu 等[16], 通過不同元路徑,建立用戶和物品的不同關(guān)聯(lián)性矩陣, 在結(jié)合傳統(tǒng)的矩陣分解做推薦。Shi 等[17], 通過不同路徑提取出用戶序列和物品序列, 通過序列訓(xùn)練生成用戶和物品的表征, 在通過融合方程做預(yù)測。以上方法多致力于結(jié)合異構(gòu)信息網(wǎng)絡(luò)的輔助信息到推薦中。但依然存在挑戰(zhàn), 路徑的語義如何與推薦關(guān)聯(lián), 在提高準(zhǔn)確性的同時導(dǎo)致的可解釋性丟失的問題, 以及如何利用異構(gòu)信息網(wǎng)絡(luò)充分地挖掘用戶的偏好特征等等問題。

在矩陣分解的基礎(chǔ)上, 為了考慮更高維度的特征, 在推薦系統(tǒng)中也有結(jié)合張量分解的模型[18]。例如加入標(biāo)簽信息[19], 文本信息等等。但這類方法都是直接加入顯性的輔助信息, 進(jìn)行張量分解, 相比傳統(tǒng)矩陣分解的提升有限。本文考慮結(jié)合異構(gòu)信息網(wǎng)絡(luò)具有豐富語義的優(yōu)勢, 通過元路徑做信息的提取。相比常見的基于標(biāo)簽的張量分解方法更好地利用了輔助信息。

1.3 主要貢獻(xiàn)

1) 提出基于張量分解方法(Tensor Decomposition)和異構(gòu)信息網(wǎng)絡(luò)(heterogeneous information network)的深度學(xué)習(xí)推薦算法。主要分為三個階段: 首先根據(jù)數(shù)據(jù)集建立對應(yīng)的異構(gòu)信息網(wǎng)絡(luò), 并提取出元路徑信息; 隨后通過張量分解算法將用戶、物品、元路徑映射到同維度的隱語義向量空間中; 最終結(jié)合深度協(xié)同過濾算法, 將前一步得到的隱語義向量作為輸入, 增強了模型的精確度。

2) 將張量分解得到的隱語義向量作為深度神經(jīng)網(wǎng)絡(luò)的輸入層的初始化, 參考DeepCF[14]的雙塔模式,一部分做表征學(xué)習(xí)、一部分做匹配學(xué)習(xí), 通過多層感知機(MLP)增強泛化能力。考慮到不同用戶對不同元路徑的關(guān)聯(lián)性偏好不同, 融入注意力機制(attention mechanism), 學(xué)習(xí)不同用戶、物品, 與不同元路徑的偏好權(quán)重。

3) 使用movielens, douban movie 和Amazon 數(shù)據(jù)集進(jìn)行訓(xùn)練和測試, 與其他推薦算法做多組不同指標(biāo)的對比試驗, 本文提出的hin-dcf 模型有了張量分解的嵌入向量初始化后, 模型的精確度和收斂速度皆有效提升, 并且在數(shù)據(jù)稀疏情況下更好地應(yīng)對了數(shù)據(jù)稀疏的問題。

2 預(yù)備知識

2.1 異構(gòu)信息網(wǎng)絡(luò)

例一: 圖1 列舉了異構(gòu)信息網(wǎng)絡(luò)(Hin)的例子。該Hin 為電影場景下的網(wǎng)絡(luò)圖, 包含五類節(jié)點類型,分別是用戶user(u)、電影movie(m)、導(dǎo)演director(d)、小組group(g)、電影類型type(t)。每個節(jié)點表示某一結(jié)點類型的實例, 如圖中u1特指某一用戶、t1特指某一電影類型(如恐怖電影類型)。Hin 中的邊的意義是直觀的, 如邊類型u-g, 表示用戶加入了該小組; 邊類型u-m, 表示用戶看過該電影并給出評分。

圖1 HIN 異構(gòu)信息網(wǎng)絡(luò)的實例以及基于元路徑建立張量的思路Figure 1 Example of heterogeneous information network and the idea of building a tensor based on meta-paths

例二: 圖1為(a)的網(wǎng)絡(luò)模式, 網(wǎng)絡(luò)模式可以簡單理解為包含所有節(jié)點類型和邊類型的最小圖結(jié)構(gòu)。相反, 根據(jù)網(wǎng)絡(luò)模式我們也可以生成一個新的異構(gòu)信息網(wǎng)絡(luò)。

例三: 基于圖1(b)的網(wǎng)絡(luò)模式, 我們能生成很多不同的元路徑(meta-path)。對于推薦問題, 將元路徑的長度限制在4, 且頭節(jié)點為用戶類型, 尾節(jié)點為電影類型。如UMUM, UMDM, UMTM, UGUM。這些元路徑包含了各自特定的語義, 例如UMUM表示聯(lián)系建立在看過共同電影的用戶上?；谶@些語義能夠在推薦的可解釋上發(fā)揮一定的作用。以圖1(c)為例子,基于元路徑(meta-path)在用戶u1和電影m3間能建立多條路徑關(guān)系。例如圖中的u1-m1-u2-m3屬于UMUM, 還有u1-g1-u2-m3、u1-m2-d1-m3、u1-m2-t1-m3, 分別屬于不同的元路徑。

例四:在圖1(a)中, 用戶u1和電影m1以及電影m2之間有U-M的邊類型, 即這兩部電影被評分了。而用戶u1未曾給過電影m3評分。推薦系統(tǒng)的目標(biāo)為,判斷用戶u1和電影m3建立連邊的可能性。

2.2 CP 張量分解

張量分解的一種主流方法是CP 分解[20](Canonical Polyadic Decomposition)。CP 分解已在信號處理、圖像處理、降噪等方面有了廣泛的應(yīng)用。本文考慮采用三維的CP張量分解提取前文提到的基于元路徑的張量矩陣中的用戶隱藏的輔助信息和物品的隱藏的輔助信息。CP 分解的分解形似如下:

X ?RN×M×P,ai?RN×1×1,bi?R1×M×1,ci?R1×1×P

即對X分解得到長度為r的隱語義向量(latent factors),其中ai、bi、ci分別表示CP 分解得到的對應(yīng)維度的向量。

2.3 基于張量分解提取隱語義

建立張量X ?RN×M×P, 其中 Xi,j,k表示用戶ui與物品mj之間在建立的異構(gòu)信息網(wǎng)絡(luò)中元路徑 pk的數(shù)量。用戶的數(shù)量為N, 物品的數(shù)量為M, 元路徑的數(shù)量為P。

經(jīng)過R階CP 分解后, 對每個用戶i, 物品j和元路徑k 都得到一個長度為r 的隱語義向量, 分別為ui,mj,pk。如圖1(d)所示。且有:

其中ui,r表示向量ui的第r個位置的數(shù)值。mj,r與pk,r同理。

2.4 張量分解損失函數(shù)

R階張量分解的損失函數(shù)為實際張量的值與近似張量值得平方誤差。為了防止過擬合現(xiàn)象, 加入正則化項。損失函數(shù)如下:

其中, λ表示正則化項的系數(shù), ‖…‖F(xiàn)表示F范數(shù)。

本文將會把這三種基于線性關(guān)系的隱語義向量作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入, 以此捕獲更多的信息。

表1 主要的符號及其意義Table 1 The main symbols and their meanings

3 提出的模型

在這一部分, 我們將提出基于異構(gòu)信息網(wǎng)絡(luò)中元路徑作張量分解的深度神經(jīng)網(wǎng)絡(luò)推薦算法hin-dcf。主要分為兩部分: 首先基于hin 元路徑信息做張量分解, 生成用戶、物品、元路徑的隱語義向量作為embedding。其次, 將該embedding 作為輸入, 結(jié)合當(dāng)前的流行的深度神經(jīng)網(wǎng)絡(luò)推薦模型, 采用雙塔結(jié)構(gòu),兼顧表征學(xué)習(xí)和匹配學(xué)習(xí)[19]。同時, 結(jié)合MLP 與基于元路徑的注意力機制, 提高了模型的預(yù)測準(zhǔn)確率。

3.1 基于元路徑建立張量

3.1.1 基于元路徑建立用戶-物品的關(guān)聯(lián)性矩陣

上文中已經(jīng)提到元路徑以及路徑的定義和相關(guān)例子, 接下來, 將基于此建立能夠表達(dá)用戶和物品間關(guān)聯(lián)度的矩陣Y。參考圖1, 對特定的元路徑, 如UMUM, 尋找用戶u1到物品m3間所有的屬于該元路徑的路徑。例如u1-m1-u2-m3, 顯然這樣的路徑,表達(dá)了用戶u1和物品m3的一種正向關(guān)聯(lián)性, 因為購買相同物品的人更可能有相同的偏好, 并且這種關(guān)聯(lián)是顯示語義的, 具有直接的可解釋性。直觀地, 這樣的路徑數(shù)目越多, 物品m3就具有更高的可能性滿足用戶u1的喜好, 同時該物品也更可能與用戶u1購買過的歷史物品具有更高的相似性。此外, 路徑反應(yīng)用戶和物品的關(guān)系程度也與元路徑本身直接相關(guān)。因此, 對于元路徑pk, 可以建立用戶與物品的關(guān)聯(lián)性矩陣Ypk。

特別地, 對于長度為1 的元路徑, 如UG, 當(dāng)ui-gj?E時Y=1, 否則為0。其中Y表示矩陣Ypk第i行、第j列的取值。

3.1.2 關(guān)聯(lián)性矩陣的遞歸生成

如上文, 對長度為1 的元路徑, 生產(chǎn)關(guān)聯(lián)矩陣的方法是簡單的。參考圖2, 對于長度大于1 的情況,可以基于更短的元路徑的關(guān)聯(lián)性矩陣遞歸的生成。例如對元路徑UGUM, 可以通過如下矩陣乘法遞歸生成:

圖2 基于元路徑建立關(guān)聯(lián)性矩陣及張量Figure 2 Establishing correlation matrix and tensor based on meta-path

3.1.3 建立張量

參考圖2, 本文只考慮用戶和物品間的關(guān)系, 因此只選取的頭節(jié)點為用戶尾節(jié)點為物品的元路徑,即U…M。選取P條元路徑, 分別為p1,p2,…,pP。基于此可以建立P個不同的關(guān)聯(lián)性矩陣, 考慮到不同元路徑生成的關(guān)聯(lián)性矩陣數(shù)值范圍差別很大, 可能導(dǎo)致接下來的張量分解中有效信息的損失, 因此在建立張量前, 對每個關(guān)聯(lián)性矩陣進(jìn)行標(biāo)準(zhǔn)化處理。參考圖2,最后將這P個關(guān)聯(lián)性矩陣進(jìn)行合并得到張量X:

3.2 嵌入層(embedding)的初始化

將張量分解得到用戶、物品和元路徑的隱語義向量作為hin-dcf 模型的embedding 層?；贑P 分解后, 這些表征向量在同一向量空間中, 并且是線性關(guān)系的, 可以直接通過點積反映其關(guān)聯(lián)程度。同時,更為重要的是, 由于張量是基于元路徑建立的, 分解得到的表征向量本質(zhì)上反映的是用戶和物品間的路徑的關(guān)系, 并不能直接用于推薦問題里的評分預(yù)測。另一方面它又包含了許多hin 的重要信息以及用戶的評分偏好信息?；诖? 本文直接將其作為hin-dcf 模型的embedding 的初始化, 通過后續(xù)的表征學(xué)習(xí)過程和匹配學(xué)習(xí)過程, 使其更加適應(yīng)于推薦問題。

3.3 基于元路徑的注意力機制(attention mechanism)

不同用戶有不同的喜好模式, 例如某一用戶可能會更關(guān)注相同興趣小組成員看過的電影, 而其他用戶可能更偏向于看同一導(dǎo)演的系列作品, 或者偏愛于喜劇類型電影。而這樣的喜好模式恰好是元路徑所表達(dá)的, 基于不同的用戶有不同的喜好模式的假設(shè), 本文提出新的基于元路徑的注意力機制, 以此挖掘出不同的偏好模式信息。

用戶、物品、元路徑張量X經(jīng)過CP 分解后分別得到用戶、物品、元路徑的隱語義向量ui,mj,pk。參考圖3 的注意力機制部分, 考慮不同的用戶、物品對,存在更傾向于某一喜好模式(元路徑)的情況。本文通過不同的(用戶, 物品, 元路徑)三元組, 學(xué)習(xí)不同元路徑的權(quán)重。采用兩層的網(wǎng)絡(luò)結(jié)構(gòu)做注意力機制:

圖3 基于異構(gòu)信息網(wǎng)絡(luò)元路徑注意力機制的深度學(xué)習(xí)推薦系統(tǒng) hin-dcfFigure 3 Deep learning recommendation system based on meta-path attention mechanism of heterogeneous information network hin-dcf

最終,將得到的注意力權(quán)重系數(shù)通過softmax 函數(shù)進(jìn)行歸一化。得到的權(quán)重可以理解為, 不同元路徑與同一用戶、物品對的關(guān)聯(lián)程度。表示合并向量。

其中, wi,j,k表示元路徑k對于用戶i、物品j的權(quán)重系數(shù)。

通過注意力權(quán)重系數(shù), 可以聚合得到總的元路徑embedding 向量p。通過簡單地加權(quán)求和得到:

3.4 基于表征學(xué)習(xí)方法

參考圖3, 本文提出了結(jié)合元路徑的表征學(xué)習(xí)過程(presentation learning)。對用戶和物品, 采用one-hot 向量輸入進(jìn)預(yù)先初始化的embedding 層, 得到對應(yīng)的表征向量。對于元路徑, 通過基于元路徑的注意力機制, 我們學(xué)得元路徑的融合向量。在本文,我們采用多層感知機[21](MLP)作為表征學(xué)習(xí)函數(shù),學(xué)習(xí)用戶、物品、元路徑的非線性信息。因此, 表征學(xué)習(xí)過程的定義如下:

用同樣的表征學(xué)習(xí)方法, 可以得到mj和pk的表征向量mj*, pk*:

3.5 基于匹配學(xué)習(xí)方法

參考圖2, 本文提出了結(jié)合元路徑的匹配學(xué)習(xí)過程(interaction learning)?；谄ヅ鋵W(xué)習(xí)的方法更側(cè)重學(xué)習(xí)用戶、物品、元路徑的匹配融合過程。本文先合并用戶i、物品j的張量分解得到的嵌入表征向量,以及基于注意力機制得到的元路徑的融合向量。通過多層感知機(MLP)學(xué)習(xí)三者間的匹配過程。具體過程如下:

3.6 結(jié)合表征學(xué)習(xí)與匹配學(xué)習(xí)

表征學(xué)習(xí)更好地學(xué)習(xí)用戶的表征向量, 而匹配學(xué)習(xí)更深刻地挖掘了用戶、物品、元路徑三元組間的融合方式, 將結(jié)合這兩種方法, 使得模型同時擁有這兩個學(xué)習(xí)過程的優(yōu)勢。

其中Wout為權(quán)重矩陣,為表征學(xué)習(xí)方法中用戶、物品、元路徑三者間元素積得到的向量,為匹配學(xué)習(xí)方法中倒數(shù)第二層得到的向量, 即aY。通過全連接層和激活函數(shù)最終學(xué)習(xí)用戶i對物品j的預(yù)測評分。

3.7 目標(biāo)函數(shù)

在點對點(point-wise)的推薦模型中, 以及顯示反饋信息的情況下, 假設(shè)評分服從正態(tài)分布, 可以采用經(jīng)典的均方誤差(MSE)作為損失函數(shù):

在隱式反饋的情況下, 由于沒有顯示的評分信息, 只有隱式的反饋, 例如是否有點擊等。這樣的反饋服從0-1 的二項分布。更適合采用交叉熵作為損失函數(shù):

4 實驗部分

4.1 實驗設(shè)置

4.1.1 實驗數(shù)據(jù)集

本文采用了幾個常用的測試數(shù)據(jù)集①https://github.com/librahu/HIN-Datasets-for-Recommendation-and-Network-Embedding。其中Movielens 為電影數(shù)據(jù)集, 包含了用戶對電影的評分、用戶年齡、職業(yè)等相關(guān)信息。還有關(guān)于豆瓣的數(shù)據(jù)集, 豆瓣是國內(nèi)最大的評分網(wǎng)站之一, 因此具有較高的實際意義,相比Movielens數(shù)據(jù)集, 該數(shù)據(jù)集包含了更有意義的群組信息, 加入相同小組的用戶具有相同的興趣。亞馬遜(Amazon)數(shù)據(jù)集, 包含商品的品牌、類型等信息。關(guān)于實驗數(shù)據(jù)集具體的細(xì)節(jié)可以看表2 。

表2 實驗數(shù)據(jù)集Table 2 Datasets

“#A”和“#B”一列表示分別表示A 類型和B類型節(jié)點的數(shù)量?！?A-B”表示AB 間交互的數(shù)量。例如, 對于每個數(shù)據(jù)集的第一行, 分別表示了用戶數(shù)量、物品數(shù)量和用戶物品間交互數(shù)量。由表3, 展示了在不同數(shù)據(jù)集中選取的元路徑?？紤]到計算的復(fù)雜度, 本文只選取了長度為三的元路徑。因為元路徑越長, 所表達(dá)的用戶和物品間的關(guān)聯(lián)性越弱, 也就包含了更多的無用的噪音語義信息。為了避免這一問題, 采用限制元路徑的長度的方法。

表3 元路徑Table 3 Meta-path

以Movielens 數(shù)據(jù)集為例, A表示不同年齡段,UAUM表示反映了相同年齡段電影喜好的元路徑。O表示職業(yè)類型, UOUM表示反映了相同職業(yè)類型電影喜好的元路徑。

4.1.2 評估方法

在本文的實驗部分中, 由于數(shù)據(jù)集為有評分?jǐn)?shù)據(jù), 所以屬于顯式反饋記錄。本文采用常見的均方根誤差(RMSE)和平均絕對誤差(MAE)來評價模型誤差。其數(shù)值越小, 表示模型越精確, 預(yù)測效果越好。具體公式如下:

其中, D表示測試集數(shù)據(jù)。

4.1.3 對比方法

NeuCF:ncf[13]是第一個將神經(jīng)網(wǎng)絡(luò)應(yīng)用到協(xié)同過濾上的方法。模型分為廣義的矩陣分解方法和基于MLP 的模塊。

DCF:dcf[14]是在2019 年, 提出的基于協(xié)同過濾分為表征學(xué)習(xí)過程和匹配學(xué)習(xí)過程的方法。也是本文所學(xué)習(xí)的思路。

DMF:dmf[22]將傳統(tǒng)的矩陣分解方法融合神經(jīng)網(wǎng)絡(luò), 大大提升了模型的泛化能力。

Hin-dcf:hin-dcf 是本文提出的模型。

4.1.4 實現(xiàn)細(xì)節(jié)

CP 張量分解部分采用python 的tensorly 庫[23]來實現(xiàn)。hin-dcf 模型基于python 的torch[24]深度學(xué)習(xí)庫實現(xiàn)的。具體地, 模型參數(shù)的初始化采用正態(tài)分布,優(yōu)化部分采用Adam[25](Adaptive Moment Estimation)方法。而訓(xùn)練的batch 大小設(shè)置為256。學(xué)習(xí)率設(shè)置為0.001。

為了保證訓(xùn)練的公平性, 生成元路徑的數(shù)據(jù)只考慮了訓(xùn)練集, 元路徑的數(shù)量和類型見表3。其中大寫字母對應(yīng)表2 中關(guān)系一列的首字母。

4.1.5 實驗結(jié)果

實驗的對比結(jié)果參考表4。主要的結(jié)論如下:

表4 實驗結(jié)果Table 4 Experimental result

在三個數(shù)據(jù)集中, 實驗結(jié)果大部分都是hin-dcf最佳, 除了movielens 80%略差于dmf 模型。這一結(jié)果證明了在加入異構(gòu)信息網(wǎng)絡(luò)中元路徑的hin-dcf 模型在推薦問題上準(zhǔn)確度有了提升。

本次實驗將對比了不同訓(xùn)練比例(training rate即訓(xùn)練集占總評分?jǐn)?shù)據(jù)集的比例)下, 模型的準(zhǔn)確率。顯然的, 在降低訓(xùn)練集的同時, 模型的準(zhǔn)確率會下降。參考圖5,在movielens 和Amazon 這兩個數(shù)據(jù)集上, 隨著訓(xùn)練比例的下降, hin-dcf 的準(zhǔn)確率下降是最平緩的, 說明在數(shù)據(jù)集越稀疏的情況下(較低的訓(xùn)練比例下), 模型發(fā)揮的作用是相對穩(wěn)定且有效的。

圖5 不同訓(xùn)練比例下MAE 的變化Figure 5 MAE in different training ratios

關(guān)于可解釋的實例分析: 為了直觀地演示hin-dcf 基于元路徑注意力機制的可解釋方法。參考圖4, 本文隨機從douban-movies 測試集中選取用戶電影做分析,訓(xùn)練比例為80%。圖4 中的條形統(tǒng)計圖展現(xiàn)了用戶10572 與電影437 和電影4913 分別的注意力權(quán)重。對電影437, 注意力權(quán)重最高的是UMUM元路徑。表明這次推薦主要是基于看過相同電影的用戶來作推薦。對電影4913, 注意力權(quán)重最高的是UGUM,表示這次推薦主要基于共同興趣小組作推薦。我們可以看出, hin-dcf 模型可以對推薦的結(jié)果基于元路徑做一定的可解釋。

圖4 基于元路徑注意力機制做可解釋的例子Figure 4 An interpretable example based on the meta-path attention mechanism

參考圖6, 在不改變模型結(jié)構(gòu)的條件下, 有無隱語義向量作為初始化的模型在預(yù)測誤差(MAE)上的表現(xiàn)差異是明顯的。原模型hin-dcf 隨著訓(xùn)練比例地增大, 準(zhǔn)確率同時穩(wěn)定地增大。而采用隨機初始化表征向量的對比模型, 準(zhǔn)確率下降很大, 并且在四個不同訓(xùn)練比例下的表現(xiàn)也波動較大。其中在訓(xùn)練比例為40%時, 隨機模型的MAE 為1.273 相比比hin-dcf 的MAE 為0.554 高了129.8%。在沒有張量分解得到的隱語義向量作為初始化的模型表現(xiàn)是糟糕的, 說明了嵌入層的初始化過程在hin-dcf 中的有效性。

圖6 有無隱語義向量初始化模型的MAE 誤差的對比圖Figure 6 MAE comparison of models with or without latent factor initialization in different training ratios

為了驗證結(jié)合表征學(xué)習(xí)方法和匹配學(xué)習(xí)方法能夠提升模型性能, 參考圖7, 本文將hin-dcf 與單獨的表征學(xué)習(xí)模型和匹配學(xué)習(xí)模型在不同數(shù)據(jù)集上的表現(xiàn)進(jìn)行對比。hin-dcf 在所有數(shù)據(jù)集中都表現(xiàn)最佳。其中在movielens 數(shù)據(jù)集中, 匹配學(xué)習(xí)模型的MAE比hin-dcf 比提升了2.3%。

圖7 表征學(xué)習(xí)模型和匹配學(xué)習(xí)模型和hin-dcf 在不同數(shù)據(jù)集上的MAE 對比圖Figure 7 MAE comparison of representation learning model and interaction learning model and hin-dcf in different datasets

參考圖8, 本文考慮了是否加入注意力機制對模型影響的對比實驗。其中, 為了控制變量, 無注意力機制模型對不同的元路徑的隱語義向量采用相同權(quán)重的加權(quán)聚合。而加入注意力機制的模型則通過注意力機制學(xué)習(xí)不同元路徑的權(quán)重。在不同數(shù)據(jù)集中, 加入注意力機制后模型的準(zhǔn)確率皆有了提升。

圖8 有無注意力機制模型在不同數(shù)據(jù)集上的MAE 對比圖Figure 8 Comparison of models with or without attention mechanism on different datasets

4.2 結(jié)論

本文研究了一種結(jié)合張量分解方法和異構(gòu)信息網(wǎng)絡(luò)中路徑信息的深度學(xué)習(xí)推薦模型。將用戶、物品、元路徑映射到相同維度的隱語義向量空間中的。且將分解得到的隱語義向量作為深度神經(jīng)網(wǎng)絡(luò)的輸入的初始化, 采用雙塔的學(xué)習(xí)模式, 一部分做表征學(xué)習(xí)、一部分做匹配學(xué)習(xí)?？紤]到不同用戶有不同的喜好模式, 即對不同元路徑的偏好不同, 本文融入基于元路徑的注意力機制, 學(xué)習(xí)不同元路徑的偏好權(quán)重。同時基于元路徑的注意力權(quán)重可以在推薦過程中做一定的可解釋。在實驗部分, 與其他流行的推薦算法做多組不同指標(biāo)的對比試驗, hin-dcf 模型的精確度和收斂速度皆有效提升, 并且能夠更好地應(yīng)對數(shù)據(jù)集稀疏的問題。

本文討論的方法結(jié)合了異構(gòu)信息網(wǎng)絡(luò), 是在網(wǎng)絡(luò)信息不缺失的情況下的研究。然而現(xiàn)實中信息的很難完整地獲取, 需要進(jìn)一步研究在異構(gòu)信息網(wǎng)絡(luò)缺失部分信息的情況下, 如何更好地應(yīng)對數(shù)據(jù)集稀疏的問題。