高宸 李勇 金德鵬

摘要：提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的視頻推薦模型，將用戶的視頻觀看序列型行為建模為圖結(jié)構(gòu)，用結(jié)點(diǎn)代表用戶與視頻，用邊代表行為，引入兩種類型的向量傳播方法分別對(duì)用戶的長(zhǎng)期興趣與短時(shí)興趣進(jìn)行建模。其中，通過(guò)用戶結(jié)點(diǎn)與視頻結(jié)點(diǎn)的雙向傳播刻畫(huà)長(zhǎng)期興趣，借助視頻結(jié)點(diǎn)切換關(guān)系的單向傳播刻畫(huà)短時(shí)興趣，并通過(guò)多層向量傳播實(shí)現(xiàn)對(duì)圖上高階鄰接信息的捕捉。在一個(gè)真實(shí)世界的視頻網(wǎng)站觀看數(shù)據(jù)集上的實(shí)驗(yàn)表明，提出的方法與現(xiàn)有最佳方法相比，其推薦精準(zhǔn)度得到了有效提升。進(jìn)一步的實(shí)驗(yàn)表明，該方法能夠有效緩解數(shù)據(jù)稀疏性的問(wèn)題。

關(guān)鍵詞：視頻推薦系統(tǒng)；用戶興趣建模；圖神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

Abstract： A novel recommendation model with graph neural networks is proposed. Userssequential video-watching behaviors are first constructed as a graph， which represents users and videos as nodes， and behaviors as edges. Then two kinds of embedding propagation methods are introduced for capturing userslong-term and short-term preferences， respectively. Specifically， a user-item bi-directional embedding propagation layer is used for capturing long-term preferences while an item-item embedding propagation layer for capturing short-term preferences. Moreover， the multi-layer propagation is proposed to extract high-order connectivity. Experiments on a real-world video-watching dataset verify that the proposed method can outperform the state-of-the-art methods. Further experiments demonstrate that the proposed method can effectively alleviate the data sparsity issue.

Keywords： video recommender system； user preference modeling； graph neural network； deep learning

在信息超載時(shí)代，個(gè)性化推薦系統(tǒng)[1-2]成為用戶獲取信息的主要方式。推薦系統(tǒng)通過(guò)收集用戶的歷史行為來(lái)推斷用戶興趣，進(jìn)而生成推薦列表。與常見(jiàn)的電商網(wǎng)站推薦系統(tǒng)[3]不同，視頻網(wǎng)站上的用戶行為具有兩個(gè)重要特性。首先，用戶的視頻觀看行為呈現(xiàn)出高度的序列性。一段時(shí)間內(nèi)瀏覽的視頻表現(xiàn)出極高的相關(guān)性，且瀏覽的前后順序十分重要，因此需要對(duì)用戶行為進(jìn)行序列化建模。其次，用戶可能存在短期觀看某一類/系列多個(gè)視頻的“短時(shí)”興趣，呈現(xiàn)出突發(fā)、多樣的特點(diǎn)。因此，我們需要從長(zhǎng)期興趣與短時(shí)興趣兩方面對(duì)用戶的興趣進(jìn)行細(xì)粒度化的建模。

針對(duì)序列化行為的推薦問(wèn)題，現(xiàn)有的方法[4-6]仍然存在兩部分缺陷。首先，僅僅使用權(quán)重或者卷積/循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)不同歷史行為進(jìn)行隱式建模的方法，缺乏對(duì)序列化行為中視頻切換關(guān)系的顯式建模；其次，目前的推薦方法沒(méi)有考慮針對(duì)用戶長(zhǎng)期與短時(shí)興趣的細(xì)粒度建模。本文中，我們?cè)O(shè)計(jì)了一種基于圖神經(jīng)網(wǎng)絡(luò)的推薦模型，通過(guò)兩種向量傳播方式來(lái)分別對(duì)用戶的長(zhǎng)期興趣和短時(shí)興趣進(jìn)行建模。此外，我們還引入了多層向量傳播以捕捉圖上高階鄰接信息。

1問(wèn)題定義

視頻推薦系統(tǒng)的目標(biāo)是盡可能地滿足用戶的需求，即為用戶推薦最符合其興趣的視頻。在視頻推薦系統(tǒng)中，相關(guān)輸入數(shù)據(jù)為用戶歷史視頻觀看的行為序列，其中，序列中的前后關(guān)系代表用戶觀看視頻的先后順序關(guān)系。輸出數(shù)據(jù)則為可計(jì)算給定用戶下一次觀看給定視頻的概率模型。在得到該模型后，我們可對(duì)所有候選視頻進(jìn)行概率計(jì)算，并按照概率預(yù)估值從大到小排序，得到推薦列表。

2方法設(shè)計(jì)

這里我們提出一種基于圖卷積網(wǎng)絡(luò)的視頻（VGCN）推薦模型，具體如圖1所示。該推薦模型主要由4個(gè)流程部分構(gòu)成：構(gòu)建包含用戶視頻結(jié)點(diǎn)與行為邊的異構(gòu)圖、構(gòu)建嵌入層以得到用戶與視頻的表征向量、設(shè)計(jì)向量以刻畫(huà)用戶的長(zhǎng)期興趣與短時(shí)興趣、引入預(yù)測(cè)層得到用戶觀看視頻的概率。

2.1異構(gòu)圖構(gòu)建

圖是一種具備強(qiáng)大數(shù)據(jù)表示能力的結(jié)構(gòu)。在視頻推薦系統(tǒng)中，一種直觀并且有效的做法是，把用戶與視頻分別表示為圖中兩種類型的結(jié)點(diǎn)，并將用戶的觀看行為建模為圖上的邊。具體而言，我們構(gòu)建異構(gòu)圖G=，其中，V表示所有結(jié)點(diǎn)的集合，E表示所有邊的集合。同時(shí)集合V中有兩類結(jié)點(diǎn)：用戶結(jié)點(diǎn)u∈U與視頻結(jié)點(diǎn)i∈I。集合E中有兩類邊：一類是用戶與視頻的交互邊r∈R，其中rui代表用戶u與視頻i存在交互行為（觀看）；另一類是視頻切換邊r∈T，其中tij代表視頻i到視頻j的切換行為，并且該邊的權(quán)重由數(shù)據(jù)集中所有用戶的切換次數(shù)決定。如果該權(quán)重為0，即邊不存在，則代表沒(méi)有用戶產(chǎn)生從觀看i切換到觀看j的行為?？偟膩?lái)說(shuō)，我們得到了包含兩類結(jié)點(diǎn)與兩類邊的異構(gòu)圖。

2.2嵌入層

針對(duì)圖的表征學(xué)習(xí)可定義為：通過(guò)機(jī)器學(xué)習(xí)的方法，為點(diǎn)、邊或圖學(xué)習(xí)其在低維空間的表征。該方法可以將高維的圖數(shù)據(jù)轉(zhuǎn)換為低維特征向量，實(shí)現(xiàn)預(yù)測(cè)、分類等任務(wù)[7]。在通用視頻推薦任務(wù)中，由于用戶畫(huà)像、視頻屬性等數(shù)據(jù)較難收集，用戶與視頻一般而言僅有身份標(biāo)識(shí)（ID）特征，即僅有用戶與視頻的原始編號(hào)。因此，我們針對(duì)ID特征設(shè)計(jì)適用于獨(dú)熱編碼的嵌入層，為用戶與視頻分別建立嵌入矩陣P 與Q 。P 的維度為N乘以D，Q 的維度為M乘以D。其中，N為用戶的數(shù)目，M為視頻的數(shù)目。D為低維空間的維度，是一個(gè)可以調(diào)整的超參數(shù)，其過(guò)大的維度會(huì)帶來(lái)過(guò)擬合問(wèn)題，而過(guò)小的維度則存在欠擬合問(wèn)題。

獨(dú)熱編碼是一種僅有一個(gè)位置為1且其余位置為0的高維向量（值為1的位置即為原始編號(hào)）。用戶獨(dú)熱編碼的長(zhǎng)度為N，視頻獨(dú)熱編碼的長(zhǎng)度為M。在嵌入矩陣完成隨機(jī)初始化后，模型的后續(xù)部分將從嵌入矩陣得到最終的預(yù)測(cè)結(jié)果。當(dāng)基于預(yù)測(cè)損失的隨機(jī)梯度下降時(shí)，嵌入矩陣即可從初始化的隨機(jī)向量逐漸調(diào)整至可刻畫(huà)用戶與視頻特征的高質(zhì)量表征向量。

2.3向量傳播層

我們首先建立了上述用戶與視頻的嵌入矩陣。該嵌入矩陣可以被視為第0層用戶/視頻向量。接著，我們?cè)O(shè)計(jì)向量傳播層以利用圖上的高階鄰接關(guān)系，以捕捉用戶的長(zhǎng)期與短時(shí)興趣。圖卷積網(wǎng)絡(luò)是一類最典型的圖神經(jīng)網(wǎng)絡(luò)[8]。向量傳播是圖卷積網(wǎng)絡(luò)的核心模塊，其核心思想是將向量傳播給圖上的鄰居結(jié)點(diǎn)，以實(shí)現(xiàn)圖結(jié)構(gòu)鄰接性到向量相似性的轉(zhuǎn)化，并可通過(guò)多層向量傳播實(shí)現(xiàn)對(duì)高階鄰接關(guān)系的建模。借助向量傳播方法，圖卷積網(wǎng)絡(luò)在諸多任務(wù)上取得了當(dāng)前最佳性能[8-9]。

在視頻推薦系統(tǒng)中，需要對(duì)用戶進(jìn)行兩方面的興趣建模：長(zhǎng)期興趣與短時(shí)興趣。其中長(zhǎng)期興趣側(cè)重于用戶較為固定的、不隨時(shí)間變化的興趣，短時(shí)興趣則與之相反。具體而言，我們通過(guò)用戶結(jié)點(diǎn)的表征向量對(duì)其長(zhǎng)期興趣進(jìn)行建模，通過(guò)用戶上一時(shí)刻交互的結(jié)點(diǎn)的表征向量對(duì)其短期興趣進(jìn)行建模。這種做法與用戶長(zhǎng)期興趣與短時(shí)興趣的物理意義相契合。

2.3.1長(zhǎng)期興趣向量傳播層

總的來(lái)說(shuō)，前文所述的向量操作實(shí)現(xiàn)了長(zhǎng)時(shí)興趣側(cè)從低層向量到高層向量的計(jì)算方式。隨著層數(shù)的逐漸提升，更高階的鄰接關(guān)系將會(huì)被提取至表征向量中。但值得一提的是，層數(shù)不能過(guò)高，這是因?yàn)橄蛄總鞑タ梢员焕斫鉃橐环N局部圖的近鄰平滑作用，如果層數(shù)過(guò)深，則相當(dāng)于實(shí)現(xiàn)了全局平滑，反而會(huì)使學(xué)習(xí)到的表征向量無(wú)效。

2.3.2短時(shí)興趣向量傳播層

上述長(zhǎng)期興趣向量傳播層通過(guò)忽略序列關(guān)系的歷史行為邊傳播，來(lái)刻畫(huà)用戶的長(zhǎng)期興趣。接著，我們進(jìn)一步設(shè)計(jì)用于對(duì)用戶的短時(shí)興趣進(jìn)行建模的向量傳播方法?？紤]到用戶的短時(shí)興趣與視頻觀看的切換行為需要相契合，我們采用基于視頻切換行為的有向邊來(lái)設(shè)計(jì)向量傳播方法。換而言之，向量傳播的路徑就是上一個(gè)視頻到下一個(gè)視頻的有向邊。由于此處不涉及用戶結(jié)點(diǎn)的表征向量，因此，我們可以實(shí)現(xiàn)長(zhǎng)期興趣與短時(shí)興趣的解耦建模。

2.4預(yù)測(cè)層

2.5訓(xùn)練方法

在獲得對(duì)于任意給定用戶與視頻的觀看概率預(yù)估后，我們基于對(duì)數(shù)損失函數(shù)進(jìn)行優(yōu)化。由于數(shù)據(jù)中僅記錄了用戶觀看過(guò)的視頻，即正樣本，我們需要從未觀看的視頻中隨機(jī)采集一些樣本作為負(fù)樣本。對(duì)于正樣本而言，模型的預(yù)測(cè)結(jié)果要盡可能接近1；對(duì)于負(fù)樣本，模型的預(yù)測(cè)結(jié)果要盡可能接近0。損失函數(shù)具體計(jì)算方式如公式（8）所示：

3實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證提出的VGCN方法的有效性，我們對(duì)真實(shí)視頻觀看數(shù)據(jù)集進(jìn)行了推薦性能的驗(yàn)證。

3.1實(shí)驗(yàn)設(shè)置

3.1.1數(shù)據(jù)集

我們?cè)谝粋€(gè)視頻網(wǎng)站上收集了2020年10月的用戶視頻觀看行為數(shù)據(jù)。由于完整數(shù)據(jù)規(guī)模過(guò)大，我們隨機(jī)選取了一部分用戶。經(jīng)過(guò)預(yù)處理后的數(shù)據(jù)，包括了60 813個(gè)用戶與292 286個(gè)視頻產(chǎn)生的14 952 659條觀看記錄。對(duì)于每一個(gè)用戶而言，其觀看記錄為一條包含了若干個(gè)視頻的序列。

3.1.2性能指標(biāo)

視頻推薦乃至通用推薦系統(tǒng)最常使用的指標(biāo)為排序指標(biāo)，其中最具代表意義的指標(biāo)為特征曲線下方的面積（AUC）、平均倒數(shù)排名值（MRR）與歸一化折損累計(jì)增益（NDCG）[10]。AUC可衡量模型對(duì)于所有正樣本與負(fù)樣本相對(duì)關(guān)系的區(qū)分能力，MRR衡量模型將正樣本排在列表靠前位置的能力，NDCG則衡量模型排序結(jié)果與理想排序結(jié)果的距離。

3.1.3基線模型

我們選取兩個(gè)極具競(jìng)爭(zhēng)力的模型作為基線模型：卷積序列嵌入推薦模型（CASER）[5]與深度興趣網(wǎng)絡(luò)（DIN）[6]。其中，CASER通過(guò)卷積網(wǎng)絡(luò)建模用戶的行為序列，DIN通過(guò)注意力網(wǎng)絡(luò)建模用戶行為序列。

3.2推薦性能比較

我們首先對(duì)整體的推薦結(jié)果進(jìn)行比較，如表1所示。

由表1可知，與現(xiàn)有模型相比，我們提出的VGCN模型在AUC、MRR、NDCG@1、NDCG@2等指標(biāo)上，可以有效且穩(wěn)定地提升推薦性能，且平均相對(duì)提升值約為1.7%。對(duì)于推薦系統(tǒng)模型而言，該提升值是顯著的。

圖2則展示了不同方法訓(xùn)練時(shí)的模型損失曲線。由圖2可以看出，我們的VGCN方法可以取得更小的訓(xùn)練損失。

3.3稀疏度影響研究

在推薦系統(tǒng)尤其是視頻推薦系統(tǒng)中，數(shù)據(jù)稀疏十分重要。具體而言，對(duì)于不同稀疏性的用戶，能否均取得較好的效果，是衡量一個(gè)推薦模型好壞的重要指標(biāo)。因此，我們將用戶的歷史交互行為數(shù)目分3組進(jìn)行研究：0～50、50～200、200以上。每組均有足夠的用戶數(shù)目，以消除隨機(jī)性。對(duì)于每組的用戶，為計(jì)算其平均推薦精準(zhǔn)度，我們選取了AUC與NDCG@2兩個(gè)排序指標(biāo)，具體結(jié)果如圖3所示。

由圖3可知，我們提出的VGCN方法在不同稀疏度的用戶組里，均可取得有效且穩(wěn)定的性能提升。這一結(jié)果進(jìn)一步驗(yàn)證了VGCN方法的有效性。

3.4超參數(shù)影響研究

在模型訓(xùn)練的過(guò)程中，L2正則系數(shù)是一項(xiàng)重要的超參數(shù)，圖4展示了不同L2正則系數(shù)對(duì)視頻推薦性能的影響。根據(jù)圖4可以看出，不論選擇何種L2正則系數(shù)，我們提出的VGCN方法均可以取得最佳推的薦性能。此外，L2正則系數(shù)對(duì)于模型視頻推薦精準(zhǔn)度性能的影響較小，即模型對(duì)于該超參數(shù)的敏感度較低，這意味著模型不需要花費(fèi)太多的調(diào)參時(shí)間與算力。

4結(jié)束語(yǔ)

視頻推薦系統(tǒng)是提升用戶視頻觀看體驗(yàn)的重要技術(shù)。本文設(shè)計(jì)了一種基于圖神經(jīng)網(wǎng)絡(luò)的推薦模型，并通過(guò)兩種向量傳播方式對(duì)用戶長(zhǎng)期興趣與短時(shí)興趣建模?；谡鎸?shí)數(shù)據(jù)集的實(shí)驗(yàn)有效驗(yàn)證了整體推薦精準(zhǔn)度與不同稀疏度用戶推薦精準(zhǔn)度的性能提升。同時(shí)，超參數(shù)影響的實(shí)驗(yàn)進(jìn)一步驗(yàn)證了推薦精準(zhǔn)度性能提升的穩(wěn)定性。

致謝

本研究得到清華大學(xué)常健新同學(xué)的幫助，謹(jǐn)致謝意！

參考文獻(xiàn)

[1]許海玲，吳瀟，李曉東，等.互聯(lián)網(wǎng)推薦系統(tǒng)比較研究[J].軟件學(xué)報(bào)， 2009， 20（2）： 350-362. DOI： 10.3724/SP.J.1001.2009.03388

[2] LU J， WU D S， MAO M S， et al. Recommender system application developments： a survey [J]. Decision support systems， 2015， 74： 12-32. DOI： 10.1016/j.dss.2015.03.008

[3]朱巖，林澤楠.電子商務(wù)中的個(gè)性化推薦方法評(píng)述[J].中國(guó)軟科學(xué)， 2009（2）： 183-192. DOI： 10.3969/j.issn.1002-9753.2009.02.022

[4] RENDLE S， FREUDENTHALER C， SCHMIDT- THIEME L. Factorizing personalized Markov chains for next-basket recommendation [C]// Proceedings of the 19th International Conference on World Wide Web. North CA， USA： ACMPress，2010.DOI：10.1145/ 1772690.1772773

[5] TANG J X， WANG K. Personalized top-N sequential recommendation via convolutional sequence embedding [C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. Los Angeles， CA，USA：ACM，2018.DOI：10.1145/ 3159652.3159656

[6] ZHOU G R， ZHU X Q， SONG C R， et al. Deep interest network for click-through rate prediction [C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. NY， USA： ACM， 2018. DOI： 10.1145/3219819.3219823

[7] GOYAL P， FERRARA E. Graph embedding techniques， applications， and performance： a survey [J]. Knowledge-based systems， 2018， 151：78-94.DOI：10.1016/j.knosys.2018.03.022

[8]徐冰冰，岑科廷，黃俊杰，等.圖卷積神經(jīng)網(wǎng)絡(luò)綜述[J].計(jì)算機(jī)學(xué)報(bào)， 2020， 43（5）： 755-780. DOI： 10.11897/SP.J.1016.2020.00755

[9] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks [C]//Proceedings of International Conference on Learning Representations. Toulon， France： University of Montreal， 2017

[10] MANNING D C， SCHüTZE H， RAGHAVAN P. Introduction to information retrieval [M]. Cambridge：CambridgeUniversityPress， 2008

作者簡(jiǎn)介

高宸，清華大學(xué)電子工程系在讀博士研究生；主要研究領(lǐng)域?yàn)橛脩粜袨榻Ｅc挖掘。

李勇，清華大學(xué)電子工程系副教授；主要研究領(lǐng)域?yàn)榫W(wǎng)絡(luò)科學(xué)、城市計(jì)算、用戶行為建模與挖掘。

金德鵬，清華大學(xué)電子工程系教授；主要研究領(lǐng)域?yàn)榫W(wǎng)絡(luò)科學(xué)、城市計(jì)算、用戶行為建模與挖掘。