劉楊濤++南書坡++楊新鋒

摘 要： 為了進(jìn)一步描述時(shí)間因素對(duì)用戶行為的影響，進(jìn)而提高推薦系統(tǒng)的推薦效果，綜合考慮了用戶的長(zhǎng)期行為特征和短期行為特征提出一種基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測(cè)方法。依據(jù)推薦系統(tǒng)中的所有用戶行為數(shù)據(jù)，將用戶和商品嵌入到相同的特征空間，并通過嵌入式向量反應(yīng)用戶的長(zhǎng)期行為特征。針對(duì)每個(gè)用戶，依據(jù)其歷史行為的時(shí)間序列，基于循環(huán)神經(jīng)網(wǎng)絡(luò)建立該用戶的行為預(yù)測(cè)模型，從而描述該用戶的短期行為特征。實(shí)驗(yàn)結(jié)果表明，提出的方法與特征級(jí)時(shí)間序列分析等方法相比具有更好的推薦效果。

關(guān)鍵詞： 循環(huán)神經(jīng)網(wǎng)絡(luò)； 深度學(xué)習(xí)； 嵌入式向量； 用戶行為預(yù)測(cè)； 時(shí)間序列

中圖分類號(hào)： TN711?34； TP319 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）23?0165?05

User behavior prediction method based on embedded vector

and recurrent neural network

LIU Yangtao1， NAN Shupo2， YANG Xinfeng3

（1. School of Software， Nanyang Institute of Technology， Nanyang 473004， China；

2. Department of Public Education， Xinlian College of Henan Normal University， Zhengzhou 450000， China；

3. College of Computer and Information Engineering， Nanyang Institute of Technology， Nanyang 473004， China）

Abstract： In order to further describe the effect of time factor on user behavior， and improve the recommendation effect of the recommendation system， a user behavior prediction method based on embedded vector and recurrent neural network is proposed by comprehensively considering the long?term and short?term user behavior features. According to all user behavior data in recommendation system， the users and commodities are embedded into the same feature space. The embedded vector is used to reflect the long?term user features. According to the time series of each user′s historic behavior， the user behavior prediction model was built based on recurrent neural network to describe this user′s short?term behavior feature. The experiment results show that， the proposed method has better recommendation effect than that of the feature?level time series analysis method and other methods.

Keywords： recurrent neural network； deep learning； embedded vector； user behavior prediction； time series

0 引 言

推薦系統(tǒng)在電子商務(wù)、社會(huì)網(wǎng)絡(luò)和信息檢索等領(lǐng)域中都有著廣泛的應(yīng)用[1]。在推薦系統(tǒng)中，數(shù)據(jù)往往被表示成一個(gè)用戶行為矩陣。用戶行為矩陣的縱坐標(biāo)表示用戶，矩陣的橫坐標(biāo)表示商品、用戶或者網(wǎng)頁(yè)等，矩陣中的每一個(gè)元素表示對(duì)應(yīng)的縱坐標(biāo)和橫坐標(biāo)之間的關(guān)系，如用戶購(gòu)買商品的數(shù)量，用戶和用戶之間的連接關(guān)系，以及用戶對(duì)網(wǎng)頁(yè)的訪問行為等。隨著網(wǎng)絡(luò)服務(wù)的運(yùn)行，用戶行為矩陣中積累了大量的歷史行為數(shù)據(jù)，通過對(duì)歷史行為的分析可以對(duì)矩陣中的空元素進(jìn)行預(yù)測(cè)，從而預(yù)測(cè)用戶未來(lái)的行為[2]。

傳統(tǒng)的推薦系統(tǒng)主要從矩陣和網(wǎng)絡(luò)兩個(gè)視角對(duì)用戶的未來(lái)行為進(jìn)行分析和預(yù)測(cè)。從用戶行為矩陣的視角來(lái)看，推薦系統(tǒng)根據(jù)矩陣中已有的數(shù)據(jù)對(duì)矩陣建立模型，然后對(duì)矩陣中值為空的元素進(jìn)行預(yù)測(cè)，典型的建模方法為矩陣分解與補(bǔ)全[3?5]；此外，還可以采用啟發(fā)式方法對(duì)矩陣中值為空的元素進(jìn)行預(yù)測(cè)，如協(xié)同過濾的相關(guān)方法[6?8]。從網(wǎng)絡(luò)的視角來(lái)看，用戶行為矩陣可以看作一個(gè)二部圖，如電子商務(wù)中的用戶?商品二部圖；在社會(huì)網(wǎng)絡(luò)中，該二部圖退化為簡(jiǎn)單的網(wǎng)絡(luò)。在二部圖中，推薦系統(tǒng)根據(jù)網(wǎng)絡(luò)中已有的連接，估計(jì)不存在連接的兩個(gè)點(diǎn)之間建立連接的概率，并以此預(yù)測(cè)用戶未來(lái)的行為，常用的方法是網(wǎng)絡(luò)中的隨機(jī)游走[9?11]。

上述方法從原理上都可以理解為對(duì)矩陣中值為空的元素進(jìn)行預(yù)測(cè)，然后針對(duì)每一個(gè)用戶（縱坐標(biāo)）將預(yù)測(cè)后的橫坐標(biāo)進(jìn)行排序，并返回排名靠前的若干個(gè)縱坐標(biāo)項(xiàng)。這種方法存在如下三個(gè)缺點(diǎn)：

（1） 假設(shè)矩陣中的數(shù)據(jù)同時(shí)到達(dá)。在預(yù)測(cè)空元素時(shí)應(yīng)用所有的歷史數(shù)據(jù)而沒有考慮數(shù)據(jù)間的時(shí)序關(guān)系，然而用戶實(shí)際的行為往往存在著短期行為傾向。

（2） 推薦結(jié)果只返回那些值為空的項(xiàng)。上述方法在向用戶進(jìn)行推薦時(shí)往往只返回值為空的項(xiàng)（即未購(gòu)買過的商品），然而用戶的實(shí)際購(gòu)物過程中存在著大量的重復(fù)購(gòu)買行為，因而推薦結(jié)果中也應(yīng)該包含那些值不為空的項(xiàng)。

（3） 不能適應(yīng)數(shù)據(jù)的動(dòng)態(tài)更新。由于對(duì)矩陣建模時(shí)的數(shù)據(jù)是固定的，因而當(dāng)新的用戶行為數(shù)據(jù)到來(lái)時(shí)不能對(duì)預(yù)測(cè)的結(jié)果進(jìn)行動(dòng)態(tài)的更新。

為了應(yīng)對(duì)上述的前兩個(gè)問題，研究人員提出了時(shí)間敏感的推薦系統(tǒng)[12]。文獻(xiàn)[13]在用戶?商品矩陣的基礎(chǔ)上將用戶對(duì)商品的瀏覽記錄作為上下文，在進(jìn)行特征提取后引入時(shí)間維度構(gòu)成三維張量。在特征提取過程中，采用固定的特征集合；在時(shí)間序列預(yù)測(cè)上，以天為時(shí)間單位，在一定的時(shí)間滑動(dòng)窗口上對(duì)歷史數(shù)據(jù)進(jìn)行加權(quán)求和，并提出一種特征級(jí)時(shí)間序列分析方法（Feature?level Time Series Analysis，F(xiàn)TSA）。FTSA雖然考慮了推薦系統(tǒng)中用戶的短期行為傾向問題，但是特征集合的選取需要根據(jù)閾值進(jìn)行判定，而特征集合的選取又決定著預(yù)測(cè)結(jié)果的準(zhǔn)確性，因此該方法具有一定的局限性。

本文以文獻(xiàn)[13]提出的思想為基礎(chǔ)，對(duì)用戶和商品特征采用嵌入式向量表示，并采用循環(huán)神經(jīng)網(wǎng)絡(luò)[14]對(duì)時(shí)序數(shù)據(jù)進(jìn)行建模和預(yù)測(cè)。在特征向量的嵌入式表達(dá)計(jì)算過程中，將用戶和商品用相同的潛在特征集合來(lái)表示，并通過用戶瀏覽記錄中對(duì)商品的購(gòu)買與否進(jìn)行有監(jiān)督的學(xué)習(xí)。在特征向量的嵌入式計(jì)算完成后，可以得到用戶和商品特征向量的長(zhǎng)期行為傾向。在時(shí)序數(shù)據(jù)的預(yù)測(cè)過程中，采用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)用戶的時(shí)序行為進(jìn)行建模，并得到用戶的短期行為傾向。

4 結(jié) 語(yǔ)

本文提出了一種基于嵌入式向量和循環(huán)神經(jīng)網(wǎng)絡(luò)的用戶行為預(yù)測(cè)方法。通過對(duì)用戶?商品行為矩陣數(shù)據(jù)的有監(jiān)督學(xué)習(xí)，將用戶和商品映射到相同的潛在特征空間，并得到用戶和商品的長(zhǎng)期特征。通過采用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)用戶的時(shí)序行為進(jìn)行建模，得到了用戶的短期行為特征。該方法綜合考慮了用戶的長(zhǎng)期和短期行為特征，能更好地對(duì)數(shù)據(jù)集進(jìn)行建模，因而具有更好的預(yù)測(cè)效果。最后，通過兩個(gè)真實(shí)的數(shù)據(jù)集驗(yàn)證了本文提出方法的有效性。

在新數(shù)據(jù)導(dǎo)致的模型動(dòng)態(tài)更新中，本文采用簡(jiǎn)單的隨機(jī)梯度下降方法對(duì)嵌入式向量模型的參數(shù)進(jìn)行更新。然而，當(dāng)新數(shù)據(jù)到達(dá)的頻率提高時(shí)，可能出現(xiàn)嵌入式向量模型還沒有到達(dá)穩(wěn)態(tài)，此時(shí)用戶的時(shí)序行為模型所使用的用戶和商品嵌入式向量是過時(shí)的，或者處于阻塞狀態(tài)。在下一步的研究工作中，通過研究嵌入式向量模型的增量式更新，從而提高本文方法的健壯性，進(jìn)而適應(yīng)數(shù)據(jù)高速動(dòng)態(tài)增長(zhǎng)的推薦環(huán)境。

參考文獻(xiàn)

[1] 許海玲，吳瀟，李曉東，等.互聯(lián)網(wǎng)推薦系統(tǒng)比較研究[J].軟件學(xué)報(bào)，2009，20（2）：350?362.

[2] 王立才，孟祥武，張玉潔.上下文感知推薦系統(tǒng)[J].軟件學(xué)報(bào)，2012，23（1）：1?20.

[3] GILLIS N， VAVASIS S. Fast and robust recursive algorithms for separable nonnegative matrix factorization [J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36（4）： 698?714.

[4] GOGNA A， MAJUMDAR A. Matrix completion incorporating auxiliary information for recommender system design [J]. Expert systems with applications， 2015， 42（14）： 5789?5799.

[5] 劉冶，朱蔚恒，潘炎，等.基于低秩和稀疏矩陣分解的多源融合鏈接預(yù)測(cè)算法[J].計(jì)算機(jī)研究與發(fā)展，2015，52（2）：423?436.

[6] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the user?item matrix： a survey of the state of the art and future challenges [J]. ACM computing surveys， 2014， 47（1）： 1?45.

[7] 李聰，梁昌勇，馬麗.基于領(lǐng)域最近鄰的協(xié)同過濾推薦算法[J].計(jì)算機(jī)研究與發(fā)展，2015，45（9）：1532?1538.

[8] PARK Y， PARK S， JUNG W， et al. Reversed CF： a fast collaborative filtering algorithm using a k?nearest neighbor graph [J]. Expert systems with applications， 2015， 42（8）： 4022?4028.

[9] GUY I， GEYER W. Social recommender system tutorial [C]// Proceedings of the 8th ACM Conference on Recommender systems. New York： ACM， 2014： 195?196.

[10] NIE Dacheng， FU Yan， ZHOU Junlin， et al. A personalized recommendation algorithm via biased random walk [C]// Proceedings of 2014 IEEE 11th International Joint Conference on Computer Science and Software Engineering. [S.l.]： IEEE， 2014： 292?296.

[11] 蔡紅蕾.二部圖網(wǎng)絡(luò)結(jié)構(gòu)算法在推薦系統(tǒng)中的應(yīng)用[D].秦皇島：燕山大學(xué)，2014.

[12] CAMPOS P G， D?EZ F， CANTADOR I. Time?aware re?commender systems： a comprehensive survey and analysis of existing evaluation protocols [J]. User modeling and user?adapted interaction， 2014， 24（1/2）： 67?119.

[13] ZHANG Yongfeng， ZHANG Min， LAI Guokun. Daily?aware personalized recommendation based on feature?level time series analysis [C]// Proceedings of the 24th International Conference on World Wide Web. [S.l.]： International World Wide Web Conferences Steering Committee， 2015： 1373?1383.

[14] DU K， SWAMY M N S. Recurrent neural networks [M]. London： Springer， 2014： 337?353.

[15] ADE M， GHRIET P， DESHMUKH P R， et al. Methods for incremental learning： a survey [J]. International journal of data mining & knowledge management process， 2013， 3（4）： 119?125.

[16] CELMA O. Music recommendation and discovery in the long tail [D]. Spain： Universitat Pompeu Fabra， 2008.