劉方愛(ài) 王倩倩 郝建華

( 1) 山東師范大學(xué)信息科學(xué)與工程學(xué)院，250358，濟(jì)南； 2) 山東女子學(xué)院數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院，250002，濟(jì)南 )

1 引 言

互聯(lián)網(wǎng)的發(fā)展雖然為人們帶來(lái)便利，但是同時(shí)也帶來(lái)了信息過(guò)載的困擾，使人們難以在海量的信息中快捷地找到自己需要的信息.目前的搜索引擎雖然可以滿足大眾的簡(jiǎn)單需求，但對(duì)于信息需求的個(gè)性化服務(wù)存在明顯不足.因此，作為解決個(gè)性化服務(wù)的重要手段，推薦系統(tǒng)應(yīng)運(yùn)而生.與搜索引擎不同，推薦系統(tǒng)并不需要用戶提供明確的需求信息，而是通過(guò)分析用戶的歷史行為信息，深入挖掘用戶的興趣偏好，主動(dòng)向用戶提供信息，從而解決“信息超載”問(wèn)題.

推薦系統(tǒng)在1997年由Resnick等人[1]提出，Resnick等人對(duì)推薦系統(tǒng)進(jìn)行初步定義，該系統(tǒng)包含用戶模型、推薦模型兩部分內(nèi)容.其中，用戶模型主要是對(duì)用戶的瀏覽軌跡、購(gòu)買記錄等信息進(jìn)行獲取與表示，獲取的方式有顯式獲取與隱式獲取兩種.顯式獲取通過(guò)用戶對(duì)產(chǎn)品的表達(dá)偏好程度直接獲得，例如對(duì)產(chǎn)品進(jìn)行的評(píng)價(jià)(喜歡/不喜歡)；隱式獲取是利用系統(tǒng)對(duì)用戶歷史行為的追蹤發(fā)現(xiàn)用戶的興趣偏好，間接獲得數(shù)據(jù).

在推薦系統(tǒng)發(fā)展的初始階段，主要是基于內(nèi)容的推薦或基于協(xié)同過(guò)濾(CF，Collaborative Filter)的推薦[2].基于內(nèi)容的推薦是將用戶偏好與項(xiàng)目?jī)?nèi)容特征進(jìn)行匹配，進(jìn)而為用戶提供推薦結(jié)果[3]，可以應(yīng)用于多種場(chǎng)景中.比如，可以根據(jù)電影的題材、演員的基本信息以及導(dǎo)演人員等為用戶生成個(gè)性化的電影推薦；可以根據(jù)圖書的題材、作者類型等信息提供圖書的推薦等等.Ekstrand等人[4]在2000年提出了基于協(xié)同過(guò)濾的推薦，它主要是根據(jù)與喜歡此項(xiàng)目的其他用戶的偏好產(chǎn)品進(jìn)行推薦.推薦的準(zhǔn)確性評(píng)價(jià)指標(biāo)中，協(xié)同過(guò)濾推薦得到了較大的提高，逐步被學(xué)術(shù)界和企業(yè)界所接受.但是這種推薦方法只利用淺層的模型依賴關(guān)系，無(wú)法學(xué)習(xí)出用戶和項(xiàng)目的深層特征表示，并且與許多基于內(nèi)容的算法相比，缺乏可解釋性.基于上述存在的問(wèn)題[5-7]，很多研究人員在此基礎(chǔ)上對(duì)協(xié)同過(guò)濾推薦算法進(jìn)行改進(jìn).2008年，Koren等人[8]進(jìn)一步將潛在因子模型(LFM，Latent Factor Model)與協(xié)同過(guò)濾相結(jié)合，使得協(xié)同過(guò)濾算法又前進(jìn)了一步；Koren等人[9]在2009年又提出基于矩陣因子分解(MF，Matrix Factorization)的協(xié)同過(guò)濾及其變體方法，實(shí)驗(yàn)證明該方法在評(píng)分預(yù)測(cè)中效果較好.盡管研究人員提出的方法在推薦性能方面有所提升[10]，但潛在因子模型中的“潛在因素”(例如矩陣分解)并不具有直觀解釋意義，這使得人們難以理解為什么某個(gè)項(xiàng)目預(yù)測(cè)了較高評(píng)分并被推薦出來(lái).雖然傳統(tǒng)的基于內(nèi)容的推薦方法能提高推薦的可解釋性，但它基于淺層模型提取用戶-項(xiàng)目特征進(jìn)行推薦，這種特征提取方法在很大程度上依賴于人工設(shè)計(jì)特征，嚴(yán)重制約了推薦的有效性和可擴(kuò)展性.

2 基于深度神經(jīng)網(wǎng)絡(luò)的推薦模型

隨著計(jì)算機(jī)技術(shù)、人工智能技術(shù)等領(lǐng)域的發(fā)展，深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用在了語(yǔ)音識(shí)別、圖像處理等方面.該技術(shù)不僅能夠準(zhǔn)確地獲取多樣化數(shù)據(jù)中用戶與項(xiàng)目間的關(guān)系，而且能夠?qū)⒊橄蟠a轉(zhuǎn)化為高階數(shù)據(jù)信息，因此，深度學(xué)習(xí)技術(shù)被廣泛地應(yīng)用在推薦系統(tǒng)中，如2007年Salakhutdinov等人[11]在其研究中將深度學(xué)習(xí)與協(xié)同過(guò)濾進(jìn)行融合，并應(yīng)用在電影推薦中.受此啟發(fā)，越來(lái)越多的研究人員展開了應(yīng)用于推薦系統(tǒng)中的深度學(xué)習(xí)網(wǎng)絡(luò)模型研究.

基于深度學(xué)習(xí)的推薦系統(tǒng)框架如圖1所示[12].基于深度學(xué)習(xí)的推薦算法的基本原理為:首先獲取用戶的隱式、顯式信息以及點(diǎn)擊率、圖像內(nèi)容、文本內(nèi)容、瀏覽時(shí)長(zhǎng)等一系列輔助信息數(shù)據(jù)，并以此作為算法的輸入，進(jìn)而通過(guò)循環(huán)、卷積神經(jīng)網(wǎng)絡(luò)、自編碼器等深度網(wǎng)絡(luò)模型及注意力機(jī)制等深度學(xué)習(xí)技術(shù)對(duì)輸入數(shù)據(jù)的隱藏特征表示加以學(xué)習(xí)，然后通過(guò)一系列方法如softmax函數(shù)或者內(nèi)積等將這些隱藏特征表示加以計(jì)算得出最終的預(yù)測(cè)或推薦結(jié)果.

圖1 基于深度網(wǎng)絡(luò)模型的推薦系統(tǒng)框架

基于深度神經(jīng)網(wǎng)絡(luò)的推薦相較于傳統(tǒng)的推薦方法具有以下兩點(diǎn)優(yōu)勢(shì)：

1) 傳統(tǒng)的推薦方法在本質(zhì)上來(lái)說(shuō)屬于一種線性結(jié)構(gòu)算法，模型的表達(dá)力不足，而相比之下，深度神經(jīng)網(wǎng)絡(luò)由于使用了諸如tanh、sigmoid和relu等非線性激活函數(shù)，所以具有提取復(fù)雜用戶-項(xiàng)目特征的能力.

2) 與傳統(tǒng)推薦方法相比，基于深度神經(jīng)網(wǎng)絡(luò)的推薦算法沒(méi)有人工提取特征的工作流程，并且能夠挖掘出數(shù)據(jù)之間的復(fù)雜邏輯關(guān)系，除此之外，該推薦模型還能夠融入諸如圖像、視頻、音頻、文本等異構(gòu)多源數(shù)據(jù)，數(shù)據(jù)挖掘能力更強(qiáng).

2.1基于受限玻爾茲曼機(jī)的推薦受限玻爾茲曼機(jī)(RBM，Restricted Boltzmann Machine)是一種基于概率的網(wǎng)絡(luò)模型，其原理是通過(guò)學(xué)習(xí)經(jīng)過(guò)重構(gòu)的用戶輸入的原始數(shù)據(jù)的方式得到其概率分布，RMB是在原有玻爾茲曼機(jī)的基礎(chǔ)上加以改進(jìn)形成的隨機(jī)神經(jīng)網(wǎng)絡(luò).經(jīng)過(guò)數(shù)年的發(fā)展，RBM常用于特征學(xué)習(xí)與分類[14、16]、主題建模[15]、降維[13]，尤其在協(xié)同過(guò)濾[12]領(lǐng)域得到了廣泛的應(yīng)用.該模型對(duì)訓(xùn)練樣本還原度較好，既適用于有監(jiān)督的訓(xùn)練場(chǎng)景，也適用于無(wú)監(jiān)督的訓(xùn)練場(chǎng)景，通過(guò)學(xué)習(xí)數(shù)據(jù)中隱藏的依賴關(guān)系來(lái)進(jìn)行預(yù)測(cè)分析.

RBM的主要結(jié)構(gòu)如圖2所示，由可見(jiàn)層與隱藏層組成，是一個(gè)兩層的網(wǎng)絡(luò)結(jié)構(gòu)，每一層的神經(jīng)元之間是相互獨(dú)立、毫無(wú)關(guān)聯(lián)的[17].RBM的工作原理可以看成是編碼解碼的過(guò)程，其編碼過(guò)程相當(dāng)于從可見(jiàn)單元層傳遞輸入數(shù)據(jù)到隱藏單元層的過(guò)程，解碼過(guò)程相當(dāng)于將神經(jīng)元的值從隱藏單元層還原到可見(jiàn)單元層.在訓(xùn)練過(guò)程中，通過(guò)多次正反向的迭代更新相關(guān)系數(shù)，將計(jì)算偏差盡可能地縮小，最終實(shí)現(xiàn)對(duì)數(shù)據(jù)的準(zhǔn)確預(yù)測(cè).

圖2 受限玻爾茲曼機(jī)示意圖

受限玻爾茲曼機(jī)憑借簡(jiǎn)易靈活的網(wǎng)絡(luò)結(jié)構(gòu)被廣泛應(yīng)用在許多領(lǐng)域，尤其是在推薦場(chǎng)景中，其主要作用是將用戶的偏好特征從數(shù)據(jù)中挖掘出來(lái)，并對(duì)用戶將來(lái)可能交互的未知數(shù)據(jù)進(jìn)行預(yù)測(cè).Georgiev等人[18]提出基于受限玻爾茲曼機(jī)對(duì)用戶和交互項(xiàng)目的特征進(jìn)行建模；Hu等人[19]通過(guò)將RBM融入到群組推薦，挖掘整個(gè)用戶群組的特征偏好；Phung等人[20]在RBM原有兩層架構(gòu)上增加全連接層，進(jìn)一步挖掘已評(píng)分項(xiàng)目之間隱藏的關(guān)系.受限玻爾茲曼機(jī)中每個(gè)神經(jīng)元都是只有激活和不激活兩種狀態(tài)，也就是說(shuō)每個(gè)單元都是一個(gè)二元變量，將這樣一種結(jié)構(gòu)應(yīng)用到推薦系統(tǒng)中，可以分別對(duì)用戶的特征以及用戶與項(xiàng)目之間的關(guān)聯(lián)進(jìn)行建模，通過(guò)訓(xùn)練自動(dòng)抽取用戶及交互特征，進(jìn)一步提高了推薦系統(tǒng)的準(zhǔn)確度.

2.2基于自編碼器的推薦自編碼器(AE，Autoencoder)是由Williams等人提出的一種前饋神經(jīng)網(wǎng)絡(luò)，主要用于維度較高、較難處理的數(shù)據(jù).AE由三部分組成：輸入層、隱藏層和輸出層，如圖3所示.自編碼器的核心結(jié)構(gòu)是編碼和解碼的一個(gè)映射過(guò)程，編碼過(guò)程從輸入層到隱藏層實(shí)現(xiàn)數(shù)據(jù)重構(gòu)，下一步通過(guò)解碼從隱藏層映射到輸出層，其中輸入層和輸出層的神經(jīng)元數(shù)量是保持一致的.

圖3 自編碼器示意圖

自編碼器利用重構(gòu)策略盡可能地保證輸入與輸出接近，但該策略在提取信息的過(guò)程中會(huì)夾雜著無(wú)用信息，或者可能出現(xiàn)重構(gòu)后與原數(shù)據(jù)一樣，未進(jìn)行重新編碼.為解決上述問(wèn)題，有研究者提出去噪自編碼器(DAE，Denoising Autoencoder)的概念，在訓(xùn)練時(shí)將降噪因子加入到原始數(shù)據(jù)中，利用降噪因子處理無(wú)用信息.該策略提高了輸入數(shù)據(jù)表示的準(zhǔn)確度，進(jìn)一步提升了模型的穩(wěn)定性.另外，Vincent等人[21]提出了一種深層神經(jīng)網(wǎng)絡(luò)模型——堆棧去噪自動(dòng)編碼器(SDAE，Stacked Denoising Autoencoders)，通過(guò)堆棧結(jié)構(gòu)將多個(gè)去噪自編碼器進(jìn)行疊加，搭建更深層次的架構(gòu).SDAE可以通過(guò)非監(jiān)督的方式學(xué)習(xí)得到數(shù)據(jù)的抽象特征表示.

DAE應(yīng)用于推薦系統(tǒng)能夠預(yù)測(cè)訓(xùn)練過(guò)程中數(shù)據(jù)的缺失值，SDAE通過(guò)多個(gè)疊加可得到輸入矩陣的更高維表示[22]，并且能夠?qū)⒍嘣磾?shù)據(jù)融合.Li等人[23]通過(guò)將多源信息融合到推薦系統(tǒng)中，提出了邊緣化去噪自編碼器；Wang等人[24]提出了一種生成概率形式的堆棧去噪自編碼；Strub等人[25]提出了一種去噪自動(dòng)編碼器模型，可以將多源信息數(shù)據(jù)整合到堆棧中的每一層.Zhang等人[26]利用堆棧去噪自編碼器提取評(píng)論文本特征.受限玻爾茲曼機(jī)的預(yù)測(cè)結(jié)果是利用最大化“對(duì)數(shù)似然函數(shù)”估計(jì)得到的，基于自編碼器使用了推薦系統(tǒng)中最常用的精確度指標(biāo)——最小化均方根誤差，因此與自編碼器的推薦模型比基于受限玻爾茲曼機(jī)的推薦模型具有更高的預(yù)測(cè)準(zhǔn)確度.

2.3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN，Recurrent Neural Network)是基于序列信息的人工神經(jīng)網(wǎng)絡(luò)，可以模擬序列數(shù)據(jù)之間的影響關(guān)系.在很多推薦場(chǎng)景中，用戶決策往往會(huì)受到過(guò)往經(jīng)驗(yàn)的影響，因此用戶的歷史決策記錄可抽象為一段序列信息，將其輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練可提取出用戶的喜好.循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用到推薦場(chǎng)景最早是由Google等公司提出的，隨后有研究者研究出了長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM，Long Short-Term Memory)以及門控制單元(GRU，Gated Recurrent Unit)，這兩種神經(jīng)網(wǎng)絡(luò)是在傳統(tǒng)RNN基礎(chǔ)上提出的，可以在一定程度上解決訓(xùn)練過(guò)程中出現(xiàn)梯度爆炸或消失的問(wèn)題.循環(huán)神經(jīng)網(wǎng)絡(luò)可以應(yīng)用在建模用戶的歷史交互序列，也可應(yīng)用于提取用戶特征，非常適用于預(yù)測(cè)、文本推薦等領(lǐng)域.

在循環(huán)神經(jīng)網(wǎng)絡(luò)中，上一時(shí)刻狀態(tài)以及當(dāng)前輸入的單元狀態(tài)會(huì)直接影響下一時(shí)刻狀態(tài).圖4為展開的RNN序列數(shù)據(jù)，其中xt表示t時(shí)刻的輸入數(shù)據(jù)，ot表示輸出.

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

2.3.1 長(zhǎng)短期記憶網(wǎng)絡(luò) 由于梯度消失問(wèn)題，RNN不能很好地處理較長(zhǎng)序列[28].LSTM是Hochreiter等人提出的RNN的一種變體，避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)面臨的梯度消失等問(wèn)題，其結(jié)構(gòu)如圖5所示，在傳統(tǒng)RNN(圖6)的基礎(chǔ)上增加了三個(gè)特殊的“門”，包括輸入門、遺忘門以及輸出門，在單元狀態(tài)之間傳遞控制信息，使得在較長(zhǎng)序列數(shù)據(jù)中依然可以保持長(zhǎng)距離的依賴關(guān)系.在LSTM中，遺忘門用于過(guò)濾之前的單元狀態(tài)信息，輸入門用于控制保留多少新信息，最后是控制丟棄當(dāng)前層狀態(tài)信息的輸出門.

圖5 LSTM結(jié)構(gòu)圖

圖6 RNN結(jié)構(gòu)

2.3.2 門控制單元 門控制單元是由Cho等人[29]提出的RNN的另一種變體，比LSTM結(jié)構(gòu)更加簡(jiǎn)單，如圖7所示.GRU結(jié)構(gòu)包括更新門和重置門兩個(gè)特殊“門”，其中控制信息過(guò)濾的是重置門rt，更新門zt用于控制上一時(shí)刻狀態(tài)的影響，如果zt接近1，則表示上一時(shí)刻狀態(tài)的信息全部保留.

圖7 GRU結(jié)構(gòu)

通過(guò)分析用戶的序列數(shù)據(jù)，對(duì)用戶短期內(nèi)將要交互的項(xiàng)目進(jìn)行預(yù)測(cè)是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦模型研究的重點(diǎn)內(nèi)容.LSTM和GRU相比RNN增加了保存長(zhǎng)期狀態(tài)的隱藏狀態(tài)單元，能夠更加有效地對(duì)順序之間的長(zhǎng)期依賴關(guān)系進(jìn)行建模.GRU由于具有較少的參數(shù)和更加簡(jiǎn)潔的結(jié)構(gòu)，成為了目前序列建模中應(yīng)用最廣泛的循環(huán)神經(jīng)網(wǎng)絡(luò)模型.另外，與傳統(tǒng)的推薦方法相比，當(dāng)訓(xùn)練數(shù)據(jù)很多、隱層節(jié)點(diǎn)數(shù)較多或網(wǎng)絡(luò)長(zhǎng)度較大時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要耗費(fèi)大量的時(shí)間.因此，如何提高網(wǎng)絡(luò)的訓(xùn)練效率是需要深入研究的問(wèn)題.

2.4基于卷積神經(jīng)網(wǎng)絡(luò)的推薦卷積神經(jīng)網(wǎng)絡(luò)(CNN，Convolutional Neural Network)是一種深層神經(jīng)網(wǎng)絡(luò)，常用于處理文本、圖像以及一些非結(jié)構(gòu)化數(shù)據(jù)等.卷積神經(jīng)網(wǎng)絡(luò)主要包括輸入層、輸出層和隱藏層，其中隱藏層又分為三層：卷積、池化和全連接層.

卷積神經(jīng)網(wǎng)絡(luò)的核心是卷積層，通過(guò)卷積計(jì)算出輸入的數(shù)據(jù)特征，各神經(jīng)元計(jì)算出特征后由卷積濾波器集成特征圖，并繼續(xù)向下一層神經(jīng)元傳遞.在處理圖像時(shí)，網(wǎng)絡(luò)架構(gòu)需要大量的神經(jīng)元，因?yàn)閳D像中的每個(gè)像素點(diǎn)都可看成變量，而卷積運(yùn)算可以利用較少的權(quán)重參數(shù)和更深層次的網(wǎng)絡(luò)架構(gòu)處理圖像數(shù)據(jù).

卷積神經(jīng)網(wǎng)絡(luò)的池化操作包括局部池化層全局池化層.下一層每個(gè)神經(jīng)元都會(huì)與上一層神經(jīng)元簇的輸出結(jié)合.例如，最大池化操作將上一層中的最大值提取出來(lái).池化層的操作進(jìn)一步減少了參數(shù)數(shù)量，從而降低了網(wǎng)絡(luò)計(jì)算復(fù)雜度.

全連接層將卷積層和池化層輸出的特征進(jìn)行加權(quán)，下一層神經(jīng)元與上一層的每個(gè)神經(jīng)元相連接，利用相應(yīng)的函數(shù)計(jì)算得到上一層的輸入.神經(jīng)網(wǎng)絡(luò)在層間傳遞計(jì)算時(shí)涉及到的函數(shù)主要包括權(quán)重向量和偏差，在不斷迭代中更新，利用權(quán)重和偏差的矢量(一般稱之為濾波器)表示輸入的某些特征，濾波器在多個(gè)神經(jīng)元中可以實(shí)現(xiàn)共用，從而節(jié)省內(nèi)存空間，提升處理效率.

圖8 卷積神經(jīng)網(wǎng)絡(luò)示意圖

目前，已有許多研究者成功地將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在推薦領(lǐng)域，Oordetal等人[29]基于卷積神經(jīng)網(wǎng)絡(luò)從音頻數(shù)據(jù)中提取出了潛在特征；Zheng等人[30]利用評(píng)論文本數(shù)據(jù)提取用戶偏好，提出了基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)推薦模型并進(jìn)行預(yù)測(cè)分析，大大提高了推薦的準(zhǔn)確度.Zhou等人[31]在推薦系統(tǒng)中設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)獲取用戶的視覺(jué)特征，形成用戶的視覺(jué)興趣偏好.Kim等人[32]提出了卷積矩陣分解(ConvMF)模型，將卷積神經(jīng)網(wǎng)絡(luò)融入概率矩陣分解中.Lei等人[33]利用卷積神經(jīng)網(wǎng)絡(luò)捕獲用戶的偏好特征與圖像特征.另外，有研究者將卷積神經(jīng)網(wǎng)絡(luò)與上下文感知推薦系統(tǒng)結(jié)合，為提取文本語(yǔ)義信息提供更加精確的推薦效果.Seo等人[34]利用基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)對(duì)評(píng)論文本信息建模，提取用戶偏好以及項(xiàng)目的特征信息.

2.5基于深度知識(shí)圖譜網(wǎng)絡(luò)的推薦近年來(lái)，一些研究者將知識(shí)圖譜(KG，Knowledge Graph)作為輔助信息引入深度學(xué)習(xí)推薦系統(tǒng).這樣能夠?qū)崿F(xiàn)兩個(gè)方面的優(yōu)點(diǎn)：其一，能夠有助于提高推薦系統(tǒng)的準(zhǔn)確率；其二，能夠?yàn)橥扑]結(jié)果提供解釋性.知識(shí)圖譜是一種異質(zhì)圖，其中節(jié)點(diǎn)表示實(shí)體，節(jié)點(diǎn)之間的連接表示節(jié)點(diǎn)的關(guān)系.可以將物品及其屬性映射到知識(shí)圖譜中來(lái)理解物品之間的相互關(guān)系[35].此外，用戶和用戶輔助信息也能夠集成到知識(shí)圖譜中，這使得用戶和物品的關(guān)系以及用戶偏好可以被更準(zhǔn)確地捕獲[36].圖9是一個(gè)基于知識(shí)圖譜的推薦系統(tǒng)示例，其中電影“Avatar”和“Blood Diamond”是推薦系統(tǒng)為Bob的推薦結(jié)果.這個(gè)知識(shí)圖譜把用戶、電影、演員、導(dǎo)演以及流派作為實(shí)體，把朋友關(guān)系、交互、歸屬、表演以及指導(dǎo)作為實(shí)體之間的關(guān)系.通過(guò)知識(shí)圖譜，影片和用戶之間存在不同的潛在關(guān)系，這些潛在關(guān)系能夠幫助推薦系統(tǒng)提高準(zhǔn)確性.另外，基于知識(shí)圖譜的推薦能夠?yàn)橥扑]結(jié)果提供解釋性.例如，推薦“Avatar”的一個(gè)原因是，“Avatar”與 Bob 之前看過(guò)的“Interstellar”，而“Interstellar”屬于同一類型風(fēng)格的電影.

圖9 基于知識(shí)圖譜的推薦系統(tǒng)

與傳統(tǒng)的推薦系統(tǒng)相比，將知識(shí)圖譜引入深度學(xué)習(xí)推薦系統(tǒng)，能夠帶來(lái)多種實(shí)體和關(guān)系來(lái)連接用戶和物品，并且能夠說(shuō)明推理過(guò)程.Wang等人[37]應(yīng)用知識(shí)圖譜的特點(diǎn)，將項(xiàng)目與其屬性聯(lián)系起來(lái)，打破了獨(dú)立交互假設(shè)，提出了一種基于知識(shí)圖注意網(wǎng)絡(luò)(KGAT，Knowledge Graph Attention Network)的新方法，該方法以端到端的方式，顯式地建模知識(shí)圖的高階連接,能夠提供更準(zhǔn)確、多樣化和可解釋的推薦；Zhou等人[38]結(jié)合面向詞和面向?qū)嶓w的知識(shí)圖譜來(lái)增強(qiáng)會(huì)話式推薦系統(tǒng)(CRS，Conversational Recommender Systems)中的數(shù)據(jù)表示；Zhou等人[39]研究了利用知識(shí)圖譜來(lái)處理交互式推薦系統(tǒng)(IRS，Interactive Recommender System)中問(wèn)題的潛力，利用從知識(shí)圖譜中學(xué)到的項(xiàng)目相關(guān)性的先驗(yàn)知識(shí)指導(dǎo)候選項(xiàng)的選擇，動(dòng)態(tài)處理用戶偏好和用戶反饋的稀疏性.Palumbo等人[40]提出entity2rec，它的一個(gè)關(guān)鍵元素是構(gòu)造屬性特定的子圖，通過(guò)屬性特定的知識(shí)圖嵌入來(lái)學(xué)習(xí)用戶-項(xiàng)目之間的相關(guān)性，以便進(jìn)行項(xiàng)目推薦.總之，將知識(shí)圖譜引入推薦系統(tǒng)不僅能夠?yàn)橥扑]結(jié)果提供可解釋性，而且能夠更好地處理用戶偏好和數(shù)據(jù)稀疏的問(wèn)題.

3 推薦系統(tǒng)性能評(píng)價(jià)指標(biāo)

在推薦系統(tǒng)中經(jīng)常采用的性能評(píng)價(jià)指標(biāo)主要有：均方根誤差、平均絕對(duì)誤差、標(biāo)準(zhǔn)平均誤差、召回率、精確率.

1) 均方根誤差(RMSE，Root-Mean-Square Error)[41]用于衡量評(píng)分的準(zhǔn)確性，公式如下：

(1)

2) 平均絕對(duì)誤差主要衡量用戶預(yù)測(cè)評(píng)分與實(shí)際評(píng)分的絕對(duì)誤差，具體公式如下：

(2)

其中n為用戶i評(píng)分產(chǎn)品的數(shù)量，pia為預(yù)測(cè)得到的用戶評(píng)分，ria為實(shí)際的用戶評(píng)分.

在企業(yè)各項(xiàng)工作中，離退休工作不是大局但影響大局，不是中心卻牽動(dòng)中心。洛陽(yáng)石化公司不斷適應(yīng)新形勢(shì)，研究新特點(diǎn)，充分尊重老同志為企業(yè)發(fā)展繼續(xù)貢獻(xiàn)力量的真誠(chéng)愿望，主動(dòng)搭建平臺(tái)，使離退休職工的有生力量得到最廣泛地調(diào)動(dòng)，把老同志的優(yōu)勢(shì)和作用轉(zhuǎn)化為為黨的事業(yè)增添正能量，實(shí)現(xiàn)了和諧共贏的局面。多年來(lái)，在良性互動(dòng)理念的引領(lǐng)下，堅(jiān)持通過(guò)開展豐富多彩的敬老愛(ài)老管理服務(wù)活動(dòng)，來(lái)提升離退休工作的凝聚力、感召力，努力營(yíng)造良性互動(dòng)、和諧相處的融洽氛圍，為企業(yè)改革發(fā)展作出了積極貢獻(xiàn)。

3) 標(biāo)準(zhǔn)平均誤差的定義如下：

(3)

其中N為標(biāo)準(zhǔn)平均誤差，M為平均絕對(duì)誤差，rmax為用戶評(píng)分最大值，rmin為用戶評(píng)分最小值[42].

4) 召回率由Recall@N表示，縮寫為R@N.召回率應(yīng)用在位置興趣點(diǎn)的推薦中，R@N定義如下：

(4)

5) 精確率由Precision@N表示，同樣應(yīng)用在位置興趣點(diǎn)的推薦中，P@N定義如下：

(5)

在推薦系統(tǒng)中，距離標(biāo)準(zhǔn)化指標(biāo)[43]、ROC曲線[44]、半衰期指標(biāo)[45,46]等都可以對(duì)系統(tǒng)的性能進(jìn)行衡量.推薦的準(zhǔn)確性是關(guān)鍵的衡量指標(biāo)，同時(shí)提供給用戶好的體驗(yàn)也至關(guān)重要.

4 研究團(tuán)隊(duì)工作進(jìn)展

4.1基于注意力機(jī)制的雙向GRU神經(jīng)網(wǎng)絡(luò)推薦模型深度神經(jīng)網(wǎng)絡(luò)技術(shù)具有有效捕獲用戶與項(xiàng)目的深層次非線性關(guān)系的特性，基于這一特性，筆者提出了基于自注意力的雙向GRU神經(jīng)網(wǎng)絡(luò)模型(Att-BNN，Behavior-aware Neural Network with Self-Attention)[47].用來(lái)解決一般的推薦方法在預(yù)測(cè)用戶偏好時(shí)無(wú)法解決的冷啟動(dòng)問(wèn)題和長(zhǎng)距離依賴的問(wèn)題,如圖10所示.該模型分別使用自注意力網(wǎng)絡(luò)和雙向GRU網(wǎng)絡(luò)兩個(gè)神經(jīng)網(wǎng)絡(luò)以預(yù)測(cè)用戶當(dāng)前消費(fèi)動(dòng)機(jī)，首先將用戶的交互行為序列作為輸入得到項(xiàng)目嵌入表示，其次為了更好地提取用戶行為序列中項(xiàng)目之間隱藏的深層關(guān)聯(lián)，使用雙向GRU替代原有簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu).Att-BNN是一種“局部-全局”的網(wǎng)絡(luò)模型，通過(guò)結(jié)合注意力機(jī)制重要性高的項(xiàng)目賦予更高的權(quán)重，可以同時(shí)學(xué)習(xí)到包含用戶長(zhǎng)期偏好和短期項(xiàng)目的信息.該模型主要包含三個(gè)核心部分：1) 通過(guò)嵌入模型獲得標(biāo)準(zhǔn)的項(xiàng)目表示空間，然后學(xué)習(xí)項(xiàng)目的嵌入向量，并獲得不同項(xiàng)目之間的序列相似程度.2) 設(shè)計(jì)兩個(gè)交互行為學(xué)習(xí)網(wǎng)絡(luò)分別用于學(xué)習(xí)用戶當(dāng)前興趣和用戶長(zhǎng)期偏好，其中雙向GRU網(wǎng)絡(luò)從正反兩個(gè)方向挖掘項(xiàng)目序列信息.3) 在基于雙向GRU模型的用戶長(zhǎng)期偏好學(xué)習(xí)網(wǎng)絡(luò)中引入了注意力機(jī)制，將該機(jī)制的局部激活能力和GRU中的序列學(xué)習(xí)能力結(jié)合，對(duì)用戶偏好變化進(jìn)行建模，其他序列中與用戶偏好相關(guān)的項(xiàng)目便可以由模型識(shí)別出來(lái).

圖10 Att-BNN模型結(jié)構(gòu)圖

通過(guò)以上三個(gè)步驟，Att-BNN能夠同時(shí)挖掘用戶偏好與偏好變化過(guò)程，注意力機(jī)制所帶來(lái)的局部激活能力能夠增強(qiáng)相關(guān)性更強(qiáng)項(xiàng)目的權(quán)重，削弱偏好遷移部分的影響，所以能夠更精準(zhǔn)地為用戶推薦可能感興趣的項(xiàng)目?jī)?nèi)容.

基于卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)容感知位置興趣點(diǎn)推薦模型分別由用戶的興趣偏好建模、用戶對(duì)位置興趣點(diǎn)評(píng)論的情感分類以及用戶關(guān)注的位置屬性信息這三方面組成.其中，在用戶對(duì)位置興趣點(diǎn)評(píng)論的情感分類模塊引入了卷積神經(jīng)網(wǎng)絡(luò)，如圖11所示.

圖11 基于卷積神經(jīng)網(wǎng)絡(luò)的評(píng)論文本情感分類模型結(jié)構(gòu)

該模型使用的網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)的CNN架構(gòu)類似，主要由四部分構(gòu)成，包括嵌入層、卷積層、池化層、輸出層.將評(píng)論文本作為詞向量輸入到卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過(guò)訓(xùn)練得到預(yù)定義的情感分類.

首先將評(píng)論文本中的每個(gè)詞映射為對(duì)應(yīng)的詞向量，形成詞向量矩陣作為卷積神經(jīng)網(wǎng)絡(luò)的輸入傳遞到卷積層，然后，通過(guò)卷積運(yùn)算得到矢量矩陣后由濾波器集成，輸出包含文本信息前后依賴關(guān)系的特征表示，最后，選擇合適的池化策略將特征表示轉(zhuǎn)化為特定維度后輸出.評(píng)論文本有三種輸出結(jié)果，包括-1、0、1，分別描述用戶對(duì)位置興趣點(diǎn)的不同喜愛(ài)程度.訓(xùn)練過(guò)程中通過(guò)Softmax函數(shù)將文本情感向量轉(zhuǎn)化成相應(yīng)的概率，并經(jīng)過(guò)反復(fù)迭代更新參數(shù)將誤差最小化.

將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于位置興趣點(diǎn)推薦，基于評(píng)論文本分別對(duì)用戶的情感分類和位置興趣點(diǎn)建模，不僅可以解決上述的數(shù)據(jù)稀疏問(wèn)題，還可以提升推薦算法的準(zhǔn)確率，卷積神經(jīng)網(wǎng)絡(luò)的卷積和池化操作也能夠進(jìn)一步提高訓(xùn)練速度，縮短訓(xùn)練時(shí)長(zhǎng).

4.3基于分層注意力機(jī)制的推薦模型隨著深度神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的廣泛應(yīng)用，基于評(píng)論文本的推薦成為熱點(diǎn)研究方向之一.目前基于評(píng)論文本的推薦方法沒(méi)有充分考慮用戶和項(xiàng)目的潛在特征，過(guò)度關(guān)注評(píng)論文本內(nèi)容本身，在真實(shí)的應(yīng)用場(chǎng)景中，用戶的下一步?jīng)Q策會(huì)不同程度地受到用戶以及項(xiàng)目自身屬性特征的影響.Zheng等人[30]將用戶和項(xiàng)目屬性特征輸入到卷積神經(jīng)網(wǎng)絡(luò)生成特征表示向量，融合了評(píng)論文本偏好信息，該模型的最終推薦結(jié)果與傳統(tǒng)推薦方法相比，推薦質(zhì)量有所提升，同時(shí)該模型也存在幾點(diǎn)不足：一方面，評(píng)論文本中的每個(gè)句子以及句子中的每個(gè)單詞對(duì)整個(gè)評(píng)論文本的影響都是不一樣的，因此在訓(xùn)練過(guò)程中，這些單詞或者句子需要賦予不同的權(quán)重；另一方面，對(duì)于用戶和項(xiàng)目的向量表示應(yīng)該從整個(gè)語(yǔ)義層面考慮，而不是僅僅簡(jiǎn)單地考慮幾個(gè)單詞的組合.

針對(duì)上述問(wèn)題，Xing等人[49,50]提出了分層注意力機(jī)制模型(HAUP，Hierarchical Attention User and Product)，該模型分別從單詞層面、句子層面、整個(gè)文本層面以及結(jié)合層這幾個(gè)角度建模.該模型構(gòu)建了分層的雙向GRU網(wǎng)絡(luò)，能夠很好地處理較長(zhǎng)文本序列數(shù)據(jù)內(nèi)部之間隱藏的關(guān)聯(lián)性.基于用戶的評(píng)論文本信息以及用戶對(duì)項(xiàng)目的評(píng)分信息作為模型的初始數(shù)據(jù)，分別從單詞和句子層面提取用戶偏好以及交互項(xiàng)目屬性的表示向量，然后基于分層的雙向GRU網(wǎng)絡(luò)分別構(gòu)建用戶偏好的評(píng)論文本表示以及項(xiàng)目屬性特征的評(píng)論文本表示.為區(qū)分評(píng)論文本中不同句子及句子中的不同單詞的重要性，HAUP分別從句子級(jí)別和單詞級(jí)別引入了注意力機(jī)制.最后將得到的用戶表示以及項(xiàng)目表示映射到同一個(gè)向量空間生成預(yù)測(cè)結(jié)果.

HAUP模型的具體結(jié)構(gòu)如圖12所示.該模型相較于其它推薦模型的創(chuàng)新點(diǎn)在于：1) 分別從單詞層面和句子層面構(gòu)建雙向GRU網(wǎng)絡(luò)來(lái)生成用戶偏好及項(xiàng)目屬性表示，將評(píng)論文本的詞向量分別輸入到代表用戶和項(xiàng)目的雙向GRU網(wǎng)絡(luò)中生成句子層面的表示向量，句子層面的表示向量再經(jīng)過(guò)雙向GRU網(wǎng)絡(luò)即可輸出最終的文本表示.2) 在生成用戶和項(xiàng)目表示的兩個(gè)雙向GRU網(wǎng)絡(luò)中均引入了注意力機(jī)制，分別從單詞層面和句子層面識(shí)別重要部分，并賦予不同的權(quán)重，從而更準(zhǔn)確地提取出用戶的深層次偏好和項(xiàng)目的特征.

圖12 HAUP網(wǎng)絡(luò)框架

5 總結(jié)與展望

本文在分析傳統(tǒng)推薦算法的基礎(chǔ)上，討論了基于深度神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)的研究現(xiàn)狀，總結(jié)了推薦系統(tǒng)的性能評(píng)價(jià)指標(biāo)，介紹了三種基于深度學(xué)習(xí)的推薦模型.大多數(shù)基于深度神經(jīng)網(wǎng)絡(luò)的推薦模型在一定程度上提高了算法性能，但仍有其局限性.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦模型能夠提取上下文的依賴關(guān)系，比較適合處理基于序列的預(yù)測(cè)或推薦任務(wù)；基于卷積神經(jīng)網(wǎng)絡(luò)的推薦模型可以定位重要信息，更準(zhǔn)確地進(jìn)行特征學(xué)習(xí)，并且可以緩解冷啟動(dòng)問(wèn)題，更適合基于圖像或文本的推薦任務(wù).

實(shí)際上，用戶偏好會(huì)隨著時(shí)間及環(huán)境因素發(fā)生變化，是動(dòng)態(tài)的.現(xiàn)在的推薦模型集中在如何更準(zhǔn)確地提取用戶的靜態(tài)偏好表示方面，忽略了用戶偏好的動(dòng)態(tài)變化，這樣會(huì)導(dǎo)致推薦模型只集中于推薦流行度高的項(xiàng)目而沒(méi)有結(jié)合用戶當(dāng)下的個(gè)性化需求和喜好.因此，可以從如下方面研究推薦系統(tǒng)模型：一是如何更好地定位用戶的動(dòng)態(tài)偏好變化，構(gòu)建長(zhǎng)期有效的動(dòng)態(tài)推薦算法模型；二是基于知識(shí)圖譜，將知識(shí)圖譜作為輔助信息引入到推薦系統(tǒng)，可以有效地解決傳統(tǒng)推薦系統(tǒng)存在的稀疏性和冷啟動(dòng)問(wèn)題；三是將多模態(tài)信息進(jìn)行融合，比如圖像、文本、視頻等，利用融合的多模態(tài)信息構(gòu)建綜合推薦模型，提高推薦的準(zhǔn)確率.