呂剛 張偉

摘 ?要：隨著互聯(lián)網(wǎng)上信息量呈指數(shù)增長(zhǎng)，用戶(hù)從大量信息中挑選目標(biāo)信息變成了一種復(fù)雜且耗時(shí)的作業(yè)。為用戶(hù)解決因信息量爆炸而不能快速獲得目標(biāo)信息的方法就是構(gòu)建推薦系統(tǒng)。深度學(xué)習(xí)作為當(dāng)前熱門(mén)的研究話(huà)題，在許多領(lǐng)域都取得了突破性的成就。利用深度學(xué)習(xí)挖掘用戶(hù)和物品的隱含屬性，構(gòu)建用戶(hù)和物品的關(guān)系模型，可以提高個(gè)性化推薦的精確度。本文介紹了推薦系統(tǒng)和深度學(xué)習(xí)，分析了深度學(xué)習(xí)在推薦領(lǐng)域的應(yīng)用現(xiàn)狀并做出了展望。

關(guān)鍵詞：推薦系統(tǒng);深度學(xué)習(xí);協(xié)同過(guò)濾;內(nèi)容推薦

中圖分類(lèi)號(hào)：TP301 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

1 ? 引 言（Introduction）

以往，人們對(duì)自己的需求非常簡(jiǎn)單明確，滿(mǎn)足他們的基本需求即可。例如在線(xiàn)購(gòu)物時(shí)，商城展現(xiàn)出的精細(xì)化分類(lèi)就能滿(mǎn)足用戶(hù)希望快速找到他們希望的物品要求。在如今的互聯(lián)網(wǎng)時(shí)代，人們?cè)谶x購(gòu)商品，挑選喜歡的音樂(lè)或者觀(guān)賞喜歡的電影時(shí)，原有的搜索引擎已經(jīng)滿(mǎn)足不了用戶(hù)的個(gè)性化需求。例如商城希望能夠在首頁(yè)就展示用戶(hù)偏好的物品，誘發(fā)用戶(hù)購(gòu)買(mǎi);或者當(dāng)用戶(hù)并未有明確目標(biāo)，隨意瀏覽購(gòu)物、電影、旅行等網(wǎng)站時(shí)，網(wǎng)站希望能夠?yàn)橛脩?hù)推薦與他興趣相關(guān)聯(lián)的項(xiàng)目。個(gè)性化的推薦系統(tǒng)不僅為用戶(hù)個(gè)人定制出了屬于他們自己的興趣清單，還能增加用戶(hù)的黏性，提高網(wǎng)站的流量與效益。

近年來(lái)，由于芯片處理能力的大力加強(qiáng)，計(jì)算機(jī)硬件的造價(jià)成本降低以及機(jī)器學(xué)習(xí)和信息處理研究取得了顯著的成果，深度學(xué)習(xí)再次進(jìn)入研究人員的視野并引領(lǐng)了機(jī)器學(xué)習(xí)朝著多方向發(fā)展。深度學(xué)習(xí)[1]在圖像識(shí)別，語(yǔ)言即時(shí)翻譯，汽車(chē)自動(dòng)駕駛等領(lǐng)域得到了廣泛應(yīng)用并取得了一系列卓越的成果。例如科大訊飛翻譯機(jī)，特斯拉無(wú)人駕駛汽車(chē)橫穿美國(guó)，大疆無(wú)人機(jī)等。深度學(xué)習(xí)技術(shù)也已經(jīng)擴(kuò)展到了推薦系統(tǒng)領(lǐng)域。

2 ?推薦系統(tǒng)概述（Overview of recommendation system）

如今，我們處于檢索和使用信息量迅速增加的時(shí)代，要從巨大的數(shù)據(jù)集中提取有用的信息，并且轉(zhuǎn)化為可使用的結(jié)構(gòu)，變得紛繁復(fù)雜。研究人員希望能有一種工具或者方法，能自動(dòng)地為目標(biāo)人群提供他們想要的信息，這就誕生了推薦系統(tǒng)。推薦系統(tǒng)可以根據(jù)用戶(hù)過(guò)去的歷史記錄和個(gè)人資料來(lái)判斷目標(biāo)用戶(hù)喜歡該商品的程度，根據(jù)排名判斷是否為用戶(hù)推薦商品。目前已經(jīng)針對(duì)不同的應(yīng)用開(kāi)發(fā)了許多推薦系統(tǒng)。推薦系統(tǒng)的核心部分就是推薦算法[2]，它主要分為三類(lèi)：基于內(nèi)容的推薦、協(xié)同過(guò)濾推薦以及混合推薦。

基于內(nèi)容的推薦算法[3]，僅通過(guò)單個(gè)用戶(hù)的行為記錄和數(shù)據(jù)來(lái)向用戶(hù)推薦，即首先分析特定用戶(hù)喜愛(ài)的商品特征，以確定可以用來(lái)描述這些商品的偏好，這些首選項(xiàng)存儲(chǔ)在用戶(hù)配置文件中，其次是將每個(gè)項(xiàng)目屬性與用戶(hù)個(gè)人資料進(jìn)行比較，以便僅將與用戶(hù)個(gè)人資料具有高度相似性的相關(guān)項(xiàng)目推薦給該特定用戶(hù)。常用的基于內(nèi)容的推薦應(yīng)用如網(wǎng)頁(yè)，新聞，文章和餐館之類(lèi)的文檔。

協(xié)同過(guò)濾推薦算法深受各領(lǐng)域喜愛(ài)，因此是一種最常用的算法[4]。協(xié)同過(guò)濾推薦算法的應(yīng)用程序中包含了非常大的數(shù)據(jù)集，這里面記錄了用戶(hù)的歷史行為，比如用戶(hù)對(duì)商品的點(diǎn)擊率，用戶(hù)對(duì)商品的評(píng)分，用戶(hù)曾購(gòu)買(mǎi)過(guò)該商品記錄等等。通過(guò)這些數(shù)據(jù)集，能夠預(yù)測(cè)出與用戶(hù)最相關(guān)聯(lián)的物品內(nèi)容并推薦給他。協(xié)同過(guò)濾可以進(jìn)一步分為基于用戶(hù)協(xié)同過(guò)濾，基于項(xiàng)目協(xié)同過(guò)濾和基于模型的協(xié)同過(guò)濾。

基于用戶(hù)的協(xié)同過(guò)濾算法先找到和目標(biāo)用戶(hù)愛(ài)好相似的用戶(hù)團(tuán)體，然后從用戶(hù)團(tuán)體中推薦目標(biāo)用戶(hù)未接觸過(guò)的商品。基于物品的協(xié)同過(guò)濾則給用戶(hù)推薦他們?cè)矚g過(guò)的類(lèi)似商品?；谀Ｐ偷膮f(xié)同過(guò)濾，是通過(guò)深層隱含關(guān)系建立用戶(hù)物品模型。例如矩陣分解，它將用戶(hù)和項(xiàng)目都表示成為潛在的矢量特征，投影到某個(gè)共享領(lǐng)域中，接著就能根據(jù)用戶(hù)的行為記錄建模為向量?jī)?nèi)積。模型學(xué)習(xí)的方法還可以使用數(shù)據(jù)挖掘技術(shù)或機(jī)器學(xué)習(xí)技術(shù)來(lái)完成，比如奇異值分解、降維技術(shù)、聚類(lèi)、決策樹(shù)和關(guān)聯(lián)規(guī)則等。

各種算法都有優(yōu)缺點(diǎn)?；谟脩?hù)的協(xié)同過(guò)濾側(cè)重于對(duì)用戶(hù)基數(shù)小的團(tuán)體進(jìn)行推薦?；谖锲返膮f(xié)同過(guò)濾展現(xiàn)出的是用戶(hù)對(duì)自己歷史愛(ài)好的繼承，因此它的內(nèi)在含義是物品之間的聯(lián)系?；谀Ｐ偷膮f(xié)同過(guò)濾推薦技術(shù)無(wú)法使用整個(gè)數(shù)據(jù)集，但可以從數(shù)據(jù)集中生成模型，并根據(jù)此模型推薦給用戶(hù)，同時(shí)它又能夠很好地節(jié)省離線(xiàn)計(jì)算的內(nèi)存。協(xié)同過(guò)濾算法在進(jìn)行推薦前會(huì)收集用戶(hù)的一些有關(guān)數(shù)據(jù)，例如網(wǎng)頁(yè)點(diǎn)擊數(shù)，視頻觀(guān)看時(shí)長(zhǎng)，聽(tīng)歌類(lèi)型等，而有些用戶(hù)剛注冊(cè)，系統(tǒng)無(wú)法找到與他們匹配的數(shù)據(jù)，那么就產(chǎn)生了冷啟動(dòng)問(wèn)題?；趦?nèi)容的推薦，考慮的是物品的特征屬性，是通過(guò)物品之間的本質(zhì)屬性達(dá)到推薦目的。因此，與協(xié)同過(guò)濾推薦算法相比，基于內(nèi)容的推薦算法用戶(hù)間依賴(lài)性少，并且由于根據(jù)商品屬性進(jìn)行推薦，那么它的可解釋性更強(qiáng)。各種推薦算法組成的混合推薦算法[5]可以彌補(bǔ)單一推薦算法的短板，達(dá)到揚(yáng)長(zhǎng)避短的效果。由于混合推薦系統(tǒng)能夠較好地發(fā)揮綜合能力，研究人員已將深度學(xué)習(xí)應(yīng)用到了混合推薦系統(tǒng)中。

3 ? 深度學(xué)習(xí)概述（Overview of deep learning）

深度學(xué)習(xí)源自人工神經(jīng)網(wǎng)絡(luò)，然后成為一門(mén)新學(xué)科[6]。深度學(xué)習(xí)與互聯(lián)網(wǎng)時(shí)代同步發(fā)展，互聯(lián)網(wǎng)的發(fā)展，使得世界各地的數(shù)據(jù)緊密地連在了一起，并且以驚人的速度遞增，提取數(shù)據(jù)中的有用信息具有難以估計(jì)的潛力，深度學(xué)習(xí)只需極短的時(shí)間就能夠快速準(zhǔn)確地從這些數(shù)據(jù)中提取有用信息。深度學(xué)習(xí)是一個(gè)學(xué)習(xí)過(guò)程，它包括估計(jì)模型參數(shù)，以便學(xué)習(xí)到的模型可以執(zhí)行特定任務(wù)。傳統(tǒng)程序以線(xiàn)性方式實(shí)現(xiàn)數(shù)據(jù)構(gòu)建分析，它們雖然可以有效地解決許多簡(jiǎn)單或受約束的問(wèn)題，但是它們的建模和表示性有限。深度學(xué)習(xí)是由形成層次結(jié)構(gòu)的幾層處理組成的，第一層處理原始數(shù)據(jù)輸入，并將其作為輸出傳遞到下一層，第二層通過(guò)包含的附加信息來(lái)處理前一層的信息，并傳遞其結(jié)果，下一層獲取第二層的信息，以此類(lèi)推，通過(guò)對(duì)每層數(shù)據(jù)的學(xué)習(xí)，深度學(xué)習(xí)能夠發(fā)現(xiàn)數(shù)據(jù)之間的聯(lián)系和規(guī)律。

對(duì)于結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)的機(jī)器學(xué)習(xí)就能夠處理得很好，但是對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)，機(jī)器難以理解。比如人類(lèi)可以輕松地判別出一張圖片里的男性和女性，但是計(jì)算機(jī)卻不能有效區(qū)分出來(lái)，隨著深度學(xué)習(xí)的研究，它使計(jì)算機(jī)能夠在這方面表現(xiàn)強(qiáng)勁。對(duì)于機(jī)器學(xué)習(xí)使用手工特征提取而言，深度學(xué)習(xí)的特征是自動(dòng)學(xué)習(xí)的，它能夠自動(dòng)學(xué)習(xí)用戶(hù)的任務(wù)，并且學(xué)習(xí)的過(guò)程能夠在數(shù)據(jù)變化中保持健壯性。深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，它具有高度的可擴(kuò)展性。在傳統(tǒng)的機(jī)器學(xué)習(xí)中，對(duì)于常規(guī)的數(shù)據(jù)量而言，它的性能表現(xiàn)良好，但當(dāng)數(shù)據(jù)不斷地增加時(shí)，機(jī)器學(xué)習(xí)的性能就顯得疲軟了，但深度學(xué)習(xí)卻能夠處理較多的數(shù)據(jù)量。

一般而言，深度架構(gòu)模型由多層組成，可以學(xué)習(xí)從低級(jí)功能到高級(jí)功能的層次結(jié)構(gòu)。深度學(xué)習(xí)架構(gòu)，根據(jù)體系結(jié)構(gòu)和技術(shù)的使用方式，可分為生成性深層體系結(jié)構(gòu)和判別性深層結(jié)構(gòu)兩類(lèi)，前者意在表現(xiàn)數(shù)據(jù)的高階相關(guān)屬性，以進(jìn)行模式分析或展現(xiàn)數(shù)據(jù)的聯(lián)合統(tǒng)計(jì)分布，后者意在直接為模式分類(lèi)提供判別力。

4 ? 基于深度學(xué)習(xí)的推薦系統(tǒng)應(yīng)用（Application of recommendation system based on deep learning）

深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用最早是由Hinton和他學(xué)生Salakhutdinov發(fā)表的一篇關(guān)于受限玻爾茲曼機(jī)應(yīng)用于推薦系統(tǒng)的論文[7]，后來(lái)不斷地涌現(xiàn)出學(xué)者及企業(yè)員工將深度學(xué)習(xí)應(yīng)用到推薦業(yè)務(wù)中去。深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用可分為：深度學(xué)習(xí)分別在基于內(nèi)容，協(xié)同過(guò)濾和混合推薦系統(tǒng)中的應(yīng)用。

4.1 ? 深度學(xué)習(xí)在基于內(nèi)容推薦系統(tǒng)中的應(yīng)用

在協(xié)同過(guò)濾推薦算法中，人們僅依靠用戶(hù)的評(píng)分對(duì)用戶(hù)和物品建模，而忽視了項(xiàng)目中的大量評(píng)論信息，合理利用這些評(píng)論信息則可以提高推薦質(zhì)量。文獻(xiàn)[8]使用評(píng)論信息，通過(guò)稱(chēng)為“深度合作神經(jīng)網(wǎng)絡(luò)”的深度神經(jīng)網(wǎng)絡(luò)模型對(duì)用戶(hù)和物品共同建模。它通過(guò)利用文本評(píng)論來(lái)學(xué)習(xí)用戶(hù)和商品的潛在隱性因素，從而使學(xué)習(xí)的因素可以估計(jì)用戶(hù)給出的評(píng)分。該模型由兩個(gè)并排的神經(jīng)網(wǎng)絡(luò)組成，彼此耦合，頂部有一個(gè)共享層，這個(gè)共享層是由矩陣分解技術(shù)推動(dòng)的，以使用戶(hù)和項(xiàng)目的潛在因素互通。作者提出的該模型是第一個(gè)使用評(píng)論聯(lián)合表示用戶(hù)和物品的深度模型，該模型具有可伸縮性并且適用于一些需要在線(xiàn)連續(xù)更新數(shù)據(jù)的方案模型。文獻(xiàn)[8]的另一個(gè)特點(diǎn)是，模型使用預(yù)訓(xùn)練的詞嵌入技術(shù)表示評(píng)論文本，以從評(píng)論中提取語(yǔ)義信息。實(shí)驗(yàn)結(jié)果顯示，該表示形式中評(píng)論的語(yǔ)義和情感態(tài)度可以提高評(píng)分預(yù)測(cè)的準(zhǔn)確性。作者還進(jìn)一步驗(yàn)證了該模型是否能解決冷啟動(dòng)問(wèn)題。在實(shí)驗(yàn)數(shù)據(jù)集上，作者根據(jù)用戶(hù)和項(xiàng)目的評(píng)論數(shù)對(duì)其進(jìn)行分類(lèi)，并分別為用戶(hù)和項(xiàng)目組繪制均方誤差的減少量。實(shí)驗(yàn)結(jié)果顯示，全部數(shù)據(jù)集中，均方差減少量都是正的，并且該模型可以在幾乎沒(méi)有任何評(píng)分的所有用戶(hù)和項(xiàng)目組上實(shí)現(xiàn)均方差減少。該模型的一個(gè)更重要的優(yōu)點(diǎn)是，對(duì)于評(píng)分較低的組，均方誤差減少的比例更高。這表明該模型可以緩解稀疏性問(wèn)題并有助于解決冷啟動(dòng)問(wèn)題。對(duì)于評(píng)分等級(jí)較低的用戶(hù)或項(xiàng)目，該模型的均方誤差降低幅度更大，它表示評(píng)論文本可能是有價(jià)值的信息，尤其是當(dāng)我們掌握的用戶(hù)或項(xiàng)目的信息有限時(shí)。

文獻(xiàn)[9]開(kāi)發(fā)了一種使用動(dòng)態(tài)關(guān)注深度模型的新聞文章推薦模型，以解決編輯為沒(méi)有明確選擇標(biāo)準(zhǔn)的目標(biāo)用戶(hù)推薦新聞文章的問(wèn)題。新聞推薦的這一階段是針對(duì)最終向目標(biāo)用戶(hù)進(jìn)行新聞推薦之前的一個(gè)步驟，在此階段，編輯者需要從不斷變化的各種新聞文章庫(kù)中選擇新聞文章的子集。文獻(xiàn)[9]通過(guò)自動(dòng)表示學(xué)習(xí)及其與元數(shù)據(jù)的交互來(lái)學(xué)習(xí)編輯者對(duì)動(dòng)態(tài)文章的選擇標(biāo)準(zhǔn)，以此自動(dòng)地從資源庫(kù)中選擇文章的子集。由于編輯者的選擇標(biāo)準(zhǔn)不明確并且編輯者的偏好也可能不同，那么這種問(wèn)題就不能通過(guò)常規(guī)的詞袋方法直接解決。因此，深度學(xué)習(xí)注意力模型用于生成復(fù)雜的功能來(lái)表示文章樣式，然后對(duì)編輯者是否喜歡該文章進(jìn)行分類(lèi)。

4.2 ? 深度學(xué)習(xí)在基于協(xié)同過(guò)濾的推薦系統(tǒng)中的應(yīng)用

文獻(xiàn)[10]改進(jìn)了變分自動(dòng)編碼器，用于對(duì)隱式反饋數(shù)據(jù)進(jìn)行協(xié)同過(guò)濾。以往協(xié)同過(guò)濾的研究模型主要使用的是線(xiàn)性因子模型，這種模型建模能力有限，文獻(xiàn)[10]提出了一種具有神經(jīng)網(wǎng)絡(luò)參數(shù)化的多項(xiàng)式似然函數(shù)的生成模型，并使用貝葉斯推理進(jìn)行參數(shù)估計(jì)，這種非線(xiàn)性的概率模型建模能力大大加強(qiáng)，并且結(jié)果顯示多項(xiàng)式似然函數(shù)特別適合對(duì)用戶(hù)項(xiàng)隱式反饋數(shù)據(jù)進(jìn)行建模。在改進(jìn)變分自動(dòng)編碼器的方法中，作者針對(duì)學(xué)習(xí)目標(biāo)引入了不同的正則化參數(shù)，并使用退火算法調(diào)參。經(jīng)過(guò)不同的數(shù)據(jù)集，實(shí)驗(yàn)后得出，改進(jìn)的方法較最常用的幾種推薦方法有了明顯的優(yōu)勢(shì)。在擴(kuò)展實(shí)驗(yàn)中，作者將潛在性協(xié)同過(guò)濾文獻(xiàn)中的多項(xiàng)式似然與其他常用似然函數(shù)進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明前者的效果極大地優(yōu)于后者。

文獻(xiàn)[11]提出了一種具有隱式反饋的協(xié)同排名的新神經(jīng)架構(gòu)，稱(chēng)作潛在關(guān)系度量學(xué)習(xí)模型（LRML），它是一種基于注意力的新型記憶增強(qiáng)神經(jīng)體系結(jié)構(gòu)，這是一種新穎的推薦度量方法。該模型使用潛在關(guān)系向量對(duì)度量空間中用戶(hù)與項(xiàng)目之間的潛在關(guān)系進(jìn)行建模，有助于減輕現(xiàn)有度量學(xué)習(xí)方法的潛在幾何不靈活性，實(shí)現(xiàn)更好的性能，而且還可以更大程度的提高建模能力，從而使模型可以擴(kuò)展到更多的交互。為了實(shí)現(xiàn)這個(gè)模型，作者采用了增強(qiáng)的內(nèi)存模塊，并學(xué)習(xí)如何參與這些內(nèi)存模塊來(lái)構(gòu)建內(nèi)存關(guān)系。基于內(nèi)存的注意力模塊由用戶(hù)-項(xiàng)目交互控制，使學(xué)習(xí)到的關(guān)系向量特定于每個(gè)用戶(hù)項(xiàng)對(duì)。實(shí)驗(yàn)結(jié)果顯示LRML優(yōu)于其他度量學(xué)習(xí)模型，并且LRML具有揭示隱式數(shù)據(jù)集中的隱藏關(guān)系結(jié)構(gòu)的能力。

4.3 ? 深度學(xué)習(xí)在混合推薦系統(tǒng)中的應(yīng)用

在協(xié)同過(guò)濾中，造成推薦結(jié)果不精準(zhǔn)的主要原因之一是用戶(hù)對(duì)項(xiàng)目評(píng)分?jǐn)?shù)據(jù)的稀疏性，而混合推薦算法卻能夠很好的解決這個(gè)問(wèn)題。最近興起的基于文檔建模的混合推薦方法，利用項(xiàng)目的描述文檔，例如評(píng)論，摘要或概要，以提高評(píng)分預(yù)測(cè)的準(zhǔn)確性。為了利用推薦系統(tǒng)中的項(xiàng)目描述文檔，文檔建模方法（例如潛在狄利克雷分配（LDA）和堆疊降噪自動(dòng)編碼器（SDAE）被用于混合推薦模型。但是，這存在兩個(gè)缺陷：（1）文檔建模使用的是詞袋模型，忽略了上下文信息例如句子之間的關(guān)系。（2）在基于文檔和項(xiàng)目的潛在因子建模中未明確地考慮高斯噪聲。文獻(xiàn)[12]為了解決第一個(gè)缺陷，作者開(kāi)發(fā)了一個(gè)文檔上下文感知模型：卷積矩陣分解（ConvMF）。它利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）能夠有效地捕獲文檔的上下文信息這一特點(diǎn)，提出了一種基于文檔上下文感知混合推薦方法，該方法將CNN集成到基于矩陣的協(xié)同過(guò)濾中，以將CNN應(yīng)用于推薦任務(wù)。這樣即使數(shù)據(jù)集非常稀疏，ConvMF仍可以準(zhǔn)確地預(yù)測(cè)未知評(píng)級(jí)。在以上的基礎(chǔ)上，為了解決缺陷二，作者開(kāi)發(fā)了健壯的卷積矩陣分解模型（R-ConvMF），通過(guò)引入新的項(xiàng)目潛在因素建模方法，提出了一種健壯的文檔上下文感知混合方法，為了明確地以不同的方式考慮高斯噪聲，新的潛在因子建模方法從概率角度使用帶有說(shuō)明文件的項(xiàng)的評(píng)級(jí)數(shù)，因此，通過(guò)更準(zhǔn)確地構(gòu)造項(xiàng)目的潛在因子，作者使初步模型不僅對(duì)稀疏而且對(duì)偏斜的數(shù)據(jù)集也更加健壯。結(jié)果顯示，該模型有效地解決了稀疏性問(wèn)題。另外，作者提出的方法僅使用用戶(hù)到項(xiàng)目的評(píng)級(jí)數(shù)據(jù)和項(xiàng)目的描述文件，因此該方法可以實(shí)時(shí)的應(yīng)用于互聯(lián)網(wǎng)公司（例如淘寶和豆瓣等）的推薦系統(tǒng)。

在新聞推薦中，用戶(hù)都希望獲得最新資訊，因此他們的關(guān)注點(diǎn)都在新聞內(nèi)容的新鮮度上面，但是用戶(hù)的關(guān)注方向不是一成不變的，他們可能呈現(xiàn)出階段性的變化，比如常關(guān)注籃球咨詢(xún)的NBA球迷，突然對(duì)足球產(chǎn)生了興趣。因此，新聞推薦中考慮用戶(hù)的動(dòng)態(tài)變化變得至關(guān)重要。文獻(xiàn)[13]提出了一種用于新聞推薦的深層神經(jīng)體系結(jié)構(gòu)，利用用戶(hù)與項(xiàng)目的交互，以及新聞（項(xiàng)目）的內(nèi)容來(lái)對(duì)用戶(hù)和項(xiàng)目的潛在特征進(jìn)行建模。論文中，作者僅關(guān)注用戶(hù)否閱讀了給定的文章，以及用戶(hù)閱讀文章的順序這些隱式反饋（閱讀順序則反映了用戶(hù)的興趣度）。為了方便對(duì)用戶(hù)的潛在特征進(jìn)行建模，作者使用雙向LSTM[14]，從用戶(hù)閱讀文章序列中獲取用戶(hù)隨著時(shí)間變化的靜態(tài)和動(dòng)態(tài)興趣。然后將用戶(hù)的閱讀歷史記錄作為L(zhǎng)STM的輸入，使用神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制獲得用戶(hù)的興趣程度，使用深度結(jié)構(gòu)化語(yǔ)義模型（DSSM）捕獲用戶(hù)和項(xiàng)目之間的相似性，最后使用用戶(hù)和項(xiàng)目之間的潛在向量計(jì)算內(nèi)積，向用戶(hù)推薦新聞。結(jié)果顯示，模型解決了用戶(hù)閱讀興趣變化，多樣化和冷啟動(dòng)的問(wèn)題。

5 ? 結(jié)論（Conclusion）

綜上所述，基于深度學(xué)習(xí)的推薦算法在個(gè)新性推薦領(lǐng)域展現(xiàn)出了優(yōu)異的成果，但是稀疏性和冷啟動(dòng)仍存在改善的空間，預(yù)計(jì)未來(lái)能夠誕生更多的深度學(xué)習(xí)推薦模型。開(kāi)發(fā)人員也正研究用于描述文檔的卷積自動(dòng)編碼器，當(dāng)評(píng)分?jǐn)?shù)據(jù)極為稀疏時(shí)，自動(dòng)編碼器的這種無(wú)監(jiān)督預(yù)訓(xùn)練會(huì)大大提高推薦的性能。

參考文獻(xiàn)（References）

[1] Lecun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，

521（7553）：436-444.

[2] Adomavicius G，Tuzhilin.Towards the Next Generation of Recommender Systems：A Survey of the State-of-the-Art and Possible Extensions[J].IEEE Transactions on Knowledge and Data Engineering，2005，17（6）：734-749.

[3] Mooney R J，Roy L.Content-based book recommending using learning for text categorization[C].Proceedings of the fifth ACM conference on Digital libraries，2000：195-204.

[4] Breese J S，Heckerman D，Kadie C.Empirical analysis of predictive algorithms for collaborative filtering[C].Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence，1998：43-52.

[5] Balabanovic M，Shoham Y.Fab：content-based，collaborative recommendation[J].Communications of the ACM，1997，40（3）：66-72.

[6] Jurgen S.Deep learning in neural networks：An overview[J].Neural networksm，2015（61）：85-117.

[7] Ruslan S，Andriy M，Geoffrey H.Restricted Boltzmann Machines for Collaborative Filtering[C].Proceedings of the 24th International Conference on Machine Learning，2007：791-798.

[8] Lei Z，Vahid N，Philip S.Joint Deep Modeling of Users and Items Using Reviews for Recommendation[C].Proceedings of the Tenth ACM International Conference on Web Search and Data Mining，2017：425-434.

[9] Xuejian W，Lantao Y，Kan R，et al.Dynamic Attention Deep Model for Article Recommendation by Learning Human Editors' Demonstration[C].Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2017：2051-2059.

[10] Dawen L，Rahul G K，Matthew D H，et al.Variational Autoencoders for Collaborative Filtering[C].Proceedings of the 2018 World Wide Web Conference，2018：689-698.

[11] Yi Tay，Luu A T，Siu C H.Latent relational metric learning via memory-based attention for collaborative ranking[C].Proceedings of the 2018 World Wide Web Conference，2018：729-739.

[12] Donghyun K，Chanyoung P，Jinoh O，et al.Deep hybrid recommender systems via exploiting document context and statistics of items[J].Information Sciences，2017（417）：72-87.

[13] Vaibhav K，Dhruv K，Shashank G，et al.Deep Neural Architecture for News Recommendation[C].in Working Notes of the 8th International Conference of the CLEF Initiative，2017：142-162.

[14] Mike S，Kuldip K P.Bidirectional recurrent neural networks[J].IEEE Transactions on Signal Processing，1997，45（11）：

2673-2681.

作者簡(jiǎn)介：

呂 ? 剛（1992-），男，碩士生.研究領(lǐng)域：推薦系統(tǒng).

張 ? 偉（1964-），女，碩士，副教授.研究領(lǐng)域：數(shù)據(jù)挖掘.