孟祥福，霍紅錦，張霄雁，王琬淳，朱金俠

遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院，遼寧 葫蘆島 125105

由于在線新聞服務(wù)的便利性和及時(shí)性，很多用戶的新聞閱讀習(xí)慣已經(jīng)從傳統(tǒng)報(bào)紙轉(zhuǎn)向了數(shù)字新聞內(nèi)容。然而每天都有大量新聞文章被創(chuàng)建和發(fā)布，用戶不可能通過瀏覽所有新聞來查找其感興趣的新聞。因此，個(gè)性化新聞推薦（personalized news recommendation，PNR）技術(shù)旨在根據(jù)用戶興趣偏好及其位置為用戶推薦新聞，是新聞平臺(tái)幫助用戶減輕信息過載、改善新聞閱讀體驗(yàn)的關(guān)鍵技術(shù)[1]。

個(gè)性化新聞推薦系統(tǒng)通過分析和處理原始新聞數(shù)據(jù)和用戶行為數(shù)據(jù)，結(jié)合不同的新聞推薦方法對(duì)新聞和用戶建模，充分提取新聞內(nèi)容特征，挖掘用戶偏好以生成新聞和用戶嵌入表示，其架構(gòu)如圖1 所示。當(dāng)用戶進(jìn)入個(gè)性化新聞推薦系統(tǒng)時(shí)，推薦引擎會(huì)根據(jù)用戶的閱讀歷史、位置、偏好等因素，從候選新聞集中選取滿足用戶需求和偏好的新聞并根據(jù)預(yù)測(cè)模型對(duì)候選新聞進(jìn)行排序，生成推薦列表并展示給用戶。例如，如果用戶之前閱讀過足球新聞，那么推薦系統(tǒng)可能向用戶推薦最新的世界杯賽事新聞；如果用戶位置在北京，那么推薦系統(tǒng)可能推薦北京地區(qū)的周邊新聞。此外，用戶界面還將為每個(gè)用戶顯示不同主題的新聞，收集用戶反饋并以此更新推薦結(jié)果，從而實(shí)現(xiàn)個(gè)性化的新聞推薦。

盡管PNR 技術(shù)已經(jīng)取得了顯著的進(jìn)展，但仍需進(jìn)一步提高個(gè)性化推薦水平，包括更全面地挖掘新聞?wù)Z義，更細(xì)粒度地提取用戶偏好和構(gòu)建更高效的個(gè)性化新聞推薦模型。隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，基于移動(dòng)端的個(gè)性化新聞推薦已成為主流趨勢(shì)。個(gè)性化移動(dòng)新聞推薦系統(tǒng)能夠隨時(shí)隨地向用戶提供新聞信息，具有良好的交互性，為用戶實(shí)時(shí)獲取新聞資訊帶來更加便捷舒適的體驗(yàn)。然而，移動(dòng)設(shè)備的屏幕尺寸較小、網(wǎng)絡(luò)質(zhì)量不穩(wěn)定和使用場(chǎng)景的多變性可能會(huì)影響個(gè)性化新聞推薦系統(tǒng)的效果和效率，這仍是未來個(gè)性化移動(dòng)新聞推薦研究亟待解決的重要問題。

傳統(tǒng)的新聞推薦方法主要分為三類：基于協(xié)同過濾（collaborative filtering，CF）、基于內(nèi)容和混合推薦方法。其中，基于協(xié)同過濾的推薦算法旨在通過分析用戶行為來發(fā)現(xiàn)新聞或用戶之間的相關(guān)性并相應(yīng)地向用戶推薦新聞。Dong 等人[2]采用協(xié)同過濾算法來預(yù)測(cè)用戶評(píng)分并在計(jì)算用戶相似性時(shí)添加新聞熱點(diǎn)參數(shù)來改進(jìn)相關(guān)系數(shù)公式，緩解了用戶評(píng)分矩陣數(shù)據(jù)的稀疏性。Wang 等人[3]結(jié)合協(xié)同過濾和概率主題模型的特點(diǎn)，為用戶和新聞提供一個(gè)可解釋的潛在結(jié)構(gòu)。然而，早期的協(xié)同過濾算法通常只使用描述性特征（如ID 和屬性）構(gòu)建用戶和新聞嵌入，未考慮用戶與新聞交互之間豐富的語義信息，存在數(shù)據(jù)稀疏和冷啟動(dòng)問題。因此，基于內(nèi)容的推薦算法通過提取新聞文章中的語義及上下文特征來緩解上述問題，其核心在于對(duì)推薦對(duì)象的內(nèi)容特征的挖掘以及基于內(nèi)容特征和用戶行為的興趣模型的構(gòu)建。Okura 等人[4]基于新聞間的相似性來學(xué)習(xí)新聞嵌入表示，并引入主題信息來豐富新聞建模。Liu 等人[5]提出一種基于用戶點(diǎn)擊行為的新聞推薦方法，采用貝葉斯模型根據(jù)用戶對(duì)不同新聞主題的文章的點(diǎn)擊分布來學(xué)習(xí)用戶的興趣表示?；旌贤扑]算法是指上述兩種或兩種以上推薦算法的組合。Bansal等人[6]將主題模型、貝葉斯模型及協(xié)同過濾方法整合為統(tǒng)一框架來推薦用戶可能會(huì)評(píng)論的文章。Lu 等人[7]將基于內(nèi)容和協(xié)同過濾技術(shù)相結(jié)合，根據(jù)新聞文本豐富的上下文信息向用戶進(jìn)行推薦并采用協(xié)同過濾技術(shù)分析長尾用戶的稀缺反饋。然而，混合推薦算法仍存在數(shù)據(jù)異構(gòu)性、數(shù)據(jù)稀疏性和冷啟動(dòng)問題等缺點(diǎn)。

深度學(xué)習(xí)（deep learning，DL）已成為人工智能時(shí)代的新熱潮并在推薦系統(tǒng)中得到廣泛應(yīng)用[8]。目前已有多篇相關(guān)綜述性論文介紹個(gè)性化新聞推薦領(lǐng)域技術(shù)，如：黃立威等人[9]和余力等人[10]分別從深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)角度提及了個(gè)性化新聞推薦技術(shù)；田萱等人[11]從深度學(xué)習(xí)角度剖析了個(gè)性化新聞推薦算法；王紹卿等人[12]和孟祥武等人[13]分別從個(gè)性化推薦框架和移動(dòng)推薦角度介紹了新聞推薦算法等。為了更系統(tǒng)地、全面地分析個(gè)性化新聞推薦技術(shù)，本文從深度學(xué)習(xí)技術(shù)角度進(jìn)一步論述個(gè)性化新聞推薦技術(shù)的研究進(jìn)展，著重總結(jié)了基于圖結(jié)構(gòu)學(xué)習(xí)的個(gè)性化新聞推薦方法并從新聞推薦的核心對(duì)象（即用戶和新聞）角度全面分析深度學(xué)習(xí)技術(shù)對(duì)于個(gè)性化新聞推薦的特點(diǎn)和優(yōu)勢(shì)。

1 個(gè)性化新聞推薦概述

與電影、商品、旅游、音樂等領(lǐng)域的推薦方法不同，個(gè)性化新聞推薦具有高度的時(shí)間敏感性，并且受上下文因素和社交因素的影響較大。由于新聞內(nèi)容通常與當(dāng)前事件和話題相關(guān)，個(gè)性化新聞推薦系統(tǒng)需及時(shí)捕捉用戶偏好并據(jù)此動(dòng)態(tài)地更新和調(diào)整推薦的新聞內(nèi)容。相比之下，其他領(lǐng)域推薦通常具有相對(duì)較長的內(nèi)容生命周期。一旦發(fā)布，它們可能在一段時(shí)間內(nèi)保持相對(duì)穩(wěn)定的特性和信息，因此更新頻率相對(duì)較低。此外，由于新聞數(shù)據(jù)增長迅速，對(duì)個(gè)性化新聞推薦系統(tǒng)的可擴(kuò)展性也提出了更高要求。表1 給出了個(gè)性化新聞推薦與其他領(lǐng)域推薦方法受上下文因素、社交因素、時(shí)間因素和可擴(kuò)展性方面影響程度的對(duì)比結(jié)果。

1.1 個(gè)性化新聞推薦

1.1.1 基于時(shí)間的新聞推薦

基于時(shí)間的新聞推薦包含時(shí)效性和實(shí)時(shí)性兩個(gè)方面。時(shí)效性是新聞推薦區(qū)別于其他推薦的本質(zhì)特征，發(fā)布時(shí)間較久的新聞往往會(huì)失去它作為新聞的價(jià)值。實(shí)時(shí)性是根據(jù)用戶當(dāng)前行為（如下拉、滑動(dòng)等），個(gè)性化新聞推薦系統(tǒng)實(shí)時(shí)更新推薦結(jié)果，快速反映用戶的興趣變化，給用戶視覺上的沖擊與強(qiáng)感知。Liu等人[14]設(shè)計(jì)一個(gè)時(shí)間模塊來強(qiáng)調(diào)新聞新鮮度對(duì)推薦結(jié)果的影響，通過預(yù)測(cè)用戶在每篇新聞文章上花費(fèi)的“活躍時(shí)間”來模擬及時(shí)性對(duì)新聞推薦結(jié)果的影響。實(shí)驗(yàn)表明，該方法提高了新聞推薦的時(shí)效性并促進(jìn)了最新發(fā)布新聞的傳播，但在一定程度上削弱了用戶興趣的主導(dǎo)地位。因此，個(gè)性化新聞推薦需要考慮新聞時(shí)效性和用戶偏好之間的平衡。

1.1.2 基于位置的新聞推薦

移動(dòng)用戶閱讀新聞的地理位置并不固定，考慮用戶閱讀新聞的位置能更加準(zhǔn)確地獲取用戶當(dāng)前的閱讀偏好，也更符合用戶的實(shí)際需求。袁仁進(jìn)等人[15]將新聞事件的地理位置引入新聞推薦模型中，提出一種顧及事件地理位置的個(gè)性化新聞推薦方法（news recommendation algorithm considering geographical position，NCGP）。該方法通過設(shè)計(jì)一個(gè)提取新聞事件發(fā)生地的算法并采用向量空間模型表示新聞特征向量并分別對(duì)有地理位置和無地理位置的新聞集構(gòu)建用戶興趣模型。Chen等人[16]提出一種顯式語義分析方法（location-aware personalized news recommendation with explicit semantic analysis，LP-ESA），利用用戶的個(gè)人興趣和地理上下文信息進(jìn)行新聞推薦。然而，LP-ESA 中基于維基百科的主題空間存在高維性、稀疏性和冗余性等問題，為此進(jìn)行改進(jìn)提出具有深度語義分析的位置感知推薦方法，采用深度神經(jīng)網(wǎng)絡(luò)為用戶、新聞和位置提取密集、抽象、低維和有效的特征表示。Xu 等人[17]提出一個(gè)專為移動(dòng)用戶設(shè)計(jì)的個(gè)性化新聞推薦框架（MobiFeed），將路徑預(yù)測(cè)引入基于位置的個(gè)性化新聞推薦中并根據(jù)用戶的移動(dòng)軌跡，實(shí)時(shí)向用戶推薦位置相關(guān)的新聞。基于位置的個(gè)性化新聞推薦有利于用戶發(fā)現(xiàn)其附近的新聞，捕捉當(dāng)下周圍環(huán)境中所發(fā)生的事情，但該方面研究趨向于提高位置匹配精確度而往往忽略了位置感知的用戶偏好。

1.1.3 基于社交網(wǎng)絡(luò)的新聞推薦

社交網(wǎng)絡(luò)是一個(gè)由個(gè)體節(jié)點(diǎn)以及反映個(gè)體之間特定關(guān)系的邊所組成的圖，能夠向用戶提供一個(gè)交友、分享資訊的平臺(tái)，在一定程度上起到了信息傳播和流通的作用。社交信息通常包含用戶及其朋友活動(dòng)的最新信息，反映了用戶興趣的動(dòng)態(tài)性和多樣性。Saravanapriya 等人[18]提出一種多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)，通過挖掘社交媒體來預(yù)測(cè)用戶的多標(biāo)簽興趣并根據(jù)用戶感興趣的標(biāo)簽來確定最受歡迎的新聞文章。Ashraf 等人[19]將用戶的社交媒體偏好和新聞?lì)悇e間的關(guān)系進(jìn)行建模并通過從社交媒體中獲取的用戶興趣來進(jìn)行新聞排名。Yang 等人[20]將知識(shí)圖譜和社交網(wǎng)絡(luò)集成到新聞推薦中，采用改進(jìn)的抽樣機(jī)制對(duì)社交網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行量化并采用隨機(jī)游走抽樣策略來獲取社交網(wǎng)絡(luò)中的鄰居。實(shí)驗(yàn)表明，融合社交因素的新聞推薦能夠動(dòng)態(tài)捕捉用戶興趣變化，進(jìn)而提升新聞推薦效果。

1.1.4 基于會(huì)話的新聞推薦

基于會(huì)話的新聞推薦旨在通過在短時(shí)間內(nèi)基于用戶偏好對(duì)序列信息進(jìn)行建模，根據(jù)用戶的短期會(huì)話為用戶提供個(gè)性化的閱讀建議。Moreira 等人[21]提出一種基于會(huì)話的新聞推薦深度學(xué)習(xí)元架構(gòu)，將新聞內(nèi)容和上下文特征相結(jié)合并采用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）建模用戶時(shí)序興趣。Meng等人[22]將環(huán)境、突發(fā)新聞及新聞內(nèi)容相結(jié)合，提出一個(gè)基于會(huì)話的上下文感知興趣漂移網(wǎng)絡(luò)（context-aware interest drift network，CaIDN），采用雙向注意力循環(huán)網(wǎng)絡(luò)有效地從各方面捕捉用戶閱讀興趣的漂移，提高用戶興趣的動(dòng)態(tài)性和多樣性。然而，現(xiàn)有的基于會(huì)話的新聞推薦方法集中從新聞文章和交互序列中提取特征，通常忽略了新聞文章間的語義結(jié)構(gòu)信息。Sheu 等人[23]提出一種基于會(huì)話的新聞推薦上下文感知圖嵌入框架，利用知識(shí)圖譜來豐富文章中的實(shí)體語義并采用圖卷積網(wǎng)絡(luò)（graph convolution network，GCN）進(jìn)一步細(xì)化文章嵌入。

1.1.5 基于多模態(tài)的新聞推薦

大多數(shù)現(xiàn)有的新聞表征方法通常只從新聞文本中學(xué)習(xí)新聞表示，而忽略了新聞中的視覺信息（如圖片、動(dòng)畫等）。事實(shí)上，用戶點(diǎn)擊新聞不僅是由于對(duì)新聞標(biāo)題感興趣，也有可能被多模態(tài)特征（如圖像、音頻和視頻等）所吸引。因此，融合視覺和文本信息來學(xué)習(xí)多模態(tài)特征對(duì)于新聞建模和預(yù)測(cè)新聞點(diǎn)擊率尤為重要。Guo 等人[24]融合多模態(tài)特征來學(xué)習(xí)新聞表征并將用戶興趣表示為多模態(tài)信息，提出一種基于深度強(qiáng)化學(xué)習(xí)的新聞推薦方法。Wu等人[25]采用預(yù)訓(xùn)練視覺語言模型對(duì)新聞文本和從新聞圖像中提取的感興趣的區(qū)域圖像進(jìn)行編碼，提出一種多模態(tài)新聞推薦方法。Xun 等人[26]采用視覺語義建模的方法來捕獲用戶瀏覽新聞時(shí)所感知的視覺印象信息，從而更加深入地理解用戶閱讀新聞的過程。實(shí)驗(yàn)表明，融入多模態(tài)特征的新聞推薦能夠更全面地描述新聞內(nèi)容，提高新聞推薦的效果和準(zhǔn)確性。

1.2 個(gè)性化新聞推薦與傳統(tǒng)新聞推薦的區(qū)別

與單純基于新聞熱度、新聞新鮮度等非個(gè)性化因素來推薦新聞的方法不同，個(gè)性化新聞推薦需要深入考慮每個(gè)用戶的興趣偏好，并根據(jù)新聞內(nèi)容、位置、類型等與用戶偏好的匹配程度來提供個(gè)性化新聞推薦服務(wù)。與傳統(tǒng)新聞推薦系統(tǒng)相比，PNR 在滿足用戶個(gè)性化需求基礎(chǔ)上，還有以下幾方面特點(diǎn)：

（1）多樣性：推薦結(jié)果多元化長期影響用戶體驗(yàn)及參與度，是提供高質(zhì)量個(gè)性化新聞推薦的重要因素。然而，現(xiàn)有大多數(shù)新聞推薦方法只追求提高推薦精度，往往忽略了新聞推薦的多樣性。因此，Wu等人[27]提出一種多樣性感知的新聞推薦方法，以端到端的方式生成具有多樣性的新聞推薦列表并采用多樣性感知正則化方法來鼓勵(lì)模型進(jìn)行可控的多樣性感知推薦，在新聞推薦的準(zhǔn)確性和多樣性之間實(shí)現(xiàn)良好的平衡。由于新聞中通常帶有某種類型的情感傾向，Wu 等人[28]提出一種情感多樣性感知新聞推薦方法，將情感信息通過感知情感的新聞編碼器融入新聞建模中并基于候選新聞的情感取向建模用戶興趣，有效地向用戶推薦具有不同情感的新聞以提高新聞推薦的多樣性。

（2）時(shí)效性：新聞時(shí)效性是新聞的“生命”，以最快的速度將新聞傳遞給讀者是新聞發(fā)布和傳播的核心。但現(xiàn)有新聞推薦算法往往缺少對(duì)新聞時(shí)效性的掌控，Liu等人[14]設(shè)計(jì)一個(gè)雙任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型，采用一個(gè)擴(kuò)展的時(shí)間模塊來細(xì)化新聞表示并通過預(yù)測(cè)用戶在每篇新聞上的活躍時(shí)間（即從用戶點(diǎn)擊打開新聞文章頁面到用戶點(diǎn)擊關(guān)閉頁面的時(shí)間間隔）來學(xué)習(xí)用戶向量表示。同步進(jìn)行新聞推薦和活躍時(shí)間預(yù)測(cè)的多任務(wù)學(xué)習(xí)框架明確模擬了及時(shí)性對(duì)新聞推薦的影響?？紤]到用戶興趣與時(shí)間變化的相關(guān)性，Qin 等人[29]利用艾賓浩斯遺忘曲線構(gòu)造基于時(shí)間的函數(shù)并將其集成到用戶興趣建模中進(jìn)行時(shí)間加權(quán)更新，從而實(shí)現(xiàn)用戶興趣建模的實(shí)時(shí)更新以提高新聞推薦的時(shí)效性。

（3）流行性：現(xiàn)有方法通常利用新聞標(biāo)題、摘要、實(shí)體等信息或?qū)⒁恍┹o助任務(wù)添加到多任務(wù)學(xué)習(xí)框架中來預(yù)測(cè)點(diǎn)擊率（click-through rate，CTR）。然而，很少有方法將預(yù)測(cè)新聞的流行程度和用戶對(duì)流行新聞的關(guān)注程度綜合考慮到預(yù)測(cè)結(jié)果中。Wang等人[30]提出一種流行度增強(qiáng)的新聞推薦方法（popularityenhanced news recommendation，PENR），將預(yù)測(cè)新聞流行度的得分添加到最終的點(diǎn)擊率預(yù)測(cè)中，利用新聞流行度來模擬用戶關(guān)注熱點(diǎn)新聞的傾向程度。由于新聞流行度受許多不同因素影響（如新聞內(nèi)容和新鮮度），Qi等人[31]提出一種將新聞內(nèi)容、新聞新鮮度和實(shí)時(shí)性點(diǎn)擊率相結(jié)合的方法來預(yù)測(cè)候選新聞的流行程度，以更全面的時(shí)間感知方式預(yù)測(cè)新聞推薦的流行性。此外，流行度感知用戶編碼器根據(jù)點(diǎn)擊新聞的內(nèi)容和流行度生成用戶興趣嵌入，消除用戶行為中的流行度偏差，學(xué)習(xí)更精確的用戶興趣表示以捕捉流行新聞中不同用戶的個(gè)性化偏好。

2 個(gè)性化新聞推薦系統(tǒng)關(guān)鍵技術(shù)

2.1 個(gè)性化新聞推薦總體框架

個(gè)性化新聞推薦是一種向人們提供滿足其個(gè)性化閱讀興趣的新聞的重要技術(shù)，通常包含三個(gè)重要部分。首先，利用新聞編碼器從新聞內(nèi)容或其他特征中學(xué)習(xí)新聞表示。其次，利用用戶編碼器從用戶的歷史點(diǎn)擊新聞中準(zhǔn)確地學(xué)習(xí)用戶表示。最后，根據(jù)候選新聞與用戶興趣之間的相關(guān)性對(duì)候選新聞進(jìn)行排序。高質(zhì)量的新聞推薦在很大程度上依賴于對(duì)新聞文章和用戶興趣的準(zhǔn)確和及時(shí)表示。因此，新聞推薦方法通常采用新聞-用戶表示學(xué)習(xí)框架來學(xué)習(xí)不同的新聞和用戶嵌入向量表示（如圖2所示）。

圖2 新聞-用戶表示學(xué)習(xí)框架Fig.2 News-user presentation learning framework

新聞-用戶表示學(xué)習(xí)框架的核心在于如何準(zhǔn)確地匹配用戶興趣和候選新聞。首先，新聞編碼器和用戶編碼器對(duì)新聞文章和用戶興趣進(jìn)行特征提取和向量化，并采用深度學(xué)習(xí)或傳統(tǒng)機(jī)器學(xué)習(xí)方法習(xí)得新聞-用戶的嵌入向量表示。其次，通過計(jì)算新聞-用戶向量之間的相似度，得到新聞?wù)Z義信息與用戶偏好信息的匹配程度并對(duì)候選新聞進(jìn)行排序。最后，點(diǎn)擊預(yù)測(cè)得分越高，用戶點(diǎn)擊候選新聞的概率就越大。新聞-用戶表示學(xué)習(xí)框架能夠整合多源信息（如用戶瀏覽記錄、閱讀時(shí)間及位置、社交媒體信息等），自動(dòng)從大量數(shù)據(jù)中學(xué)習(xí)新聞和用戶特征，為用戶提供個(gè)性化、準(zhǔn)確和高效的新聞推薦服務(wù)。

2.2 基于深度學(xué)習(xí)的新聞推薦

基于深度學(xué)習(xí)的個(gè)性化新聞推薦技術(shù)是指通過學(xué)習(xí)多個(gè)非線性網(wǎng)絡(luò)結(jié)構(gòu)來描述用戶和新聞表示，從復(fù)雜的內(nèi)容中自動(dòng)學(xué)習(xí)高級(jí)有效的特征，解決了傳統(tǒng)推薦算法過于依賴人工提取特征的問題。常見的深度學(xué)習(xí)模型包括自編碼器（auto-encoder，AE）[4]、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[21,32]、循環(huán)神經(jīng)網(wǎng)絡(luò)[33-34]、注意力機(jī)制（attention mechanism，AM）[35-39]等，這些模型在不同的新聞建模和用戶建模上展示出優(yōu)越的性能。

2.2.1 新聞建模

新聞建模能夠捕捉新聞文章的特征并理解其豐富的文本內(nèi)容，是個(gè)性化新聞推薦方法中的關(guān)鍵步驟。基于深度學(xué)習(xí)的新聞建模方法旨在從原始輸入中自動(dòng)學(xué)習(xí)新聞嵌入表示。例如，Okura 等人[4]使用去噪自編碼器從新聞文本中學(xué)習(xí)新聞表示。Moreira等人[21]采用CNN 網(wǎng)絡(luò)對(duì)新聞內(nèi)容進(jìn)行卷積以生成新聞嵌入表示。Zhu 等人[32]采用兩個(gè)最大池化并行CNN 網(wǎng)絡(luò)從新聞標(biāo)題中學(xué)習(xí)新聞的隱藏特征表示。CNN網(wǎng)絡(luò)在新聞建模中被廣泛應(yīng)用，但難以捕捉長距離的文字交互，不適合長序列新聞推薦任務(wù)。因此，一些研究采用AM 擴(kuò)展神經(jīng)網(wǎng)絡(luò)，通過選擇重要信息來構(gòu)建新聞表示，提高文本特征提取的準(zhǔn)確性[35-39]。Wu 等人[35-37]提出基于多頭自注意力機(jī)制的新聞推薦方法，通過捕捉遠(yuǎn)距離詞之間的相互作用以增強(qiáng)新聞特征的表征能力。此外，還提出利用個(gè)性化注意力網(wǎng)絡(luò)學(xué)習(xí)新聞標(biāo)題的語義表示和利用自注意力機(jī)制來學(xué)習(xí)新聞標(biāo)題和正文中的詞語語義表示并采用交互式注意力網(wǎng)絡(luò)來建模標(biāo)題和正文間的關(guān)系。近年來，BERT（bidirectional encoder representations from transformers）[40]、Transformer[41]等大型預(yù)訓(xùn)練語言模型（pre-trained language models，PLMs）在對(duì)新聞文本中復(fù)雜的上下文信息方面具有更強(qiáng)的建模能力，其在個(gè)性化新聞推薦中得到廣泛應(yīng)用[42-46]。例如，Zhang 等人[44]將新聞文本串聯(lián)起來納入BERT 模型中，同時(shí)捕獲詞級(jí)和新聞級(jí)多粒度用戶-新聞匹配信號(hào)以增強(qiáng)文本表達(dá)。Huang 等人[45]提出一種自適應(yīng)Transformer 模型來學(xué)習(xí)用戶和候選新聞之間的深度交互，有效地將歷史點(diǎn)擊新聞和候選新聞集成到其中以捕獲它們固有的相關(guān)性。然而，大型預(yù)訓(xùn)練模型在輸入多領(lǐng)域信息時(shí)可能會(huì)產(chǎn)生壓縮類別和實(shí)體信息的淺層特征編碼與深度BERT 編碼不兼容的問題。因此，Bi 等人[46]提出一個(gè)多任務(wù)學(xué)習(xí)框架，將多領(lǐng)域信息整合到BERT 中以提高新聞編碼的能力。表2 總結(jié)了近年來基于深度學(xué)習(xí)方法的新聞信息表示和個(gè)性化新聞建模技術(shù)。雖然上述基于深度學(xué)習(xí)的方法可以自動(dòng)學(xué)習(xí)新聞表示，但未充分利用相關(guān)實(shí)體及實(shí)體間的關(guān)系信息。因此，一些研究嘗試構(gòu)造圖數(shù)據(jù)結(jié)構(gòu)來挖掘新聞的潛在知識(shí)級(jí)聯(lián)系，本文將在2.3節(jié)詳細(xì)介紹。

表2 基于深度學(xué)習(xí)技術(shù)的不同新聞建模方法比較Table 2 Comparison of different news modeling methods based on deep learning

2.2.2 用戶建模

用戶建模旨在推斷用戶對(duì)新聞文章的偏好，是個(gè)性化新聞推薦系統(tǒng)中的關(guān)鍵步驟。用戶建模通常從用戶歷史點(diǎn)擊行為中推斷用戶的興趣和偏好。例如，Wu 等人[38]采用注意力網(wǎng)絡(luò)從點(diǎn)擊新聞的表示中學(xué)習(xí)用戶興趣表示。Zhang等人[47]利用AM 聚合點(diǎn)擊新聞和候選新聞的不同信息以建模用戶。然而，上述方法未充分考慮用戶歷史閱讀的順序信息的影響，其能夠更好地反映一段時(shí)間內(nèi)用戶興趣的變化和多樣性。為進(jìn)一步考慮用戶的點(diǎn)擊順序，一些研究采用RNN來建模點(diǎn)擊序列中的依賴關(guān)系以更好地模擬用戶興趣[32-33,48-49]。Okura 等人[4]采用門控循環(huán)單元（gated recurrent unit，GRU）網(wǎng)絡(luò)從用戶瀏覽的新聞表示中學(xué)習(xí)用戶嵌入表示。Zhu等人[32]采用長短期記憶（long short-term memory，LSTM）網(wǎng)絡(luò)來捕獲用戶點(diǎn)擊歷史中更豐富的隱藏序列特征。然而，上述方法雖然增強(qiáng)了用戶興趣的動(dòng)態(tài)表示，但在捕獲用戶全局興趣方面仍較薄弱。因此，An等人[33]提出長短期興趣結(jié)合的混合新聞推薦方法（neural news recommendation with long-and short-term user representation，LSTUR），通過GRU 網(wǎng)絡(luò)學(xué)習(xí)用戶短期興趣嵌入并通過用戶ID嵌入建模用戶長期興趣。

上述方法主要依賴用戶點(diǎn)擊行為信息來建模用戶，通常用戶的點(diǎn)擊行為比較雜亂，僅從點(diǎn)擊反饋中很難全面準(zhǔn)確地推斷用戶興趣。因此，一些研究將其他類型的用戶信息納入其中以增強(qiáng)用戶興趣建模能力[21,34,39,50]。一種方法是通過添加上下文信息來建模用戶偏好。例如，Moreira 等人[21]引入時(shí)間、設(shè)備、位置等上下文信息，采用UGRNN（update gate RNN）網(wǎng)絡(luò)來學(xué)習(xí)用戶偏好表示。另一種方法是考慮多種類型的用戶行為。例如，Wu等人[50]考慮了新聞點(diǎn)擊、搜索查詢和瀏覽網(wǎng)頁等多種用戶行為并分別從每種行為中學(xué)習(xí)用戶嵌入以作為用戶的不同興趣特征。Wu 等人[39]在用戶建模中考慮了用戶點(diǎn)擊和閱讀行為，從被點(diǎn)擊新聞的標(biāo)題中模擬用戶的點(diǎn)擊偏好并從被點(diǎn)擊新聞的主體中模擬用戶的閱讀滿意度。

此外，一些研究結(jié)合多種顯隱式反饋來推斷積極和消極的用戶興趣以增強(qiáng)用戶興趣建模能力[51-54]。Wu等人[51]利用強(qiáng)反饋表示從隱式弱反饋中提取積極和消極的用戶興趣以實(shí)現(xiàn)準(zhǔn)確的用戶興趣建模。Wu等人[52]提出一種隱式負(fù)反饋新聞推薦方法，根據(jù)新聞點(diǎn)擊的閱讀停留時(shí)間來區(qū)分正、負(fù)新聞點(diǎn)擊并通過附加注意力網(wǎng)絡(luò)分別從中學(xué)習(xí)用戶表示。然而，現(xiàn)有方法通常將用戶點(diǎn)擊的新聞獨(dú)立編碼后將其聚合到用戶嵌入中，忽略了來自同一用戶的不同點(diǎn)擊新聞之間的詞級(jí)交互。Qi 等人[55]提出一種細(xì)粒度的快速用戶建模框架，從細(xì)粒度的行為交互中建模用戶興趣，利用交互行為中所包含的詳細(xì)線索來推斷用戶的興趣。表3 總結(jié)了近年來基于深度學(xué)習(xí)方法的用戶信息表示和用戶建模技術(shù)。雖然上述基于深度學(xué)習(xí)的方法可以自動(dòng)學(xué)習(xí)新聞表示，但未充分考慮用戶與新聞之間的高階關(guān)系。因此，一些研究嘗試構(gòu)造圖數(shù)據(jù)結(jié)構(gòu)來挖掘更深層的用戶興趣特征，本文將在2.3節(jié)詳細(xì)介紹。

表3 基于深度學(xué)習(xí)技術(shù)的不同用戶建模方法比較Table 3 Comparison of different user modeling methods based on deep learning

2.3 基于圖結(jié)構(gòu)學(xué)習(xí)的新聞推薦

圖結(jié)構(gòu)是一種非線性的復(fù)雜數(shù)據(jù)結(jié)構(gòu)。在基于深度學(xué)習(xí)的個(gè)性化新聞推薦領(lǐng)域中，圖結(jié)構(gòu)通常被用來建立多個(gè)用戶與多個(gè)新聞之間的交互關(guān)系，其中所反映的用戶與新聞之間的高階連接性蘊(yùn)含著豐富的特征信息。近年來，圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）在圖結(jié)構(gòu)上的學(xué)習(xí)能力逐漸凸顯，因其基于節(jié)點(diǎn)特征和圖結(jié)構(gòu)數(shù)據(jù)的強(qiáng)大特征表達(dá)能力受到廣泛關(guān)注[56-59]。在基于深度學(xué)習(xí)的個(gè)性化新聞推薦中，圖神經(jīng)網(wǎng)絡(luò)在建模用戶與新聞之間的高階連接性上具有強(qiáng)大表征能力。本節(jié)主要介紹基于圖結(jié)構(gòu)學(xué)習(xí)的個(gè)性化新聞推薦模型，包含用戶-新聞交互圖、知識(shí)圖譜及社交關(guān)系圖，其分類標(biāo)準(zhǔn)如圖3所示。

2.3.1 基于用戶-新聞交互圖的新聞推薦

用戶-新聞交互圖是一種描述不同用戶與新聞之間交互行為的圖結(jié)構(gòu)?；谟脩?新聞交互圖的新聞推薦將用戶與新聞交互數(shù)據(jù)作為主要信息源，通過分析交互信息來捕獲用戶和新聞的特征及高階的、復(fù)雜的關(guān)系以進(jìn)行個(gè)性化的新聞推薦。Ge 等人[56]將用戶與新聞間的交互信息建模為圖結(jié)構(gòu)并設(shè)計(jì)二跳圖學(xué)習(xí)模塊，采用圖注意力網(wǎng)絡(luò)（graph attention network，GAT）聚合新聞和用戶的鄰居嵌入，增強(qiáng)對(duì)應(yīng)特征的表達(dá)能力。Hu 等人[57]在用戶-新聞二分圖的基礎(chǔ)上，通過鄰域路由機(jī)制對(duì)用戶的潛在偏好因素解離合，提高了表示的表達(dá)性和可解釋性。事實(shí)上，圖結(jié)構(gòu)能夠融合個(gè)性化新聞推薦系統(tǒng)中的多源異構(gòu)數(shù)據(jù)。因此，一些研究將用戶和新聞信息描述為異構(gòu)圖（heterogeneous graph，HG），并采用先進(jìn)的圖學(xué)習(xí)方法進(jìn)一步豐富用戶和新聞圖表示[58-59]。Hu等人[58]構(gòu)造了一個(gè)用戶-新聞-主題異構(gòu)圖來顯式建模用戶、新聞和潛在主題之間的交互，合并的潛在主題信息可以有效緩解數(shù)據(jù)的稀疏性，豐富新聞的語義表示。在此基礎(chǔ)上，Ji等人[59]將用戶在頁面上的活躍時(shí)間納入新聞表示中，提出一種時(shí)間敏感異構(gòu)圖神經(jīng)網(wǎng)絡(luò)（temporal sensitive heterogeneous graph neural network，TSHGNN），模型結(jié)構(gòu)如圖4所示。TSHGNN由兩個(gè)子網(wǎng)絡(luò)組成，一個(gè)子網(wǎng)采用卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)的LSTM 網(wǎng)絡(luò)來學(xué)習(xí)用戶在頁面上的停留時(shí)間并將點(diǎn)擊序列特征作為時(shí)間維度特征；另一個(gè)子網(wǎng)利用圖神經(jīng)網(wǎng)絡(luò)將用戶-新聞-主題異構(gòu)圖的結(jié)構(gòu)特征作為空間維度特征來編碼高階結(jié)構(gòu)信息。通過利用用戶與新聞間交互的動(dòng)態(tài)時(shí)間特征，充分建模用戶興趣的動(dòng)態(tài)變化，提高推薦的準(zhǔn)確性和時(shí)效性。然而，在上述基于用戶-新聞交互圖的方法中每個(gè)用戶通常只由全局用戶-新聞圖中的一個(gè)節(jié)點(diǎn)表示。

圖4 TSHGNN結(jié)構(gòu)Fig.4 Structure of TSHGNN

為了更豐富地建模用戶興趣，Wu 等人[60]提出一種用于新聞推薦的用戶建模方法（User-as-Graph），將每個(gè)用戶建模為一個(gè)由用戶行為信息構(gòu)建的個(gè)性化異構(gòu)圖并采用異構(gòu)圖池化（heterogeneous graph pooling）方法從中學(xué)習(xí)用戶興趣嵌入，充分建模用戶行為間的相關(guān)性，為推斷用戶興趣提供更細(xì)粒度的信息。異構(gòu)圖池化方法不僅總結(jié)了異構(gòu)圖中的節(jié)點(diǎn)特征和圖拓?fù)湫畔ⅲ€能了解不同類型節(jié)點(diǎn)之間的差異，以更高效、靈活、細(xì)粒度的方式學(xué)習(xí)異構(gòu)圖中用戶興趣表示。不足的是，上述研究側(cè)重于如何從用戶圖中提取細(xì)粒度信息，未充分考慮候選新聞和用戶之間必要的特征交互。因此，Mao等人[61]提出由新聞圖和用戶圖組成的雙交互式圖注意力網(wǎng)絡(luò)（dual-interactive graph attention networks，DIGAT），模型結(jié)構(gòu)如圖5所示。在新聞圖示中，利用語義增強(qiáng)圖（semantic-augmented graph，SAG）融合相關(guān)語義信息豐富單個(gè)候選新聞的語義表示。在用戶圖示中，利用新聞-主題圖建模用戶歷史信息來表示多層次的用戶興趣。同時(shí)設(shè)計(jì)了一個(gè)雙圖交互過程以便在新聞圖和用戶圖之間執(zhí)行有效的特征交互，更精確地學(xué)習(xí)新聞-用戶匹配表示。

圖5 DIGAT結(jié)構(gòu)Fig.5 Structure of DIGAT

現(xiàn)有研究在建模用戶表示時(shí)往往僅考慮用戶的點(diǎn)擊行為。為了豐富用戶興趣特征，Ma 等人[62]利用六種不同類型的用戶行為（未點(diǎn)擊、點(diǎn)擊、點(diǎn)贊、關(guān)注、評(píng)論、分享）信息構(gòu)建多行為用戶新聞交互圖，提出了一個(gè)基于圖的行為感知交互式新聞推薦方法（graph-based behavior-aware network，GBAN）。該方法通過構(gòu)造一個(gè)加權(quán)多行為交互異質(zhì)圖，充分利用了用戶與新聞之間的多樣化關(guān)系并在行為圖中引入核心特征，衡量用戶興趣的集中程度，合理地權(quán)衡了個(gè)性化新聞推薦系統(tǒng)的準(zhǔn)確性和多樣性。

2.3.2 基于知識(shí)圖譜的新聞推薦

知識(shí)圖譜（knowledge graph，KG）具有強(qiáng)大的關(guān)系能力和豐富的語義特征。若能夠通過其引入外部知識(shí)來豐富語義，充分挖掘新聞的潛在知識(shí)層聯(lián)系，將會(huì)獲得更細(xì)粒度的信息表示。因此，融入KG 的個(gè)性化新聞推薦系統(tǒng)可以進(jìn)一步提高新聞推薦的準(zhǔn)確性、多樣性和可解釋性。Wang 等人[63]利用知識(shí)感知卷積神經(jīng)網(wǎng)絡(luò)（knowledge-aware convolutional neural network，KCNN）從新聞標(biāo)題及標(biāo)題的實(shí)體中學(xué)習(xí)新聞表示，融合了新聞的語義層和知識(shí)層表示。KCNN將單詞和實(shí)體視為多個(gè)通道，并在卷積過程中保持其對(duì)齊關(guān)系，其模型結(jié)構(gòu)如圖6所示。多通道對(duì)齊機(jī)制消除了單詞、實(shí)體、實(shí)體上下文嵌入空間的異質(zhì)性，更加全面地捕捉新聞之間潛在知識(shí)級(jí)關(guān)系，獲取更豐富的新聞內(nèi)容。與此類似，Ren 等人[64]利用上述KCNN 組件提取新聞特征，結(jié)合KG 構(gòu)建了一個(gè)雙重注意力網(wǎng)絡(luò)，綜合考慮了詞級(jí)注意力機(jī)制和整合單詞、實(shí)體及實(shí)體上下文的項(xiàng)目級(jí)注意機(jī)制并采用多頭注意力機(jī)制將兩者進(jìn)行特征融合，更好地表征了用戶興趣的多樣性。

圖6 KCNN結(jié)構(gòu)Fig.6 Structure of KCNN

為了充分考慮高階鄰居信息的重要性，Sheu 等人[23]提出一種上下文感知圖嵌入框架（context-aware graph embedding，CAGE），利用實(shí)體的一跳鄰居構(gòu)造子圖生成新聞?wù)Z義級(jí)嵌入，并采用圖神經(jīng)網(wǎng)絡(luò)結(jié)合文章之間的鄰域結(jié)構(gòu)信息進(jìn)一步細(xì)化新聞文章級(jí)嵌入。然而，這些嵌入主要濃縮了實(shí)體之間的低級(jí)交互，無法識(shí)別兩個(gè)實(shí)體是否出現(xiàn)在同一個(gè)新聞中。Lee等人[65]通過引入主題關(guān)系提出了主題豐富的知識(shí)圖譜新聞推薦方法（topic-enriched knowledge graph recommendation，TEKGR），采用知識(shí)圖譜級(jí)新聞編碼器，通過添加實(shí)體間的兩跳鄰居從新聞標(biāo)題中構(gòu)建一個(gè)主題豐富的子圖，并利用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)新聞知識(shí)級(jí)表示，其模型結(jié)構(gòu)如圖7 所示。TEKGR 采用增加二跳鄰居的方法充分挖掘了實(shí)體之間的主題關(guān)系，豐富實(shí)體相關(guān)性的建模。除了新聞標(biāo)題之外，此方法也適用于文本內(nèi)容或新聞?wù)热魏晤愋偷奈谋拘畔?。然而，這些模型僅利用新聞標(biāo)題等單一數(shù)據(jù)，沒有充分利用可以為標(biāo)題實(shí)體提供上下文信息的新聞主體、新聞?wù)?、新聞?lì)悇e等內(nèi)容，新聞?wù)Z義空間不夠豐富。

圖7 TEKGR模型的結(jié)構(gòu)Fig.7 Structure of TEKGR model

因此，一些研究通過構(gòu)建多特征學(xué)習(xí)框架或采用多視角的方式組合學(xué)習(xí)新聞表示，豐富了知識(shí)圖譜中新聞?wù)Z義特征。Sun 等人[66]提出一種結(jié)合知識(shí)圖譜的多特征注意力模型，利用多種新聞特征（標(biāo)題、摘要、類別、子類別）與鏈接的外部實(shí)體相結(jié)合來學(xué)習(xí)新聞表示，并采用詞級(jí)和特征級(jí)注意力網(wǎng)絡(luò)選擇出重要的單詞和特征，豐富了新聞特征表達(dá)能力，提高新聞推薦的準(zhǔn)確性。Xu 等人[67]引入多種新聞信息構(gòu)建多視圖新聞框架，提出了基于知識(shí)圖譜的多視圖學(xué)習(xí)新聞推薦方法（news recommendation based on knowledge graph with multi-view learning，NRKM）。該模型利用新聞標(biāo)題、摘要、類別和知識(shí)圖譜特征，采用圖交互式注意力網(wǎng)絡(luò)（knowledge graph interaction network，KGIN）和多頭注意力機(jī)制學(xué)習(xí)新聞表示，捕獲實(shí)體與其鄰居之間的關(guān)系，其結(jié)構(gòu)如圖8 所示。由于新聞文章中可能涉及多個(gè)方面實(shí)體并且用戶通常具有不同類型的興趣，候選新聞和用戶興趣的獨(dú)立建?？赡軣o法滿足新聞和用戶之間的精確匹配。Qi 等人[68]提出一種知識(shí)感知交互式新聞匹配方法（knowledge-aware interactive matching，KIM），采用圖注意力網(wǎng)絡(luò)對(duì)新聞的實(shí)體與其鄰居之間的關(guān)系進(jìn)行建模，其結(jié)構(gòu)如圖9 所示。KIM 設(shè)計(jì)兩個(gè)編碼器，其中知識(shí)感知新聞編碼器從語義和知識(shí)層面捕獲用戶點(diǎn)擊新聞和候選新聞的相關(guān)度，以交互方式學(xué)習(xí)新聞的知識(shí)感知表示；用戶-新聞聯(lián)合編碼器交互式地學(xué)習(xí)候選新聞感知的用戶表示和用戶感知的候選新聞表示，更好地捕捉用戶興趣和新聞間的相關(guān)性。

圖8 NRKM實(shí)體編碼器和KGIN結(jié)構(gòu)Fig.8 Entity encoder of NRKM and structure of KGIN

圖9 KIM模型的結(jié)構(gòu)Fig.9 Structure of KIM model

此外，現(xiàn)有個(gè)性化新聞推薦方法通常從歷史點(diǎn)擊新聞文章中學(xué)習(xí)用戶表示來反映其現(xiàn)有興趣，忽略了用戶的潛在興趣，也很少關(guān)注用戶未來可能感興趣的新聞。因此，Qiu 等人[69]利用KG 提出一種具有用戶現(xiàn)有和潛在興趣相結(jié)合的圖神經(jīng)新聞推薦方法（graph neural news recommendation with user existing and potential interest modeling，GREP）。該方法首先挖掘用戶歷史點(diǎn)擊新聞的標(biāo)題來編碼用戶現(xiàn)有興趣，然后通過找出KG 中與歷史點(diǎn)擊新聞中的實(shí)體相關(guān)的實(shí)體探索用戶的潛在興趣，豐富用戶的興趣表示。實(shí)驗(yàn)表明，利用KG 學(xué)習(xí)新聞文章及用戶表示，在一定程度上提高了新聞?wù)Z義及用戶興趣特征的表達(dá)能力。此外，不同的用戶對(duì)同一篇新聞文章會(huì)有不同的興趣，若能直接識(shí)別與用戶興趣相關(guān)的實(shí)體并生成用戶表示，將能夠提高新聞推薦的效率和可解釋性。因此，Tian等人[70]提出一種基于知識(shí)剪枝的循環(huán)圖卷積網(wǎng)絡(luò)的新聞推薦方法。該方法沒有建模新聞文章表示，而是直接利用新聞文章中的相關(guān)實(shí)體建模用戶興趣表示。此外，并非KG 中提供的所有知識(shí)輔助信息都與用戶的興趣有關(guān)，該模型直接通過修剪大量的不相關(guān)知識(shí)圖譜信息來直接識(shí)別與用戶興趣相關(guān)的實(shí)體以建模用戶興趣。

2.3.3 基于社交信息的新聞推薦

社交信息通常包含用戶及其朋友活動(dòng)的最新信息，自然地反映了用戶興趣的動(dòng)態(tài)性和多樣性[20,71]。Zhu等人[71]提出融合社交信息的圖卷積網(wǎng)絡(luò)新聞推薦方法（integrating social information for news recommendation，SI-News），其結(jié)構(gòu)如圖10 所示。它主要包含四種編碼器，即新聞編碼器、社交信息編碼器、點(diǎn)擊新聞序列編碼器和用戶編碼器。其中，新聞編碼器從新聞標(biāo)題和內(nèi)容中提取新聞?wù)Z義特征來學(xué)習(xí)新聞表示；社交信息編碼器首先提取出用戶興趣和用戶間朋友關(guān)系的隱藏特征，然后構(gòu)建社交關(guān)系圖并將其輸入到圖卷積網(wǎng)絡(luò)中，學(xué)習(xí)用戶節(jié)點(diǎn)信息和朋友關(guān)系邊信息的嵌入以生成用戶的興趣表示；點(diǎn)擊新聞序列編碼器采用LSTM 網(wǎng)絡(luò)從用戶歷史點(diǎn)擊新聞中提取序列相關(guān)性特征來學(xué)習(xí)新聞序列表示；用戶編碼器融合用戶興趣表示、新聞表示及新聞序列表示以生成所有用戶的整體表示。此外，SI-News 還考慮了大眾用戶點(diǎn)擊的常見新聞，有效地緩解了常見推薦模型所面臨的冷啟動(dòng)問題。實(shí)驗(yàn)證明，融入社交信息的個(gè)性化新聞推薦模型能夠獲取更加豐富的用戶信息，進(jìn)一步反映用戶興趣的動(dòng)態(tài)性和多樣性。本小節(jié)主要介紹了基于圖結(jié)構(gòu)學(xué)習(xí)的個(gè)性化新聞推薦相關(guān)研究。表4 總結(jié)了基于圖結(jié)構(gòu)學(xué)習(xí)的不同模型的關(guān)鍵技術(shù)。

表4 基于圖結(jié)構(gòu)學(xué)習(xí)的不同建模方法比較Table 4 Comparison of different modeling methods based on graph structure learning

圖10 SI-News模型的結(jié)構(gòu)Fig.10 Structure of SI-News model

2.4 個(gè)性化新聞推薦技術(shù)的分析與總結(jié)

基于傳統(tǒng)學(xué)習(xí)和深度學(xué)習(xí)的PNR 技術(shù)在模型結(jié)構(gòu)和模型解釋性等方面存在差異。在模型結(jié)構(gòu)方面，傳統(tǒng)學(xué)習(xí)模型通常依賴手工提取特征（如用戶及新聞的屬性等），難以挖掘用戶與新聞文章間的深層交互信息；而深度學(xué)習(xí)模型采用不同的神經(jīng)網(wǎng)絡(luò)直接從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)復(fù)雜的特征表示，能夠更好地處理高維稀疏數(shù)據(jù)以提高模型的泛化能力。在模型可解釋方面，傳統(tǒng)學(xué)習(xí)模型通常具有簡(jiǎn)單的線性或非線性結(jié)構(gòu)（如邏輯回歸、支持向量機(jī)等），通過對(duì)特征的選擇、轉(zhuǎn)換等方式及對(duì)參數(shù)的解釋來理解模型的預(yù)測(cè)結(jié)果，具有簡(jiǎn)單、可解釋性強(qiáng)的優(yōu)勢(shì)；深度學(xué)習(xí)模型通常具有復(fù)雜的非線性結(jié)構(gòu)，參數(shù)數(shù)量龐大，使得模型的預(yù)測(cè)結(jié)果難以直接被解釋。因此，將傳統(tǒng)學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合，進(jìn)一步提高新聞推薦系統(tǒng)性能是值得探索的研究方向。

深度學(xué)習(xí)模型可應(yīng)用于序列數(shù)據(jù)、圖結(jié)構(gòu)數(shù)據(jù)、歐氏空間數(shù)據(jù)等數(shù)據(jù)類型上，其中基于圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)（圖結(jié)構(gòu)學(xué)習(xí)）的個(gè)性化新聞推薦在建模復(fù)雜數(shù)據(jù)結(jié)構(gòu)及解決冷啟動(dòng)問題等方面具有優(yōu)勢(shì)。在模型結(jié)構(gòu)方面，圖結(jié)構(gòu)學(xué)習(xí)能夠?qū)⒂脩襞c新聞的多源信息融合并有效地處理復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù)，如知識(shí)圖譜和社交網(wǎng)絡(luò)等。其中，用戶-新聞交互圖將用戶與新聞間的交互行為建模為圖結(jié)構(gòu)以更好地挖掘用戶與新聞之間復(fù)雜的高階交互信息，但交互信息通常通過圖結(jié)構(gòu)中多跳鄰居節(jié)點(diǎn)進(jìn)行傳播，需要更多的計(jì)算資源和更長的訓(xùn)練時(shí)間；知識(shí)圖譜作為一種更豐富的結(jié)構(gòu)化表示形式，其包含多種類型實(shí)體和關(guān)系，通過挖掘?qū)嶓w之間的語義關(guān)系使其為用戶提供更多維度的新聞推薦服務(wù)，但對(duì)于非結(jié)構(gòu)化的新聞文本，需要進(jìn)行知識(shí)抽取和實(shí)體鏈接等預(yù)處理工作，增加了推薦算法的計(jì)算復(fù)雜度；社交網(wǎng)絡(luò)圖能夠捕捉用戶之間的社交關(guān)系，為用戶提供更具有社交性的PNR 服務(wù)。因此，相比傳統(tǒng)學(xué)習(xí)方法，圖結(jié)構(gòu)學(xué)習(xí)能夠充分利用圖結(jié)構(gòu)中的節(jié)點(diǎn)和邊信息，學(xué)習(xí)節(jié)點(diǎn)之間的關(guān)系和信息傳遞規(guī)律以增強(qiáng)模型的表征能力。此外，圖結(jié)構(gòu)學(xué)習(xí)還可以處理多模態(tài)數(shù)據(jù)（如圖像和文本等），更好地滿足復(fù)雜新聞推薦場(chǎng)景的需求。在冷啟動(dòng)問題方面，圖結(jié)構(gòu)學(xué)習(xí)利用其節(jié)點(diǎn)屬性信息來預(yù)測(cè)新用戶偏好，而深度學(xué)習(xí)技術(shù)則需要更多的用戶行為數(shù)據(jù)來挖掘用戶興趣。雖然圖結(jié)構(gòu)學(xué)習(xí)在處理圖結(jié)構(gòu)數(shù)據(jù)和挖掘深層次交互信息方面表現(xiàn)更為優(yōu)異，但傳統(tǒng)學(xué)習(xí)模型在特征可解釋性方面更具優(yōu)勢(shì)。此外，圖結(jié)構(gòu)學(xué)習(xí)對(duì)大規(guī)模圖數(shù)據(jù)的處理效率相對(duì)較低，需要更多的計(jì)算資源和更長的訓(xùn)練時(shí)間。因此，未來應(yīng)綜合考慮不同模型的特點(diǎn)，根據(jù)不同場(chǎng)景和需求來選擇更合適的模型，進(jìn)而提高新聞推薦的效率和準(zhǔn)確性。表5 總結(jié)了基于傳統(tǒng)學(xué)習(xí)、深度學(xué)習(xí)及圖結(jié)構(gòu)學(xué)習(xí)的區(qū)別與優(yōu)劣。

表5 基于傳統(tǒng)學(xué)習(xí)、深度學(xué)習(xí)及圖結(jié)構(gòu)學(xué)習(xí)的比較Table 5 Comparison on traditional learning,deep learning and graph structure learning

3 數(shù)據(jù)集及評(píng)估指標(biāo)

3.1 新聞數(shù)據(jù)集

PNR中常用數(shù)據(jù)集的統(tǒng)計(jì)信息如表6所示。

表6 個(gè)性化新聞推薦中常用數(shù)據(jù)集的統(tǒng)計(jì)信息Table 6 Statistics of common datasets of personalized news recommendation

（1）Adressa 數(shù)據(jù)集[72]：由3 個(gè)月內(nèi)Adresseavisen網(wǎng)站收集的新聞日志構(gòu)成，包括完整版和小數(shù)據(jù)集兩個(gè)版本。其中，完整版本包含10 周內(nèi)的3 083 438名用戶、48 486 篇文章與27 223 576 次點(diǎn)擊；小版本包含1 周內(nèi)的561 733 名用戶、11 207 篇文章以及2 286 835次點(diǎn)擊。

（2）Digg 數(shù)據(jù)集[73]：由美國南加州大學(xué)信息科學(xué)研究所于2009 年6 月份在Digg 網(wǎng)站收集的3 553 條新聞構(gòu)成，包含digg_votes 表和digg_friends 表。其中，digg_votes 表包含139 409 個(gè)用戶以及3 018 197個(gè)投票；digg_friends 表包含71 367 個(gè)用戶之間的1 731 658個(gè)鏈接關(guān)系。

（3）Plista數(shù)據(jù)集[74]：發(fā)布于RecSys2013新聞推薦比賽，由德國13 個(gè)新聞網(wǎng)站6 月份收集的1 095 323篇文章、14 897 978 個(gè)用戶和84 210 795 條閱讀記錄構(gòu)建而成。

（4）MIND數(shù)據(jù)集[75]：由微軟新聞網(wǎng)站6周內(nèi)采集的100 萬用戶的真實(shí)新聞日志構(gòu)成，包括MIND 和MIND-small 兩個(gè)版本。其中，MIND 包含161 031 篇新聞、1 000 000 個(gè)用戶和24 155 470 條行為日志；MIND-small 則包含93 698 篇新聞、50 000 個(gè)用戶和230 117條行為日志。

3.2 新聞評(píng)估指標(biāo)

個(gè)性化新聞推薦的性能主要從推薦結(jié)果準(zhǔn)確性、多樣性和響應(yīng)時(shí)間等多個(gè)方面來體現(xiàn)。經(jīng)典評(píng)價(jià)指標(biāo)包括：準(zhǔn)確率（precision）、召回率（recall）、準(zhǔn)確率和召回率調(diào)和平均值F1-score、ROC（receiver operating characteristic curve）、AUC（area under curve）等?，F(xiàn)階段使用較多的F1-score 和AUC 指標(biāo)具體計(jì)算公式如下所示：

其中，Precision為準(zhǔn)確率，表示用戶對(duì)推薦結(jié)果的點(diǎn)擊概率；Recall為召回率，表示用戶感興趣的新聞被推薦的概率。

其中，Np和Nn表示正負(fù)樣本的數(shù)量。pi表示第i個(gè)正樣本的預(yù)測(cè)得分，nj表示第j個(gè)負(fù)樣本的得分。

由于新聞數(shù)量龐大，用戶通常更加注重排在推薦列表中較前的新聞，一些研究方法按照排名列表對(duì)推薦結(jié)果進(jìn)行加權(quán)評(píng)估。常用基于排名度量評(píng)價(jià)指標(biāo)包括MAP（mean average precision）、MRR（mean reciprocal rank）和NDCG（normalized discounted cumulative gain）等，具體計(jì)算公式如下所示：

其中，U表示所有用戶集。式（4）的含義是將所有用戶AP得分取平均。MAP值越大，推薦列表中相關(guān)的新聞數(shù)量越多且相關(guān)新聞的排名越靠前。

其中，u∈U表示遍歷所有用戶，ranku表示用戶u推薦列表中第一個(gè)真正例所在的位置。

其中，ri是第i級(jí)新聞的相關(guān)性得分，若點(diǎn)擊新聞ri值為1，否則值為0。

為了獲得更高的用戶滿意度，還需考慮其他方面的新聞評(píng)估指標(biāo)，例如主題多樣性、新穎性、公平性和流行度等。Gabrilovich 等人[76]將推薦結(jié)果通過新穎性來評(píng)估，新穎性是指向用戶推薦非熱門新聞的能力，衡量新穎性最直接的方法是根據(jù)新聞間的相似度，即推薦列表中的新聞與用戶已點(diǎn)擊的新聞相似度越小，新穎度越高。Zheng 等人[77]采用列表內(nèi)相似度（intra-list similarity，ILS）函數(shù)來衡量推薦結(jié)果的多樣性。Wu等人[28]使用一組情緒多樣性度量標(biāo)準(zhǔn)來衡量歷史點(diǎn)擊新聞和候選新聞之間的情緒差異。Wu等人[78]使用敏感屬性（如性別）預(yù)測(cè)的準(zhǔn)確度作為公平性度量來衡量一個(gè)新聞推薦系統(tǒng)是否對(duì)不同的用戶群體或新聞發(fā)布者保持公平。此外，一些研究方法通常采用兩種或兩種以上的評(píng)估指標(biāo)全面評(píng)估新聞推薦系統(tǒng)的性能并進(jìn)一步改善用戶體驗(yàn)，例如將AUC、NDCG和MRR組合評(píng)估[61,66]等。

4 挑戰(zhàn)與展望

綜合回顧現(xiàn)有PNR 技術(shù)，可以看到基于深度學(xué)習(xí)的個(gè)性化新聞推薦技術(shù)在近幾年取得了實(shí)質(zhì)性進(jìn)展。然而，仍然存在許多問題和挑戰(zhàn)亟待解決。本章將討論個(gè)性化新聞推薦領(lǐng)域面臨的挑戰(zhàn)及其未來研究方向。

4.1 面臨的挑戰(zhàn)

4.1.1 數(shù)據(jù)稀疏性和冷啟動(dòng)

在PNR 領(lǐng)域，數(shù)據(jù)稀疏性和冷啟動(dòng)問題一直是十分重要的研究熱點(diǎn)。一方面，用戶對(duì)于海量在線新聞的閱讀、收集、評(píng)論等行為數(shù)據(jù)非常有限，導(dǎo)致用戶與新聞之間的交互數(shù)據(jù)極其稀疏，進(jìn)而難以準(zhǔn)確地進(jìn)行新聞推薦；另一方面，新聞更新速度很快，容易出現(xiàn)冷啟動(dòng)問題，需要及時(shí)為新用戶和新聞建模來進(jìn)行合理化推薦。為此，研究者們利用輔助信息，通過引入新節(jié)點(diǎn)和邊來擴(kuò)展圖網(wǎng)絡(luò)結(jié)構(gòu)以增強(qiáng)對(duì)用戶興趣的建模能力。例如，Hu 等人[58]將主題元數(shù)據(jù)與用戶點(diǎn)擊歷史相結(jié)合以緩解用戶與新聞文章間交互的稀疏性問題。由于用戶的點(diǎn)擊行為數(shù)量通常非常有限，Wu等人[50]提出一種多視圖學(xué)習(xí)框架，從用戶的搜索查詢、點(diǎn)擊新聞和瀏覽網(wǎng)頁等異構(gòu)多行為中學(xué)習(xí)統(tǒng)一的用戶表示。Yang 等人[20]引入知識(shí)圖譜，采用隨機(jī)游走抽樣策略來獲取社交網(wǎng)絡(luò)中目標(biāo)對(duì)象的鄰居信息以豐富用戶興趣建模。除了將KG與新聞推薦系統(tǒng)相結(jié)合，現(xiàn)實(shí)應(yīng)用中仍有許多其他外部結(jié)構(gòu)信息可以幫助提高推薦系統(tǒng)性能，例如社交關(guān)系信息、多模態(tài)信息和跨領(lǐng)域信息等。因此，如何充分挖掘并整合多種信息來解決PNR 中的數(shù)據(jù)稀疏性和冷啟動(dòng)問題值得進(jìn)一步研究和探索。

4.1.2 模型可解釋性

新聞推薦可解釋性旨在向用戶提供清晰、合理的推薦結(jié)果解釋，增加推薦系統(tǒng)的透明度和可信度，進(jìn)而提高用戶對(duì)系統(tǒng)的滿意度?，F(xiàn)有PNR 模型通常具有大量的參數(shù)和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，難以直接對(duì)推薦結(jié)果作出合理解釋。因此，一些研究采用AM 對(duì)模型的每個(gè)輸入向量進(jìn)行權(quán)重分配并根據(jù)權(quán)重作出解釋，以便更好地理解深度學(xué)習(xí)模型的內(nèi)部機(jī)理和決策過程。例如，Wu 等人[36]采用詞級(jí)和新聞級(jí)注意力機(jī)制對(duì)新聞不同內(nèi)容進(jìn)行高亮可視化展示，提高推薦的可解釋性。此外，KG 中包含的大量實(shí)體及實(shí)體之間豐富的語義關(guān)系，能夠幫助用戶更直觀地了解推薦結(jié)果的生成過程和推薦依據(jù)。Wang 等人[79]將KG 集成到推薦系統(tǒng)中并通過尋找用戶和項(xiàng)目的路徑來提供相應(yīng)的解釋。然而，在PNR 領(lǐng)域中，關(guān)聯(lián)的KG 通常包含數(shù)千種關(guān)系類型，現(xiàn)有新聞推薦模型通常只應(yīng)用于關(guān)系類型非常有限的小知識(shí)圖譜上。因此，如何在大規(guī)模數(shù)據(jù)上進(jìn)行可解釋性分析與呈現(xiàn)是當(dāng)前PNR所面臨的挑戰(zhàn)。

4.1.3 推薦結(jié)果多樣性

推薦結(jié)果的多樣性對(duì)于提高用戶體驗(yàn)至關(guān)重要。在個(gè)性化新聞推薦系統(tǒng)中，可以從三個(gè)角度來理解多樣化的推薦結(jié)果。第一種是具有時(shí)空多樣性的新聞推薦，即推薦與用戶最近點(diǎn)擊的新聞主題或內(nèi)容不同的新聞以滿足用戶的多樣化偏好。第二種是細(xì)粒度多樣性的新聞推薦，即通過為每個(gè)用戶分層提取多個(gè)興趣向量，細(xì)化用戶嵌入以有效地捕獲多粒度的用戶興趣[80]。第三種是上下文信息多樣性的新聞推薦，不僅使新聞內(nèi)容和主題多樣化，還整合了用戶閱讀新聞的時(shí)間、地點(diǎn)及新聞的新穎性、流行度等各種上下文因素，提供更高質(zhì)量的多樣化新聞推薦[21,34]。因此，具有多樣性感知的個(gè)性化新聞推薦可以幫助用戶擴(kuò)展和發(fā)現(xiàn)新的興趣，提高用戶滿意度并緩解新聞推薦系統(tǒng)中的過濾氣泡問題。然而，增加推薦結(jié)果的多樣性往往會(huì)造成準(zhǔn)確性的損失，因此如何平衡PNR 系統(tǒng)的準(zhǔn)確性和多樣性已成為一個(gè)關(guān)鍵挑戰(zhàn)。

4.1.4 用戶隱私保護(hù)

現(xiàn)有PNR 方法通常依賴于用戶行為數(shù)據(jù)的集中存儲(chǔ)來進(jìn)行模型訓(xùn)練。由于用戶行為具有隱私敏感性，集中存儲(chǔ)用戶數(shù)據(jù)可能會(huì)增加隱私泄露的風(fēng)險(xiǎn)。聯(lián)邦學(xué)習(xí)是一種隱私保護(hù)框架，允許多個(gè)客戶端在不共享其私有數(shù)據(jù)的情況下協(xié)作訓(xùn)練模型。Qi 等人[81]提出一種統(tǒng)一的隱私保護(hù)新聞推薦框架，利用本地存儲(chǔ)在用戶客戶端中的用戶數(shù)據(jù)來訓(xùn)練模型并以一種隱私保護(hù)的方式為用戶提供服務(wù)。然而，以聯(lián)邦方式直接學(xué)習(xí)現(xiàn)有新聞推薦模型的計(jì)算成本對(duì)于用戶客戶端而言較高。Yi 等人[82]提出一種更高效的基于聯(lián)邦學(xué)習(xí)框架的隱私保護(hù)新聞推薦方法，沒有對(duì)整個(gè)模型進(jìn)行訓(xùn)練，而是將新聞推薦模型分解為在服務(wù)器中維護(hù)的大型新聞模型以及在服務(wù)器和客戶端上共享的輕量級(jí)用戶模型。盡管聯(lián)邦學(xué)習(xí)技術(shù)在一定程度上降低了數(shù)據(jù)被攻擊或泄露的風(fēng)險(xiǎn)，但開發(fā)保護(hù)隱私的新聞推薦系統(tǒng)仍面臨挑戰(zhàn)?，F(xiàn)有推薦模型通常采取數(shù)據(jù)加密、數(shù)據(jù)匿名化等技術(shù)來增強(qiáng)對(duì)用戶隱私的保護(hù)。然而，PNR 模型通常會(huì)盡可能地挖掘不同用戶的各類信息以準(zhǔn)確地刻畫用戶個(gè)性化偏好并生成更準(zhǔn)確的推薦列表。因此，當(dāng)隱私保護(hù)技術(shù)和PNR 技術(shù)相結(jié)合時(shí)，用戶信息被獲取的概率將會(huì)減少，從而降低新聞推薦任務(wù)的準(zhǔn)確性。因此，如何合理地優(yōu)化PNR 系統(tǒng)的隱私和安全性能仍是一個(gè)亟待解決的問題。

4.2 未來研究方向

4.2.1 緩解數(shù)據(jù)稀疏性和冷啟動(dòng)問題

數(shù)據(jù)稀疏性和冷啟動(dòng)問題一直是PNR 領(lǐng)域的關(guān)鍵問題，可以從以下幾個(gè)方面進(jìn)行改進(jìn)：

（1）融合多源異構(gòu)數(shù)據(jù)

PNR 技術(shù)在不同程度上會(huì)受到不同類型上下文信息的影響，如用戶閱讀時(shí)間、位置、情緒、社交網(wǎng)絡(luò)和新聞生命周期等，這些信息對(duì)挖掘用戶興趣和建模用戶偏好具有重要意義[28,34]。Wu 等人[28]將提取的情感特征與新聞內(nèi)容特征相結(jié)合，探討情感信息在用戶建模中的影響。Meng等人[34]提出一種深度共注意力網(wǎng)絡(luò)，將用戶偏好和新聞生命周期的注意力相結(jié)合以模擬對(duì)用戶點(diǎn)擊新聞的雙重影響。然而，新聞推薦具有時(shí)效性和動(dòng)態(tài)性，尤其在移動(dòng)新聞推薦中，移動(dòng)設(shè)備的可攜帶性和使用場(chǎng)景的多變性增加了PNR 中上下文感知的難度。此外，上下文信息的獲取與處理也是一個(gè)挑戰(zhàn)。例如，用戶的位置信息通常使用GPS 獲取，而GPS 的準(zhǔn)確性可能受到許多因素的影響，例如天氣、建筑物和地形等。因此，未來應(yīng)嘗試設(shè)計(jì)一個(gè)統(tǒng)一的框架來收集并整合各種上下文信息并有效地動(dòng)態(tài)建模不同信息之間的相關(guān)性以獲得更準(zhǔn)確的個(gè)性化新聞推薦結(jié)果。

此外，社交網(wǎng)絡(luò)和媒體在新聞分享和傳播中也發(fā)揮著重要作用[18-20]。一方面，用戶在不同的社交媒體（如微博、頭條等）通過留言、回復(fù)和分享等多種行為與其他用戶進(jìn)行社交互動(dòng)，進(jìn)而反映出用戶對(duì)該新聞的偏好和滿意度，為用戶建模提供豐富的補(bǔ)充信息。另一方面，用戶的討論和傳播行為便于及時(shí)了解新聞的內(nèi)容并在短時(shí)間內(nèi)迅速形成熱門信息，有助于全面挖掘用戶的潛在多樣化興趣。因此，利用社交網(wǎng)絡(luò)中豐富的可挖掘信息（如社會(huì)化關(guān)系）和多種媒體資源來及時(shí)補(bǔ)足文本內(nèi)容的不足十分必要。然而，近年來針對(duì)社交網(wǎng)絡(luò)在PNR 領(lǐng)域的研究仍較有限。因此，構(gòu)建一個(gè)多源異質(zhì)社交網(wǎng)絡(luò)，充分整合不同用戶的信息并進(jìn)行在線社交互動(dòng)，是未來極具潛力的研究方向。

（2）融合多模態(tài)信息

多模態(tài)信息整合可以緩解PNR 系統(tǒng)的數(shù)據(jù)稀疏性和冷啟動(dòng)問題。除了文本內(nèi)容，新聞通常還包含豐富的圖片、音頻及視頻等多模態(tài)信息。這些多模態(tài)新聞內(nèi)容可以為新聞建模提供補(bǔ)充信息，從而提高新聞理解的全面性。因此，采用多模態(tài)信息建模技術(shù)可以更全面、準(zhǔn)確地獲取新聞內(nèi)容并進(jìn)行用戶行為感知與新聞推薦預(yù)測(cè)。如本文第1.1.5 小節(jié)所述，目前已有少量PNR 研究融入了圖像信息并取得了顯著的效果[24-26]。然而，除圖像數(shù)據(jù)外，其他類型的數(shù)據(jù)也能夠提升新聞推薦的整體效果，例如音頻信息，可以獲取用戶的語速、語調(diào)和情感等信息以便對(duì)新聞內(nèi)容進(jìn)行情感分析，有助于推薦更符合用戶當(dāng)前興趣的新聞。未來應(yīng)進(jìn)一步考慮將多模態(tài)信息進(jìn)行整合，綜合分析不同類型數(shù)據(jù)的特征以便更充分地理解新聞內(nèi)容，從而得到更準(zhǔn)確、更全面的新聞推薦結(jié)果。目前，基于多模態(tài)信息的PNR 研究尚少且缺少大規(guī)模的多模態(tài)新聞數(shù)據(jù)集。因此，引入多模態(tài)特征，建模候選新聞與點(diǎn)擊行為之間的多模態(tài)關(guān)系是當(dāng)前值得探索的研究方向。

（3）跨域新聞推薦

跨領(lǐng)域融合可以緩解PNR 任務(wù)中常見的數(shù)據(jù)稀疏性和冷啟動(dòng)問題。一方面，跨域新聞推薦系統(tǒng)可以從多個(gè)不同的新聞網(wǎng)站中收集數(shù)據(jù)信息，并在這些網(wǎng)站之間進(jìn)行新聞推薦，幫助用戶更好地了解不同新聞網(wǎng)站的內(nèi)容，從而提供更豐富、更多樣化的新聞推薦服務(wù)。此外，利用多領(lǐng)域數(shù)據(jù)也能夠幫助不同的新聞網(wǎng)站擴(kuò)展其用戶群，提高系統(tǒng)的知名度和推廣力。另一方面，用戶對(duì)來自不同領(lǐng)域的項(xiàng)目選擇通常是相關(guān)的。例如，當(dāng)用戶看完電影《傳奇梅西》后，可能會(huì)更加關(guān)注關(guān)于梅西的新聞報(bào)道，因此可以將用戶對(duì)電影的交互信息傳輸?shù)叫侣勍扑]交互信息中以緩解PNR 任務(wù)中數(shù)據(jù)稀疏性和冷啟動(dòng)問題。然而，現(xiàn)有跨域新聞推薦的研究尚少且很難將用戶在各個(gè)領(lǐng)域中的交互信息收集在一起，同時(shí)跨領(lǐng)域信息間的交互關(guān)系往往比單個(gè)領(lǐng)域的信息之間的關(guān)系更為復(fù)雜。因此，如何開發(fā)更通用的遷移學(xué)習(xí)模型以有效捕獲不同域之間復(fù)雜和異構(gòu)的依賴關(guān)系以實(shí)現(xiàn)準(zhǔn)確和多樣化的新聞推薦值得進(jìn)一步研究和探索。

4.2.2 新聞推薦的可解釋性

盡管現(xiàn)有工作在利用KG 提高新聞推薦的準(zhǔn)確性和可解釋性方面取得了一些進(jìn)展，但仍存在一些局限性。首先，PNR 領(lǐng)域涉及的知識(shí)圖譜通常包含數(shù)千種關(guān)系，難以枚舉每個(gè)關(guān)系對(duì)所對(duì)應(yīng)的所有路徑。此外，一篇新聞文章通常包含多個(gè)實(shí)體，僅僅構(gòu)建單一路徑可能無法完全揭示實(shí)體之間的關(guān)系，從而導(dǎo)致新聞文本內(nèi)容未得到充分利用。其次，因果推理能夠提供因果解釋并處理潛在的混淆因素，是一種用于揭示事物之間因果關(guān)系的重要技術(shù)，但其在新聞推薦領(lǐng)域的可解釋性方面研究尚少。因此，將因果推理技術(shù)應(yīng)用于新聞推薦領(lǐng)域以構(gòu)建可解釋的PNR 系統(tǒng)，是一個(gè)值得研究的方向。此外，強(qiáng)化學(xué)習(xí)能夠提供明確的獎(jiǎng)勵(lì)信號(hào)和可解釋的決策過程，即根據(jù)用戶的需求與反饋進(jìn)行學(xué)習(xí)和優(yōu)化，有助于用戶理解推薦系統(tǒng)中的因果關(guān)系。因此，未來應(yīng)嘗試將KG與強(qiáng)化學(xué)習(xí)結(jié)合，進(jìn)一步探索PNR的知識(shí)推理，并將其擴(kuò)展到其他領(lǐng)域推薦，如商品、音樂推薦等，以構(gòu)建更統(tǒng)一、更具可解釋性的推薦系統(tǒng)。

4.2.3 多樣性新聞推薦

現(xiàn)有研究在探索多樣性新聞推薦方面通常只注重推薦內(nèi)容的多樣性，往往忽略了多樣性與準(zhǔn)確性之間的平衡，容易導(dǎo)致推薦的新聞與用戶的實(shí)際偏好相差較大，從而降低用戶對(duì)推薦系統(tǒng)的滿意度，甚至導(dǎo)致用戶信息流失。因此，設(shè)計(jì)一種更綜合的多樣性新聞推薦模型對(duì)于提高在線新聞服務(wù)質(zhì)量具有重要意義。首先，可以采用一些多目標(biāo)優(yōu)化方法來設(shè)計(jì)多樣性損失函數(shù)，如帶權(quán)重的多目標(biāo)優(yōu)化、多目標(biāo)自適應(yīng)平衡策略和演化算法等，以平衡新聞推薦的準(zhǔn)確性和多樣性。其次，將生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）與雙目標(biāo)平衡相結(jié)合也是一種十分巧妙的解決思路。GAN 模型由一個(gè)生成器和一個(gè)判別器組成，生成器采用不同的生成策略，如貪心搜索、隨機(jī)采樣等來控制生成結(jié)果的多樣性。判別器則負(fù)責(zé)評(píng)估生成器產(chǎn)生的新聞并對(duì)生成的推薦列表進(jìn)行打分。兩者采用對(duì)抗式交替訓(xùn)練的方式來相互協(xié)作，進(jìn)而得到更加準(zhǔn)確且多樣化的新聞推薦結(jié)果。此外，引入一些多樣性評(píng)價(jià)指標(biāo)也是十分必要的，如覆蓋率、流行度和新穎度等，并將這些指標(biāo)納入損失函數(shù)中進(jìn)行訓(xùn)練以綜合考量個(gè)性化新聞推薦結(jié)果的準(zhǔn)確性和多樣性。

4.2.4 新聞推薦系統(tǒng)的安全性

保護(hù)用戶隱私是PNR 領(lǐng)域發(fā)展的重要前提和基礎(chǔ)。因此，開發(fā)一種更合理有效的隱私保護(hù)新聞推薦方法是值得探索的方向。首先，嘗試設(shè)計(jì)一種更加靈活的聯(lián)邦學(xué)習(xí)框架，以便更好地利用上下文特征。例如，可以使用聯(lián)邦遷移學(xué)習(xí)方法將不同客戶端的上下文信息合并，并將整合的結(jié)果應(yīng)用于推薦系統(tǒng)中。聯(lián)邦元學(xué)習(xí)方法能夠自適應(yīng)地選擇模型結(jié)構(gòu)和參數(shù)，便于在不同的聯(lián)邦學(xué)習(xí)任務(wù)中動(dòng)態(tài)調(diào)整數(shù)據(jù)交換和模型學(xué)習(xí)策略，實(shí)現(xiàn)充分利用上下文特征的效果。此外，對(duì)抗學(xué)習(xí)通過合成噪聲數(shù)據(jù)來去除用戶的敏感屬性信息，從而針對(duì)性地保護(hù)用戶隱私。因此，采用多種技術(shù)相結(jié)合的方法來提高PNR系統(tǒng)的隱私保護(hù)性能是一個(gè)值得嘗試的研究方向。

4.2.5 更精準(zhǔn)的用戶建模

如何實(shí)現(xiàn)更精準(zhǔn)的用戶建模一直是PNR 領(lǐng)域的研究熱點(diǎn)。首先，用戶興趣通常是多樣的，不同用戶具有不同偏好，同一用戶在不同情況下也會(huì)有不同偏好。現(xiàn)有PNR 方法通常只從用戶歷史行為中學(xué)習(xí)單個(gè)用戶嵌入以表示其閱讀興趣，而單個(gè)用戶嵌入并不足以充分建模多樣化、多粒度的用戶興趣。未來應(yīng)嘗試采用更復(fù)雜的結(jié)構(gòu)（如圖結(jié)構(gòu)）來細(xì)化用戶嵌入以提高對(duì)用戶興趣的理解。其次，用戶興趣是動(dòng)態(tài)的?，F(xiàn)有方法通常分別學(xué)習(xí)用戶的長期和短期興趣，并推薦與最近點(diǎn)擊新聞相關(guān)的候選新聞。由于用戶興趣通常隨時(shí)間而變化，了解不同時(shí)期的用戶興趣并進(jìn)一步建模其內(nèi)在關(guān)系十分重要。強(qiáng)化學(xué)習(xí)模型能夠根據(jù)用戶與新聞的交互反饋捕獲用戶當(dāng)前偏好并據(jù)此調(diào)整下一步動(dòng)作，基本思想是根據(jù)當(dāng)前狀態(tài)（State）決定采取的動(dòng)作（Action），再根據(jù)采取動(dòng)作后獲得的獎(jiǎng)勵(lì)（Award）調(diào)整下一次動(dòng)作。未來應(yīng)嘗試采用強(qiáng)化學(xué)習(xí)方法及更多的序列建模技術(shù)以改進(jìn)PNR 中的用戶動(dòng)態(tài)興趣建模，更充分地探索用戶興趣的轉(zhuǎn)移過程。最后，用戶的點(diǎn)擊行為往往受各種噪聲的影響。一方面，用戶容易誤點(diǎn)擊其不感興趣的新聞；另一方面，系統(tǒng)可能會(huì)推薦多種用戶感興趣的新聞，但其只點(diǎn)擊其中一條，容易產(chǎn)生負(fù)隱式反饋噪聲。因此，需要綜合考慮用戶的多種行為和反饋（如分享、不喜歡等）以提供豐富的補(bǔ)充信息并將其整合到統(tǒng)一的框架中以更好地支持用戶建模。未來需進(jìn)一步綜合考慮用戶的各種行為和反饋，以便更合理地探索用戶的潛在興趣。

4.2.6 提高新聞推薦效率

隨著PNR 領(lǐng)域中用戶和新聞數(shù)量的爆炸式增長，PNR 算法亦面臨越來越大的數(shù)據(jù)處理壓力?，F(xiàn)有研究往往忽略了算法或技術(shù)的效率問題，因此，如何設(shè)計(jì)更高效的新聞推薦方法已成為個(gè)性化新聞推薦技術(shù)的研究熱點(diǎn)。未來應(yīng)兼顧推薦效率和預(yù)期結(jié)果的準(zhǔn)確性，評(píng)估每種技術(shù)在一個(gè)或多個(gè)不同數(shù)據(jù)集上的效率，獲得可接受的響應(yīng)時(shí)間。此外，也可以采用快速聚類、降低特征維度及知識(shí)蒸餾等方法來壓縮大規(guī)模新聞推薦模型以提高新聞推薦效率。

5 總結(jié)

本文系統(tǒng)性綜述和總結(jié)了近年來主要的基于深度學(xué)習(xí)的個(gè)性化新聞推薦方法。首先，介紹了個(gè)性化新聞推薦系統(tǒng)的特點(diǎn)，描述了個(gè)性化新聞推薦系統(tǒng)的總體框架和關(guān)鍵技術(shù)。根據(jù)個(gè)性化新聞推薦的特點(diǎn)和主流深度學(xué)習(xí)技術(shù)方法，重點(diǎn)闡述了基于圖結(jié)構(gòu)學(xué)習(xí)的個(gè)性化新聞推薦技術(shù)。其次，介紹了個(gè)性化新聞推薦系統(tǒng)的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。最后，提出了當(dāng)前研究所面臨的挑戰(zhàn)，并對(duì)未來研究方向進(jìn)行展望。

本文具有兩個(gè)主要貢獻(xiàn)：首先，本文在綜述了基于深度學(xué)習(xí)的個(gè)性化新聞推薦方法的基礎(chǔ)上，著重總結(jié)了基于不同類型的圖結(jié)構(gòu)數(shù)據(jù)的個(gè)性化新聞推薦方法，并分析了基于圖結(jié)構(gòu)學(xué)習(xí)的個(gè)性化新聞推薦在建模復(fù)雜數(shù)據(jù)結(jié)構(gòu)及解決冷啟動(dòng)問題等方面的優(yōu)勢(shì)，突出了圖結(jié)構(gòu)數(shù)據(jù)在個(gè)性化新聞推薦中的重要性和潛在應(yīng)用前景。其次，本文詳細(xì)地分析了當(dāng)前個(gè)性化新聞推薦領(lǐng)域所面臨的挑戰(zhàn)和未來研究方向。當(dāng)前，個(gè)性化新聞推薦領(lǐng)域仍存在個(gè)性化推薦效果評(píng)價(jià)、模型優(yōu)化和隱私保護(hù)等難題。因此，未來應(yīng)嘗試結(jié)合更多技術(shù)（如知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)等）并探索更豐富的上下文信息（如點(diǎn)擊時(shí)間、位置、社交關(guān)系等）以促進(jìn)個(gè)性化新聞推薦系統(tǒng)更深入的研究和發(fā)展。