王紹卿，李鑫鑫，孫福振，方 春

山東理工大學 計算機科學與技術學院，山東 淄博255091

1 引言

隨著互聯(lián)網(wǎng)、自媒體和新媒介技術的蓬勃發(fā)展，每天產生大量的網(wǎng)絡新聞。網(wǎng)絡新聞具有時效性、豐富性、深度性、交互性等特點，已經成為人們獲取新聞的第一選擇。網(wǎng)絡新聞網(wǎng)站或新聞聚合網(wǎng)站眾多，用戶一般只是選擇一個或很少的幾個進行閱讀。用戶閱讀新聞時，一般沒有任何目的性，而只是想看發(fā)生了哪些有趣的事情或者大家都討論什么。因此，用戶的點擊行為除了取決于個人興趣外，還受大眾潮流、新聞趨勢的影響。另外，用戶的點擊行為還受新聞展示位置的影響。而在醒目位置展示的新聞一般是大眾化的、熱點的新聞，不具有差異化。新聞網(wǎng)站迫切需要把個性化的新聞向用戶推薦。Google News、Yahoo!News、新浪、網(wǎng)易、今日頭條、百度等都已經認識到個性化新聞推薦的價值所在，并已經在工業(yè)實踐中應用了個性化新聞推薦。其中百度公司于2013 年12 月向學術界公開征集“面向推薦的重大突發(fā)新聞挖掘算法研究”解決方案；中國計算機學會于2014 年9 月開展了“用戶瀏覽新聞的模式分析及個性化新聞推薦”大數(shù)據(jù)技術創(chuàng)新大賽；自2014 年以來，CLEF 協(xié)會連續(xù)舉辦多屆新聞推薦競賽，用于評估和優(yōu)化新聞推薦算法。

盡管推薦系統(tǒng)在新聞領域已經取得了很大的進展，但仍需要進一步提高推薦性能，包括更好地對用戶建模、更高級的推薦模型、可處理大數(shù)據(jù)等。

本文首先給出個性化新聞推薦的相關概念與系統(tǒng)架構，然后綜述了各模塊的研究進展，最后給出常用的數(shù)據(jù)集、實驗方法、評估指標以及未來的研究方向。

2 相關概念與系統(tǒng)架構

推薦系統(tǒng)成為一個獨立的研究領域正是源于其在新聞推薦領域的應用[1]。新聞的時效性、流行性、可擴展性等使得新聞推薦不同于產品推薦、電影推薦、音樂推薦等。為避免混淆，本文首先給出一些相關概念：

候選新聞：廣義的候選新聞是指用戶未閱讀過的所有新聞，狹義的候選新聞指最近一段時間內（如24 h 內）發(fā)布的且用戶未閱讀的新聞。本文所用的候選新聞是指狹義的候選新聞。

候選推薦新聞：用推薦算法計算出來的，在一定程度上符合用戶的興趣偏好的新聞，或者一些突發(fā)新聞、熱點新聞。

推薦新聞：在用戶接口中，如計算機瀏覽器或移動端新聞APP 等，用戶看到的推薦列表中的新聞。它是在對候選新聞排序后，通過設置評分閾值或指定Top-K值得到的。

個性化新聞推薦系統(tǒng)通常包含新聞建模、用戶建模、推薦引擎和用戶接口四部分，如圖1 所示。

Fig.1 Architecture of system圖1 系統(tǒng)架構

3 功能模塊及關鍵技術

3.1 新聞建模

新聞文本中包含豐富的信息，但它是非結構化的文本，首先需要把它轉換為結構化的文本，然后用模型把它表示出來。

3.1.1 數(shù)據(jù)準備

對于新聞聚合網(wǎng)站，如Google News、Yahoo!News、百度新聞、奇虎360 新聞等，需要首先扒取新聞，提取出新聞的標題、發(fā)布時間、正文等。對于CNN、新浪、搜狐、新華網(wǎng)等，則可以省略上述步驟；接下來需要對新聞文本進行分詞（如果是英文則需要提取出詞根）；然后去除停用詞，如中文的“是”“的”“在”“接著”，英文中的“is”“a”“the”等；最后從新聞文本中提取出時間、地點、人物等實體名稱。其中，文本分詞可分為細粒度分詞和粗粒度分詞，文獻[2]中采用長度為10 的詞串來分隔文本。

3.1.2 新聞表示

新聞文本具有靜態(tài)特性和動態(tài)特性。靜態(tài)特性包括特征詞、主題分布、新聞類別、包含的實體、發(fā)布時間、發(fā)布媒體等；動態(tài)特性包括閱讀該新聞的用戶列表、新聞評分、累計點擊量、流行度、時效性等。

在基于內容的新聞推薦方法中，主要采用抽取新聞文本特征詞[3-4]和計算新聞組的主題分布[2]，然后構造向量的方式來表示新聞。在Fab 系統(tǒng)[5]中，用100個權重最大的詞來表示每個新聞文本，在Syskill &Webert 系統(tǒng)中則用了128 個特征詞[1]。傳統(tǒng)的向量空間模型是詞袋模型（bags of words），忽略了詞的順序、語法、句法等因素。針對向量空間模型的不足，學術界提出了貝葉斯框架[6]、語言模型[7]、后綴樹模型[8]、本體模型[9]、語義網(wǎng)絡[10]等可更好地表示新聞。

在協(xié)同過濾方法中，文獻[1]為每個候選新聞分配一個分數(shù)，這個分數(shù)與用戶點擊歷史中的其他新聞短時間段內被共同訪問的次數(shù)成正比。傳統(tǒng)的矩陣因子分解方式，把新聞表示為潛在因子向量[11-12]。文獻[13]把新聞表示為低秩矩陣，從而采用張量分解的方式進行新聞推薦。

在基于深度學習的推薦方法中，文獻[14]利用卷積神經網(wǎng)絡將新聞ID 和所有內容特征（包括層次分類、關鍵字和實體）作為文本來考慮，并使用字符級模型表示所產生的文本數(shù)據(jù)。文獻[15]使用PVDBOW（distributed bag of words version of paragraph vector）訓練新聞的分布式表示。文獻[16]提出一個多通道和詞-實體對齊的知識感知卷積神經網(wǎng)絡，它融合了新聞的語義級和知識級表示。文獻[17]提出一個基于去噪自動編碼器變種的新聞分布式表示方法。文獻[18]將每篇新聞的標題和文本結合起來，使用doc2vec 模型學習新聞的分布式表示。文獻[19]使用inception 模塊從新聞文本中學習新聞的分布式表示。

3.1.3 確定候選推薦新聞

為提高推薦的效率，應從最近發(fā)布的新聞中篩選出候選推薦新聞，它包括去除重復新聞，計算相關新聞、熱點新聞和突發(fā)新聞等。

新聞聚合網(wǎng)站，如Google News、Yahoo! News、百度新聞、今日頭條等，收集到的新聞會有很大比例重復性，需要去除重復。

對于同一個時間段發(fā)生的，相似度比較高[20]或關聯(lián)比較密切[21]的多條新聞，需要選擇一條作為候選推薦新聞，而其他作為相關新聞。因為顯示推薦模塊的空間有限，應保證推薦結果的多樣性。如，一場足球比賽結束后的綜合報道應該是候選推薦新聞，而出場陣容、半場比分、賽后的新聞發(fā)布會、技術統(tǒng)計等應該是相關新聞。常用的選擇策略有鏈接分析模型（PageRank[22]、HITS（hyperlink induced topic search）[23]等算法）、基于協(xié)同的模型、基于關聯(lián)的模型（SimRank算法[24]、Linkclus 算法[25]）、子模模型[2]等。文獻[19]使用潛在因子模型從百萬級的候選新聞中篩選出數(shù)百個候選推薦新聞。

用戶閱讀新聞的興趣常常受新聞趨勢的影響，因此區(qū)域熱點新聞和突發(fā)新聞同樣也屬于候選推薦新聞。文獻[6]利用短時間內公眾的點擊分布來判定新聞趨勢，從而確定候選推薦新聞。

3.1.4 新聞分類和聚類

用戶的偏好都是基于新聞主題的，而新聞主題又是基于新聞類別的，有效的新聞分類和聚類可大大提高推薦的效率，并可增強新聞推薦的準確性。如，系統(tǒng)向一個完全不喜歡體育的用戶推薦新聞時，完全沒有必要計算該用戶的偏好與一場普通球賽新聞的相似度。文獻[2]首先采用MinHash[26]和局部敏感哈希（locality-sensitive Hashing，LSH）[27]把全部新聞分成多個小新聞組，然后用基于層次的方式進行聚類，并用潛在狄利克雷分布（latent Dirichlet allocation，LDA）[28]的方式抽取新聞組的主題分布，最后用一個主題向量來表示。

3.2 用戶建模

用戶對于新聞的交互行為中，會表現(xiàn)出顯性或隱性的偏好。不同的推薦系統(tǒng)用不同的模型表示用戶的興趣偏好。

3.2.1 用戶興趣反饋

用戶興趣反饋分為顯性反饋和隱性反饋。

3.2.1.1 顯性反饋

顯性反饋包含兩種方式：用戶定制和用戶對閱讀過的新聞進行評分。

用戶定制是指用戶向系統(tǒng)提供個人關注的新聞主題或分類[29-30]，如NBA、足球、劉德華等。Google News 中可隨時調整各新聞分類的權重，Zite 則是在注冊時讓用戶選擇感興趣的主題。用戶注冊賬號時提供的人口統(tǒng)計學信息也常常是進行推薦的依據(jù)，如年齡、性別、職業(yè)等。

新聞評分又分為兩級評分和多級評分。如，在Yahoo！News 和CROWN（context-aware recommender for Web news）[13]中采用兩級評分，喜歡和不喜歡。多級評分可以更詳細描述對某條新聞的喜歡程度，如GroupLens[31]中用戶對新聞的喜好程度可評價為1 至5 分。

3.2.1.2 隱性反饋

很多時候用戶不能夠準確提供個人偏好，或者不愿意顯性提供個人偏好，更不愿意經常維護個人的偏好。因此，隱性反饋往往能夠正確地體現(xiàn)用戶的偏好以及偏好的變化。常用的隱性反饋信息有：是否點擊[1,12]、停留時間[32]、點擊地點[33]、是否加入收藏[13]、社交網(wǎng)絡[34]、流行趨勢[6]、點擊序列[14]等。在協(xié)同過濾推薦方法中，常常把用戶的隱性反饋轉化為用戶對新聞的評分。如，Google News[1]中用戶閱讀過的新聞記為喜歡，評分為1，沒有閱讀過的評分為0。文獻[12]充分利用用戶的隱性正反饋和負反饋，為每個用戶創(chuàng)建具有區(qū)分度的模型。

3.2.2 用戶模型的表示

用戶的興趣可分為長期興趣和短期興趣[1,6]。長期興趣反映用戶的真實興趣；短期興趣常與熱點新聞相關聯(lián)且經常改變，從最近的閱讀歷史中學習到的短期興趣模型可快速反映用戶興趣的變化。常用的模型有向量空間模型[3]、語義網(wǎng)絡模型[35]、基于分類器的模型[29]、分布式表示[14-17]等。

文獻[1]使用短時間內用戶共同訪問的網(wǎng)頁建模短期興趣，而使用用戶興趣聚類結果建模長期興趣。文獻[6]從新聞趨勢的角度對短期興趣進行建模，即使用公眾的點擊模式，而不是僅僅使用用戶自己的反饋。文獻[36]中用戶的長期興趣配置文件是根據(jù)用戶隨時間讀取的新聞創(chuàng)建的。為此，系統(tǒng)收集與這些新聞相關的標記，并通過考慮用戶讀取特定標記的次數(shù)來創(chuàng)建配置文件。而用戶的短期興趣配置文件是基于最近的一組用戶與之交互（閱讀、喜歡或共享）新聞。文獻[16]使用注意力網(wǎng)絡來建模用戶點擊過的新聞對候選新聞的影響。文獻[17]把用戶的瀏覽歷史記錄作為輸入，使用循環(huán)神經網(wǎng)絡（recurrent neural network，RNN）產生用戶的分布式表示。文獻[19]使用inception 模塊學習用戶的分布式表示。

3.3 推薦引擎

推薦引擎是個性化推薦系統(tǒng)的核心部分。它的功能是向用戶推薦符合用戶偏好的新聞，排序后以列表的形式向用戶展示。

3.3.1 推薦方法

推薦系統(tǒng)的推薦方法可分為基于內容的推薦、協(xié)同過濾推薦、混合推薦和基于深度學習的推薦。

3.3.1.1 基于內容的推薦

一直以來，基于內容的推薦系統(tǒng)都被用來過濾并推薦基于文本的物品，如電子郵件或新聞[6,12]。基于內容的推薦是根據(jù)用戶的閱讀新聞歷史記錄進行推薦。計算候選新聞與用戶閱讀歷史記錄中新聞的相似程度，從而得到候選推薦新聞?；趦热莸耐扑]可分為計算相似度和轉化為分類問題兩類方法。

（1）計算相似度。抽取出用戶興趣特征向量和候選新聞的特征向量，計算它們的相似性，向用戶推薦相似度最大的K條新聞或者大于某個相似度閾值的新聞。文獻[29]用最近鄰的方式確定候選新聞是否符合用戶的短期興趣。常用的相似性度量標準有重疊系數(shù)（overlap coefficient）[37]、Jaccard 相似性[2]、余弦相似性（cosine similarity）[2]。

（2）轉化為分類問題。以用戶閱讀過的新聞為訓練數(shù)據(jù)，把新聞推薦問題轉化為二分類問題：即喜歡和不喜歡。首先把非結構化的文本轉化為結構化的文本，提取出特征向量；然后用機器學習的方法，如決策樹歸納、樸素貝葉斯、支持向量機等，訓練出一個模型；最后把所有候選新聞代入這個模型，計算出候選推薦新聞。例如，Syskill&Webert 系統(tǒng)[3]和Google News[6]使用了貝葉斯分類器。

基于內容的新聞推薦方法的主要優(yōu)點有：（1）不需要其他用戶的數(shù)據(jù)；（2）新出版的新聞可以被及時推薦給感興趣的用戶。主要缺點有:（1）淺層內容分析，沒有考慮美觀、時效性、多媒體元素等；（2）推薦結果缺乏新穎性，用戶之前沒有閱讀過的新聞或突發(fā)新聞等無法進行推薦；（3）新用戶無法進行推薦。

InfoFinder[38]和NewsWeeder[39]是純粹的基于內容的推薦系統(tǒng)。現(xiàn)階段，商業(yè)領域幾乎沒有純粹的基于內容的推薦系統(tǒng)。

3.3.1.2 協(xié)同過濾推薦

協(xié)同過濾推薦的核心是基于用戶的評分數(shù)據(jù)，與被推薦新聞的內容無關，即：在閱讀歷史中對新聞評分相似的用戶在將來也會相似，從而把推薦轉換為評分預測問題。

自從1994 年的GroupLens[31]之后，協(xié)同過濾在學術界獲得極大的研究興趣，取得了豐碩的研究成果，并應用到很多的工業(yè)實踐中。

協(xié)同過濾推薦分為基于記憶的和基于模型的兩種方法。

（1）基于記憶的方法。根據(jù)相似用戶對新聞的評分或相似新聞得到的評分向用戶進行推薦。關鍵的計算步驟是尋找相似用戶或相似物品，因此可以分為基于用戶的（UserCF）方法[31]和基于物品的（ItemCF）方法[40]。Digg 系統(tǒng)（http://digg.com/）采用了基于用戶的推薦方法，因為熱門度是新聞很重要的屬性，基于用戶的推薦可以在提供個性化的同時保證熱門度。

為進一步提高基于記憶推薦的性能，學者們提出了缺省投票、逆用戶頻率、樣本擴展[41]、方差權重因子、重要性賦權[42]、主流加權預測[43]等概念。

基于記憶的推薦方法的優(yōu)點是算法簡單、可解釋性強，缺點是擴展性較差，難以應對大數(shù)據(jù)。

（2）基于模型的方法。首先線下處理歷史評分數(shù)據(jù)，用統(tǒng)計和機器學習的方法生成一個模型，從而預測用戶對候選新聞的評分。主要包括隱因子模型[11,19]和概率模型[1-2,44]兩大類。

在基于隱因子模型的方法中，會抽象出一個隱形因子空間，然后把用戶和新聞分布投影到這個空間上，進而預測用戶對新聞的評分。概率模型預測的準確率較高，因此成為近年來的研究重點。常見的概率模型有樸素貝葉斯分類[6]、貝葉斯信任網(wǎng)絡[45]、概率潛在語義索引（probabilistic latent semantic indexing，PLSI）[46]、潛在狄利克雷分布（LDA）[28]、MinHash[1]等。其中文獻[1]分別用MinHash 和PLSI 對用戶進行聚類，文獻[2]使用了LDA 的方法計算新聞聚類或新聞組上的隱含主題。文獻[44]使用MinHash 和LSH 向用戶快速推薦最新的新聞。

對于基于模型的方法來說，必須解決模型的連續(xù)更新問題，即如何實現(xiàn)增量更新。

文獻[1]用基于模型的方法對用戶進行聚類分析，同時用基于記憶的方法計算不同新聞的共同閱讀次數(shù)（covisitation counts）。

基于協(xié)同過濾的方式優(yōu)點有：（1）共用其他人的經驗，避免了內容分析的不完全或不精確，并且能夠基于一些復雜的、難以表述的概念（如新聞品質、個人品味）進行過濾；（2）推薦個性化、自動化程度高；（3）推薦結果會有一定的驚喜度。缺點有：（1）新聞冷啟動問題，推薦依賴于其他用戶，需要較長時間收集其他用戶的點擊行為，導致突發(fā)新聞無法及時推薦；（2）用戶冷啟動問題，系統(tǒng)開始時推薦質量較差；（3）數(shù)據(jù)稀疏問題，用戶已閱讀的新聞遠遠小于每天產生的新聞；（4）沒有考慮用戶之間的差異，傾向于推薦熱門新聞。

3.3.1.3 混合推薦方法

基于內容的推薦方法和基于協(xié)同過濾的推薦方法各有其優(yōu)缺點?，F(xiàn)有的系統(tǒng)大部分是一種混合系統(tǒng)，它結合不同算法和模型的優(yōu)點，又克服它們的缺點。文獻[47]將混合方案分為三種：后融合、中融合和前融合。文獻[48]區(qū)分出了七種不同的混合策略。而文獻[49]將其概括為三種基本的設計思路：整體式、并行式和流水線式。

文獻[2，50]使用了整體式混合推薦方法。文獻[6]使用了并行式混合推薦方法，首先利用基于內容的方法計算用戶對新聞的喜好評分，然后混合文獻[1]提出的基于協(xié)同過濾方法的評分，從而得到最終的預測評分。

文獻[5]使用了流水線式的混合策略。首先根據(jù)閱讀歷史中感興趣的新聞中的特征詞建立基于內容的用戶模型，然后根據(jù)內容模型確定相似用戶，最后向用戶推薦他的相似用戶喜歡閱讀的新聞。

文獻[11]利用費舍爾核計算新聞之間的語義和詞分布的相似性，提出一種基于內容的協(xié)同過濾方式用于新聞推薦。

文獻[51]把主題模型、協(xié)同過濾和貝葉斯個性化排序整合到一個框架中，用于推薦用戶可能會進行評論的文章。

3.3.1.4 基于深度學習的推薦

深度學習是機器學習領域的一個熱門話題。伴隨ACM RecSys 2016 年會上首次召開深度學習推薦系統(tǒng)研討會，基于深度學習的推薦技術開始流行[52]。

傳統(tǒng)的推薦方法，包括基于內容的方法和協(xié)同過濾方法，都采用淺層模型進行預測，依賴于人工特征提取，很難有效地學習到深層次的用戶和新聞的隱性表示。而使用深層神經網(wǎng)絡構建預測模型能夠更好地抓住用戶和新聞之間交互的非線性結構特征。并且，利用深度學習模型融合廣泛的多源異構數(shù)據(jù)，包括社會化關系、用戶或項目屬性以及用戶的評論和標簽信息等，能夠學習到更加抽象、更加稠密的用戶和新聞的深層次表示[53]。

基于深度學習的推薦方法可以分為兩類：基于單個深度學習技術的模型和基于混合深度學習技術的模型。例如，文獻[54]使用卷積神經網(wǎng)絡（convolutional neural networks，CNN）建模新聞的分布式表示及新聞推薦。文獻[14]把CNN 和RNN 以分層的方式耦合在一起，從而可以同時提取上下文模式和處理長期和短期的依賴關系。文獻[16]把知識譜圖融入到CNN 中用于新聞建模，并設計注意力模塊來建模用戶的多樣化興趣。

3.3.2 推薦結果的排序

由于推薦結果展示給用戶的條目有限，而不同的位置對推薦效果影響很大，文獻[2]指出用戶對新聞的興趣是遞減的。

文獻[1]的評分獨立于推薦引擎，文獻[6]根據(jù)評分進行排序。文獻[2]對混合推薦方法計算出的候選新聞集合進一步考慮熱門性和時效性，進行微調后產生最終的推薦結果。

3.4 用戶接口

用戶接口承擔展示推薦結果、收集用戶反饋等功能。用戶接口除了應具有布局合理、界面美觀、使用方便等基本要求外，還應有助于用戶樂于提供反饋。主要有兩種類型的接口：電腦端和移動端。

電腦端接口適合用戶在辦公室、家庭等場所使用，具有屏幕尺寸大、可嵌入廣告等優(yōu)點。由于推薦系統(tǒng)是復雜商業(yè)系統(tǒng)的一小部分，通常作為一個獨立的模塊嵌入到復雜商業(yè)系統(tǒng)中，因此網(wǎng)頁布局是非常重要的，如Google News 在其網(wǎng)頁的右上角有“個性化”按鈕；新浪網(wǎng)在其首頁的中間部分嵌入“猜你喜歡”模塊；網(wǎng)易網(wǎng)在其首頁右上角有顯著的“薦新聞”鏈接，在其首頁中間部分嵌入“薦新聞”模塊；Yahoo!News 用戶點擊喜歡（More like this）或不喜歡（Less like this）后，系統(tǒng)會彈出所評分新聞中的關鍵詞供用戶選擇。

移動端接口可以方便用戶隨時隨地查看新聞，且移動端本身的位置性、獨有性有助于準確獲取用戶反饋。在非智能手機時代，文獻[55]中強調只是把用戶最感興趣的新聞放在頂端而不限制用戶的選擇，隨著智能手機的普及，推薦已經成為單獨的一個模塊，推薦的全部結果都應該是用戶很感興趣的新聞，用戶若想閱讀其他新聞，只需再點擊非個性化的具體版塊即可。文獻[56]分別為Android、iOS和Windows平臺設計了移動端接口。

4 個性化新聞推薦系統(tǒng)對比

現(xiàn)有文獻中的個性化新聞推薦系統(tǒng)幾乎全部包含新聞建模、用戶建模、推薦引擎和用戶接口4 個模塊。表1 按照發(fā)表時間先后列舉了14 個比較典型的系統(tǒng)/模型。由表1 可以觀察到，不同的推薦方法對應不同的新聞建模和用戶建模方法。隨著時間的推移，研究人員發(fā)現(xiàn)越來越復雜建模的方法，從而更好地刻畫新聞和用戶。并且，基于深度學習的推薦技術具有較高的推薦準確度，成為現(xiàn)階段最流行的推薦策略。另外，隨著移動互聯(lián)網(wǎng)的蓬勃發(fā)展，基于移動端的個性化新聞推薦接口越來越多。

5 常用數(shù)據(jù)集

5.1 UCI知識庫

UCI 知識庫（http://archive.ics.uci.edu/ml/）是Blake等人在1998 年開放的一個用于機器學習和評測的數(shù)據(jù)庫。目前包含3 個可用于新聞推薦的數(shù)據(jù)集：Microsoft 數(shù)據(jù)集、MSNBC 數(shù)據(jù)集和Syskill&Webert數(shù)據(jù)。其中，Microsoft 數(shù)據(jù)集包含的是38 000 個用戶在1998 年2 月某周內在微軟主頁的全部閱讀歷史記錄；MSNBC 數(shù)據(jù)集包含的是989 818 個用戶在1999 年9 月28 日在msnbc.com 上的閱讀歷史記錄；Syskill&Webert 數(shù)據(jù)記錄的是單個用戶的閱讀及評分歷史記錄。

5.2 Digg 數(shù)據(jù)集

Digg 數(shù)據(jù)集[61]是由美國南加州大學信息科學研究所收集的。收集的新聞是2009 年6 月份Digg 網(wǎng)站首頁的3 553條新聞。包含兩個表digg_votes和digg_friends。表digg_votes 中包含139 409 個用戶對3 553條新聞的累計3 018 197 個投票。表digg_friends 包含71 367 個用戶之間的1 731 658 個鏈接關系。該數(shù)據(jù)集刪除了新聞標題和正文。

5.3 plista 數(shù)據(jù)集

plista 新聞推薦數(shù)據(jù)集[62]是在recSys2013 的新聞推薦系統(tǒng)挑戰(zhàn)賽上公開的。該數(shù)據(jù)集包含2013 年6 月份的14 897 978 個用戶在13 個新聞門戶網(wǎng)站的84 210 795 條交互記錄。

Table 1 4 components of some personalized news recommendation systems表1 一些個性化新聞推薦系統(tǒng)的4 個組件

5.4 Adressa 數(shù)據(jù)集

Adressa 數(shù)據(jù)集（http://reclab.Idi.ntnu.no/dataset/）包括兩個版本Adresseadvisen 的新聞門戶上的1 周流量的1.4 GB 數(shù)據(jù)集，以及10 周流量的16 GB 數(shù)據(jù)集。其中，1.4 GB 數(shù)據(jù)集包含11 207 篇新聞文章、561 733 個用戶和2 286 835 個閱讀行為；16 GB 數(shù)據(jù)集包含48 486 篇新聞文章、3 083 438 個用戶和27 223 576 個閱讀行為。

5.5 財新網(wǎng)數(shù)據(jù)集

2014 年中國計算機學會主辦的“第二屆中國大數(shù)據(jù)技術創(chuàng)新大賽”中公開了由財新網(wǎng)提供的數(shù)據(jù)集。包括10 000 個用戶在2014 年3 月的所有新聞瀏覽記錄。共包含10 000個用戶對6 183條新聞的116 228條閱讀記錄。每條記錄包括用戶編號、新聞編號、瀏覽時間（精確到秒）以及新聞文本內容。

新聞推薦的大規(guī)模數(shù)據(jù)集的統(tǒng)計信息如表2所示。

Table 2 Statistics of large-scale datasets of news recommendation表2 新聞推薦的大規(guī)模數(shù)據(jù)集的統(tǒng)計信息

6 實驗方法和評測指標

6.1 實驗方法

與面向其他領域的推薦系統(tǒng)類似，新聞推薦系統(tǒng)主要有三種實驗方法：離線實驗、用戶調查和在線實驗。如文獻[2]同時采用了離線實驗和用戶調查的方法，文獻[1，12]同時采用了離線實驗和在線實驗的方法，文獻[6]采用了在線實驗的方法，文獻[16，18-19，54]采用了離線實驗的方法。

6.2 評測指標

常用的評測指標有：點擊率（HR）、準確率（Precision）、召回率（Recall）、F-score、平均絕對誤差（MAE）、均方根絕對誤差（RMSE）、AUC、LogLoss、Spearman 相關性、NDCG、Success@k、多樣性、驚喜度等。文獻[60]使用了F-score 評估指標，文獻[1,63]使用了準確率（Precision）、召回率（Recall）評估指標，文獻[6,64]使用了CTR 評估指標，文獻[65]使用了Success@5 評估指標，文獻[2]分別使用了F-score、準確率（Precision）、召回率（Recall）、多樣性等評估指標，文獻[37]使用了MAE評估指標，文獻[16]使用了F1 和AUC指標，文獻[19]使用了AUC和LogLoss指標，文獻[18,54]使用了HR和NDCG指標。本文給出現(xiàn)階段使用最多的F-score、HR、NDCG指標的具體計算公式。

F-score指標如式（1）所示：

其中，Precision為準確率，又稱為查準率，表示預測結果中，預測為正樣本的樣本中，正確預測為正樣本的比例；Recall為召回率，又稱為查全率，表示在原始樣本的正樣本中，被正確預測為正樣本的比例。β用于調節(jié)Precision和Recall的重要性，當β=1 時，Precision和Recall同等重要；當β＜1 時，Precision更重要些，否則Recall更重要些。

HR指標如式（2）所示：

其中，#hits@K表示推薦列表的前K項新聞中用戶實際點擊的個數(shù)，|GT|表示用戶實際點擊的新聞數(shù)量。

NDCG指標如式（3）所示：

其中，Zk是歸一化因子，用于確保完美推薦結果時的指標值為1。如果第i個推薦結果為測試集中的正樣本，則ri的值為1，否則ri的值為0。

7 未來的研究方向

個性化新聞推薦是很早就開始研究的領域，近些年，伴隨著新聞大數(shù)據(jù)的產生和移動互聯(lián)網(wǎng)的蓬勃發(fā)展，又迎來了新的挑戰(zhàn)?？梢赃M行深入研究的方向主要包括：

（1）對新聞進行更準確的建模。文獻[2]考慮了新聞中包含的實體名稱，文獻[6]考慮的新聞趨勢是基于其他用戶的點擊行為，但時間上具有延遲性。有些新聞的時效性很強，如突發(fā)新聞、競技比賽的報道等，這些新聞需要盡快地推薦給用戶。而有些新聞的時效性較差，如富豪排行榜等，這些新聞即使不是最近發(fā)布的，如果用戶對這些新聞感興趣且之前沒有閱讀過，也應該進行推薦。研究人員還提出了標記語言模型、圖模型、面向對象模型和本體模型等。文獻[65]提出了上下文樹模型和專家模型，可實現(xiàn)較高的預測準確率和驚喜度。文獻[66]提出了基于本體表示的、與時間關聯(lián)的建模方式。

網(wǎng)絡新聞的來源多樣，規(guī)模龐大，更新頻率快，導致新聞的冷啟動問題。對新聞進行更精準的建模，使得推薦結果具有新穎性、多樣性和時效性等，是一個值得研究的問題。

（2）對用戶進行更精準的建模。文獻[1]僅使用了是否閱讀新聞來對用戶進行建模，文獻[6]考慮了新聞趨勢對用戶的短期興趣的影響，而用戶的短期興趣受很多上下文[67]因素影響。伴隨著互聯(lián)網(wǎng)的智能化，用戶的行為數(shù)據(jù)和用戶生成內容，如發(fā)布的新聞評論、轉發(fā)行為、閱讀時間、閱讀地點等，都可以用于用戶建模。

社會媒體的社交網(wǎng)絡結構在信息的共享和擴散中發(fā)揮著越來越重要的作用。利用多源異構社交網(wǎng)絡用戶的信息融合、交互和信任關系建模的社會化推薦是一個新的研究方向。社交網(wǎng)絡信息（發(fā)布的內容、社交好友等）、郵件信息（郵件內容、聯(lián)系人等）等，都有助于更充分地挖掘用戶的反饋信息，更精準地理解用戶。

在新聞推薦領域，因為存在用戶的興趣漂移現(xiàn)象，所以需要實時對用戶偏好進行更新，但對于新聞推薦中龐大的新聞數(shù)量、豐富的上下文信息，這種更新需要付出很大的代價，現(xiàn)階段的研究還比較少，值得進一步研究。

（3）進一步優(yōu)化推薦模型。新聞具有極高的時效性，需要進行實時推薦。用戶瀏覽新聞時，在線新聞媒體需要在1 s 內提供推薦結果[1]。除了使用高速緩存方法外，文獻[1]利用MapReduce 技術在幾個機群之間分發(fā)計算任務，而文獻[68]利用Ajax 技術實現(xiàn)異步解決方案。

權衡快速反映與過于敏感。一方面推薦的結果要快速反映用戶興趣的變化，另一方面又不要過于敏感，用戶的偶爾涉獵不代表興趣的變化。

傳統(tǒng)的推薦模型具有簡單、可解釋性強等特點，而深度學習可以學習到用戶和新聞的深層次特征，雖然目前已有相關研究出現(xiàn)，但這個方向值得關注。另外，將注意力機制與深度學習相結合，能夠幫助推薦系統(tǒng)抓住新聞中最具有信息量的特征，推薦最具有信息量的新聞，值得未來深入研究。

（4）排序學習。由于推薦結果展示給用戶的條目有限，而不同的位置對轉換效果影響很大，推薦系統(tǒng)的排序學習成為一個重要的課題。排序學習算法可分為基于數(shù)據(jù)點的方法（point-wise）、基于數(shù)據(jù)對的方法（pair-wise）和基于列表（list-wise）的方法三種。其中基于數(shù)據(jù)點的方法目前使用最為廣泛，基于數(shù)據(jù)對的方法和基于列表的方法是近年排序學習研究的熱點。三種排序學習算法各有利弊，從信息完全度方面來分析，基于數(shù)據(jù)點的排序學習利用的信息是不完全的，樣本復雜度為O(n)，在三類算法中樣本復雜度最低，但是排序效果較差；基于數(shù)據(jù)對的排序學習是部分完全的，樣本復雜度為O(n2)，排序效果一般；而基于列表的排序學習利用了完全的信息，樣本復雜度為O(n!)，排序效果最好。研究各種個性化推薦的算法和模型，設計適合個性化新聞推薦系統(tǒng)的排序學習模型是未來的一個研究方向。

另外，系統(tǒng)的靈活性、推薦的數(shù)量、推薦的覆蓋率、推薦結果的驚喜度和多樣性、用戶的隱私保護[69]、模型融合方法、推薦模塊的布局、商業(yè)價值轉化率[68]也是需要深入研究的方向。

8 總結

新聞推薦是最早進行推薦系統(tǒng)研究的領域，已經取得了豐碩的研究成果，進行了很多的工業(yè)實踐。工業(yè)實踐已經表明高性能的推薦不僅可以節(jié)省用戶的時間，而且能夠吸引用戶更多次的訪問。但隨著新聞大數(shù)據(jù)的產生，移動互聯(lián)網(wǎng)的迅速發(fā)展，用戶生成內容的增多，用戶特征獲取準確性的提高等，廣大科研人員將面臨新的研究機遇和挑戰(zhàn)。希望本文能夠為研究個性化新聞推薦的研究人員提供有價值的參考。