莫萍燕 杭州東信北郵信息技術(shù)有限公司，北京郵電大學網(wǎng)絡與交換技術(shù)國家重點實驗室碩士研究生

王玉龍 杭州東信北郵信息技術(shù)有限公司，北京郵電大學網(wǎng)絡與交換技術(shù)國家重點實驗室副教授

一種實時推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺的設計與實現(xiàn)＊

莫萍燕 杭州東信北郵信息技術(shù)有限公司，北京郵電大學網(wǎng)絡與交換技術(shù)國家重點實驗室碩士研究生

王玉龍 杭州東信北郵信息技術(shù)有限公司，北京郵電大學網(wǎng)絡與交換技術(shù)國家重點實驗室副教授

隨著推薦系統(tǒng)的發(fā)展，推薦方式的時效性和準確性要求越來越高。面對迅猛發(fā)展的用戶群，推薦系統(tǒng)的門戶網(wǎng)站的點擊率增加，本文提出了一種實時推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺。通過負載均衡使推薦系統(tǒng)門戶網(wǎng)站多模塊并發(fā)的推薦請求能夠得到有效處理并將推薦算法推薦出的信息實時發(fā)送到門戶前端以減少用戶的等待時間。數(shù)據(jù)發(fā)布平臺通過使用HBase（Hadoop Database）和Redis作為存儲提供推薦系統(tǒng)中的離線推薦計算結(jié)果和在線推薦計算結(jié)果查詢接口。

實時推薦系統(tǒng) 數(shù)據(jù)發(fā)布 高并發(fā)

1 引言

傳統(tǒng)的個性化推薦系統(tǒng)定期分析數(shù)據(jù)，更新模型，進而利用新模型進行個性化推薦。由于是定期更新模型，推薦模型無法保持實時性，推薦的結(jié)果可能不會非常精準。實時性很大的好處在于：一方面更準確地為用戶進行推薦；另一方面是用戶可以根據(jù)實時性的推薦結(jié)果更快進行反饋，進而可以對推薦模型進行盡快更新，使推薦模型更加精確。個性化推薦系統(tǒng)架構(gòu)的關(guān)鍵問題是，如何以無縫方式實現(xiàn)在線和離線計算過程，將算法的計算步驟合理分配到各個部分，使得到的模型既可以非常準確，又可以快速計算以滿足實時性的要求。

本文針對實時個性化推薦系統(tǒng)提出了一種數(shù)據(jù)發(fā)布平臺，其特色主要體現(xiàn)在同時提供離線推薦請求和在線推薦請求處理接口、高并發(fā)的業(yè)務平臺前端請求處理、分布式數(shù)據(jù)緩存存儲等方面。并且平臺也提供接收來自業(yè)務平臺前端頁面發(fā)送的用戶實時行為信息，能夠有效地快速更新推薦模型，提高推薦結(jié)果的準確性。

2 設計目標

（1）實現(xiàn)同時提供離線推薦請求和在線推薦請求處理接口，并且提供接收來自業(yè)務平臺頁面發(fā)送的用戶實時行為信息的接口，為在線推薦計算提供信息源。

（2）隨著個性化推薦系統(tǒng)對實效性要求越來越高，本文設計要求業(yè)務平臺從發(fā)送請求到獲取結(jié)果中間處理的時間在ms級別。

（3）面對逐漸增加的用戶量和訪問行為，數(shù)據(jù)發(fā)布平臺需要做負載均衡處理高并發(fā)的來自業(yè)務平臺的推薦請求。

（4）系統(tǒng)能夠安全可靠地存儲和快速提取推薦結(jié)果并且能夠隨著數(shù)據(jù)增加有效地線性擴容是非常關(guān)鍵的，因此分布式的存儲架構(gòu)是本文的選擇。

3 系統(tǒng)設計

3.1 推薦系統(tǒng)設計

推薦系統(tǒng)設計如圖1所示。本文的推薦系統(tǒng)根據(jù)功能的不同主要劃分為3個模塊，即收集用戶行為信息模塊、推薦計算模塊（該模塊又包括推薦知識計算模塊與推薦結(jié)果計算模塊），還有數(shù)據(jù)發(fā)布平臺模塊。

運用SPSS 21.0的統(tǒng)計學軟件，進行數(shù)據(jù)統(tǒng)計分析，計數(shù)資料用“%”表示，采用x2檢驗，計量資料患用（±s）來表示，以（P＜0.05）作為差異具有統(tǒng)計學意義。

3.1.1 業(yè)務平臺前端

本文的業(yè)務平臺前端是中國移動手機閱讀界面，包括PC端和手機客戶端，業(yè)務平臺前端負責推薦請求的發(fā)送、推薦結(jié)果應答的處理和呈現(xiàn)，其中可涉及到多種業(yè)務，如“猜你喜歡”、“新書推薦”和“私人定制”等。

3.1.2 數(shù)據(jù)發(fā)布平臺

消息傳送采用的是HTTP協(xié)議（HypertextTransfer Protocol，超文本傳輸協(xié)議），該平臺從業(yè)務平臺前端接收HTTP請求，然后讀寫實時查詢庫，完成實時數(shù)據(jù)的發(fā)布。它對每個HTTP請求進行鑒權(quán)，對離線推薦數(shù)據(jù)查詢請求返回HBase庫的離線推薦結(jié)果，對在線實時推薦計算請求將實時請求消息寫入到實時查詢庫中的推薦請求隊列，也可查詢在線推薦結(jié)果隊列將數(shù)據(jù)返回給門戶前端。

3.1.3 實時查詢庫模塊

實時查詢庫完成待查詢數(shù)據(jù)的緩存、請求消息和結(jié)果隊列的保存，采用HBase、Redis等高性能實時庫，實現(xiàn)ms級別的查詢和寫入響應。

3.1.4 數(shù)據(jù)倉庫模塊

數(shù)據(jù)倉庫中與實時推薦相關(guān)的數(shù)據(jù)包括用戶行為數(shù)據(jù)、圖書信息數(shù)據(jù)、推薦知識數(shù)據(jù)、推薦結(jié)果數(shù)據(jù)等。除了為“推薦計算系統(tǒng)”提供基礎數(shù)據(jù)外，也可將需要實時查詢的數(shù)據(jù)定期同步到實時查詢庫。實現(xiàn)主要基于成熟的Oracle、Hive等。

3.1.5 推薦計算模塊

推薦計算模塊從功能上可劃分為推薦知識計算子系統(tǒng)和推薦結(jié)果計算子系統(tǒng)。其中推薦結(jié)果計算子系統(tǒng)從實現(xiàn)上分為在線推薦結(jié)果計算、離線推薦結(jié)果計算兩套計算方式，兩種方式下各個子模塊的功能雖然相似，但具體實現(xiàn)不用，離線推薦結(jié)果計算使用Hadoop任務來實現(xiàn)，在線推薦結(jié)果計算使用Storm來完成。

3.1.6 數(shù)據(jù)采集模塊

圖1 推薦系統(tǒng)設計圖

數(shù)據(jù)采集模塊除現(xiàn)有的較成熟的離線采集方式外，還有在線采集（Kafka）方式。除了將采集到的數(shù)據(jù)持久化到數(shù)據(jù)倉庫外，也為推薦計算系統(tǒng)提供用戶行為的準實時和實時采集方式。

3.2 數(shù)據(jù)發(fā)布平臺設計

數(shù)據(jù)發(fā)布平臺設計如圖2所示。本文的數(shù)據(jù)發(fā)布平臺根據(jù)功能的不同主要劃分為4個模塊，即負載均衡模塊、鑒權(quán)管理模塊，在線推薦請求處理模塊和圖書信息緩存模塊。

3.2.1 負載均衡模塊

負載均衡（LoadBalance）建立在現(xiàn)有網(wǎng)絡結(jié)構(gòu)之上，提供了一種廉價、有效、透明的方法擴展網(wǎng)絡設備和服務器的帶寬、增加吞吐量、加強網(wǎng)絡數(shù)據(jù)處理能力、提高網(wǎng)絡的靈活性和可用性。為了處理每天最高數(shù)億PV的請求，需要使用HTTP負載均衡軟件進行應用請求的分發(fā)。負載均衡軟件使用特定的機制將請求分發(fā)到真正的Web服務器上，分發(fā)機制可根據(jù)應用特點適當選擇。

本文將在Nginx的基礎上研究數(shù)據(jù)發(fā)布平臺的負載均衡模塊，使用Nginx作為負載均衡軟件，Nginx不單可以作為強大的Web服務器，也可以作為一個反向代理服務器，而且Nginx還可以按照調(diào)度規(guī)則實現(xiàn)動態(tài)、靜態(tài)頁面的分離，可以按照輪詢、IP哈希、URL哈希、權(quán)重等多種方式對后端服務器做負載均衡，同時還支持后端服務器的健康檢查。負載均衡具體配置如圖3所示。

3.2.2 鑒權(quán)管理模塊

第三方應用可以向?qū)崟r數(shù)據(jù)發(fā)布平臺發(fā)送推薦請求、數(shù)據(jù)查詢請求，鑒權(quán)管理模塊負責第三方應用的注冊、令牌認證等鑒權(quán)任務。第三方應用需要在實時數(shù)據(jù)發(fā)布平臺網(wǎng)站頁面注冊申請開發(fā)賬號，填寫信息主要包括第三方應用賬號、密碼、Token超時時間、應用描述等信息，若賬號注冊成功，實時數(shù)據(jù)發(fā)布系統(tǒng)生成唯一標識的appKey和appSecret，這兩個值將作為參數(shù)用于獲取Access_Token值。若注冊失敗，實時數(shù)據(jù)發(fā)布系統(tǒng)提示錯誤信息，用戶進一步修改信息進行注冊。在以后的每一次請求中，第三方應用需要帶著Access_Token，系統(tǒng)通過此參數(shù)進行鑒權(quán)認證，若該Access_Token已過期，第三方應用需要重新申請Access_Token。

3.2.3 在線推薦請求處理模塊

圖2 數(shù)據(jù)發(fā)布平臺設計圖

圖3 負載均衡部署圖

本模塊將用到Redis數(shù)據(jù)庫存儲和查詢，Redis是一款高性能的Key-value內(nèi)存數(shù)據(jù)庫，提供了一些豐富的數(shù)據(jù)結(jié)構(gòu)，如String（字符串）、Lists（鏈表）、Set（集合）和Zset（有序集合）。這些數(shù)據(jù)類型都支持Push/ Pop、Add/Remove、取交集、并集和差集及更豐富的操作，而且這些操作都是原子性的。

數(shù)據(jù)發(fā)布平臺接到推薦請求后，首先對請求進行鑒權(quán)和預處理，然后將請求消息寫入到實時查詢庫的請求隊列表中，在等待一段平均處理時間后，開始從Redis的查詢應答結(jié)果隊列表中查詢對應的推薦結(jié)果數(shù)據(jù)，若不存在再采取一定的延時策略重復查詢，查詢到后將數(shù)據(jù)組裝返回給業(yè)務平臺前端，整個請求處理寫入和結(jié)果查詢的流程如圖4所示。

3.2.4 圖書信息緩存模塊

本模塊將用到Hbase數(shù)據(jù)庫存儲和查詢，HBase能夠支持海量數(shù)據(jù)的分布式實時存儲，查詢速度較快，并且HBase是面向列的KeyValue數(shù)據(jù)庫，可以存儲異構(gòu)數(shù)據(jù)并且方便范圍查詢。

圖書緩存模塊負責從業(yè)務平臺獲取圖書的封裝信息（包括圖書名、作者信息、分類信息、封面信息等），并緩存到HBase表中。對外提供圖書信息查詢服務，并具備過期圖書自動更新功能，緩存服務作為單獨服務對外提供服務，支持負載均衡部署。緩存的圖書信息保存在HBase表中，采取查詢時更新策略，當從緩存表中查詢不到或查詢到的圖書信息過期時，重新從業(yè)務平臺前端獲取該圖書信息，并更新緩存表。緩存模塊對外提供的圖書信息查詢服務通過HTTP請求和應答來實現(xiàn)，該模塊采用當前較為流行的數(shù)據(jù)傳輸格式——JSON。JSON格式是一種輕量級的數(shù)據(jù)交換格式，載荷高、易于通過編碼進行解析的特點使其非常適合移動互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)傳輸。具體交互圖見圖5。

圖4 在線推薦請求處理流程圖

圖5 圖書信息緩存交互圖

4 結(jié)束語

本文提供了一種實時推薦系統(tǒng)數(shù)據(jù)發(fā)布平臺的設計與實現(xiàn)方案，數(shù)據(jù)發(fā)布平臺的接口可分為兩類，即在線推薦請求和離線推薦請求接口。消息接口可以實現(xiàn)智能推薦系列應用場景的數(shù)據(jù)推送。數(shù)據(jù)發(fā)布平臺可以根據(jù)需求增加相應的接口，不斷地完善系統(tǒng)，具有可擴展性。數(shù)據(jù)發(fā)布平臺對業(yè)務平臺的請求，系統(tǒng)的響應時間控制在ms級，具有較高的實時性。本文使用分布式的存儲架構(gòu)，面對越來越多的用戶量和訪問行為，系統(tǒng)能夠安全可靠地存儲和分析這些數(shù)據(jù)，HBase可以依靠橫向擴展，通過不斷增加服務器，來增加計算和存儲能力。另外，為了滿足最高每天數(shù)億PV的請求，運用Ngnix的負載均衡特性同樣可以通過不斷地增加Web服務器，來提高系統(tǒng)處理大量用戶訪問的能力。

1 Hypertext Transfer Protocol HTTP/1.1.http://www.ietf.org/ rfc/rfc2616.txt

2 林麗麗.使用高性能Web服務器Nginx實現(xiàn)開源負載均衡.大眾科技.2010,7

3 曾超宇,李金香.Redis在高速緩存系統(tǒng)中的應用.微型機與應用.2013

4 Introducing JSON.http://www.json.org/

5 項亮.推薦系統(tǒng)實踐.人民郵電出版社.2012

Design and Implementation of a Real-time Recommendation System Data Publishing Platform

With the development of recommendation system,the timeliness and accuracy of the recommended way has increasingly high demand,in the face of the rapid development of the user base,increasing portal hits of recommendation system,this paper proposes a real-time recommendation system data publishing platform with multi-module concurrent requests can be effectively treated by using by load balancing and the real-time information recommended by recommendation algorithm is sent to the front door to reduce the waiting time for users.By using Redis and HBase(Hadoop Database)as storage,the system offers offline and online recommendation calculation results query interface.

real-time recommendation system,data publishing,high concurrency

2015-08-24）

國家“973”計劃項目（2013CB329102），國家自然科學基金資助項目（61471063、61372120、61271019、61101119、61121001），長江學者和創(chuàng)新團隊發(fā)展計劃（IRT1049），教育部科學技術(shù)研究重點（重大）項目（MCM20130310），北京高等學校青年英才計劃項目（YETP0473）資助