韓佳良，韓宇棟，劉譞哲，趙耀帥，馮迪*

基于云?端融合的個性化推薦服務(wù)系統(tǒng)

韓佳良1，韓宇棟1，劉譞哲1，趙耀帥2，3，馮迪2，3*

（1.高可信軟件技術(shù)教育部重點實驗室（北京大學(xué)），北京 100871； 2.中國民航信息網(wǎng)絡(luò)股份有限公司，北京 101318； 3.中國民用航空局 民航旅客服務(wù)智能化應(yīng)用技術(shù)重點實驗室，北京 101318）（?通信作者電子郵箱fengdi@travelsky.com.cn）

主流個性化推薦服務(wù)系統(tǒng)通常利用部署在云端的模型進行推薦，因此需要將用戶交互行為等隱私數(shù)據(jù)上傳到云端，這會造成隱私泄露的隱患。為了保護用戶隱私，可以在客戶端處理用戶敏感數(shù)據(jù)，然而，客戶端存在通信瓶頸和計算資源瓶頸。針對上述挑戰(zhàn)，設(shè)計了一個基于云?端融合的個性化推薦服務(wù)系統(tǒng)。該系統(tǒng)將傳統(tǒng)的云端推薦模型拆分成用戶表征模型和排序模型，在云端預(yù)訓(xùn)練用戶表征模型后，將其部署到客戶端，排序模型則部署到云端；同時，采用小規(guī)模的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）抽取用戶交互日志中的時序信息來訓(xùn)練用戶表征，并通過Lasso算法對用戶表征進行壓縮，從而在降低云端和客戶端之間的通信量以及客戶端的計算開銷的同時防止推薦準確率的下跌?；赗ecSys Challenge 2015數(shù)據(jù)集進行了實驗，結(jié)果表明，所設(shè)計系統(tǒng)的推薦準確率和GRU4REC模型相當(dāng)，而壓縮后的用戶表征體積僅為壓縮前的34.8%，計算開銷較低。

個性化推薦服務(wù)系統(tǒng)；云?端融合；用戶表征模型；隱私保護；循環(huán)神經(jīng)網(wǎng)絡(luò)

0 引言

隨著基于信息流的應(yīng)用程序不斷增多，互聯(lián)網(wǎng)信息的數(shù)量和種類快速增長，用戶通常需要花費大量時間和精力才能找到自己偏好的內(nèi)容，而這種瀏覽大量無關(guān)信息的過程會加重用戶的信息過載負擔(dān)。為了解決這個問題，個性化推薦服務(wù)系統(tǒng)應(yīng)運而生。個性化推薦服務(wù)系統(tǒng)是一種信息過濾系統(tǒng)，它可以根據(jù)用戶畫像或歷史行為挖掘用戶的興趣愛好，從而預(yù)測用戶對推薦項目的偏好或評分，并有針對性地為用戶推薦內(nèi)容。

如圖1所示，目前主流的個性化推薦服務(wù)系統(tǒng)整體上基于云端服務(wù)器，將推薦項目特征、用戶特征、用戶交互日志等信息輸入到部署在云端的模型中進行推薦?；谠贫说耐扑]服務(wù)系統(tǒng)有泛化性能好、容易部署、支持絕大多數(shù)推薦算法等優(yōu)點，但存在如下缺陷：需要將用戶交互行為等隱私數(shù)據(jù)上傳到云端，存在隱私泄露的隱患。此外，隨著以歐盟通用數(shù)據(jù)保護條例（General Data Protection Regulation， GDPR）為代表的相關(guān)法律法規(guī)的出臺，上傳用戶數(shù)據(jù)到云端來進行個性化推薦還可能帶來法律方面的風(fēng)險。

圖1　主流個性化推薦服務(wù)系統(tǒng)的結(jié)構(gòu)

1992年，Goldberg等［1］提出了基于用戶的協(xié)同過濾算法，其核心思想是歷史行為相似的用戶更傾向于購買同一商品；2001年，Sarwar等［2］提出了基于項目的協(xié)同過濾算法，其核心思想是用戶購買歷史相似的商品更容易被同一個用戶購買。協(xié)同過濾算法的優(yōu)點是不需要利用推薦項目的內(nèi)容特征，能有效利用其他相似用戶的反饋信息，有推薦新內(nèi)容（與用戶歷史記錄有差異的內(nèi)容）的能力，可以發(fā)現(xiàn)用戶潛在的偏好；但協(xié)同過濾算法存在冷啟動問題、稀疏性問題和延展性問題。

另一種典型的推薦方法是基于內(nèi)容的推薦，其核心思想是根據(jù)物品的特征挖掘物品的相似性，從而基于用戶的歷史記錄推薦給用戶相似的物品?；趦?nèi)容的推薦算法優(yōu)點在于用戶之間的獨立性以及推薦項目的可解釋性，解決了物品冷啟動問題；但基于內(nèi)容的推薦算法的缺點在于物品特征有限或難以抽取、無法挖掘用戶的潛在偏好、無法解決用戶冷啟動等問題。

隨著深度學(xué)習(xí)的興起，研究者著力于將深度學(xué)習(xí)相關(guān)技術(shù)應(yīng)用于推薦系統(tǒng)中，以提升推薦系統(tǒng)的性能。盡管如此，多數(shù)基于深度學(xué)習(xí)的方法仍然是協(xié)同過濾和（或）基于內(nèi)容的推薦算法的變種和（或）混合。

2016年，來自Google的Cheng等［3］提出了用于推薦系統(tǒng)的Wide & Deep Learning算法。Wide模型輸入獨熱編碼后的二值特征，從歷史信息中發(fā)現(xiàn)推薦項目或特征之間的相關(guān)性，推薦結(jié)果往往是和歷史記錄中的項目直接相關(guān)的項目；Deep模型輸入連續(xù)特征和可以產(chǎn)生低維稠密表征的連續(xù)特征，學(xué)習(xí)新的特征組合，可以推薦歷史記錄中從未出現(xiàn)過相似的項目。聯(lián)合訓(xùn)練Wide模型和Deep模型，就可以讓推薦算法同時具有記憶能力和泛化能力。為了端到端地學(xué)習(xí)高階和低階的交叉特征，Guo等［4］提出了DeepFM模型。DeepFM模型用分解機（Factorization Machine， FM）模型替代Wide & Deep模型中的Wide模型，F(xiàn)M模型和Deep模型共享高維稀疏特征輸入和低維稠密表征，F(xiàn)M模型自動提取二階交叉特征，Deep模型自動提取高階交叉特征。

主流推薦系統(tǒng)平臺使用的用戶數(shù)據(jù)往往是時序數(shù)據(jù)，而傳統(tǒng)的基于內(nèi)容的推薦算法和協(xié)同過濾算法在刻畫時序數(shù)據(jù)時存在明顯的缺陷：每個推薦項目相互獨立，不能建模一段時間內(nèi)用戶對內(nèi)容的連續(xù)偏好信息。2016年，Hidasi等［5］提出了GRU4REC模型，首次將循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）應(yīng)用于推薦系統(tǒng)，用于抽取用戶對內(nèi)容的偏好時序信息。將一段時間內(nèi)的點擊序列作為模型輸入，每一個推薦項目被點擊的預(yù)測概率作為模型輸出。模型損失函數(shù)有逐點排序損失（交叉熵）、逐對排序損失（基于矩陣分解的貝葉斯個性化排序（Bayesian Personalized Ranking ，BPR）和基于正則估計的TOP1）。

近年來，研究者著力于改進GRU4REC模型，以達到更好的時序推薦性能。例如，Hidasi等［6］將圖像和文本等非結(jié)構(gòu)化信息作為特征，Bogina等［7］考慮到了用戶在推薦項目上的停留時間，Jannach等［8］將K近鄰算法和RNN模型的推薦結(jié)果進行結(jié)合，他們都實現(xiàn)了超過原本GRU4REC模型的推薦效果。

為了實現(xiàn)保護用戶隱私的需求，本文將云端推薦模型中處理用戶敏感數(shù)據(jù)的部分拆分成獨立的模塊，且該模塊的輸出不包含敏感的用戶隱私信息。其中，敏感的隱私信息指包含用戶元信息、瀏覽行為、點擊行為、收藏行為、加購物車行為等數(shù)據(jù)。將這個獨立處理用戶敏感數(shù)據(jù)的模塊遷移到客戶端運行。將客戶端的用戶數(shù)據(jù)處理模塊輸出的結(jié)果傳輸?shù)皆贫?，與云端推薦模型協(xié)同完成推薦。

然而，這樣的做法面臨兩點挑戰(zhàn)：首先，由于客戶端的帶寬有限，客戶端與云端之間不能進行大規(guī)模的數(shù)據(jù)通信；其次，由于客戶端的計算資源有限，客戶端處理用戶數(shù)據(jù)的過程不能太復(fù)雜，以避免造成過大的計算負載。

針對上述需求和挑戰(zhàn)，受輸入法詞預(yù)測領(lǐng)域的DeepType［9］啟發(fā)，本文設(shè)計了一個基于云?端融合的個性化推薦服務(wù)系統(tǒng)，在客戶端處理用戶敏感數(shù)據(jù)，并與云端協(xié)同完成推薦。該系統(tǒng)將傳統(tǒng)的云端推薦模型拆分成用戶表征模型和排序模型，在云端預(yù)訓(xùn)練用戶表征模型后，將其部署到客戶端，排序模型則部署到云端。本文采用小規(guī)模的RNN抽取用戶交互日志中的時序信息來訓(xùn)練用戶表征，并通過Lasso算法對用戶表征進行壓縮，從而在推薦準確率同現(xiàn)有基于云的模型相當(dāng)?shù)那疤嵯拢瑴p少云端和客戶端之間的通信量，降低客戶端的計算開銷。

本文的主要工作包括：

1）設(shè)計了一個基于云?端融合的個性化推薦服務(wù)系統(tǒng)，緩解了現(xiàn)有方法存在的用戶隱私泄露問題。

2）在不降低推薦準確率的前提下，通過對用戶表征的稀疏化壓縮和減小RNN規(guī)模，降低了云端與客戶端之間的通信成本和客戶端模型的計算資源占用。

3）在RecSys Challenge 2015數(shù)據(jù)集對實現(xiàn)的系統(tǒng)進行了性能評估，驗證了系統(tǒng)的有效性。

1 系統(tǒng)設(shè)計

1.1　系統(tǒng)概覽

本文將用戶與基于云?端融合的個性化推薦服務(wù)系統(tǒng)之間的交互分為三階段：用戶首次使用推薦服務(wù)、用戶產(chǎn)生交互和用戶請求推薦內(nèi)容。其中，第一階段對于每個用戶而言只需進行一次，第二階段在用戶每次產(chǎn)生一定量的交互記錄后便運行一次，第三階段在用戶每次請求推薦時運行一次。

在用戶首次使用推薦服務(wù)時：在云端，利用公共的用戶交互記錄（不涉及用戶隱私）預(yù)訓(xùn)練隨機初始化的用戶表征模型，得到全局的用戶表征模型；在客戶端，下載全局的用戶表征模型。

在用戶產(chǎn)生交互記錄時：在客戶端，請求訪問內(nèi)容的同時，從云端下載訪問的項目對應(yīng)表征，用于訓(xùn)練（微調(diào)）預(yù)訓(xùn)練過的全局的用戶表征模型，得到個性化的用戶表征模型，從用戶表征模型的輸出中提取用戶表征。注意微調(diào)時使用的是本地的隱私數(shù)據(jù)，因為使用用戶實時產(chǎn)生的行為數(shù)據(jù)有利于提高模型預(yù)測準確率，且此數(shù)據(jù)只在客戶端存儲和使用，隱私泄露風(fēng)險低。

在用戶請求推薦內(nèi)容時：在客戶端，上傳最近更新的用戶表征，接收推薦結(jié)果；在云端，將用戶表征、推薦項目表征庫輸入到推薦模型，得到推薦結(jié)果。

基于云?端融合的個性化推薦服務(wù)系統(tǒng)的整體結(jié)構(gòu)如圖2所示。

圖2　基于云?端融合的個性化推薦服務(wù)系統(tǒng)的結(jié)構(gòu)

1.2　用戶表征模型

受GRU4REC［5］啟發(fā)，本文采用一種RNN的變種——門控循環(huán)單元（Gated Recurrent Unit， GRU），建模一次會話過程中用戶的行為特征，進而提取用戶表征，作為部署在客戶端的個性化的用戶表征模型。因此，用戶表征模型是面向推薦調(diào)整過的GRU網(wǎng)絡(luò)，其輸出為用戶表征。

如圖3，用戶表征模型輸入為一段會話中的項目（如商品）序列，在嵌入層將項目ID轉(zhuǎn)化為低維稠密表征，在GRU神經(jīng)元層挖掘序列信息，將最后一個項目對應(yīng)的GRU輸出作為用戶表征輸出，其含義為GRU網(wǎng)絡(luò)預(yù)測的每一個項目是下一個項目的概率。若使用多個GRU層，那么下一層GRU的輸入是上一層GRU的隱含狀態(tài)。由于GRU最初不是用來建模推薦系統(tǒng)用戶行為的，且在客戶端訓(xùn)練GRU需要保證用戶體驗不受影響，本文對訓(xùn)練策略進行會話并行的最小批次、負樣本采樣、用于排序的損失函數(shù)、減小GRU規(guī)模等優(yōu)化，以適應(yīng)推薦任務(wù)并提高訓(xùn)練效率。

圖3　用戶表征模型的結(jié)構(gòu)

1.2.1會話并行的最小批次

1.2.2負樣本采樣

主流推薦系統(tǒng)包含的推薦項目都是海量的，數(shù)據(jù)集中用戶點擊的項目為正樣本，那么全部項目集合中的其他項目均為負樣本，顯然，在訓(xùn)練GRU時，不能對全部負樣本進行打分，而是需要對負樣本進行合理的采樣。一個基線的取樣方法是隨機取樣，即假設(shè)用戶沒有點擊某個項目是因為他沒有發(fā)現(xiàn)這個項目，但同樣存在用戶因為不喜歡這個項目而故意不去點擊它的可能。為了減小這種違背取樣假設(shè)的可能性，可以采用按項目流行度采樣，即負樣本采樣概率與其流行度成正比。一個取巧的方法是將一次訓(xùn)練批次中的其他項目作為負樣本，這樣做的好處在于：沒有單獨的采樣步驟，節(jié)省計算時間；實現(xiàn)方便，便于矩陣加速；同時該方法也符合基于流行度采樣，因為下一個產(chǎn)品是同一個批次中其他項目的概率正比于它的流行度。

1.2.3用于排序的損失函數(shù)

常見的排序問題損失函數(shù)有基于點的（pointwise）、基于對的（pairwise）和基于列表的（listwise）?；邳c的方法為每個項目獨立打分，并保證相關(guān)項目的得分盡量高?；趯Φ姆椒ㄐ枰獙Ρ日摌颖镜呐琶⒈ＷC正樣本的得分高于負樣本。基于列表的方法將全部項目的得分和正確排序的列表進行對比，并保證全部正樣本的得分高于負樣本。由于基于列表的排序方法涉及排序，計算復(fù)雜性更高，且由于本文的推薦系統(tǒng)場景下只存在一個正樣本，基于列表的方法會退化為基于對的方法，因此本文只實現(xiàn)了基于點的排序損失函數(shù)和基于對的排序損失函數(shù)。

基于點的排序損失函數(shù)為交叉熵（Cross Entropy， CE）函數(shù)：

其中：正樣本為1，負樣本為0。

基于對的排序損失函數(shù)：

BPR［10］：

TOP1［5］：

其中：前項表示對相關(guān)項目的相對排名的正則化近似，后項是正則化項，保證負樣本的得分接近于0。

為了解決客戶端上處理用戶數(shù)據(jù)的過程不能占用過多計算資源的問題，本文使用1層100個隱藏單元的GRU網(wǎng)絡(luò)作為用戶表征模型。第2章中的實驗結(jié)果表明，即使只使用單層GRU網(wǎng)絡(luò)，且限制GRU隱藏狀態(tài)維數(shù)遠小于輸入層維數(shù)，GRU仍然能夠勝任挖掘用戶訪問歷史中的時序信息、提取用戶表征的任務(wù)，并達到接近包含更多層或更多隱藏單元的GRU網(wǎng)絡(luò)的推薦準確率。

1.3　排序模型

本文將部署在云端的排序模型實現(xiàn)為用戶表征和推薦項目表征的內(nèi)積運算，并將內(nèi)積結(jié)果排序，估計項目和用戶之間的相關(guān)性，返回得分最高的若干個項目作為推薦結(jié)果。

用內(nèi)積運算作為排序模型主要考慮到以下兩點因素：

一是真實環(huán)境下的實時推薦系統(tǒng)的性能要求。推薦系統(tǒng)不能提前計算全部用戶和全部項目之間的相關(guān)性，因為用戶和項目都在不斷更新和替換，而且云端服務(wù)器并沒有足夠的空間為每一組（用戶，項目）對存儲其相關(guān)性。這就要求推薦系統(tǒng)在很短的時間內(nèi)計算用戶和項目之間的相關(guān)性得分，而內(nèi)積運算滿足這樣的需求［11］。

二是保護用戶隱私的要求。提出基于云?端融合的個性化推薦系統(tǒng)的動機是避免用戶隱私泄露，這要求推薦系統(tǒng)不能上傳用戶ID，只能上傳用戶表征。進一步地，云端無法根據(jù)用戶ID恢復(fù)出每個用戶點擊項目的歷史記錄，故云端不支持訓(xùn)練基于用戶ID的推薦算法或排序算法，如協(xié)同過濾算法［1-2］、矩陣低秩分解的相關(guān)算法［4］、LambdaMART［12］等基于機器學(xué)習(xí)的排序算法，都由于用戶ID的缺失而不支持云端訓(xùn)練。

1.4　用戶表征稀疏化

由于客戶端的帶寬有限，客戶端與云端之間不能進行大規(guī)模的數(shù)據(jù)通信，同時要避免因降低通信量導(dǎo)致的推薦系統(tǒng)準確率下降。本文通過稀疏編碼（sparse encoding）的方式來保留用戶表征中的主要信息，利用Lasso算法對用戶表征進行稀疏化。

“哪能由著你？”賽十娘又笑出聲，“還是順著他們，少吃點兒虧。莫像河浦那個女孩兒，烈得很。越烈越吃虧。”

然后，在損失函數(shù)中加入Lasso懲罰項，限制用戶表征的大小和稠密度：

2 實驗與結(jié)果分析

為了測試基于云?端融合的個性化推薦服務(wù)系統(tǒng)的性能，本文針對推薦準確率、用戶表征的壓縮效果、客戶端模型的運行時性能這三個內(nèi)容的多個指標對該系統(tǒng)進行評測。實驗數(shù)據(jù)集為RecSys Challenge 2015，該數(shù)據(jù)集是電商網(wǎng)站大量用戶長時間的點擊流數(shù)據(jù)。

2.1　數(shù)據(jù)集和實驗配置

2.1.1數(shù)據(jù)集

RecSys Challenge 2015數(shù)據(jù)集是電商網(wǎng)站在不同時間段（即會話）內(nèi)連續(xù)發(fā)生的用戶點擊流時序數(shù)據(jù)，本文只用了點擊流的訓(xùn)練數(shù)據(jù)。該數(shù)據(jù)集的域包括會話ID、項目ID、時間戳、項目類別。由于同一次會話只對應(yīng)一個用戶，本文將會話ID看成用戶ID，即不同的會話對應(yīng)不同的用戶。

2.1.2數(shù)據(jù)預(yù)處理

由于任務(wù)設(shè)定為在時序數(shù)據(jù)上的推薦，本文首先過濾掉了長度為1的會話。將會話按時間排序，先用前6個月的7 966 124個會話對應(yīng)的在37 386個項目上的31 636 669次點擊進行訓(xùn)練，然后用后續(xù)的數(shù)據(jù)進行測試。本文不會把一個會話從中間分成訓(xùn)練集和測試集，即每個會話一定會完整地屬于訓(xùn)練集或者完整地屬于測試集。過濾掉只在測試集中出現(xiàn)而沒有在訓(xùn)練集中出現(xiàn)的項目。在上述過濾之后，再次過濾掉長度為1的會話。這樣就得到了包含15 188個會話對應(yīng)的70 826次點擊的測試集。

2.1.3實驗配置

本文在GPU服務(wù)器環(huán)境下評測推薦準確率和用戶表征壓縮效果，在個人筆記本電腦的瀏覽器環(huán)境下評測客戶端模型的運行時性能。服務(wù)器和人筆記本電腦（Hasee T97E筆記本）的配置如表1所示。上述實驗環(huán)境的分配符合基于云?端融合的個性化推薦系統(tǒng)在真實環(huán)境下的使用場景，因此評測實驗可以反映該系統(tǒng)在真實環(huán)境下的性能表現(xiàn)。

表1　服務(wù)器與個人計算機的配置

2.2　推薦準確率

2.2.1評測指標

考慮到用戶感興趣的項目在推薦列表中的排名，可以使用MRR@20作為評測指標，即用戶感興趣的項目在推薦列表中的倒數(shù)排名的平均值。若用戶感興趣的項目排名超過20，MRR置為0。MRR比較貼合排名靠后的項目需要滾動屏幕才能看到、絕對排名比較重要的場景。

2.2.2基線模型

本文把基于云?端融合的個性化推薦服務(wù)系統(tǒng)和一系列常用的基線模型進行對比：

1）POP：總是推薦訓(xùn)練集中最流行（即點擊次數(shù)最多）的項目。

2）S?POP：總是推薦當(dāng)前會話中最流行的項目。

3）Item?KNN［13］：推薦和當(dāng)前會話中最后一個項目最相似的項目。相似度定義為兩個項目出現(xiàn)在不同會話中的余弦相似度，即兩個項目共同出現(xiàn)的會話數(shù)除以單獨出現(xiàn)的會話數(shù)的乘積的平方根，且加入了正則化項。

4）BPR?MF［10］：BPR?MF通過隨機梯度下降優(yōu)化基于對的（pairwise）排序損失函數(shù)。由于新的會話尚未預(yù)先計算特征向量，矩陣分解算法不能直接用于基于會話的推薦場景?？梢园旬?dāng)前會話中已經(jīng)點擊的項目特征向量的平均值作為用戶特征向量，來讓該算法重新適用。

5）GRU4REC［5］：GRU4REC將RNN應(yīng)用于推薦系統(tǒng)，用于抽取用戶對內(nèi)容的偏好時序信息。模型輸入一段時間內(nèi)的點擊序列，輸出每一個推薦項目被點擊的預(yù)測概率。模型損失函數(shù)有逐點排序損失（交叉熵）和逐對排序損失（基于矩陣分解的BPR和基于正則估計的TOP1）。

如表2，基于RNN的GRU4REC模型的推薦準確率顯著高于其他方法，原因是RNN可以提取到用戶歷史行為數(shù)據(jù)中的時序信息，基于更多的信息量對未來行為進行推測。

2.2.3超參數(shù)設(shè)置

用戶表征GRU網(wǎng)絡(luò)的結(jié)構(gòu)和超參數(shù)大部分參照了GRU4REC模型［5］中給出的最優(yōu)組合：GRU層前面沒有嵌入層，GRU為1層，GRU單元數(shù)為100，GRU層后沒有前饋神經(jīng)網(wǎng)絡(luò)層；批量大?。╞atch size）為50，優(yōu)化算法為adagrad，學(xué)習(xí)率為0.01，momentum為0，dropout率為0.5，輸出層激活函數(shù)為tanh。

2.2.4實驗結(jié)果分析

如表3，在測試集上分別對3種損失函數(shù)的推薦準確率進行測試，其中：w/o表示without，即未進行Lasso處理的模型；w/表示with，即有Lasso處理的模型?？梢园l(fā)現(xiàn)，對于未進行Lasso處理的模型，采用TOP1損失函數(shù)的準確率最高；對于進行Lasso處理的模型，采用交叉熵損失函數(shù)的準確率最高。Lasso的加入對推薦算法的準確率影響很小，甚至對于交叉熵和BPR而言還會讓MRR@20小幅提升，這可能是Lasso帶來了一定程度的正則化效果，避免了模型過擬合。

表3　本文模型的推薦準確率

將本文模型和基線模型中推薦效果最好的以TOP1為損失函數(shù)的GRU4REC模型對比，結(jié)果如表4?？梢钥闯觯琇asso算法的加入對基于GRU的推薦模型的準確率影響較小，對于交叉熵損失函數(shù)甚至達到了和未進行Lasso處理的模型相當(dāng)?shù)臏蚀_率。

表4　本文模型和GRU4REC的準確率

綜上所述，基于云?端融合的個性化推薦系統(tǒng)可以達到和最優(yōu)基線模型相當(dāng)?shù)耐扑]準確率。

2.3　用戶表征壓縮效果

2.3.1評測指標

為了衡量Lasso對用戶表征的稀疏化效果，本文定義稠密度作為評測指標：

為了衡量稀疏編碼對用戶表征的壓縮效果，本文定義壓縮率作為評測指標：

2.3.2實驗結(jié)果分析

如表5，在測試集上分別對3種損失函數(shù)的用戶表征的壓縮效果進行測試?？梢钥闯觯瑢τ谶M行Lasso處理的模型，采用交叉熵損失函數(shù)的稀疏化效果和壓縮效果最好。同時，Lasso的加入會產(chǎn)生很好的用戶表征稀疏化效果和壓縮效果，對于交叉熵和BPR損失函數(shù)而言，用戶表征中值為0的維度的比例都超過了75%，用戶表征的體積壓縮都在65%左右。

綜上所述，基于云?端融合的個性化推薦系統(tǒng)可以產(chǎn)生很好的用戶表征稀疏化效果和壓縮效果，從而大幅降低客戶端和云端之間的通信成本。

表5　測試集上的用戶表征壓縮效果

2.4　客戶端模型的運行時性能

2.4.1評測指標

為了從多角度評測客戶端模型運行時性能和刻畫用戶體驗，選取如下評測指標：CPU占用率、CPU內(nèi)存占用、GPU內(nèi)存占用和單次用戶表征更新時間。

2.4.2實驗結(jié)果分析

客戶端的用戶表征模型每收集一個批次（50條）用戶交互記錄，就對模型進行一次微調(diào)，并根據(jù)個性化的用戶表征模型更新稀疏化的用戶表征。將客戶端的用戶表征模型部署在個人筆記本電腦的瀏覽器上，評測用戶表征更新時的系統(tǒng)性能，實驗結(jié)果如表6所示。

從表6可以發(fā)現(xiàn)，CPU占用率并沒有達到在服務(wù)器上訓(xùn)練模型時的100%，而只有62%，這可能是由于TensorFlow.js對瀏覽器上訓(xùn)練模型的CPU占用率的某種限制，也可能是Chrome瀏覽器對單個網(wǎng)頁的CPU占用率的某種限制。

CPU內(nèi)存占用為1 030.6 MB，而64-bit Chrome對單個網(wǎng)頁的內(nèi)存限制為1.4～4 GB（取決于Chrome內(nèi)核版本和配置文件），故客戶端模型的內(nèi)存占用沒有超過瀏覽器對單個進程的內(nèi)存限制。StackOverFlow建議前端開發(fā)者控制單個網(wǎng)頁內(nèi)存到1.2 GB以下，故客戶端模型的內(nèi)存占用沒有超過單個網(wǎng)頁占用內(nèi)存的建議值。

GPU內(nèi)存占用為661 MiB，相當(dāng)于8.14%的GPU占用率，這對于用戶來說是可以接受的。但對于沒有獨立顯卡或獨立顯卡顯存低于661 MiB的個人筆記本電腦，無法使用GPU加速模型訓(xùn)練，這會增加用戶表征更新所需時間。

一次用戶表征更新所需時間僅53 s，這一方面是由于本文減小了GRU網(wǎng)絡(luò)的規(guī)模，另一方面是由于單個客戶端用戶交互記錄相對較少。此外，在一個更新周期內(nèi)的其他時間，系統(tǒng)不會訓(xùn)練用戶表征模型，而只收集用戶交互記錄，直到湊滿1個更新批次，在此期間，客戶端模型的CPU/GPU占用大幅下降，幾乎不消耗系統(tǒng)資源。

表6　模型運行時性能的評測指標

綜上所述，基于云?端融合的個性化推薦系統(tǒng)的客戶端模型在更新用戶表征時，占用的計算資源在用戶可接受的范圍之內(nèi)，且更新用戶表征消耗的時間很短，不會對用戶體驗造成顯著影響。

3 結(jié)語

本文設(shè)計了一個基于云?端融合的個性化推薦服務(wù)系統(tǒng)，并基于TensorFlow.js和TensorFlow面向瀏覽器平臺進行了實現(xiàn)?？蛻舳死糜脩綦[私數(shù)據(jù)微調(diào)用戶表征模型，然后將提取出的用戶表征上傳到云端。云端根據(jù)用戶表征和項目表征之間的相關(guān)性進行排序，將推薦結(jié)果返回到客戶端。本文采用1層100個隱藏單元的GRU網(wǎng)絡(luò)訓(xùn)練用戶表征，并通過Lasso算法對其進行稀疏編碼，得到壓縮的用戶表征，從而降低了云端和客戶端之間的通信成本和客戶端的計算開銷。

本文基于RecSys Challenge 2015數(shù)據(jù)集進行實驗，從推薦準確率、用戶表征壓縮效果、客戶端模型運行時性能三個方面對實現(xiàn)的系統(tǒng)進行了性能評估。實驗結(jié)果表明，推薦準確率（Recall@20=0.618，MRR@20=0.266）與最佳基線模型相當(dāng)，壓縮后的用戶表征體積僅為壓縮前的34.8%?？蛻舳素撦d方面，客戶端的用戶表征模型單次表征更新時間為53 s，在用戶表征更新期間，CPU占用率為62.0%，內(nèi)存占用為1 030.6 MB，顯存占用為661 MiB，占用設(shè)備的計算資源在用戶可以接受的范圍之內(nèi)。

未來可能的工作方向包括：

1）本文以基于RNN的推薦模型為例實現(xiàn)云?端融合，但云?端融合的思想和對于通信成本、資源占用等挑戰(zhàn)的解決方案是通用的。未來可以考慮在不同已有推薦系統(tǒng)中實現(xiàn)云?端融合，形成面向推薦系統(tǒng)的云?端融合通用解決方案。

2）考慮到在真實環(huán)境下實時推薦系統(tǒng)的性能和保護用戶隱私的要求，本文在云端的推薦排序模型只是對用戶表征和項目表征進行簡單的內(nèi)積操作并排序。由于不能獲取用戶ID的限制，基于云?端融合的個性化推薦系統(tǒng)可能從根本上無法在云端部署基于機器學(xué)習(xí)的排序模型。未來可以考慮設(shè)計基于聯(lián)邦學(xué)習(xí)［14-15］等分布式機器學(xué)習(xí)系統(tǒng)的個性化推薦系統(tǒng)。

3）本文通過顯式減小RNN規(guī)模的方式來降低客戶端模型的計算資源占用，未來可以考慮嘗試成熟的模型壓縮算法［16-18］和訓(xùn)練加速算法［19］。

4）本文采用將用戶表征上傳到云端的方式完成推薦，然而，攻擊者可能通過用戶表征推測出用戶的身份和興趣，增加了隱私泄露的風(fēng)險。一種可行的解決方案是將推薦項目的集合下載到客戶端，只在客戶端完成推薦，然而推薦項目集合的大小遠大于用戶可以承受的通信開銷和存儲開銷。未來可以考慮通過過濾算法［1-2］縮小推薦項目集合，將候選集下載到客戶端，與用戶表征協(xié)同完成排序和推薦，進一步降低隱私泄露風(fēng)險。

[1] GOLDBERG D， NICHOLS D， OKI B M， et al. Using collaborative filtering to weave an information tapestry［J］. Communications of the ACM， 1992， 35（12）： 61-70.

[2] SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms［C］// Proceedings of the 10th International Conference on World Wide Web. New York： ACM， 2001： 285-295.

[3] CHENG H T， KOC L， HARMSEN J， et al. Wide & deep learning for recommender systems［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 7-10.

[4] GUO H， TANG R， YE Y， et al. DeepFM： a factorization-machine based neural network for CTR prediction［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 1725-1731.

[5] HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks［EB/OL］. （2016-03-29）［2021-09-08］.https：//arxiv.org/pdf/1511.06939.pdf.

[6] HIDASI B， QUADRANA M， KARATZOGLOU A， et al. Parallel recurrent neural network architectures for feature-rich session-based recommendations［C］// Proceedings of the 10th ACM Conference on Recommender Systems. New York： ACM， 2016： 241-248.

[7] BOGINA V， KUFLIK T. Incorporating dwell time in session-based recommendations with recurrent neural networks［C］// Proceedings of the 1st Workshop on Temporal Reasoning in Recommender Systems co-located with 11th International Conference on Recommender Systems. Aachen： CEUR-WS.org， 2017： 57-59.

[8] JANNACH D， LUDEWIG M. When recurrent neural networks meet the neighborhood for session-based recommendation［C］// Proceedings of the 11th ACM Conference on Recommender Systems. New York： ACM， 2017： 306-310.

[9] XU M W， QIAN F， MEI Q Z， et al. DeepType： on-device deep learning for input personalization service with minimal privacy concern［J］. Proceedings of the ACM on Interactive， Mobile， Wearable and Ubiquitous Technologies， 2018， 2（4）： No.197.

[10] RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback［C］// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. Arlington， VA： AUAI Press， 2009： 452-461.

[11] OKURA S， TAGAMI Y， ONO S， et al. Embedding-based news recommendation for millions of users［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 1933-1942.

[12] BURGES C J C. From RankNet to LambdaRank to LambdaMART： an overview： MSR-TR-2010-82［R/OL］. （2010-06）［2021-09-08］.https：//www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf.

[13] DAVIDSON J， LIEBALD B， LIU J N， et al. The YouTube video recommendation system［C］// Proceedings of the 4th ACM Conference on Recommender Systems. New York： ACM， 2010： 293-296.

[14] McMAHAN B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.

[15] BONAWITZ K， EICHNER H， GRIESKAMP W， et al. Towards federated learning at scale： system design［C/OL］// Proceedings of the 2nd Machine Learning and Systems. ［2021-11-01］.https：//proceedings.mlsys.org/paper/2019/file/bd686fd640be98efaae0091fa301e613-Paper.pdf.

[16] HAN S， MAO H Z， DALLY W J. Deep compression： compressing deep neural network with pruning， trained quantization and Huffman coding［EB/OL］. （2016-02-15）［2021-09-12］.https：//arxiv.org/pdf/1510.00149.pdf.

[17] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09）［2021-10-16］.https：//arxiv.org/pdf/1503.02531.pdf.

[18] ZHU M H， GUPTA S. To prune， or not to prune： exploring the efficacy of pruning for model compression［EB/OL］. （2018-02-13）［2021-10-08］.https：//openreview.net/pdf？id=Sy1iIDkPM.

[19] CHEN T， SUN Y Z， SHI Y， et al. On sampling strategies for neural network-based collaborative filtering［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 767-776.

Personalized recommendation service system based on cloud-client-convergence

HAN Jialiang1， HAN Yudong1， LIU Xuanzhe1， ZHAO Yaoshuai2，3， FENG Di2，3*

（1（），100871，；2，101318，；3，，101318，）

Mainstream personalized recommendation systems usually use models deployed in the cloud to perform recommendation， so the private data such as user interaction behaviors need to be uploaded to the cloud， which may cause potential risks of user privacy leakage. In order to protect user privacy， user-sensitive data can be processed on the client， however， there are communication bottleneck and computation resource bottleneck in clients. Aiming at the above challenges， a personalized recommendation service system based on cloud-client-convergence was proposed. In this system， the cloud-based recommendation model was divided into a user representation model and a sorting model. After being pre-trained on the cloud， the user representation model was deployed to the client， while the sorting model was deployed to the cloud. A small-scale Recurrent Neural Network （RNN） was used to model the user behavior characteristics by extracting temporal information from user interaction logs， and the Lasso （Least absolute shrinkage and selection operator） algorithm was used to compress user representations， thereby preventing a drop in recommendation accuracy while reducing the communication overhead between the cloud and the client as well as the computation overhead of the client. Experiments were conducted on RecSys Challenge 2015 dataset， and the results show that the recommendation accuracy of the proposed system is comparable to that of the GRU4REC model， while the volume of the compressed user representations is only 34.8% of that before compression， with a lower computational overhead.

personalized recommendation service system; cloud-client-convergence; user representation model; privacy-preserving; Recurrent Neural Network (RNN)

This work is partially supported by PKU-Baidu Fund （2020BD007）.

HAN Jialiang， born in 1997， Ph. D. candidate. His research interests include distributed machine learning， federated learning， recommender system.

HAN Yudong， born in 2000， Ph. D. candidate. His research interests include distributed machine learning， Web system.

LIU Xuanzhe， born in 1980， Ph. D.， associate professor. His research interests include service computing， system software.

ZHAO Yaoshuai， born in 1977， M. S.， senior engineer. His research interests include big data， artificial intelligence.

FENG Di， born in 1981， M. S.， engineer. Her research interests include civil aviation passenger behavior analysis， data analysis.

TP311

A

1001-9081（2022）11-3506-07

10.11772/j.issn.1001-9081.2021111992

2021?11?23；

2022?01?12；

2022?01?17。

北大百度基金資助項目（2020BD007）。

韓佳良（1997—），男，北京人，博士研究生，CCF會員，主要研究方向：分布式機器學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、推薦系統(tǒng)；韓宇棟（2000—），男，山東東營人，博士研究生，主要研究方向：分布式機器學(xué)習(xí)、Web系統(tǒng)；劉譞哲（1980—），男，甘肅蘭州人，副教授，博士，CCF會員，主要研究方向：服務(wù)計算、系統(tǒng)軟件；趙耀帥（1977—），男，山東嘉祥人，高級工程師，碩士，主要研究方向：大數(shù)據(jù)、人工智能；馮迪（1981—），女，湖北潛江人，工程師，碩士，主要研究方向：民航旅客行為分析、數(shù)據(jù)分析。