袁宜霞

關(guān)鍵詞：推薦系統(tǒng)；模型離線實(shí)驗(yàn)；A/B Test在線實(shí)驗(yàn)

0 引言

在互聯(lián)網(wǎng)信息爆炸式增長(zhǎng)的今天，人們通過(guò)多種渠道隨時(shí)隨地能接收到各種類型的新聞資訊信息，呈現(xiàn)給所有用戶一樣資訊內(nèi)容的方式已經(jīng)不適應(yīng)于當(dāng)前時(shí)代，發(fā)展個(gè)性化推薦是提升內(nèi)容消費(fèi)用戶體驗(yàn)和業(yè)務(wù)指標(biāo)的重要手段，面對(duì)浩如煙海的信息，如何更加精準(zhǔn)地將用戶感興趣的資訊推薦給用戶，提高用戶黏度，做到“千人千面”的推薦，這就需要研發(fā)團(tuán)隊(duì)提高推薦系統(tǒng)的效果[1]。但是與傳統(tǒng)評(píng)測(cè)有所不同，推薦系統(tǒng)采用的不是傳統(tǒng)意義上的輸入與輸出，測(cè)試人員難以介入推薦系統(tǒng)的模型和算法等中間過(guò)程，這給評(píng)測(cè)帶來(lái)了較大難度。

本文通過(guò)分析資訊推薦系統(tǒng)架構(gòu)，制定了一套推薦系統(tǒng)評(píng)測(cè)方案，介紹了具體的測(cè)試方法和實(shí)踐過(guò)程，并給出提升推薦系統(tǒng)研發(fā)效率的舉措。

1 資訊推薦系統(tǒng)評(píng)測(cè)框架

如圖1所示，用戶通過(guò)手機(jī)進(jìn)入資訊類軟件查看資訊內(nèi)容，資訊類軟件會(huì)通過(guò)用戶畫像Profile和特征進(jìn)行資訊內(nèi)容推薦，同時(shí)在后臺(tái)收集用戶在軟件內(nèi)的各種操作行為，并進(jìn)行日志存儲(chǔ)，以便于優(yōu)化推薦效果。

接下來(lái)本文將從如下幾個(gè)方面闡述資訊類推薦系統(tǒng)的評(píng)測(cè)點(diǎn)和具體方法，其中1.1到1.4是資訊推薦系統(tǒng)的基礎(chǔ)數(shù)據(jù)評(píng)測(cè)，1.5是推薦系統(tǒng)效果的評(píng)測(cè)。基礎(chǔ)數(shù)據(jù)評(píng)測(cè)是推薦系統(tǒng)效果評(píng)測(cè)的基礎(chǔ)，只有保證基礎(chǔ)數(shù)據(jù)準(zhǔn)確無(wú)誤才能正確地評(píng)測(cè)推薦系統(tǒng)效果。在基礎(chǔ)數(shù)據(jù)評(píng)測(cè)中會(huì)采用到眾測(cè)、用戶調(diào)研和競(jìng)爭(zhēng)產(chǎn)品分析對(duì)比測(cè)試等測(cè)試手段。

眾測(cè)是指將軟件測(cè)試任務(wù)發(fā)布給一批真實(shí)的用戶執(zhí)行，這些用戶來(lái)自不同行業(yè)，年齡不一，具有不同的軟件使用習(xí)慣，呈現(xiàn)出用戶信息的多樣性，與雇傭的專業(yè)測(cè)試人員有很大區(qū)別[2]。用戶在參與測(cè)試的過(guò)程中根據(jù)參與任務(wù)數(shù)量、反饋問(wèn)題價(jià)值和配合度等獲得相應(yīng)的獎(jiǎng)勵(lì)積分，從而提高測(cè)試質(zhì)量。研發(fā)團(tuán)隊(duì)利用眾測(cè)在短時(shí)間內(nèi)完成大量的產(chǎn)品體驗(yàn)，使軟件在不同的真實(shí)場(chǎng)景下充分被測(cè)試，增強(qiáng)了軟件的可靠性，也讓研發(fā)團(tuán)隊(duì)能更快地收集到來(lái)自用戶的意見和反饋，低成本地發(fā)現(xiàn)軟件缺陷，這種方式在很大程度上緩解了用戶數(shù)量不足，測(cè)試成本高等問(wèn)題。目前流行的眾測(cè)平臺(tái)有百度眾測(cè)、騰訊眾測(cè)等。

用戶調(diào)研是了解用戶在特定場(chǎng)景下的要求與意愿，從而產(chǎn)生對(duì)應(yīng)產(chǎn)品需求的活動(dòng)。用戶調(diào)研方法問(wèn)卷法、觀察法、實(shí)驗(yàn)法、單人訪談法、頭腦風(fēng)暴法、焦點(diǎn)小組和自我陳述法等[3]，不同的方法有不同的優(yōu)勢(shì)，團(tuán)隊(duì)根據(jù)自身產(chǎn)品特點(diǎn)和調(diào)研對(duì)象去選擇合適的調(diào)研方法。

競(jìng)爭(zhēng)產(chǎn)品分析對(duì)比測(cè)試是指從各個(gè)維度將自身產(chǎn)品與其他競(jìng)爭(zhēng)產(chǎn)品進(jìn)行對(duì)比測(cè)試，并分析結(jié)果數(shù)據(jù)來(lái)優(yōu)化自身產(chǎn)品，提高自身產(chǎn)品的品質(zhì)和競(jìng)爭(zhēng)力。不同角色的側(cè)重點(diǎn)不一樣，軟件測(cè)試人員更關(guān)注競(jìng)爭(zhēng)產(chǎn)品的主要功能和性能、架構(gòu)、頁(yè)面細(xì)節(jié)、交互流程、視覺(jué)表現(xiàn)、用戶體驗(yàn)、用戶反饋和特色功能等。競(jìng)爭(zhēng)產(chǎn)品分析測(cè)試包括客觀數(shù)據(jù)對(duì)比和主觀用戶流程模擬測(cè)試，列出競(jìng)爭(zhēng)產(chǎn)品和自身產(chǎn)品的優(yōu)勢(shì)與不足。

1.1 用戶畫像Profile 評(píng)測(cè)

對(duì)于個(gè)性化推薦系統(tǒng)來(lái)說(shuō)，用戶畫像是否準(zhǔn)確，直接影響到推薦效果。如果用戶畫像Profile不準(zhǔn)確，用戶會(huì)收到很多不喜歡甚至是反感的資訊，進(jìn)而帶來(lái)用戶的流失。

對(duì)用戶畫像Profile評(píng)測(cè)，主要分為兩個(gè)部分。

1） 靜態(tài)Profile

1） 靜態(tài)Profile靜態(tài)Profile包括性別、年齡、星座、居住地、家鄉(xiāng)等，對(duì)于靜態(tài)Profile，測(cè)試人員主要評(píng)估用戶信息的覆蓋度、準(zhǔn)確性。

①覆蓋度評(píng)測(cè)的重點(diǎn)在于個(gè)人基本信息的覆蓋是否全面，基于足夠全面的用戶信息才能提供更精準(zhǔn)的內(nèi)容推薦。除了年齡和性別等基本信息，還要盡量覆蓋職業(yè)、收入、婚姻狀態(tài)等信息。

②準(zhǔn)確性評(píng)測(cè)的重點(diǎn)在于收集的用戶信息是否準(zhǔn)確，對(duì)有誤的信息要進(jìn)行追蹤解決。

靜態(tài)Profile評(píng)測(cè)可以采用用戶調(diào)研的問(wèn)卷方式進(jìn)行，測(cè)試人員需要提前做好用戶的選取，可以通過(guò)眾測(cè)方式來(lái)進(jìn)行用戶招募、任務(wù)分發(fā)和數(shù)據(jù)收集。測(cè)試過(guò)程中采取交叉驗(yàn)證，混合已知正確答案等方式。

2） 動(dòng)態(tài)特征

動(dòng)態(tài)特征是用戶積累的興趣特征，每款軟件都有各自的特征積累方法，對(duì)于資訊類軟件，用戶點(diǎn)擊、滾動(dòng)瀏覽、收藏、點(diǎn)贊、評(píng)論和分享文章等以及搜索某些關(guān)鍵字，都會(huì)積累相關(guān)特征到用戶畫像Profile里面。

對(duì)于動(dòng)態(tài)特征，測(cè)試人員主要評(píng)估特征積累的及時(shí)性、準(zhǔn)確性。

①及時(shí)性在于分析各個(gè)場(chǎng)景下上報(bào)特征是否及時(shí)。在線實(shí)時(shí)行為的特征需要立即上報(bào)，如近30分鐘內(nèi)的操作記錄及時(shí)上報(bào)，離線中長(zhǎng)期行為的特征在特定時(shí)間后確認(rèn)特征是否上報(bào)，如近7天/30天的閱讀類目等。

②準(zhǔn)確性在于特征的積累是否準(zhǔn)確。例如用戶閱讀的文章具有“王者榮耀”的標(biāo)簽，那么需要確認(rèn)在特征中“王者榮耀”的權(quán)重是否有相應(yīng)的增加。

動(dòng)態(tài)特征積累評(píng)測(cè)主要采用手工測(cè)試，根據(jù)場(chǎng)景的測(cè)試優(yōu)先級(jí)進(jìn)行排期，覆蓋用戶常用路徑以及網(wǎng)絡(luò)切換和快捷入口等特殊場(chǎng)景。

1.2 UI 交互評(píng)測(cè)

UI交互是指對(duì)軟件的人機(jī)交互、操作邏輯和界面美觀的整體設(shè)計(jì)，對(duì)資訊類用戶體驗(yàn)產(chǎn)生的影響非常大。UI交互的評(píng)測(cè)更多是主觀的用戶感受，所以，評(píng)測(cè)主要是采用競(jìng)爭(zhēng)產(chǎn)品分析對(duì)比測(cè)試，以及收集本產(chǎn)品真實(shí)用戶反饋的方式，測(cè)試人員需要從如下兩個(gè)方面進(jìn)行評(píng)測(cè)：

1） UI方面

測(cè)試人員評(píng)估信息展現(xiàn)方式是否使用當(dāng)下流行的方式，圖文排版是否采用合理的展示方式，界面主色調(diào)是否符合與產(chǎn)品和品牌定位等。

2） 交互方面

測(cè)試人員評(píng)估資訊刷新方式是否好用，瀏覽信息方式是否合理，如視頻類資訊是否在Wi-Fi下自動(dòng)播放，播放結(jié)束后是否自動(dòng)播放推薦的下一個(gè)視頻等。

1.3 內(nèi)容質(zhì)量評(píng)測(cè)

對(duì)于資訊類軟件而言，內(nèi)容質(zhì)量評(píng)測(cè)至關(guān)重要。內(nèi)容質(zhì)量主要包括文章質(zhì)量好、時(shí)效性高、文章的分類準(zhǔn)確和文章標(biāo)簽提取準(zhǔn)確。

1） 文章質(zhì)量

對(duì)于外部轉(zhuǎn)載的文章，判斷文章質(zhì)量?jī)?yōu)劣的一個(gè)重要因素是來(lái)源，優(yōu)質(zhì)賬號(hào)的文章質(zhì)量較高，也很容易獲得分享和點(diǎn)贊。對(duì)于原創(chuàng)的文章，優(yōu)質(zhì)的文章讓讀者讀完后覺(jué)得有價(jià)值和意義，而低質(zhì)的文章主要是標(biāo)題黨、錯(cuò)別字多、偽科學(xué)、夾帶廣告、低俗色情等，也很容易被人舉報(bào)。文章質(zhì)量可以結(jié)合真實(shí)用戶行為來(lái)進(jìn)行評(píng)測(cè)，測(cè)試人員在作評(píng)測(cè)時(shí)，把文章來(lái)源、用戶的正面和負(fù)面反饋、用戶評(píng)論等作為輸入條件進(jìn)行建模分析，進(jìn)而對(duì)線上的文章質(zhì)量進(jìn)行評(píng)測(cè)。

2） 時(shí)效性

對(duì)于熱點(diǎn)資訊，時(shí)效性高是至關(guān)重要的。在實(shí)際評(píng)測(cè)過(guò)程中，無(wú)法一直采用人工測(cè)試，所以進(jìn)行自動(dòng)化腳本監(jiān)控是十分必要的。通過(guò)爬蟲等手段實(shí)時(shí)監(jiān)控幾家頭部資訊軟件的熱點(diǎn)新聞，如果熱門新聞沒(méi)在自身產(chǎn)品中推送，說(shuō)明熱點(diǎn)新聞更新不夠及時(shí)，需要進(jìn)行改進(jìn)。

3） 文章分類

文章分類的準(zhǔn)確性直接影響了推薦的準(zhǔn)確性。在文章分類評(píng)測(cè)時(shí)，首先明確每個(gè)分類的含義以及邊界，方便用戶理解，然后抽樣出熱門分類的多篇文章通過(guò)眾測(cè)平臺(tái)發(fā)布任務(wù)給多個(gè)用戶進(jìn)行標(biāo)注，最后對(duì)人工標(biāo)注結(jié)果進(jìn)行分析后得出評(píng)測(cè)結(jié)論。

4） 文章標(biāo)簽

文章標(biāo)簽是指關(guān)鍵詞，系統(tǒng)根據(jù)標(biāo)簽來(lái)推薦文章給有興趣閱讀的用戶。測(cè)試人員通過(guò)腳本抓取標(biāo)簽詞，進(jìn)行粗略分析，再由人工進(jìn)行評(píng)測(cè)。

1.4 日志統(tǒng)計(jì)上報(bào)評(píng)測(cè)

任何產(chǎn)品都會(huì)進(jìn)行日志統(tǒng)計(jì)上報(bào)，一方面可以通過(guò)上報(bào)數(shù)據(jù)觀察當(dāng)前產(chǎn)品的使用情況，另一方面，可以依據(jù)上報(bào)數(shù)據(jù)來(lái)關(guān)注產(chǎn)品的KPI指標(biāo)，比如對(duì)于資訊產(chǎn)品，關(guān)鍵的指標(biāo)有訪問(wèn)量PV、用戶數(shù)UV、點(diǎn)擊率CTR、瀏覽時(shí)長(zhǎng)等。如果日志統(tǒng)計(jì)數(shù)據(jù)失真，那么研發(fā)團(tuán)隊(duì)基于這些用戶數(shù)據(jù)所做的算法調(diào)整和產(chǎn)品策略優(yōu)化等都將是無(wú)效的。

對(duì)于日志統(tǒng)計(jì)上報(bào)功能的測(cè)試，測(cè)試人員首先需要確定哪些場(chǎng)景應(yīng)該要有日志上報(bào)，對(duì)于資訊產(chǎn)品，用戶的曝光、點(diǎn)擊、閱讀時(shí)長(zhǎng)、評(píng)論、分享、收藏等都是需要統(tǒng)計(jì)的，而且要細(xì)致地分入口進(jìn)行統(tǒng)計(jì)；其次，除了測(cè)試正常場(chǎng)景的上報(bào)，還需要注意覆蓋不同機(jī)型、不同網(wǎng)絡(luò)切換場(chǎng)景、信號(hào)弱場(chǎng)景、地域相關(guān)場(chǎng)景等是否正常上報(bào)。在日志統(tǒng)計(jì)上報(bào)功能測(cè)試時(shí)，測(cè)試人員要重點(diǎn)關(guān)注的是上報(bào)數(shù)據(jù)是否全面、準(zhǔn)確和及時(shí)可靠。

1.5 推薦系統(tǒng)效果評(píng)測(cè)

1） 模型離線實(shí)驗(yàn)

算法和模型是推薦系統(tǒng)的核心，直接決定了推薦效果的好壞。模型離線實(shí)驗(yàn)是指模型沒(méi)有部署到生產(chǎn)環(huán)境之前從實(shí)際的日志統(tǒng)計(jì)上報(bào)系統(tǒng)提取數(shù)據(jù)集來(lái)訓(xùn)練一個(gè)模型，對(duì)訓(xùn)練好的模型進(jìn)行離線評(píng)估來(lái)確定模型的效果。推薦系統(tǒng)中包含多種算法，以常見的推薦算法為例，此算法將用戶靜態(tài)Profile和用戶資訊瀏覽的動(dòng)態(tài)特征等作為輸入數(shù)據(jù)，預(yù)測(cè)用戶組對(duì)具有特定屬性的資訊會(huì)感興趣并進(jìn)行召回和排序，最終推送給特定的用戶組。推薦算法主要有協(xié)同過(guò)濾算法、流行度推薦算法、基于內(nèi)容推薦算法和混合推薦算法等，不同的推薦任務(wù)需要不同的用戶信息并采用不同的推薦算法。推薦算法的多樣性導(dǎo)致推薦效果評(píng)測(cè)具有較大挑戰(zhàn)性。當(dāng)前對(duì)于推薦算法的評(píng)測(cè)方法是利用用戶數(shù)據(jù)集對(duì)算法進(jìn)行離線實(shí)驗(yàn)[4]，即在給定用戶數(shù)據(jù)集后，評(píng)測(cè)人員會(huì)將數(shù)據(jù)分成訓(xùn)練集和測(cè)試集，然后根據(jù)訓(xùn)練集建立資訊推薦模型來(lái)預(yù)測(cè)測(cè)試集中的用戶行為。其中用戶的數(shù)據(jù)集可以包含多種用戶行為，例如用戶點(diǎn)擊CTR信息、點(diǎn)擊信息、時(shí)長(zhǎng)信息等。模型離線實(shí)驗(yàn)是推薦系統(tǒng)中包含算法評(píng)測(cè)的基石，它為算法迭代提供兜底依據(jù)，并且具有路徑短，可以方便地完成閉環(huán)進(jìn)行快速迭代、不會(huì)影響線上真實(shí)用戶體驗(yàn)、效率高可快速驗(yàn)證大量算法的優(yōu)勢(shì)。

模型離線實(shí)驗(yàn)的評(píng)測(cè)指標(biāo)包括預(yù)測(cè)準(zhǔn)確度、覆蓋率、多樣性和新穎性、驚喜度、信任度、實(shí)時(shí)性和健壯性等。模型離線實(shí)驗(yàn)的目標(biāo)是需要在覆蓋率、多樣性和新穎性不低于團(tuán)隊(duì)設(shè)定的基準(zhǔn)值的情況下，盡可能地提高預(yù)測(cè)準(zhǔn)確率。預(yù)測(cè)準(zhǔn)確度是評(píng)價(jià)推薦算法最基本的指標(biāo)，在推薦系統(tǒng)中常用的準(zhǔn)確度指標(biāo)為評(píng)分預(yù)測(cè)和Top-N推薦，其中評(píng)分預(yù)測(cè)中通常使用均方根誤差RMSE或者平均絕對(duì)誤差MAE等評(píng)測(cè)指標(biāo)，而Top-N推薦更多地使用標(biāo)準(zhǔn)化折扣累積收益NDCG或者平均精度均值MAP的衡量方法[5]；覆蓋率指標(biāo)是指算法向用戶推薦的文章占全部符合條件文章的比例，也就是能否將所有文章推送到適合的用戶，而不是對(duì)于所有用戶只推薦全局熱點(diǎn)文章，增大推薦范圍的局限性，其可以被分為預(yù)測(cè)覆蓋率、推薦覆蓋率及準(zhǔn)確覆蓋率，在資訊推薦中最為關(guān)鍵的是預(yù)測(cè)覆蓋率，其表示系統(tǒng)可以預(yù)測(cè)評(píng)分的文章占所有符合露出條件文章的比例；多樣性和新穎性重要性在于推薦系統(tǒng)中常見的問(wèn)題是用戶如果大量長(zhǎng)時(shí)間地點(diǎn)擊同一個(gè)主題或者是分類，其后推薦的資訊會(huì)呈現(xiàn)漏斗狀，限制了用戶的閱讀，這時(shí)候就需要推薦系統(tǒng)進(jìn)行獵奇的多樣、新穎推薦以彌補(bǔ)這些缺陷。信任度、實(shí)時(shí)性和健壯性等指標(biāo)目前大多數(shù)還是采用用戶調(diào)研打分的方式進(jìn)行評(píng)分。

綜上，模型離線實(shí)驗(yàn)依賴于提前給定的用戶數(shù)據(jù)集，并不能展示出算法對(duì)線上真實(shí)環(huán)境下產(chǎn)品關(guān)鍵性指標(biāo)的影響，所以離線實(shí)驗(yàn)只能作為衡量算法效果的輔助指標(biāo)。

2） A/B Test在線實(shí)驗(yàn)

為了解決模型離線實(shí)驗(yàn)不能展示出算法對(duì)線上真實(shí)環(huán)境下產(chǎn)品關(guān)鍵性指標(biāo)影響的缺點(diǎn)，推薦系統(tǒng)效果評(píng)測(cè)引入A/B Test在線實(shí)驗(yàn)。A/B Test在線實(shí)驗(yàn)的評(píng)測(cè)指標(biāo)是線上真實(shí)用戶數(shù)據(jù)指標(biāo)，例如活躍用戶數(shù)量、用戶點(diǎn)擊率、訪問(wèn)量PV、用戶數(shù)UV、評(píng)論量、負(fù)反饋率和瀏覽時(shí)長(zhǎng)等。A/B Test可以用來(lái)測(cè)試產(chǎn)品的新功能特性和算法，通過(guò)在真實(shí)線上生產(chǎn)環(huán)境設(shè)置兩組相同數(shù)量的用戶進(jìn)行實(shí)驗(yàn)，其中一組用戶為對(duì)照組，應(yīng)用的是當(dāng)前產(chǎn)品的功能特性或算法，另一組用戶為實(shí)驗(yàn)組，應(yīng)用產(chǎn)品的新功能特性或算法，然后統(tǒng)計(jì)分析實(shí)驗(yàn)數(shù)據(jù)，確認(rèn)實(shí)驗(yàn)組數(shù)據(jù)是否更好。如果實(shí)驗(yàn)組數(shù)據(jù)更好則可以在線上生產(chǎn)環(huán)境中逐漸全量發(fā)布新功能特性或算法，否則，調(diào)整新功能特性或者優(yōu)化算法后再重新開始實(shí)驗(yàn)。對(duì)于資訊推薦系統(tǒng)，A/B Test能支持基于用戶畫像Profile下發(fā)會(huì)事半功倍。

在進(jìn)行A/B Test在線實(shí)驗(yàn)時(shí)，選取樣本量是最重要的一步。如果選取的樣本量太小，那么實(shí)驗(yàn)結(jié)果會(huì)有很大的波動(dòng)，不可信。如果選取的樣本量太大，對(duì)真實(shí)用戶的影響面也就越大，對(duì)于一些有可能帶來(lái)負(fù)面影響的探索性實(shí)驗(yàn)，把過(guò)多的真實(shí)用戶納入實(shí)驗(yàn)范圍是不合理的，而且樣本量過(guò)大也會(huì)帶來(lái)資源和流量的浪費(fèi)。在參考文獻(xiàn)[6]中給出了實(shí)驗(yàn)所需最小樣本量和比例類數(shù)值所需最小樣本量的計(jì)算公式，測(cè)試人員可以利用Python 的科學(xué)計(jì)算庫(kù)來(lái)計(jì)算出最小樣本量。

2 總結(jié)

一個(gè)優(yōu)秀的推薦系統(tǒng)是數(shù)據(jù)、UI交互、架構(gòu)和算法等環(huán)節(jié)的有機(jī)結(jié)合，推薦系統(tǒng)的質(zhì)量依賴于各個(gè)組成環(huán)節(jié)的質(zhì)量以及環(huán)節(jié)間配合的順暢度。從評(píng)測(cè)的角度提升推薦系統(tǒng)效果，測(cè)試人員不僅需要提供各個(gè)環(huán)節(jié)相關(guān)評(píng)測(cè)指標(biāo)、發(fā)現(xiàn)產(chǎn)品缺陷，還應(yīng)該關(guān)注競(jìng)爭(zhēng)產(chǎn)品的對(duì)比分析、真實(shí)用戶行為觀察以及產(chǎn)品缺陷的快速追查，從而保證整體推薦系統(tǒng)的可用、高效、準(zhǔn)確。

1） 競(jìng)爭(zhēng)產(chǎn)品分析對(duì)比測(cè)試從文章來(lái)源、分類到文章標(biāo)簽提取質(zhì)量，都可以通過(guò)自動(dòng)化抓取競(jìng)爭(zhēng)產(chǎn)品的數(shù)據(jù)進(jìn)行對(duì)比評(píng)測(cè)，評(píng)測(cè)過(guò)程中不僅可以評(píng)估系統(tǒng)效果，同時(shí)也可以反饋產(chǎn)品缺陷、獲取較好的訓(xùn)練數(shù)據(jù)集，從而推動(dòng)推薦系統(tǒng)不斷優(yōu)化。

2） 在大數(shù)據(jù)的評(píng)測(cè)中由于推薦系統(tǒng)實(shí)現(xiàn)鏈路較長(zhǎng)，對(duì)于缺陷的追查過(guò)程較為煩瑣，所以可以開發(fā)缺陷追查系統(tǒng)，將資訊推薦路徑日志自動(dòng)化過(guò)濾出來(lái)以方便研發(fā)團(tuán)隊(duì)定位問(wèn)題和進(jìn)行排查。

3） 真實(shí)用戶行為觀察旨在彌補(bǔ)用戶調(diào)研中可能存在的用戶不了解自身真實(shí)興趣或行為的情況，通過(guò)觀察真實(shí)用戶行為可以了解用戶點(diǎn)擊模型和瀏覽習(xí)慣，進(jìn)一步增加推薦算法的參數(shù)維度，提高推薦點(diǎn)擊率。

綜上，推薦系統(tǒng)的評(píng)測(cè)需要深入到每一個(gè)環(huán)節(jié)，才能更好地提升推薦系統(tǒng)效果，將用戶真正感興趣的資訊精準(zhǔn)地推送到用戶。