梁家富

（廣州科技職業(yè)技術(shù)大學(xué)，廣州 510550）

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，電子商務(wù)平臺的商品交易規(guī)模越來越大，平臺中的商品數(shù)量和種類呈幾何倍數(shù)增長，人們的網(wǎng)上購物頻率愈來愈高。顧客在網(wǎng)絡(luò)購物時，在海量的商品中選取出需要的商品是不容易的，所以商品推薦系統(tǒng)的開發(fā)與完善受到了大家的追捧。商品推薦系統(tǒng)作為電子商務(wù)平臺系統(tǒng)的重要組成部分，推薦效率的高低直接影響著平臺系統(tǒng)商品交易量的提升，因此電子商務(wù)平臺非常重視推薦系統(tǒng)的應(yīng)用開發(fā)。

電子商務(wù)平臺推薦系統(tǒng)的主要技術(shù)是協(xié)同過濾算法（collaborative filtering，CF），以顧客購物需求為目標，在海量的商品數(shù)據(jù)中形成信息推薦模型，具有商品信息收集、數(shù)據(jù)處理、信息分析和商品推薦預(yù)測等功能。[1]協(xié)同過濾算法是根據(jù)相似購買特征的顧客或者相似屬性特征的商品數(shù)據(jù)進行線性分析，將偏好接近的顧客或者特征相似度高的商品形成鄰集，最終把它們推薦給顧客的一種決策方法。[2]該算法被廣泛應(yīng)用在電子商務(wù)平臺推薦系統(tǒng)中，如美國的Amazon、億貝以及國內(nèi)的阿里、當當、美團等。

當前大型電子商務(wù)平臺的各類數(shù)據(jù)激增，單機版機器學(xué)習(xí)模式R Studio 和分布式機器學(xué)習(xí)模式Spark MLib 的電子商務(wù)推薦系統(tǒng)處理海量數(shù)據(jù)質(zhì)效都有所下降，具體表現(xiàn)在商品推算的正確率下降、誤差增大和推薦的商品信息滿足不了顧客的個性化需求等方面。采用企業(yè)級阿里云機器學(xué)習(xí)平臺（Platform of Artificial Intelligence，簡稱PAI）進行協(xié)同過濾算法的商品個性化推薦系統(tǒng)，能有效處理大規(guī)模的商品數(shù)據(jù)信息，解決商品信息的離線調(diào)度問題，進而提升商品推薦預(yù)測能力和顧客推薦服務(wù)滿意度。

1 商品個性化推薦系統(tǒng)工作原理

協(xié)同過濾算法的核心內(nèi)容是在已有顧客購買行為或意見的數(shù)據(jù)基礎(chǔ)上，預(yù)測該顧客的購買意向，如喜歡哪些商品或者對哪些商品感興趣。常用的協(xié)同過濾算法有兩種，即基于顧客的協(xié)同過濾算法和基于商品的協(xié)同過濾算法。[3]

基于顧客的協(xié)同過濾算法是根據(jù)顧客以往的購買行為數(shù)據(jù)（如商品的點擊、收藏、評論、購買或分享）分析出顧客喜歡的商品或內(nèi)容，針對喜歡程度進行量分，通過量分高低計算出具有相同喜好的顧客，最后對他們進行商品推薦。基于商品的協(xié)同過濾算法就是在基于顧客的協(xié)同過濾算法上將顧客換成商品，通過分析顧客對各種物品的量分獲得物品之間的線性關(guān)系，進而把相似的商品推薦給顧客。[4]

PAI 是阿里云提供的海量數(shù)據(jù)處理智能機器學(xué)習(xí)平臺，具備機器學(xué)習(xí)和深度學(xué)習(xí)一站式服務(wù)功能。機器學(xué)習(xí)PAI 提供了數(shù)據(jù)處理、模型創(chuàng)建、機器訓(xùn)練、項目部署、項目預(yù)測等功能。在數(shù)據(jù)資源處理上，PAI 兼容了大數(shù)據(jù)處理的MaxCompute、OSS、NAS 和HDFS 等平臺；在計算框架上，PAI提供了完整的生態(tài)系統(tǒng)框架，如MR、MPI、Graph、SQL、Tensorflow、Caffe、PYTorch 和 Flink；在產(chǎn)品開發(fā)工具上，PAI 提供了3 個產(chǎn)品，即可視化開發(fā)工具PAI-STUDIO、云端交互開發(fā)工具PAI-DSW（Data science workshop）和模型服務(wù)工具PAIEAS（Elastic Algorithm Service）。

本文采用PAI-STUDIO 開發(fā)工具，通過底層MaxCompute 進行數(shù)據(jù)處理，使用PAI 提供的分布式、大數(shù)據(jù)、封裝算法，以Restful API 的形式與系統(tǒng)業(yè)務(wù)打通，實現(xiàn)智能商品個性化推薦系統(tǒng)功能，最后以推算監(jiān)測數(shù)據(jù)為例驗證系統(tǒng)的計算性能。[5]

2 推薦系統(tǒng)的關(guān)鍵技術(shù)設(shè)計

電子商務(wù)平臺商品推薦系統(tǒng)的關(guān)鍵內(nèi)容是推薦算法，它是商品推薦平臺系統(tǒng)效果的核心因素，即推薦系統(tǒng)的關(guān)鍵是協(xié)同過濾算法。

2.1 顧客對商品的偏好設(shè)計

應(yīng)用協(xié)同過濾算法進行商品應(yīng)用推薦時，應(yīng)對顧客和商品特征進行設(shè)定，用 u、i、t、d 分別表示顧客、電子商務(wù)項目商品、顧客購買行為和顧客購買時間。用N 表示顧客的數(shù)量，所有顧客表示為：User={u1，u2，…，uj，…，uN}；設(shè)項目商品的數(shù)量為P，所有項目商品表示為：Item={i1，i2，…，ij，…，iP}；設(shè)顧客的購買行為類型為G，購買行為表示為：Active_type={t1，t2，…，tj，…，tG}，其中 A 的取值為（0，1，2），0 表示顧客點擊行為，1 表示顧客購買行為，2 表示顧客收藏行為；設(shè)顧客購買日期為D，購買時間表示為：Active_Date={d1，d2，…，dj，…，dD}。

2.2 項目商品余弦相似度

余弦相似度（cosine similarity）是利用兩個向量形成的夾角計算它們的余弦值，評估它們的相似水平，常用在二維空間中，使用歐幾里得點積定理求它們的余弦值，公式如下：

已知屬性向量a 和b 的夾角兩邊長度，那么它們的余弦相似度cosθ 可通過轉(zhuǎn)換進行計算，余弦相似度公式如下：

為了平滑余弦相似度的誤差引入平均值，改進的余弦相似度公式如下：

余弦相似度在商品的協(xié)同過濾推薦算法中廣泛應(yīng)用，相似度 sim（a，b）值的范圍在[0，1]區(qū)間，離1 越近表示兩個項目商品的相似度越高，反之表示相似度越低。

2.3 項目商品杰卡德距離相似度

Jaccard 相似系數(shù)（Jaccard similarity coefficient）又稱為杰卡德系數(shù)，常用來計算有限數(shù)量的項目商品樣本集之間的差異度和相似度。已知項量 a，b，Jaccard 系數(shù)就是 a 與 b 的交集數(shù)值與它們的并集數(shù)值的比值，公式如下：

公式中 J（a，b）的數(shù)值越大，則表示項目商品集a，b 相似度越高。與Jaccard 系數(shù)密切相關(guān)的是Jaccard 距離，常用于表示商品集的不相似度，公式如下：

公式中dj（a，b）的數(shù)值越大，則說明項目商品集a，b 的不相似度越高。

3 實驗分析

3.1 實驗環(huán)境和工作過程

在阿里云機器學(xué)習(xí)PAI 平臺下進行協(xié)同過濾推薦實驗，步驟如下所述。

（1）在阿里云平臺注冊賬號，開通機器學(xué)習(xí)PAI。由于 PAI-Studio 是在 MaxCompute 環(huán)境上執(zhí)行的，所以還要開通MaxCompute 服務(wù)，需要選擇所屬區(qū)域、付費方式、是否開啟GPU 集群等。

（2）數(shù)據(jù)集的準備和管理。數(shù)據(jù)集的上傳需要在PAI 平臺注冊數(shù)據(jù)集，可將本機數(shù)據(jù)集導(dǎo)入到PAI 平臺，導(dǎo)入的數(shù)據(jù)集文件支持.manifest 和.csv格式。數(shù)據(jù)集上傳時小于20M 可以用IDE 環(huán)境上傳，大于 20M 建議使用 MaxCompute Tunnel 上傳，默認執(zhí)行壓縮后上傳。在PAI 中數(shù)據(jù)集存儲為對象存儲（Object Storage Service，OSS），可在RAM訪問控制中開通Aliyun PAI Accessing OSS Role的權(quán)限。

（3）基于PAI 的協(xié)同過濾推薦算法的工作過程?；赑AI 的協(xié)同過濾商品推薦系統(tǒng)是建立在MaxCompute 平臺之上的，本次實驗在PAI Studio可視化建模中進行，利用阿里云的多種云端計算資源，能快速高效地從多維度完成企業(yè)級的機器學(xué)習(xí)實驗。協(xié)同過濾商品推薦系統(tǒng)的工作過程如圖1 所示。

圖1 協(xié)同過濾商品推薦系統(tǒng)工作過程

3.2 推薦商品的數(shù)據(jù)集

本實驗基于商品的協(xié)同過濾的推薦系統(tǒng)，采用了某電子商務(wù)購物平臺的公開數(shù)據(jù)集進行測試，數(shù)據(jù)集分為cf_訓(xùn)練集和cf_測試集兩部分。cf_訓(xùn)練集有 user_id、Item_id、active_type 和active_data四個字段，分別表示顧客ID、商品id、商品購買行為和商品購買時間，記錄數(shù)為104 097，顧客人數(shù)為847，商品數(shù)目為 7017，顧客行為用 0，1，2 表示（0表示點擊，1 表示購買，2 表示收藏），顧客購買行為時間采用的是2018 年6 月4 日之前的數(shù)據(jù)。cf_測試集字段和cf_訓(xùn)練集一樣，記錄數(shù)為78 783，顧客人數(shù)為854，商品數(shù)目為6604，顧客購買行為時間采用了 2018 年 7 月 10、23、26 日和 8 月 7 日共4 天的數(shù)據(jù)。具體研究數(shù)據(jù)集情況如表1 所示。

表1 研究數(shù)據(jù)集情況

表1 中總顧客、總商品和顧客行為的數(shù)據(jù)是原始數(shù)據(jù)，包含了只點擊或者只收藏的顧客信息，測試主要是采用有購買行為的數(shù)據(jù)，即整理后購買人數(shù)、被購買商品和購買行為的數(shù)據(jù)。

3.3 協(xié)同過濾推薦算法測試

在PAI 平臺進行協(xié)同過濾商品推薦測試時，采用PAI 平臺協(xié)同過濾etrec 組件的三種相似度計算方法，分別進行jaccard、wbcosine 和asymcosine 三組測試。

使用訓(xùn)練集進行實驗測試，為保證測試的公平，協(xié)同過濾的參數(shù)設(shè)置為一致。其中Top-N 設(shè)置為1，主要考慮商品兩兩之間的相似度，不考慮多商品之間的相似度問題；計算行為，即同一位顧客的某個商品出現(xiàn)多次時的處理playload 行為，實驗設(shè)置為add；最小物品值minUserBehavior 設(shè)為2，最大物品值maxUserBehavior 設(shè)為500，平滑因為0.5，權(quán)重系數(shù)為1。三組協(xié)同過濾實驗測試結(jié)果每組都有1343 對數(shù)據(jù)，前15 條數(shù)據(jù)如表2 所示。

表2 中第一行數(shù)據(jù)分析如下：jaccard 的值為1000 和 11 849：1，表示商品編號 1000 和商品編號11 849 相似度為1，表明具有較高相似性；wbcosine 的值和jaccard 的值解析一樣，表明具有較高的相似度；asymcosine 的值為 1000 和 11 849：18.045，表示商品編號1000 和商品編號11 849 的相似度值為18.045，在該列中數(shù)據(jù)較高，表明具有較高的相似度。

根據(jù)圖1 的工作過程進行試驗，通過對數(shù)據(jù)的拆分 SPLIT_PART、內(nèi)連接、SQl 去重 distinct 和全表統(tǒng)計等操作，得到商品推薦總數(shù)。

使用測試集進行實驗測試，對數(shù)據(jù)進行過濾與映射、與訓(xùn)練集內(nèi)連接、SQl 去重distinct 和全表統(tǒng)計等操作，得到商品準確推薦總數(shù)，具體如表3所示。

表2 協(xié)同過濾后的商品間的相似度

表3 協(xié)同過濾算法性能測試結(jié)果

表3 中，協(xié)同過濾推薦式樣采用 jaccard、wbcosine 和asymcosine 測試的商品推薦總數(shù)都是18 065，而商品準確推薦總數(shù)不一樣，分別是60、46 和42。這說明基于商品的協(xié)同過濾推薦系統(tǒng)采用jaccard 類型進行行為相關(guān)性的度量效果更優(yōu)，更加符合顧客的需求，推薦的商品信息更容易讓顧客購買，具有較高的應(yīng)用性。

4 結(jié)語

電子商務(wù)協(xié)同過濾的商品推薦問題一直都是行業(yè)研究的重點，本文設(shè)計了采用阿里云PAI 平臺基于協(xié)同過濾算法的商品推薦系統(tǒng)。首先，準備平臺環(huán)境，開通MaxCompute 大數(shù)據(jù)功能，了解PAI 平臺的工作過程；然后，整理商品數(shù)據(jù)集；接著使用協(xié)同過濾etrec 組件進行jaccard、wbcosine和asymcosine 三組測試，結(jié)果表明采用jaccard 類型進行商品購買預(yù)測效果更佳。