李冰，王悅，劉永祥

（1.中國(guó)煙草總公司北京市公司，北京100122；2.浪潮軟件股份有限公司，濟(jì)南　250000）

大數(shù)據(jù)環(huán)境下基于K-means的用戶畫像與智能推薦的應(yīng)用

李冰1，王悅1，劉永祥2

（1.中國(guó)煙草總公司北京市公司，北京100122；2.浪潮軟件股份有限公司，濟(jì)南250000）

0　引言

2015年以來(lái)，中國(guó)煙草行業(yè)逐步開(kāi)始進(jìn)行市場(chǎng)化取向改革。卷煙營(yíng)銷市場(chǎng)化取向改革是以滿足消費(fèi)者需求為核心，以改革卷煙訂單采集方式為抓手，以營(yíng)銷流程再造為重點(diǎn)，保障零售客戶自主經(jīng)營(yíng)權(quán)，層層傳導(dǎo)市場(chǎng)力量，優(yōu)化營(yíng)銷資源配置，促進(jìn)品牌優(yōu)勝劣汰，充分發(fā)揮改革乘數(shù)效應(yīng)，全面增強(qiáng)行業(yè)整體競(jìng)爭(zhēng)實(shí)力。

截至2015年12月31日，煙草行業(yè)市場(chǎng)化已經(jīng)初見(jiàn)成效，基本實(shí)現(xiàn)了訂單采集集中化、業(yè)務(wù)流程標(biāo)準(zhǔn)化、營(yíng)銷過(guò)程可視化，完成市場(chǎng)化改革的單位覆蓋卷煙市場(chǎng)容量1764萬(wàn)箱，占全國(guó)卷煙銷量的35.4%，實(shí)現(xiàn)批發(fā)銷售收入5010億元，占全國(guó)卷煙銷售收入的35.2%，涉及零售客戶165萬(wàn)戶，占全國(guó)正常經(jīng)營(yíng)零售客戶總數(shù)的34%。

隨著市場(chǎng)化改革范圍的擴(kuò)大和深入，原來(lái)計(jì)劃體制下的卷煙營(yíng)銷方式逐漸難以滿足快速變化的市場(chǎng)需求。與此同時(shí)，隨著中國(guó)經(jīng)濟(jì)進(jìn)入“新常態(tài)”以及北京市人口疏解工作的不斷推進(jìn)，北京市場(chǎng)的卷煙銷售壓力日益增加。因此北京煙草對(duì)如何準(zhǔn)確洞悉市場(chǎng)信息、把握卷煙消費(fèi)者和零售戶的需求從而實(shí)現(xiàn)精準(zhǔn)營(yíng)銷提出了更高的要求。

北京煙草經(jīng)過(guò)十?dāng)?shù)年信息化建設(shè)，系統(tǒng)中存儲(chǔ)著接近十年的海量交易數(shù)據(jù)。如何充分利用這些海量數(shù)據(jù)資源、把大數(shù)據(jù)技術(shù)及互聯(lián)網(wǎng)企業(yè)的成功實(shí)踐經(jīng)驗(yàn)引入到北京煙草的信息化建設(shè)當(dāng)中并成為市場(chǎng)化取向改革的強(qiáng)大助力，已成為北京煙草當(dāng)前亟待解決的課題。本文實(shí)現(xiàn)了一種大數(shù)據(jù)技術(shù)的應(yīng)用，即通過(guò)采集歷史數(shù)據(jù)樣本，建立聚類模型對(duì)卷煙零售戶的特征進(jìn)行畫像，測(cè)算出零售戶屬性和卷煙屬性中的相關(guān)性，并基于這些結(jié)果在卷煙零售客戶訂貨時(shí)根據(jù)其特征推薦相關(guān)的卷煙產(chǎn)品。該方式一方面可以把市場(chǎng)中成熟的銷售經(jīng)驗(yàn)傳遞給新入網(wǎng)的零售戶，另一方面可以促進(jìn)北京煙草合理組織貨源，主動(dòng)為零售戶提供了適銷對(duì)路的商品，提高市場(chǎng)營(yíng)銷的準(zhǔn)確度。

1　大數(shù)據(jù)技術(shù)與聚類算法

1.1大數(shù)據(jù)技術(shù)簡(jiǎn)介

學(xué)界與工業(yè)界對(duì)于所謂的“大數(shù)據(jù)”并沒(méi)有一個(gè)統(tǒng)一的定義。如2011年McKinsey的研究報(bào)告［1］中將大數(shù)據(jù)定義為“超過(guò)了典型數(shù)據(jù)庫(kù)軟件工具捕獲、存儲(chǔ)、管理和分析數(shù)據(jù)能力的數(shù)據(jù)集”，而美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院NIST認(rèn)為“大數(shù)據(jù)是指數(shù)據(jù)的容量、數(shù)據(jù)的獲取速度或者數(shù)據(jù)的表示限制了使用傳統(tǒng)關(guān)系方法對(duì)數(shù)據(jù)的分析處理能力，需要使用水平擴(kuò)展的機(jī)制以提高處理效率”［2］。隨著大數(shù)據(jù)技術(shù)的持續(xù)演進(jìn)，其內(nèi)涵與外延也不斷得到發(fā)展，現(xiàn)在通常認(rèn)為“大數(shù)據(jù)”包含海量結(jié)構(gòu)化、半結(jié)構(gòu)化以及無(wú)結(jié)構(gòu)化數(shù)據(jù)，因此大數(shù)據(jù)相關(guān)技術(shù)與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)相比在處理非結(jié)構(gòu)化數(shù)據(jù)和無(wú)結(jié)構(gòu)化數(shù)據(jù)方面無(wú)論是在處理速度還是存儲(chǔ)容量上均有較大優(yōu)勢(shì)。

大數(shù)據(jù)價(jià)值鏈可以分為四個(gè)階段：數(shù)據(jù)生成、數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析［3］。其中“數(shù)據(jù)生成”的工作主要是由相關(guān)業(yè)務(wù)系統(tǒng)或設(shè)備來(lái)完成，因此目前主流大數(shù)據(jù)技術(shù)主要負(fù)責(zé)后三個(gè)階段的工作。其中Apache Software Foundation于2005年啟動(dòng)的Hadoop項(xiàng)目最為引人關(guān)注［4］。Hadoop源自于對(duì)Google Map/Reduce和Google File System的開(kāi)源模擬，也正是由于其開(kāi)源特性，吸引了各國(guó)優(yōu)秀計(jì)算機(jī)專家與工程師投身其中，不斷對(duì)其豐富完善，現(xiàn)已發(fā)展為包含Spark和Storm等多個(gè)模塊在內(nèi)的既能實(shí)現(xiàn)離線大數(shù)據(jù)分析也能完成流式計(jì)算的主流大數(shù)據(jù)解決方案［5］，并在各行業(yè)中均有落地。

1.2聚類算法

聚類分析是數(shù)據(jù)挖掘中的一種重要算法。聚類的目標(biāo)是在沒(méi)有任何先驗(yàn)知識(shí)的前提下，根據(jù)數(shù)據(jù)的相似性將數(shù)據(jù)聚合成不同的類（或簇），使得相同類中的元素盡可能相似，而不同類中的元素差別盡可能的大，因此又稱為非監(jiān)督分類（Unsupervised Classification）［6］。早在20世紀(jì)70年代，學(xué)界就對(duì)聚類算法有了比較深入的研究［7-8］，聚類的方法包括統(tǒng)計(jì)學(xué)方法和機(jī)器學(xué)習(xí)方法。

目前存在著多種聚類算法，其可以分為如下幾類：基于劃分的方法（Partitioning Method）、基于層次的方法 （Hierarchical Method）、基于密度的方法 （Density-Based）、基于網(wǎng)格的方法（Grid-Based）和基于模型的方法（Model-Based）等［9］。

K-means算法由Mac Queen于1967年首先提出，該算法是目前為止在工業(yè)界和科學(xué)應(yīng)用中一種極有影響的聚類算法［10］。K-means是基于劃分的方法中的一種，是典型的基于原型的目標(biāo)函數(shù)聚類方法的代表［11］。K-means聚類的目標(biāo)就是在給定分類組數(shù)k（k≤n）值的條件下，通過(guò)聚類把樣本點(diǎn)按聚集程度分成若干個(gè)簇，在同一個(gè)簇內(nèi)具有較高的相似度，而在簇間的相似度較低。即對(duì)簇集合S=｛S1，S2，…，Sk｝，在數(shù)值模型上，對(duì)以下表達(dá)式求最小值，其中μi表示分類Si的平均值：

具體算法流程如下：

（1）從 n個(gè)數(shù)據(jù)對(duì)象任意選擇 k個(gè)對(duì)象作為初始聚類中心；

（2）根據(jù)每個(gè)聚類對(duì)象的均值（中心對(duì)象），計(jì)算每個(gè)對(duì)象與這些中心對(duì)象的相異度，將這些元素分別劃歸到相異度最低的簇；

（3）重新計(jì)算每個(gè)（有變化）聚類的均值（中心對(duì)象）；

（4）循環(huán)（2）到（3）直到每個(gè)聚類不再發(fā)生變化為止；

（5）輸出結(jié)果。

通過(guò)每天的銷售記錄中的客戶編碼和卷煙編碼把客戶屬性和卷煙屬性關(guān)聯(lián)在一起組成一條記錄，獲取到擁有n條數(shù)據(jù)記錄的集合（x1，x2，…，xn），并且每個(gè)xi為d維的向量，即xi（xi1，xi2，…，xid），其中xi1～xid為客戶屬性和卷煙屬性。

2　大數(shù)據(jù)環(huán)境下基于K-means的用戶畫像與商品智能推薦模型

2.1大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)

由于北京煙草現(xiàn)有信息系統(tǒng)中存儲(chǔ)了大量歷史交易數(shù)據(jù)，因此使用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)難以在可接受時(shí)間內(nèi)完成對(duì)海量數(shù)據(jù)的分析與處理。北京煙草與浪潮軟件股份有限公司共同搭建了基于Hadoop的大數(shù)據(jù)處理平臺(tái)，將原有數(shù)據(jù)中心的歷史數(shù)據(jù)保存到HDFS之中，并通過(guò)MapReduce/SPARK實(shí)現(xiàn)海量數(shù)據(jù)計(jì)算。

2.2數(shù)據(jù)挖掘工具的選取

本文中所采用的數(shù)據(jù)挖掘工具為WEKA。WEKA的全名是懷卡托智能分析環(huán)境 （Waikato Environment for Knowledge Analysis），WEKA作為一個(gè)公開(kāi)的數(shù)據(jù)挖掘工作平臺(tái)，集成了大量能承擔(dān)數(shù)據(jù)挖掘任務(wù)的機(jī)器學(xué)習(xí)算法，包括對(duì)數(shù)據(jù)進(jìn)行預(yù)處理、分類、回歸、聚類、關(guān)聯(lián)規(guī)則以及在新的交互式界面上的可視化。WEKA可以與基于Hadoop的大數(shù)據(jù)平臺(tái)相結(jié)合，實(shí)現(xiàn)較為完整的大數(shù)據(jù)分析解決方案。

2.3基于K-means的用戶畫像

整個(gè)畫像過(guò)程分為六個(gè)步驟，包括：

（1）確定業(yè)務(wù)場(chǎng)景

圖1　北京煙草大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)

確定三個(gè)業(yè)務(wù)場(chǎng)景進(jìn)行試驗(yàn)，三個(gè)業(yè)務(wù)場(chǎng)景分別為：場(chǎng)景1.挖掘特征客戶群對(duì)于卷煙品類的傾向性；場(chǎng)景2.挖掘特征客戶群對(duì)于產(chǎn)品類型的傾向性；場(chǎng)景3.挖掘特征客戶群對(duì)于產(chǎn)地類型的傾向性。

（2）數(shù)據(jù)樣本獲取

從數(shù)據(jù)中心系統(tǒng)數(shù)據(jù)庫(kù)中關(guān)聯(lián)客戶商品日銷售表、客戶表（通過(guò)客戶編碼關(guān)聯(lián)）和卷煙表（通過(guò)卷煙編碼關(guān)聯(lián)），選取一個(gè)銷售周期的數(shù)據(jù)，共獲得樣本數(shù)據(jù)690177條，把數(shù)據(jù)存為WEKA挖掘工具可用的csv格式，每條樣本數(shù)據(jù)的字段列如下：

表1　銷售數(shù)據(jù)字段列表

（3）數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理分為兩步，第一步把樣本中數(shù)字編碼處理成字符編碼，因?yàn)橥诰蚬ぞ邥?huì)把這些數(shù)字分類編碼當(dāng)成數(shù)值來(lái)處理，從而影響挖掘結(jié)果。需要處理的字段列包括：區(qū)域類型、經(jīng)營(yíng)規(guī)模、結(jié)算方式、訂貨方式、是否終端、價(jià)類、產(chǎn)地類別、品類、包裝類型。第二步需要在WEKA預(yù)處理界面中打開(kāi)樣本數(shù)據(jù)集，剔出掉CUST_CODE列。

（4）算法選擇

選擇聚類算法K-means，依據(jù)Within cluster sum of squared errors值的大小 （越小越好）經(jīng)過(guò)多次調(diào)試，把算法參數(shù)seed（隨機(jī)種子數(shù)）設(shè)為100。

（5）調(diào)試

依次進(jìn)行業(yè)務(wù)場(chǎng)景調(diào)試，初始時(shí)選擇所有客戶屬性和與場(chǎng)景對(duì)應(yīng)的卷煙屬性進(jìn)行挖掘，依據(jù)Within cluster sum of squared errors值的大小以及生成的簇間關(guān)系進(jìn)行調(diào)整，調(diào)整內(nèi)容包括忽略掉某個(gè)客戶屬性（去掉無(wú)效列）、調(diào)整預(yù)生成簇的個(gè)數(shù)和調(diào)整seed。

（6）結(jié)果分析

經(jīng)過(guò)調(diào)試，最終確認(rèn)的各個(gè)場(chǎng)景的結(jié)果如下：

場(chǎng)景1：挖掘特征客戶群對(duì)于卷煙品類的傾向性。

零售客戶特征選擇：業(yè)態(tài) （對(duì)應(yīng)BASE_TYPE_ CODE）、經(jīng)營(yíng)規(guī)模（對(duì)應(yīng)SALE_SCALE_CODE）、月均訂貨量檔次（對(duì)應(yīng)SALE_SCALE_KIND_CODE）；

卷煙屬性設(shè)定為卷煙品類 （對(duì)應(yīng)CATEGORY_ CODE）。

聚類后，生成特征客戶群，簇0和簇1。其中簇0的特征為：業(yè)態(tài)為食雜店（標(biāo)識(shí)為：‘Z'）的、經(jīng)營(yíng)規(guī)模為中的（標(biāo)識(shí)為：‘2'）、月均訂貨量在251－500條的（標(biāo)識(shí)為：‘A3'）零售客戶傾向于訂購(gòu)卷煙零售價(jià)在65（含）-105之間的（標(biāo)識(shí)為：‘C08'）卷煙；簇1的特征為：業(yè)態(tài)為便利店（標(biāo)識(shí)為：‘B'）的、經(jīng)營(yíng)規(guī)模為中的（標(biāo)識(shí)為：‘2'）月均訂貨量在101－250條的（標(biāo)識(shí)為：‘A2'）零售客戶傾向于訂購(gòu)卷煙零售價(jià)在200（含）-260元的（標(biāo)識(shí)為：‘C05'）卷煙。

場(chǎng)景2：挖掘特征客戶群對(duì)于產(chǎn)品類型的傾向性。

零售客戶特征選擇：業(yè)態(tài) （對(duì)應(yīng)BASE_TYPE_ CODE）、市場(chǎng)類型（對(duì)應(yīng)MARKET_TYPE_CODE）、區(qū)域類型 （對(duì)應(yīng)AREA_TYPE_CODE）、經(jīng)營(yíng)規(guī)模 （對(duì)應(yīng)SALE_SCALE_CODE）；

卷煙屬性設(shè)定為產(chǎn)品類型（對(duì)應(yīng) ITEM_ TYPE_CODE）。

聚類后，生成特征客戶群，簇0、簇1和簇2。其中簇0的特征為：業(yè)態(tài)為食雜店（標(biāo)識(shí)為：‘Z'）的、市場(chǎng)類型為城市的（標(biāo)識(shí)為：‘C'）、區(qū)域類型為學(xué)區(qū)的（標(biāo)識(shí)為：‘A03'）、經(jīng)營(yíng)規(guī)模為中的（標(biāo)識(shí)為：‘S2'）零售客戶傾向于訂購(gòu)烤煙型（標(biāo)識(shí)為：‘IT1'）卷煙；簇1的特征為：業(yè)態(tài)為便利店（標(biāo)識(shí)為：‘B'）的、市場(chǎng)類型為城市的（標(biāo)識(shí)為：‘C'）、區(qū)域類型為工業(yè)區(qū)的（標(biāo)識(shí)為：‘A02'）、經(jīng)營(yíng)規(guī)模為中的（標(biāo)識(shí)為：‘S2'）零售客戶傾向于訂購(gòu)混合型（標(biāo)識(shí)為：‘IT2'）卷煙；簇2的特征為：業(yè)態(tài)為食雜店（標(biāo)識(shí)為：‘Z'）的、市場(chǎng)類型為鄉(xiāng)村的（標(biāo)識(shí)為：‘'X'）、區(qū)域類型為學(xué)區(qū)的（標(biāo)識(shí)為：‘A03'）經(jīng)營(yíng)規(guī)模為大的（標(biāo)識(shí)為：‘S1'）零售客戶傾向于訂購(gòu)烤煙型（標(biāo)識(shí)為：‘IT1'）卷煙。

場(chǎng)景3：挖掘特征客戶群對(duì)于產(chǎn)地類型的傾向性。

零售客戶特征選擇：業(yè)態(tài) （對(duì)應(yīng)BASE_TYPE_ CODE）、市場(chǎng)類型（對(duì)應(yīng)MARKET_TYPE_CODE）、月均訂貨量檔次（對(duì)應(yīng)SALE_SCALE_KIND_CODE）；

卷煙屬性設(shè)定為產(chǎn)地類別（對(duì)應(yīng)MFR_TYPE）。

聚類后，生成特征客戶群，簇0、簇1和簇2。其中簇0的特征為：業(yè)態(tài)為食雜店（標(biāo)識(shí)為：‘Z'）的、市場(chǎng)類型為城市的（標(biāo)識(shí)為：‘C'）、月均訂貨量在251－500條的（標(biāo)識(shí)為：‘A3'）零售客戶傾向于訂購(gòu)省外（標(biāo)識(shí)為：‘M1'）卷煙；簇1的特征為：業(yè)態(tài)為食雜店（標(biāo)識(shí)為：‘Z'）的、市場(chǎng)類型為城市的（標(biāo)識(shí)為：‘'X'）、月均訂貨量在101－250條的（標(biāo)識(shí)為：‘A2'）零售客戶傾向于訂購(gòu)省外（標(biāo)識(shí)為：‘M1'）卷煙；簇2的特征為：業(yè)態(tài)為便利店（標(biāo)識(shí)為：‘B'）的、市場(chǎng)類型為城市的（標(biāo)識(shí)為：‘'C'）、月均訂貨量在101－250條的（標(biāo)識(shí)為：‘A2'）零售客戶傾向于訂購(gòu)省內(nèi)（標(biāo)識(shí)為：‘M0'）卷煙。

2.4商品智能推薦模型

在完成零售戶畫像的基礎(chǔ)之上，在零售客戶網(wǎng)上訂煙平臺(tái)新商盟網(wǎng)站應(yīng)用數(shù)據(jù)挖掘的結(jié)果，對(duì)符合特征的客戶推薦對(duì)應(yīng)特征的卷煙商品。例如向業(yè)態(tài)為食雜店的、市場(chǎng)類型為城市的、區(qū)域類型為學(xué)區(qū)的、經(jīng)營(yíng)規(guī)模為中的零售客戶推薦烤煙型卷煙。

3　結(jié)語(yǔ)

本文基于大數(shù)據(jù)技術(shù)采用K-means實(shí)現(xiàn)了用戶畫像與智能推薦，為北京煙草市場(chǎng)化取向改革的進(jìn)一步推進(jìn)提供了新的思路和方法。但由于本方案是基于零售客戶的歷史訂貨數(shù)據(jù)而不是從周邊區(qū)域消費(fèi)者角度分析各類特征，如區(qū)域人口分布、性別比、消費(fèi)能力等，因此零售戶畫像以及在此基礎(chǔ)上實(shí)現(xiàn)的智能推薦在準(zhǔn)確度上尚有不足，需要進(jìn)一步改進(jìn)。

［1］Manyika J，Chui M，Brown B，et al.Big Data：the Next Frontier for Innovation，Competition，and Productivity.McKinsey Global Institute，2011

［2］Cooper M，Mell P.Tackling Big Data.NIST，2012

［3］李學(xué)龍，龔海剛．大數(shù)據(jù)系統(tǒng)綜述［J］．中國(guó)科學(xué)：信息科學(xué)，2015，第45卷 第一期：1-44

［4］http：//hadoop.apache.org/

［5］趙晟，姜進(jìn)磊.典型大數(shù)據(jù)計(jì)算框架分析［J］.中興通訊技術(shù).2016.4

［6］陳麗.數(shù)據(jù)挖掘中聚類算法研究［D］.2007

［7］Bijne ET.Cluster analysis［M］.Netherlands：Tiberg University Press，1973

［8］Everitt B.Cluster analysis［M］.London：Heinemann Educational Books Ltd.，1974

［9］Jiawei Han，Micheline Kamber.數(shù)據(jù)挖掘概念與技術(shù)［M］.范明，孟小峰等譯.北京：機(jī)械工業(yè)出版社，2001

［10］J.B.MacQueen.Some Methods for classification and Analysis of Multivariate Observations.Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability.Berkeley，University of California Press，1：281-297

Big Data；Intelligent Recommendation；Clustering

Application of User Portrait and Intelligent Recommendation Based on Big Data Technology and K-means

LI Bing1，WANG Yue1，LIU Yong-xiang2
（1．China National Tobacco Corp.Beijing Corp.，Beijing 100122；2.INSPUR Co.，Ltd.，Jinan250000）

1007-1423（2016）24-0011-05DOI：10.3969/j.issn.1007-1423.2016.24.03

李冰（1984-），男，北京市人，博士，工程師，研究方向?yàn)樵朴?jì)算與大數(shù)據(jù)

王悅（1986-），男，北京人，本科，工程師，研究方向?yàn)橄到y(tǒng)集成與大規(guī)模分布式系統(tǒng)

劉永祥（1974-），男，湖南人，本科，高級(jí)工程師，研究方向?yàn)闊煵輸?shù)據(jù)分析

2016-08-15

2016-08-20

隨著中國(guó)煙草行業(yè)市場(chǎng)化取向改革日益深入以及計(jì)算機(jī)技術(shù)的快速發(fā)展，如何利用新技術(shù)更準(zhǔn)確地洞察市場(chǎng)、了解卷煙零售客戶銷售特征、針對(duì)性的為零售戶提供適銷對(duì)路的卷煙商品成為行業(yè)內(nèi)所共同關(guān)注的問(wèn)題。探索一種基于大數(shù)據(jù)技術(shù)及K-means算法的卷煙零售戶特征畫像，并在此基礎(chǔ)上實(shí)現(xiàn)對(duì)零售戶訂貨的智能推薦。

大數(shù)據(jù)；智能推薦；聚類

With the proceeding of China tobacco industry market oriented reform and the development of computing technology，departments of tobacco sales and marketing pay more and more attention to how to use new techniques to obtain accurate information of the market，understanding the sales characteristics of tobacco retailer and provide marketable tobacco goods for the retailer.Explores a kind of tobacco retailer user portrait based on Big Data technology and K-means clustering algorithm，and provides the application of intelligent recommendation for tobacco ordering.