賈志強(qiáng)，李 濤，樂金祥

(武漢科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065)

0 引 言

在大數(shù)據(jù)和線上營銷的影響下，傳統(tǒng)營銷方式已經(jīng)無法滿足銷售企業(yè)的發(fā)展要求，商家急需尋找新途徑刺激用戶的消費(fèi)行為。而銷售企業(yè)發(fā)展至今，已經(jīng)積累了龐大的用戶基數(shù)與消費(fèi)數(shù)據(jù)，于是，從海量的數(shù)據(jù)中挖掘有價值的信息，利用大數(shù)據(jù)算法推動營銷成為了企業(yè)關(guān)注重點(diǎn)[1]。

在實(shí)際應(yīng)用上，消費(fèi)行為預(yù)測[2]在營銷活動中具有很高的價值，如果能提前預(yù)測出用戶是否將要購買商品，那么企業(yè)在接下來的營銷活動中將會有針對性地選擇用戶，既能保證想要消費(fèi)的用戶享受到優(yōu)惠，購買更多商品，增強(qiáng)忠誠度；也能避免不會到店消費(fèi)的用戶對企業(yè)產(chǎn)生抵觸心理，降低企業(yè)形象。因此消費(fèi)行為預(yù)測的研究是極具實(shí)用性與商業(yè)價值的。

在消費(fèi)行為預(yù)測研究中，Wang Xingfen等[3]采取XGBoost算法作為特征變換，再輸入到邏輯回歸模型中，實(shí)驗(yàn)證明該算法能很好地預(yù)測電子商務(wù)中用戶的購買行為。Kareena等[4]對決策樹、支持向量機(jī)、隨機(jī)森林、模糊聚類、遺傳算法等技術(shù)進(jìn)行了實(shí)驗(yàn)，最終得出支持向量機(jī)是最好的一種；H. Valecha等[5]研究了消費(fèi)者購買產(chǎn)品行為與環(huán)境因素、組織因素、個體因素、人際因素等參數(shù)的變化關(guān)系，利用獨(dú)特特征工程設(shè)計實(shí)時演化隨機(jī)森林分類器預(yù)測消費(fèi)者購買行為；X. Dou等[6]研究電子商務(wù)平臺不平衡的真實(shí)購物數(shù)據(jù)，運(yùn)用以對稱決策樹(oblivious trees)為基學(xué)習(xí)器的catboost模型對消費(fèi)者是否會購買某一產(chǎn)品進(jìn)行分析和預(yù)測，證明該模型有更高的準(zhǔn)確率。

雖然消費(fèi)行為預(yù)測的研究已經(jīng)有了一定的成果，但大多數(shù)實(shí)驗(yàn)在特征工程上都是盡可能多地考慮影響預(yù)測的各個方面，從不同的角度去挖掘特征，盡可能擴(kuò)展特征挖掘的廣度[7]。而在已有數(shù)據(jù)和特征的基礎(chǔ)上繼續(xù)深入挖掘，擴(kuò)展特征挖掘的深度方面還存在欠缺。在算法建模方面，大多數(shù)已有實(shí)驗(yàn)都是利用單個模型進(jìn)行預(yù)測，雖然也有提到集成學(xué)習(xí)的相關(guān)文獻(xiàn)，但也只是使用封裝好的帶有集成學(xué)習(xí)思想的某一種分類器，如catboost、隨機(jī)森林、XGBoost等這類強(qiáng)分類器，沒有充分利用多個經(jīng)典分類器的優(yōu)點(diǎn)，利用集成學(xué)習(xí)將這些優(yōu)點(diǎn)結(jié)合起來進(jìn)行預(yù)測。

為此，該文提出在深度上深入挖掘的特征工程方法。一是采用兩種滑動窗口相結(jié)合的特征提取方法提取到更多樣本數(shù)據(jù)，深入挖掘消費(fèi)數(shù)據(jù)的時間信息，給特征添加時間屬性，同時分別對離散和連續(xù)特征做獨(dú)熱編碼和分箱操作，更好地處理屬性數(shù)據(jù)、減少噪聲干擾；二是深入挖掘商品與用戶之間隱含的關(guān)聯(lián)關(guān)系，基于先驗(yàn)知識與矩陣分解，對特征進(jìn)行交叉，深入挖掘各特征中的協(xié)同信息，在原有特征的基礎(chǔ)上提取出新特征。而在算法建模方面，采用stacking策略構(gòu)建集成學(xué)習(xí)模型，以XGBoost、隨機(jī)森林和梯度提升決策樹作為初級學(xué)習(xí)器進(jìn)行特征變換，以邏輯回歸作為元學(xué)習(xí)器進(jìn)行消費(fèi)行為預(yù)測，充分利用到各模型算法的優(yōu)勢。通過特征工程和模型算法對比實(shí)驗(yàn)證明該特征工程方法在多個模型算法中均能明顯提高精準(zhǔn)率，提出的集成學(xué)習(xí)模型預(yù)測效果也均高于單個模型。

1 面向消費(fèi)行為預(yù)測的特征工程方法

1.1 基于兩種滑動窗口的特征提取方法

在對消費(fèi)行為進(jìn)行預(yù)測時，由于購買用戶通常比例很小，正負(fù)樣本不平衡，正樣本數(shù)據(jù)量較少，直接訓(xùn)練模型效果不理想，為增加正樣本數(shù)據(jù)量，該文采用定長滑動窗口[8]提取更多樣本數(shù)據(jù)，再結(jié)合欠采樣解決樣本不平衡問題。

根據(jù)企業(yè)實(shí)際營銷活動情況，定長滑動窗口特征提取方法先固定特征與標(biāo)簽的區(qū)間長度，然后通過窗口的滑動不斷提取特征數(shù)據(jù)。如用第T1到T30提取第一批樣本數(shù)據(jù)，再用T31到T37打上是否到店買藥的標(biāo)簽，取滑動步長為N如7天，用第T8到T37提取第二批樣本數(shù)據(jù)，用T38到T44打上是否到店買藥的標(biāo)簽。依此類推，提取更多的樣本數(shù)據(jù)，如圖1所示。

圖1 定長滑動窗口提取特征

為能充分挖掘用戶消費(fèi)的時間屬性，還原用戶消費(fèi)習(xí)慣，得到分類效果優(yōu)秀的特征，提出先固定待提取特征的數(shù)據(jù)區(qū)間長度，再通過變長滑動窗口的方法依次劃分時間段提取特征(見圖2)。因?yàn)橛脩粝M(fèi)存在周期性，經(jīng)過一個周期后再給用戶做推薦更能激起用戶的購買欲；同時，最新的消費(fèi)記錄能更為準(zhǔn)確地反映用戶消費(fèi)情況，因此分別給不同時間段提取的特征賦予權(quán)重，給特征加上時間屬性，能更好地反映用戶的消費(fèi)行為。同樣以30天作為提取特征的數(shù)據(jù)區(qū)間長度，采取前7天(T24-T30)、前14天(T17-T30)、前21天(T10-T30)和全部時間段分別提取如表1所示的數(shù)據(jù)特征。

圖2 變長滑動窗口提取特征

表1 特征集1提取的特征

在提取的特征中，存在較多連續(xù)型的消費(fèi)特征，如各時間段的商品數(shù)、消費(fèi)金額、消費(fèi)客單價、購買種類數(shù)等，為降低噪音數(shù)據(jù)的影響，增強(qiáng)模型的魯棒性，同時加快模型的迭代速度，對上述連續(xù)型特征進(jìn)行特征分箱。

對于用戶的離散型特征，對其進(jìn)行編碼處理，主要是對二值取值的特征進(jìn)行標(biāo)簽編碼和對多類別的特征進(jìn)行獨(dú)熱編碼，見表2。

表2 二值編碼和獨(dú)熱編碼特征

1.2 基于先驗(yàn)知識與矩陣分解的特征交叉方法

除了分別考慮用戶和商品的特征，二者相結(jié)合的組合特征也對預(yù)測有較大影響。該文采用基于先驗(yàn)知識的特征交叉和基于矩陣分解的特征交叉方法，充分挖掘各個特征中的交互信息。

(1)基于先驗(yàn)知識的特征交叉，通過分析相關(guān)銷售人員的工作經(jīng)驗(yàn)以及與商品相關(guān)的專業(yè)知識，找出有關(guān)聯(lián)的用戶特征和商品特征進(jìn)行交叉組合。該文以醫(yī)藥企業(yè)為例，如把商品類別特征和用戶性別特征進(jìn)行交叉組合，男性用戶可能會偏好體能保健類和男科類，而女性用戶可能會偏好美白保健類和婦科類，這樣組合在一起能得到較為有效的組合特征，如表3和表4所示。

表3 用于交叉的用戶特征

表4 用于交叉的商品特征

(2)基于矩陣分解的特征交叉，根據(jù)用戶購買商品的歷史消費(fèi)記錄構(gòu)造(m×n)的矩陣，其中m代表用戶數(shù)量，n代表商品數(shù)量。將用戶-商品矩陣分解成用戶矩陣(m×k)和商品矩陣(k×n)，將每一位用戶和每一種商品分別映射到一個k維的隱空間中，每個用戶對應(yīng)用戶矩陣中的一行，每個商品對應(yīng)商品矩陣中的一列，如圖3所示，用戶和商品都可以用一個k維向量表示。計算用戶和商品隱向量之間的相似度，作為用戶和商品之間的潛在交叉特征。

圖3 矩陣分解獲取交叉特征

2 基于stacking策略的集成學(xué)習(xí)模型構(gòu)建

集成學(xué)習(xí)通過結(jié)合多個學(xué)習(xí)器完成學(xué)習(xí)任務(wù)，先訓(xùn)練出多個個體學(xué)習(xí)器，再采用某種集成策略將這些個體學(xué)習(xí)器相結(jié)合。文獻(xiàn)[9]利用多源數(shù)據(jù)集和多種機(jī)器學(xué)習(xí)方法交叉構(gòu)建單一檢測模型，并設(shè)計一種基于Logistic的集成學(xué)習(xí)方法，進(jìn)一步提升惡意軟件未知變種檢測方法的準(zhǔn)確性和魯棒性。文獻(xiàn)[10]考慮不同個體學(xué)習(xí)器在數(shù)據(jù)集上的表現(xiàn)以及各學(xué)習(xí)器之間的多樣性，提出一種基于Bagging異質(zhì)集成學(xué)習(xí)的竊電檢測方法，并驗(yàn)證了該模型在竊電檢測中的準(zhǔn)確率、命中率、誤檢率等檢測指標(biāo)更好。文獻(xiàn)[11]運(yùn)用信息增益法篩選指標(biāo),采用V折交叉確認(rèn)法,利用UCI的信用數(shù)據(jù)對單個分類器、集成分類器模型的分類精度和穩(wěn)健性進(jìn)行試驗(yàn)比較，證明集成分類器模型在個人信用評估的分析中有更為優(yōu)秀的效果。由此可以看出，集成學(xué)習(xí)在很多應(yīng)用場景上都有較大的優(yōu)勢。

該文構(gòu)建一種基于stacking策略[12]的集成學(xué)習(xí)模型對用戶的消費(fèi)行為進(jìn)行預(yù)測。stacking策略的集成學(xué)習(xí)模型結(jié)構(gòu)如圖4所示。

圖4 stacking策略的集成學(xué)習(xí)模型結(jié)構(gòu)

該集成學(xué)習(xí)模型采用XGBoost[3]、隨機(jī)森林[13]和梯度提升決策樹[14]作為初級學(xué)習(xí)器，對特征進(jìn)行變換，再輸入到元學(xué)習(xí)器邏輯回歸模型中做最終的預(yù)測。具體算法步驟如下：

(1)劃分?jǐn)?shù)據(jù)集為訓(xùn)練集與測試集。

(2)將訓(xùn)練集分別輸入初級學(xué)習(xí)器中，在每個初級學(xué)習(xí)器中采用k折交叉驗(yàn)證，進(jìn)行k次實(shí)驗(yàn)，每次實(shí)驗(yàn)對1/k的訓(xùn)練集和全部測試集做預(yù)測，把每次預(yù)測出的1/k訓(xùn)練集合并得出完整訓(xùn)練集的預(yù)測結(jié)果，對k次測試集的預(yù)測結(jié)果取平均得到最終測試集預(yù)測結(jié)果；合并訓(xùn)練集與測試集的預(yù)測結(jié)果得到完整數(shù)據(jù)集預(yù)測結(jié)果。

(3)將每一個初級學(xué)習(xí)器的預(yù)測結(jié)果作為一個特征輸入元學(xué)習(xí)器邏輯回歸模型得到最終預(yù)測結(jié)果。

算法1：初級學(xué)習(xí)器特征變換算法。

輸入:X_train：訓(xùn)練集特征數(shù)據(jù)；X_test：測試集特征數(shù)據(jù)；y_train：訓(xùn)練集標(biāo)簽數(shù)據(jù)

輸出：變換后的訓(xùn)練集特征數(shù)據(jù)；變換后的測試集特征數(shù)據(jù)

1：clfs為初級學(xué)習(xí)器列表

2：k為正整數(shù)，表示采取k折交叉驗(yàn)證

3：X_train_stack = np.zeros((X_train.shape[0], len(clfs))) # 初始化用于存儲訓(xùn)練集預(yù)測結(jié)果的二維數(shù)組

4：X_test_stack = np.zeros((X_test.shape[0], len(clfs))) # 初始化用于存儲測試集預(yù)測結(jié)果的二維數(shù)組

5：skf=StratifiedKFold(n_splits=k, shuffle=True, random_state=1) # 用于k折交叉劃分訓(xùn)練集

6：for i, clf in enumerate(clfs): # 遍歷每一個初級學(xué)習(xí)器

7： X_stack_test_n = np.zeros((X_test.shape[0], n_folds)) # 初始化用于存儲測試集結(jié)果的二維數(shù)組

8： for j, (train_index, test_index) in enumerate(skf.split(X_train, y_train)): # 遍歷k折交叉劃分的訓(xùn)練集

9： tr_x = X_train.iloc[train_index,:] # 讀取第j次劃分的訓(xùn)練集中用于訓(xùn)練的特征數(shù)據(jù)

10： tr_y = y_train[train_index] # 讀取第j次劃分的訓(xùn)練集中用于訓(xùn)練的標(biāo)簽數(shù)據(jù)

11： clf.fit(tr_x, tr_y) # 訓(xùn)練第i個初級學(xué)習(xí)器

12： X_train_stack[test_index, i] = clf.predict_proba(X_train.iloc[test_index,:])[:, 1] # 存儲第i個初級學(xué)習(xí)器

13：在第j次劃分下被用于測試的訓(xùn)練集的預(yù)測結(jié)果

14： X_stack_test_n[:, j] = clf.predict_proba(X_test)[:, 1] # 存儲第i個初級學(xué)習(xí)器第j次對測試集預(yù)測的結(jié)果

15： X_test_stack[:, i] = X_stack_test_n.mean(axis=1) # 第i個初級學(xué)習(xí)器預(yù)測測試集的k次結(jié)果取平均

16：return X_train_stack,X_test_stack # 返回變換后的訓(xùn)練集特征數(shù)據(jù)和測試集特征數(shù)據(jù)

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)環(huán)境：Windows10操作系統(tǒng)，16 G內(nèi)存，3.6 GHz八核心處理器，實(shí)驗(yàn)軟件為Python3.7。

3.1 數(shù)據(jù)來源

該文采用某藥店服務(wù)商提供的四個月的用戶消費(fèi)記錄，一個用戶購買一個藥品代表一條記錄，去掉沒有用戶Id的無效消費(fèi)數(shù)據(jù)和單價小于等于0的贈品、塑料袋、退貨等噪音數(shù)據(jù)，剩余有效數(shù)據(jù)共2 059 718條。按照前30天消費(fèi)行為預(yù)測后7天是否有消費(fèi)，后7天有消費(fèi)即為正樣本，沒有消費(fèi)即為負(fù)樣本，采取7天為步長，滑動提取更多樣本數(shù)據(jù)。一共提取的樣本數(shù)據(jù)為284 071條，其中正負(fù)樣本15 018條，負(fù)樣本269 053條。

3.2 評價標(biāo)準(zhǔn)

考慮到實(shí)驗(yàn)數(shù)據(jù)正負(fù)樣本不平衡的問題，為提高實(shí)驗(yàn)可信度，采用精準(zhǔn)率(PA)來評估特征工程的有效性，在算法建模效果驗(yàn)證實(shí)驗(yàn)上，為更為直觀地比較模型效果，添加auc值和roc曲線的對比。

將預(yù)測值分類匯總，建立如表5所示的混淆矩陣。TP代表模型中預(yù)測正確的會響應(yīng)消費(fèi)的用戶數(shù)，F(xiàn)P代表模型中誤測會響應(yīng)消費(fèi)的用戶數(shù)，TN代表模型中預(yù)測正確的不會響應(yīng)消費(fèi)的用戶數(shù)，F(xiàn)N代表模型中誤測不會響應(yīng)消費(fèi)的用戶數(shù)。

表5 混淆矩陣

(1)精確率(Precision)。

P=TP/(TP+FP)

(1)

精確率P表示預(yù)測為正例的所有樣本中預(yù)測正確的比例，衡量了分類器對正例的識別能力。

(2)特效度(Sensitive)。

S=TN/(TN+FN)

(2)

特效度S表示所有預(yù)測為負(fù)例的樣本中預(yù)測正確的比例，衡量了分類器對負(fù)例的識別能力。

(3)精準(zhǔn)率PA。

(3)

評價指標(biāo)精準(zhǔn)率PA受響應(yīng)消費(fèi)用戶和沒有響應(yīng)消費(fèi)用戶兩者的準(zhǔn)確率的影響，避免因響應(yīng)消費(fèi)用戶與沒有響應(yīng)消費(fèi)用戶樣本數(shù)偏差影響評價指標(biāo)。而auc值為roc曲線下的面積，auc值越大，roc曲線下的面積越大，模型效果越好。

3.3 特征工程有效性驗(yàn)證實(shí)驗(yàn)

文獻(xiàn)[4]在消費(fèi)行為預(yù)測中使用了多種分類算法，對比證明支持向量機(jī)的預(yù)測效果要優(yōu)于其他方法，文獻(xiàn)[15]和文獻(xiàn)[3]使用邏輯回歸和XGBoost預(yù)測消費(fèi)行為，文獻(xiàn)[5]使用隨機(jī)森林算法也獲得了較好的預(yù)測效果。為客觀地驗(yàn)證特征工程的有效性，該文選用支持向量機(jī)、邏輯回歸、XGBoost和隨機(jī)森林這四種算法進(jìn)行對比實(shí)驗(yàn)。

為驗(yàn)證文中特征工程方法在藥品消費(fèi)行為預(yù)測中的有效性，采取實(shí)驗(yàn)步驟如下：

(1)輸入未采用文中特征工程方法的原始特征進(jìn)行預(yù)測；

(2)在原始特征的基礎(chǔ)上添加文中特征工程方法，再與原始特征的預(yù)測效果做對比。

為排除偶然性問題，采用十折交叉驗(yàn)證的方法進(jìn)行10次實(shí)驗(yàn)，取平均，得到的結(jié)果如圖5所示。

圖5 特征工程有效性對比

在相同數(shù)據(jù)集中，對定長滑動窗口提取的原始特征添加文中特征工程處理方法，在支持向量機(jī)、邏輯回歸、XGBoost、隨機(jī)森林分類模型4種經(jīng)典的模型算法中采用十折交叉驗(yàn)證進(jìn)行對比實(shí)驗(yàn)。通過實(shí)驗(yàn)結(jié)果可知，較原始特征相比，在添加文中特征工程方法后精準(zhǔn)度提高約5.75% ～14.92%。以上對比實(shí)驗(yàn)結(jié)果表明，文中特征工程方法對模型效果有提升作用，即在消費(fèi)行為預(yù)測上具有一定的有效性。

3.4 集成學(xué)習(xí)模型對比實(shí)驗(yàn)

為驗(yàn)證文中提出的基于stacking策略的集成學(xué)習(xí)模型優(yōu)于單個的機(jī)器學(xué)習(xí)模型，選取集成學(xué)習(xí)模型與其包含的單個模型進(jìn)行對比，即與XGBoost、隨機(jī)森林、梯度提升決策樹和邏輯回歸進(jìn)行對比，實(shí)驗(yàn)結(jié)果如圖6與表6所示。

圖6 文中模型與單個模型roc曲線對比

表6 文中模型與單個模型精準(zhǔn)率對比

由圖6的roc曲線對比可知，在消費(fèi)行為預(yù)測上，基于stacking策略的集成學(xué)習(xí)模型整體性能要優(yōu)于其他四個單個模型，其中auc值最大，達(dá)到72.74%。由表6可知，基于stacking策略的集成學(xué)習(xí)模型在精準(zhǔn)率上也是最高的，達(dá)到82.81%，驗(yàn)證了提出的集成學(xué)習(xí)模型在消費(fèi)行為預(yù)測上的有效性。

4 結(jié)束語

銷售企業(yè)結(jié)合電子管理系統(tǒng)快速發(fā)展，已經(jīng)積累了龐大的用戶基數(shù)與消費(fèi)數(shù)據(jù)，而在現(xiàn)今的互聯(lián)網(wǎng)時代，傳統(tǒng)的營銷方法已無法滿足企業(yè)的發(fā)展要求，商家急需尋找新途徑刺激用戶的消費(fèi)行為，提高企業(yè)競爭力，于是從海量數(shù)據(jù)中挖掘價值信息，預(yù)測用戶的消費(fèi)行為，從而促進(jìn)銷售成為了企業(yè)關(guān)注的重點(diǎn)。該文考慮到多數(shù)特征工程方法在現(xiàn)有數(shù)據(jù)挖掘深度上不足的問題，通過結(jié)合具體活動場景，提出了深入挖掘特征的時間屬性和特征之間隱含信息的特征工程方法，并在多個算法模型中驗(yàn)證了該特征工程方法的有效性，精準(zhǔn)率提升約5.75%～14.92%。同時充分學(xué)習(xí)利用多個分類器的優(yōu)點(diǎn)，構(gòu)建stacking策略的集成學(xué)習(xí)模型，對消費(fèi)行為進(jìn)行預(yù)測，實(shí)驗(yàn)證明該集成學(xué)習(xí)模型比單個模型的效果更好，精準(zhǔn)率最高，達(dá)到82.81%，充分驗(yàn)證了該模型在消費(fèi)行為預(yù)測上的有效性。