包志強(qiáng), 胡嘯天, 趙 研, 趙媛媛, 黃瓊丹

(西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

電信套餐預(yù)測(cè)是指電信運(yùn)營(yíng)商根據(jù)資費(fèi)套餐和用戶的使用行為，掌握對(duì)某種套餐的偏好，根據(jù)用戶歷史消費(fèi)信息預(yù)測(cè)消費(fèi)者行為選擇，為用戶推薦合適的套餐產(chǎn)品[1]。為抓住電信市場(chǎng)機(jī)會(huì)，電信運(yùn)營(yíng)商提出了針對(duì)個(gè)人的精準(zhǔn)預(yù)測(cè)分析策略，消費(fèi)者也逐漸追求“一對(duì)一”的個(gè)性化套餐推薦服務(wù)[2]。個(gè)性化、智能化的電信套餐預(yù)測(cè)分析顯得重要[3]。

目前，關(guān)于電信套餐預(yù)測(cè)方面的研究比較少，文獻(xiàn)[4]從客戶細(xì)分角度出發(fā)，運(yùn)用聚類算法對(duì)客戶進(jìn)行了粗略的價(jià)值細(xì)分，與達(dá)到客戶的精準(zhǔn)化要求還有一定的差距[5]。文獻(xiàn)[6]利用協(xié)同過濾推薦算法，實(shí)現(xiàn)用戶到套餐及套餐到用戶的推薦，但是單純地利用套餐或用戶之間的相似性進(jìn)行套餐推薦，并沒有實(shí)現(xiàn)對(duì)客戶使用套餐種類的預(yù)測(cè)[7]。文獻(xiàn)[8]通過分類和預(yù)測(cè)算法來(lái)建立套餐升級(jí)模型，由于套餐種類多，不能實(shí)現(xiàn)一一建模和對(duì)眾多套餐變更的預(yù)測(cè)[9]。文獻(xiàn)[10]將信息融合與數(shù)據(jù)挖掘相結(jié)合，根據(jù)不同客戶群，采用不同算法構(gòu)建電信客戶流失預(yù)測(cè)模型，但是僅僅預(yù)測(cè)了客戶是否流失，并沒有實(shí)現(xiàn)對(duì)電信套餐種類的預(yù)測(cè)[11]。

為實(shí)現(xiàn)多種不平衡電信套餐的預(yù)測(cè)，本文擬采用合成少數(shù)類過采樣算法(synthetic minority oversampling technique，SMOTE)[12]使套餐數(shù)量達(dá)到基本平衡，結(jié)合改進(jìn)后的堆疊泛化(stacking)算法來(lái)實(shí)現(xiàn)電信套餐的兩層分類，第一層被粗分為高低價(jià)值兩種套餐中的一類,第二層在第一層預(yù)測(cè)結(jié)果條件下將套餐細(xì)分，實(shí)現(xiàn)對(duì)套餐的預(yù)測(cè)。

1 電信套餐預(yù)測(cè)及堆疊泛化算法

1.1 電信套餐預(yù)測(cè)

電信運(yùn)營(yíng)商為了吸引消費(fèi)者，不斷推出繁多的套餐服務(wù)種類,如201505天翼e家4G融合169元檔系列中的B類30M 、H類50M和非光纖傳輸方式的套餐類型(簡(jiǎn)稱非光纖類)8M套餐，使用某種挖掘算法進(jìn)行分類，根據(jù)客戶的實(shí)際套餐消費(fèi)記錄(即套餐流量、語(yǔ)音等屬性)對(duì)客戶使用的套餐種類進(jìn)行預(yù)測(cè)[13]。但是在套餐種類預(yù)測(cè)過程中，產(chǎn)生了套餐多樣性及不平衡性兩個(gè)問題。套餐中的多樣性問題是指分類任務(wù)中訓(xùn)練樣例的種類繁多且復(fù)雜的情況。如201505天翼e家4G融合系列的套餐種類有6種，其中169元檔的套餐有B類、H類、非光纖類3種，209元檔的套餐有B類、H類、非光纖類3種。在種類繁多的數(shù)據(jù)集中，利用單個(gè)分類方法解決此問題時(shí)，分類器對(duì)多種套餐的預(yù)測(cè)不能達(dá)到良好的效果[15]。套餐中的不平衡性問題，是指分類任務(wù)中不同類別的訓(xùn)練樣例數(shù)目差別很大的情況。如有2 092個(gè)用戶使用169元套餐，只有327個(gè)用戶使用209元套餐，訓(xùn)練樣本時(shí)只需要返回一個(gè)，將新樣本預(yù)測(cè)為169元套餐的學(xué)習(xí)器，就能達(dá)到99.8%的精度。這樣的學(xué)習(xí)器不能預(yù)測(cè)出任何209元套餐，是沒有價(jià)值的。因此，在此類不平衡問題的數(shù)據(jù)集中，利用傳統(tǒng)的分類方法解決此類問題時(shí)，分類器的性能更加偏向于多數(shù)類樣本，稀有樣本往往被錯(cuò)分為多數(shù)類。

由于電信客戶使用的套餐之間存在多樣性及不平衡性，導(dǎo)致電信運(yùn)營(yíng)商對(duì)客戶套餐的預(yù)測(cè)出現(xiàn)了困難[14]。為了解決電信套餐的預(yù)測(cè)問題，各種套餐之間存在的多樣性及不平衡性是考慮的關(guān)鍵問題。

1.2 堆疊泛化算法的電信套餐預(yù)測(cè)

利用堆疊泛化算法[16]對(duì)電信套餐進(jìn)行預(yù)測(cè)，通過組合多個(gè)分類器的結(jié)果來(lái)減小算法的泛化誤差，實(shí)現(xiàn)電信套餐預(yù)測(cè)結(jié)果優(yōu)越的泛化性能，其算法結(jié)構(gòu)如圖1所示。

圖1 堆疊泛化算法框架結(jié)構(gòu)

在圖1中，設(shè)N為基分類器的個(gè)數(shù)，n為輸出結(jié)果的個(gè)數(shù)。堆疊泛化算法基于不同分類器算法產(chǎn)生多個(gè)異構(gòu)分類器，一般為兩層結(jié)構(gòu)，在0層訓(xùn)練集上使用N個(gè)不同的學(xué)習(xí)算法，對(duì)應(yīng)N個(gè)基分類器。同時(shí)，為了有效地避免過學(xué)習(xí)以及欠學(xué)習(xí)狀態(tài)的發(fā)生，使用10折交叉驗(yàn)證[17]，在整個(gè)數(shù)據(jù)集上得到n個(gè)輸出結(jié)果，把n個(gè)輸出結(jié)果作為1層分類器的訓(xùn)練集，訓(xùn)練一個(gè)分類器，對(duì)應(yīng)一個(gè)元分類器。在1層訓(xùn)練集中并沒有使用原始的輸入屬性，而是使用基分類器的輸出標(biāo)簽作為輸入屬性，得到最后的分類結(jié)果。根據(jù)圖1算法結(jié)構(gòu)可以得到，一個(gè)輸入樣本，即一個(gè)電信客戶的套餐屬性集合，首先經(jīng)過N個(gè)基分類器分類，輸出N個(gè)套餐預(yù)測(cè)類別，然后將輸出N個(gè)套餐預(yù)測(cè)類別進(jìn)行數(shù)據(jù)組合，作為1層訓(xùn)練集，最后經(jīng)過元分類器輸出最終的套餐預(yù)測(cè)結(jié)果。此堆疊泛化算法在重構(gòu)1層訓(xùn)練集時(shí)沒有充分利用套餐屬于不同類別之間的預(yù)測(cè)信息，忽略了輸出信息的重要性和差異性，導(dǎo)致有些泛化效果明顯下降。因此提出改進(jìn)的堆疊泛化算法的電信套餐預(yù)測(cè)。

2 改進(jìn)堆疊泛化算法的電信套餐預(yù)測(cè)

改進(jìn)堆疊泛化算法是在原堆疊泛化算法基礎(chǔ)上構(gòu)建的，對(duì)每一類取所有基分類器的最大最小后驗(yàn)概率，并融合原數(shù)據(jù)集中某些特征作為1層新的輸入向量，由1層分類器預(yù)測(cè)套餐的種類。

2.1 改進(jìn)堆疊泛化預(yù)測(cè)流程圖

基分類器的輸出類型，可采用類概率的方式，與采用類標(biāo)簽作為新數(shù)據(jù)的屬性方法相比，采用類概率的方式不僅有基分類器的預(yù)測(cè)值，還有置信度。采用類概率的方式輸出的堆疊泛化算法，在生成1層特征值的個(gè)數(shù)時(shí)，利用每個(gè)基分類器對(duì)所有類預(yù)測(cè)的后驗(yàn)概率，容易造成維度過高，降低泛化的時(shí)間效率[18]。因此，針對(duì)電信客戶套餐的預(yù)測(cè)，提出改進(jìn)堆疊泛化算法。改進(jìn)堆疊泛化算法套餐預(yù)測(cè)流程如圖2所示。

圖2 改進(jìn)堆疊泛化算法套餐預(yù)測(cè)流程

改進(jìn)堆疊泛化算法具體預(yù)測(cè)步驟如下。

步驟1設(shè)N為基分類器的個(gè)數(shù)，K為被預(yù)測(cè)的類別個(gè)數(shù)，i為基分類器的序數(shù)，輸入樣本X的第i個(gè)(i=1,2,…,N)基分類器的后驗(yàn)概率集合為

Ci(X)=[Pi1(X),Pi2(X) …PiK(X)]。

(1)

其中Pij(X) 表示每個(gè)輸入樣本X的第i個(gè)基分類器對(duì)類別j(j=1,2，…，K)輸出的后驗(yàn)概率。

步驟2設(shè)m為樣本的個(gè)數(shù)，由m個(gè)Ci(X)構(gòu)成所有基分類器的后驗(yàn)概率，如表1所示。其中PNK(Xm)表示第m個(gè)輸入樣本X的第N個(gè)基分類器對(duì)類別K輸出的后驗(yàn)概率。

步驟3改進(jìn)堆疊泛化算法中對(duì)表1中的某個(gè)樣本，每一個(gè)類別j取最大后驗(yàn)概率表示為

max[P(X)]={max[P11(X)P21(X)…PN1(X)],
…,max[P1K(X)P2K(X)…PNK(X)]}。

(2)

改進(jìn)堆疊泛化算法中對(duì)表1中的某個(gè)樣本，每一個(gè)類別j取最小后驗(yàn)概率表示為

min[P(X)]={min[P11(X)P21(X)…PN1(X)],
…,min[P1K(X)P2K(X)…PNK(X)]}。

(3)

步驟4在改進(jìn)堆疊泛化算法中，由m個(gè)最大后驗(yàn)概率，最小后驗(yàn)概率構(gòu)成的1層訓(xùn)練集，如表2所示。其中類別下的元素表示對(duì)某個(gè)樣本X可能所屬的各個(gè)類別，取所有基分類器的最大和最小后驗(yàn)概率，產(chǎn)生的特征值的個(gè)數(shù)為2×K。

步驟5由元分類器對(duì)1層訓(xùn)練集預(yù)測(cè)，輸出套餐的預(yù)測(cè)類別。

表1 基分類器的后驗(yàn)概率

表2 基分類器輸出的最大最小后驗(yàn)概率

改進(jìn)堆疊泛化算法在1層分類學(xué)習(xí)中利用所有基分類器中對(duì)每一類預(yù)測(cè)的最大最小后驗(yàn)概率，重點(diǎn)考慮各個(gè)0層分類器中預(yù)測(cè)效果對(duì)最終判決的貢獻(xiàn)信息，有效地降低了0層的預(yù)測(cè)維度。最大后驗(yàn)概率決定了該樣本所屬的類，而最小后驗(yàn)概率決定了該樣本最不可能條件下所屬的類，對(duì)于一個(gè)樣本可能所屬的某一類，選擇兩列具有明顯差異的最大最小后驗(yàn)概率作為新的特征，融合樣本的一些重要特征信息，使得元分類器可根據(jù)重要的輸入信息來(lái)預(yù)測(cè)分類結(jié)果，在一定程度上控制了維度災(zāi)難，同時(shí)降低了重要信息損失的代價(jià)，有效的提升了預(yù)測(cè)的精度及整體效果。

2.2 預(yù)測(cè)步驟

針對(duì)電信套餐預(yù)測(cè)中的種類不平衡及多樣性問題，提高電信套餐的預(yù)測(cè)精度，將電信套餐預(yù)測(cè)步驟分為數(shù)據(jù)預(yù)處理階段和預(yù)測(cè)階段。

2.2.1 數(shù)據(jù)預(yù)處理階段

步驟1對(duì)于少數(shù)類中每一個(gè)套餐樣本T，以歐氏距離為標(biāo)準(zhǔn)計(jì)算它到少數(shù)類套餐樣本中所有樣本的距離，得到其u近鄰。

(4)

2.2.2 預(yù)測(cè)階段

針對(duì)套餐類別種類多樣性問題，預(yù)測(cè)算法階段將采用改進(jìn)堆疊泛化算法。為了提高整體的預(yù)測(cè)精度，將在改進(jìn)堆疊泛化算法的基分類器和元分類器中，使用集成技術(shù)。集成技術(shù)通常由一組獨(dú)立訓(xùn)練的同構(gòu)分類器組成，在種類繁多及不平衡問題中，它能夠組合各個(gè)弱分類器的分類結(jié)果提高元分類器的預(yù)測(cè)精度[19]。采用隨機(jī)森林(random forest，RF)算法[20]，極端梯度提升樹(extreme gradient boosting，XGboost)算法[21]，梯度提升樹(gradient boosting decision tree，GBDT)算法[22]，作為改進(jìn)堆疊泛化算法中的基分類器，由XGboost算法作為元分類器輸出最后預(yù)測(cè)類別，以提高電信套餐的預(yù)測(cè)效果。

3 實(shí)驗(yàn)結(jié)果及分析

針對(duì)西安市某公司2016年7月至10月4個(gè)月的電信客戶的真實(shí)消費(fèi)和繳費(fèi)情況，選用201505天翼e家4G融合系列的6種套餐，套餐包含2 419條數(shù)據(jù)集，包括寬帶時(shí)長(zhǎng)、寬帶網(wǎng)齡、寬帶流量、近3個(gè)月寬帶流量、累計(jì)欠費(fèi)、欠費(fèi)月份、欠費(fèi)賬齡、移動(dòng)設(shè)備總流量、移動(dòng)設(shè)備總語(yǔ)音、套餐名稱、客戶群、寬帶接入層方式、4個(gè)移動(dòng)設(shè)備的激活狀態(tài)、4個(gè)移動(dòng)設(shè)備的流量、4個(gè)移動(dòng)設(shè)備的語(yǔ)音等24個(gè)屬性。在改進(jìn)堆疊泛化算法1層訓(xùn)練集中融合了寬帶時(shí)長(zhǎng)、寬帶網(wǎng)齡、寬帶流量等15個(gè)屬性信息。在Windows7 IntelCore i3 2.40 GHZ的硬件環(huán)境下采用Python3.5平臺(tái)實(shí)現(xiàn)改進(jìn)堆疊泛化算法。詳細(xì)套餐計(jì)數(shù)如表3所示。

表3 201505天翼e家4G融合系列套餐的計(jì)數(shù)

對(duì)表3中的6種電信套餐進(jìn)行預(yù)測(cè)，需將套餐進(jìn)行兩層分類，第一層預(yù)測(cè)用戶的169元檔和209元檔兩種高低價(jià)值選擇，第二層在高價(jià)值或低價(jià)值套餐內(nèi)進(jìn)行套餐B類、H類、非光纖類3種套餐預(yù)測(cè)。

3.1 第一層預(yù)測(cè)指標(biāo)對(duì)比分析

為了評(píng)估提出的改進(jìn)堆疊泛化算法，使用正確率A、平均查全率R、平均查準(zhǔn)率P、調(diào)和平均數(shù)F等4個(gè)指標(biāo)[23]對(duì)預(yù)測(cè)效果進(jìn)行評(píng)價(jià)。

第一層169元檔和209元檔二分類預(yù)測(cè)中，為了驗(yàn)證數(shù)據(jù)預(yù)處理階段采用SMOTE算法后對(duì)堆疊泛化算法預(yù)測(cè)指標(biāo)的影響，由實(shí)驗(yàn)所得堆疊泛化算法和采用SMOTE算法后的RF算法(SMOTE-RF)、采用SMOTE算法后的XGboost算法(SMOTE-XGboost)和采用SMOTE算法后的GBDT算法(SMOTE-GBDT)的效果比較，如表4所示。

表4 第一層二分類堆疊泛化算法與SMOTE算法后基分類器算法效果比較

從表4中可以看出，對(duì)于不平衡數(shù)據(jù)集采用堆疊泛化算法，預(yù)測(cè)后的A為0.880，但R和F分別為0.580、0.605，說明套餐預(yù)測(cè)時(shí)更加偏重于套餐數(shù)較多的169元檔，忽略了套餐數(shù)較少的209元檔。采用SMOTE算法使169元檔和209元檔這兩種套餐達(dá)到平衡時(shí)，SMOTE-RF算法、SMOTE-XGboost算法、SMOTE-GBDT算法3種基分類器的4個(gè)評(píng)價(jià)指標(biāo)都得到提升，說明第一層數(shù)據(jù)預(yù)處理階段采用SMOTE算法后各個(gè)基分類器能明顯提高傳統(tǒng)的堆疊泛化算法預(yù)測(cè)效果。尤其是SMOTE-XGboost算法中，指標(biāo)A達(dá)到0.931，比傳統(tǒng)堆疊泛化算法的A提升5.1%，說明基分類器中SMOTE-XGboost算法在2種電信套餐預(yù)測(cè)問題中效果最好。

第一層169元檔和209元檔二分類預(yù)測(cè)中，為了驗(yàn)證數(shù)據(jù)預(yù)測(cè)階段采用改進(jìn)后的堆疊泛化算法對(duì)堆疊泛化算法預(yù)測(cè)指標(biāo)的影響，由實(shí)驗(yàn)所得堆疊泛化算法與采用SMOTE算法后的堆疊泛化算法(SMOTE -stacking)、基于后驗(yàn)概率且融合重要特征的堆疊泛化算法(P-stacking)、改進(jìn)后的堆疊泛化算法(I-stacking)的效果比較，如表5所示。

表5 第一層二分類堆疊泛化算法與改進(jìn)堆疊泛化算法效果比較

從表5中可以看出，SMOTE-stacking算法的4個(gè)評(píng)價(jià)指標(biāo)，都高于堆疊泛化算法的4個(gè)評(píng)價(jià)指標(biāo)，說明采用SMOTE算法能明顯提升不平衡數(shù)據(jù)集的預(yù)測(cè)效果。P-stacking算法的預(yù)測(cè)效果要優(yōu)于SMOTE-stacking算法，但是對(duì)套餐預(yù)測(cè)效果提升并不明顯。改進(jìn)I-stacking算法中，指標(biāo)A達(dá)到0.954，比堆疊泛化算法A提升7.4%，說明采用改進(jìn)的I-stacking算法，套餐效果相比堆疊泛化算法有明顯提升。

3.2 第二層預(yù)測(cè)指標(biāo)對(duì)比分析

第二層客戶169元檔套餐內(nèi)B類、H類、非光纖類3類套餐預(yù)測(cè)中，為了驗(yàn)證數(shù)據(jù)預(yù)處理階段采用SMOTE算法后對(duì)堆疊泛化算法預(yù)測(cè)指標(biāo)的影響，由實(shí)驗(yàn)所得堆疊泛化算法和SMOTE-RF算法、SMOTE-XGboost算法和SMOTE-GBDT算法的效果比較，如表6所示。

表6 第二層三分類堆疊泛化算法與SMOTE算法后基分類器算法效果比較

從表6中可以看出，對(duì)于不平衡數(shù)據(jù)集采用堆疊泛化算法后，R為0.539，P為0.540，F(xiàn)為0.595，這3個(gè)評(píng)價(jià)指標(biāo)很低，說明對(duì)于第二層的3類套餐，堆疊泛化算法整體識(shí)別效果和區(qū)分效果較差。采用SMOTE算法使B類、H類、非光纖類3類套餐達(dá)到平衡時(shí)，SMOTE-RF算法、SMOTE-XGboost算法、SMOTE-GBDT算法3種基分類器的4個(gè)評(píng)價(jià)指標(biāo)都得到提升，說明采用SMOTE算法能提升不平衡數(shù)據(jù)集的預(yù)測(cè)效果。SMOTE-XGboost算法中A達(dá)到0.825，比堆疊泛化算法的A提升9.4%，說明基分類器中SMOTE-XGboost算法在3種電信套餐預(yù)測(cè)問題中效果最好。

第二層客戶169元檔套餐內(nèi)B類、H類、非光纖類3類套餐預(yù)測(cè)中，為了驗(yàn)證數(shù)據(jù)預(yù)測(cè)階段采用改進(jìn)堆疊泛化算法對(duì)堆疊泛化算法預(yù)測(cè)指標(biāo)的影響，由實(shí)驗(yàn)所得堆疊泛化算法與SMOTE-stacking算法、P-stacking算法、I-stacking算法的效果比較，如表7所示。

表7 第二層三分類堆疊泛化算法與改進(jìn)堆疊泛化算法效果比較

從表7中可以看出，SMOTE -stacking算法的4個(gè)評(píng)價(jià)指標(biāo)都高于堆疊泛化算法的4個(gè)評(píng)價(jià)指標(biāo)，說明采用SMOTE算法能提升第二層不平衡套餐數(shù)據(jù)的預(yù)測(cè)效果。P-stacking算法的預(yù)測(cè)效果要優(yōu)于Smote-stacking算法，提升并不明顯。改進(jìn)的I-stacking算法相對(duì)堆疊泛化算法，A提升11%，說明電信套餐預(yù)測(cè)效果有明顯提升，且4個(gè)評(píng)價(jià)指標(biāo)的效果更加穩(wěn)定。

實(shí)驗(yàn)結(jié)果表明，在電信套餐預(yù)測(cè)中使用改進(jìn)堆疊泛化算法，提高了少數(shù)類套餐預(yù)測(cè)的正確率，與SMOTE -stacking算法、P-stacking算法整體預(yù)測(cè)結(jié)果比較，改進(jìn)堆疊泛化算法具有更優(yōu)的效果，評(píng)價(jià)指標(biāo)的效果更加穩(wěn)定，可根據(jù)客戶的消費(fèi)行為實(shí)現(xiàn)電信套餐的預(yù)測(cè)。

4 結(jié)語(yǔ)

為了提升不平衡電信套餐分析中的整體預(yù)測(cè)效果，首先將套餐進(jìn)行兩層分類，第一層被預(yù)測(cè)為某一類,第二層在第一層分類結(jié)果中的條件下再將套餐細(xì)分,使用SMOTE算法來(lái)提高少數(shù)類套餐樣本來(lái)達(dá)到套餐平衡；然后提出改進(jìn)堆疊泛化算法，對(duì)每一類取所有0層分類器的最大最小后驗(yàn)概率，并融合重要的消費(fèi)信息作為1層訓(xùn)練集，選擇效果最優(yōu)的XGboost算法作為元分類器預(yù)測(cè)最終的套餐種類。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的套餐預(yù)測(cè)模型可實(shí)現(xiàn)多種不平衡套餐的預(yù)測(cè)。