許乃利

中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽省分公司 合肥 230061

基于大數(shù)據(jù)技術(shù)的電信客戶流失預(yù)測模型研究及應(yīng)用

許乃利

中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽省分公司 合肥 230061

為減少用戶流失，提高用戶保有率，文章介紹一種基于智慧運營平臺，將大數(shù)據(jù)技術(shù)和數(shù)據(jù)挖掘技術(shù)相結(jié)合，對電信客戶流失進(jìn)行預(yù)測的模型。該模型利用大數(shù)據(jù)技術(shù)處理用戶離網(wǎng)前的海量數(shù)據(jù)信息，分析流失用戶特征，建立用戶流失預(yù)測，提前鎖定流失風(fēng)險較高的用戶，有針對性地制定維挽策略，精準(zhǔn)開展維系挽留活動，能夠有效降低用戶離網(wǎng)率。

大數(shù)據(jù)；流失預(yù)測；數(shù)據(jù)挖掘；客戶流失；維系挽留

引言

隨著移動通信成本逐步下降，移動用戶滲透率超過100%，新增市場趨于飽和，面對新增市場的激烈競爭，存量用戶的保有顯得越來越重要。一項調(diào)查數(shù)據(jù)表明，爭取1位新客戶的成本是保住1位老客戶的5倍。面對新的競爭形勢，運營商需要從傳統(tǒng)只重視增量發(fā)展模式向“增存并重”發(fā)展模式轉(zhuǎn)變。如何最大限度地降低客戶的流失并挽留客戶，成為決策者關(guān)注的話題。

客戶流失給運營商帶來了巨大損失，成功挽留一個即將流失的客戶比重新發(fā)展一個客戶節(jié)約大量成本。減少客戶流失的關(guān)鍵是提前預(yù)測潛在的流失客戶，采取相關(guān)措施提高客戶的滿意度，實現(xiàn)該預(yù)測的關(guān)鍵是數(shù)據(jù)挖掘[1]和大數(shù)據(jù)技術(shù)?；诖髷?shù)據(jù)技術(shù)的數(shù)據(jù)挖掘就是從海量的客戶資料、使用行為、消費行為、上網(wǎng)軌跡等信息中提取有用的信息進(jìn)行組合關(guān)聯(lián)，準(zhǔn)確判斷客戶流失的現(xiàn)狀或傾向，可以讓企業(yè)及時并有針對性的對客戶進(jìn)行挽留[2]；因此，利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)挖掘，預(yù)測客戶流失、減少客戶流失的發(fā)生成為電信行業(yè)研究的重點。

1 國內(nèi)外研究現(xiàn)狀

在數(shù)據(jù)挖掘方面，國外有很多案例和做法值得學(xué)習(xí)，比如：文獻(xiàn)[3]中運用決策樹、Logistic回歸、人工神經(jīng)網(wǎng)絡(luò)等算法建立了移動用戶流失預(yù)測模型。Lightbridge[4]公司運用CART算法分析了新英格蘭的一家移動服務(wù)商的數(shù)據(jù)并建立了客戶流失模型。AT&T公司很早就開始在大數(shù)據(jù)上的探索[5]，2009年開始與Teradata公司合作引進(jìn)天睿公司的大數(shù)據(jù)解決方案。

在過去的幾十年中，中國企業(yè)都扮演著技術(shù)跟隨者的角色，現(xiàn)階段我國互聯(lián)網(wǎng)企業(yè)在數(shù)據(jù)挖掘、大數(shù)據(jù)處理以及人工智能、云計算等領(lǐng)域都有了巨大的發(fā)展。比如文獻(xiàn)[6]中使用K-means聚類算法對電信客戶進(jìn)行細(xì)分，在此基礎(chǔ)上探索了客戶細(xì)分在營銷中的實際應(yīng)用。文獻(xiàn)[7]中利用神經(jīng)網(wǎng)絡(luò)算法建立用戶流失預(yù)測模型，分析用戶流失特征。文獻(xiàn)[8]中利用Spark平臺實現(xiàn)了多種神經(jīng)網(wǎng)絡(luò)算法，對用戶流失問題提出了快速精確的模型。

國內(nèi)的電信企業(yè)雖然都建立了客戶流失預(yù)測、客戶分群等模型，但大多都是基于數(shù)據(jù)挖掘軟件如SPSS、SAS等應(yīng)用，使用的數(shù)據(jù)量有限，不能全面分析用戶流失行為。

2 大數(shù)據(jù)平臺及技術(shù)

安徽聯(lián)通構(gòu)建基于B域、O域和M域數(shù)據(jù)融合的大數(shù)據(jù)平臺——智慧運營平臺，實現(xiàn)數(shù)字化轉(zhuǎn)型及全業(yè)務(wù)流程的智慧運營。智慧運營平臺通過企業(yè)級大數(shù)據(jù)平臺實現(xiàn)企業(yè)全量數(shù)據(jù)的接入及治理，當(dāng)前包括Hadoop、Universe、實時流處理三大資源池，共計140多個節(jié)點，存儲容量3PB、2200核CPU、8T內(nèi)存計算資源，實現(xiàn)資源動態(tài)管理；流處理平臺具備百萬級別消息并發(fā)處理能力，支持1分鐘級別提供用戶位置能力(見圖1)。

圖1 智慧運營平臺架構(gòu)圖

智慧運營平臺接入BSS、CBSS、OSS、SEQ、上網(wǎng)等全網(wǎng)多種數(shù)據(jù)源，利用BDI(Big Data Integration，數(shù)據(jù)集成套件)和Flume進(jìn)行離線數(shù)據(jù)及日志數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等數(shù)據(jù)采集功能，實現(xiàn)高性能海量數(shù)據(jù)處理和存儲。利用Hadoop、Universe、實時流處理三大資源池，有效支撐上層各種應(yīng)用的開發(fā)和運行。利用基于大數(shù)據(jù)分析平臺構(gòu)建的新一代智能數(shù)據(jù)挖掘系統(tǒng)SmartMiner進(jìn)行自動化數(shù)據(jù)挖掘，實現(xiàn)各種算法模型的訓(xùn)練和預(yù)測。借助智慧運營平臺強大的大數(shù)據(jù)分析和處理能力，結(jié)合現(xiàn)網(wǎng)客戶運營的經(jīng)驗，建立有效的用戶流失預(yù)測模型，實現(xiàn)用戶的流失預(yù)警、維系策略匹配、客戶反饋優(yōu)化等一整套流程，能夠有效降低用戶流失。

3 離網(wǎng)預(yù)測模型構(gòu)建

3.1 離網(wǎng)預(yù)測原理

離網(wǎng)預(yù)測模型[9]主要是根據(jù)歷史數(shù)據(jù)特征，通過數(shù)據(jù)挖掘算法，建立預(yù)測模型，并將模型應(yīng)用于現(xiàn)網(wǎng)用戶，預(yù)測出離網(wǎng)概率高的用戶。其主要包括數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和驗證、離網(wǎng)預(yù)測三大部分[10]。如圖2所示，數(shù)據(jù)準(zhǔn)備階段，根據(jù)出賬和充值規(guī)律定義離網(wǎng)規(guī)則，通過對電信業(yè)務(wù)和用戶行為的理解，從運營商各域數(shù)據(jù)里提取數(shù)據(jù)，并篩選離網(wǎng)預(yù)測特征字段，構(gòu)建離網(wǎng)預(yù)測特征庫。模型訓(xùn)練和驗證階段，選取數(shù)據(jù)挖掘算法，進(jìn)行模型訓(xùn)練、評估和調(diào)優(yōu)，訓(xùn)練出最佳模型。離網(wǎng)預(yù)測階段，將訓(xùn)練的最佳模型應(yīng)用于現(xiàn)網(wǎng)數(shù)據(jù)，實現(xiàn)準(zhǔn)確的流失預(yù)測。進(jìn)一步通過有效的維系手段，對預(yù)測流失用戶進(jìn)行精準(zhǔn)維系，減少用戶離網(wǎng)，提升在網(wǎng)用戶價值。

圖2 離網(wǎng)預(yù)測模型構(gòu)建示意圖

3.2 隨機森林算法

傳統(tǒng)數(shù)據(jù)挖掘中進(jìn)行流失預(yù)測多采用決策樹算法[11]，它的特點有訓(xùn)練時間復(fù)雜度低、預(yù)測的過程比較快、模型容易展示等。但是單決策樹容易過擬合，雖然可以通過剪枝等方法減少這種情況的發(fā)生，但仍有不足。2001年Leo Breiman在決策樹的基礎(chǔ)上提出了隨機森林算法[12]。

隨機森林是由多個決策樹構(gòu)成的森林，算法分類結(jié)果由這些決策樹投票得到，決策樹在生成過程中分別在行方向和列方向上添加隨機過程，行方向上構(gòu)建決策樹時采用有放回抽樣(bootstrapping)得到訓(xùn)練數(shù)據(jù)，列方向上采用無放回隨機抽樣得到特征子集，并據(jù)此得到其最優(yōu)切分點。從圖3中可以看到，通過K次訓(xùn)練，得到K棵不同的決策樹｛T1，T2，…，TK｝，再將這些樹組合成一個分類模型系統(tǒng)，隨機森林是一個組合模型，內(nèi)部仍然是基于決策樹，同單一的決策樹分類不同的是，隨機森林通過多個決策樹投票結(jié)果進(jìn)行分類，算法不容易出現(xiàn)過度擬合問題。

圖3 隨機森林算法示意圖

3.3 數(shù)據(jù)準(zhǔn)備

3.3.1 離網(wǎng)定義及數(shù)據(jù)需求

為了進(jìn)一步提前鎖定離網(wǎng)傾向用戶，經(jīng)過歷史數(shù)據(jù)的比對，結(jié)合用戶使用行為的分析，決定將過繳費期10天未繳費的用戶定義為流失用戶。根據(jù)傳統(tǒng)數(shù)據(jù)挖掘?qū)崿F(xiàn)的離網(wǎng)預(yù)測案例的經(jīng)驗，考慮到大數(shù)據(jù)系統(tǒng)的處理能力，通過對連續(xù)3個月內(nèi)離網(wǎng)的用戶進(jìn)行離網(wǎng)打標(biāo)，增加離網(wǎng)用戶的樣本量，提高離網(wǎng)預(yù)測的準(zhǔn)確率；通過對目標(biāo)用戶中隔月后離網(wǎng)的用戶進(jìn)行打標(biāo)，預(yù)留1個月的預(yù)測結(jié)果干預(yù)期，進(jìn)行維系挽留。如圖4所示，采用連續(xù)7個月的歷史數(shù)據(jù)，對第N-6月的數(shù)據(jù)進(jìn)行隔月后的連續(xù)3個月(N-4月、N-3月、N-2月)離網(wǎng)用戶打標(biāo)，取N-6月、N-5月、N-4月連續(xù)3個月的正負(fù)樣本并集，解決了傳統(tǒng)打標(biāo)負(fù)樣本量不足和維系干預(yù)期太短等問題。

圖4 正負(fù)樣本打標(biāo)示意圖

3.3.2 數(shù)據(jù)特征提取

根據(jù)業(yè)務(wù)經(jīng)驗，選取與用戶流失可能存在相關(guān)性的所有屬性，進(jìn)行數(shù)據(jù)審查，篩選存在相關(guān)性較大的特征屬性。本次建模數(shù)據(jù)特征主要采用B域用戶通信及消費行為等基本屬性、衍生屬性(匯總、比例、趨勢和波動)、挖掘?qū)傩缘?，增加O域樣本數(shù)據(jù)，如上網(wǎng)行為、終端屬性指標(biāo)(換機、應(yīng)用偏好、掉話率、上網(wǎng)協(xié)議響應(yīng)成功率等)。如表1所示，數(shù)據(jù)維度包括基礎(chǔ)信息維度、通信行為信息、賬務(wù)信息、消費行為變化維度、交往圈信息、呼叫異網(wǎng)維度、投訴維度、通信行為維度及上網(wǎng)軌跡、掉話率等。根據(jù)這些維度數(shù)據(jù)合并匯總成數(shù)據(jù)挖掘特征寬表，用于模型訓(xùn)練和驗證。

表1 特征寬表部分屬性

3.4 建立模型

流失客戶預(yù)測模型的建立，具體包括原始數(shù)據(jù)處理、特征寬表構(gòu)建、模型訓(xùn)練、模型評估和模型調(diào)優(yōu)五個部分。如圖5所示，智慧運營平臺通過連接全網(wǎng)數(shù)據(jù)的接口，獲取建模所需的BSS系統(tǒng)(業(yè)務(wù)支持系統(tǒng))數(shù)據(jù)和OSS系統(tǒng)(運營支持系統(tǒng))數(shù)據(jù)。BSS系統(tǒng)是運營商向用戶開展業(yè)務(wù)的主要IT組成部分，OSS系統(tǒng)是電信服務(wù)提供商用來管理通信網(wǎng)絡(luò)的主要系統(tǒng)。BSS數(shù)據(jù)包括CRM(客戶關(guān)系)、Billing(賬單數(shù)據(jù))、詳單數(shù)據(jù)及投訴數(shù)據(jù)，OSS數(shù)據(jù)包括分組交換數(shù)據(jù)(Package Switch，PS)、測量報告數(shù)據(jù)(Measurement Report，MR)和電路交換數(shù)據(jù)(Circuit Switch，CS)。其中PS數(shù)據(jù)描述了用戶連接網(wǎng)絡(luò)的情況，如上網(wǎng)速度、掉線率和移動搜索文本信息；MR數(shù)據(jù)可以用來給用戶定位，獲取用戶運動軌跡；CS數(shù)據(jù)描述的是用戶的通話質(zhì)量，如掉話率等。

我們將獲取的原始數(shù)據(jù)存儲到Hadoop分布式文件系統(tǒng)中(HDFS)，然后再利用Hive進(jìn)行特征生成和處理工作。HDFS可以處理PB級別的超大文件，Hive可以提供簡單的SQL查詢功能，并能將SQL語句轉(zhuǎn)化為MapReduce任務(wù)分布式運行。

圖5 模型構(gòu)建框架圖

特征寬表生成后，我們利用Spark的高效計算能力，在SmartMiner中選取隨機森林算法進(jìn)行流失預(yù)測模型的訓(xùn)練，經(jīng)過訓(xùn)練結(jié)果的多次驗證和評估，我們將隨機森林設(shè)置為200顆樹，SQR采樣方法，樹的最大深度為15層，葉子最小樣本數(shù)100個，最大分箱數(shù)32，進(jìn)行模型建立。將分類器訓(xùn)練出來的模型應(yīng)用到現(xiàn)網(wǎng)數(shù)據(jù)，可以預(yù)測未來3個月有離網(wǎng)傾向的用戶，按照離網(wǎng)傾向的高低排名，鎖定維系挽留的目標(biāo)客戶。

3.5 模型評估

訓(xùn)練模型的好壞可以通過對歷史流失數(shù)據(jù)的檢驗來驗證，模型評估參數(shù)一般包括準(zhǔn)確率和覆蓋率，準(zhǔn)確率越高、覆蓋率越大，模型效果越好，其中：準(zhǔn)確率=預(yù)測流失準(zhǔn)確的客戶數(shù) / 預(yù)測為流失的客戶數(shù)；覆蓋率=預(yù)測流失準(zhǔn)確的客戶數(shù) / 實際流失的客戶數(shù)。

如圖6所示，我們根據(jù)建模訓(xùn)練數(shù)據(jù)的規(guī)則，可以在第N月預(yù)測第N+2月、N+3月、N+4月的流失用戶，第N+1月為我們的維系窗口期。

我們選取2016年1～6月數(shù)據(jù)進(jìn)行訓(xùn)練，對7～10月數(shù)據(jù)進(jìn)行模型預(yù)測，如圖7所示，經(jīng)過2016年9月至2017年2月數(shù)據(jù)的驗證，可以得到7～10月的預(yù)測數(shù)據(jù)TOP50 000中查準(zhǔn)率基本在80%，查全率40%。

圖6 模型預(yù)測示意圖

圖7 7～10月模型預(yù)測評估情況

4 離網(wǎng)根因分析

通過對離網(wǎng)用戶的特征屬性進(jìn)行聚類分析，離網(wǎng)用戶大致原因可以分為：資費原因、合約感知原因、社會交往影響原因、終端換機原因、地域變更原因、服務(wù)質(zhì)量原因、通信質(zhì)量原因、棄卡原因、新入網(wǎng)質(zhì)量原因及其他原因等。如表2所示，提取2016年11月數(shù)據(jù)預(yù)測2017年1～3月離網(wǎng)概率top400 000用戶，對其離網(wǎng)情況進(jìn)行驗證，其準(zhǔn)確率達(dá)到52%以上。

5 應(yīng)用

5.1 策略匹配

通過對流失用戶的根因分析，結(jié)合現(xiàn)有維系業(yè)務(wù)，將預(yù)測的離網(wǎng)用戶，根據(jù)業(yè)務(wù)特征進(jìn)行分類，匹配相應(yīng)策略指導(dǎo)市分VIP維系客戶經(jīng)理進(jìn)行外呼維系。如表3所示，將離網(wǎng)傾向較高的用戶分為話務(wù)異常、業(yè)務(wù)異常和服務(wù)異常三類，針對話務(wù)異常用戶，重點進(jìn)行優(yōu)惠活動介紹，增加用戶黏性；對于業(yè)務(wù)異常用戶，推薦合約續(xù)約及更換SIM卡；對于服務(wù)異常用戶，進(jìn)行及時安撫并給予一定贈送。

表2 離網(wǎng)特征驗證

表3 維系策略匹配表

5.2 維系效果

針對三星級以上用戶，我們利用在網(wǎng)維系系統(tǒng)進(jìn)行了針對性的維系挽留。從2017年1月開始，我們將大數(shù)據(jù)系統(tǒng)預(yù)測出的離網(wǎng)傾向較高的高價值用戶通過在網(wǎng)維系系統(tǒng)下發(fā)到市分VIP客戶經(jīng)理處，根據(jù)匹配的策略進(jìn)行精準(zhǔn)維系。如圖8所示，2015年9月至12月，高價值用戶準(zhǔn)離網(wǎng)率平均值為2.04%，全網(wǎng)準(zhǔn)離網(wǎng)率為3.6%。模型應(yīng)用后，高價值離網(wǎng)率從2017年2月開始持續(xù)降低，如圖9所示，截至2017年7月下降到1.35%，平均準(zhǔn)離網(wǎng)率為1.49%，相比應(yīng)用前的2.04%下降了0.55%，每月多挽留客戶8230戶，高價值戶均ARPU按90元計算，月均減少損失74萬元，年減少損失888萬元。

圖8 實施前高價值用戶流失情況

圖9 實施后高價值用戶流失情況

6 小結(jié)

本文闡述了利用智慧運營大數(shù)據(jù)平臺，對流失客戶的特征進(jìn)行的分析和研究，利用SmartMiner分析系統(tǒng)選取隨機森林算法，建立客戶流失預(yù)測模型，通過多次的訓(xùn)練和優(yōu)化，逐步提高流失預(yù)測模型的準(zhǔn)確性。通過對離網(wǎng)用戶的根因分析，制定相應(yīng)維系策略，匹配到相應(yīng)的離網(wǎng)傾向用戶，在全網(wǎng)進(jìn)行了系統(tǒng)化的精準(zhǔn)維系，有效提升了用戶保有率。下一步將結(jié)合維系效果，繼續(xù)優(yōu)化模型參數(shù)，完善訓(xùn)練模型，進(jìn)一步提升流失預(yù)測的準(zhǔn)確率和覆蓋率，繼續(xù)研究用戶流失根因，根據(jù)離網(wǎng)根因匹配維系策略，進(jìn)一步降低用戶流失，增強用戶黏性，提升客戶價值。

[1] 王瑾. 基于數(shù)據(jù)挖掘的電信客戶流失預(yù)測研究[D]. 西安:西安電子科技大學(xué), 2012:35-42

[2] 劉志超,王雷,谷壘,等.基于數(shù)據(jù)挖掘技術(shù)的客戶流失預(yù)警模型[J].微計算機信息,2011,(2):176-177

[3] Mozer MC,Wolniewicz R,Grimes DB.et al. Predicting Subscriber Dissatisfaction and Improving Retention in the Wireless Telecommunications Industry[J]. IEEE Transactions on Neural Networks, 2000,11(3):690-6

[4] TADESSE T,WILHITE DA,HARMS SK,et al. Drought Monitoring Using Data Mining Techniques: A Case Study for Nebraska,USA[J].Natural Hazards,2004,33(1):137-59

[5] 全球十大電信如何玩大數(shù)據(jù)[EB/OL].[2017-12-12].http://www.199it.com/archives/210931.html

[6] 朱姍姍.數(shù)據(jù)挖掘在電信行業(yè)客戶細(xì)分的應(yīng)用研究[D].沈陽:遼寧大學(xué),2012

[7] 孫碧穎.基于神經(jīng)網(wǎng)絡(luò)算法構(gòu)建電信用戶流失預(yù)測模型的研究[D].蘭州:蘭州大學(xué),2016:5-10

[8] 鄭杰文.基于Spark平臺的通信網(wǎng)用戶流失預(yù)測研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2017.2-6

[9] 王建仁,李妮,段剛龍.基于信息融合的電信客戶流失預(yù)測研究[J].計算機工程與應(yīng)用,2016,(10):64-70

[10] 楊遠(yuǎn)佳.數(shù)據(jù)挖掘在電信客戶流失預(yù)測中的應(yīng)用[D].長沙:湖南大學(xué),2016:8-16

[11] 張宇,張之明.一種基于C5.0決策樹的客戶流失預(yù)測模型研究[J].統(tǒng)計與信息論壇,2015,(1):89-94

[12] 邱一卉.基于剪枝隨機森林的電信行業(yè)客戶流失預(yù)測[J].廈門大學(xué)學(xué)報(自然科學(xué)版),2014,(6):817-822

許乃利

碩士，工程師，安徽省通信學(xué)會大數(shù)據(jù)分會副秘書長、中國聯(lián)通IT戰(zhàn)略人才骨干人才、中國聯(lián)通牛人實驗室大數(shù)據(jù)技術(shù)與應(yīng)用學(xué)習(xí)小組組長。目前主要從事客戶分析、數(shù)據(jù)挖掘、大數(shù)據(jù)精準(zhǔn)營銷及客戶運營等工作。

編者按本欄目關(guān)注信息通信行業(yè)最新動態(tài)及趨勢的分析評論，刊登通信企業(yè)、行業(yè)專家在管理運營、策略規(guī)劃、業(yè)務(wù)創(chuàng)新等方面的研究成果。

Ovum是一家在世界電信產(chǎn)業(yè)界富有權(quán)威性的獨立/中立咨詢顧問公司；本期選取了Ovum關(guān)于德電數(shù)字化戰(zhàn)略的研究(本文由Ovum提供并翻譯，原文請見http://www.unicomlabs.cn/ICT.jsp)；本期還選取了華為運營商市場部關(guān)于視頻戰(zhàn)略發(fā)展演進(jìn)的解析，供大家參考。

Research and Application of Telecom Customer Churn Prediction Model Based on Big Data Technology

Xu Naili

Anhui Branch of China United Network Communications Co., Ltd., Hefei 230061, China

Finding better ways for customer churns to reduce users' loss and improving customer experiences has become one of the critical competitive abilities for telecom operators. This paper introduces atelecom customer churn prediction model and its applications by using big data mining and artificial intelligence technologies. This model uses the vast amount of call detail records to find the reasons of customer losses and analyzes the characteristics of the lost customers. A customer churn prediction model is established based on these analyses as a tool to help field sales predict possible customer losses. The model is also used to create specific promotions, policies and sales strategies to retain these customers, thus significantly reduces customer losses.

Big Data; Churn Analysis; Data Mining; Customer Churn; Customer Retention