劉 亮 張 晟 顧 驤 顧 強 蔣 強

中國移動通信集團江蘇有限公司

0 引言

當前，電信運營商市場競爭日漸加劇，在“提速降費”等行業(yè)宏觀趨勢的影響下，電信行業(yè)面臨著較大成本壓力，傳統(tǒng)“廣撒網(wǎng)，以量取勝”的營銷方式無法對目標客戶進行細分挖掘，活動信息并未觸達高意向的客戶。通用做法是利用智能算法進行建模，預(yù)測各類業(yè)務(wù)目標客戶，而組建專業(yè)數(shù)據(jù)挖掘團隊進行人工機器學(xué)習建模的方式耗時長，無法適應(yīng)變化迅速、需求激增的市場形勢。

隨著人工智能和大數(shù)據(jù)技術(shù)的廣泛使用，生產(chǎn)一線亟需數(shù)智手段來提升效率，而較高的技術(shù)門檻是阻礙這一進程的首要原因。解決這一矛盾的一種有效方案就是提供“低門檻、高效率”的數(shù)據(jù)智能工具。本文提出了構(gòu)建智能挖掘分析平臺的設(shè)計方案，并論述了落地實現(xiàn)效果。針對數(shù)據(jù)智能應(yīng)用如何滿足深層次的數(shù)據(jù)價值挖掘，智能挖掘分析平臺給出了一個較為成功的實踐案例，解決了長期以來數(shù)據(jù)智能工具因僅限少數(shù)專業(yè)人員掌握所帶來的效率問題。

1 研究背景

長期以來，電信行業(yè)利用各種數(shù)據(jù)挖掘工具對海量數(shù)據(jù)進行分析和挖掘利用。隨著市場需求激增，成本和效率的問題逐漸凸顯出來，其核心原因在于現(xiàn)有的數(shù)據(jù)挖掘建模方式存在以下顯著的痛點和問題：

（1）市場形勢靈活多變，人工挖掘潛在客戶耗時耗力。市場環(huán)境要求開展營銷活動需靈活多變、快速響應(yīng)，而構(gòu)建一個完整的挖掘模型通常需要經(jīng)過取數(shù)、數(shù)據(jù)清洗、字段數(shù)據(jù)分析、構(gòu)建模型、效果評估，整個流程時間長且工作量大。

（2）數(shù)據(jù)挖掘AI工具與業(yè)務(wù)平臺分離，需大量線下人工介入，操作繁瑣。人工挖掘建模需要數(shù)據(jù)運維團隊協(xié)助提供數(shù)據(jù)寬表、衍生指標、業(yè)務(wù)標簽等數(shù)據(jù)準備工作。

（3）AI技術(shù)種類廣、發(fā)展快，潛客挖掘?qū)I(yè)性要求較高。各類業(yè)務(wù)潛在客戶挖掘模型的構(gòu)建需要熟練掌握AI專業(yè)技術(shù)，非專業(yè)技術(shù)人員不能勝任。

如何構(gòu)建一個平民化的挖掘分析工具，為不具備專業(yè)挖掘技術(shù)的一線業(yè)務(wù)人員提供“一站式、低門檻”的挖掘建模體驗，具有極大的研究價值和實戰(zhàn)意義。

2 電信行業(yè)智能挖掘分析平臺建設(shè)

2.1 平臺設(shè)計思路

智能挖掘分析平臺基于智能數(shù)據(jù)編排技術(shù)（Smart-DI，Data Integration）和智能自動建模技術(shù)（Smart-AutoML，Auto Machine Learning）構(gòu)建。平臺在“工程-流程-組件”三級框架下，將數(shù)據(jù)處理流程、模型訓(xùn)練流程和推理應(yīng)用流程串聯(lián)起來。前端對操作者屏蔽掉所有專業(yè)的處理細節(jié)，真正做到零代碼、低門檻；后臺則通過智能數(shù)據(jù)編排技術(shù)實現(xiàn)對數(shù)據(jù)的靈活加工處理，基于TPOT機器自學(xué)習框架開發(fā)完整的模型訓(xùn)練和應(yīng)用流程，封裝各類專業(yè)化處理的算法和算子，在流程的驅(qū)動下自動完成挖掘建模的全過程。

2.2 平臺技術(shù)架構(gòu)

平臺總體的建設(shè)架構(gòu)如圖1所示，通過數(shù)據(jù)底座接入多源數(shù)據(jù)，對數(shù)據(jù)進行各種預(yù)處理，通過Smart-DI使數(shù)據(jù)形成個人、家庭、集團等主題的數(shù)據(jù)視圖，再利用Smart-AutoML流程實現(xiàn)挖掘模型的選擇、訓(xùn)練、調(diào)優(yōu)和生成。通過對模型的監(jiān)控、管理，最終為用戶提供一個具有豐富數(shù)據(jù)挖掘模型的模型超市和“零門檻”的智能挖掘建模分析平臺。

圖1 電信行業(yè)智能挖掘分析平臺技術(shù)架構(gòu)圖

2.2.1 數(shù)據(jù)底座

構(gòu)建基于Spark分布式架構(gòu)的高性能數(shù)據(jù)處理底座，封裝高性能數(shù)據(jù)預(yù)處理、算法等實現(xiàn)對海量數(shù)據(jù)的高效處理，為

大數(shù)據(jù)下的場景化挖掘提供高效、快速的處理能力。整個數(shù)據(jù)預(yù)處理流程如圖2所示。

圖2 數(shù)據(jù)底座數(shù)據(jù)預(yù)處理流程

2.2.2 Smart-DI

在傳統(tǒng)數(shù)據(jù)挖掘過程中，單數(shù)據(jù)準備環(huán)節(jié)往往需要占用70%以上的時間。Smart-DI（智能數(shù)據(jù)編排，Data Integration）技術(shù)將數(shù)據(jù)加工場景抽象成業(yè)務(wù)對象/視角、業(yè)務(wù)過程、業(yè)務(wù)限定、統(tǒng)計周期四類元素，在系統(tǒng)中定義成相應(yīng)的對象，在使用中對數(shù)據(jù)對象進行聚合、拼裝，不僅提升了數(shù)據(jù)準備的效率，還保障了統(tǒng)計指標標準、無二義地生成，實現(xiàn)挖掘數(shù)據(jù)的“智能聚合、靈活編排、沉淀復(fù)用”。

Smart-DI元素描述如下：

（1）原子指標：明確統(tǒng)計口徑，即計算邏輯；

（2）業(yè)務(wù)限定：統(tǒng)計的業(yè)務(wù)范圍，篩選出符合業(yè)務(wù)規(guī)則的記錄；業(yè)務(wù)限定即在業(yè)務(wù)過程表及其關(guān)聯(lián)的對象/視角表上定義生成的限制或過濾條件；

（3）統(tǒng)計周期：統(tǒng)計的時間范圍，比如最近一天，最近30天等；

（4）統(tǒng)計粒度：統(tǒng)計分析的對象或視角，定義數(shù)據(jù)需要匯總的程度，可理解為聚合運算時的分組條件（即SQL中的group by）。

其邏輯關(guān)系如圖3所示。

圖3 業(yè)務(wù)元素拆解示意圖

數(shù)據(jù)融合編排的實現(xiàn)邏輯如圖4所示。

圖4 數(shù)據(jù)編排實現(xiàn)原理

數(shù)據(jù)編排的實現(xiàn)從數(shù)據(jù)的關(guān)聯(lián)性（如數(shù)據(jù)都來自同一業(yè)務(wù)系統(tǒng)）、數(shù)據(jù)接入時間一致性（如數(shù)據(jù)的生成時間都差不多）等方面進行充分的考慮，得出最優(yōu)的寬表設(shè)計方案。例如，將相同統(tǒng)計粒度（比如都是基于用戶的）、相同來源（比如都是來源于訂單的）的指標歸到同一個基礎(chǔ)匯總寬表里面，將腳本合并執(zhí)行，從而提高效率。

2.2.3 Smart-AutoML

Smart-AutoML（智能自動建模技術(shù)）主要包括自動建模訓(xùn)練、模型應(yīng)用、自動參數(shù)調(diào)參優(yōu)化、模型監(jiān)控等過程。前端由用戶配置訓(xùn)練所需的數(shù)據(jù)源寬表，用于訓(xùn)練和應(yīng)用的數(shù)據(jù)寬表通過智能數(shù)據(jù)編排完成。系統(tǒng)提供給用戶靈活選擇數(shù)據(jù)賬期的界面，可以指定用于訓(xùn)練的賬期數(shù)據(jù)和用于推理的賬期數(shù)據(jù)。此外，用戶還參與指定模型評估的優(yōu)先錄用原則，即，優(yōu)先考慮查準率或查全率。這是因為我們在后臺封裝的模型訓(xùn)練中采用了多算法并行訓(xùn)練的機制，即，同時采用同類型算法進行并行建模訓(xùn)練，并對模型進行自動評估，按照用戶基于業(yè)務(wù)場景需要定義的優(yōu)先評估指標，輸出最優(yōu)的模型方案。

自動建模實現(xiàn)專業(yè)的挖掘模型構(gòu)建，主要在于后臺封裝的開放式算法庫、無需客戶干預(yù)的特征預(yù)處理、模型參數(shù)調(diào)優(yōu)等機制，下面重點闡述自動化的參數(shù)調(diào)優(yōu)。

參數(shù)調(diào)優(yōu)是模型訓(xùn)練的一個重要過程，也是專業(yè)化程度很高的技術(shù)手段。智能挖掘分析平臺需要將此過程做到人工建模一樣靈活、完備，又避免人工干預(yù)，完全自動化。

構(gòu)建自動化參數(shù)調(diào)優(yōu)的思路是，基于遺傳算法的超參數(shù)自動調(diào)優(yōu)算法，結(jié)合分片式計算引擎進行貝葉斯自動調(diào)參。使用遺傳算法作為貝葉斯調(diào)參算法采集函數(shù)，避免先驗函數(shù)陷入局部最優(yōu)，實現(xiàn)每次任務(wù)執(zhí)行時都能逼近全局最優(yōu)，提高調(diào)參效率。具體實現(xiàn)方法描述如下：

（1）基于遺傳算法的超參數(shù)自動調(diào)優(yōu)算法

①建立目標函數(shù){y = Trans_Func（x1，x2…xn）}和隨機初始化的x值集合D={x1，x2，x3...xn}；

②用先驗函數(shù)的初始化值計算出若干參數(shù)E={（x1，y1），（x2，y2）…（xn，yn）}，然后利用這些參數(shù)作用在概率模型上，進行計算，得出每個值在概率模型上的后驗概率p（y|x）。本文設(shè)置遺傳算法為采集函數(shù)，相對于傳統(tǒng)方法最大程度地避免了局部最優(yōu)解的情況，然后再將每個得出的概率模型應(yīng)用到設(shè)置的采集函數(shù)上，找出表現(xiàn)最佳的超參數(shù)XEI值；

③將找到的最佳超參數(shù)應(yīng)用于真正的目標函數(shù)

YEI=Trans_Func（XEI）；

④更新包含新結(jié)果的代理模型Surrogate_Model（EI）；

⑤將（XEI，YEI）加入到集合E中，并且更新概率模型；

⑥重復(fù)上述步驟②-⑤，直到算法運行達到最大迭代次數(shù)或時間。

（2）基于遺傳算法的超參數(shù)自動調(diào)優(yōu)算法

利用貝葉斯優(yōu)化實現(xiàn)的超參數(shù)自動調(diào)優(yōu)，通常需要大量的超參數(shù)組合代理模型，而且本文采用的遺傳算法在搜索超參數(shù)的過程中需要遍歷大量的樣本數(shù)據(jù)，如果采用單個模型串行計算的方法評估超參數(shù)組合的優(yōu)劣，將會影響探索超參數(shù)最佳組合的效率。

為了提升貝葉斯優(yōu)化探索超參數(shù)組合的效率，減少時間成本，構(gòu)建了一套分片式計算引擎，通過這套引擎結(jié)合場景化AI能力管理，根據(jù)任務(wù)的大小和場景給任務(wù)動態(tài)分配資源，相比于傳統(tǒng)利用固定大小的資源進行任務(wù)分片，可以有效提升貝葉斯自動調(diào)參算法的探索效率，具體實現(xiàn)步驟如下：

①AI模型訓(xùn)練任務(wù)在Master（Web前端）提交后，分片式計算引擎會給該任務(wù)創(chuàng)建一個Driver服務(wù)和一個或多個Calculate Node服務(wù)。

②Driver通過調(diào)度算法，先將每個任務(wù)放入Caculate Node服務(wù)上，隨機設(shè)置每個任務(wù)的運行狀態(tài)（0或1），對每個貝葉斯調(diào)參的任務(wù)大小和運行狀態(tài)計算要提供的資源和空間或是否提供資源和空間，若運行狀態(tài)為0，則資源大小默認為0，留在以后某個時間段重新激活；若為1，則根據(jù)任務(wù)大小分配資源空間。根據(jù)這些標準為每個任務(wù)進行相應(yīng)的分片，并協(xié)同各Calculate Node執(zhí)行任務(wù)分片。

③Calculate Node服務(wù)接收來自Driver分發(fā)的任務(wù)分片并執(zhí)行，返回各分片任務(wù)結(jié)果模型，如果要激活運行狀態(tài)為0的任務(wù)，則激活這些任務(wù)，先提交給Master已經(jīng)運行好的結(jié)果模型，然后利用Drive釋放分配的資源，根據(jù)激活的任務(wù)重新分配，重復(fù)②-③，反之直接進入下一步。

④收集Calculate Node上傳的任務(wù)分片結(jié)果模型，對結(jié)果進行比對評估并返回最優(yōu)模型。

3 主要創(chuàng)新點

智能挖掘分析平臺的設(shè)計體現(xiàn)了以下創(chuàng)新：

（1）業(yè)務(wù)創(chuàng)新點：將挖掘建模前的數(shù)據(jù)準備加工過程無縫融合到建模流程中，通過業(yè)務(wù)流程的創(chuàng)新打破傳統(tǒng)建模模式數(shù)據(jù)與建模流程的割裂，極大地提升了效率。

（2）技術(shù)創(chuàng)新點：以自研的“工程-流程-組件”框架為基礎(chǔ)，前端以業(yè)務(wù)的視角構(gòu)建無技術(shù)門檻的交互感知，后臺將特征優(yōu)選、數(shù)據(jù)預(yù)處理、超參調(diào)優(yōu)等專業(yè)操作封裝成組件，固化到系統(tǒng)的建模流程中被調(diào)用，實現(xiàn)了低門檻和專業(yè)化兼具的使用特性。

4 平臺應(yīng)用效果

平臺已在中國移動全網(wǎng)推廣使用，不具備專業(yè)技術(shù)的業(yè)務(wù)人員能夠基于平臺輕松獲取、組裝數(shù)據(jù)，并開展數(shù)據(jù)挖掘。平臺在5G套餐、家寬拓展、權(quán)益會員等多個領(lǐng)域開展基于挖掘模型的營銷，經(jīng)AB組對照效果驗證，基于平臺的營銷接觸轉(zhuǎn)化率較人工方式提高2-5倍。除營銷領(lǐng)域外，平臺在反電信網(wǎng)絡(luò)詐騙、用戶滿意度預(yù)測等方面也廣泛應(yīng)用，基于平臺挖掘并關(guān)停潛在涉詐用戶，其復(fù)通率僅為29%，較對照組的復(fù)通率51%提升效果顯著，有效提升社會感知。

通過對比傳統(tǒng)方式和智能挖掘平臺的工作投入時間，智能挖掘平臺顯著提升了挖掘營銷效率，大大降低了人力投入和人工成本。

5 結(jié)束語

智能挖掘分析平臺將前端以業(yè)務(wù)視角進行平民化設(shè)計與后臺專業(yè)化封裝相結(jié)合，破解了數(shù)據(jù)智能工具需要普及使用和技術(shù)門檻高這一對矛盾體，在電信行業(yè)得到了實踐檢驗，促成了數(shù)據(jù)智能工具在業(yè)務(wù)一線普及使用，在數(shù)據(jù)價值發(fā)掘的最后一公里，以便捷、高效的方式完成了對業(yè)務(wù)的賦能。同時，智能挖掘分析平臺開放式組件架構(gòu)為平臺后續(xù)不斷拓展其專業(yè)能力創(chuàng)造了條件，更優(yōu)的模型、更好的算法、更強大的參數(shù)調(diào)優(yōu)和特征工程深化處理等能力都將是平臺不斷演進的方向。