李旭東 蘇莎莎中國(guó)電信股份有限公司徐州分公司

0 引言

當(dāng)前，全球范圍內(nèi)掀起一股大數(shù)據(jù)研究熱潮，各種數(shù)據(jù)密集型行業(yè)都致力于挖掘其中隱藏的價(jià)值，以期提升自身的整體水平和行業(yè)競(jìng)爭(zhēng)力。中國(guó)電信股份有限公司更是提出了戰(zhàn)略轉(zhuǎn)型3.0的戰(zhàn)略，著重推進(jìn)網(wǎng)絡(luò)智能化、業(yè)務(wù)生態(tài)化、運(yùn)營(yíng)智慧化，為用戶(hù)提供綜合智能信息服務(wù)，引領(lǐng)數(shù)字生態(tài)，服務(wù)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)和社會(huì)治理創(chuàng)新。大數(shù)據(jù)研究就是推進(jìn)電信3.0戰(zhàn)略轉(zhuǎn)型的重要方法之一。聚焦電信領(lǐng)域，利用話單數(shù)據(jù)、套餐消費(fèi)數(shù)據(jù)以及基本信息數(shù)據(jù)等內(nèi)部和外部獲得的大數(shù)據(jù)進(jìn)行系統(tǒng)性和戰(zhàn)略性的管理，可以在客流監(jiān)控、精準(zhǔn)營(yíng)銷(xiāo)、智慧運(yùn)維等方面起到十分重要的作用。

在馬拉松、龍舟賽等大型賽事舉辦期間，利用無(wú)線話單對(duì)用戶(hù)進(jìn)行定位追蹤，可以實(shí)現(xiàn)對(duì)賽道周?chē)^眾分布以及車(chē)站、地鐵口、起點(diǎn)終點(diǎn)等重點(diǎn)指定區(qū)域客流量的監(jiān)控，幫助主辦方及時(shí)發(fā)現(xiàn)客流擁塞、人員擁堵等情況，以便及時(shí)做好人員疏散，保證賽場(chǎng)人員安全，防止人員踩踏事故。同時(shí)，結(jié)合用戶(hù)特征模型對(duì)現(xiàn)場(chǎng)運(yùn)動(dòng)員和觀眾進(jìn)行分析，分析用戶(hù)年齡、性別、愛(ài)好、職業(yè)、家鄉(xiāng)、熱搜詞、外地用戶(hù)駐留天數(shù)、出行方式、游玩景區(qū)、居住賓館等信息，可以幫助主辦方分析賽事的社會(huì)影響力以及經(jīng)濟(jì)效益，為進(jìn)一步改進(jìn)賽事舉辦過(guò)程中的不足打下堅(jiān)實(shí)的基礎(chǔ)。

1 大數(shù)據(jù)平臺(tái)的需求

基于與賽事組委會(huì)的溝通，結(jié)合無(wú)線大數(shù)據(jù)的特點(diǎn)和能力，將平臺(tái)可以實(shí)現(xiàn)的用戶(hù)需求分為以下四點(diǎn)：

1.1 重點(diǎn)區(qū)域客流檢測(cè)

為了保障賽事安全有序舉行，及時(shí)疏散重點(diǎn)區(qū)域內(nèi)的觀眾以及運(yùn)動(dòng)員，需要實(shí)時(shí)監(jiān)控馬拉松比賽起點(diǎn)、迷你馬拉松終點(diǎn)、半程馬拉松終點(diǎn)、全程馬拉松終點(diǎn)附近的客流變化情況，保證在客流人數(shù)突然變多的情況下，能夠及時(shí)執(zhí)行相關(guān)應(yīng)急預(yù)案。

1.2 賽道沿線人流分析

在馬拉松賽事舉辦期間，賽道沿線會(huì)聚集大量的觀眾，隨著比賽的進(jìn)行，觀眾也會(huì)隨著運(yùn)動(dòng)員的行進(jìn)發(fā)生一定程度的位移，實(shí)時(shí)監(jiān)控賽道沿線人流可以發(fā)現(xiàn)觀眾位置的變化情況，為電視直播提供一定的參考依據(jù)。

1.3 參賽運(yùn)動(dòng)員與觀眾特征分析

對(duì)馬拉松賽事的觀眾與參賽運(yùn)動(dòng)員的職業(yè)、愛(ài)好、年齡、性別、歸屬地、熱搜詞進(jìn)行分析，可以了解賽事的參與者和關(guān)注者的特點(diǎn)，為之后賽事的定向精準(zhǔn)營(yíng)銷(xiāo)推廣提供支撐數(shù)據(jù)，幫助擴(kuò)大賽事的影響力。同時(shí)，也可以根據(jù)運(yùn)動(dòng)員與觀眾的特征，吸引贊助商的投資。

1.4 外地用戶(hù)活動(dòng)情況分析

馬拉松賽事會(huì)吸引周邊地市的觀眾和運(yùn)動(dòng)員參與到其中，對(duì)外地運(yùn)動(dòng)員和觀眾的歸屬地、在本地駐留時(shí)長(zhǎng)、去過(guò)的商場(chǎng)和景點(diǎn)、住宿的賓館、出行的交通方式等進(jìn)行分析，能夠?yàn)榻M委會(huì)分析馬拉松賽事帶來(lái)的輻射影響力、社會(huì)效益、經(jīng)濟(jì)效益提供重要的依據(jù)。

2 大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工具

馬拉松大數(shù)據(jù)分析平臺(tái)利用網(wǎng)頁(yè)的形式對(duì)賽場(chǎng)當(dāng)天的情況進(jìn)行展示，主要分為后臺(tái)進(jìn)行數(shù)據(jù)分析和前臺(tái)進(jìn)行數(shù)據(jù)展示兩個(gè)方面。平臺(tái)后臺(tái)數(shù)據(jù)處理采用Hadoop平臺(tái)采集CDMA和LTE的話單數(shù)據(jù)，利用SQL SERVER結(jié)合用戶(hù)特征分析模型對(duì)采集到的話單數(shù)據(jù)進(jìn)行數(shù)據(jù)分析處理。前臺(tái)展示用javascript對(duì)可視化展示頁(yè)面進(jìn)行設(shè)計(jì)，采用Layout框架進(jìn)行頁(yè)面布局，結(jié)合echarts中各種圖表和百度地圖中的熱力圖對(duì)分析出來(lái)的數(shù)據(jù)進(jìn)行可視化展示。

3 大數(shù)據(jù)平臺(tái)功能實(shí)現(xiàn)原理

無(wú)線大數(shù)據(jù)平臺(tái)從用戶(hù)需求入手，按照需求分析——話單采集——數(shù)據(jù)清洗——挖掘分析——產(chǎn)品包裝的五步分析法進(jìn)行設(shè)計(jì)。具體流程如圖1所示。

圖1 五步法平臺(tái)開(kāi)發(fā)設(shè)計(jì)流程圖

基于賽事組委會(huì)的需求，利用五步法對(duì)相關(guān)功能予以實(shí)現(xiàn)，主要分為以下幾個(gè)方面的內(nèi)容：

3.1 基礎(chǔ)數(shù)據(jù)確認(rèn)

根據(jù)組委會(huì)確認(rèn)的比賽賽道，利用打點(diǎn)測(cè)試的方法確定賽道周邊的無(wú)線環(huán)境，如圖2所示。

圖2 徐州馬拉松賽道沿線無(wú)線環(huán)境示意圖

根據(jù)賽道沿線的各個(gè)采樣點(diǎn)和CDMA以及LTE基站扇區(qū)一一對(duì)應(yīng)的關(guān)系，得到每個(gè)賽道上每個(gè)經(jīng)緯度對(duì)應(yīng)的點(diǎn)覆蓋的基站扇區(qū)清單，確定話單采集的CDMA和LTE基站扇區(qū)范圍，如圖3所示。根據(jù)組委會(huì)對(duì)實(shí)時(shí)性的要求，按照5分鐘的時(shí)間粒度分別對(duì)用戶(hù)的1X話單、DO話單以及LTE話單進(jìn)行采集，得到疑似用戶(hù)清單。

圖3 賽道采樣點(diǎn)與基站扇區(qū)對(duì)應(yīng)關(guān)系

3.2 噪聲用戶(hù)清洗

根據(jù)基站取到的原始話單，有很多不屬于賽事觀眾和運(yùn)動(dòng)員，這些用戶(hù)就是噪聲用戶(hù)。噪聲用戶(hù)主要由以下2個(gè)部分組成：

（1）空間維度上的噪聲用戶(hù)。由于基站扇區(qū)覆蓋范圍較大，僅僅從基站扇區(qū)覆蓋范圍來(lái)提取的話單數(shù)量會(huì)遠(yuǎn)遠(yuǎn)超出賽道區(qū)域范圍內(nèi)的話單數(shù)量。對(duì)于空間維度上的噪聲用戶(hù)，可以利用手機(jī)與基站扇區(qū)交互信息的三角定位算法，確定某用戶(hù)在某一時(shí)刻的位置，算法原理如圖4所示。

圖4 三角定位算法原理示意圖

根據(jù)定位的誤差在50-100米的范圍內(nèi)，將賽道區(qū)域用50米×50米的柵格來(lái)表示，如圖5所示,將落在柵格內(nèi)的話單提取出來(lái)，剔除區(qū)域外用戶(hù)。

圖5 馬拉松賽道沿線柵格示意圖

（2）時(shí)間維度上的噪聲用戶(hù)。由于柵格范圍是50米×50米，柵格范圍內(nèi)會(huì)包含長(zhǎng)期在這個(gè)柵格內(nèi)的常駐用戶(hù)和比賽當(dāng)天路過(guò)該柵格的過(guò)路用戶(hù)。常駐用戶(hù)和過(guò)路用戶(hù)不在目標(biāo)用戶(hù)的范圍之內(nèi)，也屬于噪聲用戶(hù)。為了清洗掉時(shí)間維度上的噪聲用戶(hù)，對(duì)于比賽當(dāng)天話單只出現(xiàn)過(guò)一次或者首次出現(xiàn)和最后一次出現(xiàn)時(shí)間間隔不超過(guò)10分鐘的定義為過(guò)路用戶(hù)。另外，提取比賽開(kāi)始前一周的扇區(qū)話單數(shù)據(jù)，將一周中有5天時(shí)間在某一特定柵格出現(xiàn)過(guò)，并且每天出現(xiàn)時(shí)間超過(guò)5個(gè)小時(shí)的用戶(hù)記錄為常駐用戶(hù)。對(duì)于常駐用戶(hù)，如果比賽當(dāng)天只在常駐柵格內(nèi)出現(xiàn)過(guò)，那么作為噪聲用戶(hù)進(jìn)行剔除。

3.3 挖掘分析

經(jīng)過(guò)噪聲用戶(hù)清洗后，得到目標(biāo)用戶(hù)清單?；谀繕?biāo)用戶(hù)歷史話單分析的位置信息、基站場(chǎng)景信息以及時(shí)間信息三個(gè)維度，結(jié)合用戶(hù)感知數(shù)據(jù)、套餐資費(fèi)、上網(wǎng)行為等數(shù)據(jù)為用戶(hù)建立職業(yè)、興趣特征、理財(cái)消費(fèi)、早晚常駐地以及基礎(chǔ)信息五個(gè)維度的用戶(hù)特征模型。用戶(hù)特征模型內(nèi)容如圖6所示。

圖6 用戶(hù)五維標(biāo)簽特征體系

用戶(hù)特征標(biāo)簽?zāi)Ｐ偷膮?shù)主要包括以下幾個(gè)部分：

（1）地理維度：覆蓋某一目標(biāo)區(qū)域的室分扇區(qū)和有效覆蓋目標(biāo)區(qū)域達(dá)到80%以上的室外扇區(qū)。

（2）時(shí)間維度：根據(jù)工作性質(zhì)不同，判斷一天中在某個(gè)時(shí)間段中出現(xiàn)N小時(shí)以上則當(dāng)天滿(mǎn)足，一周有M天及以上滿(mǎn)足則當(dāng)值滿(mǎn)足。

（3）加權(quán)統(tǒng)計(jì)規(guī)范：最近P周加權(quán)統(tǒng)計(jì)（滿(mǎn)足的周給相應(yīng)的加權(quán)分?jǐn)?shù)），這P周按照時(shí)間等因素賦予不同的權(quán)重分?jǐn)?shù)，若總分達(dá)到門(mén)限值要求，則符合特征標(biāo)簽要求，為用戶(hù)添加相應(yīng)特征標(biāo)簽。

（4）附加信息來(lái)源：結(jié)合大客戶(hù)套餐信息、用戶(hù)感知數(shù)據(jù)、用戶(hù)上網(wǎng)行為、套餐消費(fèi)數(shù)據(jù)以及用戶(hù)基本信息等進(jìn)行分析。

（5）更新方式：特征標(biāo)簽每周根據(jù)加權(quán)信息進(jìn)行統(tǒng)計(jì)，對(duì)于用戶(hù)特征標(biāo)簽進(jìn)行更新。標(biāo)簽權(quán)重門(mén)限值以及權(quán)重占比分值會(huì)根據(jù)屬于該標(biāo)簽用戶(hù)的時(shí)間維度參數(shù)，作為訓(xùn)練集，利用聚類(lèi)算法結(jié)合浮動(dòng)范圍更新N值和M值，同時(shí)對(duì)于加權(quán)統(tǒng)計(jì)門(mén)限值，也根據(jù)訓(xùn)練集結(jié)果，利用聚類(lèi)算法結(jié)合浮動(dòng)范圍的方法對(duì)滿(mǎn)足的門(mén)限值進(jìn)行更新。

（6）標(biāo)簽數(shù)量：若標(biāo)簽屬于互斥標(biāo)簽，如職業(yè)、常駐地等信息，那么同一用戶(hù)取權(quán)重最大的標(biāo)簽；若標(biāo)簽不屬于互斥的，如愛(ài)好特征等，則取權(quán)重最大的TOP5標(biāo)簽。

3.4 平臺(tái)設(shè)計(jì)包裝

信息安全：將涉及到的用戶(hù)標(biāo)識(shí)信息進(jìn)行加密，并在平臺(tái)展示中只展示統(tǒng)計(jì)性數(shù)據(jù)，不提供用戶(hù)詳單，保證用戶(hù)隱私不會(huì)泄露。

實(shí)時(shí)展示：根據(jù)組委會(huì)需求，需要對(duì)馬拉松賽事期間相關(guān)情況進(jìn)行大屏展示。根據(jù)相關(guān)要求，利用網(wǎng)頁(yè)形式結(jié)合echarts圖表中的矢量地圖、柱狀圖、餅狀圖、堆積折線圖、字符云和熱力圖，對(duì)組委會(huì)關(guān)心的用戶(hù)歸屬地、性別、年齡、愛(ài)好、職業(yè)、重點(diǎn)區(qū)域客流監(jiān)控、賽道人流分布、特征詞等進(jìn)行可視化展示。

賽后分析：對(duì)賽事影響力的相關(guān)分析，包括賽事參與總?cè)藬?shù)、用戶(hù)特征分析，外地參與用戶(hù)分布、外地用戶(hù)的歸屬地、在本地駐留時(shí)長(zhǎng)、去過(guò)的商場(chǎng)和景點(diǎn)、住宿的賓館、出行的交通方式等分析。

4 馬拉松大數(shù)據(jù)保障設(shè)計(jì)實(shí)現(xiàn)

4.1 馬拉松大數(shù)據(jù)監(jiān)控平臺(tái)設(shè)計(jì)

平臺(tái)利用JAVA語(yǔ)言借助Myeclipse開(kāi)發(fā)工具進(jìn)行開(kāi)發(fā)，采用了Layout架構(gòu)進(jìn)行設(shè)計(jì)。

主要展示功能實(shí)現(xiàn)如下：

整體布局：將展示頁(yè)面分為6個(gè)區(qū)域，分為標(biāo)題欄、客流來(lái)源、客流特征、賽道實(shí)時(shí)人數(shù)監(jiān)控、客流監(jiān)控、客流喜好6個(gè)區(qū)域。

功能設(shè)計(jì)：標(biāo)題欄展示中國(guó)電信LOGO、智慧無(wú)線LOGO、大數(shù)據(jù)智觀、平臺(tái)標(biāo)題、時(shí)間以及天氣情況?？梢缘谝粫r(shí)間讓用戶(hù)了解本平臺(tái)的用途、開(kāi)發(fā)者和當(dāng)時(shí)的天氣情況。

客流來(lái)源：利用矢量地圖展示當(dāng)前賽場(chǎng)內(nèi)用戶(hù)的歸屬地和柱狀圖，從大到小顯示所有省份人數(shù)的統(tǒng)計(jì)，人數(shù)多少直觀明了。如圖7所示。

圖7 客流來(lái)源模塊示意圖

客流特征：利用餅狀圖對(duì)賽道內(nèi)用戶(hù)的職業(yè)、愛(ài)好、年齡、性別進(jìn)行統(tǒng)計(jì)分析，并且兩組數(shù)據(jù)進(jìn)行輪播，很直觀地可以看出各類(lèi)特征所占比例。如圖8所示。

圖8 客流特征設(shè)計(jì)示意圖

賽道實(shí)時(shí)人數(shù)監(jiān)控：利用賽道內(nèi)的點(diǎn)和柵格對(duì)應(yīng)關(guān)系，將柵格內(nèi)的人數(shù)吸附到馬拉松賽道之上，根據(jù)人數(shù)多少用不同的顏色來(lái)表示人流密集情況，并實(shí)施顯示賽場(chǎng)內(nèi)用戶(hù)總?cè)藬?shù)。如圖9所示。

圖9 賽道實(shí)時(shí)人數(shù)監(jiān)控設(shè)計(jì)示意圖

客流監(jiān)控：對(duì)賽事起點(diǎn)、迷你馬拉松終點(diǎn)、半程馬拉松終點(diǎn)、全程馬拉松終點(diǎn)四個(gè)區(qū)域的人流量進(jìn)行監(jiān)控，并用堆積折線圖對(duì)不同時(shí)間的人數(shù)進(jìn)行展示，可以展示不同地點(diǎn)人數(shù)隨時(shí)間變化的趨勢(shì)。如圖10所示。

圖10 客流監(jiān)控模塊設(shè)計(jì)示意圖

客流喜好：利用字符云的形式對(duì)賽場(chǎng)內(nèi)用戶(hù)關(guān)注的熱搜詞進(jìn)行展示，并根據(jù)權(quán)重大小用不同大小的字體進(jìn)行展示?？梢灾蕾悎?chǎng)內(nèi)用戶(hù)的關(guān)注熱點(diǎn)。如圖11所示。

創(chuàng)新與發(fā)展——大數(shù)據(jù)、云計(jì)算、網(wǎng)信安全及其他新技術(shù)

圖11 客流喜好模塊設(shè)計(jì)示意圖

將各個(gè)模塊組合在一起并且對(duì)頁(yè)面定時(shí)刷新，可以實(shí)現(xiàn)對(duì)賽道沿線用戶(hù)的實(shí)時(shí)監(jiān)控分析。平臺(tái)如圖12所示。

圖12 2017年徐州國(guó)際馬拉松電信大數(shù)據(jù)智觀

4.2 馬拉松大數(shù)據(jù)分析報(bào)告

賽后分析報(bào)告是根據(jù)客戶(hù)需求，對(duì)賽事參與總?cè)藬?shù)、用戶(hù)特征分析、外地參與用戶(hù)分布、外地用戶(hù)的歸屬地、在本地駐留時(shí)長(zhǎng)、去過(guò)的商場(chǎng)和景點(diǎn)、住宿的賓館、出行的交通方式等進(jìn)行分析，并制作可以供微信，微博等網(wǎng)絡(luò)平臺(tái)分享傳播的宣傳文案。

5 總結(jié)與推廣

本次對(duì)徐州馬拉松的大數(shù)據(jù)分析保障，取得了重大的社會(huì)經(jīng)濟(jì)效益，得到了組委會(huì)的認(rèn)可，增強(qiáng)了電信與市政府在大數(shù)據(jù)方面的進(jìn)一步合作與交流，打造了電信智能化的品牌效應(yīng)。同時(shí)，本次馬拉松賽事的分析保障也為之后舉辦諸如龍舟賽等其他重大賽事提供了重要的示范參考。