莊昌武

（作者單位：江蘇省廣電有線(xiàn)信息網(wǎng)絡(luò)股份有限公司淮安分公司）

大數(shù)據(jù)在廣電網(wǎng)絡(luò)運(yùn)營(yíng)工作上的應(yīng)用

莊昌武

（作者單位：江蘇省廣電有線(xiàn)信息網(wǎng)絡(luò)股份有限公司淮安分公司）

隨著廣電雙向網(wǎng)絡(luò)的不斷完善，互動(dòng)用戶(hù)數(shù)量不斷上升，廣電大數(shù)據(jù)迎來(lái)新的發(fā)展階段。本文針對(duì)廣電大數(shù)據(jù)的運(yùn)營(yíng)工作，從數(shù)據(jù)采集，到數(shù)據(jù)應(yīng)用進(jìn)行了系統(tǒng)全面的分析，對(duì)廣電大數(shù)據(jù)運(yùn)營(yíng)具備一定的指導(dǎo)意義。

大數(shù)據(jù)；采集；用戶(hù)流失；聚類(lèi)；HADOOP技術(shù)

從廣電行業(yè)來(lái)看，大數(shù)據(jù)的特點(diǎn)有三個(gè)方面：第一，數(shù)據(jù)體量巨大，從GB級(jí)別，躍升到TB級(jí)別；第二，數(shù)據(jù)類(lèi)型繁多，涉及到數(shù)據(jù)采集對(duì)象的狀態(tài)信息、日志、各類(lèi)操作信息乃至地理位置信息等；第三，處理速度快，實(shí)時(shí)采集和處理數(shù)據(jù)，并及時(shí)完成數(shù)據(jù)的呈現(xiàn)工作。

本文從廣電網(wǎng)絡(luò)運(yùn)營(yíng)商運(yùn)營(yíng)管理的角度，對(duì)大數(shù)據(jù)技術(shù)的實(shí)際應(yīng)用進(jìn)行一些探討。

1 大數(shù)據(jù)在廣電行業(yè)的應(yīng)用背景

隨著國(guó)家三網(wǎng)融合的發(fā)展，廣電數(shù)字電視網(wǎng)絡(luò)平臺(tái)逐步從單向網(wǎng)絡(luò)改造成雙向網(wǎng)絡(luò)，業(yè)務(wù)的重心也逐步向雙向業(yè)務(wù)偏移。雙向電視業(yè)務(wù)的推廣，數(shù)字電視用戶(hù)和業(yè)務(wù)的快速增長(zhǎng)，運(yùn)營(yíng)商迫切需要實(shí)現(xiàn)對(duì)終端設(shè)備可管可控、用戶(hù)行為可感知，以便深入、實(shí)時(shí)地掌握網(wǎng)絡(luò)和設(shè)備運(yùn)行狀態(tài)，了解用戶(hù)的行為和習(xí)慣。

2 廣電大數(shù)據(jù)的應(yīng)用

廣電數(shù)字電視運(yùn)營(yíng)大數(shù)據(jù)分析涉及到的數(shù)據(jù)量較大且廣，一般來(lái)說(shuō)，需綜合以下幾類(lèi)數(shù)據(jù)（見(jiàn)表1）。

表1 廣電數(shù)字電視運(yùn)營(yíng)大數(shù)據(jù)分析

2.1 助力客戶(hù)經(jīng)理預(yù)測(cè)用戶(hù)流失

根據(jù)用戶(hù)（包括VIP用戶(hù)）在線(xiàn)率，收視時(shí)長(zhǎng)，業(yè)務(wù)分布等信息，通過(guò)數(shù)據(jù)模型測(cè)算出用戶(hù)流失傾向，并可按需排名輸出報(bào)表，使客戶(hù)經(jīng)理及時(shí)掌握所服務(wù)區(qū)域用戶(hù)的第一手信息。

在給客戶(hù)經(jīng)理下達(dá)推廣付費(fèi)頻道節(jié)目包和點(diǎn)播訂購(gòu)包的任務(wù)后，如果不能提供及時(shí)有效的工具，則客戶(hù)經(jīng)理很難完成任務(wù)，且工作效率低下。每月對(duì)退網(wǎng)的用戶(hù)進(jìn)行持續(xù)的歷史軌跡分析，結(jié)合BOSS系統(tǒng)里的賬單數(shù)據(jù)，設(shè)定退網(wǎng)客戶(hù)模型。定期對(duì)不活躍用戶(hù)進(jìn)行模型匹配分析，并導(dǎo)出報(bào)表?？蛻?hù)經(jīng)理每周安排一定的時(shí)間，對(duì)可能退網(wǎng)客戶(hù)進(jìn)行電話(huà)拜訪(fǎng)或上門(mén)拜訪(fǎng)，了解用戶(hù)需求，進(jìn)行用戶(hù)挽留工作，減少用戶(hù)流失。

2.2 助力客戶(hù)經(jīng)理分析用戶(hù)喜好

大數(shù)據(jù)分析能夠根據(jù)BOSS，客服中心，收視行為等數(shù)據(jù)進(jìn)行用戶(hù)個(gè)體畫(huà)像，掌握用戶(hù)日常喜愛(ài)收看的節(jié)目類(lèi)型和頻道類(lèi)型，以及對(duì)最新大片的可能購(gòu)買(mǎi)度，讓客戶(hù)經(jīng)理能挑出最有可能購(gòu)買(mǎi)產(chǎn)品的前20%的用戶(hù)，采取上門(mén)拜訪(fǎng)或電話(huà)推廣的方式，迅速有效地達(dá)成交易，以達(dá)到精準(zhǔn)營(yíng)銷(xiāo)的目的。

2.3 助力內(nèi)容精準(zhǔn)推送

內(nèi)容精準(zhǔn)推送是廣電運(yùn)營(yíng)商最為常見(jiàn)的大數(shù)據(jù)分析應(yīng)用。傳統(tǒng)的內(nèi)容推送本質(zhì)上還是一種廣播式的。借助于大數(shù)據(jù)平臺(tái)能力，根據(jù)用戶(hù)的個(gè)體畫(huà)像，運(yùn)用商可以制定出精準(zhǔn)的推送策略，將用戶(hù)最感興趣的內(nèi)容放置到最容易獲取的地方，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)。

2.4 助力廣告運(yùn)營(yíng)

開(kāi)機(jī)畫(huà)面廣告、頻道Banner條廣告、音量調(diào)節(jié)畫(huà)面廣告是廣電網(wǎng)絡(luò)運(yùn)營(yíng)商最主要的廣告形式。用戶(hù)行為分析數(shù)據(jù)報(bào)告能給廣電運(yùn)營(yíng)商提供充足的數(shù)據(jù)支撐，幫助運(yùn)營(yíng)商根據(jù)收看率高低、用戶(hù)收看時(shí)間等條件，把開(kāi)機(jī)畫(huà)面廣告、頻道Banner條廣告和音量調(diào)節(jié)畫(huà)面廣告按照區(qū)域、時(shí)段和收視熱度分組打包，精細(xì)化運(yùn)營(yíng)廣告資源。例如，把60多個(gè)公共頻道按收視率高低，優(yōu)劣互相組合，形成資源較均衡的5個(gè)廣告包；再如，把開(kāi)機(jī)畫(huà)面廣告按照不同的時(shí)間段運(yùn)營(yíng)，根據(jù)小學(xué)生放學(xué)時(shí)間、晚間8點(diǎn)檔和晚間11點(diǎn)之后的電視受眾不同而投放不同的廣告。

3 大數(shù)據(jù)的計(jì)算和分析平臺(tái)

由于廣電數(shù)字電視運(yùn)營(yíng)大數(shù)據(jù)分析涉及到的數(shù)據(jù)量較大且廣，運(yùn)用當(dāng)前流行的HADOOP技術(shù)，通過(guò)對(duì)以上信息的綜合分析處理，在廣電的運(yùn)營(yíng)工作中，具有重要的應(yīng)用價(jià)值。有線(xiàn)運(yùn)營(yíng)商運(yùn)用的典型的HADOOP平臺(tái)架構(gòu)如圖1所示。

4 大數(shù)據(jù)案例分析——客戶(hù)流失與喜好分析

4.1 案例背景

隨著云媒體平臺(tái)的深入發(fā)展和業(yè)務(wù)的高速增長(zhǎng)，新的應(yīng)用系統(tǒng)和信息資源的加入，業(yè)務(wù)環(huán)境日益復(fù)雜，運(yùn)營(yíng)難度日益增長(zhǎng)，業(yè)務(wù)增長(zhǎng)的壓力越來(lái)越大，通過(guò)更準(zhǔn)確、及時(shí)地了解業(yè)務(wù)的使用情況，了解用戶(hù)的使用習(xí)慣和收視喜好，了解用戶(hù)在整個(gè)收視周期的業(yè)務(wù)的使用情況，可以為業(yè)務(wù)的經(jīng)營(yíng)提供有效的決策支持。系統(tǒng)的部署可以實(shí)現(xiàn)以下幾個(gè)方面。第一，用戶(hù)收視喜好分析，分析集團(tuán)用戶(hù)、VIP用戶(hù)、收費(fèi)用戶(hù)、普通用戶(hù)和平房用戶(hù)所關(guān)注的終端節(jié)目類(lèi)型，通過(guò)挖掘用戶(hù)的收視行為，為客戶(hù)經(jīng)理推廣業(yè)務(wù)提供數(shù)據(jù)支撐。實(shí)現(xiàn)用戶(hù)收視節(jié)目排行、不同終端類(lèi)型（標(biāo)清付費(fèi)、標(biāo)清免費(fèi)、高清付費(fèi)和高清免費(fèi)）等業(yè)務(wù)的占比，并在用戶(hù)收視行為的基礎(chǔ)之上通過(guò)對(duì)用戶(hù)收視行為的聚類(lèi)挖掘，實(shí)現(xiàn)用戶(hù)喜好的深入分析并對(duì)經(jīng)營(yíng)業(yè)務(wù)的推廣提供建議和支持。第二，通過(guò)引入數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)對(duì)于用戶(hù)流失的分析，基于技術(shù)、價(jià)格、質(zhì)量和交費(fèi)渠道等多個(gè)維度，進(jìn)行用戶(hù)的畫(huà)像，用戶(hù)價(jià)值的分析，實(shí)現(xiàn)用戶(hù)的流失的分析，和相關(guān)的數(shù)據(jù)輸出，為業(yè)務(wù)的定向營(yíng)銷(xiāo)提供支撐。第三，系統(tǒng)提供報(bào)表輸出功能，通過(guò)實(shí)現(xiàn)用戶(hù)的業(yè)務(wù)數(shù)據(jù)及所屬標(biāo)簽的查詢(xún)，并提供報(bào)表的定時(shí)推送。

圖1 HADOOP平臺(tái)架構(gòu)

圖2 云數(shù)據(jù)處理平臺(tái)架構(gòu)

4.2 案例主要技術(shù)路線(xiàn)

平臺(tái)需要實(shí)現(xiàn)對(duì)于30萬(wàn)用戶(hù)每天近千萬(wàn)量級(jí)的用戶(hù)行為的數(shù)據(jù)分析，提供收視維度的各種信息的統(tǒng)計(jì)分析和挖掘工作；同時(shí)，根據(jù)用戶(hù)業(yè)務(wù)的需求，提供用戶(hù)對(duì)于上述數(shù)據(jù)的跨時(shí)間端的各種統(tǒng)計(jì)分析結(jié)果的呈現(xiàn)；同時(shí)，針對(duì)某種用戶(hù)的業(yè)務(wù)，除提供宏觀的用戶(hù)數(shù)據(jù)的匯總外，還要進(jìn)一步提供對(duì)于宏觀數(shù)據(jù)的分區(qū)域，分用戶(hù)的數(shù)據(jù)的呈現(xiàn)。

從計(jì)算和挖掘的角度，系統(tǒng)需要有較快的處理速度，同時(shí)由于大數(shù)據(jù)源的要求，對(duì)于系統(tǒng)的處理吞吐量也的相應(yīng)的要求。存儲(chǔ)上，系統(tǒng)要滿(mǎn)足1年在線(xiàn)數(shù)據(jù)的業(yè)務(wù)在線(xiàn)查詢(xún)，同時(shí)查詢(xún)的“大海撈針”和全表掃描也對(duì)系統(tǒng)的處理能力提出了更高的要求，為保證對(duì)于海量用戶(hù)行為數(shù)據(jù)的處理的能力的要求，根據(jù)多年數(shù)據(jù)分析挖掘的經(jīng)驗(yàn)，在基礎(chǔ)平臺(tái)引入了云數(shù)據(jù)處理平臺(tái)，如圖2所示。

4.3 平臺(tái)能力

平臺(tái)需要支持基于大數(shù)據(jù)平臺(tái)的常規(guī)數(shù)據(jù)挖掘算法，不同算法的時(shí)間復(fù)雜度不同，故不再做統(tǒng)一性能指標(biāo)要求，但大數(shù)據(jù)平臺(tái)自身的計(jì)算性能需要得到保證。大數(shù)據(jù)平臺(tái)的性能指標(biāo)應(yīng)在基準(zhǔn)測(cè)試中達(dá)到以下要求（見(jiàn)表2）。

4.4 數(shù)據(jù)模型

在確定一個(gè)用戶(hù)需求后，首先了解需求的應(yīng)用場(chǎng)景，針對(duì)用戶(hù)應(yīng)用場(chǎng)景，確定所需要的數(shù)據(jù)源。接著設(shè)計(jì)數(shù)據(jù)模型。當(dāng)然，還需要對(duì)數(shù)據(jù)源進(jìn)行清洗、整理甚至需要脫密脫敏，然后將它們匯總起來(lái)，形成這次分析任務(wù)的數(shù)據(jù)庫(kù)（數(shù)據(jù)倉(cāng)庫(kù)）。以上只是數(shù)據(jù)建模的第一步，第二步需要數(shù)據(jù)訓(xùn)練。數(shù)據(jù)訓(xùn)練也是調(diào)整模型的方法之一。通常的做法是“前推后驗(yàn)”和“塊狀切割”?！扒巴坪篁?yàn)”的“前推”就是通過(guò)過(guò)往的數(shù)據(jù)尋找特征值，以便消除干擾數(shù)據(jù)，快速建立模型?！昂篁?yàn)”就是根據(jù)得出的模型，借助一定的數(shù)據(jù)往后推測(cè)，進(jìn)行驗(yàn)證，尋找到最佳的結(jié)合點(diǎn)?！皦K狀切割”就是在數(shù)據(jù)量較大的情況下，從小樣本開(kāi)始驗(yàn)證，這樣驗(yàn)證周期會(huì)變短，利于快速調(diào)整模型，反復(fù)多次的塊狀驗(yàn)證后，再進(jìn)行大數(shù)量的驗(yàn)證。數(shù)據(jù)建模耗時(shí)，甚至可以占到整個(gè)項(xiàng)目一半以上的時(shí)間。

表2 平臺(tái)能力指標(biāo)要求

表3 客戶(hù)類(lèi)別結(jié)果

圖3 RFM計(jì)算流程

在該平臺(tái)中，采用RFM算法來(lái)預(yù)測(cè)分析客戶(hù)流失，具體計(jì)算流程如圖3所示。

4.5 客戶(hù)分類(lèi)結(jié)果數(shù)據(jù)

第一步：選取客戶(hù)基礎(chǔ)信息數(shù)據(jù)。第二步：系統(tǒng)計(jì)算生成含RFM值的客戶(hù)數(shù)據(jù)集。第三步：將每個(gè)客戶(hù)的RFM值和總RFM平均值作比較。第四步：對(duì)聚類(lèi)后的客戶(hù)分類(lèi)結(jié)果進(jìn)行分析和解釋?zhuān)运锌蛻?hù)的R、F、M值作為考核點(diǎn)，將所有的客戶(hù)的R、F、M值組合，一共出現(xiàn)8（23）種情況，根據(jù)各指標(biāo)所代表的含義，得到最終八種客戶(hù)類(lèi)型，如表3所示。

5 廣電大數(shù)據(jù)的前景

對(duì)于廣電運(yùn)營(yíng)商而言，通過(guò)對(duì)大數(shù)據(jù)的挖掘分析，可以進(jìn)一步細(xì)分用戶(hù)，實(shí)現(xiàn)精準(zhǔn)產(chǎn)品營(yíng)銷(xiāo)和個(gè)性化服務(wù)。繼而優(yōu)化廣電現(xiàn)有各業(yè)務(wù)的運(yùn)營(yíng)；同時(shí)，刺激運(yùn)營(yíng)商從數(shù)據(jù)中獲取潛在的用戶(hù)需求和市場(chǎng)，創(chuàng)新服務(wù)和商業(yè)模式。

大數(shù)據(jù)技術(shù)給廣電的運(yùn)營(yíng)工作帶來(lái)了很多有影響力的幫助，也改變了原有的工作流程，只有用好、用活、用足大數(shù)據(jù)技術(shù)，才能更好地服務(wù)于客戶(hù)，在視頻運(yùn)營(yíng)的競(jìng)爭(zhēng)中得到更多的市場(chǎng)份額。

莊昌武（1958-），男，江蘇淮安，本科，研究方向：廣播電視經(jīng)營(yíng)管理。