宋振芹 劉利鑫

1.2.內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團(tuán)有限公司 內(nèi)蒙古 呼和浩特市 010051

1 概 述

內(nèi)蒙古廣電網(wǎng)絡(luò)經(jīng)過十多年的轉(zhuǎn)企改制、網(wǎng)絡(luò)整合、數(shù)字化整轉(zhuǎn)、雙向化、寬帶互聯(lián)網(wǎng)化等發(fā)展階段，面對當(dāng)前嚴(yán)峻的市場競爭壓力，內(nèi)蒙古廣電網(wǎng)絡(luò)正在實(shí)施“一云一網(wǎng)三平臺”戰(zhàn)略和“基本公共服務(wù)入戶”，通過積極推動終端（機(jī)頂盒、電視一體機(jī)）智能化、業(yè)務(wù)信息化等工程，已成為集視頻、寬帶等于一體的綜合服務(wù)商。高質(zhì)量服務(wù)是廣電網(wǎng)絡(luò)的生命線，建設(shè)綜合大數(shù)據(jù)平臺，與各業(yè)務(wù)系統(tǒng)互聯(lián)互通，通過大數(shù)據(jù)真正實(shí)現(xiàn)了高質(zhì)量服務(wù)。

2 大數(shù)據(jù)平臺建設(shè)總體架構(gòu)

內(nèi)蒙古廣電網(wǎng)絡(luò)大數(shù)據(jù)平臺采用“統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計(jì)、統(tǒng)一架構(gòu)、統(tǒng)一服務(wù)、統(tǒng)一技術(shù)”的策略，結(jié)合內(nèi)蒙古廣電網(wǎng)絡(luò)實(shí)際情況，按照“層次化設(shè)計(jì)思路”，構(gòu)建面向大數(shù)據(jù)生態(tài)的“一個中心，兩個環(huán)境，三個體系”的總體架構(gòu)?！耙粋€中心”指數(shù)據(jù)資源中心，“兩個環(huán)境”指用戶服務(wù)環(huán)境、大數(shù)據(jù)處理環(huán)境，“三個體系”指標(biāo)準(zhǔn)規(guī)范體系、安全保障體系、智慧廣電管理體系。將各系統(tǒng)進(jìn)行詳細(xì)功能劃分、明確服務(wù)層次，最終形成以“大數(shù)據(jù)”驅(qū)動決策、驅(qū)動管理、驅(qū)動業(yè)務(wù)增長的格局。

此大數(shù)據(jù)平臺以Hadoop 為基礎(chǔ)架構(gòu)，提供從終端到頭端、從設(shè)備到業(yè)務(wù)、從數(shù)據(jù)到運(yùn)營決策的全業(yè)務(wù)、全數(shù)據(jù)、全覆蓋的整體架構(gòu)，完成數(shù)據(jù)資產(chǎn)從成本中心到利潤中心的轉(zhuǎn)變，實(shí)現(xiàn)商業(yè)智能。圖1為技術(shù)架構(gòu)圖。

圖1 總體技術(shù)架構(gòu)圖

平臺采用分布式架構(gòu)，支持巨量數(shù)據(jù)存儲與分析，保障大數(shù)據(jù)平臺的高性能、高可用性和易擴(kuò)展性。

3 大數(shù)據(jù)平臺特點(diǎn)說明

3.1 全終端打通

對內(nèi)蒙古廣電網(wǎng)絡(luò)全景工作的所有終端形態(tài)都采集數(shù)據(jù)，包括智能機(jī)頂盒、電視一體機(jī)、手機(jī)、Pad、PC、交換機(jī)/路由器等設(shè)備，采用統(tǒng)一接口，實(shí)現(xiàn)了全終端設(shè)備數(shù)據(jù)采集的打通。

3.2 全業(yè)務(wù)打通

除對傳統(tǒng)的電視直播業(yè)務(wù)進(jìn)行采集外，還對基于智能終端上運(yùn)行的IPVOD 點(diǎn)播/時移/回看、各OTT 增值業(yè)務(wù)（芒果、愛奇藝、華數(shù)等視頻APP）、教育類、廣告類、游戲類、公共服務(wù)類應(yīng)用（公共法律服務(wù)、科普內(nèi)蒙古、黨報(bào)黨刊、三務(wù)公開等）、微信類、生產(chǎn)數(shù)據(jù)類（BOSS 系統(tǒng)、網(wǎng)管系統(tǒng)、96066 客服系統(tǒng)等）、設(shè)備狀態(tài)類（終端設(shè)備硬件質(zhì)量、網(wǎng)絡(luò)指標(biāo)等）等進(jìn)行了全業(yè)務(wù)對接打通。

3.3 全標(biāo)準(zhǔn)打通

大數(shù)據(jù)領(lǐng)域的標(biāo)準(zhǔn)化工作是支撐大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和應(yīng)用的重要基礎(chǔ)，此大數(shù)據(jù)平臺按照大數(shù)據(jù)國家標(biāo)準(zhǔn)及廣電行業(yè)標(biāo)準(zhǔn)和指導(dǎo)規(guī)范進(jìn)行建設(shè)，實(shí)現(xiàn)各層、各平臺的數(shù)據(jù)共享、互聯(lián)互通、資源調(diào)配。包括GD/J 074-2018《電視收視數(shù)據(jù)元素集規(guī)范》、GD/J 075-2018《電視收視數(shù)據(jù)交換接口規(guī)范》、GD/J 076-2018《電視收視數(shù)據(jù)清洗規(guī)范》等標(biāo)準(zhǔn)。

4 大數(shù)據(jù)平臺功能介紹

4.1 概述

通過采集各終端硬件、軟件、收視行為（直播、點(diǎn)播、回看、時移、廣告、游戲、購物等）以及各業(yè)務(wù)系統(tǒng)（BOSS、AAA、EPG 等）的相關(guān)數(shù)據(jù)，經(jīng)過對收集的各類數(shù)據(jù)進(jìn)行清洗、存儲、關(guān)聯(lián)和分析，按照不同的維度進(jìn)行數(shù)據(jù)分析，形成用戶分析、設(shè)備分析、點(diǎn)播分析、直播分析、銷售分析、終端行為、客戶畫像等多方位的數(shù)據(jù)分析能力，具備餅圖、線圖、柱圖、流量圖、堆積圖、K 線圖、計(jì)數(shù)器以及大屏展示等多種多樣的數(shù)據(jù)表現(xiàn)形式，為公司媒資運(yùn)營、精準(zhǔn)營銷、智能推薦等提供數(shù)據(jù)支持，提升內(nèi)部運(yùn)營效率，更好的促進(jìn)業(yè)務(wù)發(fā)展。

整個平臺對海量數(shù)據(jù)進(jìn)行采集、存儲、分析、搜索、挖掘，發(fā)現(xiàn)其內(nèi)在價值，從用戶、內(nèi)容、質(zhì)量、營銷等幾個方面切入，細(xì)致分析，并建立用戶肖像，構(gòu)建“用戶—時間—標(biāo)簽”的多維數(shù)據(jù)矩陣，將用戶在互動域的使用行為進(jìn)行量化并映射到增值業(yè)務(wù)域，從宏觀至微觀為客戶運(yùn)營策略、商業(yè)模型分析等提供強(qiáng)有力的數(shù)據(jù)支撐。

4.2 大數(shù)據(jù)涵蓋功能

（1）業(yè)務(wù)數(shù)據(jù)實(shí)時分析

在大數(shù)據(jù)分析平臺上，可以詳細(xì)記錄和分析統(tǒng)計(jì)出直播、點(diǎn)播、時移、回看電視節(jié)目播出平臺上各個欄目、各個頻道的點(diǎn)播、直播及回看的收視率。然后按照用戶的開機(jī)情況、用戶在線時長、用戶平均收視時長等信息數(shù)據(jù)，能夠統(tǒng)計(jì)具體到地區(qū)的用戶收視情況。

（2）用戶畫像實(shí)時更新

憑借追蹤用戶行為的功能，實(shí)現(xiàn)新增用戶、活躍用戶、累計(jì)用戶實(shí)時分析，提供用戶實(shí)時畫像分析，為精準(zhǔn)化營銷提供精確數(shù)據(jù)支撐。

（3）服務(wù)質(zhì)量實(shí)時監(jiān)控

可以詳細(xì)統(tǒng)計(jì)分析視頻服務(wù)質(zhì)量，如視頻卡頓比、慢速比、故障分析，為快速定位問題根源提供問題路徑分析，最大限度的保證視頻服務(wù)質(zhì)量。

（4）營銷數(shù)據(jù)實(shí)時分析

是市場運(yùn)營一個節(jié)目內(nèi)容“從產(chǎn)品到商品”的能力。

（5）一站式數(shù)據(jù)處理平臺

通過內(nèi)存計(jì)算技術(shù)、高效索引、執(zhí)行計(jì)劃優(yōu)化和高度容錯的技術(shù)，使得平臺能夠處理從GB 到PB 的數(shù)據(jù)，并且在每個數(shù)量級上都能提供比現(xiàn)有技術(shù)更快的性能；客戶不再需要混合架構(gòu)，不需要孤立的多個集群?？梢园殡S客戶的數(shù)據(jù)增長而動態(tài)不停機(jī)擴(kuò)容，避免MPP 或傳統(tǒng)架構(gòu)數(shù)據(jù)遷移的棘手問題。

（6）一站式數(shù)據(jù)分析平臺

支持批處理統(tǒng)計(jì)分析、交互式SQL 分析、在線數(shù)據(jù)檢索、實(shí)時流處理，為客戶提供廣泛的計(jì)算支持能力，客戶無需切換平臺或架構(gòu)即可完成復(fù)雜的任務(wù)。

（7）一站式管理平臺

開發(fā)了用戶友好的管理界面、提供了系統(tǒng)安裝、集群配置、安全訪問控制、監(jiān)控等多方面支持，在可管理性方面優(yōu)勢顯著。

4.3 千人千面服務(wù)

以視頻數(shù)據(jù)分析為基礎(chǔ)，針對用戶的個性化收視習(xí)慣，打造真正意義上的智能EPG 入口，把廣電網(wǎng)絡(luò)海量的內(nèi)容產(chǎn)品和用戶的零散收視需求進(jìn)行有效的互聯(lián)，通過與平臺的數(shù)據(jù)關(guān)聯(lián)進(jìn)行用戶數(shù)據(jù)的智能分析，從而達(dá)到了解用戶的收視行為習(xí)慣，包括點(diǎn)擊量、訪問次數(shù)、停留時間、用戶性別年齡興趣愛好、地域等，針對獨(dú)立用戶實(shí)現(xiàn)內(nèi)容的智能推薦和個性化展現(xiàn)，為用戶提供更好的互動收視體驗(yàn)。

4.3.1 付費(fèi)內(nèi)容精準(zhǔn)營銷

用戶畫像是精準(zhǔn)營銷模型的重中之重，其核心在于用高度精煉的特征來為用戶“打標(biāo)簽”，如年齡、性別、地域、偏好、消費(fèi)能力等，最后綜合關(guān)聯(lián)用戶的標(biāo)簽信息，勾勒出用戶的立體畫像。用戶畫像可較完美地抽象出一個用戶的信息全貌，為進(jìn)一步精準(zhǔn)、快速地預(yù)測用戶行為、消費(fèi)意愿等重要信息提供了全面的數(shù)據(jù)基礎(chǔ)，是實(shí)現(xiàn)數(shù)據(jù)精準(zhǔn)營銷的基石。

4.3.2 智能內(nèi)容推薦

系統(tǒng)可對各類型節(jié)目加以標(biāo)簽化，形成基礎(chǔ)內(nèi)容標(biāo)簽庫，系統(tǒng)還會實(shí)時、定時掃描內(nèi)容標(biāo)簽庫，并檢索出新發(fā)布內(nèi)容的所有類型，與用戶偏好標(biāo)簽進(jìn)行匹配，根據(jù)推薦算法進(jìn)行關(guān)聯(lián)分析，最終形成智能內(nèi)容推薦列表。

4.3.3 精準(zhǔn)廣告投放

平臺利用終端數(shù)據(jù)采集挖掘形成用戶畫像，從大量用戶中選出最具消費(fèi)潛力的潛在用戶，規(guī)避了傳統(tǒng)意義上的廣撒漁網(wǎng)式廣告投放轉(zhuǎn)化率低的弊端。傳統(tǒng)廣告投放，一條廣告只有一個或多個投放方式，采用精準(zhǔn)廣告投放，一條廣告具有數(shù)萬個投放通道。

4.4 高效數(shù)據(jù)統(tǒng)計(jì)分析

4.4.1 數(shù)據(jù)分析

（1）用戶維度（用戶發(fā)展、用戶活躍、用戶收視分析）；

（2）收視維度（點(diǎn)播、回看收視分析等）；

（3）產(chǎn)品維度（單點(diǎn)、包月、包年產(chǎn)品訂購分析等）；

（4）收入維度（產(chǎn)品訂購收入及CP 收入分析等）；

（5）CP 維度 （CP 內(nèi)容統(tǒng)計(jì)分析、CP 內(nèi)容收視分析及產(chǎn)品包CP 結(jié)算分析等）；

（6）內(nèi)容維度（媒資內(nèi)容底量、更新、刪除量等）。

4.4.2 數(shù)據(jù)統(tǒng)計(jì)

（1）實(shí)時分析點(diǎn)播、回看收視率統(tǒng)計(jì)；

（2）區(qū)域維度：全區(qū)、地級市；

（3）時間維度：實(shí)時、分鐘、時、日、周、月、年；

（4）業(yè)務(wù)功能使用：點(diǎn)播、回看、時移等；

（5）用戶類型：指機(jī)頂盒類型，如智能、高清、標(biāo)清等。

4.4.3 智能報(bào)表輸出

（1）條件的組合查詢、時段查詢、區(qū)域查詢、分產(chǎn)品查詢；

（2）實(shí)現(xiàn)圖、表圖、圖表、表表之間的交互功能；

（3）各類統(tǒng)計(jì)數(shù)據(jù)的時間序列、交叉、類比；

（4）多樣的報(bào)表輸出及自定義報(bào)表輸出。

4.4.4 用戶畫像

通過自建標(biāo)題體系，就可以利用各種標(biāo)簽來定位我們想觸達(dá)的用戶。用戶畫像一般服務(wù)于精準(zhǔn)營銷，也幫助了解用戶深層次的動機(jī)與心理。后期也可以生成報(bào)告與用戶研究。通過對用戶畫像的分析可以了解行業(yè)動態(tài)，人群消費(fèi)偏好等。

用戶畫像系統(tǒng)通過行為日志等刻畫出完整的平臺用戶畫像，可了解用戶關(guān)聯(lián)度、內(nèi)容關(guān)聯(lián)度、套餐關(guān)聯(lián)度等信息；提供了方便的API 接口，方便第三方應(yīng)用調(diào)用查詢，可定時生成行業(yè)報(bào)告，了解平臺用戶情況。

圖2 用戶畫像

4.4.5 內(nèi)容分析

（1）點(diǎn)播分析

點(diǎn)播分析是針對點(diǎn)播內(nèi)容數(shù)據(jù)進(jìn)行分析，分析內(nèi)容包括點(diǎn)播內(nèi)容分析、點(diǎn)播內(nèi)容排行榜、點(diǎn)播內(nèi)容精細(xì)化、點(diǎn)播地區(qū)分布、點(diǎn)播版本分布、點(diǎn)播欄目分布、點(diǎn)播內(nèi)容提供商分析、冷門點(diǎn)播內(nèi)容分析（見表1）；

（2）直播分析

直播分析是針對直播頻道進(jìn)行分析，直觀的展示在網(wǎng)用戶對直播需求的變化以及收視情況，直播分析可對直播頻道、直播精細(xì)化、黃金時段分析、直播頻道收視率、直播頻道收視率精細(xì)化等進(jìn)行展示（見表2、3、4）；

（3）回看分析

直觀的展示在網(wǎng)用戶回看需求變化以及收視情況（見表5）；

（4）時移分析

時移分析是針對觀看時移用戶播放情況的統(tǒng)計(jì)展示（見圖3）。

表1

表2

表3

表4

4.4.6 銷售分析

銷售分析是針對銷售數(shù)據(jù)的統(tǒng)計(jì)與展示，可直觀的展示產(chǎn)品包的銷售情況、訂購人數(shù)、銷售額等數(shù)據(jù)，可對訂購信息進(jìn)行精細(xì)化分析，也可對用戶退訂的產(chǎn)品進(jìn)行分析，提高用戶訂購率。

（1）訂購概覽

表5

圖3

訂購概覽是針對全平臺的訂購數(shù)據(jù)展示，包括產(chǎn)品包銷售量、產(chǎn)品訂購人數(shù)、產(chǎn)品包銷售額等數(shù)據(jù)，以及展示產(chǎn)品包銷售TOP5、單片購買TOP5、媒資類型銷售比例等，為運(yùn)營人員提供可靠的數(shù)據(jù)支撐。

（2）訂購精細(xì)化

訂購精細(xì)化是針對訂購數(shù)據(jù)的精細(xì)化篩選和展示，支持對銷售量、訂購金額、訂購人數(shù)、退訂人數(shù)、訂購率等展示。

（3）退訂分析

退訂分析支持對退訂用戶信息分析以及產(chǎn)品包分析，對退訂用戶趨勢、地區(qū)分布、退訂率直觀展示，為運(yùn)營人員提供數(shù)據(jù)依據(jù)。

（4）訂購分析

訂購分析針對用戶訂購數(shù)據(jù)進(jìn)行分析，對用戶訂購總數(shù)、訂購失敗數(shù)、訂購失敗率，以及下單情況進(jìn)行統(tǒng)計(jì)，為運(yùn)營人員提供數(shù)據(jù)依據(jù)。

（5）支付分析

支持對支付數(shù)據(jù)分析進(jìn)行展示，以及支持條件篩選，篩選類容包括：支付訂單數(shù)、支付用戶數(shù)、有效收益、新增支付用戶數(shù)、時間段。

（6）收入分析

支持對收入數(shù)據(jù)分析進(jìn)行展示，以及支持條件篩選，篩選內(nèi)容包括：ARPU、有效收益、人均支付金額、時間段。

（7）用戶轉(zhuǎn)化

支持對用戶轉(zhuǎn)化數(shù)據(jù)分析進(jìn)行展示，以及支持條件篩選，篩選內(nèi)容包括：新注冊用戶數(shù)、活躍訂購用戶數(shù)、新注冊用戶轉(zhuǎn)化率、新購買用戶轉(zhuǎn)化率、時間段。

（8）訂購留存

支持對訂購留存數(shù)據(jù)分析進(jìn)行展示，以及支持條件篩選，篩選內(nèi)容包括：1日訂購用戶留存率、30日訂購用戶留存率、3日訂購用戶留存率、7日訂購用戶留存率、時間段。

4.4.7 終端分析

系統(tǒng)根據(jù)終端軟探針采集上報(bào)的數(shù)據(jù)，對終端設(shè)備及故障、卡頓比、慢速比等進(jìn)行監(jiān)測分析統(tǒng)計(jì)。

（1）設(shè)備分析

設(shè)備分析是針對現(xiàn)網(wǎng)設(shè)備的統(tǒng)計(jì)與分析，分析內(nèi)容包括：設(shè)備狀態(tài)、設(shè)備開機(jī)、設(shè)備新增、設(shè)備在線、設(shè)備累計(jì)等維度。

（2）質(zhì)量分析

故障分析：是針對用戶發(fā)送故障的次數(shù)、故障類型、地區(qū)、版本的統(tǒng)計(jì)與分析，幫助運(yùn)維人員排除故障。

卡頓比：是針對用戶播放過程中發(fā)生播放緩沖次數(shù)和播放總次數(shù)的比值統(tǒng)計(jì)與分析，幫助運(yùn)維人員排除故障。

慢速比：是針對用戶播放過程中發(fā)生慢速與播放總次數(shù)的比值統(tǒng)計(jì)與分析，幫助運(yùn)維人員排除故障。

4.5 大屏監(jiān)測

系統(tǒng)具備可視化的圖形UI 設(shè)計(jì)，方便在大屏上更好的展示關(guān)鍵數(shù)據(jù)，并對用戶行為數(shù)據(jù)進(jìn)行實(shí)時監(jiān)控。

（1）可展示平臺運(yùn)行概覽（上線地圖、開機(jī)率、收視總時長、設(shè)備分析等）；

（2）可展示用戶分析（用戶標(biāo)簽變化、地區(qū)排行、活躍用戶數(shù)、上線用戶數(shù)等）；

（3）可展示節(jié)目分析（點(diǎn)播排行榜、點(diǎn)播趨勢、CP 內(nèi)容占比）；

（4）可展示直播分析（頻道排行榜、收視率等）；

（5）終端質(zhì)量監(jiān)控（設(shè)備上線、設(shè)備開機(jī)、故障分析、卡頓比、慢速比等）；

（6）公共法律服務(wù)（在線觀看實(shí)時監(jiān)控、地區(qū)分布情況、學(xué)習(xí)時長等）；

（7）三務(wù)公開監(jiān)管（實(shí)時更新內(nèi)容、頁面訪問情況、各政府部門信息量等）；

（8）黨報(bào)黨刊分析（累計(jì)用戶量、地區(qū)用戶量、周熱門版面排行、往期閱讀趨勢、周文章閱讀進(jìn)度、周熱門版面排行等）。

圖4 首頁展示

圖5 直播分析

圖6 終端質(zhì)量監(jiān)控

圖7 公共法律服務(wù)電視終端

5 平臺系統(tǒng)價值

目前基本已經(jīng)進(jìn)入數(shù)據(jù)智能時代，廣電業(yè)務(wù)的轉(zhuǎn)型正以數(shù)據(jù)為主，通過大數(shù)據(jù)技術(shù)，可實(shí)現(xiàn)故障的精準(zhǔn)定位、用戶喜好的深度分析、節(jié)點(diǎn)/鏈路負(fù)載情況實(shí)時監(jiān)測、預(yù)警分析等，充分了解各個環(huán)節(jié)目前的實(shí)際狀態(tài)可以實(shí)現(xiàn)更為科學(xué)的動態(tài)調(diào)配。通過采集、分析、追蹤用戶的各項(xiàng)指標(biāo)，完成有效數(shù)據(jù)挖掘，顛覆傳統(tǒng)媒體粗放型的管理方式，優(yōu)化現(xiàn)網(wǎng)資源及業(yè)務(wù)，進(jìn)行科學(xué)化運(yùn)營，提升用戶滿意度，最終將“留住用戶、提升效益”。

目前內(nèi)蒙古廣電網(wǎng)絡(luò)大數(shù)據(jù)平臺還與國家廣播電視總局大數(shù)據(jù)平臺進(jìn)行積極對接。此工作完成后，通過數(shù)據(jù)驅(qū)動，能為各級政府進(jìn)行決策提供參考依據(jù)。此平臺經(jīng)過半年多的試運(yùn)營，已在內(nèi)蒙古廣電網(wǎng)絡(luò)集團(tuán)各級分公司全面推開使用，對精準(zhǔn)營銷、網(wǎng)格化管理、提升企業(yè)管理水平提供了更有力的保障。