張 衛(wèi)

(浙江博通影音科技股份有限公司，浙江 杭州 310000)

廣電運營商大數(shù)據(jù)綜合運營平臺設計和實踐

張 衛(wèi)

(浙江博通影音科技股份有限公司，浙江 杭州 310000)

對有線電視運營商大數(shù)據(jù)平臺設計思路、功能架構和應用場景進行分析，介紹了廣電大數(shù)據(jù)分析應用系統(tǒng)的構成及關鍵技術問題，并通過應用案例分析了廣電大數(shù)據(jù)系統(tǒng)的發(fā)展前景。對于有線電視發(fā)展大數(shù)據(jù)運營，有重要的借鑒意義。

廣電運營商；大數(shù)據(jù)；互聯(lián)網(wǎng)+；數(shù)據(jù)采集；數(shù)據(jù)分析

隨著互動媒體的發(fā)展以及服務競爭態(tài)勢的日益加劇，廣電運營商的互動媒體經(jīng)營理念經(jīng)歷了3次重要的變革，第一階段是廣電業(yè)務發(fā)展的初期，業(yè)務單一，僅僅圍繞承載廣播電視傳輸業(yè)務，確保安全播出開展各類服務；第二階段，三網(wǎng)融合政策的推廣促使各地紛紛開展基于有線數(shù)字電視機頂盒的互動點播業(yè)務，交互式服務使廣電的服務業(yè)態(tài)進一步豐富，服務種類更加多樣；第三階段，互聯(lián)網(wǎng)+和智慧城市的東風啟發(fā)了傳統(tǒng)廣電運營商擁抱互聯(lián)網(wǎng)的思維，個性化展現(xiàn)、多屏互動、電子支付、T2O(TV to Online,即電視電商聚合)越來越頻繁地成為互動電視業(yè)務界面的創(chuàng)新元素[1]。

眾多互聯(lián)網(wǎng)時代的新興媒體在業(yè)務發(fā)展過程中構筑了名副其實的大數(shù)據(jù)系統(tǒng)，并通過和大數(shù)據(jù)系統(tǒng)的良性互動進一步深入挖掘和引導了用戶需求，實現(xiàn)了服務創(chuàng)新和產(chǎn)業(yè)共贏。不知不覺間大數(shù)據(jù)成為互聯(lián)網(wǎng)時代商業(yè)模式創(chuàng)新的基石。

廣電行業(yè)在互動媒體業(yè)務運營的過程中，形成和累積了大量文件顆粒度大的視頻內(nèi)容、海量的用戶服務數(shù)據(jù)、億萬次的個性化點播服務請求、海量的直播用戶收視數(shù)據(jù)……這些數(shù)據(jù)的加工處理已經(jīng)融入到廣電媒體運營的方方面面，對廣電運營商制定營銷體系業(yè)務策略、開發(fā)新產(chǎn)品乃至創(chuàng)新商業(yè)模式等都提供了豐富的數(shù)據(jù)支撐[2]。大數(shù)據(jù)時代是廣電行業(yè)的發(fā)展紅利，廣電必須以大數(shù)據(jù)為引擎和催化劑，消除既有業(yè)務系統(tǒng)的數(shù)據(jù)孤島，通過整合各類不同維度的業(yè)務數(shù)據(jù)(直播電視、互動電視、互聯(lián)網(wǎng)電視、手機APP等)形成數(shù)據(jù)倉庫，并以此為基石，細分用戶群體，挖掘不同層次受眾的個性化需求，以大數(shù)據(jù)引領互動媒體服務運營，打造以大數(shù)據(jù)為基礎的精準營銷工具和決策平臺，以應對互聯(lián)網(wǎng)帶來的嚴峻挑戰(zhàn)。

廣電大數(shù)據(jù)平臺在具體業(yè)務開展及后續(xù)決策分析方面都將產(chǎn)生重要的作用及價值。

1 總體功能架構

廣電大數(shù)據(jù)平臺由大數(shù)據(jù)基礎平臺、大數(shù)據(jù)分析系統(tǒng)及智能推薦引擎組成。基于統(tǒng)一標準的數(shù)據(jù)接入規(guī)范，實現(xiàn)對廣電運營商用戶收視行為的廣泛采集，通過大數(shù)據(jù)分析系統(tǒng)對收視數(shù)據(jù)進行基礎分析和處理，利用智能推薦引擎為廣電運營商提供全面的業(yè)務精準營銷。總體功能架構如圖1所示。

圖1 總體功能架構

智能推薦引擎及大數(shù)據(jù)分析系統(tǒng)都是基于大數(shù)據(jù)基礎平臺實現(xiàn)。

大數(shù)據(jù)基礎平臺提供海量數(shù)據(jù)整合、數(shù)據(jù)存儲、數(shù)據(jù)計算的能力子系統(tǒng)。針對廣電的結構化、非結構化數(shù)據(jù)，提供大型的、并行的數(shù)據(jù)倉庫；提供對海量數(shù)據(jù)分析的能力；針對廣電產(chǎn)生流量的實時數(shù)據(jù)，提供流計算的能力。

智能推薦引擎基于海量聚合內(nèi)容數(shù)據(jù)及用戶行為數(shù)據(jù)進行采集、清洗、集中處理和智能分析，以相關性推薦及個性化推薦為核心分析方向，面向多屏上層應用提供用戶相關性及個性化的數(shù)據(jù)推薦、搜索數(shù)據(jù)推薦服務以及實時的內(nèi)容分析服務。

大數(shù)據(jù)分析系統(tǒng)可處理數(shù)據(jù)量在TB到PB級別的用戶規(guī)模，并支持彈性縮容、擴容，通過針對廣電行業(yè)數(shù)據(jù)分析展現(xiàn)，達到對用戶需求洞察、產(chǎn)品決策支持的能力[3]。

2 功能模塊分解

整體功能模塊分解如圖2所示。

2.1 大數(shù)據(jù)基礎平臺

基于HDFS2建立大數(shù)據(jù)平臺的數(shù)據(jù)倉庫，對大量數(shù)據(jù)進行存儲、維護、備份等管理；通過Sqoop對結構化數(shù)據(jù)進行轉換加載；通過Flume采集半結構化、非結構化數(shù)據(jù)進行采集轉換；在HDFS2的基礎之上建立Hbase查詢引擎、Hive分析引擎；通過Yarn調(diào)度實現(xiàn)MapReduce分布式離線計算；通過Storm實現(xiàn)在線流式計算；通過Spark實現(xiàn)集群的內(nèi)存計算；通過BI提供對大數(shù)據(jù)基礎平臺運行狀況的監(jiān)控及分析。

圖2 功能模塊分解

2.2 智能推薦系統(tǒng)

搜索推薦模型管理功能提供對搜索聯(lián)想詞推薦管理的功能；推薦模型管理功能提供對各類推薦模型的參數(shù)、配置、數(shù)據(jù)的管理；內(nèi)容數(shù)據(jù)分析，提供在線標題、內(nèi)容查看、分析的功能；用戶畫像管理功能提供對用戶畫像規(guī)則及參數(shù)的管理；數(shù)據(jù)源管理功能提供對相關媒體內(nèi)容元數(shù)據(jù)，用戶行為原始數(shù)據(jù)、用戶基礎數(shù)據(jù)的數(shù)據(jù)清洗、抓取、聚合的管理；算法管理功能提供對各類算法的通用參數(shù)、獨立參數(shù)的管理，以及對算法組件增加的管理；推薦效果分析功能對推薦服務進行A/B Test分析，推薦調(diào)用統(tǒng)計、推薦服務調(diào)試等功能；系統(tǒng)管理功能對智能推薦引擎平臺的角色權限、推薦API等的管理功能。

2.3 數(shù)據(jù)分析平臺

數(shù)據(jù)分析平臺可根據(jù)客戶需求及實際情況，進行定制性分析，基本功能如下：直播業(yè)務分析，針對傳統(tǒng)業(yè)務頻道、節(jié)目進行收視份額數(shù)據(jù)、用戶UV、用戶忠誠度等分析；點播業(yè)務分析，針對新媒體業(yè)務的點播、時移、回看等進行數(shù)據(jù)的各類分析。

3 關鍵技術介紹

3.1 實時智能推薦技術

實時推薦系統(tǒng)如圖3所示。

圖3 實時推薦系統(tǒng)

開放API，將分析和挖掘系統(tǒng)相關功能以服務API的形式封裝和打包，對外提供訪問接口?；诹饔嬎愕膬?nèi)容資源分析與挖掘，為用戶提供基于自身需求的定制化服務和響應，充分挖掘數(shù)據(jù)蘊含的深層價值。基于分布式并行計算，對數(shù)據(jù)做復雜的業(yè)務處理，實現(xiàn)海量內(nèi)容資源離線分析與挖掘。

3.2 融合異構推薦算法模型

異構推薦系統(tǒng)如圖4所示。

圖4 異構推薦系統(tǒng)

本系統(tǒng)的算法模型設計，參考融合推薦框架。通過內(nèi)容過濾、統(tǒng)計過濾、協(xié)同過濾機制，采用多種基礎算法(切詞算法、SVD等)、推薦模型(I2I KNNU2U KNN混合模型)的合理混合，進行推薦預測并輸出推薦列表，通過用戶反饋數(shù)據(jù)的交叉驗證，來評估推薦效果，并進一步優(yōu)化推薦模型。

4 典型應用場景

4.1 影視劇內(nèi)容評估優(yōu)化

綜合數(shù)字電視、互聯(lián)網(wǎng)視頻網(wǎng)站、移動互聯(lián)網(wǎng)APP、社交網(wǎng)站等多個渠道形成對影視劇的收視情況的綜合評價，形成相關指導指數(shù)，構成相對于收視率更加全面的收視評價數(shù)據(jù)(見圖5)。

圖5 影視劇內(nèi)容評估(截圖)

一方面，可以為影視制作單位提供可靠的收視依據(jù)，便于影視制作單位對收視情況的量化評估，同時也為后繼的影視劇生產(chǎn)和投資方向起到輔助決策的作用。甚至可以參照《紙牌屋》的制作模式，邊播邊拍，用戶和制作方良性互動，創(chuàng)作更多易為客戶接受的定制劇產(chǎn)品。

另一方面，可以為廣電運營商設置影視專區(qū)，對媒體內(nèi)容的分類管理提供有效的決策依據(jù)。

同時，還可以為影視劇版權購買策略的制定提供重要的決策依據(jù)，對不同劇種的廣告銷售策略的定價提供數(shù)據(jù)支撐。

4.2 營銷策略優(yōu)化

廣電大數(shù)據(jù)平臺將重構精確營銷模式，一方面綜合原有CRM系統(tǒng)、BI系統(tǒng)的同時還可以從諸如社交媒體數(shù)據(jù)、郵件數(shù)據(jù)、地理位置、物聯(lián)網(wǎng)信息、移動互聯(lián)網(wǎng)信息等不同維度增加對非結構化數(shù)據(jù)的采集、處理、挖掘和分析。個性化推薦界面如圖6所示。

圖6 個性化推薦界面(截圖)

根據(jù)大數(shù)據(jù)分析結果，在電視門戶、網(wǎng)站門戶、手機門戶等推薦位推薦相關的公共內(nèi)容，產(chǎn)生收視排行榜，供用戶自由選擇收看。

分析每個用戶/客戶的消費能力、交往圈、習慣與愛好等，然后提供智能化服務與消費引導。提供定向推送廣告等服務，從而實現(xiàn)廣告的精準到達，大大提升廣告的點擊率和營銷效果。同時可以為用戶推薦個性化的節(jié)目內(nèi)容，或者跟電商合作，推薦相關的電商產(chǎn)品?？筛鶕?jù)用戶登錄區(qū)域、時間的不同推薦不同的內(nèi)容，可以在不同的屏上實現(xiàn)相同內(nèi)容的推送，保證用戶體驗上的一致性。個性化推薦界面如圖6所示。

4.3 運營產(chǎn)品優(yōu)化

根據(jù)大數(shù)據(jù)分析，形成反饋意見優(yōu)化門戶等交互產(chǎn)品的設計，使設計更加人性化，更加符合用戶使用習慣，從而提升產(chǎn)品的價值(見圖7)。

圖7 運營產(chǎn)品優(yōu)化

4.4 網(wǎng)絡運維資源優(yōu)化

可以根據(jù)用戶的收視習慣優(yōu)化網(wǎng)絡的配置，特別是邊緣網(wǎng)絡資源的配置，對于點播等互動業(yè)務比較頻繁的區(qū)域，可以增加IPQAM等邊緣網(wǎng)絡設備的數(shù)量，并盡量將相關設備下沉部署，對于那些互動業(yè)務訂購量不大、點播行為不活躍的地區(qū)，可以減少相關設備的投入，從而最大程度地實現(xiàn)網(wǎng)絡資源和業(yè)務成本的最優(yōu)配比。

5 小結

廣電運營商經(jīng)歷了從模擬到數(shù)字，從廣播到互動，從單一廣播電視業(yè)務到融合了寬帶、互動電視和移動視頻的全媒體業(yè)務的轉變，從媒體內(nèi)容的生產(chǎn)、加工、消費和運營各個環(huán)節(jié)都實現(xiàn)了數(shù)字化，多年的運營累計了大量的用戶消費數(shù)據(jù)和業(yè)務運營數(shù)據(jù)，對于廣電運營商而言，通過對結構化和非結構化數(shù)據(jù)的挖掘分析，細分用戶群體，挖掘群體化消費需求，打造社交化媒體消費平臺，是優(yōu)化廣電現(xiàn)有業(yè)務、開展精細化運營的必要手段，從而實現(xiàn)對用戶消費群體的細分，實現(xiàn)精確地定制產(chǎn)品和服務，將細分業(yè)務做深做細，將基礎業(yè)務做大做強，滿足日益?zhèn)€性化的用戶需求，有效應對互聯(lián)網(wǎng)競爭的大潮。

[1] 孫亮.基于大數(shù)據(jù)應用的互動電視增強業(yè)務研究[J].電視技術，2013，37(22)：7-9.

[2] 李銳.淺談廣電運營商的大數(shù)據(jù)分析及應用系統(tǒng) [J].有線電視技術，2013(9)：19-22.

[3] 尹亞光，施玉海.大數(shù)據(jù)對媒體融合發(fā)展的支撐和促進[J].廣播電視信息，2015(12)：12-16.

責任編輯：許 盈

Design and practice of big data integrated operating platform owned by television cable network operators

ZHANG Wei

(ZheJiangBrightMediaTechnologiesInc.，Hangzhou310000，China)

The ideas focused on big data platform about its architecture designing, function modules defining, users scenarios planning and others are discussed, it introduces and analyzes the components and key technologies to build the platform which will show outstanding performance about the service analysis and reporting sector. The article also outlooks the future perspective about the cable network operators’ big data service based on the detail cases studying. And it is meaningful for the development of big data operating of television cable network.

television cable operators; big-data; Internet+; data mining; data analysis

張衛(wèi). 廣電運營商大數(shù)據(jù)綜合運營平臺設計和實踐[J].電視技術，2017，41(1)：42-46. ZHANG W. Design and practice of big data integrated operating platform owned by television cable network operators[J].Video engineering，2017，41(1)：42-46.

TN949

A

10.16280/j.videoe.2017.01.009

2016-05-27