袁立 孟彩霞 西安郵電大學(xué)計(jì)算機(jī)學(xué)院

1 引言

隨著信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，信息系統(tǒng)規(guī)模不斷擴(kuò)大，并且產(chǎn)生了海量的數(shù)據(jù)，2012年2月《紐約時(shí)報(bào)》發(fā)表專欄文章，宣告了大數(shù)據(jù)時(shí)代的降臨。大數(shù)據(jù)時(shí)代的到來，改變著社會(huì)的方方面面，給企業(yè)帶來了較大的機(jī)遇和挑戰(zhàn)：一方面，以大數(shù)據(jù)分析挖掘?yàn)榛A(chǔ)，企業(yè)可以實(shí)現(xiàn)客戶分群、精準(zhǔn)營銷、事件預(yù)測、資源優(yōu)化、商機(jī)挖掘等功能，從而帶來巨大的商業(yè)價(jià)值，實(shí)現(xiàn)各種高附加值的增值服務(wù)，進(jìn)一步提升企業(yè)的經(jīng)濟(jì)效益和社會(huì)效益；另一方面，企業(yè)的商業(yè)模式、業(yè)務(wù)策略、決策依據(jù)等都將日益基于大數(shù)據(jù)分析而非基于經(jīng)驗(yàn)和直覺，這對企業(yè)的業(yè)務(wù)運(yùn)營支撐體系，主要是信息化體系的建設(shè)以及發(fā)展戰(zhàn)略帶來了巨大挑戰(zhàn)。

2 按照廣播電視用戶的分類

匯總層的數(shù)據(jù)和應(yīng)用層的數(shù)據(jù)按照業(yè)務(wù)邏輯進(jìn)行歸類，分為：客戶類、渠道類、產(chǎn)品類、收入類、行為類、資源類。

3 平臺(tái)建設(shè)

3.1 Hadoop基礎(chǔ)平臺(tái)的建設(shè)

大數(shù)據(jù)HADOOP平臺(tái)架構(gòu)包括數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)和計(jì)算層、數(shù)據(jù)服務(wù)接口層及平臺(tái)自運(yùn)行能力層。要求能夠處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具備實(shí)時(shí)計(jì)算、流數(shù)據(jù)處理、準(zhǔn)實(shí)時(shí)采集生產(chǎn)系統(tǒng)源數(shù)據(jù)的能力。大數(shù)據(jù)平臺(tái)要具備數(shù)據(jù)安全保障能力，滿足省級數(shù)據(jù)安全的相關(guān)管理要求。

（1）數(shù)據(jù)采集層：實(shí)現(xiàn)對數(shù)據(jù)源的數(shù)據(jù)的采集和裝載，并經(jīng)過加工、清洗，提供到大數(shù)據(jù)存儲(chǔ)層完成數(shù)據(jù)存儲(chǔ)。

（2）數(shù)據(jù)存儲(chǔ)與計(jì)算層：采用混合結(jié)構(gòu)搭建，實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和計(jì)算。存儲(chǔ)層采用HDFS存儲(chǔ)架構(gòu)；計(jì)算層包括HIVE、HBASE包括數(shù)據(jù)獲取、離線批處理、實(shí)時(shí)處理、異構(gòu)數(shù)據(jù)同步等功能。其中離線批處理以MapReduce為基礎(chǔ)并提供Hive、Mahout等處理組件，實(shí)時(shí)處理包括Storm流式實(shí)時(shí)計(jì)算框架。

（3）數(shù)據(jù)服務(wù)層：通過數(shù)據(jù)存儲(chǔ)和計(jì)算層的挖據(jù)和分析，將海量數(shù)據(jù)處理結(jié)果通過封裝、開放，根據(jù)不同業(yè)務(wù)部門的使用需求，通過數(shù)據(jù)共享發(fā)布及應(yīng)用提供給外部使用。

3.2 ETL平臺(tái)的建設(shè)

平臺(tái)ETL性能要同時(shí)滿足今后數(shù)據(jù)準(zhǔn)實(shí)時(shí)抽取和批量采集兩種方式的要求，要求能夠在滿足規(guī)定的時(shí)限內(nèi)完成每日數(shù)據(jù)加載工作。ETL過程支持并行處理，且必須具備統(tǒng)一自動(dòng)調(diào)度、日志監(jiān)控和運(yùn)營管理的功能。

3.3 數(shù)據(jù)采集平臺(tái)的建設(shè)

平臺(tái)支持結(jié)構(gòu)化數(shù)據(jù)庫及非結(jié)構(gòu)化數(shù)據(jù)，包括文本、語音、圖片等文件格式。

3.4 數(shù)據(jù)質(zhì)量管控

3.5 數(shù)據(jù)安全管控

（1）數(shù)據(jù)本身安全；

（2）數(shù)據(jù)存儲(chǔ)安全；

（3）數(shù)據(jù)訪問安全；

（4）數(shù)據(jù)展示安全；

（5）數(shù)據(jù)導(dǎo)出安全；

（6）數(shù)據(jù)權(quán)限安全；

（7）數(shù)據(jù)脫敏安全。

3.6 數(shù)據(jù)專題域分析建設(shè)

基于有數(shù)據(jù)業(yè)務(wù)分析系統(tǒng)、用戶行為分析系統(tǒng)、BOSS系統(tǒng)等業(yè)務(wù)域分析系統(tǒng)，能夠?qū)F(xiàn)有業(yè)務(wù)域各分析系統(tǒng)及業(yè)務(wù)域各類數(shù)據(jù)、資源融入大數(shù)據(jù)平臺(tái)，并將各類數(shù)據(jù)、資源、計(jì)算結(jié)果由大數(shù)據(jù)平臺(tái)發(fā)布共享。并產(chǎn)生新的專題分析數(shù)據(jù)。

3.7 數(shù)據(jù)加工處理平臺(tái)

平臺(tái)數(shù)據(jù)處理能力通過能力封裝形式實(shí)現(xiàn)，業(yè)務(wù)處理流程通過可視化平臺(tái)界面進(jìn)行配置，全能力數(shù)據(jù)流處理狀態(tài)可視化，數(shù)據(jù)接入系統(tǒng)后，為方便應(yīng)用程序使用，需具備統(tǒng)一格式轉(zhuǎn)換功能，消息協(xié)議轉(zhuǎn)換功能。

對于消息接口，接收特定協(xié)議格式后，為方便后續(xù)程序處理，需具備常見轉(zhuǎn)換為常見消息格式功能，包括：StringJSONXML等，并具備自定義消息格式功能。

面向內(nèi)外部應(yīng)用，提供大數(shù)據(jù)整合和基礎(chǔ)數(shù)據(jù)處理能力。

外部數(shù)據(jù)源的各類數(shù)據(jù)，負(fù)責(zé)對外部來源系統(tǒng)的數(shù)據(jù)進(jìn)行統(tǒng)一過濾、存儲(chǔ)和沉淀，實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)確性、完整性、一致性。

大數(shù)據(jù)平臺(tái)采用GBase 8a MPP數(shù)據(jù)庫的MPP數(shù)據(jù)庫。

GBase 8a MPP數(shù)據(jù)庫，是在GBase 8a列存儲(chǔ)數(shù)據(jù)庫基礎(chǔ)上開發(fā)的，基于現(xiàn)代云計(jì)算理念和shared nothing架構(gòu)的并行數(shù)據(jù)庫集群，可支持TB到PB級別結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)查詢，高性能、高可用、高擴(kuò)展的分布式、并行的數(shù)據(jù)庫系統(tǒng)。以其獨(dú)特的扁平架構(gòu)，高可用性和動(dòng)態(tài)擴(kuò)展能力，為超大型數(shù)據(jù)管理提供一個(gè)高性價(jià)比的通用平臺(tái)。

3.8 用戶行為分析數(shù)據(jù)的支撐

通過大數(shù)據(jù)平臺(tái)使多種業(yè)務(wù)數(shù)據(jù)匯聚融合，形成支撐對有線電視用戶的使用行為深層洞察能力，最終支撐用戶行為分析的應(yīng)用展示。用戶行為分析 從總量、欄目、節(jié)目逐級剖析、支撐月、日、小時(shí)級的監(jiān)控分析，實(shí)現(xiàn)了數(shù)據(jù)的多維度、多時(shí)段及準(zhǔn)實(shí)時(shí)監(jiān)控。

4 結(jié)語

對客戶進(jìn)行精準(zhǔn)營銷，首先要對客戶特點(diǎn)和客戶需求特點(diǎn)進(jìn)行深入了解，然后根據(jù)這些特點(diǎn)對客戶進(jìn)行特定的業(yè)務(wù)推薦或者維系策略，這樣才可以最大限度提升客戶的滿意度，在改善用戶體驗(yàn)的同時(shí)，適時(shí)的增加廣告精準(zhǔn)投放業(yè)務(wù)，深耕市場提升營業(yè)利潤。

[1]白冰.數(shù)據(jù)挖掘在電視節(jié)目收視率中的應(yīng)用研究[D].江蘇科技大學(xué), 2008.

[2]裴蕾.基于Web數(shù)據(jù)挖掘的電子商務(wù)推薦系統(tǒng)研究[D].同濟(jì)大學(xué),2006.

[3]瞿華禮.數(shù)據(jù)挖掘技術(shù)在電視用戶滿意度分析中的應(yīng)用研究[D].安徽大學(xué), 2011.

[4]王鑫.數(shù)據(jù)挖掘中聚類分析算法的研究[D].山東師范大學(xué), 2006.

[5] 謝曉燕.基于陣列處理器的去塊濾波算法并行化設(shè)計(jì)[N].西安郵電大學(xué)學(xué)報(bào) 2017. P67-72