劉丹 趙云飛

摘要：當(dāng)今，在新媒體的猛烈攻勢下，傳統(tǒng)電視媒體受到了很大的沖擊。傳統(tǒng)媒體正開始尋求與新媒體的融合發(fā)展，媒介融合、臺網(wǎng)互動由學(xué)術(shù)概念發(fā)展到實際的業(yè)務(wù)當(dāng)中。本文在對國內(nèi)外研究成果梳理、總結(jié)的基礎(chǔ)上，結(jié)合自身的項目經(jīng)歷，運用大數(shù)據(jù)、數(shù)據(jù)挖掘、文本情感分析等理論和方法，探索了大數(shù)據(jù)在互聯(lián)網(wǎng)電視節(jié)目效果評估中的應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)挖掘;電視節(jié)目

引言

大數(shù)據(jù)時代，每一檔電視節(jié)目，觀眾均會對其發(fā)表大量的網(wǎng)絡(luò)評論，這些評論帶有觀眾對電視節(jié)目的態(tài)度和觀點，通過研究這些網(wǎng)絡(luò)評論數(shù)據(jù)可以挖掘觀眾態(tài)度、喜好，電視工作者通過這些信息可以更好地進行節(jié)目內(nèi)容的創(chuàng)作。

1 需求分析

本文研究的內(nèi)容來源于實際項目的需要，研究電視節(jié)目在新媒體領(lǐng)域的傳播效果。系統(tǒng)主要功能包括：視頻網(wǎng)站中電視欄目的用戶評論的采集、海量用戶評論的存儲、用戶評論的分析。本次研究，將選取綜藝節(jié)目《奔跑吧兄弟》，采集其在愛奇藝、優(yōu)酷、騰訊視頻平臺的評論數(shù)據(jù)，通過海量數(shù)據(jù)的數(shù)據(jù)挖掘，評估用戶對節(jié)目的情感傾向性。

2 系統(tǒng)設(shè)計與實現(xiàn)

2.1 系統(tǒng)總體設(shè)計

本系統(tǒng)的技術(shù)架構(gòu)[1]：

（1）數(shù)據(jù)采集層：采集海量的用戶評論數(shù)據(jù)。采集后的數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換、加載的處理。

（2）數(shù)據(jù)存儲層：匯總存儲采集的用戶評價數(shù)據(jù)。

（3）數(shù)據(jù)挖掘?qū)樱河晒芾砥脚_負責(zé)整體任務(wù)的調(diào)度，MapReduce負責(zé)計算引擎，通過機器學(xué)習(xí)模型，實現(xiàn)海量用戶評論數(shù)據(jù)的文本情感分析，并將分析后的數(shù)據(jù)存儲到數(shù)據(jù)倉庫中。

（4）數(shù)據(jù)可視化層：接收用戶提交的各項分析任務(wù)請求，調(diào)用底層的分析引擎進行數(shù)據(jù)的分析任務(wù)，將底層分析結(jié)果返回給前臺界面顯示。

數(shù)據(jù)流的走向設(shè)計：

2.2 數(shù)據(jù)倉庫設(shè)計

本系統(tǒng)的數(shù)據(jù)倉庫基于數(shù)據(jù)立方體理論進行設(shè)計[2]，包含2-D數(shù)據(jù)表，以及3-D數(shù)據(jù)表：

2.3 大數(shù)據(jù)平臺設(shè)計

本次課題研究將選取Cloudera發(fā)行版作為大數(shù)據(jù)平臺。

基礎(chǔ)環(huán)境采用4臺機器的集群模式，單臺機器配置：

CPU：Intel（R） Core（TM） i7-6700 CPU @ 3.40GHz *4

內(nèi)存：32G

硬盤：1T

操作系統(tǒng)：CentOS6.5

主機 Hadoop組件

CDH Node1 HBase Master、HBase RegionServer、HDFS NameNode、HDFS DataNode、YARN NodeManager、Zookeeper Server

CDH Node2 HBase RegionServer、HDFS DataNode、HDFS SecondaryNameNode、YARN NodeManager、YARN ResourceManager、Zookeeper Server

CDH Node3 HBase RegionServer、HDFS DataNode、Oozie Server、YARN NodeManager、Zookeeper Server

CDH Node4 HBase RegionServer、HDFS DataNode、YARN NodeManager

2.4 數(shù)據(jù)采集模塊的設(shè)計與實現(xiàn)

本系統(tǒng)涉及的數(shù)據(jù)源包括優(yōu)酷、愛奇藝、騰訊三個視頻網(wǎng)站的綜藝節(jié)目《奔跑吧兄弟》的用戶評論數(shù)據(jù)。

用戶評論數(shù)據(jù)表，共分為三個數(shù)據(jù)庫表comment_youku、comment_iqiyi、comment_qq，MySQL數(shù)據(jù)庫表設(shè)計

數(shù)據(jù)采集模塊的工作流程：獲取用戶評論數(shù)據(jù)URL->解析URL數(shù)據(jù)->將數(shù)據(jù)暫存到MySQL數(shù)據(jù)庫。

2.5 數(shù)據(jù)存儲模塊的設(shè)計與實現(xiàn)

數(shù)據(jù)存儲模塊，定期從數(shù)據(jù)庫表comment_youku、comment_iqiyi、comment_qq同步數(shù)據(jù)到HBase中。

使用ETL工具將MySQL數(shù)據(jù)庫中的用戶評論數(shù)據(jù)定期、增量導(dǎo)入到HBase，處理流程：配置MySQL/HBase數(shù)據(jù)源->MySQL中的數(shù)據(jù)表與HBase中的數(shù)據(jù)表進行映射和規(guī)則轉(zhuǎn)換->配置每天零點定時執(zhí)行的計劃任務(wù)。

2.6 數(shù)據(jù)分析模塊的設(shè)計與實現(xiàn)

本文將采用基于機器學(xué)習(xí)的情感分析方法。為了能針對海量評論數(shù)據(jù)進行大規(guī)模的情感分析，需要基于MapReduce計算引擎完成。

本系統(tǒng)將使用Java開發(fā)實現(xiàn)MapReduce的過程：連接HBase數(shù)據(jù)庫->創(chuàng)建MapReduce任務(wù)->Map過程：調(diào)用機器學(xué)習(xí)模型完成每條用戶評價的情感傾向性判斷->Reduce過程：實現(xiàn)電視節(jié)目評價分析的數(shù)據(jù)匯總。

2.7 數(shù)據(jù)可視化模塊的設(shè)計與實現(xiàn)

數(shù)據(jù)可視化模塊，使用Web交互模式，用戶可以通過瀏覽器查詢分析結(jié)果。采用MVC設(shè)計模式。在頁面展示方面，圖表展示基于ECharts框架進行開發(fā)。

數(shù)據(jù)可視化模塊的處理流程：互聯(lián)網(wǎng)電視節(jié)目評價分析查詢->根據(jù)用戶選擇的不同維度匹配不同的分析引擎->查詢數(shù)據(jù)倉庫相應(yīng)的維度數(shù)據(jù)->頁面呈現(xiàn)。

3 結(jié)語

大數(shù)據(jù)挖掘技術(shù)應(yīng)用于電視節(jié)目效果評估，本文進行了研究及系統(tǒng)設(shè)計實現(xiàn)。我們可以基于此系統(tǒng)，進行非常廣泛的實際應(yīng)用，例如通過獲取觀眾對電視節(jié)目的評論信息，分析觀眾對電視節(jié)目的喜好，及時調(diào)整電視節(jié)目的制作。

參考文獻

[1]曹佳豪. 基于Hadoop的報文數(shù)據(jù)挖掘研究與應(yīng)用[D]. 武漢郵電科學(xué)研究院，2018.

[2]丁青松. 基于Hadoop平臺的大數(shù)據(jù)增量處理技術(shù)的研究[D]. 東北大學(xué)，2014.

作者簡介：劉丹（1980-），女，漢族，遼寧沈陽人，碩士，軟件工程師，研究方向：大數(shù)據(jù)技術(shù)