顧軍華 高 星 王守彬 武君艷 張素琪

1(河北工業(yè)大學(xué)計算機(jī)科學(xué)與軟件學(xué)院 天津 300401)2(河北省大數(shù)據(jù)計算重點(diǎn)實(shí)驗(yàn)室 天津 300401)3(天津商業(yè)大學(xué)信息工程學(xué)院 天津 300134)

0 引 言

伴隨中國網(wǎng)絡(luò)信息技術(shù)和“三網(wǎng)融合”的推進(jìn)發(fā)展，IPTV行業(yè)的發(fā)展規(guī)模和發(fā)展速度都呈現(xiàn)快速增長的態(tài)勢。截至2016年12月末，IPTV用戶達(dá)到8 673萬戶[1]，較2015年增加了4 084萬戶，增長率為89%，快速發(fā)展的同時也面臨著巨大的挑戰(zhàn)。無論是IPTV平臺還是傳統(tǒng)媒體平臺，洞察和理解用戶的需求是每一個媒體平臺發(fā)展的重中之重。目前，依據(jù)視頻供應(yīng)商提供的視頻信息作為評估體系的指標(biāo)，并依據(jù)經(jīng)驗(yàn)設(shè)定指標(biāo)權(quán)重的方法建立的評估模型均已無法準(zhǔn)確地評估視頻，不能滿足IPTV受眾群體的需求。利用新媒體和傳統(tǒng)媒體的海量視頻數(shù)據(jù)建立一套完整的IPTV視頻評估體系，并利用IPTV平臺已經(jīng)積累的歷史收視數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘建立針對IPTV受眾群體的評估模型是解決目前視頻評估困境的重要途徑。

視頻評估體系中各指標(biāo)的確定是建立視頻評估模型的基礎(chǔ)。2009年喻國明等[2]提出電視節(jié)目的收視率無法代表觀眾真實(shí)的滿意度，更無法測量電視媒體的社會影響；2011年劉燕南[3-4]提出節(jié)目的評估指標(biāo)體系，應(yīng)從指導(dǎo)力、影響力、傳播力、專業(yè)性幾個指標(biāo)來選擇和定檔節(jié)目,國內(nèi)常見的電視節(jié)目評估體系是指為實(shí)現(xiàn)評估目的而構(gòu)建的一套多指標(biāo)、綜合性、定量化的評估系統(tǒng),一般是將各種待評要素指標(biāo)化和可測化，主要采用量化方式處理不同指標(biāo)之間的關(guān)系，最終形成由各種指標(biāo)、權(quán)重和數(shù)學(xué)運(yùn)算組成的系統(tǒng)；2013年潘洪濤[5]提出大數(shù)據(jù)框架下的收視評估體系不僅要反映用戶對視頻內(nèi)容的認(rèn)知效果，更應(yīng)該能洞見用戶對視頻內(nèi)容的情感效果，并且能利用評估指標(biāo)進(jìn)一步預(yù)測用戶對視頻內(nèi)容的態(tài)度；2015年韓瑞娜等[6]提出在網(wǎng)絡(luò)電視平臺、傳統(tǒng)電視平臺、手機(jī)等多屏發(fā)展的時代下，對于視頻的評估要關(guān)注視頻的收視度和滿意度；2016年楊狀振[7]提出把電視節(jié)目內(nèi)容的輿論引導(dǎo)力、社會影響力、內(nèi)容傳播力、和專業(yè)化制作水平納入評價體系，提高評價體系的科學(xué)性。目前，針對IPTV視頻的評估體系還未見報道，因此，本文基于新媒體視頻大數(shù)據(jù)和傳統(tǒng)媒體視頻大數(shù)據(jù)從視頻收視度、視頻影響度和視頻內(nèi)容三個方面提出一個較為完善且實(shí)用的視頻評估體系，體系中各個指標(biāo)數(shù)據(jù)可以通過網(wǎng)絡(luò)爬蟲技術(shù)獲取，將其作為建立視頻評估模型的基礎(chǔ)。

建立評估模型的常用的方法有層次分析法和主成份分析法。層次分析法需要輸入指標(biāo)之間的判斷矩陣，需要先驗(yàn)知識和人工干預(yù)。主成分分析法選取多指標(biāo)中的一部分重要指標(biāo)作為評估模型的輸入，一定程度上損失了評估準(zhǔn)確度。人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)在信息評估方面的研究，在國際上已經(jīng)取得了很多成果。胡偉雄等[8]指出利用BP神經(jīng)網(wǎng)絡(luò)建立評價模型對于評價的準(zhǔn)確度有更高的價值；于戰(zhàn)果等[9]提出基于BP神經(jīng)網(wǎng)絡(luò)的部隊(duì)后勤機(jī)動平臺維修能力的評估模型；張忠偉等[10]提出了采用基于BP神經(jīng)網(wǎng)絡(luò)來進(jìn)行體脂百分比評估模型的構(gòu)建；戴晗[11]提出了基于BP神經(jīng)網(wǎng)絡(luò)的機(jī)場類項(xiàng)目前期風(fēng)險評估模型。本文首次提出利用BP神經(jīng)網(wǎng)絡(luò)建立視頻評估模型，采用具有三層結(jié)構(gòu)的ANN反向傳播模型，利用ANN的并行性、容錯性和自學(xué)習(xí)等特點(diǎn)，以及ANN具有以任意精度逼近任何連續(xù)的非線性函數(shù)的功能[12]，來準(zhǔn)確地反映視頻評估體系中各個指標(biāo)和視頻隱式評分之間的復(fù)雜關(guān)系。

綜上，本文綜合新媒體和傳統(tǒng)媒體的視頻大數(shù)據(jù)完善了IPTV視頻評估體系，并利用網(wǎng)絡(luò)爬蟲技術(shù)進(jìn)行各大視頻網(wǎng)站的視頻相關(guān)數(shù)據(jù)采集；利用IPTV平臺已經(jīng)積累的歷史收視數(shù)據(jù)來計算視頻在IPTV平臺上的隱式評分；將視頻在評估體系中的各個指標(biāo)數(shù)據(jù)作為輸入，視頻隱式評分作為輸出，使用BP神經(jīng)網(wǎng)絡(luò)建立視頻評估模型。實(shí)驗(yàn)證明，所構(gòu)建的評估模型能夠更加全面、準(zhǔn)確地評估視頻。本文在Spark大數(shù)據(jù)平臺上建立BP神經(jīng)網(wǎng)絡(luò)的并行評估模型，證明基于大數(shù)據(jù)的視頻評估模型，能夠更準(zhǔn)確地評估視頻，并且提高了構(gòu)建評估模型的效率。

1 基于大數(shù)據(jù)的IPTV視頻評估體系

IPTV視頻評估體系的各指標(biāo)是評估IPTV視頻的重要依據(jù)，是建立視頻評估模型的基礎(chǔ)。本文通過綜合文獻(xiàn)和IPTV已有的評估體系，分析新媒體和傳統(tǒng)媒體海量視頻數(shù)據(jù)，總結(jié)出更為完善的IPTV視頻評估體系。新的視頻評估體系從視頻收視度、視頻影響度和視頻內(nèi)容三個方面進(jìn)行完善。視頻收視度包括視頻的播放量和票房；視頻影響度包括網(wǎng)絡(luò)評分、獲獎情況、上映時間、上映地區(qū)和首播平臺等；視頻內(nèi)容包括視頻的創(chuàng)作團(tuán)隊(duì)、視頻的所屬類型，視頻創(chuàng)作團(tuán)隊(duì)包含有導(dǎo)演、演員、原著和制片人，所屬類型按照新聞、電影、電視劇、體育、生活、財經(jīng)等14個大類分了不同的標(biāo)簽。利用爬蟲技術(shù)，分別從評估體系中各個指標(biāo)對應(yīng)的數(shù)據(jù)來源處進(jìn)行數(shù)據(jù)采集，完善后的評估體系和各指標(biāo)數(shù)據(jù)來源如表1所示。

表1 完善之后的IPTV視頻評估體系

2 基于BP神經(jīng)網(wǎng)絡(luò)的視頻評估模型

對于完善之后的視頻評估體系，如何確立各個指標(biāo)對最終視頻受歡迎程度之間的作用強(qiáng)弱是建立視頻評估模型的重要任務(wù)。目前，IPTV的編輯們只是將視頻各項(xiàng)指標(biāo)的分?jǐn)?shù)按照經(jīng)驗(yàn)所設(shè)定的權(quán)重進(jìn)行累加得到視頻的總評分，并不能準(zhǔn)確的反映出IPTV受眾群體的喜好。本文提出利用BP神經(jīng)網(wǎng)絡(luò)來分析IPTV歷史數(shù)據(jù)并建立視頻評估模型，將IPTV已上線視頻對應(yīng)視頻評估體系中的各項(xiàng)指標(biāo)數(shù)據(jù)作為評估模型的輸入，首次引入能反映這些視頻受歡迎程度的隱式評分作為視頻評估模型的輸出，從而提高視頻評估的準(zhǔn)確度。

2.1 隱式評分

視頻在IPTV平臺上的受歡迎程度是視頻評估模型的重要輸出信息，據(jù)此建立的視頻評估模型才能真正反映IPTV受眾群體的喜好。在IPTV實(shí)際應(yīng)用中，受到電視平臺的操作性和傳統(tǒng)用戶收視習(xí)慣等條件的影響，用戶往往不愿意給出視頻收看后的評分和喜好程度等信息，因此隱式反饋方法更適用于IPTV平臺對視頻受歡迎程度的衡量。隱式反饋是通過分析用戶的收視行為數(shù)據(jù)，間接得到用戶對視頻的偏好信息，綜合所有用戶對同一視頻的偏好信息即可獲得該視頻的受歡迎程度。

本文的研究團(tuán)隊(duì)在以往的研究中已經(jīng)提出從用戶收視行為中提取用戶對某個視頻的觀看時長、以及觀看時長與節(jié)目總時長的比值兩個指標(biāo)作為衡量用戶偏好的依據(jù)，找出了用戶收視行為與隱式評分存在的關(guān)系?；谑找晻r長和收視比值的隱式評分模型公式如下:

β·cos2(scaleij·π)·scaleij]

(1)

式中的scoreij為用戶i對視頻j的隱式評分，其中α和β分別是收視時長和收視比值的權(quán)重因子，timeij為用戶i對視頻j的收視時長，avg_timej為用戶i的平均收視時長，scaleij為用戶i對視頻j的收視時長占視頻j總時長的比值，n為同一用戶對同一視頻的收視行為次數(shù)。

式(1)得到的隱式評分為一個用戶對看過的一個視頻的隱式評分，針對同一視頻j，計算所有用戶對該視頻的平均評分，即為視頻j的隱式評分，公式如下：

(2)

2.2 視頻評估體系各指標(biāo)的量化和歸一化

IPTV平臺上的視頻類型包括電影、電視劇、新聞、紀(jì)錄片、綜藝和體育等14個大類。采集來的視頻指標(biāo)信息包括表1中的若干指標(biāo)，各個指標(biāo)的含義和單位各不相同，為了能夠?qū)⑺兄笜?biāo)用以建立評估模型，需要對各指標(biāo)進(jìn)行量化處理。在進(jìn)行評估模型的訓(xùn)練之前，還需要對輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行歸一化處理，以使數(shù)據(jù)在同一數(shù)量級，從而加快神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，提高網(wǎng)絡(luò)的收斂性和最終模型的準(zhǔn)確度。根據(jù)完善之后的IPTV視頻評估體系，結(jié)合實(shí)際采集到的視頻信息，本文以電視劇類型為例說明各個指標(biāo)量化和歸一化的方法。

電視劇涉及到的評估指標(biāo)有八項(xiàng)，分別是:播放量、網(wǎng)絡(luò)評分、導(dǎo)演、演員、首播平臺、上映時間、上映地區(qū)和視頻類型。其中播放量和網(wǎng)絡(luò)評分可直接在各大視頻網(wǎng)站獲取，直接計算兩項(xiàng)平均值記為C1、C2，電視劇的導(dǎo)演、主演員和首播平臺都是固定的因素，由視頻評估專家按照導(dǎo)演的獲獎情況、主演員的職業(yè)等級和首播衛(wèi)視的級別情況給出的量化標(biāo)準(zhǔn)直接打分，量化后分別記為C3、C4、C5。電視劇的上映時間，上映地區(qū)和視頻類型涉及到的影響因素較多，綜合多個視頻評估專家的意見，將這三個評估指標(biāo)分別細(xì)分為多個實(shí)際因素，然后采用層次分析法計算各因素權(quán)重，將因素權(quán)重作為這三項(xiàng)評估指標(biāo)的量化標(biāo)準(zhǔn)。下面以上映時間為例說明采用層次分析法建立量化標(biāo)準(zhǔn)的過程。

首先總結(jié)評估專家的意見，結(jié)合電視劇上映時間的實(shí)際情況，將上映時間涉及到的實(shí)際因素分為四類，分別對應(yīng)著不同的時間段，建立的量化模型如圖1所示。

圖1 量化模型圖

然后針對四個實(shí)際因素的相對重要性，由評估專家進(jìn)行打分，兩兩比較得到判斷矩陣。

表2中“1”表示為兩個元素相比較，具有同等的重要性，“3”表示為兩個元素相比較，一個元素比另一個元素比較重要，數(shù)值的大小表示重要程度的強(qiáng)弱。

表2 上映時間C6判斷矩陣

通過求解矩陣的最大特征根和特征向量，計算得到一致性指標(biāo)CI=0.006 4，一致性比率CR=0.007 1<0.1，說明結(jié)果有效。最大特征值對應(yīng)的單位特征向量為w=(0.587 2，0.217 9，0.122 8，0.072)T。

由此得到四個因素所對應(yīng)的權(quán)重。將各因素的權(quán)重作為上映時間C6的量化標(biāo)準(zhǔn)，即：

(3)

同理可得上映地區(qū)C7，視頻類型C8的量化標(biāo)準(zhǔn)如下:

(4)

(5)

綜上，用Input表示評估模型的輸入向量，用Output表示評估模型的輸出向量，其中Imp表示IPTV電視劇的隱式評分。合成后表示公式如下。

Input={C1,C2,C3,C4,C5,C6,C7,C8}

(6)

Output={Imp}

(7)

進(jìn)行訓(xùn)練之前需要對各項(xiàng)輸入數(shù)據(jù)和輸出數(shù)據(jù)分別進(jìn)行歸一化處理，將數(shù)據(jù)限定在[0，1]，歸一化的公式如下：

(8)

式中:Xmax，Xmin分別代表在該項(xiàng)數(shù)據(jù)中的最大值和最小值，Xi為最初數(shù)據(jù)。

2.3 基于BP神經(jīng)網(wǎng)絡(luò)建立視頻評估模型

BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱含層和輸出層三部分組成，各層神經(jīng)元之間的權(quán)值通過反向傳播的方法調(diào)整，是目前應(yīng)用較多的神經(jīng)網(wǎng)絡(luò)模型之一，它能學(xué)習(xí)和存儲大量的輸入輸出映射關(guān)系而無需事先揭示出描寫這些關(guān)系的數(shù)學(xué)方程[13]。本文使用BP神經(jīng)網(wǎng)絡(luò)建立視頻評估模型，其中輸入層的節(jié)點(diǎn)數(shù)設(shè)定為8，各節(jié)點(diǎn)分別對應(yīng)著C1、C2、C3、C4、C5、C6、C7、C8；隱含層的節(jié)點(diǎn)數(shù)設(shè)定為10；由于輸入的各項(xiàng)指標(biāo)得到的評估值只有一項(xiàng)，故將輸出層的節(jié)點(diǎn)數(shù)設(shè)定為1，對應(yīng)著視頻的隱式評分Imp。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

圖2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖

訓(xùn)練過程包括前向傳播和反向傳播兩個過程。首先輸入層接收輸入信息，經(jīng)過隱含層處理再將輸出信息傳遞至輸出層，通過計算輸出層的輸出信息與對應(yīng)視頻隱式評分的誤差來調(diào)整神經(jīng)元之間的權(quán)值。經(jīng)過反復(fù)的迭代訓(xùn)練，使得誤差逐漸下降。

3 基于SPARK的并行化視頻評估模型

利用BP神經(jīng)網(wǎng)絡(luò)來建立評估模型的一個主要問題是IPTV已有的歷史數(shù)據(jù)量巨大，傳統(tǒng)的串行方式不能承擔(dān)大數(shù)據(jù)規(guī)模下的不斷迭代和計算的過程。IPTV的一個用戶在一個星期內(nèi)的收視行為在2 000條左右，而IPTV的總用戶超過了8 000萬，如果想得到一個準(zhǔn)確有效的評估模型，需要綜合 IPTV平臺上所有用戶的收視行為進(jìn)行模型建立。目前，分布式的機(jī)器學(xué)習(xí)在大規(guī)模數(shù)據(jù)挖掘方面非常有效，參數(shù)服務(wù)器[14-17]使得學(xué)習(xí)算法易于部署在大規(guī)模集群上。Spark是一個基于內(nèi)存的分布式計算平臺，它擁有Hadoop MapReduce的全部優(yōu)點(diǎn)，從而不再需要讀寫Hadoop分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)，提高了并行計算的速度[18]，這使得它在大數(shù)據(jù)分析處理方面相較于其他平臺更加高效。Spark的核心抽象模型是彈性分布式數(shù)據(jù)集RDD[19](Resilient Distributed Datasets)，Spark為RDD提供了各種功能的操作，這使得數(shù)據(jù)集的處理更加高效快捷。本文基于Spark平臺實(shí)現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)的并行化算法，用以處理視頻評估模型的大數(shù)據(jù)量訓(xùn)練過程。

3.1 BP神經(jīng)網(wǎng)絡(luò)并行化訓(xùn)練流程

本文將BP神經(jīng)網(wǎng)絡(luò)算法部署到Spark數(shù)據(jù)處理框架上進(jìn)行并行訓(xùn)練。在BP神網(wǎng)絡(luò)的訓(xùn)練中有在線學(xué)習(xí)模式和批量處理學(xué)習(xí)模式兩種。在線學(xué)習(xí)模式是每計算一個樣本數(shù)據(jù)的誤差就進(jìn)行網(wǎng)絡(luò)權(quán)重的調(diào)整，批量處理學(xué)習(xí)模式是指在對于樣本集中的所有樣本完成訓(xùn)練后，利用所有樣本總誤差梯度調(diào)整網(wǎng)絡(luò)權(quán)重[20]。與在線學(xué)習(xí)模式相比，批量處理的學(xué)習(xí)模式不僅提高了收斂速度，而且有效地避免了訓(xùn)練數(shù)據(jù)的輸入順序?qū)W(wǎng)絡(luò)模型的影響，因此本文采用了批量處理的學(xué)習(xí)模式進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。具體的BP神經(jīng)網(wǎng)絡(luò)算法并行化訓(xùn)練流程如圖3所示。

圖3 算法并行化訓(xùn)練流程圖

BP神經(jīng)網(wǎng)絡(luò)并行化訓(xùn)練具體步驟如下：

步驟1:將訓(xùn)練數(shù)據(jù)集切分成多個子集，并且存儲到HDFS上；

步驟2:Master節(jié)點(diǎn)將設(shè)置的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)集子集以及網(wǎng)絡(luò)初始化權(quán)重發(fā)給Worker節(jié)點(diǎn)，使得每個Worker節(jié)點(diǎn)都實(shí)例化一個完整的神經(jīng)網(wǎng)絡(luò)；

步驟3:在每個Worker節(jié)點(diǎn)上，使用批量訓(xùn)練的方式將部分訓(xùn)練數(shù)據(jù)集子集作用于神經(jīng)網(wǎng)絡(luò)上，并行地進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；

步驟4:Worker將訓(xùn)練更新之后的網(wǎng)絡(luò)權(quán)重返回給Master節(jié)點(diǎn)；

步驟5:Master節(jié)點(diǎn)更新權(quán)重并計算期望輸出與實(shí)際輸出的誤差，判斷誤差和迭代次數(shù)是否滿足要求，若滿足則結(jié)束訓(xùn)練，否則返回步驟2繼續(xù)訓(xùn)練；

步驟6:輸出訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。

3.2 RDD數(shù)據(jù)集流轉(zhuǎn)過程

Spark平臺的優(yōu)勢在于基于內(nèi)存的計算，RDD的各種操作是在內(nèi)存上進(jìn)行，算法實(shí)現(xiàn)過程中對RDD進(jìn)行的一系列算子操作和數(shù)據(jù)集的轉(zhuǎn)換過程就顯得極其重要。本次實(shí)驗(yàn)在并行訓(xùn)練階段涉及到的RDD算子操作和數(shù)據(jù)集流轉(zhuǎn)過程如圖4所示。

圖4 并行化訓(xùn)練階段數(shù)據(jù)集轉(zhuǎn)換圖

(1) 首先，將訓(xùn)練的數(shù)據(jù)集切分成多個子集，存儲在HDFS里。

(2) 啟動Spark集群，執(zhí)行程序，使用collect算子將數(shù)據(jù)子集作為RDD輸入到各個Worker節(jié)點(diǎn)。圖示為三個Worker節(jié)點(diǎn)，對應(yīng)的RDD分片數(shù)可根據(jù)進(jìn)程所需的內(nèi)存大小設(shè)定。

(3) Driver進(jìn)程讀取初始化的神經(jīng)網(wǎng)絡(luò)權(quán)值，并使用broadcast算子將權(quán)值傳遞到各個Worker節(jié)點(diǎn)中。

(4) 各個Worker節(jié)點(diǎn)使用初始化的權(quán)值實(shí)例出一個網(wǎng)絡(luò)結(jié)構(gòu)。

(5) 采用批量訓(xùn)練的方式，將數(shù)據(jù)子集作用于各個Worker節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)上，進(jìn)行迭代訓(xùn)練后輸出網(wǎng)絡(luò)權(quán)值。

(6) Master節(jié)點(diǎn)綜合各個Worker節(jié)點(diǎn)的輸出，得到最終的網(wǎng)絡(luò)權(quán)值。

(7) 使用SaveAsTextFile算子將訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型輸出到HDFS中。

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的基于大數(shù)據(jù)構(gòu)建視頻評估模型的有效性，實(shí)驗(yàn)選取2015年12月到2016年4月某市IPTV平臺的1 000個用戶的收視行為，根據(jù)式(1)、式(2)計算獲得了視頻的隱式評分，然后通過網(wǎng)絡(luò)爬蟲技術(shù)對視頻進(jìn)行評估體系指標(biāo)信息的采集，按照2.2節(jié)中的方法進(jìn)行量化和歸一化，得到800 MB完整的實(shí)驗(yàn)數(shù)據(jù)。本實(shí)驗(yàn)主要驗(yàn)證兩方面性能：一是基于BP神經(jīng)網(wǎng)絡(luò)建立的視頻評估模型的有效性驗(yàn)證，二是并行化建立視頻評估模型有效性驗(yàn)證。

4.1 基于BP神經(jīng)網(wǎng)絡(luò)的視頻評估模型的有效性驗(yàn)證

為了驗(yàn)證IPTV視頻評估模型的有效性，實(shí)驗(yàn)選取200 MB訓(xùn)練數(shù)據(jù)，首先在訓(xùn)練過程中采用交叉檢驗(yàn)的方式來驗(yàn)證評估模型的穩(wěn)定性，訓(xùn)練完成后得到IPTV視頻評估模型，然后用100條新的視頻數(shù)據(jù)作為預(yù)測數(shù)據(jù)集，用新評估模型和原有的評估模型分別對其進(jìn)行預(yù)測，通過對比來驗(yàn)證評估模型的有效性。

評估模型訓(xùn)練的過程中，采用K折交叉檢驗(yàn)的方式來驗(yàn)證評估模型的穩(wěn)定性，這里K=10。在每次的迭代訓(xùn)練過程中計算交叉檢驗(yàn)產(chǎn)生的均方誤差。從圖5可知，經(jīng)過30次的迭代訓(xùn)練，交叉檢驗(yàn)產(chǎn)生的誤差值整體呈現(xiàn)明顯的下降趨勢并逐漸趨于穩(wěn)定，這就說明基于BP神經(jīng)網(wǎng)絡(luò)建立的視頻評估模型較為穩(wěn)定。

圖5 交叉檢驗(yàn)誤差圖

訓(xùn)練結(jié)束后選取100條新的數(shù)據(jù)對評估模型的有效性進(jìn)行驗(yàn)證。用ebp表示基于BP神經(jīng)網(wǎng)絡(luò)建立的IPTV視頻評估模型預(yù)測得出的實(shí)驗(yàn)輸出與隱式評分的差值的絕對值，eold表示根據(jù)原評估模型預(yù)測得出的實(shí)驗(yàn)輸出與隱式評分之間差值的絕對值。圖6為ebp與eold之間的對比圖，其中實(shí)線表示ebp，虛線表示eold。

圖6 差值對比圖

從圖中可以明顯地看出，ebp的值從整體上要明顯小于eold，并且計算均方誤差得到MSEbp=0.003 143，MSEold=0.017 56，這就進(jìn)一步說明了基于BP神經(jīng)網(wǎng)絡(luò)建立的視頻評估模型更為準(zhǔn)確。

4.2 并行化構(gòu)建視頻評估模型的有效性驗(yàn)證

實(shí)驗(yàn)采用了基于內(nèi)存的分布式并行框架Spark進(jìn)行實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境介紹如下:集群環(huán)境共包含6個節(jié)點(diǎn)，其中5個為Worker節(jié)點(diǎn)，每個節(jié)點(diǎn)的配置相同，且處在同一個局域網(wǎng)內(nèi)，操作系統(tǒng)為CentOs6.5，CPU為E5-2620 v4，核心頻率2.10 GHZ，節(jié)點(diǎn)內(nèi)存32 GB，使用了Scala編程語言，分布式平臺為Spark2.0.0。

通過改變訓(xùn)練數(shù)據(jù)集的大小，分析Spark平臺在不同節(jié)點(diǎn)數(shù)目下構(gòu)建評估模型所需的時間，計算加速比來驗(yàn)證算法的并行性。實(shí)驗(yàn)將訓(xùn)練數(shù)據(jù)集分成200、400、600和800 MB，來計算不同大小訓(xùn)練數(shù)據(jù)集產(chǎn)生的加速比，加速比的公式如下：

(9)

式中：Sp代表加速比，Tp為使用1個節(jié)點(diǎn)時任務(wù)執(zhí)行的時間，Tp為使用 個節(jié)點(diǎn)時任務(wù)執(zhí)行的時間。

實(shí)驗(yàn)結(jié)果如圖7所示，在4種不同大小的訓(xùn)練數(shù)據(jù)集下，加速比與節(jié)點(diǎn)數(shù)目的增加近似成正比的關(guān)系。并且隨著訓(xùn)練數(shù)據(jù)量的增加，產(chǎn)生的加速比逐漸趨于理想的狀態(tài)。由此可見，基于Spark的BP神經(jīng)網(wǎng)絡(luò)在處理大規(guī)模訓(xùn)練數(shù)據(jù)集的情況下構(gòu)建視頻評估模型有較好的并行性。

圖7 BP神經(jīng)網(wǎng)絡(luò)并行化后加速比

5 結(jié) 語

針對目前IPTV視頻評估模型所面臨的準(zhǔn)確性問題，本文首先從視頻的收視度、視頻的影響度和視頻內(nèi)容三個方面完善了視頻評估體系；然后引入視頻的隱式評分來反映視頻的受歡迎程度，對IPTV上已上線視頻的各項(xiàng)信息進(jìn)行采集和量化后得到視頻的各項(xiàng)評估指標(biāo)數(shù)據(jù)，再通過收集這些視頻的歷史收視情況得出視頻的隱式評分，將其分別作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)和輸出數(shù)據(jù)來訓(xùn)練評估模型；最后針對大數(shù)據(jù)的海量性，在Spark平臺上使用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了數(shù)據(jù)的并行化訓(xùn)練，建立了基于大數(shù)據(jù)的視頻評估模型。實(shí)驗(yàn)結(jié)果表明，本文提出的基于大數(shù)據(jù)的IPTV視頻評估模型提高了視頻評估的準(zhǔn)確度，并且在Spark平臺上建立評估模型具有良好的時間性能。