陳艷，葉德建

?

營銷類多媒體信息發(fā)布系統(tǒng)終端自動化運維

陳艷，葉德建

摘 要：隨著終端規(guī)模的增加、系統(tǒng)部署時間的增長，營銷類多媒體信息發(fā)布系統(tǒng)由于傳統(tǒng)單服務(wù)器模型在存儲、性能可擴展性的限制，實時監(jiān)控及故障預(yù)警與處理機制的缺乏而難以運維。利用流媒體細分行業(yè)云提供的云存儲、云計算等基礎(chǔ)服務(wù)重新設(shè)計架構(gòu)，實現(xiàn)線性可擴展；分析信息發(fā)布系統(tǒng)業(yè)務(wù)特色及運維需求，確定終端監(jiān)控指標體系及基于有限狀態(tài)機的實時監(jiān)控方案，降低故障處理時間，提高系統(tǒng)可運維性；重點講述基于字符串最長公共子序列的終端播放邏輯正確性檢測，基于幀率、圖像質(zhì)量的視頻失真評估模型，實現(xiàn)視頻播放質(zhì)量的實時監(jiān)控。實驗顯示運維方案既能滿足終端性能需求，又能達到運營預(yù)期。

關(guān)鍵詞：營銷類信息發(fā)布系統(tǒng)；流媒體云平臺；大規(guī)模機頂盒終端；自動化運維

體，上海，201203

葉德建（1976-），男，浙江，復(fù)旦大學(xué)，軟件學(xué)院，網(wǎng)絡(luò)信息安全審計與監(jiān)控教育部工程研究中心，副教授，研究方向：網(wǎng)絡(luò)多媒體，上海，201203

0 引言

營銷類多媒體信息發(fā)布系統(tǒng)為企業(yè)構(gòu)建業(yè)務(wù)互動營銷管理平臺，商業(yè)價值與服務(wù)質(zhì)量之間關(guān)系密切，業(yè)主十分關(guān)注其達到的宣傳效果與資金投入是否成正比，因此播放邏輯（精確到秒）、廣告播放質(zhì)量等的監(jiān)控對廣告運營而言至關(guān)重要。傳統(tǒng)主觀多媒體服務(wù)質(zhì)量監(jiān)控手段，采用人輪詢的方式因耗費大量人力難以實現(xiàn)，亟需定制符合業(yè)務(wù)需求的自動運維方案。

信息發(fā)布系統(tǒng)無法實時監(jiān)控，一是缺乏存儲、計算資源。隨著終端數(shù)量的增多，服務(wù)器對數(shù)據(jù)處理不及時；隨著部署時間的增長，歷史離線數(shù)據(jù)難以存儲、分析處理。二是缺乏有效的運維監(jiān)控方案及故障預(yù)警與處理機制。學(xué)術(shù)界現(xiàn)有相關(guān)研究圍繞受眾營銷有效性展開，采用傳感器及人臉識別、姿勢檢測、運動檢測、人流量分析等機器挖掘技術(shù)，從觀看人數(shù)、時間等方面衡量信息發(fā)布系統(tǒng)對受眾的推銷影響[1]。傳感器的引入，為系統(tǒng)增加了器材購置、運維等的開銷，無法廣泛應(yīng)用于產(chǎn)業(yè)界。文獻[2]提出了客觀服務(wù)質(zhì)量的監(jiān)控方案，基于日志輸出提取指標數(shù)據(jù)依賴于日志數(shù)據(jù)的準確、完整、及時，在終端實際運行中難以保障。此外，兩者均缺乏故障檢測、故障處理機制，無法完全滿足廣告自動化運維的需求。

因此，論文首先基于流媒體業(yè)務(wù)云搭建信息發(fā)布系統(tǒng)業(yè)務(wù)，利用存儲、計算等云服務(wù)設(shè)計系統(tǒng)架構(gòu)，實現(xiàn)系統(tǒng)的線性可擴展。其次從業(yè)務(wù)、運維需求中提取監(jiān)控指標，利用大數(shù)據(jù)處理平臺對采集的流式數(shù)據(jù)進行數(shù)據(jù)挖掘，著重設(shè)計并實現(xiàn)對大規(guī)模終端的播放邏輯正確性、視頻控件播放質(zhì)量的實時監(jiān)控。最后展示數(shù)據(jù)挖掘結(jié)果并測試監(jiān)控模塊對終端資源的消耗。實驗數(shù)據(jù)及生產(chǎn)部署顯示，監(jiān)控方案對終端資源消耗合理，且滿足運維預(yù)期。

論文的創(chuàng)新性在于：（1）利用云技術(shù)設(shè)計系統(tǒng)架構(gòu)，實現(xiàn)線性可擴展；（2）建立適合多媒體信息發(fā)布系統(tǒng)的運營指標體系；（3）設(shè)計適合機頂盒終端的播放邏輯、視頻質(zhì)量監(jiān)控方案。

1 自動化運維

1.1 基于云的多媒體信息發(fā)布系統(tǒng)

Clear云為流媒體視頻行業(yè)細分云，為信息發(fā)布系統(tǒng)、OTT網(wǎng)絡(luò)電視、酒店VOD等流媒體應(yīng)用提供存儲、計算基礎(chǔ)服務(wù)。

系統(tǒng)架構(gòu)如圖1所示：

圖1　信息發(fā)布系統(tǒng)架構(gòu)圖

信息發(fā)布系統(tǒng)部署在Clear云平臺上，主要包括smartpub信息發(fā)布子系統(tǒng)（用于終端、多媒體資源等信息管理、節(jié)目的編輯與定時定點發(fā)布）、iips終端服務(wù)器（負責(zé)與終端的交互，推送節(jié)目，處理終端請求）、monitor終端監(jiān)控平臺（負責(zé)實時處理終端上報的心跳和日志，監(jiān)控終端實時狀態(tài)）3個業(yè)務(wù)子系統(tǒng)，及Clear日志服務(wù)、Clear大數(shù)據(jù)處理服務(wù)（提供批處理和流式數(shù)據(jù)處理）、Clear分布式文件系統(tǒng)（存儲日志等離線數(shù)據(jù)）、Clear分布式對象存儲（存儲視頻、音頻、圖片、JavaScript等靜態(tài)文件）、Clear分布式消息中間件5個云平臺子系統(tǒng)。通過分布式消息隊列粘合各個子系統(tǒng)，同時保持子系統(tǒng)間的松散耦合，實現(xiàn)功能線性可擴展。

系統(tǒng)中主要有4路數(shù)據(jù)流：（1）系統(tǒng)管理員在smartpub信息發(fā)布子系統(tǒng)編輯節(jié)目，并通過iips終端服務(wù)器發(fā)布到終端；（2）機頂盒終端到mongodb布局數(shù)據(jù)庫中獲取發(fā)布的布局，然后從swift分布式對象存儲中獲得相應(yīng)多媒體文件；（3）終端將心跳、日志等數(shù)據(jù)上傳至log日志服務(wù)器，經(jīng)過nsq消息中間件分發(fā)到monitor終端監(jiān)控平臺，基于spark等大數(shù)據(jù)平臺處理后將故障結(jié)果推送至移動互聯(lián)網(wǎng)應(yīng)用，通知相應(yīng)運營人員；（4）終端通過iips終端服務(wù)器實現(xiàn)軟件更新。

1.2 監(jiān)控指標體系

筆者從宜信貸、中民福彩等實際項目中提取出信息發(fā)布系統(tǒng)的運維需求：

（1）商用多媒體信息發(fā)布系統(tǒng)主要為企業(yè)推銷形象，管理員集中發(fā)布節(jié)目后，終端必須嚴格按照時間表、播放列表、播放日程進行播放，因此需要圖形化展示終端播放流程，并監(jiān)控其播放邏輯是否符合預(yù)期。

（2）為提高系統(tǒng)競爭力，需要保障多媒體控件展示質(zhì)量。圖片、文字、音頻數(shù)據(jù)量相對較小，通過HTTP資源下載，質(zhì)量容易保障。對于實時發(fā)布的節(jié)目，為減少啟動延時，視頻采用HLS傳輸協(xié)議，因此需要為系統(tǒng)提供視頻客觀質(zhì)量評估方法，實時評估播放內(nèi)容。

（3）為運維人員提供終端在線狀況視圖，并統(tǒng)計終端使用情況，如在線盒子、活躍盒子、新增盒子、啟動頻率、地域分布、版本分布、存留分析等。

（4）終端硬件資源使用數(shù)據(jù)，根據(jù)當(dāng)前資源使用情況及經(jīng)驗閥值，判斷當(dāng)前終端是否健康。

基于上述需求，系統(tǒng)監(jiān)控指標如表1所示：

表1　終端監(jiān)控指標

其中終端在線狀況及終端硬件資源使用情況比較簡單，本論文不做過多討論。

1.3 基于有限狀態(tài)機的終端狀態(tài)管理

系統(tǒng)為每一個智能終端維護一個有限狀態(tài)機，如圖2所示：

圖2　終端有限狀態(tài)機

來自性能、播放狀況、播放邏輯等的數(shù)據(jù)挖掘事件、心跳事件和預(yù)警措施事件將觸發(fā)其狀態(tài)的改變。終端一共有3個狀態(tài)：正常態(tài)、退化態(tài)、故障態(tài)。初始時系統(tǒng)處于正常態(tài)，當(dāng)播放質(zhì)量變差、性能指標降低、播放邏輯打分變低時，系統(tǒng)進入退化態(tài)。當(dāng)系統(tǒng)恢復(fù)正常時，其回退到正常態(tài)。當(dāng)出現(xiàn)3次心跳超時、播放故障、資源過載、及播放邏輯混亂時，系統(tǒng)將從正常態(tài)或者退化態(tài)直接進入故障態(tài)，此時通過運維人員的人工干預(yù)，可以回到正常態(tài)。

1.4 播放邏輯

對于信息發(fā)布系統(tǒng)而言，客戶非常關(guān)注其播放效果，如投放的廣告，是否按時播放、播放次數(shù)是否符合預(yù)期。因此播放邏輯的檢測非常重要，主要檢測管理員發(fā)布的節(jié)目，預(yù)定播放邏輯和實際播放邏輯的對比，并計算兩者匹配程度。1.4.1 多媒體控件實體關(guān)系

信息發(fā)布系統(tǒng)中多媒體控件實體關(guān)系如圖3所示：

圖3　多媒體控件實體關(guān)系

一個頻道有多個布局，一個布局有多個多媒體控件，多媒體控件可以分為視頻、音頻、文字、圖片控件，而一個控件可以播放多個多媒體文件。系統(tǒng)可以在布局和多媒體文件（視頻、音頻、文字、圖片）兩個層面定義開始播放時間、節(jié)目時長、播放次數(shù)。

1.4.2 播放邏輯

播放邏輯即，根據(jù)發(fā)布的頻道獲得其基于時間軸的素材播放列表。首先需要確定頻道中各個布局的播放列表。布局根據(jù)播放優(yōu)先級分為插播布局、定時布局和常規(guī)布局。插播布局最先播放，定時布局則是在規(guī)定時間點播放，常規(guī)布局則在插播布局之后，定時布局之間播放，其處理流程圖如圖4所示：

圖4　布局播放列表生成流程圖

布局調(diào)度開始后，首先確定插播布局播放時間，遍歷每一個插播布局，按其規(guī)定次數(shù)播放插播布局。然后，確定定時布局播放時間，遍歷每一個定時布局，如果其規(guī)定開始播放時間比當(dāng)前時間軸可調(diào)度時間小，則其規(guī)定播放次數(shù)由于時間被占用而減少，系統(tǒng)將按調(diào)整后的播放次數(shù)播放當(dāng)前布局。最后，確定常規(guī)布局播放時間，遍歷每一個常規(guī)布局，從時間軸上找到每一次播放所對應(yīng)的插播布局與定時布局之間的時間間隔，播放當(dāng)前布局。

在確定布局開播時間、播放時長后，則需要確定其內(nèi)部每一個組件的媒體文件播放列表。由于各個組件獨立運行，因此可以單獨調(diào)度，組件調(diào)度流程圖如圖5所示：

圖5　組件素材播放列表生成流程圖

組件節(jié)目調(diào)度開始后，如果素材已播放時間大于其規(guī)定的播放時間，則調(diào)度結(jié)束。否則將遍歷組件中每一個多媒體文件，進行規(guī)定次數(shù)的播放。

1.4.3 播放邏輯正確性檢測

對于發(fā)布到終端的頻道，系統(tǒng)從布局展示邏輯、組件素材展示邏輯兩個層面獲得其預(yù)期播放邏輯；同時從終端播放日志可以獲得其實際播放邏輯。獲得基于時間軸的預(yù)定播放邏輯和實際播放邏輯后，系統(tǒng)給出基于開播時差、播放完整度、播放列表匹配度的播放邏輯總分，來衡量實際播放邏輯與預(yù)期播放邏輯的差別。

首先需要對素材進行匹配，找出預(yù)期播放列表與實際播放列表的最長公共子素材＜布局1，布局2，布局4＞為其最長匹配素材播放列表，如圖6所示：

圖6　播放列表匹配示意圖

比較兩個播放序列，可以發(fā)現(xiàn)在實際播放中出現(xiàn)了漏播和播放延遲。

可以將該問題轉(zhuǎn)化為字符串最長公共子序列這一經(jīng)典算法，定義如果播放列表一的所有素材按其在時間軸的順序出現(xiàn)在播放列表二中，則播放列表一為播放列表二的子串，并利用動態(tài)規(guī)劃求解。用數(shù)學(xué)表示，序列X=＜x1,x2,...,xm＞為預(yù)期播放列表，xi為X中第i個播放素材，Y=＜y1,y2,...,yn＞為實際播放列表。設(shè)X和Y的一個最長公共子序列為Z=＜z1,z2,...,zk＞，其中X{zi}為X中zi對應(yīng)的播放項，Y{zi} 為Y中zi對應(yīng)的播放項。

素材zi開播時差得分T(zi)，如公式（1）：

其中SX{zi}為X{zi}的開始播放時間，即預(yù)期開播時間，SY{zi}為Y{zi}的開始播放時間，即實際開播時間，得分在[0,1]區(qū)間，隨開播時間差指數(shù)衰減，α為系統(tǒng)可調(diào)時間參數(shù)。

素材zi播放完整度得分D（zi）如公式（2）：

其中DX{zi}為X{zi}的播放時長，即預(yù)期播放時長，DY{zi}為Y{zi}的播放時長，即實際播放時長，得分隨時長差線性衰減，在[0,1]區(qū)間。

素材列表播放邏輯總分S（X,Y），如公式（3）：

為平均匹配得分，對于公共播放列表Z中每一項，其分數(shù)為時間偏差與播放完整度的乘積，S(X,Y)在[0,1]。

假定布局中組件列表為C=＜c1,c2,...,cl＞，ci為C中第i個組件。布局內(nèi)所有組件播放綜合得分如公式（4）：

其中S（ci）為組件ci播放邏輯得分，wci為組件ci的權(quán)重，通過權(quán)重值的分配可以為視頻、音頻組件賦予更高的權(quán)重。

當(dāng)X、Y表示布局播放列表時，布局得分如公式（5）：

單項得分為布局內(nèi)組件播放得分、時間偏差與播放完整度綜合得分，其值在[0,1]區(qū)間內(nèi)，得分越高，說明播放邏輯越好。

1.5 視頻質(zhì)量監(jiān)控

視頻質(zhì)量評估主要分為主觀質(zhì)量評估和客觀質(zhì)量評估，客觀方法分為全參考、半?yún)⒖?、無參考模型[3]。主觀質(zhì)量評估由人對觀看的視頻進行打分，最可靠最有效，但需要大量運維人員的參與，代價昂貴?？陀^方法中全參考模型，需要同時獲取參考多媒體文件與測試文件，將終端播放畫面?zhèn)骰卦贫?，或者在終端預(yù)先下載存儲參考多媒體文件，為存儲、帶寬資源有限的機頂盒添加了過重的負擔(dān)；無參考模型不依賴參考文件，準確性較低，需要實時提取視頻空間、時域信息，計算復(fù)雜度高，不適合嵌入式設(shè)備。而現(xiàn)有半?yún)⒖寄Ｐ突谟嬎恪挼纫蛩氐目剂客瑯硬贿m宜直接應(yīng)用在信息發(fā)布系統(tǒng)中，因此，論文基于Thomas Zinner提出的影響QoE （Quality of Experience，服務(wù)體驗質(zhì)量）的幀率、圖像質(zhì)量因素結(jié)合人類視覺特性，提出了簡化版視頻質(zhì)量評估模型[4]。

視頻失真包含空域失真和時域失真兩種類型。對于空域失真而言，一個失真畫面往往包含多種失真，而對所有失真進行建模計算量大且無法覆蓋所有失真。文獻[5]指出，使用daubechies9/7小波基對失真圖像進行小波變換后，每個子帶的系數(shù)都服從廣義高斯分布，相應(yīng)的高斯分布系數(shù)可以唯一地刻畫該子帶的失真特性，因此，可以提取子帶系統(tǒng)統(tǒng)計直方圖作為特征向量來描述圖像。

參考人眼視覺效應(yīng)，畫面出現(xiàn)失真時，物體運動越快，失真越容易被掩蓋，因此，空間失真是運動矢量與空間失真的綜合作用?？臻g失真Ds模型如公式（6）：

其與運動矢量M負相關(guān)，與畫面失真度S’正相關(guān)。畫面失真度S’，如公式（7）-（9）：

終端播放幀率與參考幀率偏差越大，畫面連續(xù)感越差，時域失真越明顯。此外運動矢量越大，畫面轉(zhuǎn)變得越快，人眼對失真感知度越明顯，因此系統(tǒng)中用幀率F（Fr為參考幀率，F(xiàn)a為實際幀率）和運動估計M來估計當(dāng)前時域失真Dt，如公式（10）：

論文綜合考慮空域失真Ds和時域失真Dt，視頻實時失真D如公式（11）：

視頻質(zhì)量算法框架如圖7所示：

圖7　視頻質(zhì)量評估框架

對于終端視頻，每隔一定時間抽樣當(dāng)前播放內(nèi)容畫面，提取特征向量并傳輸?shù)皆破脚_。在Clear云平臺，也對相應(yīng)幀提取特征向量，同時進行視頻復(fù)雜度分析，最后基于三組輸入進行視頻質(zhì)量分析，獲得質(zhì)量得分。該算法采用部分參考模型，在保證質(zhì)量評估準確性的前提下，減少了終端機頂盒的數(shù)據(jù)傳輸，同時將終端計算量移到云平臺，充分利用云平臺計算資源，降低終端計算量。

2 實現(xiàn)與測試

2.1 播放邏輯展示

系統(tǒng)采用amCharts的時間序列圖展示播放邏輯。參考布局如圖8所示：

圖8　參考頻道布局播放列表

圖為測試頻道的布局播放列表，其中all和video單次播放55分鐘，其播放順序為all-all-video-video。

其中all布局有四個組件，各組件內(nèi)媒體文件播放列表如圖9所示：

圖9　all布局各組件素材播放列表

從上到下依次為圖片組件、文字組件、音頻組件、視頻組件。

all布局中視頻組件的第二次播放處理結(jié)果，如圖10所示：

圖10　素材播放邏輯處理結(jié)果

圖10中粗線為預(yù)期播放列表，灰線為測試播放列表，其中總分為0.736分，播放邏輯較差。

2.2 視頻質(zhì)量監(jiān)控展示

不同畫面質(zhì)量分析結(jié)果如圖11所示：

圖11　圖像質(zhì)量分析

圖片左上角為參考畫面，中間為網(wǎng)絡(luò)情況良好時的視頻播放效果截圖，右上角圖片為網(wǎng)絡(luò)差時視頻播放效果的截圖。第二排為圖像第一維度水平方向細節(jié)小波變換系數(shù)統(tǒng)計直方圖，可以看到，圖片失真嚴重時，其直方圖差異明顯，因而失真分數(shù)高。

終端對單幀采樣圖片（分辨率為1920×1080）處理時間曲線，如圖12所示：

圖12　圖像處理時間

可以看到處理時間穩(wěn)定在450ms左右，當(dāng)視頻切換時，其處理時間上升到1000ms，但會在短時間內(nèi)急劇下降。因此當(dāng)采用間隔在0.2秒以上時，通過大小為2~3的線程池，終端能較好完成任務(wù)。

2.3 監(jiān)控模塊資源消耗

將終端監(jiān)控模塊集成到客戶端，客戶端為ARM Cortext-A9處理器、1GB內(nèi)存、Android4.2的海美迪Q3II機頂盒。在播放相同節(jié)目時，對有監(jiān)控模塊和沒有監(jiān)控模塊的CPU和內(nèi)存資源消耗情況進行了采樣，并計算平均資源使用情況，如圖13所示：

圖13　監(jiān)控模塊資源消耗

集成監(jiān)控模塊以后，系統(tǒng)CPU增加7%，內(nèi)存使用增加2%，運維監(jiān)控模塊增加的硬件資源消耗可以接受。

3 總結(jié)

本文通過分析營銷類信息發(fā)布系統(tǒng)隨著終端規(guī)模的擴張難以自動化運維的原因，提出了基于流媒體云平臺的架構(gòu)設(shè)計，既滿足業(yè)務(wù)自身需求，同時為運維提供有力支持；結(jié)合業(yè)務(wù)特色和運營反饋，從終端播放邏輯、控件播放質(zhì)量、終端資源消耗、終端在線情況4個方面給出了基于有限狀態(tài)機的終端實時監(jiān)控方案，重點講述了播放邏輯檢測、視頻質(zhì)量評估的設(shè)計與實現(xiàn)。實驗證明該方案既能滿足系統(tǒng)性能需求，又能達到運營預(yù)期。

參考文獻

[1] Yin K C ,Wang H C, Yang D L. A study on the Effectiveness of Digital Signage Advertisement[C]//IEEE/2012 International Symposium on Computer,Consumer and Control(IS3C)[C]. 2012, 169-172.

[2] 李露露, 葉德建, 劉新. 一種自動精確衡量信息發(fā)布系統(tǒng)客觀服務(wù)質(zhì)量的方法[J].計算機應(yīng)用與軟件, 2015, 32(1): 74-77.

[3] Seshadrinathan K, Soundararajan R. Study of Subjective and Objective Quality Assessment of Video[J].Transactions on Image Processing, 2010, 19(6): 1427-1441.

[4] Zinner T, Hohlfeld O, Abboud O. Impact of frame rate and resolution on objective QoE metrics[C].IEEE/2010 Second International Workshop on Quality of Multimedia Experience, 2010, 29-34.

[5] Moorthy A K, Bovik A C. Statistics of nature image distortions[C].IEEE/ International Conference on Acoustics Speech and Signal Processing, 2010, 962-965.

Automated Maintenance for Advertising Multimedia Digital Signage Terminals

Chen Yan, Ye Dejian
(Software School ,Fudan University, Shanghai 201203, China)

Abstract:With the increasing of terminal scale and deployment time, the information publish system for marketing multimedia is hard to maintain because the traditional single server model has the limits of storage and performance scalability, and the lack of real-time monitoring schema, fault alarm and handling mechanism. This paper uses the basic services such as cloud storage and computing provided by the industry of streaming media segmentation to redesign the architecture and realize linear expansion. It analyzes the business characteristics and maintain requirement of the information publish system, and determines the index system of monitoring terminals and the real-time monitoring scheme based on finite state machine. It reduces the time of error handling and improves the system operations. Then it focuses on the logic validity check of terminal player based on longest common sub-sequence and the evaluation model of video distortion based on frame rate and image quality, to realize the real-time monitoring for the playing video quality. Experiments demonstrate that this solution is effective and acceptable.

Key words:Advertising Digital Signage; Multimedia Cloud; Large-Scaled Set-Top Box; Automated Maintenance

收稿日期：（2015.04.15）

作者簡介：陳 艷（1989-），女，湖南，復(fù)旦大學(xué)，軟件學(xué)院，網(wǎng)絡(luò)信息安全審計與監(jiān)控教育部工程研究中心，碩士研究生，研究方向：網(wǎng)絡(luò)多媒

基金項目：上海市科委科技發(fā)展基金攻關(guān)項目

文章編號：1007-757X(2016)01-0025-05

中圖分類號：TP31

文獻標志碼：A