謝崇斌，賴材棟，張小強(qiáng)

（中國(guó)移動(dòng)通信集團(tuán)陜西有限公司，陜西西安，710077）

0 引言

互聯(lián)網(wǎng)電視業(yè)務(wù)是基于家庭寬帶的一項(xiàng)重要業(yè)務(wù)，是對(duì)家庭寬帶質(zhì)量最為敏感的業(yè)務(wù)之一。隨著家庭寬帶帶寬升級(jí)、提速，對(duì)于互聯(lián)網(wǎng)電視業(yè)務(wù)的質(zhì)量提升更應(yīng)該關(guān)注業(yè)務(wù)平臺(tái)自身。在日常運(yùn)維中，互聯(lián)網(wǎng)電視業(yè)務(wù)的CDN負(fù)荷會(huì)因?yàn)槿藛T遷徙，節(jié)假日、重大活動(dòng)等發(fā)生變化，那么如何快速去均衡已經(jīng)下沉的CDN負(fù)荷，保障用戶的業(yè)務(wù)感知成為了運(yùn)維的一個(gè)難題。

1 智能分析調(diào)度系統(tǒng)的整體架構(gòu)

1.1 系統(tǒng)總體設(shè)計(jì)

基于大數(shù)據(jù)的寬帶電視CDN質(zhì)量智能分析調(diào)度系統(tǒng)主要設(shè)計(jì)為兩個(gè)模塊：采集分析模塊、智能調(diào)度模塊。

1.1.1 采集分析模塊

采集分析模塊主要負(fù)責(zé)數(shù)據(jù)的采集以及分析，DPDK技術(shù)與大數(shù)據(jù)分析技術(shù)是現(xiàn)在數(shù)據(jù)捕獲技術(shù)及數(shù)據(jù)分析領(lǐng)域的重要發(fā)展方向，通過二者與OTT的結(jié)合是未來OTT視頻質(zhì)量分析技術(shù)發(fā)展的趨勢(shì)。本系統(tǒng)的采集分析模塊利用上述技術(shù)實(shí)現(xiàn)OTT用戶卡頓精確分析。

DPDK（數(shù)據(jù)平面開發(fā)套件）是由6WIND,Intel等多家公司開發(fā)，主要基于Linux系統(tǒng)運(yùn)行，用于快速數(shù)據(jù)包處理的函數(shù)庫與驅(qū)動(dòng)集合，可以極大提高數(shù)據(jù)處理性能和吞吐量，提高數(shù)據(jù)平面應(yīng)用程序的工作效率。DPDK的基本構(gòu)架如圖1所示，其中KNI模塊將報(bào)文從用戶態(tài)倒灌到內(nèi)核協(xié)議棧處理，IGB_UIO模塊將網(wǎng)卡硬件寄存器映射到用戶態(tài)內(nèi)存空間，可以使DPDK的驅(qū)動(dòng)運(yùn)行在用戶態(tài)，EAL（環(huán)境抽象層）能對(duì)操作底層資源的抽象與封裝，給程序提供統(tǒng)一的訪問接口，同時(shí)，DPDK提供一系列組件支持，如Timer提供基于HPET的計(jì)時(shí)器設(shè)施等。

圖1 DPDK 基本架構(gòu)

在利用大數(shù)據(jù)進(jìn)行分析研究數(shù)據(jù)的領(lǐng)域中，處理流式數(shù)據(jù)主要使用流式計(jì)算框架。目前主流的流式計(jì)算框架主要有Storm、JStorm、Streaming等。而JStrom因?yàn)榉€(wěn)定與時(shí)效而被廣泛采用，其基于Zookeeper的調(diào)度系統(tǒng)，Nimbus作為調(diào)度器角色，通過Zookeeper與Supervisior之間的交互，管理任務(wù)的提交及調(diào)度；Supervisior用以負(fù)責(zé)Worker的啟動(dòng)與停止；Worker裝載Task負(fù)責(zé)業(yè)務(wù)計(jì)算與邏輯處理。

1.1.2 智能調(diào)度模塊

智能調(diào)度模塊負(fù)責(zé)生成調(diào)度策略，進(jìn)行CDN節(jié)點(diǎn)智能調(diào)度。本系統(tǒng)的該模塊主要使用基于多鏈路負(fù)載均衡的流量調(diào)度算法。

該算法是在隨機(jī)一段時(shí)間內(nèi)，對(duì)多條流量鏈路進(jìn)行分組分別取樣測(cè)量，以便得出延遲的閾值和帶寬余量。設(shè)測(cè)量值為d，剩余帶寬樣本為rd，那么在第N重鏈路上，第j(j={1,2,...,K})個(gè)時(shí)刻的時(shí)延均值和剩余帶寬均值計(jì)算公式為：

定義第j(j={1,2,...,K})時(shí)刻N(yùn)重鏈路上的時(shí)延和剩余帶寬的協(xié)方差為：

通過協(xié)方差與優(yōu)化目標(biāo)相比，不停循環(huán)計(jì)算達(dá)到最佳選擇。

1.2 系統(tǒng)功能概述

（1）分析準(zhǔn)確：通過鏡像分光CDN用戶請(qǐng)求報(bào)文，對(duì)報(bào)文進(jìn)行質(zhì)量監(jiān)測(cè)與分析，實(shí)時(shí)反應(yīng)出全省、地市、節(jié)點(diǎn)、服務(wù)器層面的CDN質(zhì)量情況。

（2）業(yè)務(wù)無感知：收集報(bào)文、分析、監(jiān)測(cè)等過程均與CDN平臺(tái)并行，不會(huì)影響CDN服務(wù)器性能和業(yè)務(wù)質(zhì)量，確保業(yè)務(wù)感知。

（3）調(diào)度智能：優(yōu)化現(xiàn)有以“人工為主”的調(diào)度方式向“智能化”調(diào)度轉(zhuǎn)變，實(shí)現(xiàn)地市內(nèi)不同節(jié)點(diǎn)間均衡、地市間均衡、節(jié)點(diǎn)內(nèi)設(shè)備均衡和節(jié)目熱點(diǎn)智能分布。

1.3 系統(tǒng)部署方案

系統(tǒng)采用分布式部署方式，部署的設(shè)備包括匯總分析節(jié)點(diǎn)、數(shù)據(jù)采集節(jié)點(diǎn)。采集節(jié)點(diǎn)部署在CDN節(jié)點(diǎn)出口，需要將用戶請(qǐng)求流量鏡像到采集節(jié)點(diǎn)，所有的采集節(jié)點(diǎn)需要保證到匯總分析節(jié)點(diǎn)的網(wǎng)絡(luò)連通性。

2 智能分析調(diào)度系統(tǒng)實(shí)現(xiàn)應(yīng)用

2.1 采集分析模塊的實(shí)現(xiàn)

2.1.1 基于DPDK技術(shù)的流量采集識(shí)別

基于DPDK開發(fā)模塊完成數(shù)據(jù)流量的采集識(shí)別工作，首先經(jīng)過內(nèi)核初始化包括EAL環(huán)境抽象層初始化、定時(shí)器設(shè)施啟動(dòng)、網(wǎng)卡硬件初始化、然后在每個(gè)網(wǎng)卡隊(duì)列上設(shè)置環(huán)形緩沖區(qū)用于存儲(chǔ)報(bào)文，同時(shí)在CPU邏輯核上啟動(dòng)一個(gè)線程，并分配的網(wǎng)卡隊(duì)列用以接收數(shù)據(jù)包。

在收到數(shù)據(jù)包之后，需要對(duì)數(shù)據(jù)包進(jìn)行拆包處理，過程如圖2所示。

圖2 數(shù)據(jù)包拆封過程

對(duì)拆封后的數(shù)據(jù)包解析后獲得CMSID:點(diǎn)播/直播、STBID:機(jī)頂盒串號(hào)、URL:請(qǐng)求播放地址等信息，根據(jù)信息內(nèi)容進(jìn)入大數(shù)據(jù)分析系統(tǒng)進(jìn)行分析處理。

2.1.2 基于大數(shù)據(jù)分析技術(shù)的實(shí)時(shí)分析

基于JStorm框架搭建一個(gè)Topology，用于實(shí)現(xiàn) TF-IDF算法，并支持 DRPC 遠(yuǎn)程調(diào)用實(shí)現(xiàn)所需處理流程，來進(jìn)行數(shù)據(jù)分析。

首先創(chuàng)建Trident Topology，然后定義一個(gè) document流，從消息隊(duì)列獲取文檔流，接著定義一個(gè) term 流，用來對(duì)document 流中的文檔進(jìn)行分詞，然后投影出所需的字段。接著創(chuàng)建StateFactory對(duì)象，用于保持與HBase d_rt表的持久化存儲(chǔ)之間狀態(tài)，之后創(chuàng)建TridenState對(duì)象，用來持久化和保持訪問文檔數(shù)，最后借助DRPC實(shí)現(xiàn)實(shí)時(shí)計(jì)算，對(duì)外提單詞重要度TF-IDF的查詢服務(wù)。

JStorm的運(yùn)行分為本地模式和分布式模式，本地模式適合調(diào)試和開發(fā)，分布式模式能保證高性能，Topology將任務(wù)交給Nimbus，然后Nimbus將代碼分發(fā)給各個(gè)節(jié)點(diǎn)。

2.2 智能調(diào)度模塊的實(shí)現(xiàn)

在調(diào)度周期的開始，獲得每個(gè)節(jié)點(diǎn)的狀態(tài)信息，例如節(jié)點(diǎn)的服務(wù)質(zhì)量、負(fù)載能力和鏈路狀態(tài)，而后對(duì)所有區(qū)域進(jìn)行遍歷。將各個(gè)節(jié)點(diǎn)的狀態(tài)進(jìn)行健康與非健康分類，在非健康狀態(tài)下的原有節(jié)點(diǎn)，流量調(diào)度算法會(huì)將原有節(jié)點(diǎn)中的全部流量調(diào)配出去，調(diào)配目標(biāo)為備選節(jié)點(diǎn)，在調(diào)配到備選節(jié)點(diǎn)過程中，調(diào)度算法會(huì)根據(jù)備選節(jié)點(diǎn)狀態(tài)進(jìn)行是否全部流量調(diào)度，如果節(jié)點(diǎn)狀態(tài)良好，則將部分流量分配到良好的節(jié)點(diǎn)。否則，報(bào)警。

圖3 某地市實(shí)施智能調(diào)度前服務(wù)器帶寬利用率

圖4 某地市實(shí)施智能調(diào)度后服務(wù)器帶寬利用率

2.3 智能分析調(diào)度系統(tǒng)的應(yīng)用

該系統(tǒng)已在陜西移動(dòng)十地市全面部署，大幅度提升運(yùn)維工作效率，使得原本手動(dòng)調(diào)度難以均衡的流量實(shí)現(xiàn)了智能均衡。

以某地市為例，該地市有兩個(gè)節(jié)點(diǎn)，實(shí)施智能調(diào)度前峰值負(fù)載率偏離度9%；均值負(fù)載率偏離度7%，實(shí)施智能之后，峰值負(fù)載率最大偏離度偏離度<3%，均值負(fù)載率最大偏離度<1%。

3 結(jié)束語

采用大數(shù)據(jù)分析系統(tǒng)結(jié)合DPDK技術(shù)，優(yōu)化現(xiàn)有“以人為主”的調(diào)度方式向“智能化調(diào)”轉(zhuǎn)變，實(shí)時(shí)分析各地市CDN服務(wù)器質(zhì)量，結(jié)合智能調(diào)度系統(tǒng)，實(shí)現(xiàn)了地市間、節(jié)點(diǎn)間CDN設(shè)備負(fù)載自動(dòng)俊航，解決了傳統(tǒng)運(yùn)維方式的弊端。