［丁圣勇 樊勇兵 陳楠］

分布式視頻處理框架及基于Hadoop的參考實(shí)現(xiàn)

［丁圣勇 樊勇兵 陳楠］

隨著互聯(lián)網(wǎng)、智能終端以及APP的快速發(fā)展，視頻數(shù)據(jù)成為極其重要的數(shù)據(jù)來源，視頻中包含了大量文本無法承載的信息。由于視頻數(shù)據(jù)具有量大、高度非結(jié)構(gòu)化特點(diǎn)，大規(guī)模視頻數(shù)據(jù)處理非常困難。文章提出一種基于大數(shù)據(jù)平臺(tái)的視頻處理系統(tǒng)，該系統(tǒng)充分利用大數(shù)據(jù)平臺(tái)的能力實(shí)現(xiàn)視頻處理的分布式調(diào)度，使得開發(fā)者僅需要關(guān)注算法部分，從而大幅度提升開發(fā)效率。

大數(shù)據(jù) 視頻處理 視頻解碼 Hadoop

中國電信廣州研究院，2001年本科畢業(yè)于中國科技大學(xué)，2015年獲中山大學(xué)計(jì)算機(jī)博士學(xué)位，長期從事云計(jì)算和大數(shù)據(jù)技術(shù)及應(yīng)用研究。

樊勇兵

中國電信廣州研究院。

陳楠

中國電信廣州研究院。

1 引言

隨著互聯(lián)網(wǎng)以及智能終端的發(fā)展，視頻數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式增長。有報(bào)告指出[1]：“智能視頻監(jiān)控、視頻內(nèi)容分析和視頻分析每年處理數(shù)萬億小時(shí)的視頻監(jiān)視圖像”。而據(jù)鄔賀銓院士報(bào)告指出：“在線視頻將成為消費(fèi)者互聯(lián)網(wǎng)流量的主導(dǎo)，網(wǎng)絡(luò)視頻流量比例將從2015年的37.4%增長到2019年的52%；網(wǎng)絡(luò)視頻流量占消費(fèi)者互聯(lián)網(wǎng)流量比例從2015年66%增長到2019年80%。2019年以電視機(jī)為終端的互聯(lián)網(wǎng)視頻將比2014年增長4倍”。

文本、語音、圖像以及圖像的序列視頻是自然界最重要的信息載體，文本往往用來表達(dá)概念，圖像和語音則往往記錄更為真實(shí)的場景，彼此互補(bǔ)而又不可替代。由于圖片的攝取更為方便，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，用戶越來越傾向于使用圖片或視頻記錄場景。此外，大量的攝像頭監(jiān)控存儲(chǔ)了海量數(shù)據(jù)，這些數(shù)據(jù)準(zhǔn)確記錄了監(jiān)控場景中發(fā)生的各種事件。由于視頻數(shù)據(jù)包含了文本數(shù)據(jù)無法承載的信息，準(zhǔn)確挖掘視頻數(shù)據(jù)中包含的信息對(duì)實(shí)際應(yīng)用具有重要的意義。

相比文本數(shù)據(jù)，視頻數(shù)據(jù)處理有幾個(gè)難點(diǎn)。（1）數(shù)據(jù)規(guī)模遠(yuǎn)遠(yuǎn)超過文本，這導(dǎo)致視頻數(shù)據(jù)處理的計(jì)算量特別大；（2）視頻數(shù)據(jù)具有高度非結(jié)構(gòu)化特點(diǎn)，原始數(shù)據(jù)必須經(jīng)過濾波、檢測、識(shí)別等一系列復(fù)雜操作才能得到有價(jià)值的信息。隨著深度學(xué)習(xí)等技術(shù)的發(fā)展，對(duì)視頻數(shù)據(jù)的理解能力越來越高，計(jì)算瓶頸問題則相對(duì)更為突出。

只有通過瑞士聯(lián)邦計(jì)量研究院 (METAS) 的嚴(yán)苛檢測，才能獲得印有“MASTER CHRONOMETER CERTIFICATE”的紅色認(rèn)證卡。

由于視頻計(jì)算密集，單機(jī)已經(jīng)很難滿足大規(guī)模視頻處理需求。對(duì)一個(gè)大型視頻處理系統(tǒng)，盡管開發(fā)者可以從頭搭建分布式處理系統(tǒng)，但需要花費(fèi)大量的精力在底層處理框架，如任務(wù)加載、數(shù)據(jù)分割、結(jié)果匯總等?？紤]到大規(guī)模視頻處理有相當(dāng)部分的工作可以重復(fù)利用，我們提出一種通用的大規(guī)模視頻處理平臺(tái)方案，使得用戶只需關(guān)注業(yè)務(wù)邏輯和核心算法。由于大數(shù)據(jù)技術(shù)已經(jīng)提供了大量的分布式計(jì)算方案，我們進(jìn)一步基于Hadoop平臺(tái)提出一種參照實(shí)現(xiàn)，該框架使用Hadoop的HDFS模塊存儲(chǔ)數(shù)據(jù)，視頻處理部分使用Hadoop MapReduce通用計(jì)算框架，在Hadoop上疊加一層Hadoop Video，負(fù)責(zé)封裝通用的視頻處理任務(wù)，如視頻切割、解碼以及接口封裝?；贖adoop Video，應(yīng)用系統(tǒng)只需實(shí)現(xiàn)特定的接口即可實(shí)現(xiàn)大規(guī)模處理系統(tǒng)。

后續(xù)我們稱大規(guī)模視頻處理框架為Big Video，基于Hadoop實(shí)現(xiàn)的框架則成為Hadoop Video。

2 系統(tǒng)需求

從開發(fā)者角度，Big Video需要支持一下核心功能：

視頻存儲(chǔ)。首先集群應(yīng)該提供一個(gè)超大的存儲(chǔ)空間，用戶能夠方便的上傳并存儲(chǔ)視頻。支持各種大小的視頻文件，同時(shí)兼容圖像數(shù)據(jù)。

視頻解碼。Big Video應(yīng)該自動(dòng)提供解碼功能，適應(yīng)各種不同的視頻格式。

內(nèi)嵌函數(shù)。Big Video應(yīng)當(dāng)提供豐富的圖像處理套件，如常用特征抽取，各種矩陣操作函數(shù)，濾波函數(shù)以及經(jīng)典的物體檢測、識(shí)別等。

編程接口。同時(shí)提供視頻級(jí)和幀級(jí)別的編程接口，滿足有狀態(tài)和無狀態(tài)任務(wù)需求。在幀級(jí)別接口用戶僅需對(duì)幀進(jìn)行操作，屬于無狀態(tài)計(jì)算。在視頻級(jí)接口，用戶可以使用序列進(jìn)行操作，也就是能夠獲得視頻整個(gè)的序列。

并發(fā)調(diào)度。能夠提供高效的并發(fā)調(diào)度機(jī)制，需要考慮到數(shù)據(jù)的物理位置盡可能減少跨節(jié)點(diǎn)傳輸。

性能要求。系統(tǒng)能夠提供接近線性的擴(kuò)展能力，也就是處理容量能夠隨CPU核心數(shù)目成準(zhǔn)線性增加。同時(shí)能夠支持GPU并行處理并進(jìn)行豐富的功能封裝，用戶無需使用復(fù)雜的GPU底層編程接口。

3 關(guān)鍵設(shè)計(jì)

視頻存儲(chǔ)：為了并行處理，并減少帶寬需求，視頻數(shù)據(jù)應(yīng)盡可能分布到不同的計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)一般采用塊方式?？紤]到視頻數(shù)據(jù)的特殊性，每個(gè)塊應(yīng)攜帶必要的視頻編碼信息，以保證能夠獨(dú)立解碼。

分布處理：由于視頻數(shù)據(jù)巨量，應(yīng)盡可能減少數(shù)據(jù)跨節(jié)點(diǎn)的傳輸，包括原始視頻數(shù)據(jù)和解碼后的幀數(shù)據(jù)。因此每個(gè)加載的任務(wù)應(yīng)就近處理所在物理節(jié)點(diǎn)的數(shù)據(jù)，這種就近訪問思想是大數(shù)據(jù)平臺(tái)的重要設(shè)計(jì)理念?；诖嗽瓌t，視頻解碼以及幀處理都應(yīng)當(dāng)盡可能在視頻段所在的物理機(jī)完成。圖1給出了相應(yīng)的示意圖。

開發(fā)接口：根據(jù)任務(wù)的不同，我們簡單分無狀態(tài)計(jì)算和有狀態(tài)計(jì)算。無狀態(tài)計(jì)算指視頻幀的處理不具有前后依賴關(guān)系；有狀態(tài)則相反。這兩種不同類型的任務(wù)要求平臺(tái)能夠暴露視頻級(jí)處理接口和幀級(jí)處理接口。由于處理任務(wù)非常多樣，平臺(tái)需設(shè)計(jì)層次化的接口，簡單可分為Low level和High level接口。Low level接口設(shè)計(jì)面向一般性計(jì)算，不做任何特定假設(shè)，比如將所有處理結(jié)果抽象為對(duì)，key，value是任意對(duì)象類型。而High level接口則可以封裝為對(duì)象檢測、物體搜索、背景建模等特定任務(wù)。

視頻解碼：視頻解碼是視頻處理系統(tǒng)特有的前置環(huán)節(jié)，也是計(jì)算密集的環(huán)節(jié)。視頻解碼需要考慮的因素包括：

（1）格式支持：應(yīng)支持主流視頻格式，如mp4,mkv,avi,rmvb等。

（2）解碼速度：對(duì)720p分辨率視頻，CPU主頻2.5GHZ下，單CPU應(yīng)能支持每秒300幀以上。

4 Hadoop參照實(shí)現(xiàn)

圖1 分布式視頻處理框架

很多大數(shù)據(jù)平臺(tái)如Hadoop在很大程度上已經(jīng)實(shí)現(xiàn)了Big Video處理的基礎(chǔ)工作，但由于視頻數(shù)據(jù)的特殊性，從頭基于Hadoop開發(fā)大規(guī)模視頻處理系統(tǒng)仍需大量工作（如視頻解碼，數(shù)據(jù)切塊），在Hadoop上疊加Hadoop Video Layer仍然可以大幅度簡化視頻處理任務(wù)的開發(fā)。我們以Hadoop平臺(tái)為參照，解釋如何利用現(xiàn)有的Hadoop功能以及新增的Hadoop Video Layer開發(fā)實(shí)現(xiàn)Big Video處理框架。

視頻存儲(chǔ)：利用Hadoop的HDFS模塊存儲(chǔ)視頻，將視頻文件存儲(chǔ)為Sequence File存儲(chǔ)結(jié)構(gòu)，稱為Video Sequence File。Sequence File中Key的設(shè)計(jì)應(yīng)當(dāng)能夠保證每個(gè)視頻塊可以索引到原始的視頻塊，以方便后續(xù)的回放追蹤等。每個(gè)value應(yīng)可以獨(dú)立解碼。由于一個(gè)視頻文件可能非常大，轉(zhuǎn)儲(chǔ)到Sequence File需要預(yù)先做切割。切割工具可以使用ffmpeg或基于其開發(fā)。從原始視頻上傳到Hadoop的指定結(jié)構(gòu)稱為Hadoop Video的上傳模塊，由Hadoop Video Layer提供。

視頻解碼：視頻解碼通過Map Reduce實(shí)現(xiàn)并行。Map的輸入為Sequence File，因此一條記錄就是一個(gè)完整的視頻塊。Map函數(shù)對(duì)視頻塊執(zhí)行解碼，生成一系列frame，并進(jìn)一步調(diào)用由用戶實(shí)現(xiàn)的FrameProcessor接口的process方法，該方法的輸入是解碼好的frame，輸出是

對(duì)，output key和output value的具體語義由用戶定義。

結(jié)果匯總：結(jié)果匯總直接使用Reducer實(shí)現(xiàn)。由于Reducer的邏輯是按照Map函數(shù)的output key進(jìn)行合并，用戶需要重載Reduce函數(shù)。

最后，從應(yīng)用開發(fā)角度看，用戶程序僅需要重載FrameProcesser和Reducer類，其他全部由Hadoop Video完成。

5 結(jié)束語

本論文提出了一種面向一般性大規(guī)模視頻處理的分布式計(jì)算框架，探討了若干設(shè)計(jì)需求和設(shè)計(jì)要素，我們指出這種框架可以很大程度復(fù)用現(xiàn)有計(jì)算平臺(tái)如Hadoop和Spark。我們以Hadoop為例，給出了大規(guī)模視頻處理框架的實(shí)現(xiàn)方案。

1 12015-2020年中國智能視頻監(jiān)控行業(yè)分析及發(fā)展方向研究報(bào)告.http://www.chinairr.org/report/R05/R0506/201505/25-180683.html

10.3969/j.issn.1006-6403.2016.11.007

（2016-11-07）