劉曉暉，何 釗

(中國飛機(jī)強(qiáng)度研究所 信息技術(shù)中心，陜西 西安 710065)

1 引 言

在過去的數(shù)年中，大數(shù)據(jù)技術(shù)研究取得了重大進(jìn)展。為了滿足不斷增長的數(shù)據(jù)量和處理速度的需求，面向視頻流這類典型大數(shù)據(jù)的處理與存儲方法正在不斷更新?lián)Q代之中。視頻流從傳統(tǒng)的監(jiān)控?cái)z像、網(wǎng)絡(luò)視頻，到各種智能終端搭載的成像設(shè)備，各種數(shù)據(jù)源會產(chǎn)生大量的、有價(jià)值的視頻數(shù)據(jù)流。然而，處理海量的非結(jié)構(gòu)化數(shù)據(jù)非常困難，更不用說滿足用戶對于實(shí)時(shí)性的需求了。

針對上述問題，本文在WebRTC技術(shù)的基礎(chǔ)上，設(shè)計(jì)了一個(gè)實(shí)時(shí)數(shù)據(jù)處理方法，在應(yīng)對海量視頻數(shù)據(jù)處理需求的同時(shí)，為用戶提供可靠的實(shí)時(shí)性方法。為了能夠充分利用云端資源，利用亞馬遜云服務(wù)進(jìn)行系統(tǒng)部署，避免處理器與存儲的閑置、高峰處置，提供視頻數(shù)據(jù)存儲的自動(dòng)平衡負(fù)載，節(jié)約成本，使得整個(gè)系統(tǒng)擁有較高的實(shí)時(shí)性與執(zhí)行效率。

2 視頻通信與處理模塊

2.1 視頻通信模塊-WebRTC應(yīng)用

本次系統(tǒng)開發(fā)中將使用WebRTC作為通信模塊的基礎(chǔ)工具。WebRTC(網(wǎng)絡(luò)實(shí)時(shí)通信)是一項(xiàng)視頻開發(fā)技術(shù)，用戶能夠利用其在視頻和音頻中建立通信通道。這項(xiàng)技術(shù)允許用戶建立實(shí)時(shí)通信，而無需其他插件、軟件或服務(wù)器訂閱。此外，WebRTC用戶可以將視頻處理模塊應(yīng)用于軟件中，從而進(jìn)行進(jìn)一步的視頻處理與分析。在云中部署這樣的系統(tǒng)(例如Amazon Web Services，Google Compute Engine，Windows Azure)可使系統(tǒng)能夠處理大量流量，建立并發(fā)的RTC通信鏈接。

在本次設(shè)計(jì)中，通過調(diào)用WebRTC的通信接口MediaInterface，客戶端可以連接到Web應(yīng)用程序，并在呼叫設(shè)置過程中授予對其攝像頭和麥克風(fēng)的訪問權(quán)限，而無需任何其他插件或配置，這樣就可以輕松地從不同的平臺(無論是不同的操作系統(tǒng)(基于Windows或Unix)還是不同的操作環(huán)境(移動(dòng)，桌面或Web))訪問Web應(yīng)用程序，并且易于開發(fā)。

2.2 視頻處理模塊實(shí)現(xiàn)

視頻處理模塊應(yīng)用HTML編輯工具，利用HTML 5和“

利用視頻處理模塊的加載獨(dú)立設(shè)計(jì)的視頻處理模塊，在通信進(jìn)行時(shí)，可以在獨(dú)立的視頻幀上運(yùn)行一些視頻處理算法，通話結(jié)束時(shí)，視頻處理模塊根據(jù)執(zhí)行的計(jì)算收集視頻處理后結(jié)果。通過調(diào)用Kurento(WebRTC兼容開源處理模組)，提供一組客戶端API，可簡化與Web和移動(dòng)設(shè)備兼容的高級視頻應(yīng)用程序的開發(fā)。同時(shí)，應(yīng)用流媒體處理功能，應(yīng)用OpenCV相關(guān)方法，涉及計(jì)算機(jī)視覺，增強(qiáng)現(xiàn)實(shí)和語音分析。通過使用Kurento模組，可以部署一個(gè)簡約的視頻處理應(yīng)用程序，該應(yīng)用程序在視頻通話中連接兩個(gè)用戶，每個(gè)用戶都可以實(shí)時(shí)接收另一個(gè)用戶的視頻修改版本。

圖1所示為本次開發(fā)的視頻處理模塊。由于Kurento組件支持OpenCV和GStreamer等第三方視頻處理方法，本次設(shè)計(jì)使用OpenCV的相關(guān)視頻處理函數(shù)，開發(fā)一種簡化的視頻處理模塊，并通過Kurento部署于WebRTC之中。通過實(shí)時(shí)的處理模組，得到經(jīng)過處理的視頻數(shù)據(jù)。該模塊使用預(yù)定義的操作系統(tǒng)環(huán)境變量，該變量定義在建立與服務(wù)器的連接時(shí)要使用的負(fù)載平衡器URL。通過設(shè)置URL，可以隨時(shí)更改云配置，而無需重新部署面向客戶端的Web應(yīng)用程序。

圖1 基于WebRTC的視頻處理模塊設(shè)計(jì)

3 視頻處理系統(tǒng)云端部署

3.1 亞馬遜云服務(wù)

本次視頻處理系統(tǒng)將部署于亞馬遜云服務(wù)中。亞馬遜云服務(wù)是Amazon.com提供的最全面、應(yīng)用最廣泛的云平臺，提供各類資源、應(yīng)用實(shí)例、應(yīng)用方法、存儲等供用戶使用，同時(shí)提供數(shù)據(jù)庫與分析模組等，可以保證應(yīng)用流暢便捷地在云端部署，并滿足大規(guī)模部署所需的系統(tǒng)彈性和可伸縮性。

3.2 云端部署

本次系統(tǒng)應(yīng)用部署于Amazon Web Service IAAS3，共設(shè)置了兩種實(shí)例，一種用于部署視頻處理應(yīng)用系統(tǒng)，一種用于部署視頻通信服務(wù)。

(1)視頻處理應(yīng)用系統(tǒng)實(shí)例

視頻處理應(yīng)用系統(tǒng)將應(yīng)用AWS提供的EC2實(shí)例，其是常規(guī)的低層(t2.micro)實(shí)例。使用TOMCAT Web服務(wù)器配置，以托管形式連接服務(wù)器的應(yīng)用程序。實(shí)例位于負(fù)載平衡器之后，通過配置URL，用戶可以根據(jù)需求將實(shí)例自動(dòng)分配給AWS服務(wù)器。同時(shí)，將在此實(shí)例部署彈性負(fù)載平衡(ELB)使服務(wù)之間的負(fù)載分配更加智能化、自動(dòng)化，實(shí)現(xiàn)自動(dòng)在可用服務(wù)器之間進(jìn)行分配數(shù)據(jù)與內(nèi)存。

(2)視頻通信服務(wù)實(shí)例

視頻通信服務(wù)實(shí)例將部署Kurento通信服務(wù)應(yīng)用。同時(shí)，在此實(shí)例上將部署一個(gè)自動(dòng)負(fù)載擴(kuò)展組，用于系統(tǒng)自動(dòng)負(fù)載的實(shí)現(xiàn)。Kurento實(shí)例被實(shí)例化為自動(dòng)負(fù)載平衡組的一部分，系統(tǒng)將實(shí)時(shí)獲取應(yīng)用程序被使用的需求情況，自動(dòng)做到負(fù)載均衡，避免預(yù)先手動(dòng)配置Amazon EC2容量。在這種系統(tǒng)自動(dòng)負(fù)載框架下，AWS將不許設(shè)置應(yīng)用程序最大實(shí)例數(shù)，而是通過定義用戶期望的最小實(shí)例數(shù)(正常情況下所需的實(shí)例數(shù))與高峰處理期間的最大實(shí)例數(shù)來配置自動(dòng)負(fù)載拓展組。AWS將根據(jù)要處理的數(shù)據(jù)負(fù)載自動(dòng)擴(kuò)大規(guī)模(添加更多實(shí)例)或縮小規(guī)模(刪除實(shí)例)。

如圖2所示，系統(tǒng)將使用擴(kuò)大負(fù)載策略和閾值報(bào)警功能，當(dāng)服務(wù)器端過載超過75%容量，同時(shí)時(shí)間超過1min，自動(dòng)負(fù)載模塊將自動(dòng)運(yùn)行擴(kuò)大負(fù)載策略，并通知用戶將額外增加相應(yīng)的實(shí)例。

圖2 75%負(fù)載閾值警告以及自動(dòng)負(fù)載運(yùn)行

4 結(jié) 語

本文所使用的方法將視頻處理和自動(dòng)負(fù)載功能部署于云服務(wù)之中，較為低成本地解決視頻數(shù)據(jù)這種大數(shù)據(jù)的存儲與拓展性問題。通過利用AWS中的多種應(yīng)用實(shí)例，部署自動(dòng)負(fù)載拓展組，實(shí)現(xiàn)視頻流數(shù)據(jù)的最佳負(fù)載管理，對于大數(shù)據(jù)的存儲與管理提供了一種有效的方法。