何 鵬, 吳 桐, 李靜輝

(齊齊哈爾大學(xué) 通信與電子工程學(xué)院, 黑龍江 齊齊哈爾 161006)

基于Hadoop的舊電腦機(jī)房改造與實(shí)驗(yàn)內(nèi)容更新

何 鵬, 吳 桐, 李靜輝

(齊齊哈爾大學(xué) 通信與電子工程學(xué)院, 黑龍江 齊齊哈爾 161006)

利用Hadoop技術(shù)將老舊電腦組成分布式集群,做成大數(shù)據(jù)處理平臺,并在此基礎(chǔ)上建成多媒體通信實(shí)驗(yàn)室。該平臺具有數(shù)據(jù)采集、數(shù)據(jù)處理和用戶訪問功能,成為一個完整的實(shí)驗(yàn)體系。平臺硬件主要由ARM、FPGA等開發(fā)板與攝像頭組成的IP攝像頭和電腦搭建的分布式集群組成,IP攝像頭獲取的數(shù)據(jù)通過分布式集群存儲,并通過交換機(jī)接入網(wǎng)絡(luò)。用戶能夠通過網(wǎng)頁客戶端對Hadoop分布式運(yùn)算平臺進(jìn)行訪問。

多媒體通信實(shí)驗(yàn)室； 大數(shù)據(jù)平臺； 實(shí)驗(yàn)室建設(shè)； Hadoop技術(shù)

為提高實(shí)驗(yàn)教學(xué)水平,齊齊哈爾大學(xué)通信與電子工程學(xué)院對實(shí)驗(yàn)設(shè)備進(jìn)行了升級換代,有一批電腦、攝像頭、開發(fā)板等設(shè)備被淘汰。這些被淘汰實(shí)驗(yàn)設(shè)備大多數(shù)依然能夠正常使用。學(xué)院根據(jù)此情況,利用大數(shù)據(jù)處理技術(shù)對這些舊設(shè)備進(jìn)行了整合利用,將其建成了以Hadoop分布式集群為核心的多媒體通信實(shí)驗(yàn)室。通過資源整合,實(shí)現(xiàn)網(wǎng)上、網(wǎng)下、移動終端等多種形式的資源共享,便于對教學(xué)過程進(jìn)行挖掘和分析,便于學(xué)生對實(shí)驗(yàn)結(jié)果進(jìn)行分析,提高了多媒體通信實(shí)驗(yàn)室的整體教學(xué)水平[1-2]。

1 實(shí)驗(yàn)平臺的搭建

1.1 整體的架構(gòu)

多媒體通信實(shí)驗(yàn)室的核心部分是Hadoop分布式運(yùn)算平臺。該平臺能夠?qū)RM等開發(fā)板處理后輸出的數(shù)據(jù)收集起來,通過多臺舊電腦所組成的分布式集群進(jìn)行分布式存儲,并通過交換機(jī)連接外部網(wǎng)絡(luò)。教師和學(xué)生都能夠通過網(wǎng)頁客戶端訪問Hadoop分布式運(yùn)算平臺。

1.2 總體規(guī)劃

實(shí)驗(yàn)教學(xué)需要有一個完整的教學(xué)體系。本實(shí)驗(yàn)室能夠?qū)?shù)據(jù)的采集、數(shù)據(jù)的處理和用戶的訪問3部分組合一起,學(xué)生不單能夠?qū)W習(xí)每一部分的知識,還能夠了解一個完整的項(xiàng)目結(jié)構(gòu)。在實(shí)驗(yàn)平臺的硬件搭建方面,主要是以ARM、FPGA、DSP開發(fā)板與模擬攝像頭相連接組成的IP攝像頭部分和由舊電腦所搭建的分布式集群兩部分組成。此外,教師和學(xué)生可以利用電腦、手機(jī)等終端設(shè)備通過網(wǎng)絡(luò)對實(shí)驗(yàn)平臺進(jìn)行訪問。

1.3 數(shù)據(jù)采集部分規(guī)劃

多媒體通信實(shí)驗(yàn)室數(shù)據(jù)采集以視頻為主,音頻、文字?jǐn)?shù)據(jù)采集為輔。多媒體通信實(shí)驗(yàn)室主要利用學(xué)校各實(shí)驗(yàn)室淘汰的模擬攝像頭和ARM、FPGA、DSP開發(fā)板,需要將模擬攝像頭與開發(fā)板相連接組成IP攝像頭，通過開發(fā)板的網(wǎng)線端口與交換機(jī)連接進(jìn)入網(wǎng)絡(luò)。

1.4 分布式集群規(guī)劃

建設(shè)分布式集群[3-4]的主要目的是利用多臺舊電腦的無密碼訪問,將一個整體任務(wù)均分給集群中的各個子節(jié)點(diǎn),讓每個子節(jié)點(diǎn)的電腦同時對任務(wù)進(jìn)行處理,以提高效率。由于多媒體通信實(shí)驗(yàn)室利用的舊電腦處理器主要為奔騰4處理器,而Hadoop適用于低成本的設(shè)備,所以這些舊電腦非常適用于搭建Hadoop分布式集群[5-6]。我們將40臺舊電腦平均分成4組實(shí)驗(yàn)平臺,每組平臺用1臺電腦作為主節(jié)點(diǎn)NameNode,其余9臺作為子節(jié)點(diǎn)DataNode。分布式集群硬件拓?fù)鋱D如圖1所示。

圖1 Hadoop分布式集群拓?fù)鋱D

1.5 網(wǎng)絡(luò)整體規(guī)劃

Hadoop分布式集群中的子節(jié)點(diǎn)DataNode需要和所屬的主節(jié)點(diǎn)NameNode共同處在一個內(nèi)網(wǎng)中；而主節(jié)點(diǎn)NameNode則安裝2個網(wǎng)卡,分別是用于與子節(jié)點(diǎn)連接的內(nèi)網(wǎng)網(wǎng)卡和與外網(wǎng)連接的外網(wǎng)網(wǎng)卡。

1.6 網(wǎng)頁客戶端設(shè)計(jì)

當(dāng)教師和學(xué)生在實(shí)驗(yàn)室之外的地方時,可以通過手機(jī)、電腦、iPad等設(shè)備對實(shí)驗(yàn)狀態(tài)進(jìn)行監(jiān)控。對于網(wǎng)頁客戶端的設(shè)計(jì),多媒體通信實(shí)驗(yàn)室利用的是基于J2EE的數(shù)據(jù)管理平臺。平臺的業(yè)務(wù)應(yīng)用分為表示層、業(yè)務(wù)邏輯層和數(shù)據(jù)持久化層,需要用表示層來實(shí)現(xiàn)頁面的顯示,用業(yè)務(wù)邏輯層來實(shí)現(xiàn)對用戶請求的數(shù)據(jù)的業(yè)務(wù)處理。業(yè)務(wù)邏輯層操作數(shù)據(jù)庫也被單獨(dú)分離,使得各個層次之間的結(jié)構(gòu)關(guān)系更加清晰[7]。通過J2EE設(shè)計(jì)Web與Hadoop分布式集群交互,以實(shí)現(xiàn)遠(yuǎn)程監(jiān)控功能。

而對于網(wǎng)頁客戶端,教師端與學(xué)生端的功能有所不同。教師端能夠同時對多媒體通信實(shí)驗(yàn)室的實(shí)驗(yàn)平臺進(jìn)行監(jiān)控；而學(xué)生端需要進(jìn)行注冊,并且只能監(jiān)控所注冊的實(shí)驗(yàn)平臺的運(yùn)行狀況。

2 集群功能與實(shí)驗(yàn)設(shè)計(jì)

Hadoop分布式集群主要由分布式存儲和分布式運(yùn)算兩部分組成。以往的實(shí)驗(yàn)總是通過一臺電腦獨(dú)自進(jìn)行處理并得出實(shí)驗(yàn)結(jié)果；而利用舊電腦進(jìn)行Hadoop分布式集群的搭建,使其作為一個整體來進(jìn)行實(shí)驗(yàn)工作,既使舊電腦得到重新利用,又使實(shí)驗(yàn)課程得到更新。以往的實(shí)驗(yàn)與分布式集群結(jié)合后,從實(shí)驗(yàn)的豐富度和課程深度上都得到了提升。Hadoop分布式集群不僅能夠?qū)σ曨l進(jìn)行處理,而且對音頻、文字信息等數(shù)據(jù)都能夠進(jìn)行分布式存儲與運(yùn)算。

現(xiàn)階段,齊齊哈爾大學(xué)利用該多媒體通信實(shí)驗(yàn)室開出多項(xiàng)實(shí)驗(yàn)課程。

(1) IP攝像頭的設(shè)計(jì)。該實(shí)驗(yàn)是將實(shí)驗(yàn)室淘汰的模擬攝像頭與開發(fā)板組合設(shè)計(jì)成IP攝像頭。學(xué)生針對不同的開發(fā)平臺(如ARM,FPGA,DSP)需要學(xué)習(xí)不同的語言，并且在編寫過程中要注意對ONVIF、SIP協(xié)議的編寫[8-11]。

(2) 多媒體通信技術(shù)仿真實(shí)驗(yàn)。該實(shí)驗(yàn)介紹了當(dāng)今多媒體通信遇到的主要問題與解決方法,詳細(xì)介紹幾種常見的多媒體通信技術(shù),使學(xué)生學(xué)會利用分布式集群對視頻進(jìn)行處理。實(shí)驗(yàn)內(nèi)容主要有視頻數(shù)據(jù)的存儲與播放、流媒體視頻文件的格式分類、視頻與音頻分組、對視頻和音頻進(jìn)行壓縮與編碼等。

(3) 基于H.264的SVC流媒體實(shí)驗(yàn)。該實(shí)驗(yàn)讓學(xué)生利用軟件在單一電腦上使用不同碼率,分級感受視頻H.264編碼所帶來的視覺上的差別,通過分布式集群對視頻進(jìn)行H.264 SVC編碼。

(4) 電聲實(shí)驗(yàn)。實(shí)驗(yàn)要求對于音頻進(jìn)行處理,例如對音頻的分割、特征值提取等傳統(tǒng)實(shí)驗(yàn)項(xiàng)目,要利用分布式并行運(yùn)算對音頻進(jìn)行處理。

(5) 圖像處理實(shí)驗(yàn)。同音頻處理一樣,以往在實(shí)驗(yàn)室中主要對圖像進(jìn)行轉(zhuǎn)換為灰度圖、圖像切割、特征值提取等實(shí)驗(yàn)；而在此實(shí)驗(yàn)室中,學(xué)生需要在分布式集群下對圖像進(jìn)行處理。

(6) 多媒體通信綜合實(shí)驗(yàn)。在上述實(shí)驗(yàn)課程的基礎(chǔ)上,要求學(xué)生將數(shù)據(jù)采集和數(shù)據(jù)的處理結(jié)合起來,利用所設(shè)計(jì)的IP攝像頭將視頻傳入Hadoop分布式集群中,再利用Hadoop分布式集群對視頻進(jìn)行處理。例如完成視頻特征值的提取、視頻的分割和提取。

3 實(shí)驗(yàn)室使用情況

多媒體通信實(shí)驗(yàn)室主要對本校通信與電子工程學(xué)院學(xué)生開放。學(xué)生如果需要在多媒體通信實(shí)驗(yàn)室學(xué)習(xí),需要提出預(yù)約申請,每預(yù)約達(dá)到6人就可以組成一個學(xué)習(xí)小組,并為此學(xué)習(xí)小組分配一組實(shí)驗(yàn)設(shè)備。學(xué)生使用多媒體通信實(shí)驗(yàn)室，需要進(jìn)行客戶端注冊才能夠在實(shí)驗(yàn)室之外地方觀察Hadoop運(yùn)行狀態(tài)(實(shí)驗(yàn)室使用流程見圖2)。學(xué)生在進(jìn)行實(shí)驗(yàn)前需要撰寫預(yù)習(xí)報(bào)告；每完成一項(xiàng)實(shí)驗(yàn),還要撰寫實(shí)驗(yàn)報(bào)告。

圖2 實(shí)驗(yàn)室使用流程

4 結(jié)語

利用實(shí)驗(yàn)室淘汰但還能夠使用的電腦、攝像頭、開發(fā)板等實(shí)驗(yàn)設(shè)備,齊齊哈爾大學(xué)通信與電子工程學(xué)院創(chuàng)建了以Hadoop分布式集群為核心的多媒體通信實(shí)驗(yàn)室,將以往的實(shí)驗(yàn)在分布式集群上運(yùn)行并升級為新的實(shí)驗(yàn)課程,使以往只能在實(shí)驗(yàn)室中進(jìn)行的實(shí)驗(yàn),擴(kuò)展為在有網(wǎng)絡(luò)的地方都能夠?qū)?shí)驗(yàn)進(jìn)行監(jiān)控的個性化網(wǎng)絡(luò)實(shí)驗(yàn)課程。該做法有助于培養(yǎng)學(xué)生的自主學(xué)習(xí)能力和創(chuàng)新實(shí)踐能力,對于實(shí)驗(yàn)課程的改革起到了促進(jìn)作用,也可供實(shí)驗(yàn)課程體系改革、線上教學(xué)與線下教學(xué)一體化網(wǎng)絡(luò)教學(xué)借鑒。

References)

[1] 范文婷,熊曉英.以培養(yǎng)創(chuàng)新型人才為核心,探索國家級實(shí)驗(yàn)教學(xué)示范中心建設(shè)[J].新聞世界,2012(1):162-163.

[2] 彭長宇,代顯華,劉曉琴.基于云平臺的公共實(shí)踐教學(xué)平臺建設(shè)[J].實(shí)驗(yàn)技術(shù)與管理,2015,32(4):193-196.

[3] 姜曉輝,郭久武,王博,等.分布式集群處理環(huán)境平臺軟件技術(shù)研究[J].吉林大學(xué)學(xué)報(bào)(信息科學(xué)版),2015,33(3):331-337.

[4] 商景春.基于Linux集群的分布式進(jìn)程通信系統(tǒng)的實(shí)現(xiàn)[J].移動信息,2015(12):00032.

[5] 鮑彤,陳維鋒,盧磊.基于Hadoop的分布式集群平臺構(gòu)建方法研究[J].信息通信,2013(8):21-22.

[6] Borthakur D. The Hadoop Distributed File System: Architecture and Design[J].Hadoop Project Website,2007,11(11):1-10.

[7] 李曉波.基于Hadoop的海量視頻數(shù)據(jù)存儲及轉(zhuǎn)碼系統(tǒng)的研究與設(shè)計(jì)[D].杭州:浙江工業(yè)大學(xué),2013.

[8] 徐飛明.基于ONVIF協(xié)議的NVR軟件平臺的設(shè)計(jì)與開發(fā)[D].杭州:浙江大學(xué),2012.

[9] 李明學(xué),田由輝,張雅君.ARM平臺嵌入式網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)[J].電子產(chǎn)品世界,2012,19(12):62-64.

[10] 代明清,韓強(qiáng),鄧豹,等.基于ARM和FPGA的SiP系統(tǒng)級封裝設(shè)計(jì)[J].微型機(jī)與應(yīng)用,2014(1):25-27.

[11] 莫飛.基于ONVIF標(biāo)準(zhǔn)的一體化智能網(wǎng)絡(luò)相機(jī)的設(shè)計(jì)與應(yīng)用[D].武漢:華中科技大學(xué),2015.

Reform of old computer room based on Hadoop and update of experimental contents

He Peng, Wu Tong, Li Jinghui

(Communication and Electronic Engineering Institute, Qiqihar University, Qiqihar 161006, China)

With the rapid development of hardware level, computer equipment updates are also faster than before. And with the upgrading of the performance of hardware devices, the software and system support for older computers are getting worse, out of the computer has been basically unable to support the normal operation of teaching software. How to use these devices to re-use is the problem which now many colleges and universities have to face . This paper will use Hadoop technology, assembly of old computers together, for the large data processing platform, and on this basis to build a multimedia communication laboratory for using of teachers and students.

multimedia communication laboratory; large data platform; construction of laboratory; Hadoop technology

10.16791/j.cnki.sjg.2017.05.035

2016-11-15

黑龍江省高等教育學(xué)會“十二五”教育科學(xué)研究課題青年專項(xiàng)(14Q097)；齊齊哈爾市科技局工業(yè)攻關(guān)項(xiàng)目(GYGG-201509)

何鵬(1970—),男(蒙古族),黑龍江肇源,博士,教授,碩士生導(dǎo)師,副院長,主要研究領(lǐng)域?yàn)閳D像處理、生物信息檢測.

E-mail：paper507@163.com

TP274；G647

A

1002-4956(2017)5-0144-03