張 靚 肖俊東 趙開敏

（1.海軍駐大連426廠軍事代表室 大連 116001）（2.中國艦船研究設(shè)計(jì)中心 武漢 430064）

基于Spark的艦船網(wǎng)絡(luò)數(shù)據(jù)解析存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)?

張 靚1肖俊東2趙開敏2

（1.海軍駐大連426廠軍事代表室 大連 116001）（2.中國艦船研究設(shè)計(jì)中心 武漢 430064）

針對傳統(tǒng)艦船網(wǎng)絡(luò)數(shù)據(jù)處理能力不足的現(xiàn)狀，論文提出了基于Spark的數(shù)據(jù)處理解決方案。在Spark中根據(jù)XML解析二進(jìn)制文件、創(chuàng)建HBase數(shù)據(jù)庫并修改其自身的數(shù)據(jù)寫入機(jī)制，開發(fā)了網(wǎng)頁客戶端。論文創(chuàng)新性的提出了Spark對二進(jìn)制文件解析的一套算法，并在具體的試驗(yàn)過程中得以驗(yàn)證。在分布式架構(gòu)下從數(shù)據(jù)處理、存儲(chǔ)、應(yīng)用等角度，實(shí)現(xiàn)了一個(gè)自動(dòng)化的、穩(wěn)定的、高性能的大規(guī)模數(shù)據(jù)處理系統(tǒng)。

數(shù)據(jù)處理；Spark；HBase；分布式架構(gòu)

1 引言

隨著艦船網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，艦船網(wǎng)絡(luò)數(shù)據(jù)的數(shù)量也發(fā)生顯著增加。數(shù)據(jù)量的增加對數(shù)據(jù)的捕獲、處理和存儲(chǔ)提出了較高的要求。傳統(tǒng)的數(shù)據(jù)處理及存儲(chǔ)解決方案在大數(shù)據(jù)面前已經(jīng)顯得力不從心，必須尋求更高效的艦船網(wǎng)絡(luò)數(shù)據(jù)計(jì)算模式和數(shù)據(jù)存儲(chǔ)模式。

本文根據(jù)Spark技術(shù)的優(yōu)勢，優(yōu)化原有海量數(shù)據(jù)處理系統(tǒng)的計(jì)算單元MapReduce，設(shè)計(jì)HBase數(shù)據(jù)庫結(jié)構(gòu)，提高系統(tǒng)在各類數(shù)據(jù)場景下的數(shù)據(jù)處理能力。

2 基于Spark的海量艦船網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)

2.1 方案總體設(shè)計(jì)

本次方案設(shè)計(jì)使用Hadoop中1+N的NameNo?de和DataNode部署模式［1］。用Spark替換MapRe?duce作為數(shù)據(jù)計(jì)算單元，得到艦船網(wǎng)絡(luò)數(shù)據(jù)的各項(xiàng)屬性信息，Spark的解析結(jié)果上傳至HBase數(shù)據(jù)庫中［2］，Spark的解析依據(jù)采用的XML協(xié)議文件，同時(shí)優(yōu)化解析XML文件的解析方式，在HBase中數(shù)據(jù)以數(shù)據(jù)表的形式對各類數(shù)據(jù)分類存儲(chǔ)，方便數(shù)據(jù)的管理和訪問。在寫數(shù)據(jù)的過程中用批量寫入的方式替換HBase默認(rèn)的的單條寫入方式。網(wǎng)站設(shè)計(jì)采用Tomcat+Servlet的形式，兼顧網(wǎng)站性能和系統(tǒng)整體代碼的統(tǒng)一，方便開發(fā)與后期維護(hù)，故在設(shè)計(jì)中將網(wǎng)站基于Java的架構(gòu)［3～5］?？傮w設(shè)計(jì)方案如圖1所示。

2.2 軟件工作流程

軟件工作流程按照數(shù)據(jù)捕獲—數(shù)據(jù)處理—數(shù)據(jù)展示的順序進(jìn)行，而在數(shù)據(jù)處理中流程又因?yàn)閷?shí)際情況不同分為：單機(jī)數(shù)據(jù)處理和Hadoop集群處理。當(dāng)數(shù)據(jù)捕獲卡進(jìn)行數(shù)據(jù)捕獲時(shí)，系統(tǒng)對實(shí)時(shí)網(wǎng)絡(luò)流量進(jìn)行監(jiān)控，當(dāng)網(wǎng)絡(luò)流量較小時(shí)網(wǎng)絡(luò)數(shù)據(jù)并不上傳集群，而由本機(jī)上的解析程序進(jìn)行解析，當(dāng)解析完成后，各個(gè)子節(jié)點(diǎn)獨(dú)立寫入數(shù)據(jù)到HBase。當(dāng)網(wǎng)絡(luò)流量較大時(shí)，Hadoop的守護(hù)進(jìn)程被啟動(dòng)，數(shù)據(jù)以文件的形式存儲(chǔ)到本地，當(dāng)滿足上傳閾值后，文件被自動(dòng)上傳至分布式文件系統(tǒng)（HDFS），與此同時(shí)Spark作為計(jì)算單元開始獲取HDFS中的文件進(jìn)行解析，并將解析結(jié)果存入HBase中，以上兩個(gè)環(huán)節(jié)中數(shù)據(jù)的讀取和寫入都可能發(fā)生在不同子節(jié)點(diǎn)之間。無論何種情況，數(shù)據(jù)寫入HBase后，前端可以對數(shù)據(jù)的查詢、過濾等操作［6］。

2.3 關(guān)鍵技術(shù)

本文關(guān)鍵技術(shù)主要包括流量平衡算法與數(shù)據(jù)批量載入兩種。這兩種技術(shù)在數(shù)據(jù)解析和數(shù)據(jù)存儲(chǔ)時(shí)對系統(tǒng)的性能和穩(wěn)定度產(chǎn)生了較大的提升。

1）流量平衡算法

當(dāng)前流量等于當(dāng)前總包數(shù)減去上一秒總包數(shù)。結(jié)合實(shí)際情況，定一固定閾值，當(dāng)數(shù)據(jù)流量大于該閾值時(shí)，視當(dāng)前為大流量情況，此時(shí)啟動(dòng)守護(hù)進(jìn)程，將捕獲到的數(shù)據(jù)上傳至Hadoop集群；當(dāng)數(shù)據(jù)流量小于該閾值時(shí)，視當(dāng)前為小流量情況，捕獲的數(shù)據(jù)存儲(chǔ)在本機(jī)上，此時(shí)本機(jī)上的解析程序啟動(dòng)，開始對文件進(jìn)行解析，并寫入HBase分布式數(shù)據(jù)庫當(dāng)中。

通過流量平衡算法，整個(gè)網(wǎng)路數(shù)據(jù)解析存儲(chǔ)系統(tǒng)可以兼顧大規(guī)模數(shù)據(jù)和小流量數(shù)據(jù)兩種情況，不會(huì)出現(xiàn)用戶長時(shí)間等待處理結(jié)果的情況。

2）數(shù)據(jù)批量載入

本文采用BulkLoad批量寫入替代逐條寫入方案。

Bulkload的工作流程主要分為以下三點(diǎn)：

（1）在Spark中產(chǎn)生兩個(gè)Job；

（2）第一個(gè)Job進(jìn)行正常的數(shù)據(jù)解析，當(dāng)數(shù)據(jù)解析完成后，先將解析結(jié)果寫到一個(gè)HDFS中臨時(shí)文件當(dāng)中；

（3）第二個(gè)Job接受前一個(gè)Job的輸出結(jié)果，然后將其格式化為HFile，調(diào)用BulkLoad將生成的HFile導(dǎo)入到HBase中實(shí)現(xiàn)數(shù)據(jù)的批量導(dǎo)入［6～7］。

3 基于Spark的網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)的實(shí)現(xiàn)

3.1 數(shù)據(jù)捕獲模塊的設(shè)計(jì)與實(shí)現(xiàn)

數(shù)據(jù)捕獲網(wǎng)卡被布置到N臺服務(wù)器上，且由NameNode服務(wù)器控制各臺子節(jié)點(diǎn)的抓包起止。每個(gè)網(wǎng)卡抓取數(shù)據(jù)后存在本地文件夾中，以50M為一個(gè)文件大小，當(dāng)文件夾達(dá)到500M容量時(shí)，文件一并上傳至HDFS，本地文件夾清空。若網(wǎng)絡(luò)長時(shí)間處于低流量情況則啟用單機(jī)解析程序。

3.2 基于Spark的網(wǎng)絡(luò)數(shù)據(jù)的解析策略及實(shí)現(xiàn)

網(wǎng)絡(luò)數(shù)據(jù)來自于各種運(yùn)行的設(shè)備，網(wǎng)絡(luò)數(shù)據(jù)通過千兆高性能網(wǎng)卡捕獲，捕獲后數(shù)據(jù)格式化存儲(chǔ)。每一個(gè)報(bào)文都被數(shù)據(jù)捕獲網(wǎng)卡標(biāo)記上以下信息：時(shí)間戳、數(shù)據(jù)段長度、版本號等。

針對小流量二進(jìn)制文件采用服務(wù)器本地串行解析的方式。

針對大流量二進(jìn)制文件采用基于Spark的處理策略，以key-value的形式存放在JavaPairRDD中，key為文件HDFS地址（字符串），value為二進(jìn)制文件內(nèi)容。

提前一次性讀入所有協(xié)議XML數(shù)據(jù)，將XML完全解析，存入內(nèi)存，方便解析時(shí)調(diào)用。

XML協(xié)議名由源IP、目的IP、信息單元標(biāo)識信息組合而成，存儲(chǔ)的數(shù)據(jù)根據(jù)各自對應(yīng)的協(xié)議對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行解析。

3.3 HBase非關(guān)系型存儲(chǔ)的優(yōu)化設(shè)計(jì)實(shí)現(xiàn)

3.3.1 HBase表的結(jié)構(gòu)的優(yōu)化設(shè)計(jì)

1）Column-Family的優(yōu)化設(shè)計(jì)

數(shù)據(jù)表設(shè)計(jì)為單列族，即數(shù)據(jù)表中只存在一個(gè)cf列族，而將數(shù)據(jù)類型信息和字段信息整合形成列名。

2）RowKey的設(shè)計(jì)

在默認(rèn)行鍵（單純時(shí)間戳）基礎(chǔ)上，首位增加隨機(jī)字符串，由于本系統(tǒng)需要處理的數(shù)據(jù)量較大，應(yīng)使用較長的隨機(jī)字符串，才能使數(shù)據(jù)較為均勻地分布在所有的RegionServer上。但另一方面，由于HBase的行鍵值與其查詢效率有直接聯(lián)系，行鍵過長將會(huì)導(dǎo)致搜索效率降低，影響用戶體驗(yàn)。經(jīng)反復(fù)對比實(shí)驗(yàn)，選擇在時(shí)間戳前加上五位隨機(jī)字符串［8］。

最終設(shè)計(jì)的HBase數(shù)據(jù)表的RowKey由5位隨機(jī)數(shù)和當(dāng)前數(shù)據(jù)時(shí)戳組成，每一列數(shù)據(jù)即代表一幀數(shù)據(jù)，它們的列名為源IP+目的IP+項(xiàng)目名，且同一列中的數(shù)據(jù)RowKey值相同。

3.3.2 HBse的性能優(yōu)化

1）負(fù)載均衡機(jī)制

HBase表負(fù)載均衡機(jī)制選擇全局計(jì)劃，在有新節(jié)點(diǎn)加入時(shí)啟動(dòng)隨機(jī)分配計(jì)劃。全局計(jì)劃默認(rèn)每隔5min執(zhí)行一次均衡操作，將所有RegionServer上的Region分配的更加均勻。隨機(jī)分配計(jì)劃則主要用于新加入的RegionServer，隨機(jī)分配Region。

2）BulkLoad機(jī)制

采用BulkLoad批量寫入替代原有的逐條寫入方案。本文采用BulkLoad機(jī)制，將解析完成的數(shù)據(jù)統(tǒng)一輸出到一個(gè)HFile文件中，當(dāng)解析工作全部完成后，將整個(gè)文件一次性寫入HBase。

3.4 基于Java的Web端實(shí)現(xiàn)

本文中用戶對于數(shù)據(jù)查詢要求比較多樣，除了正常查詢以外，還需要進(jìn)行聯(lián)合查詢、模糊查詢等個(gè)性化的查詢需求。本文采用基于JSP和Servlet的Web端架構(gòu)。

3.4.1 Web端與HBase的交互

HBase與Java的交互包括：數(shù)據(jù)庫訪問、帶過濾條件的數(shù)據(jù)查詢、根據(jù)鍵值進(jìn)行單條數(shù)據(jù)查詢、無條件的整表查詢、列名前綴查詢等。

3.4.2 Web端的實(shí)現(xiàn)

1）界面布局設(shè)計(jì)

頁面的布局分為三個(gè)部分：篩選查詢條件部分、網(wǎng)絡(luò)數(shù)據(jù)展示部分、解析數(shù)據(jù)展示部分。

2）JSON數(shù)據(jù)

網(wǎng)絡(luò)數(shù)據(jù)在Web端和Servlet之間采用JSON格式的數(shù)據(jù)傳輸［9］。

3）數(shù)據(jù)查詢條件分析及接口設(shè)計(jì)

在Web端進(jìn)行數(shù)據(jù)查詢操作時(shí)，根據(jù)用戶的需求不同，后臺對HBase查詢方式也會(huì)不一樣，JSON數(shù)據(jù)的結(jié)構(gòu)設(shè)計(jì)也會(huì)隨之不同。根據(jù)用戶要求，查詢場景包括：全表查詢、單數(shù)據(jù)集單條件查詢、單數(shù)據(jù)集全集查詢、單數(shù)據(jù)集多條件查詢、多數(shù)據(jù)集聯(lián)合查詢、根據(jù)RowKey單條查詢等。

4 測試結(jié)果與分析

4.1 基于Spark的分布式系統(tǒng)搭建

4.1.1 硬件網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

本次設(shè)計(jì)的分布式網(wǎng)絡(luò)是由四臺服務(wù)器、一臺交換機(jī)、五臺普通PC組成。按照Hadoop生態(tài)系統(tǒng)的要求，結(jié)合本次設(shè)計(jì)的實(shí)際情況，將四臺服務(wù)器分配為NameNode和DataNode其數(shù)量分別為1和3。這四臺服務(wù)器直連交換機(jī)，數(shù)據(jù)捕獲網(wǎng)卡部署到每臺 DataNode上［10～11］。

由于Spark所有的計(jì)算和臨時(shí)文件的存儲(chǔ)都是在內(nèi)存中進(jìn)行，所以整個(gè)集群對DataNode所部署的服務(wù)器內(nèi)存要求較高。

4.1.2 軟件版本

本次設(shè)計(jì)的Hadoop版本為Hadoop-2.2.0，Spark的版本為Spark1.2.1，HBase版本為HBase-0.98.11，jdk版本為jdk1.7，Scala版本為sca?la2.9.3［12］。

4.2 Spark處理二進(jìn)制數(shù)據(jù)

4.2.1 不同Workers間Spark的計(jì)算效率

本節(jié)來進(jìn)行論證，當(dāng)Worker節(jié)點(diǎn)數(shù)分別為1和3時(shí)，Spark對網(wǎng)絡(luò)數(shù)據(jù)處理速度的差別。圖2（a）和圖2（b）為13G數(shù)據(jù)（小數(shù)據(jù)量）和55G數(shù)據(jù)（大數(shù)據(jù)量）在Spark中進(jìn)行處理時(shí)節(jié)點(diǎn)數(shù)與解析時(shí)間的關(guān)系圖。

從上述實(shí)驗(yàn)結(jié)果可以看出，節(jié)點(diǎn)個(gè)數(shù)對Spark數(shù)據(jù)處理效率的影響主要是在數(shù)據(jù)規(guī)模較大的情況下，在這種情況下，解析效率往往與節(jié)點(diǎn)數(shù)成倍數(shù)關(guān)系。相反，當(dāng)數(shù)據(jù)規(guī)模較小時(shí)，由于Spark初始化機(jī)制的存在，使得節(jié)點(diǎn)數(shù)目在解析效率中并起不到什么作用，甚至節(jié)點(diǎn)越多耗時(shí)越長。

4.2.2 Spark與MapReduce計(jì)算效率比較

圖3表示Mapreduce和Spark兩者處理55G數(shù)據(jù)所需要的時(shí)間長度對比，由圖可知Spark的解析效率是MapReduce的22倍左右。

4.3 Web端數(shù)據(jù)查詢實(shí)現(xiàn)

當(dāng)用戶數(shù)據(jù)開始寫入HBase數(shù)據(jù)庫后，Web端可以對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行查詢。針對數(shù)據(jù)庫中數(shù)據(jù)進(jìn)行各種方式的查詢操作，如全表查詢、模糊查詢、聯(lián)合查詢、用戶信息查詢等。

圖4為進(jìn)行模糊查詢時(shí)數(shù)據(jù)展示，左下角顯示用戶輸入的查詢條件，當(dāng)用戶只根據(jù)協(xié)議類型而不設(shè)置具體查詢字段或值時(shí)，我們將這樣的查詢方式稱之為模糊查詢。查詢結(jié)果展示在劇中的列表里，同時(shí)當(dāng)單擊某條數(shù)據(jù)后，屏幕右側(cè)將會(huì)把該數(shù)據(jù)的具體字段及對應(yīng)的字段值顯示其中。

當(dāng)用戶進(jìn)行查詢時(shí)，圖5反映了從點(diǎn)擊“查詢”按鈕，到查詢結(jié)果展示至前端所消耗的時(shí)間，如下圖所示，消耗時(shí)間為209ms。之所以時(shí)延如此小是因?yàn)槊看尾樵兌际且阅骋痪唧w的RowKey為基準(zhǔn)，所以可以迅速定位查詢起點(diǎn)。

當(dāng)用戶點(diǎn)擊某行數(shù)據(jù)時(shí)，會(huì)再次進(jìn)行查詢數(shù)據(jù)庫的操作，此次查詢可將該數(shù)據(jù)所有字段返回給前端，如圖6所示，等待響應(yīng)時(shí)間為154ms。這里體現(xiàn)了HBase的行鍵優(yōu)勢，數(shù)據(jù)即為索引，用戶可以某條數(shù)據(jù)的RowKey迅速找到該數(shù)據(jù)的完整信息。

5 結(jié)語

本次設(shè)計(jì)主要是對以MapReduce為數(shù)據(jù)處理單元的Hadoop系統(tǒng)進(jìn)行了計(jì)算能力上的改進(jìn)，以Spark計(jì)算單元替換MapReduce；將解析協(xié)議進(jìn)行提前處理，并緩存在內(nèi)存中，解析數(shù)據(jù)時(shí)從內(nèi)存中訪問解析文件，大大提高了解析效率；解析后文件批量導(dǎo)入，使數(shù)據(jù)存儲(chǔ)效率提高，對HBase數(shù)據(jù)庫的結(jié)構(gòu)進(jìn)行優(yōu)化使數(shù)據(jù)查詢速度更快；改變網(wǎng)站架構(gòu)，采用了Tomcat+Servlet架構(gòu)，使得整個(gè)系統(tǒng)更加適應(yīng)Hadoop生態(tài)系統(tǒng)，數(shù)據(jù)的查詢與返還在毫秒級別完成，用戶體驗(yàn)良好。

［1］Wang Y，Ma C，Wang W，et al.An approach of fast datamanipulation in HDFS with supplementary mechanisms［J］.Journal of Supercomputing，2015，71（5）：1736-1753.

［2］李浩.基于Hadoop的云計(jì)算數(shù)據(jù)安全關(guān)鍵問題研究［D］.上海：上海師范大學(xué)，2015.

［3］李曼，于青利.Spark生態(tài)系統(tǒng)走向成熟和應(yīng)用［J］.世界電信，2015（7）：66-72.

［4］夏俊鸞，劉旭暉，邵賽賽等.Spark大數(shù)據(jù)處理技術(shù)［M］.北京：電子工業(yè)出版社.2015.1-56.

［5］黎文陽.大數(shù)據(jù)處理模型Apache Spark研究［J］.現(xiàn)代計(jì)算機(jī)：普及版，2015（3）：55-60.

［6］董西成.Tez：運(yùn)行在YARN上的DAG計(jì)算框架［J］.程序員，2013（8）：98-102.

［7］Xu J W，Liang J L.Research on a Distributed Storage Ap?plication with HBase［J］.Advanced Materials Research，2013：631-632，1265-1269.

［8］Carstoiu D，Cernian A，Olteanu A.Hadoop Hbase-0.20.2 performance evaluation［C］//International Conference on New Trends in Information Science and Service Science.2010：84-87.

［9］張?jiān)欧?，柳平增，馬鴻健，等.一種基于JSON的分布式系統(tǒng)架構(gòu)［J］.中國農(nóng)機(jī)化學(xué)報(bào)，2015，36（5）：255-257.

［10］陳含.基于Hadoop的海量數(shù)據(jù)存儲(chǔ)和計(jì)算平臺的設(shè)計(jì)與實(shí)現(xiàn)［D］.武漢：武漢理工大學(xué)，2014.

［11］高官濤，鄭小盈，宋應(yīng)文，等.基于Spark MapR educ e框架的分布式渲染系統(tǒng)研究［J］.軟件導(dǎo)刊，2013（12）：26-29.

［12］楊志偉，鄭烇，王嵩，等.異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略［J］.計(jì)算機(jī)工程，2016，42（1）：31-35.

Design and Implementation of Ship Network Data Analysis and Storage System Based on Spark

ZHANG Liang1XIAO Jundong2ZHAO Kaimin2
（1.Naval Representative Office in Dalian 426 Factory，Dalian 116001）（2.China Ship Development and Design Center，Wuhan 430064）

Aiming at the shortage of data processing capability of traditional ship network，this paper proposes asolution of Spark-based data processing.It parses binary files according to XML in the Spark，creates the HBase database and modifies its own data writing mechanism，anddevelops the web client.This paper proposes a set of algorithms for Spark's analysis of binary files，which is validated in the concrete experiment.An automated，stable and high performance large-scale data processing system is real?izedfrom the aspects of data processing，storage and application under the distributed architecture。

data processing，Spark，HBase，distributed architecture

TP393

10.3969/j.issn.1672-9730.2017.11.023

Class Number TP393

2017年5月5日，

2017年6月17日

張靚，男，碩士研究生，工程師，研究方向：艦船建造及網(wǎng)絡(luò)信息化。肖俊東，男，碩士研究生，工程師，研究方向：艦船電子與信息。趙開敏，男，碩士研究生，工程師，研究方向：艦船電子與信息。