呂志峰

(江蘇航運職業(yè)技術(shù)學(xué)院，江蘇 南通 226010)

0 引 言

柴油機是船舶推進系統(tǒng)的重要組成部分，船舶噸位的不斷增長對推進系統(tǒng)提出了更高的要求，在這種情況下，柴油機的功率越來越大，結(jié)構(gòu)也越來越復(fù)雜，柴油機運行的可靠性和穩(wěn)定性尤為重要。對柴油機的監(jiān)控得到的數(shù)據(jù)量不僅包含數(shù)字量，同時也包含很多的高精度模擬量，從這些數(shù)據(jù)中獲取有用的數(shù)據(jù)是一個非常龐大的工程。不僅要求對所有的數(shù)據(jù)進行存儲，同時還要對大量的數(shù)據(jù)進行分析，必要時還需要建立柴油機的監(jiān)測模型，使用大數(shù)據(jù)技術(shù)對柴油機的相關(guān)參數(shù)進行監(jiān)測和處理。

對船舶柴油機的監(jiān)控一直是國內(nèi)外研究的熱點，特別是對柴油機故障的診斷必須依賴于柴油機相關(guān)參數(shù)的監(jiān)控。張新宇[1]提出一種基于大數(shù)據(jù)處理的柴油機SCR 系統(tǒng)，并提出用戶行為會對SCR 系統(tǒng)造成影響。熊威[2]認(rèn)為傳統(tǒng)的柴油機故障診斷方法存在一定局限性，這主要是由于船舶上的數(shù)據(jù)采集和處理速度受到嵌入式處理器的限制，同時數(shù)據(jù)的安全性也無法得到有效保證。大數(shù)據(jù)平臺技術(shù)為柴油機的監(jiān)測和故障診斷提供了一個新的方法，為此本文提出一種基于Hadoop 技術(shù)的船舶柴油機大數(shù)據(jù)平臺。該平臺能夠?qū)崿F(xiàn)對船舶用柴油機數(shù)據(jù)的實時采集、存儲、查詢和分析，同時也為后續(xù)的柴油機故障診斷提供良好的基礎(chǔ)。

1 Hadoop 技術(shù)

1.1 HDFS

Hadoop 是一種分布式基礎(chǔ)架構(gòu)，Hadoop 技術(shù)中有2 個最重要的組件，分別是HDFS（Hadoop Distribute File System）和MapReduce，依靠這2 個組件，Hadoop技術(shù)可以實現(xiàn)大數(shù)據(jù)的存儲和處理。Hadoop 技術(shù)具有高可靠性、低成本、高擴展性以及高效性，同時它還支持多種編程語言，可以有效降低項目的開發(fā)時間和成本[3–5]。

在大數(shù)據(jù)處理平臺中，對數(shù)據(jù)的存儲至關(guān)重要，因而HDFS 在整個Hadoop 技術(shù)中的地位也相當(dāng)重要。圖1 為HDFS 的存儲架構(gòu)，可以發(fā)現(xiàn)，HDFS 對數(shù)據(jù)的操作依賴于若干數(shù)量的DataNode 以及NameNode，DataNode 是數(shù)據(jù)節(jié)點，負(fù)責(zé)存儲大數(shù)據(jù)平臺所有的基礎(chǔ)數(shù)據(jù)，而NameNode 則存儲映射表，這個映射表也不是一直不變，而是通過DataNode 不斷上報的信息進行更新，這一點主要通過Heartbeat 來實現(xiàn)。映射表中存儲了不同數(shù)據(jù)的位置信息以及副本的數(shù)量，這樣在客戶端發(fā)起讀數(shù)據(jù)的請求后，通過NameNode 就可以獲取該數(shù)據(jù)的具體內(nèi)容[6]。

圖1 HDFS 讀寫過程的實現(xiàn)Fig. 1 Implementation of HDFS read and write process

NameNode 和DataNode 保持?jǐn)?shù)據(jù)通信，這樣就可以不斷地更新數(shù)據(jù)，同時也可以接收NameNode 的一些操作命令，包括對數(shù)據(jù)的復(fù)制、刪除等，客戶端同時也可以直接向DataNode 發(fā)出命令進行操作，為了實現(xiàn)具體的操作，DataNode 之間需要根據(jù)一定的通信協(xié)議要求進行合作。

在船舶柴油機大數(shù)據(jù)平臺的搭建中，為了保證數(shù)據(jù)的完整性和準(zhǔn)確性需要考慮數(shù)據(jù)存儲的安全性，在HDFS 中通過副本實現(xiàn)，大數(shù)據(jù)的存儲通過不同的數(shù)據(jù)節(jié)點實現(xiàn)，因而將柴油機的數(shù)據(jù)存儲于一個數(shù)據(jù)節(jié)點，此數(shù)據(jù)節(jié)點位于機架1，而將另外一個副本儲存在機架2 上的另一個數(shù)據(jù)節(jié)點，因而可以最大程度保證數(shù)據(jù)的完整性和可靠性。同時當(dāng)一個數(shù)據(jù)節(jié)點出現(xiàn)故障時，HDFS 會識別出當(dāng)前數(shù)據(jù)節(jié)點的機架號，并將該節(jié)點上的數(shù)據(jù)備份到另外一個機架上。

1.2 MapReduce

為了實現(xiàn)對柴油機監(jiān)控數(shù)據(jù)的處理，除了要使用HDFS 對數(shù)據(jù)進行存儲、刪除、查詢等操作外，還需要對輸入的數(shù)據(jù)進行進一步分析和計算，在這個過程中，MapReduce 是實現(xiàn)這一功能的關(guān)鍵。在Hadoop技術(shù)中不僅可以實現(xiàn)分布式存儲，同時還可以實現(xiàn)分布式計算[7]。

在柴油機相關(guān)數(shù)據(jù)輸入后，使用MapReduce 進行分布式計算的主要過程如圖2 所示。分布式計算主是將柴油機監(jiān)測數(shù)據(jù)按照一定的規(guī)則進行分類，將其分成多個Split，JobTracer 將計算任務(wù)合理地分配給MapperTask，Shuffle 負(fù)責(zé)將從上一步獲取的數(shù)據(jù)分發(fā)到ReducerTask，ReducerTask階段則會將MapperTask 所獲得的結(jié)果進行匯總，最后得到總的輸出結(jié)果。

圖2 MapReduce 實現(xiàn)分布式計算的過程Fig. 2 MapReduce implementation of distributed computing

2 基于Hadoop 技術(shù)的船舶柴油機大數(shù)據(jù)平臺

2.1 系統(tǒng)整體設(shè)計

本文設(shè)計的基于Hadoop 技術(shù)的船舶柴油機大數(shù)據(jù)平臺整體結(jié)構(gòu)如圖3 所示，整個平臺包括3 層，分別是應(yīng)用層、大數(shù)據(jù)層以及數(shù)據(jù)采集層。

圖3 系統(tǒng)整體設(shè)計框圖Fig. 3 System overall design block diagram

圖4 寫入速度和寫入時間測試結(jié)果Fig. 4 Write speed and write time test results

1）數(shù)據(jù)采集層。這一層主要是負(fù)責(zé)對柴油機的數(shù)據(jù)進行采集，一般使用嵌入式系統(tǒng)并結(jié)合以太網(wǎng)、現(xiàn)場總線等方式實現(xiàn)船舶柴油機數(shù)據(jù)的采集和傳輸。嵌入式系統(tǒng)具有良好的實時性，因而在完成對船舶柴油機數(shù)據(jù)的采集后使用CAN 總線或者以太網(wǎng)，將數(shù)據(jù)發(fā)送到大數(shù)據(jù)平臺進行分布式存儲和計算。

2）大數(shù)據(jù)層。這一層中使用HDFS 對柴油機監(jiān)測數(shù)據(jù)進行存儲，完成對數(shù)據(jù)的離線分析、BI 分析以及實時查詢等操作。

3）應(yīng)用層。應(yīng)用層是和用戶實現(xiàn)交互功能，提供友好的用戶界面，通過用戶界面用戶可以定制出在大數(shù)據(jù)平臺上需要實現(xiàn)的功能，包括數(shù)據(jù)挖掘、數(shù)據(jù)查詢以及數(shù)據(jù)分析，并輸出可視化的結(jié)果和圖表等。

基于Hadoop 技術(shù)的船舶柴油機大數(shù)據(jù)平臺實現(xiàn)了分布式存儲和分布式計算，因而系統(tǒng)實現(xiàn)的功能主要包括：

1）對船舶柴油機數(shù)據(jù)的實時采集，包括包括燃油子系統(tǒng)、潤滑子系統(tǒng)、進排氣子系統(tǒng)以及冷卻子系統(tǒng)的相關(guān)參數(shù)進行采集，具體的采集參數(shù)如表1 所示。

表1 船舶柴油機大數(shù)據(jù)平臺數(shù)據(jù)采集參數(shù)Tab. 1 Data acquisition parameters of marine diesel engine big data platform

2）由于采集的不同參數(shù)的數(shù)據(jù)格式完全不同，因而在采集完成后需要對數(shù)據(jù)進行標(biāo)準(zhǔn)化，本文使用的數(shù)據(jù)標(biāo)準(zhǔn)化方法主要包括離差標(biāo)準(zhǔn)化以及歸一化等方法。

3）為使用者提供人機界面，能夠完成對數(shù)據(jù)的可視化統(tǒng)計和分析，同時可以完成對柴油機歷史數(shù)據(jù)的查詢、刪除等操作。

4）可以根據(jù)需求擴展現(xiàn)有系統(tǒng)的功能，支持二次開發(fā)。

2.2 系統(tǒng)測試

為了驗證本文設(shè)計的船舶柴油機大數(shù)據(jù)平臺數(shù)據(jù)存儲以及分析的功能，搭建試驗平臺。試驗平臺包括4 臺電腦，這些電腦的配置及相關(guān)指標(biāo)如表2所示，其中1 臺電腦上安裝有船舶柴油機大數(shù)據(jù)平臺軟件，另外3 臺電腦作為從機節(jié)點，在每臺電腦上配置好相應(yīng)的開發(fā)環(huán)境后，對文件的讀寫進行基本測試，測試文件來源于編制好的柴油機基本數(shù)據(jù)集合，每個文件大小在100～110 Mb。

表2 試驗環(huán)境硬件參數(shù)Tab. 2 Test environment hardware parameters

大數(shù)據(jù)平臺最終目標(biāo)是對海量的船舶柴油機數(shù)據(jù)進行采集并處理，因而需要處理的數(shù)據(jù)量較大，同時也要求有較高的數(shù)據(jù)讀寫速度，只有這樣才能滿足系統(tǒng)設(shè)計需求。因而本文使用2 個試驗來檢驗搭建的平臺性能，一個是多文件的寫入速度測試，另外一個是柴油機數(shù)據(jù)排序的效率。

1）在船舶柴油機大數(shù)據(jù)平臺應(yīng)用程序中編寫對應(yīng)程序，測試在數(shù)據(jù)量相同（2 G）的情況下，不同文件數(shù)量時文件的寫入時間和最大寫入速度，得到的結(jié)果如圖5 所示?？梢园l(fā)現(xiàn)在相同數(shù)據(jù)量的情況下，文件數(shù)量和寫入速度成反比，和寫入時間成正比。

圖5 排序測試結(jié)果Fig. 5 Test result of sequencing

2）采集的柴油機數(shù)據(jù)包括采集時間、采集參數(shù)、參數(shù)的數(shù)值等，為了提升數(shù)據(jù)存儲效率，需要對采集的數(shù)據(jù)進行排序，以便更好地分布式存儲。同時船舶柴油機大數(shù)據(jù)平臺在排序時根據(jù)采集時間、采集參數(shù)的種類等可以提供不同的排序方式。本文利用軟件設(shè)置對不同采集參數(shù)進行統(tǒng)計和排序，可以得到不同采集的所有采集結(jié)果。

一般在進行排序時只采用一個MapTask，但是這樣就無法體現(xiàn)出Hadoop 中分布式存儲和計算的優(yōu)勢，因而在實驗中設(shè)置MapTask 為4 個，并且將不同采集參數(shù)作為分類標(biāo)準(zhǔn)，設(shè)置對應(yīng)數(shù)量的ReduceTask。對不同大小的數(shù)據(jù)進行測試得到結(jié)果如圖5 所示，可以發(fā)現(xiàn)數(shù)據(jù)量越大，船舶柴油機大數(shù)據(jù)平臺對這些數(shù)據(jù)所耗費的時間越多。

3 結(jié) 語

隨著船舶柴油機技術(shù)的不斷發(fā)展，對柴油機實時監(jiān)控并從監(jiān)控的數(shù)據(jù)中對柴油機故障進行分析勢在必行。由于柴油機實時采集數(shù)據(jù)量較大，當(dāng)船舶數(shù)量較多時就會產(chǎn)生大量的實時數(shù)據(jù)，本文提出一種基于Hadoop 技術(shù)的船舶柴油機大數(shù)據(jù)平臺，能夠?qū)崿F(xiàn)柴油機數(shù)據(jù)的分布式存儲和計算。通過一系列的測試表明，本文設(shè)計的船舶柴油機大數(shù)據(jù)平臺可以滿足船舶柴油機數(shù)據(jù)的存儲和分析需求，并且具有較高的可靠性和擴展性。