李　偉　金國慶

(海軍工程大學電子工程學院　武漢　430033)

?

基于大數(shù)據(jù)的艦船裝備維修保障信息分析系統(tǒng)設計*

李偉金國慶

(海軍工程大學電子工程學院武漢430033)

摘要針對艦船裝備維修保障信息采集、存儲、分析與應用的需求,提出了基于大數(shù)據(jù)處理技術的艦船裝備維修保障信息分析系統(tǒng)的設計方案。方案中包括系統(tǒng)總體設計、系統(tǒng)結(jié)構(gòu)設計、系統(tǒng)功能設計和系統(tǒng)數(shù)據(jù)庫設計四個方面。系統(tǒng)在底層使用Hadoop集群組件存儲、計算和分析海量數(shù)據(jù)信息,在高層通過接口直接透明的調(diào)用底層存儲與計算能力,從而實現(xiàn)系統(tǒng)對海量艦船裝備維修保障信息的基礎數(shù)據(jù)管理、數(shù)據(jù)統(tǒng)計查詢和數(shù)據(jù)分析處理的功能。

關鍵詞大數(shù)據(jù); 維修保障; 分析系統(tǒng); 設計

Design of Ship Equipment Maintenance Information Analysis System Based on Big Data

LI WeiJIN Guoqing

(Electronic Engineering College, Naval University of Engineering, Wuhan430033)

AbstractTo meet requirements of the information collection, storage, analysis and application of the ship equipment maintenance, the design of analysis system for ship equipment maintenance information based on big data is proposed. The scheme includes four aspects, including system design, system structure design, system function design and system database design. System uses Hadoop cluster component storage, calculation and analysis of massive amounts of data in the bottom. at the top by interfaces it directly calls the underlying storage and computing power. So functions of data management, data query, data analysis and processing for the massive ship equipment maintenance information can be realized.

Key Wordsbig data, maintenance information, analysis system, design

Class NumberU674.7

1引言

目前,航海運輸業(yè)已成為支撐我國經(jīng)濟快速發(fā)展的主要運輸產(chǎn)業(yè),在航海運輸業(yè)高速發(fā)展的同時也產(chǎn)生了船舶遠航維修保障困難,船塢修理廠維修費用高昂,維修周期長、效率低等問題。據(jù)了解,各類船舶裝備維修統(tǒng)計信息結(jié)構(gòu)復雜、分布分散、共享困難,難以實現(xiàn)有效管理和綜合利用。因此,設計基于大數(shù)據(jù)的艦船裝備維修保障信息分析系統(tǒng),對各型艦船裝備維修信息進行統(tǒng)一管理和集中分析,并利用這些裝備維修數(shù)據(jù)開展相應業(yè)務的分析研究,如同型號裝備的故障變化規(guī)律、全壽命周期費用分析等,可以為船舶使用單位和船塢修理廠制定科學的維修保障計劃、優(yōu)化維修保障資源配置提供技術支撐[1]。

2系統(tǒng)需求分析

1) 分析系統(tǒng)應具備對海量艦船裝備維修保障信息的數(shù)據(jù)存儲與管理功能。

2) 分析系統(tǒng)應具有良好的人機交互界面,界面簡潔實用、功能齊全,方便各單位、部門查詢使用。

3) 分析系統(tǒng)應具有強大的通信和信息處理能力,完成海量艦船裝備維修保障信息的匯總和管理工作。

4) 分析系統(tǒng)應具有強大的統(tǒng)計查詢和輔助分析的功能。

3系統(tǒng)設計原則

1) 模塊化設計。分析系統(tǒng)包含多個子系統(tǒng),采用模塊化設計,減少模塊間相關性影響,便于軟件功能的擴展和升級。

2) 安全性設計。分析系統(tǒng)設置安全防護機制,對系統(tǒng)登陸訪問采用多重權(quán)限控制機制。系統(tǒng)網(wǎng)絡安全防護級別達到國際GB17859——1999《計算機信息系統(tǒng)安全防護等級劃分準則》第二級標準。

3) 可靠性設計。優(yōu)化系統(tǒng)硬件和軟件設計,確保數(shù)據(jù)傳輸安全和系統(tǒng)運行穩(wěn)定。

4) 實用性設計。依據(jù)不同部門的使用需求,制定系統(tǒng)業(yè)務功能,滿足各部門使用要求。

5) 可維護性設計。系統(tǒng)采用模塊化設計,能夠通過分析系統(tǒng)自身維護軟件對數(shù)據(jù)進行定期維護。

6) 操作界面設計。系統(tǒng)采用人性化人機交互界面設計,界面功能區(qū)設計合理,操作簡單。

4系統(tǒng)總體設計

1) 系統(tǒng)總體結(jié)構(gòu)設計

分析系統(tǒng)總體結(jié)構(gòu)設計采用分層的設計思想,利用Hadoop大數(shù)據(jù)處理集群所提供的強大的數(shù)據(jù)存儲和并行計算能力,實現(xiàn)對艦船裝備維修保障信息的分析挖掘。在底層,使用Hadoop集群組件存儲、計算和分析海量數(shù)據(jù)信息;在高層,通過使用接口軟件,直接透明的調(diào)用底層存儲與計算能力[2]。分析系統(tǒng)的總體設計分為數(shù)據(jù)集成層、文件存儲層、數(shù)據(jù)存儲層、編程模型層、數(shù)據(jù)分析層、系統(tǒng)應用層六個層,如圖1所示。

(1)數(shù)據(jù)集成層。數(shù)據(jù)集成層是系統(tǒng)需要處理的數(shù)據(jù)來源。數(shù)據(jù)集成層的作用是在外部數(shù)據(jù)源和文件存儲層或數(shù)據(jù)存儲層之間進行適配,以實現(xiàn)雙向的數(shù)據(jù)高效導入導出。

(2)文件存儲層。文件存儲層利用分布式文件系統(tǒng)技術,將底層數(shù)量眾多且分布在不同位置的應用數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)、日志數(shù)據(jù)和其他數(shù)據(jù)源組織在一起,通過統(tǒng)一的接口向上層應用提供對象級文件訪問服務能力。文件存儲層向下與數(shù)據(jù)源和數(shù)據(jù)集成層連接訪問具體的存儲資源,向上為編程模型層和數(shù)據(jù)存儲層提供文件訪問服務。

(3)數(shù)據(jù)存儲層。數(shù)據(jù)存儲層的功能是提供分布式、可擴展的大量數(shù)據(jù)表的存儲和管理能力,支持在大規(guī)模數(shù)據(jù)量的情況下完成快速的數(shù)據(jù)讀寫操作,并且可以通過簡單的硬件擴容實現(xiàn)存儲能力的線性增長。

圖1　艦船裝備維修保障信息分析系統(tǒng)總體結(jié)構(gòu)

(4)編程模型層。編程模型層的作用是為大規(guī)模數(shù)據(jù)處理提供了一個抽象的并行計算編程模型,以及為此模型提供可實施的編程環(huán)境和運行環(huán)境。

(5)數(shù)據(jù)分析層。數(shù)據(jù)分析層是大數(shù)據(jù)處理架構(gòu)的核心,通過建立各種數(shù)學模型挖掘數(shù)據(jù)中的潛在價值。

(6)系統(tǒng)應用層。主要完成數(shù)據(jù)的統(tǒng)計查詢和分析展現(xiàn)的功能。

2) 系統(tǒng)數(shù)據(jù)處理流程

艦船裝備維修保障信息根據(jù)其數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)的不同分別存儲于分析系統(tǒng)的分布式文件系統(tǒng)HDFS和非結(jié)構(gòu)化數(shù)據(jù)庫HBase中,分析系統(tǒng)的數(shù)據(jù)處理流程將根據(jù)不同存儲類型的數(shù)據(jù)分別進行分析處理,如圖2所示。

圖2　艦船裝備維修保障信息分析系統(tǒng)數(shù)據(jù)處理流程

(1)對于存儲在HDFS中的文本數(shù)據(jù),根據(jù)用戶的不同業(yè)務查詢使用需求,選擇相對應的基于MapReduce的數(shù)據(jù)挖掘模型(如可靠性分析模型、故障預警模型等),針對所選模型,使用Java語言開發(fā)MapReduce并行化運行程序,通過參數(shù)配置,將計算任務分配給各個計算節(jié)點共同執(zhí)行計算任務,最終輸出計算結(jié)果。

(2)對于存儲在HBase中的數(shù)據(jù)庫數(shù)據(jù),根據(jù)用戶的不同業(yè)務需求,選擇相對應的基于HBase數(shù)據(jù)庫的數(shù)據(jù)挖掘模型,針對所選模型,使用HiveQL高級語言編寫運行語句并提交給Hive數(shù)據(jù)挖掘工具,Hive將這些語句自動轉(zhuǎn)化為MapReduce運行程序,通過參數(shù)配置,將計算任務分配給各個計算節(jié)點共同執(zhí)行計算任務,最終輸出計算結(jié)果。

5系統(tǒng)結(jié)構(gòu)設計

艦船裝備維修保障信息分析系統(tǒng)按組成結(jié)構(gòu)分為:數(shù)據(jù)采集子系統(tǒng)、大數(shù)據(jù)存儲子系統(tǒng)、大數(shù)據(jù)分析子系統(tǒng)、數(shù)據(jù)展現(xiàn)子系統(tǒng)和安全管理子系統(tǒng),其系統(tǒng)組成框圖如圖3所示。

圖3　艦船裝備維修保障信息分析系統(tǒng)組成框圖

6系統(tǒng)功能設計

艦船裝備維修保障信息分析系統(tǒng)功能包括數(shù)據(jù)管理功能、數(shù)據(jù)統(tǒng)計查詢功能和數(shù)據(jù)分析處理功能,如圖4所示。

圖4　艦船裝備維修保障信息分析系統(tǒng)功能概覽

1) 數(shù)據(jù)管理功能

艦船裝備維修保障信息分析系統(tǒng)實現(xiàn)的數(shù)據(jù)管理功能包括基礎數(shù)據(jù)管理、裝備信息管理、使用記錄管理、故障維修管理、備品備件管理和維修工具管理。

2) 數(shù)據(jù)統(tǒng)計查詢功能

實現(xiàn)對系統(tǒng)中各類數(shù)據(jù)快捷統(tǒng)計的功能,包括裝備信息統(tǒng)計、保養(yǎng)統(tǒng)計、使用統(tǒng)計、故障統(tǒng)計、備件統(tǒng)計、工具統(tǒng)計。

3) 數(shù)據(jù)分析處理功能

實現(xiàn)對系統(tǒng)中的使用統(tǒng)計和故障統(tǒng)計結(jié)果進行后臺數(shù)據(jù)分析。主要包括對裝備平均無故障時間、平均維修時間、備件消耗情況進行分析,按照統(tǒng)計模型給出裝備的可靠性和維修性評價。

7系統(tǒng)數(shù)據(jù)庫設計

1) 設計思路

為滿足對海量艦船裝備維修保障信息對數(shù)據(jù)庫高吞吐、高可靠、高性能的要求,本系統(tǒng)數(shù)據(jù)庫采用面向列存儲的分布式、非結(jié)構(gòu)化數(shù)據(jù)庫設計,其優(yōu)點在于實現(xiàn)高并發(fā)讀寫操作、提高讀寫速度、節(jié)省存儲空間。該數(shù)據(jù)庫構(gòu)建于HDFS分布式文件系統(tǒng)之上,以列為單位進行存儲,每列相鄰兩行的存儲數(shù)據(jù)在物理上相鄰。

2) 數(shù)據(jù)庫組成

艦船裝備維修保障信息分析系統(tǒng)數(shù)據(jù)庫包括基礎數(shù)據(jù)庫、交換數(shù)據(jù)庫和業(yè)務數(shù)據(jù)庫。

(1)基礎數(shù)據(jù)庫

基礎數(shù)據(jù)庫是為實現(xiàn)系統(tǒng)縱向貫通、橫向互聯(lián)以及信息的共享交換而建立的標準化數(shù)據(jù)存儲區(qū),主要包括基礎代碼、基礎信息、數(shù)據(jù)字典三部分內(nèi)容。

(2)交換數(shù)據(jù)庫

交換數(shù)據(jù)庫主要存儲內(nèi)部交換數(shù)據(jù)和外部交換數(shù)據(jù)。內(nèi)部交換數(shù)據(jù)用于系統(tǒng)內(nèi)部各業(yè)務之間的信息交換,外部交換數(shù)據(jù)用于與艦船裝備維修保障信息采集系統(tǒng)和岸基數(shù)據(jù)管理分系統(tǒng)實現(xiàn)數(shù)據(jù)交換。

(3)業(yè)務數(shù)據(jù)庫

業(yè)務數(shù)據(jù)庫用于實現(xiàn)對艦船裝備維修保障信息的存儲與管理,主要涉及的模塊為裝備管理模塊,其功能是管理裝備基本信息、使用信息、維修信息、保養(yǎng)信息、備品備件信息及工具信息,支持添加、刪除、修改和瀏覽功能。

8結(jié)語

建立基于大數(shù)據(jù)處理技術的艦船裝備維修保障信息分析系統(tǒng)是未來船舶維修領域發(fā)展的必然趨勢。艦船裝備維修保障信息分析系統(tǒng)的可靠運行,能夠?qū)崿F(xiàn)對日益劇增的海量艦船裝備維修保障信息進行有效管理和快速的查詢分析,從而為裝備維修部門制定科學的裝備維修計劃提供強大的數(shù)據(jù)支撐。

參 考 文 獻

[1] 張偉.基于維修信息的艦船電子裝備故障預測技術研究[D].武漢:海軍工程大學,2011:21-22.

[2] 劉愛軍.艦船裝備維修信息系統(tǒng)研究[D].武漢:海軍工程大學,2013:35-36.

[3] 潘婷.基于物聯(lián)網(wǎng)服務平臺的海量傳感信息Hadoop處理方法和系統(tǒng)設計[D].南京:南京郵電大學,2013.

[4] 楊承山.數(shù)據(jù)挖掘技術在艦艇維修管理信息系統(tǒng)中的應用研究[D].武漢:海軍工程大學,2008.

[5] 王曉慶.基于云計算的南京財經(jīng)大學數(shù)據(jù)中心建設研究[D].南京:南京郵電大學,2013.

[6] 李偉衛(wèi).基于Hadoop平臺的數(shù)據(jù)挖掘技術研究[D].西安:西北農(nóng)林科技大學,2013.

[7] 張敏,周金輝.云計算在高校教育信息化建設中的應用探究[J].中國教育技術裝備,2013,13:17-21.

[8] 王曉慶.基于云計算的南京財經(jīng)大學數(shù)據(jù)中心建設研究[D].南京:南京郵電大學專業(yè)學位碩士研究生學位論文,2013:35-37.

[9] 廖鋒,成靜靜.大數(shù)據(jù)環(huán)境下Hadoop分布式系統(tǒng)的研究與設計[J].通信熱點,2013,10:42-43.

中圖分類號U674.7

DOI:10.3969/j.issn.1672-9730.2016.02.026

作者簡介:李偉,男,碩士,工程師,研究方向:系統(tǒng)工程。金國慶,男,碩士,高級工程師,研究方向:計算機與系統(tǒng)工程。

*收稿日期:2015年8月6日,修回日期:2015年9月19日