錢雁

摘要：本文簡要分析和描述了大數(shù)據(jù)在海事管理中的場景及應用，并就面臨的挑戰(zhàn)探討相關(guān)對策。

關(guān)鍵詞：大數(shù)據(jù) 海事管理 場景及應用挑戰(zhàn) 對策

0 引 言

大數(shù)據(jù)（big data）是具有5V特征--Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）的數(shù)據(jù)，涉及的數(shù)據(jù)集合規(guī)模非常龐大，需要更強的決策力、洞察力和流程優(yōu)化能力對其進行運算。

李克強總理在2015年政府工作報告中，首次提出“互聯(lián)網(wǎng)+”行動計劃，推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等的發(fā)展。同時，國務院印發(fā)了《促進大數(shù)據(jù)發(fā)展行動綱要》，可見大數(shù)據(jù)在當今信息化時代的巨大影響力。海事管理機構(gòu)在這樣的背景下，應積極嘗試將大數(shù)據(jù)與海事管理相結(jié)合，深入開展數(shù)據(jù)挖掘，讓大數(shù)據(jù)應用到海事現(xiàn)代化監(jiān)管與服務中。

1大數(shù)據(jù)在海事管理中的應用

交通運輸部海事局組織編制的《海事信息系統(tǒng)頂層設(shè)計報告》，制定了“一個目標、二個模型、四套體系”的總體架構(gòu)，根據(jù)系統(tǒng)頂層設(shè)計的核心精神。楊浦海事局利用大數(shù)據(jù)在船舶動態(tài)評價體系建設(shè)上做出了積極探索和實踐，將船舶管理系統(tǒng)、AIS信息服務平臺和船載危險貨物申報系統(tǒng)等數(shù)據(jù)整合到“國內(nèi)航行船舶現(xiàn)場監(jiān)管和自動選船系統(tǒng)”（簡稱“選船系統(tǒng)”），AIS識別到的船舶被自動計算出風險值和優(yōu)先等級，目標船及現(xiàn)場監(jiān)管重點變得一目了然，避免了重復檢查，改變過去人工選船的盲目低效，變?yōu)橄到y(tǒng)自動“抓取”的精準高效，實現(xiàn)了海事監(jiān)管從“汗水型”向“智慧型”的轉(zhuǎn)變，“選船系統(tǒng)”于2016年7月1日已在上海、天津、山東海事局試點運行，積累了一定的現(xiàn)場應用經(jīng)驗。

1.1開發(fā)選船的數(shù)學模型，用數(shù)據(jù)進行客觀的決策

在信息不對稱的條件下，經(jīng)驗可有效提高工作效率，但隨著數(shù)據(jù)的積累，經(jīng)驗明顯滯后，對不同個體也不盡適用，對新事物新變化無法把握。目前設(shè)計的選船系統(tǒng)充分考慮了船舶的各項信息，并結(jié)合船舶綜合管理的理念來進行數(shù)據(jù)建模，通過船舶、公司、風險、績效等多維度交叉分析實現(xiàn)數(shù)字化選船，讓數(shù)據(jù)進行客觀決策，通過“互聯(lián)網(wǎng)+海事監(jiān)管與服務”思維運用，實現(xiàn)海事現(xiàn)場監(jiān)管的智能化、信息化。選船系統(tǒng)模型開發(fā)遵循：

（1）符合海事監(jiān)管與服務的相關(guān)規(guī)范要求

（2）系統(tǒng)設(shè)計應嚴格執(zhí)行有關(guān)規(guī)范并充分考慮用戶的需求

（3）綜合考慮各種資源，避免重復建設(shè)，降低運營成本

（4）系統(tǒng)應具有較強的容錯能力，具有完善的系統(tǒng)恢復和安全機制

（5）系統(tǒng)方案在滿足現(xiàn)狀的情況下，充分考慮將來的發(fā)展，具備良好的擴展性。

1.2多維度建立數(shù)據(jù)關(guān)聯(lián)，解決數(shù)據(jù)孤島問題

海事管理涉及人、船、環(huán)境等多個方面，與之相配套的管理系統(tǒng)各地不盡相同，信息不聯(lián)通也未實現(xiàn)共享，海事監(jiān)管雖然積累了眾多數(shù)據(jù)，但信息孤島現(xiàn)象也逐漸凸現(xiàn)出來。如何將船舶基本數(shù)據(jù)、安全檢查、事故調(diào)查、行政處罰、重點跟蹤及協(xié)查船舶等分類信息有效集中并加以利用，是重中之重。楊浦海事局探索了一套行之有效的數(shù)據(jù)關(guān)聯(lián)方法，建立集中數(shù)據(jù)服務，以船舶為中心，與之相關(guān)的船員、公司以及歷史信息進行收集、整理、漂洗后有機結(jié)合在一起，形成用于選船的數(shù)據(jù)集市，不但解決了數(shù)據(jù)孤島問題，而且可以構(gòu)建開放的數(shù)據(jù)流動生態(tài)。

1.3讓數(shù)據(jù)發(fā)揮其效能

如何在有限的資源條件下讓海事數(shù)據(jù)的效益得以最大化是非常值得研究的課題，通過對船舶數(shù)據(jù)進行更深入的統(tǒng)計分析和預測，則會有很多有價值的信息可以開發(fā)，讓船舶監(jiān)控逐步智能化，發(fā)揮海事機構(gòu)更大管理效能，提高監(jiān)管針對性，讓船舶更安全。

2 大數(shù)據(jù)對海事管理的挑戰(zhàn)

2.1 數(shù)據(jù)共享難以實現(xiàn)

海事管理的大數(shù)據(jù)覆蓋范圍很廣，比如船舶基本數(shù)據(jù)、登記注冊信息、安全檢查、事故調(diào)查、行政處罰、重點跟蹤及協(xié)查船舶等分類管理信息，目前散亂分布在各個業(yè)務系統(tǒng)、各港口海事部門，而各港口之間的信息并沒有全部互聯(lián)互通，各港口海事部門僅掌握本轄區(qū)船舶在本港的數(shù)據(jù)信息，無法獲得該船舶的全部營運狀況信息。數(shù)據(jù)不能共享使用，對大數(shù)據(jù)的價值挖掘形成桎梏，在建立健康、有效的海事大數(shù)據(jù)生態(tài)圈過程中，數(shù)據(jù)共享問題亟待解決。

2.2 數(shù)據(jù)有待挖掘利用

海事管理信息系統(tǒng)經(jīng)過十幾年的發(fā)展，無論從業(yè)務還是技術(shù)的角度看都是一個復雜的大集合系統(tǒng)，信息覆蓋范圍廣、信息量大、來源分散、結(jié)構(gòu)復雜，特別是系統(tǒng)中既有結(jié)構(gòu)化數(shù)據(jù)，也有非結(jié)構(gòu)化數(shù)據(jù)。面對龐大的數(shù)據(jù)金礦，數(shù)據(jù)挖掘與數(shù)據(jù)分析已經(jīng)成為發(fā)展大數(shù)據(jù)的“瓶頸”。

首先，在當前的技術(shù)條件下，往往處理數(shù)據(jù)和形成報告需要花費大量時間，而忽略了挖掘，大數(shù)據(jù)若不經(jīng)過挖掘、提煉，便無法體現(xiàn)其價值。目前，海事管理系統(tǒng)數(shù)據(jù)庫對大量的海事數(shù)據(jù)利用程度不夠，對數(shù)據(jù)的關(guān)聯(lián)性和精確性也未引起足夠關(guān)注，不斷增加的數(shù)據(jù)不但沒有帶來價值卻帶來巨大的存儲負擔。

其次，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，特別是Internet和Intranet技術(shù)的飛快發(fā)展，使得非結(jié)構(gòu)化數(shù)據(jù)的量級日趨增大，之前用于管理的結(jié)構(gòu)化數(shù)據(jù)關(guān)系數(shù)據(jù)庫的局限性日益明顯，數(shù)據(jù)庫技術(shù)也步入了“后關(guān)系數(shù)據(jù)庫時代”。對大量非結(jié)構(gòu)化數(shù)據(jù)進行有效的數(shù)據(jù)挖掘，將是海事管理信息系統(tǒng)的一項挑戰(zhàn)。非結(jié)構(gòu)化文本處理可以通過三種途徑展開：

（1）智能化理解，對文本進行量化，確定一段文字的信息要素，再進一步分析，并轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)輸出到預測模型。

（2）處理復雜文本，可以將兩種或更多數(shù)據(jù)源一起進行分析，以獲得深刻的見解。

（3）實體提取和語義分析，并以圖表的方式存儲在一個關(guān)系型數(shù)據(jù)庫中。

再者，對數(shù)據(jù)進行合理分類分析。按海事管理的要求對大數(shù)據(jù)的特征進行標注，與合適的大數(shù)據(jù)進行模式匹配，包括：如何收集、分析和處理數(shù)據(jù)。下圖詳細的說明了數(shù)據(jù)分類方法及層次劃分。endprint

最后，選擇合適的技術(shù)框架以適應業(yè)務場景來有效地提高工作效率。與傳統(tǒng)的數(shù)據(jù)分析相比，大數(shù)據(jù)在分析模型和算法本身沒有大的突破，但數(shù)據(jù)的處理能力與應用方式具有革命性變化，特別是大數(shù)據(jù)量下的執(zhí)行效率及處理能力的并行化。目前比較成熟的技術(shù)框架，有MapReduce、Spark等。

（1）Hadoop的MapReduce框架，通過優(yōu)化資源調(diào)度與利用將任務分解成適合執(zhí)行的映射-整理-歸納過程，分布在不同的機器上運行，同時加強了容錯性和可用性，實現(xiàn)了對海量數(shù)據(jù)的處理。

（2）Spark采用了基于有向圖（DAG）的計算框架，將計算任務分解為多個并行任務，使用RDD（彈性分布數(shù)據(jù)集）數(shù)據(jù)模型，中間數(shù)據(jù)放入內(nèi)存高效共享，避免頻繁磁盤讀寫對處理速度的損耗，實現(xiàn)高效率計算，對社交網(wǎng)絡(luò)分析、機器學習、流處理等場景具備良好支撐能力。

2.3 數(shù)據(jù)安全需關(guān)注

由于海事管理信息數(shù)據(jù)的極速增長，也給數(shù)據(jù)安全防護和信息隱私保護帶來極大的挑戰(zhàn)。若系統(tǒng)遭黑客入侵帶來信息安全隱患甚至導致信息系統(tǒng)崩潰。究其原因，主要來自對系統(tǒng)數(shù)據(jù)監(jiān)督管理不嚴、制度標準不銜接等問題，可從以下技術(shù)上予以改進：

（1）完全控制數(shù)據(jù)流從一個應用系統(tǒng)到另一個系統(tǒng)的流程，清晰密鑰管理和訪問管理的界限，完善的關(guān)鍵控制策略。

（2）控制好內(nèi)部的數(shù)據(jù)中心私有云、混合環(huán)境中公共云的數(shù)據(jù)存儲安全控制。

（3）使用足夠安全的驗證加密算法。在大數(shù)據(jù)應用中，采集數(shù)據(jù)，數(shù)據(jù)交互，保護隱私，都是大數(shù)據(jù)安全的責任所在。

2.4 海事管理數(shù)據(jù)標準仍缺失

在海事管理大數(shù)據(jù)的背景下，數(shù)據(jù)標準不統(tǒng)一問題是制約海事管理智能化發(fā)展的掣肘?，F(xiàn)有的多套海事管理信息系統(tǒng)由不同的企業(yè)開發(fā)提供，沒有制式標準，數(shù)據(jù)不能貫通，無法統(tǒng)一整合。若想構(gòu)建一體化的海事集成數(shù)據(jù)平臺，需要在數(shù)據(jù)規(guī)范上進行統(tǒng)一，實現(xiàn)數(shù)據(jù)的標準化。

3 加快發(fā)展海事大數(shù)據(jù)的對策

3.1 加強組織領(lǐng)導

在發(fā)展海事監(jiān)管大數(shù)據(jù)工作中，海事各級管理機構(gòu)應按照交通運輸部海事局在數(shù)據(jù)頂層設(shè)計上的思路，統(tǒng)一思想，把發(fā)展海事大數(shù)據(jù)作為重要任務來執(zhí)行，明確發(fā)展目標、通過科學建設(shè)步驟、規(guī)范化的配套措施，強有力的組織保證，堅持高質(zhì)量建設(shè)、高水平管理、高效益使用，科學有序地發(fā)展海事大數(shù)據(jù)。

3.2 完善配套法規(guī)制度

海事大數(shù)據(jù)需依靠完善的規(guī)章制度，明確責任分工，從制度建設(shè)上優(yōu)化資源配置，實行數(shù)據(jù)共享和安全保護，實現(xiàn)數(shù)據(jù)的規(guī)范管理及有效利用。在數(shù)據(jù)安全方面，建立強而可靠的攻擊防范措施，最大程度控制信息泄露風險，保障網(wǎng)絡(luò)數(shù)據(jù)安全。在保證數(shù)據(jù)安全的前提下，通過數(shù)據(jù)共享模式，促進數(shù)據(jù)資源流通，提高數(shù)據(jù)資源使用率。

3.3 建立健全行業(yè)標準

加快制定統(tǒng)一的海事管理數(shù)據(jù)標準，對數(shù)據(jù)分類、數(shù)據(jù)接口、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享、數(shù)據(jù)開放等通過標準的方式進行規(guī)范管理，并與國際標準對接，集約整合、協(xié)同開發(fā)，提高海事大數(shù)據(jù)的精準性和有效性，滿足海事監(jiān)管與服務的多樣化需求。

3.4 重視人才隊伍建設(shè)

人才在海事大數(shù)據(jù)建設(shè)過程中的推動作用不言而喻，必須充分重視培養(yǎng)既懂海事業(yè)務又懂數(shù)據(jù)的專業(yè)性人才，鼓勵、引導創(chuàng)新，建立多層次、復合型的大數(shù)據(jù)人才隊伍，引進社會先進資源，共同交流研發(fā)，培養(yǎng)符合社會發(fā)展需要的海事創(chuàng)新型人才。

參考文獻：

[1] 劉智慧.張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學學報：工學版，2014，48（6）：1-16.

[2] 陶雪嬌，胡要峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學報.2013（S1）：142-146.

[3] 中國計算機協(xié)會大數(shù)據(jù)委員會.中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書[R].2013.

[4] 董西成.hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計與實現(xiàn)原理[M].北京：機械工業(yè)出版社，2013.endprint