孫浩

摘? 要：隨著信息化水平的不斷提升，很多先進(jìn)的港口企業(yè)嘗試將目前新興的大數(shù)據(jù)技術(shù)、物聯(lián)網(wǎng)技術(shù)及云計(jì)算技術(shù)等運(yùn)用到港口生產(chǎn)中，初步建立大數(shù)據(jù)中心，用數(shù)據(jù)來(lái)指導(dǎo)航運(yùn)。隨著港口企業(yè)對(duì)大數(shù)據(jù)概念認(rèn)知的加深，航運(yùn)數(shù)據(jù)的收集和深度挖掘應(yīng)用對(duì)航運(yùn)的精細(xì)管理起到了越來(lái)越重要的作用。港口企業(yè)的大數(shù)據(jù)中心建設(shè)需求的核心在于數(shù)據(jù)資源及數(shù)字技術(shù)，大數(shù)據(jù)中心建設(shè)應(yīng)把握好數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)共享、數(shù)據(jù)挖掘和數(shù)據(jù)安全等環(huán)節(jié)。

關(guān)鍵詞：港口企業(yè);大數(shù)據(jù)中心;整體方案

中圖分類號(hào)：TP39? ? ?文獻(xiàn)標(biāo)志碼：A

0 引言

大數(shù)據(jù)指涉及的資料規(guī)模過(guò)于龐大，無(wú)法通過(guò)目前小型的處理軟件進(jìn)行自動(dòng)處理，但是能夠通過(guò)專業(yè)性數(shù)據(jù)處理，在合理的時(shí)間內(nèi)進(jìn)行有效信息的選取、加工、整理，并為企業(yè)經(jīng)營(yíng)、管理或決策所用的數(shù)據(jù)信息。在當(dāng)前市場(chǎng)環(huán)境下，合理的使用大數(shù)據(jù)技術(shù)能夠有效幫助企業(yè)做出正確的決策部署，為企業(yè)創(chuàng)造更多的價(jià)值和效益[1]。港口是物流鏈條中至關(guān)重要的一環(huán)，其運(yùn)輸和管理數(shù)據(jù)通過(guò)整理、分析后，能夠成為航運(yùn)模塊中豐富的數(shù)據(jù)資源，反過(guò)來(lái)能夠?qū)Ω劭跇I(yè)務(wù)起到精準(zhǔn)指導(dǎo)的作用，港口作業(yè)、供需關(guān)系、業(yè)務(wù)聯(lián)系等均可在大數(shù)據(jù)中心提供的信息中受益[2]。港口企業(yè)大數(shù)據(jù)中心通過(guò)對(duì)港口航運(yùn)信息進(jìn)行挖掘，以此來(lái)深入分析數(shù)據(jù)之間的關(guān)系，為航運(yùn)提供科學(xué)合理的運(yùn)營(yíng)方案，還能夠幫助企業(yè)明確經(jīng)營(yíng)方向，協(xié)助決策層制定相關(guān)的發(fā)展戰(zhàn)略，對(duì)于港口企業(yè)的航運(yùn)布局和發(fā)展規(guī)劃的調(diào)整也具有重要的指導(dǎo)意義。

1 港口企業(yè)大數(shù)據(jù)中心建設(shè)的技術(shù)需求

1.1 數(shù)據(jù)采集

在港口企業(yè)的運(yùn)營(yíng)過(guò)程中，每個(gè)環(huán)節(jié)都會(huì)產(chǎn)生復(fù)雜龐大的數(shù)據(jù)，而大數(shù)據(jù)數(shù)據(jù)處理的第一步就是收集信息，即獲取數(shù)據(jù)源。因此，通過(guò)各種有效的方法來(lái)獲取數(shù)據(jù)信息就變得尤為重要。目前，已采用大數(shù)據(jù)技術(shù)的港口企業(yè)經(jīng)常通過(guò)數(shù)據(jù)傳感器、RFID射頻識(shí)別技術(shù)、AIS船舶自動(dòng)識(shí)別技術(shù)等來(lái)獲取貨品數(shù)量、參數(shù)信息及航運(yùn)信息等數(shù)據(jù)，隨著大數(shù)據(jù)技術(shù)的發(fā)展和企業(yè)應(yīng)用需求的增加，一些能夠初步接收和粗略處理信息的移動(dòng)軟件被開發(fā)出來(lái)，企業(yè)管理者能夠在手機(jī)或平板電腦上初步瀏覽各項(xiàng)數(shù)據(jù)。

1.2 數(shù)據(jù)存儲(chǔ)

港口企業(yè)在應(yīng)用大數(shù)據(jù)技術(shù)時(shí)，更注重對(duì)于數(shù)據(jù)的即時(shí)處理和應(yīng)用。因此，大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)存儲(chǔ)和處理的時(shí)效性提出了很高要求，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)技術(shù)已經(jīng)不能滿足當(dāng)前需求。借鑒當(dāng)前先進(jìn)港口企業(yè)的成功案例，以Hadoop和Spark為代表的分布式儲(chǔ)存和計(jì)算框架，在存儲(chǔ)、運(yùn)算速率及經(jīng)濟(jì)上最為適用。目前，港口船舶產(chǎn)生的AIS數(shù)據(jù)十分龐大，衛(wèi)星AIS數(shù)據(jù)和岸站AIS數(shù)據(jù)融合信息就達(dá)到20 000條/min～30 000條/min，船舶的年航運(yùn)軌跡信息量更是超過(guò)百億條。為實(shí)現(xiàn)信息的有效存儲(chǔ)和利用并保證存儲(chǔ)空間的可擴(kuò)性，目前可采用基于主機(jī)池概念的云存儲(chǔ)和計(jì)算技術(shù)，這種存儲(chǔ)技術(shù)能夠根據(jù)信息的狀態(tài)動(dòng)態(tài)分配存儲(chǔ)資源。此外，還可以考慮關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)，基于這種技術(shù)建立的存儲(chǔ)系統(tǒng)智能程度更高，并能制定具體的存儲(chǔ)表，但存儲(chǔ)成本較高，維護(hù)較為復(fù)雜。

1.3 數(shù)據(jù)加工

航運(yùn)環(huán)節(jié)所產(chǎn)生的的海量數(shù)據(jù)顯然存在重復(fù)、偏離、錯(cuò)誤和缺失等問(wèn)題，通過(guò)數(shù)據(jù)加工來(lái)進(jìn)行覆蓋、糾正、校正、推導(dǎo)等處理是必要環(huán)節(jié)。其中重復(fù)的數(shù)據(jù)可以通過(guò)排序、聚類、分組等方法進(jìn)行覆蓋。錯(cuò)誤的數(shù)據(jù)通過(guò)人工智能和統(tǒng)計(jì)分析的方法檢測(cè)其異常值，利用數(shù)據(jù)清洗規(guī)則進(jìn)行剔除。偏離的數(shù)據(jù)通過(guò)聚類算法等進(jìn)行校正。缺失的數(shù)據(jù)可以通過(guò)推導(dǎo)法、均值法或者函數(shù)關(guān)系進(jìn)行計(jì)算，或者人工輸入可接受數(shù)值的方法進(jìn)行處理。為了節(jié)省存儲(chǔ)空間，初步處理后的數(shù)據(jù)可采用普克算法進(jìn)行數(shù)據(jù)的折線矢量壓縮，節(jié)約存儲(chǔ)空間。

1.4 數(shù)據(jù)提取和分析

在收集和初步處理的數(shù)據(jù)中提取所需類型的數(shù)據(jù)就需要對(duì)數(shù)據(jù)進(jìn)行查詢和提取，進(jìn)而進(jìn)行對(duì)應(yīng)指標(biāo)的分析，目前數(shù)據(jù)的查詢和提取技術(shù)需要支持RESTful架構(gòu)的數(shù)據(jù)庫(kù)技術(shù)和云計(jì)算技術(shù)，同時(shí)還要具備較高的容錯(cuò)率等特性，目前較為適用的方法有Trie樹法、布隆過(guò)濾器法、散列法等。

數(shù)據(jù)的分析是大數(shù)據(jù)技術(shù)的核心內(nèi)容，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足大數(shù)據(jù)處理的需求，當(dāng)前的大數(shù)據(jù)分析處理方法有并行計(jì)算法、粒度計(jì)算法和數(shù)據(jù)挖掘法等，大數(shù)據(jù)分析技術(shù)能夠基于專項(xiàng)數(shù)據(jù)對(duì)各個(gè)模塊信息進(jìn)行全面綜合的分析，得出最佳的計(jì)算結(jié)果，為航運(yùn)決策提供可靠數(shù)據(jù)。隨著大數(shù)據(jù)技術(shù)的深化，數(shù)據(jù)的分析結(jié)果可以通過(guò)可視化技術(shù)和人機(jī)交互技術(shù)實(shí)現(xiàn)，還可以利用高級(jí)數(shù)據(jù)語(yǔ)言建模技術(shù)實(shí)現(xiàn)港口大數(shù)據(jù)的可視化查看、多維數(shù)據(jù)立體化查看和人機(jī)交流互動(dòng)等。

2 港口企業(yè)大數(shù)據(jù)中心建設(shè)方案

2.1 設(shè)計(jì)原則

港口企業(yè)在進(jìn)行大數(shù)據(jù)中心建設(shè)前，應(yīng)科學(xué)進(jìn)行總體規(guī)劃和設(shè)計(jì)，數(shù)據(jù)中心的設(shè)計(jì)應(yīng)該摒棄傳統(tǒng)的設(shè)計(jì)模式，規(guī)避數(shù)據(jù)中心的功能性弊端，以大數(shù)據(jù)中心的資源最優(yōu)化、流程標(biāo)準(zhǔn)化、管理模塊化、交互虛擬化和操作智能化作為設(shè)計(jì)的總體原則[3]。其中大數(shù)據(jù)中心需要以需求導(dǎo)向、整合共享和高效服務(wù)作為設(shè)計(jì)出發(fā)點(diǎn)和落腳點(diǎn)，以需求為導(dǎo)向是要求在進(jìn)行設(shè)計(jì)時(shí)，要充分參考國(guó)家信息發(fā)展規(guī)劃布局，以此來(lái)指導(dǎo)大數(shù)據(jù)中心軟硬件的前瞻性設(shè)計(jì)和應(yīng)用。整合共享則是為了充分采集和利用數(shù)據(jù)，變革以往傳統(tǒng)數(shù)據(jù)中數(shù)據(jù)分散、失真的弊病。高效服務(wù)則是保證各個(gè)環(huán)節(jié)的信息處理效率，保證最終輸出信息的即時(shí)性、準(zhǔn)確性。

2.2 設(shè)計(jì)方案

港口企業(yè)大數(shù)據(jù)中心建設(shè)的總體思路是依托云計(jì)算、大數(shù)據(jù)技術(shù)、硬件構(gòu)筑基礎(chǔ)數(shù)據(jù)平臺(tái)以及數(shù)據(jù)中心服務(wù)系統(tǒng)，將基礎(chǔ)設(shè)備、信息收集、核心技術(shù)、業(yè)務(wù)需求、安全保障等部分科學(xué)的聯(lián)系起來(lái)?；A(chǔ)數(shù)據(jù)平臺(tái)利用大數(shù)據(jù)或云計(jì)算等技術(shù)對(duì)信息進(jìn)行收集、存儲(chǔ)、整合、分析及輸出，充分挖掘數(shù)據(jù)價(jià)值，將最終結(jié)果傳輸?shù)教摂M終端供相關(guān)部門使用，具體方案描述如下。

首先，大數(shù)據(jù)中心的建設(shè)需要建立統(tǒng)一的數(shù)據(jù)收集中心，信息的收集包含了生產(chǎn)管理系統(tǒng)、裝運(yùn)管理系統(tǒng)、經(jīng)濟(jì)管理系統(tǒng)、運(yùn)維系統(tǒng)、物供系統(tǒng)、后勤管理系統(tǒng)、人資系統(tǒng)、工程管理系統(tǒng)、科技管理系統(tǒng)等方面的數(shù)據(jù)。其次，大數(shù)據(jù)中心的建設(shè)需要對(duì)數(shù)據(jù)進(jìn)行接加工處理，將初步收集的分散、無(wú)規(guī)則數(shù)據(jù)進(jìn)行集成、形成上述對(duì)應(yīng)系統(tǒng)的數(shù)據(jù)庫(kù)。最后，通過(guò)數(shù)據(jù)挖掘和輸出形成對(duì)上述各個(gè)系統(tǒng)有價(jià)值和指導(dǎo)意義的數(shù)據(jù)，實(shí)現(xiàn)大數(shù)據(jù)輸出成果的應(yīng)用[4]。港口企業(yè)大數(shù)據(jù)中心建設(shè)架構(gòu)如圖1所示。

2.3 港口企業(yè)大數(shù)據(jù)中心建設(shè)過(guò)程中的要素管理

2.3.1 統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)

港口企業(yè)無(wú)時(shí)不刻不在產(chǎn)生相應(yīng)的數(shù)據(jù)，數(shù)據(jù)類型多種多樣，其中包含與貨物有關(guān)的數(shù)據(jù)，包含船舶數(shù)據(jù)、設(shè)備數(shù)據(jù)及能耗數(shù)據(jù)等，但是這些數(shù)據(jù)的類型和標(biāo)準(zhǔn)不統(tǒng)一，在實(shí)際的收集中，數(shù)據(jù)格式不統(tǒng)一的現(xiàn)象十分普遍，這給信息的處理和加工帶來(lái)了諸多不便，造成了信息傳遞的遲滯。因此，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)是港口企業(yè)在進(jìn)行大數(shù)據(jù)建設(shè)初期需要著力解決的問(wèn)題之一。

2.3.2 保持?jǐn)?shù)據(jù)共享

“信息孤島”已經(jīng)成為通病，這就導(dǎo)致大數(shù)據(jù)中心的數(shù)據(jù)價(jià)值不能完全發(fā)揮出來(lái)，港口企業(yè)內(nèi)部各個(gè)系統(tǒng)之間的信息被孤立，各自為政，造成互不相讓的困局。想要打通“信息孤島”，在大數(shù)據(jù)中心建設(shè)的過(guò)程中就要著手考慮建設(shè)信息共享機(jī)制和體系，對(duì)大數(shù)據(jù)信息的共享進(jìn)行科學(xué)管理，從之前的信息孤立轉(zhuǎn)變?yōu)橛袃r(jià)值信息的共享。

2.3.3 港口企業(yè)大數(shù)據(jù)中心建設(shè)需求及方案分析數(shù)據(jù)挖掘

港口企業(yè)大數(shù)據(jù)中心的數(shù)據(jù)挖掘是深入綜合分析數(shù)據(jù)價(jià)值的過(guò)程，是著眼當(dāng)前橫向數(shù)據(jù)變化得出縱向變化趨勢(shì)，從而提前做出決策部署的過(guò)程，也是大數(shù)據(jù)中心建設(shè)的核心意義所在。數(shù)據(jù)挖掘要點(diǎn)有3個(gè)。1）去除無(wú)價(jià)值的信息。2）保證信息的時(shí)效性。3）數(shù)據(jù)價(jià)值的衡量和對(duì)比。

2.3.4 保證數(shù)據(jù)安全

對(duì)于港口企業(yè)說(shuō)，其主要目的是盈利，一些通過(guò)大數(shù)據(jù)中心獲取的商業(yè)結(jié)論和資料屬于商業(yè)機(jī)密，如果該部分的數(shù)據(jù)受到惡意攻擊，將會(huì)給企業(yè)帶來(lái)無(wú)法彌補(bǔ)的損失。同時(shí)，由于存儲(chǔ)和復(fù)制等環(huán)節(jié)造成數(shù)據(jù)損失等的風(fēng)險(xiǎn)也較大，需要通過(guò)一定的手段進(jìn)行動(dòng)態(tài)維護(hù)，避免不必要的損失。

3 結(jié)語(yǔ)

港口企業(yè)進(jìn)行大數(shù)據(jù)中心的建設(shè)符合時(shí)代發(fā)展的需求，同時(shí)大數(shù)據(jù)中心的建設(shè)也是龐大的工程，因此需要實(shí)現(xiàn)以數(shù)據(jù)技術(shù)為主體、以硬件和管理為兩翼的全面系統(tǒng)建設(shè)，大數(shù)據(jù)中心的建設(shè)要統(tǒng)一標(biāo)準(zhǔn)、保持?jǐn)?shù)據(jù)共享、保證數(shù)據(jù)安全。

參考文獻(xiàn)

[1]曾小嬌，王維.大數(shù)據(jù)背景下提升港口物流運(yùn)作效率的對(duì)策研究[J].中國(guó)商論，2020（7）：14-16.

[2]胡瑩瑩，趙千里.淺析云計(jì)算技術(shù)在無(wú)線電管理數(shù)據(jù)中心建設(shè)中的應(yīng)用[J].數(shù)字通信世界，2020（3）：43，18.

[3]蔡春久.實(shí)施數(shù)據(jù)治理是數(shù)據(jù)中心建設(shè)關(guān)鍵[J].互聯(lián)網(wǎng)經(jīng)濟(jì)，2020（Z1）：100-103.

[4]李益波，肖炳林，何威譽(yù)，等.大數(shù)據(jù)驅(qū)動(dòng)的港口機(jī)械狀態(tài)監(jiān)測(cè)平臺(tái)研究[J].港口裝卸，2020（1）：1-5，48.