孔席超 張 騰 張 煜 楊彩云

1天津港第二集裝箱碼頭有限公司 天津 120000 2武漢理工大學(xué)交通與物流工程學(xué)院 武漢 430063 3武漢理工大學(xué)韶關(guān)研究院 韶關(guān) 512000

0 引言

近年來，集裝箱碼頭吞吐量逐年增加，大規(guī)模、高強度的進出口量對碼頭整體運營能力提出了新的要求。隨著新興技術(shù)在碼頭自動化建設(shè)中的不斷應(yīng)用，碼頭數(shù)據(jù)來源及結(jié)構(gòu)的復(fù)雜程度也逐漸提高。

隨著大數(shù)據(jù)、云計算等數(shù)據(jù)智能處理技術(shù)的發(fā)展，越來越多的集裝箱碼頭開始應(yīng)用數(shù)據(jù)挖掘、大數(shù)據(jù)分析等技術(shù)，通過對自身數(shù)據(jù)資產(chǎn)進行整理，對碼頭作業(yè)進行生產(chǎn)指導(dǎo)，有效提升了碼頭運營能力。因此，如何合理利用自動化集裝箱碼頭數(shù)據(jù)資產(chǎn)，通過數(shù)據(jù)智能化技術(shù)，提升自動化集裝箱碼頭數(shù)據(jù)可視化程度，成為了新的研究方向。

數(shù)據(jù)湖是數(shù)據(jù)存儲技術(shù)的一個重要方向，多層管控信息通過數(shù)據(jù)湖在分布式節(jié)點單元之間快速流動，實現(xiàn)港口物流智能工作的可知可控可共享。在自動化集裝箱碼頭生產(chǎn)作業(yè)過程中，為有效保障碼頭自動化作業(yè)數(shù)據(jù)通訊，實現(xiàn)數(shù)據(jù)的有效傳輸整合，需對數(shù)據(jù)湖系統(tǒng)進行合理設(shè)計，進而為碼頭整體運營提供相關(guān)分析和決策。

在以往的文獻中包含了大量的關(guān)于生產(chǎn)數(shù)據(jù)湖構(gòu)建方法的研究。黃家凱[1]結(jié)合地質(zhì)行業(yè)海量數(shù)據(jù)的特點，提出按照數(shù)據(jù)摸底、技術(shù)選型、數(shù)據(jù)接入、應(yīng)用治理來構(gòu)建地質(zhì)數(shù)據(jù)湖的主要步驟，為地質(zhì)大數(shù)據(jù)平臺的下一步建設(shè)方向開闊了技術(shù)思路；針對數(shù)據(jù)共享帶來的隱私問題，謝裕清等[2]提出一種數(shù)據(jù)共享與訪問模型，對區(qū)塊鏈中的智能合約模塊進行優(yōu)化，實現(xiàn)了數(shù)據(jù)訪問控制與安全共享問題；譚景信等[3]定義了適應(yīng)分散、碎片化數(shù)據(jù)收集場景的數(shù)據(jù)虛擬化模型及模型驅(qū)動下的數(shù)據(jù)庫間協(xié)作流程，緩解了集中式數(shù)據(jù)湖構(gòu)建方法所存在的數(shù)據(jù)更新時效性差等問題；針對企業(yè)數(shù)字化轉(zhuǎn)型要求及大數(shù)據(jù)平臺面臨的挑戰(zhàn)，劉志勇等[4]提出了采用邏輯統(tǒng)一、物理分散、應(yīng)用解耦融合的統(tǒng)一數(shù)據(jù)湖建設(shè)方案；陸生強[5]提出了時空數(shù)據(jù)湖的設(shè)計理念，給出了物理上分布式存儲、邏輯上集中式管理的混搭式存儲結(jié)構(gòu)，結(jié)果表明，時空數(shù)據(jù)湖能夠在智慧城市精細化管理中取得良好的效果；針對海量數(shù)據(jù)存儲及高效利用問題，陳永南[6]提出了采用數(shù)據(jù)湖處理大數(shù)據(jù)的設(shè)計思路，為行業(yè)大數(shù)據(jù)的高效共享利用提供建議和啟發(fā)。

上述文獻對數(shù)據(jù)湖的研究主要集中在大數(shù)據(jù)存儲、利用和數(shù)據(jù)虛擬化模型方面，缺少對自動化集裝箱碼頭數(shù)據(jù)湖設(shè)計及管理方法的研究。因此，本文在分析自動化碼頭作業(yè)流程的基礎(chǔ)上，提出一種數(shù)據(jù)湖設(shè)計及管理方法，該方法結(jié)合數(shù)據(jù)挖掘等技術(shù)，憑借碼頭數(shù)據(jù)資產(chǎn)對碼頭作業(yè)進行生產(chǎn)指導(dǎo)，同時，通過數(shù)據(jù)湖管理各模塊間的高效銜接，實現(xiàn)碼頭運營數(shù)據(jù)資產(chǎn)管理。

1 自動化集裝箱碼頭數(shù)據(jù)傳輸

自動化集裝箱碼頭主要作業(yè)分為裝船作業(yè)與卸船作業(yè)。在裝船作業(yè)中，船舶到港靠泊后，智能運輸機器人（Artificial Intelligence Robot of Transportation，以下簡稱ART）前往堆場取箱，集裝箱門式起重機（以下簡稱場橋）將出口集裝箱放置于ART上后，ART載箱前往岸邊集裝箱起重機（以下簡稱岸橋）作業(yè)區(qū)進行裝船作業(yè)；在卸船作業(yè)中，岸橋?qū)⑦M口集裝箱放置于ART上，ART載箱前往堆場指定貝位，場橋從ART卸箱并放置在堆場指定箱位。在該作業(yè)流程中，各數(shù)據(jù)模塊之間不斷進行數(shù)據(jù)的收集與交換。

1.1 數(shù)據(jù)模塊構(gòu)成

自動化集裝箱碼頭數(shù)據(jù)模塊主要由集裝箱智能閘口數(shù)據(jù)、核心生產(chǎn)管理數(shù)據(jù)、生產(chǎn)作業(yè)數(shù)據(jù)及輔助作業(yè)數(shù)據(jù)等構(gòu)成。其中，輔助作業(yè)數(shù)據(jù)包含電子商務(wù)、單證信息及集港預(yù)約數(shù)據(jù)；集裝箱智能閘口數(shù)據(jù)具體包括人員預(yù)約、集港登記、車輛識別、箱號識別、箱型驗殘等，車輛按預(yù)約信息中預(yù)定時間進入智能閘口，進港及出港閘口進行車牌號、箱號信息自動采集后記錄在場箱信息數(shù)據(jù)，并利用視頻監(jiān)控系統(tǒng)記錄出入通道監(jiān)控數(shù)據(jù)。同時對集裝箱箱型進行檢驗，記錄集裝箱殘損數(shù)據(jù)；生產(chǎn)作業(yè)數(shù)據(jù)由智能扭鎖站、設(shè)備監(jiān)控、水平運輸管理、智能交通等系統(tǒng)數(shù)據(jù)組成，各系統(tǒng)之間通過無線網(wǎng)絡(luò)進行數(shù)據(jù)通訊和信息傳輸，實現(xiàn)集裝箱卡車精準(zhǔn)定位導(dǎo)航、智能駕駛運輸任務(wù)；核心生產(chǎn)管理數(shù)據(jù)由交班、外圍、泊位、全自動碼頭操作管理、智能理貨等系統(tǒng)數(shù)據(jù)組成，負責(zé)創(chuàng)建航線、船舶信息、船期信息及指泊計劃。

1.2 數(shù)據(jù)傳遞過程

基于數(shù)據(jù)模塊組成自動化集裝箱碼頭數(shù)據(jù)傳遞過程如圖1所示，輔助作業(yè)模塊將車輛預(yù)約信息數(shù)據(jù)發(fā)送至集裝箱智能閘口系統(tǒng)，并將車輛、集裝箱、貨物、人員等信息發(fā)送給核心生產(chǎn)管理模塊；集裝箱智能閘口系統(tǒng)根據(jù)輔助作業(yè)模塊發(fā)來的車輛預(yù)約信息，對人員、車牌號以及箱號等信息進行驗證，并將車輛數(shù)據(jù)、集裝箱數(shù)據(jù)發(fā)送至核心生產(chǎn)管理模塊；核心生產(chǎn)管理模塊向生產(chǎn)作業(yè)模塊發(fā)布生產(chǎn)作業(yè)任務(wù)狀態(tài)數(shù)據(jù)、設(shè)備執(zhí)行指令，并接受反饋信息；生產(chǎn)作業(yè)模塊接收作業(yè)信息、驅(qū)動設(shè)備執(zhí)行指令，同時監(jiān)控設(shè)備運行狀態(tài)并向管理系統(tǒng)反饋作業(yè)信息及設(shè)備狀態(tài)數(shù)據(jù)。

圖1 數(shù)據(jù)傳遞過程

2 數(shù)據(jù)湖構(gòu)建方法

基于自動化集裝箱碼頭作業(yè)流程，提出一種基于云架構(gòu)的自動化集裝箱碼頭數(shù)據(jù)湖構(gòu)建方法（見圖2），不同于碼頭傳統(tǒng)數(shù)據(jù)管理模式，該方法通過碼頭數(shù)據(jù)管理、可視化分析、數(shù)據(jù)挖掘等技術(shù)手段實現(xiàn)碼頭數(shù)據(jù)資產(chǎn)管理，提高碼頭運營能力。該數(shù)據(jù)湖構(gòu)建方法由自動化集裝箱碼頭數(shù)據(jù)通信及自動化集裝箱碼頭數(shù)據(jù)湖構(gòu)成。

圖2 數(shù)據(jù)湖整體框架圖

2.1 數(shù)據(jù)通信

自動化集裝箱碼頭數(shù)據(jù)通信采用多通訊協(xié)議混合通信的策略，分別對生產(chǎn)作業(yè)、運輸裝卸設(shè)備、樓宇資源以及視頻監(jiān)控等數(shù)據(jù)進行數(shù)據(jù)通訊。其中，多通訊協(xié)議協(xié)同通信策略主要步驟為：數(shù)據(jù)信息采集、判斷數(shù)據(jù)來源與數(shù)據(jù)類型、根據(jù)數(shù)據(jù)通信表選擇對應(yīng)的通訊協(xié)議與數(shù)據(jù)庫。在該策略中，自動化集裝箱碼頭水平運輸系統(tǒng)數(shù)據(jù)經(jīng)Kafka傳輸至ES數(shù)據(jù)庫中存儲；碼頭生產(chǎn)作業(yè)系統(tǒng)數(shù)據(jù)與輔助生產(chǎn)系統(tǒng)數(shù)據(jù)經(jīng)API通訊在Oracle或MySQL數(shù)據(jù)庫中存儲；碼頭機械設(shè)備數(shù)據(jù)經(jīng)Kafka傳輸在HBase數(shù)據(jù)庫中存儲；碼頭樓宇數(shù)據(jù)經(jīng)Kafka通訊在Oracle或MySQL數(shù)據(jù)庫中存儲；碼頭視頻圖像數(shù)據(jù)經(jīng)Rtsp傳輸至文件系統(tǒng)中存儲。在調(diào)試和運營過程中，可根據(jù)實際情況對通信協(xié)議進行調(diào)整，提升數(shù)據(jù)通信效率。

2.2 數(shù)據(jù)湖

自動化集裝箱碼頭數(shù)據(jù)湖以物聯(lián)網(wǎng)與云端服務(wù)器數(shù)據(jù)通訊為基礎(chǔ)，通過數(shù)據(jù)湖管理方法分析整合數(shù)據(jù)，實現(xiàn)數(shù)據(jù)資產(chǎn)有效管理，提升碼頭智能化運維。主要由自動化集裝箱碼頭各類型數(shù)據(jù)云端數(shù)據(jù)庫模塊、碼頭作業(yè)調(diào)度管理模塊及資源調(diào)度管理模塊等構(gòu)成（見圖3）。

圖3 數(shù)據(jù)湖構(gòu)成

1）云端數(shù)據(jù)庫模塊 將自動化集裝箱碼頭運營數(shù)據(jù)如岸橋、無人集卡、船舶?？康葦?shù)據(jù)信息，經(jīng)過云端服務(wù)器通信，匯入數(shù)據(jù)湖。

2）碼頭作業(yè)調(diào)度模塊 自動化碼頭數(shù)據(jù)湖以碼頭數(shù)據(jù)為基礎(chǔ)，通過分析各類數(shù)據(jù)信息，實現(xiàn)大數(shù)據(jù)分析下的各類作業(yè)調(diào)度（水平運輸任務(wù)、裝卸任務(wù)等），提升自動化集裝箱碼頭整體運營能力。

3）資源調(diào)度管理模塊 自動化集裝箱碼頭資源不局限于生產(chǎn)作業(yè)所需資源，還包括水電能耗、樓宇管控、設(shè)備維修等。

3 數(shù)據(jù)湖管理方法

自動化碼頭數(shù)據(jù)湖管理包括數(shù)據(jù)入湖、數(shù)據(jù)連接、采集任務(wù)和任務(wù)監(jiān)控4個子模塊（見圖4）。

圖4 數(shù)據(jù)湖管理

1）數(shù)據(jù)入湖 數(shù)據(jù)入湖分為入湖模板、入湖引擎、文件格式以及數(shù)據(jù)湖存儲4部分。其中，入戶模板用于定于常見的數(shù)據(jù)入湖方式，目前主要包括全量數(shù)據(jù)庫、增量數(shù)據(jù)庫文件格式轉(zhuǎn)換等，用戶根據(jù)不同的數(shù)據(jù)源選擇相應(yīng)的入湖模板，然后填寫相關(guān)參數(shù)信息，即可完成入湖模板創(chuàng)建。

2）數(shù)據(jù)連接 元數(shù)據(jù)管理支持對數(shù)據(jù)連接的創(chuàng)建、編輯、連通性測試以及刪除，通過配置數(shù)據(jù)源信息建立數(shù)據(jù)連接，數(shù)據(jù)連接可被采集任務(wù)使用。

3）采集任務(wù) 通過新建采集任務(wù)可以配置元數(shù)據(jù)采集策略，不同類型數(shù)據(jù)源的采集策略不盡相同，可以是整個數(shù)據(jù)庫，也可以是單庫或者單表。

4）任務(wù)監(jiān)控 監(jiān)控元數(shù)據(jù)采集任務(wù)運行情況，支持查看采集日志、重跑采集任務(wù)。

通過上述各模塊高效銜接，實現(xiàn)碼頭運營數(shù)據(jù)資產(chǎn)管理，從而對碼頭運營進行數(shù)據(jù)層面監(jiān)控。

4 結(jié)論

自動化集裝箱碼頭數(shù)據(jù)湖系統(tǒng)設(shè)計與實現(xiàn)方法集數(shù)據(jù)通信、數(shù)據(jù)湖構(gòu)建方法、數(shù)據(jù)湖管理方法于一體，其優(yōu)點主要體現(xiàn)在：

1）數(shù)據(jù)通信采用多通訊協(xié)議混合通信的策略，具有大規(guī)模、高時效的數(shù)據(jù)通信能力，能有效保障各數(shù)據(jù)與云端服務(wù)器的快速通信。

2）數(shù)據(jù)湖采用云端數(shù)據(jù)庫，能實時傳輸前端設(shè)備采集的數(shù)據(jù)信息，保障設(shè)備數(shù)據(jù)通信時效性。

3）數(shù)據(jù)湖管理方法對自動化集裝箱碼頭元數(shù)據(jù)進行管理，保證數(shù)據(jù)湖中的數(shù)據(jù)質(zhì)量，為后續(xù)數(shù)據(jù)存儲與分析提供便利。