摘要：隨著上海國際航運(yùn)中心集裝箱業(yè)務(wù)的快速發(fā)展，東海大橋作為進(jìn)出洋山港集裝箱集疏運(yùn)的唯一陸路通道，通行壓力已經(jīng)制約了洋山港業(yè)務(wù)發(fā)展，本文討論了利用人工智能機(jī)器視覺技術(shù)研發(fā)集卡動態(tài)系統(tǒng)，推動洋山港業(yè)務(wù)流程再造、優(yōu)化大橋集疏運(yùn)，縮減大橋通行和滯港時(shí)間，提升洋山港統(tǒng)籌運(yùn)營和綜合服務(wù)能力，推進(jìn)洋山港“智慧港口”的建設(shè)，保障洋山航運(yùn)區(qū)物流鏈、供應(yīng)鏈的暢通，從而帶來豐富的經(jīng)濟(jì)價(jià)值和社會價(jià)值，主要內(nèi)容：利用機(jī)器視覺的深度算法技術(shù)，進(jìn)行車號、箱號、空掛、車速等的識別;融合洋山港碼頭營運(yùn)操作系統(tǒng)（TOS）、集卡預(yù)約平臺（EIR）、車隊(duì)管理系統(tǒng)（TMS）等業(yè)務(wù)系統(tǒng)，形成數(shù)據(jù)交互和流程再造;利用無人機(jī)智能巡航，增強(qiáng)預(yù)警管理和應(yīng)急處理能力，降低風(fēng)險(xiǎn)損失。

關(guān)鍵詞： 機(jī)器視覺;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);車號識別;箱號識別

一、引言

隨著中國內(nèi)外貿(mào)易的繁榮發(fā)展，上海的集裝箱業(yè)務(wù)也得到了蓬勃發(fā)展，2021年，上海港集裝箱吞吐量再創(chuàng)新高，突破4700萬TEU，已經(jīng)連續(xù)12年高居居全球第一，尤其是洋山深水港區(qū)作為上海國際航運(yùn)中心和自由貿(mào)易區(qū)建設(shè)的重要載體，同年集裝箱量吞吐量超過2000萬TEU，東海大橋是洋山港的重要配套工程，也是進(jìn)出洋山港集裝箱集疏運(yùn)的唯一陸路通道，由于集裝箱集疏運(yùn)的潮汐現(xiàn)象，通行峰值期間對洋山港的作業(yè)壓力影響非常大，同時(shí)，東海大橋社會車輛和集卡混行，沒有系統(tǒng)支撐，很難做到針對集裝箱運(yùn)輸提供專業(yè)分析和宏觀決策和應(yīng)急預(yù)案等，因此，建立一套東海大橋集卡動態(tài)管理，和集裝箱物流鏈上下游系統(tǒng)進(jìn)行互連，拓展集裝箱物流鏈系統(tǒng)的覆蓋范圍、推動“綠色高效、智能科技”洋山港建設(shè)有著重要的意義，該系統(tǒng)主要包括識別技術(shù)、業(yè)務(wù)設(shè)計(jì)、預(yù)警管理等內(nèi)容，主要功能在于在車?yán)锔咚龠\(yùn)行狀態(tài)中甄選出集卡車量，并且識別出集卡車號、箱號、空掛等信息，結(jié)合時(shí)間節(jié)點(diǎn)、空間位置、運(yùn)輸路徑、流量信息、流向信息進(jìn)行動態(tài)采集和統(tǒng)計(jì)，并且把集卡運(yùn)輸動態(tài)數(shù)據(jù)推送到洋山港營運(yùn)操作系統(tǒng)和集卡預(yù)約、車隊(duì)管理等相關(guān)系統(tǒng)平臺中，對提高碼頭作業(yè)效率，減少集卡等待時(shí)間、緩解大橋通行壓力、降低物流鏈運(yùn)輸成本等都有重大的社會價(jià)值和經(jīng)濟(jì)價(jià)值。該系統(tǒng)的主要難點(diǎn)在于夜間或者海邊惡劣天氣下集卡運(yùn)輸動態(tài)信息的識別率和準(zhǔn)確率問題，隨著信息化和自動化技術(shù)的發(fā)展，通過部署在收費(fèi)站道口、匝道、飛行無人機(jī)、碼頭高樓的高清攝像機(jī)采集到視頻圖像，然后利于機(jī)器視覺技術(shù)，OCR文字識別，神經(jīng)網(wǎng)絡(luò)深度算法進(jìn)行各種信息數(shù)據(jù)的處理和收集，為各項(xiàng)功能實(shí)現(xiàn)提供數(shù)據(jù)支撐。

二、總體方案設(shè)計(jì)

東海大橋集裝箱運(yùn)輸動態(tài)系統(tǒng)包括圖像識別系統(tǒng)（車型識別、車號識別、空掛識別、箱號識別）、集卡動態(tài)管理系統(tǒng)、應(yīng)急預(yù)警系統(tǒng)等。識別系統(tǒng)由三部分組成：

1.在東海大橋收費(fèi)站進(jìn)出道口搭建智能采集識別系統(tǒng)，視頻圖像錄制、圖像收集和算法識別模型及訓(xùn)練、信息數(shù)據(jù)存儲傳輸于業(yè)務(wù)系統(tǒng)對接，通過在大橋收費(fèi)道閘、匝道、碼頭高樓頂部等位置架設(shè)高清攝像機(jī)采集實(shí)時(shí)視頻圖像，輔助無人機(jī)采集應(yīng)急時(shí)段視頻，經(jīng)過圖片采集、卷積神經(jīng)網(wǎng)絡(luò)提取特征、循環(huán)神經(jīng)網(wǎng)絡(luò)圖像識別，結(jié)合OCR、AIDS、降噪、去雨、變形矯正等算法，識別車型、車號、箱號、空掛、車速等，利用AI深度學(xué)習(xí)CNN訓(xùn)練，大幅提高識別的準(zhǔn)確率，保障數(shù)據(jù)高度可用。

2.在大橋洋山島側(cè)上下匝道位置部署高清識別設(shè)備，對通行集卡的運(yùn)輸路徑、進(jìn)提箱信息，大橋通行時(shí)長、島上滯留時(shí)長等進(jìn)行動態(tài)記錄;在大橋兩側(cè)建設(shè)無人機(jī)站，設(shè)置日常飛行巡檢路徑定時(shí)作業(yè)，也實(shí)現(xiàn)突發(fā)擁堵狀態(tài)下視頻點(diǎn)播回傳或者指定車輛跟蹤監(jiān)測等。融合洋山港碼頭營運(yùn)操作系統(tǒng)（TOS）、集卡預(yù)約平臺（EIR）、車隊(duì)管理系統(tǒng)（TMS）等業(yè)務(wù)系統(tǒng)，從時(shí)間和空間維度記錄集卡集卡車號、箱號、空掛、運(yùn)輸路徑、流量、流向等動態(tài)信息，通過系統(tǒng)交互接口獲取對應(yīng)地提供流量分析、異常交通告警等的決策過程模型，采集涵蓋集裝箱集卡車號、箱號、空掛、進(jìn)提箱貨物、運(yùn)抵、堆場、岸橋、道口、查驗(yàn)、預(yù)約等信息。

3.利用無人機(jī)智能巡航，增強(qiáng)預(yù)警管理和應(yīng)急處理能力，降低風(fēng)險(xiǎn)損失。集卡動態(tài)管理系統(tǒng)部署采用分布式計(jì)算，構(gòu)建GPU服務(wù)器集群進(jìn)行模型訓(xùn)練，利用kubernetes搭建微服務(wù)架構(gòu)，啟動DOKER容器技術(shù)把系統(tǒng)部署到私有云上，通過專網(wǎng)和碼頭營運(yùn)操作系統(tǒng)TOS和EIR和車隊(duì)管理TMS等平臺進(jìn)行對接交互，根據(jù)識別到的車號抽取入港進(jìn)提箱和運(yùn)抵等信息，驗(yàn)證后建立大橋集裝箱運(yùn)輸動態(tài)數(shù)據(jù)庫，把相應(yīng)數(shù)據(jù)推送到TOS等系統(tǒng)中，碼頭做相應(yīng)的智能道口、查驗(yàn)區(qū)、機(jī)械調(diào)度、堆場等作業(yè)調(diào)整，提高碼頭作業(yè)效率，縮減集卡等待時(shí)間等，和互拖平臺做對接，為空掛集卡提供碼頭間互拖業(yè)務(wù)，集卡預(yù)約和車隊(duì)管理動態(tài)延伸和應(yīng)急展示等，同時(shí)為上海港宏觀決策和集疏運(yùn)優(yōu)化方案提供了有效的量化依據(jù)。應(yīng)急預(yù)警管理系統(tǒng)通過專網(wǎng)和WEB訪問，對大橋集卡運(yùn)輸動態(tài)異常情況進(jìn)行預(yù)警，可以通過視頻點(diǎn)播對現(xiàn)場動態(tài)進(jìn)行遠(yuǎn)程展示或者回溯，為啟動應(yīng)急預(yù)案提供依據(jù)等。

三、識別系統(tǒng)設(shè)計(jì)

識別系統(tǒng)主要是基于人工智能的機(jī)器視覺技術(shù)，機(jī)器視覺綜合了圖像處理、視頻處理、工程技術(shù)、光學(xué)成像、智能傳感等技術(shù)，比較適合東海大橋的環(huán)境和基礎(chǔ)設(shè)施建設(shè)，識別系統(tǒng)硬件設(shè)備部署在三個區(qū)域，東海大橋蘆潮港側(cè)進(jìn)出收費(fèi)站區(qū)域、洋山港側(cè)上下匝道區(qū)域、大橋兩側(cè)無人機(jī)站區(qū)域，硬件設(shè)備主要由高清攝像機(jī)、紅外車輛感應(yīng)器、可編程邏輯控制器PLC（GPU芯片）、網(wǎng)絡(luò)交換機(jī)等設(shè)備組成，識別技術(shù)主要利用前沿的機(jī)器識別技術(shù)，通過目標(biāo)監(jiān)測、OCR文字識別、三維檢測算法，立式差圖算法、降噪算法、等進(jìn)行識別文字和狀態(tài)，然后通過AI深度學(xué)習(xí)CNN模型訓(xùn)練提高識別率，保證識別的可靠性。

識別技術(shù)主要通過以下幾個過程：高清視頻錄制、圖片采集、圖片預(yù)處理、區(qū)域定位、特征識別、識別結(jié)果、識別率提升等，視頻圖像錄制采用 CCD（Charged-Coupled Devices）工業(yè)級攝像機(jī)，需要滿足白天和黑夜不同光線條件下的正常工作，減少雨、雪、霧等惡劣天氣的影響，通過紅外設(shè)備觸發(fā)開始拍攝視頻，視頻流中截取亮度和對比度好的圖片信息，

圖像質(zhì)量直接影響識別算法的設(shè)計(jì)與效果精度，所以需要對圖片進(jìn)行預(yù)處理提升圖片質(zhì)量，預(yù)處理首先要用Resolution enhancer 圖像畫質(zhì)增強(qiáng)技術(shù)調(diào)整圖片亮度和對比度，其次對變形圖片平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換校正到水平直線方式，圖片校正后有利于后期的圖像分割，最后就行對圖片進(jìn)行降噪處理，可以用PRIDNet深度學(xué)習(xí)框架進(jìn)行圖片降噪，用RainMix圖像增廣去雨算法去除雨天干擾等;預(yù)處理后的圖片通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車號、箱號區(qū)域定位，定位過程如圖1所示：特征提取和特征融合，特征提取是通過卷積核（濾波器，convolution kernel）提取特征值，將采集到的圖片劃成8*8像素的Cells，通過卷積核的卷積點(diǎn)乘運(yùn)算獲取特征值 destination value，輸出特征圖（feature map），然后通過雙線性差值對圖像矩陣兩個邊進(jìn)行一次線性差值實(shí)現(xiàn)特征圖高和寬度放大1倍的效果，此時(shí)的特征圖是二維，不能用于檢索，把兩個特征維度附加相應(yīng)的權(quán)重，需要把特征編碼轉(zhuǎn)換為一維的描述算子，通過相似度計(jì)算進(jìn)行特征區(qū)分，對車號和箱號的區(qū)域進(jìn)行定位預(yù)測，對車號和箱號的坐標(biāo)位置進(jìn)行定位。

通過定位坐標(biāo)，繼續(xù)特征提取和序列化，通過LSTM模型的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）計(jì)算字符概率并預(yù)測，經(jīng)過生成器和鑒別器的對抗訓(xùn)練識別出車號和箱號數(shù)據(jù)，把識別到的數(shù)據(jù)打上特有標(biāo)簽，輸出初步的識別結(jié)果，此時(shí)的識別率相對偏低（80%左右），為了提高識別率，還需要經(jīng)過一個月作業(yè)的CNN模型訓(xùn)練，可以把識別率提升到98%以上。識別率提高的關(guān)鍵技術(shù)是CNN（卷積神經(jīng)網(wǎng)絡(luò)）模型訓(xùn)練，過程包含：整理訓(xùn)練數(shù)據(jù)、卷積神經(jīng)網(wǎng)絡(luò)帶入訓(xùn)練、訓(xùn)練模型保存、代入模型、特征向量SVM訓(xùn)練、SVM結(jié)果預(yù)測。CNN訓(xùn)練通過CNN是深度學(xué)習(xí)（deep learning）的一種常用的算法，具有較強(qiáng)的表征算法能力，CNN需要依賴大規(guī)模標(biāo)簽數(shù)據(jù)作為訓(xùn)練模型，通過卷積和（特征過濾器）提取圖片水平和垂直特征（RGB值），通過特征提取計(jì)算后轉(zhuǎn)換特征圖，最大池化（max pooling）壓縮和提取特征圖提取最突出的特點(diǎn)，進(jìn)行扁平化處理后轉(zhuǎn)化為一維的數(shù)據(jù)條，錄入到“全連接隱藏層”，神經(jīng)元的全連接，產(chǎn)生輸出結(jié)果，利用激活函數(shù)形成完整的CNN數(shù)據(jù)流，保證了輸出值和圖片整體信息的匹配度，隨著訓(xùn)練量的積累，圖像的識別率也會大幅增加，保證車號識別和箱號識別的數(shù)據(jù)精確。識別系統(tǒng)還運(yùn)用一些別的技術(shù)，比如光流+CNN的序列圖像分析和運(yùn)動參量求值車速識別，基線幾何立體視覺地從二維圖像提取三維信息空掛識別，OpenCV的車道識別等，以上技術(shù)的應(yīng)用，提供了東海大橋集卡立體動態(tài)識別系統(tǒng)，為整個業(yè)務(wù)提供良好的識別數(shù)據(jù)支撐。機(jī)器視覺識別系統(tǒng)的部署使用分布式計(jì)算的模式，現(xiàn)場節(jié)點(diǎn)安裝小型GPU工控機(jī)，linux+python+Bazel的開發(fā)、應(yīng)用環(huán)境，TensorFlow_Serving部署軟件進(jìn)行識別和模型熱更新和自動模型版本管理，后端采用高性能GPU服務(wù)器集群完成CNN模型訓(xùn)練和識別，通過TCP協(xié)議是寫識別計(jì)算結(jié)果的傳輸，識別的效率取決于GPU云化計(jì)算能力，使用CAAS架構(gòu)提高GPU資源的利用率。

數(shù)字化無人機(jī)技術(shù)的引入，實(shí)現(xiàn)了定時(shí)規(guī)劃路徑巡檢和動態(tài)視頻跟蹤等工作，其中巡航平臺模塊包括無人機(jī)控制、視頻接入和識別、應(yīng)急預(yù)警等模塊。無人機(jī)站負(fù)責(zé)無人機(jī)的充電、維護(hù)、信息處理和傳輸?shù)取o人機(jī)根據(jù)設(shè)計(jì)的巡航線路進(jìn)行日常巡檢或者應(yīng)急處理等，飛行過程中機(jī)載高清攝像頭開始實(shí)時(shí)視頻錄制，通過5G網(wǎng)絡(luò)利用RTMP和RTSP協(xié)議把視頻推送到接入解析服務(wù)器，解析服務(wù)器根據(jù)預(yù)設(shè)的AI算法進(jìn)行集卡動態(tài)、緊急事件區(qū)域等進(jìn)行識別，根據(jù)識別結(jié)果判斷風(fēng)險(xiǎn)等級，啟動業(yè)務(wù)告警、應(yīng)急預(yù)案、多方聯(lián)動等，并且具備視頻點(diǎn)播、回溯、3D展示等功能，無人機(jī)需要配備六向雙目識別、紅外感知、避障雷達(dá)等模塊，具備動態(tài)智能跟蹤、三維坐標(biāo)定位、共享位置、激光測距等功能，配備備用電池保障續(xù)航和安全，巡航服務(wù)和視頻服務(wù)應(yīng)用可以用spring cloud微服務(wù)開發(fā)和部署到私有云端。

四、集卡動態(tài)管理系統(tǒng)設(shè)計(jì)

集卡動態(tài)管理系統(tǒng)主要把識別到的數(shù)據(jù)和碼頭營運(yùn)操作系統(tǒng)和各平臺系統(tǒng)進(jìn)行交互，形成以時(shí)間、空間屬性的集卡動態(tài)信息，嵌入到TOS、EIR、TMS系統(tǒng)中，促進(jìn)碼頭、車隊(duì)作業(yè)流程再造，提高作業(yè)效率、優(yōu)化集疏運(yùn)方案和緩解大橋通行能力，并且為決策層提供數(shù)據(jù)支撐。TOS系統(tǒng)可以根據(jù)該系統(tǒng)預(yù)測值得到集卡車號和箱號信息，預(yù)測集卡到崗時(shí)間，道口作業(yè)區(qū)可以調(diào)整道口的開放數(shù)，對在停車場和查驗(yàn)區(qū)進(jìn)行引流，為入港集卡快速進(jìn)港創(chuàng)造條件，智能堆場可以通過算法進(jìn)行者翻箱等操作，機(jī)械調(diào)度可以及時(shí)安排內(nèi)集卡和軌道吊等的運(yùn)行路徑等，能有效提高作業(yè)效率，降低能耗。EIR可以通過該系統(tǒng)對集卡進(jìn)港時(shí)間預(yù)判和調(diào)整，TMS可以通過該系統(tǒng)了解到集卡的位置定位和狀態(tài)等信息，針對東海大橋上的集卡動態(tài)進(jìn)行全時(shí)段的記錄和統(tǒng)計(jì)，儲存了大橋集卡的動態(tài)全局?jǐn)?shù)據(jù)，可以針對時(shí)間段、集卡流量、流向車速等數(shù)據(jù)進(jìn)行建模計(jì)算，從宏觀政策層面進(jìn)行決策和分析。

集卡動態(tài)管理系統(tǒng)用容器化開發(fā)設(shè)計(jì)，Linux+Python+Doker，kubernetes進(jìn)項(xiàng)容器管理，實(shí)現(xiàn)輕量化部署和敏捷性開發(fā)，同時(shí)和其他系統(tǒng)對接開發(fā)相應(yīng)的API接口，提升系統(tǒng)的延展性，搭建大橋集卡動態(tài)信息數(shù)據(jù)庫，實(shí)時(shí)記錄大橋上集卡車號、箱號、掛箱、目標(biāo)港、進(jìn)提箱、預(yù)計(jì)抵港時(shí)間，預(yù)約、堆場位置、大橋路況等信息，根據(jù)各方需求開發(fā)服務(wù)模塊，并且進(jìn)行統(tǒng)計(jì)分析，為決策和優(yōu)化提供依據(jù)。

五、應(yīng)急預(yù)警系統(tǒng)設(shè)計(jì)

應(yīng)急預(yù)警系統(tǒng)功能模塊是預(yù)警識別、告警發(fā)送、異常情況跟蹤、啟動應(yīng)急預(yù)案（自動或者人工）、實(shí)時(shí)錄像、點(diǎn)播回溯等，無人機(jī)可以選用大疆的Matrice 300 RTK商用機(jī)型，使用DJTM飛控系統(tǒng)，配備了六向雙目視覺和FPV 攝像頭，在避障、定位、位置共享方面表現(xiàn)突出，搭載H20T變焦廣角高清相機(jī)，更加有利于快速搜索和全方位觀察等，飛行輔助界面等先進(jìn)功能大橋兩側(cè)通過無人機(jī)巡航進(jìn)行實(shí)時(shí)視頻錄制，為碼頭、車隊(duì)、救援等多方提供信息保障，提高異常情況處理效率，緩解大橋擁堵等。

六、結(jié)束語

隨著自動化AI技術(shù)的發(fā)展，機(jī)器視覺技術(shù)越來越廣泛應(yīng)用到港口航運(yùn)業(yè)務(wù)中，利用機(jī)器視覺技術(shù)，結(jié)合神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法，建設(shè)東海大橋集裝箱實(shí)時(shí)動態(tài)管理系統(tǒng)彌補(bǔ)了洋山港全方位集裝箱物流鏈中關(guān)鍵環(huán)節(jié)的系統(tǒng)缺失，進(jìn)一步推進(jìn)了洋山港智慧港口、綠色港口的信息化建設(shè)，有效降低集卡的運(yùn)營成本、相應(yīng)縮減滯港時(shí)間和大橋通行時(shí)間，緩解了大橋通行壓力，實(shí)現(xiàn)經(jīng)濟(jì)效益和社會效益雙豐收。

參? 考? 文? 獻(xiàn)

[1]張羽達(dá). 基于機(jī)器視覺的集裝箱鎖孔識別與定位技術(shù)研究[D].江蘇大學(xué)，2019.

[2]劉燕欣，張志良，唐波，等.面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)[J].軍民兩用技術(shù)與產(chǎn)品，2020（01）：24-28.

[3]徐尉豪.基于機(jī)器視覺的動態(tài)環(huán)境運(yùn)動目標(biāo)智能識別研究[J].激光雜志，2022，43（01）：29-32.

[4]薛夢霞，劉士榮，王堅(jiān).基于機(jī)器視覺的動態(tài)多目標(biāo)識別[J].上海交通大學(xué)學(xué)報(bào)，2017，51（06）：727-733.

作者單位：李東? ? 上海海勃物流軟件有限公司

李東（1971.04-），男，漢族，上海，研究生，工程師，專業(yè)研究方向：信息技術(shù)。