黃偉 趙德安 劉曉洋

摘 要：隨著全球貿(mào)易的發(fā)展，集裝箱運輸增長迅速，集裝箱卡車和吊車在集裝箱運輸中發(fā)揮著極其重要的作用。針對集裝箱裝卸作業(yè)中因集卡和集裝箱之間固定鎖未完全打開而導(dǎo)致集卡被誤吊起的危險情況，提出一種基于機器視覺的港口集裝箱卡車防吊方法。該方法使用兩個攝像頭實時采集集卡車身圖像，為保證圖像檢測過程的實時性和準確性，采用ORB特征點檢測算法對圖像進行特征點提取，利用FLANN特征點匹配算法將檢測到的特征點與起吊前基準圖像中的特征點進行匹配，通過分析匹配成功特征點之間的坐標變化，判斷集卡是否被誤吊起。一旦縱坐標變化超出閾值，控制系統(tǒng)則會向主控PLC發(fā)送停止起吊指令，從而避免安全事故發(fā)生。通過大量現(xiàn)場試驗，結(jié)果表明，該方案在應(yīng)對各種復(fù)雜環(huán)境時都能取得很好的效果，可以滿足港口自動化要求。

關(guān)鍵詞：機器視覺；特征檢測；集卡；防吊

DOI：10. 11907/rjdk. 182300

中圖分類號：TP301 文獻標識碼：A 文章編號：1672-7800（2019）005-0037-04

Abstract： With the development of global economic trade， container transportation has grown rapidly. Container trucks and cranes play an extremely important role in container transportation. In view of the dangerous situation that during the container loading and unloading operation， the container car is mistakenly lifted because the fixed lock between the truck and the container is not fully opened， this paper proposes a machine vision-based port container truck anti-lifting technology. The technology uses two cameras to collect images of the body of the truck in real time. To ensure the real-time and accuracy of the whole image detection process， the ORB （Oriented FAST and Rotated BRIEF） feature point detection algorithm is used to extract the feature points of the image， using FLANN feature point matching algorithm matches the detected feature points with the feature points in the reference image before lifting， and judge whether the card is hanged mistakenly by analyzing the coordinate changes between the matching feature points. Once the change of the ordinate exceeds the threshold， it can be judged that it is mistakenly lifted up， and the control system will send an instruction to the main control PLC to stop the hoisting. The technical solution has passed a large number of field tests and can achieve good results in dealing with various complex environments， which can meet the requirements of port automation.

Key Words： machine vision； feature detection； container card； anti-lifting

0 引言

港口作為水路交通的集結(jié)點和樞紐，在全球資源配置中發(fā)揮著越來越重要的作用。集裝箱作為港口貿(mào)易的載體，已成為國際通用的運輸方式。港口發(fā)展經(jīng)歷了從人力、電氣化到逐步自動化的過程。近年來，隨著計算機信息技術(shù)的迅速發(fā)展，尤其是大數(shù)據(jù)、人工智能等新興技術(shù)的產(chǎn)生，為傳統(tǒng)行業(yè)轉(zhuǎn)型，尤其是港口發(fā)展帶來了前所未有的新機遇與新挑戰(zhàn)[1]。為了提高生產(chǎn)組織效率與港口裝備的智能化水平，提高港口整體作業(yè)效率，興建自動化、無人化的集裝箱碼頭迫在眉睫，現(xiàn)已出現(xiàn)了以青島港、洋山港為代表的無人化碼頭。

集卡（集裝箱卡車的簡稱）分為內(nèi)集卡和外集卡。負責(zé)碼頭內(nèi)集裝箱運輸?shù)耐宪嚪Q為內(nèi)集卡，外集卡則是開出港口的拖車。由于港區(qū)內(nèi)路面平整，不需要長距離運輸，內(nèi)集卡通過安裝在車身四周的擋板固定集裝箱，而外集卡在往返港口運送集裝箱過程中，為防止運輸過程中由于路況顛簸造成箱子意外掉落的情況，需要在集卡車身4個角以及中間部位安裝機械鎖頭，鎖頭可以插入集裝箱底部鎖孔內(nèi)，從而固定集裝箱。

當(dāng)外集卡到達港口堆場進行卸車作業(yè)時，集卡司機會事先將鎖頭解開，然后等待輪胎吊或其它吊車將集卡上的集裝箱卸下。由于吊車司機視線受阻，無法清晰地觀察并判斷鎖頭是否被完全打開，如果集卡司機忘記解鎖或沒有完全解開所有的鎖，在集裝箱起吊過程中，車身會被一并提起，嚴重時可能對車輛造成損壞甚至危及集卡司機安全。因此，在集裝箱堆場作業(yè)中，如何防止集卡被誤吊起是集裝箱裝卸中的一大安全課題。

目前，已有人工監(jiān)控、光電檢測、激光雷達檢測與圖像檢測等多種方式可實現(xiàn)對集裝箱卡車誤吊起的檢測，但是受限于成本或檢測效果尚難以普及。因此，迫切需要提出一套自動化檢測控制方案。由于該研究具有巨大的市場需求，很多企業(yè)及高校也進行了相關(guān)研究。如上海港集裝箱股份有限公司[2]針對該問題設(shè)計了一種防止集裝箱起重機誤吊集裝箱卡車的測控裝置。該裝置通過兩個光電開關(guān)進行集裝箱檢測，若集裝箱被吊至設(shè)定高度仍能檢測到設(shè)定物體信號，則立即停止起吊。但該方法可靠性不高，容易出現(xiàn)漏檢情況，且檢測到卡車被吊起時，卡車已上升了一定高度，雖然不會造成重大事故，但仍會給車輛造成損傷；潤邦卡哥特科工業(yè)有限公司[3]提出一種防止集裝箱卡車被吊起的自動檢測保護系統(tǒng)及其應(yīng)用方法，通過車道一側(cè)地梁作業(yè)平臺下的區(qū)域傳感器檢測卡車是否被吊起。但該方法需要在固定位置鋪設(shè)傳感器進行檢測，工程量大，且不能隨吊車轉(zhuǎn)場，靈活不強，難以進行普遍應(yīng)用；上海大學(xué)[4]提出一種用于軌道吊機的集裝箱卡車防吊系統(tǒng)及方法，該方法通過兩個激光掃描儀對集裝箱和卡車進行掃描，通過幾何約束原則找出二者相對位置，從而判斷卡車是否被吊起。該方法檢測準確性較高，但是由于激光雷達成本較高，因而難以普及應(yīng)用。

1 系統(tǒng)組成

本文提出的方法由硬件和軟件兩部分構(gòu)成。硬件主要包括安裝在吊車外的攝像頭和主控室內(nèi)的工控機。攝像頭負責(zé)圖像采集，工控機負責(zé)圖像處理以及與主控PLC通信。軟件部分的核心是圖像處理算法，其基本步驟如下：①集卡到位，在起吊前采集一張圖像作為基準圖像，并對車架部分進行特征點提??；②收到起吊信號，檢測系統(tǒng)每隔500ms進行一次圖像采集，并對車架部分進行特征點提??；③將步驟②中提取的特征點與基準圖像進行匹配；④計算所有匹配成功特征點x和y的平均差值并與設(shè)定閾值進行比較，如果y的差值大于閾值，則可判斷為誤吊，檢測系統(tǒng)向主控PLC發(fā)送停止起吊命令。

2 ORB特征點提取

特征點匹配算法廣泛應(yīng)用于視覺導(dǎo)航、運動目標識別檢測等領(lǐng)域。目前在機器視覺領(lǐng)域常用的特征點檢測算法主要有 SIFT、SURF[6]和ORB（Oriented FAST and Rotated BRIEF）。在ICCV2011，Rublee等[7]提出ORB特征點檢測算法。ORB算法將FAST角點檢測和二進制局部特征描述符BRIEF相結(jié)合[9]，實時性明顯優(yōu)于SIFT、SURF等浮點型局部特征描述符。

本文采用ORB特征提取算法對圖像進行特征點提取。ORB特征點檢測主要有以下兩個步驟：①利用Oriented FAST檢測算子進行特征點檢測；②采用Rotated BRIEF描述符對特征點進行二進制向量描述。

3 FLANN特征匹配

FLANN算法是由Muja&Lowe[16]在2009年提出的，算法核心是通過K均值或KD-TREE[18]搜索算法找到歐式距離最小點[17]。該算法可根據(jù)數(shù)據(jù)集分布特點、映射精度與空間資源消耗要求推薦索引類和檢索參數(shù)，而且在高維空間最近鄰查找不受局部敏感哈希影響。

在KD-TREE中檢索出歐氏距離最小的點通常需要如下幾個步驟：首先根據(jù)相關(guān)方法將KD-TREE數(shù)據(jù)點劃分成N維空間上的幾部分，將所有歐氏距離集合采用KD-TREE結(jié)構(gòu)進行存儲，整個檢索過程則變成了KD-TREE由上而下的遞歸過程[19]。以某一特征維數(shù)為基準，將目標點與分割點的值進行比較，從而確定目標點所在的N維空間區(qū)域，然后遍歷區(qū)域，直到成功檢索到目標點。在KD-TREE上進行數(shù)據(jù)檢索效率較高[20]，對于給定的高維目標采用高效的查找算法能快速得到最近鄰點[21]。

如圖3所示，當(dāng)?shù)踯噷⒓b箱緩慢吊起時，F(xiàn)LANN算法能夠快速、準確地與基準圖像中的特征點進行匹配。該試驗選取100個特征點，最終匹配成功的為97對。根據(jù)97對點的縱坐標可計算出當(dāng)前集卡車身位移為10個像素。

4 實驗與結(jié)果分析

實驗平臺為：研華ARK-2121工控機，Intel Celeron J1900，2.0GHz四核處理器，操作系統(tǒng)為：64位Windows7，攝像頭為：大恒MER-132-43GM，125萬像素。本文提出的解決方案已使用C++結(jié)合Opencv2.4加以實現(xiàn)，并在Visual studio 2013上通過Qt編寫出完整測試軟件。軟件界面如圖4所示，主界面主要用來顯示攝像頭采集的圖像。通過參數(shù)配置界面可以設(shè)定橫向和縱向報警閾值，并設(shè)置相機亮度、曝光時間以及是否使用自動曝光等功能。檢測完成后，系統(tǒng)還可將每次檢測結(jié)果保存到數(shù)據(jù)庫中。該軟件已經(jīng)分別在上海洋山港無人化碼頭以及鎮(zhèn)江港碼頭的場地輪胎吊上進行了實際測試。

能夠攜帶20英尺和40英尺的外集卡一般有8個鎖頭，車身四角4個加上車身中部4個。由于集裝箱尺寸大小不同，需要不同位置的鎖頭組合。20英尺集裝箱在裝卸過程中需要使用4個鎖頭。經(jīng)過現(xiàn)場觀察和分析，主要有如下幾種工況：①4個鎖都打開；②4個鎖都沒有打開；③車架前兩角鎖住，后兩角打開；④車架后兩角鎖住，前兩角打開；⑤車架外側(cè)兩鎖打開，內(nèi)側(cè)兩角鎖?。虎捃嚰軆?nèi)側(cè)后面的角打開，其余3個角鎖?。虎哕嚰軆?nèi)側(cè)前面的角打開，其余3個角鎖住；⑧車架內(nèi)側(cè)前面的角鎖住，其它角打開；⑨車架內(nèi)側(cè)后面單角鎖住，其它角打開；⑩車架外側(cè)兩角鎖住，內(nèi)側(cè)兩角打開。其中取集卡靠近輪胎吊控制室的一側(cè)為內(nèi)側(cè)，另一側(cè)為外側(cè)。

在鎮(zhèn)江港國際集裝箱碼頭，150cm高的集卡裝載20英尺集裝箱，針對以上10種情況進行現(xiàn)場試驗。根據(jù)港口工作人員提出的安全要求，集裝箱被吊起至180cm前必須作出及時判斷，因此將縱向Y的閾值設(shè)定為45像素。每種情況試驗10次，記錄每一次系統(tǒng)報警時集卡正對兩個攝像頭中間位置被吊起的高度，試驗結(jié)果如表1所示。

根據(jù)試驗結(jié)果可以看出，在絕大多數(shù)工況下，該防吊檢測系統(tǒng)在集卡被吊起25cm左右（除去車身起伏，車輪離地10cm以內(nèi)）即能準確作出預(yù)警判斷。但是對于車架外側(cè)兩角鎖住、內(nèi)側(cè)兩角打開這一工況，在碼頭的安全要求下，實際試驗效果并不理想。主要原因是在該情況下，車架外側(cè)被吊起的高度不足以使內(nèi)側(cè)車板產(chǎn)生明顯位移。在后續(xù)試驗中增加外側(cè)被吊起的高度后，該檢測系統(tǒng)則能作出及時、準確的判斷。

5 結(jié)語

本文提出一種基于機器視覺的港口集卡防吊方法，能夠很好地針對港口集卡被誤吊起情況進行檢測，與傳統(tǒng)方法相比，該方法具有更高的可靠性與更低的成本，因而具有較好的應(yīng)用前景。該方法能夠快速、準確地進行防吊預(yù)警，從而很好地滿足了當(dāng)前港口自動化及無人化的需求。該方法還具備很好的魯棒性，在陰雨天和夜晚（安裝補充光源）進行相關(guān)試驗仍取得了很好的效果。但在車架內(nèi)側(cè)兩鎖打開，僅外側(cè)有鎖鎖住的情況下，檢測效果則不夠理想，可以適當(dāng)增加其它傳感器，以提高檢測的實時性和準確性。

參考文獻：

[1] 王英澤. 一種新型港口輪胎吊吊具自動控制系統(tǒng)[D]. 濟南：山東大學(xué)， 2017.

[2] 上海港集裝箱股份有限公司. 防止集裝箱起重機誤吊集裝箱卡車的測控方法及裝置[P]. 中國，CN1872652A，2006-12-06.

[3] 陳金波. 一種用于軌道吊機的集裝箱卡車防吊起系統(tǒng)及方法[P]. 中國， CN104386582A， 2015-03-04.

[4] 王重陽，崔立，開焱，等. 一種防止集裝箱卡車被吊起的自動檢測保護系統(tǒng)及其應(yīng)用[P]. 中國， CN103803416A，2014-05-21.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[6] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features（SURF）[J]. Computer Vision and Image Understanding， 2008， 110（3）：346-359.

[7] RUBLEE E，RABAUD V，KONOLIGE K，et al. ORB： an efficient alternative to SIFT or SURF [C]. Proceedings of IEEE International Conference on Computer Vision，Washington，USA，2011：2564-2571.

[8] ROSTEN E，DRUMMOND T. Machine learning for high-speed corner detection[J]. European Conference on Computer Vision， 2006，3951：430-443.

[9] 劉婷婷， 張驚雷. 基于ORB特征的無人機遙感圖像拼接改進算法[J]. 計算機工程與應(yīng)用，2018，54（2）：193-197.

[10] 許宏科，秦嚴嚴，陳會茹. 基于改進ORB 的圖像特征點匹配[J]. 科學(xué)技術(shù)與工程，2014，14（18）：105-109，128.

[11] 智金波. 基于局部特征點的圖像配準算法及應(yīng)用研究[D]. 北京：北京印刷學(xué)院，2015.

[12] CALONDER M，LEPETIT V，STRECHA C，et al. BRIEF： binary robust independent elementary features[C]. Proceedings of European Conference on Computer Vision， Greece，2010，63（14）：778-792.

[13] 謝成明. 基于ORB特征的目標檢測與跟蹤研究[D]. 合肥：合肥工業(yè)大學(xué).

[14] 王國東，文鵬程，程岳. 一種利用ORB特征進行航拍圖像拼接的方法[J]. 內(nèi)蒙古師范大學(xué)學(xué)報：自然科學(xué)漢文版，2014（4）：425-429.

[15] 李小紅，謝成明，賈易臻，等. 基于ORB特征的快速目標檢測算法[J]. 電子測量與儀器學(xué)報，2013，27（5）：455-460.

[16] ZENG Q H， CHEN Y，WANG Y S， et al. A fast matching method for large viewpoint changes images based on ORB algorithm[J]. Control and Decision， 2017， 32（12）：2233-2239.

[17] 王金龍， 周志峰. 基于SIFT圖像特征提取與FLANN匹配算法的研究[J]. 計算機測量與控制，2018（2）：175-178.

[18] BERECZK Y， NIKOLET T， NéMET H，et al. Quad-kd trees： a general framework for KD trees and Quad trees[J]. Theoretical Computer Science，2016，616：126-140.

[19] 馮亦東，孫躍. 基于SURF特征提取和FLANN搜索的圖像匹配算法[J]. 圖學(xué)學(xué)報， 2015（4）：650-654.

[20] 鐘云. 大數(shù)據(jù)中基于KD-Tree的多維索引技術(shù)[D]. 北京：北京大學(xué)，2013.

[21] 黃家琦. 雙攝像頭視頻拼接算法研究與實現(xiàn)[D]. 西安：西安交通大學(xué)，2012.

（責(zé)任編輯：黃 ?。?/p>