曹林根，宓 超

上海海事大學(xué) 物流工程學(xué)院，上海 201306

如今，隨著全球經(jīng)濟一體化的發(fā)展，越來越多的國際貿(mào)易、貨物運輸依賴于集裝箱，港口集裝箱的吞吐量增速加快[1]。準(zhǔn)確、快速地提取集裝箱箱號對于集裝箱智能化管理以及運輸顯得至關(guān)重要。為此，許多工程師和研究人員提出一些用于集裝箱箱號自動識別技術(shù)：如射頻識別（Radio Frequency Identification，RFID）[2]、無線傳感器網(wǎng)絡(luò)（Wireless Sensor Network，WSN）[3]等。然而，在目前的集裝箱智能化管理系統(tǒng)中，基于計算機視覺的集裝箱箱號自動識別（Automatic Container-Code Recognition，ACCR）逐步成為現(xiàn)代化港口箱號識別的主流方式，因其無需增加額外附件且成本較低。

集裝箱箱號采用了ISO 6346國際標(biāo)準(zhǔn)，其由3個部分組成[4]，4個大寫箱主英文字母、6位分類數(shù)字號和1個校驗碼。這11 個ISO 字符是作為集裝箱的唯一標(biāo)識代碼，典型集裝箱箱號圖像如圖1所示。

圖1 集裝箱箱號圖像示例Fig.1 Example of container number image

通常，集裝箱箱號自動識別（ACCR）系統(tǒng)關(guān)鍵技術(shù)包括箱號區(qū)域定位與傾斜校正、箱號字符分割、箱號字符識別3個部分[5]，圖2為集裝箱箱號自動識別（ACCR）系統(tǒng)的流程圖。一些研究人員和工程師圍繞這3 部分進行了大量的研究，并取得了眾多研究成果，其中箱號區(qū)域定位與傾斜校正是箱號自動識別系統(tǒng)的關(guān)鍵。目前集裝箱箱號定位方法可以分為基于邊緣與滑動窗[6]、基于數(shù)學(xué)形態(tài)學(xué)[7]、基于連通域分析的方法[8]；基于邊緣與滑動窗的箱號字符定位方法是利用邊緣檢測算子檢測出箱號字符邊緣信息，并結(jié)合滑動窗尋找具有區(qū)分度的字符描述特征來實現(xiàn)箱號字符區(qū)域定位，雖定位效果好，但描述特征會受到光照、陰影等影響?；跀?shù)學(xué)形態(tài)學(xué)箱號字符定位方法適用于堆場和碼頭等背景較復(fù)雜的場合，但其面對光照不均以及拍攝距離變化容易導(dǎo)致定位失敗?；谶B通域分析箱號字符定位方法是利用最大穩(wěn)定極值（MSER）來初步區(qū)分字符與背景區(qū)域，在通過連通域分析篩選箱號字符區(qū)域。取得不錯的定位效果，對于褪色以及生銹問題具有魯棒性，但會受到光照不均的影響。此外，在圖像采集過程中，由于相機的位置以及集裝箱的停靠位置的不確定性，使得圖像中的箱號存在水平或者垂直傾斜，進而影響字符的準(zhǔn)確分割以及識別。常用的傾斜校正方法有基于分塊質(zhì)心法[9]、基于投影分析法[10]、基于外接矩形法[11]和Hough變換法[12]，但上述方法主要關(guān)注于水平傾斜校正，而且相對于車牌、箱號的傾斜校正更加復(fù)雜。定位出的傾斜箱號區(qū)域除了目標(biāo)字符外，還有距離很近的干擾字符，這導(dǎo)致了大多數(shù)依靠對箱號字符進行直線擬合得到傾斜角度，進而實現(xiàn)校正的方法往往不盡人意。文獻[9]為了排除干擾字符的影響，檢測出箱號的前4個大寫英文字母的水平傾斜角度來代替整體的傾斜角度，進而實現(xiàn)箱號的水平校正，雖校正精度較高，但前4 個大寫英文字母有斷裂，污漬以及字母與數(shù)字錯開時，該方法校正結(jié)果也不太理想。旋轉(zhuǎn)投影法[13]是箱號垂直校正的常用方法，該方法雖垂直傾斜角度檢測精度高，但對最佳傾斜角的求取是一個尋優(yōu)的過程，計算復(fù)雜度高且運行時間長。對于校正后的箱號字符利用投影法可以有效進行字符分割，箱號字符識別階段，常用的識別方法主要有模板匹配法[14]和神經(jīng)網(wǎng)絡(luò)法[15-16]，基于模板匹配方法實現(xiàn)簡單且處理速度快，但干擾性能差，基于神經(jīng)網(wǎng)絡(luò)方法分類能力強且容錯性好，但關(guān)鍵在于網(wǎng)絡(luò)參數(shù)取值比較敏感以及字符識別環(huán)節(jié)前的圖像處理的效果。

圖2 傳統(tǒng)集裝箱箱號自動識別流程圖Fig.2 Flow diagram of automatic recognition of traditional container number

近年來，因深度學(xué)習(xí)可以直接依靠訓(xùn)練字符數(shù)據(jù)來實現(xiàn)字符的識別[17]，受到當(dāng)下大量學(xué)者研究；Wang 等[18]采用一種基于深度學(xué)習(xí)的目標(biāo)檢測算法Faster-RCNN對集裝箱箱號字符進行檢測和識別。Wang等[19]則采用改進的Faster-RCNN 和區(qū)域生成網(wǎng)絡(luò)（RPN）實現(xiàn)箱號檢測，最后采用改進的CNN 對目標(biāo)字符進行識別。基于深度學(xué)習(xí)的字符識別方法擬合能力比較強，通過合理的網(wǎng)絡(luò)設(shè)計或者改進，可以對大小不一的字符串進行識別。盡管如此，但對于箱號斷裂或者傾斜較大，則會影響其特征提取的準(zhǔn)確度以及字符識別效果。同時傾斜校正作為箱號自動識別系統(tǒng)的關(guān)鍵技術(shù)，傳統(tǒng)方法上傾斜校正精度不佳，使得箱號識別率低于深度學(xué)習(xí)。

為此，本文結(jié)合已有的研究成果以及圖像采集環(huán)境和箱號自身的特點，采用一種改進型的差分邊緣檢測粗定位算法，通過處理光照不均箱號圖像的二值化分割實現(xiàn)箱號快速粗定位，并利用改進的最小二乘法和梯度下降投影的字符矯正及分割算法，有效排除干擾字符影響的同時實現(xiàn)傾斜箱號的精確定位與分割；最后采用BP神經(jīng)網(wǎng)絡(luò)對箱號字符進行識別，并與傳統(tǒng)算法、深度學(xué)習(xí)算法進行實驗對比，實驗結(jié)果表明，本文方法在能夠提高箱號識別速度的同時，實現(xiàn)了箱號識別的高檢測率與低錯誤率。

1 集裝箱箱號定位

實際采集的箱號圖像，受到光照不均、箱號污損和箱號傾斜等因素的影響，不利于對箱號字符信息的提取，故首先采用一種改進型的差分邊緣檢測粗定位算法。

1.1 改進型差分邊緣檢測圖像二值化算法

依據(jù)公式對集裝箱灰度圖像進行差分邊緣提取運算：

式中，像素點的新灰度值為相鄰右下像素點灰度差值的絕對值和。

依據(jù)公式對邊緣圖像進行二值化：

式中，Threshold為動態(tài)閾值。

新型差分邊緣檢測圖像二值化算法過程如下：

（1）設(shè)集裝箱圖像的尺寸為M×N，則圖像共有N行M列；初始化閾值Threshold=1 與邊緣檢測數(shù)Numcount=M×N。

（2）邊緣檢測數(shù)Numcount=0，初始條件Threshold=1，若Numcount/M/N>b，則進行步驟（2），不滿足，則停止遍歷圖像。

（3）遍歷集裝箱圖像，根據(jù)公式（1）提取圖像邊緣，公式（2）中若G(x,y) >Threshold，則依據(jù)公式（2）進行集裝箱邊緣圖像二值化操作，則out(x,y)=255，且邊緣檢測數(shù)Numcount+1。

（4）動態(tài)閾值Threshold+a，繼續(xù)進行步驟（2）、（3），檢測滿足條件的圖像邊緣。

（5）對邊緣二值圖像進行區(qū)域填充，得到集裝箱二值化圖。

通過大量集裝箱箱號圖像樣本實驗，a=0.07～0.08，b=3，可以得到理想的二值化圖像。

1.2 集裝箱箱號粗定位算法

采用加權(quán)平均法將彩色集裝箱圖像轉(zhuǎn)換為灰度圖像[20]，利用改進型的差分邊緣檢測圖像二值化算法實現(xiàn)集裝箱圖像二值化。

對二值化圖像中若干個連通區(qū)域取輪廓操作，依據(jù)連通域輪廓外接橢圓長軸、短軸、長軸與短軸之間最大值、長軸與短軸之間最小值、輪廓面積等參數(shù)，去除非箱號區(qū)域，保留感興趣的箱號區(qū)域。

經(jīng)過連通域分析后得到的是單個箱號字符候選區(qū)域，對連通分量進行聚類，在聚類算法中，類別的相似度衡量是體現(xiàn)聚類算法有效性的關(guān)鍵。進而掃描圖像中所有的箱號字符候選區(qū)域，獲取其最小外接矩形的面積、寬度、中心坐標(biāo)以及相鄰最近矩形頂點坐標(biāo)，利用參數(shù)關(guān)系對相同類別進行聚類[21]。同時對未能聚合的箱號區(qū)域，采用形態(tài)學(xué)閉運算對箱號區(qū)域聚合，進而實現(xiàn)箱號的粗定位，集裝箱箱號粗定位過程如圖3所示。

圖3 集裝箱箱號粗定位過程示例Fig.3 Example of rough locating process of container number

1.3 基于改進的最小二乘法集裝箱箱號精定位算法

由于圖像采集環(huán)境的不確定性和拍攝角度等影響，粗定位后的箱號字符存在傾斜，而且除了箱號字符外，還有距離很近的干擾字符；直接采用投影法無法精確定位出箱號，還會影響后續(xù)箱號字符分割。故首先采用改進的最小二乘法實現(xiàn)水平傾斜校正，在進行投影精確定位。

為了擬合最佳直線，提高水平傾斜角檢測的精確度，本文利用箱號字符列中心點作為特征點，并利用距離擬合對較遠干擾數(shù)據(jù)點進行剔除。

最小二乘法擬合直線原理如下：

設(shè)直線方程為y=ax+b，其中b為截距，a為斜率。根據(jù)最小二乘法的性質(zhì)，擬合出的直線應(yīng)該與輸入數(shù)據(jù)的偏差平方和最小，即目標(biāo)函數(shù)為：

當(dāng)求得式最小時，只需要對直線參數(shù)求偏導(dǎo)，參數(shù)a、b滿足：

即有：

求出a和b的值，則得到擬合直線，改進的最小二乘法原理和實現(xiàn)過程如下：

（1）示意圖如圖4，dt為第t次定義為去除干擾點的閾值，dt=h×dt_max，其中dt_max為第t次直線擬合后，最遠的數(shù)據(jù)點到直線的距離，h為比例系數(shù)。

圖4 數(shù)據(jù)點擬合直線示意圖Fig.4 Data point fitting line diagram

（2）總的數(shù)據(jù)點n與保留的有效數(shù)據(jù)點ns的關(guān)系為ns=n×p，其中p為比例系數(shù)，設(shè)定數(shù)據(jù)點到擬合直線的距離dn大于dt，則剔除，剔除數(shù)據(jù)為y，剩余數(shù)據(jù)g=n-y，每次通過最小二乘法擬合直線為Lt。

具體實現(xiàn)過程：首先，設(shè)定比例參數(shù)h和p，對數(shù)據(jù)n采用最小二乘法擬合直線Lt；然后，dt=h×dt_max，若dn≥dt，干擾點剔除，若dn≤dt，予以保留；其次，若g≤ns，則停止擬合，此時擬合的直線Lt為最佳，若g>ns，重復(fù)前一個步驟，繼續(xù)擬合直線Lt+1；最后，多次進行直線擬合，得到最佳擬合直線Lt+1。圖5為改進的最小二乘法流程圖。

圖5 改進的最小二乘法流程圖Fig.5 Improved least square method flow diagram

改進的最小二乘法精確定位具體實現(xiàn)過程：

（1）對于混合傾斜集裝箱箱號二值化圖，通過種子填充算法進行字符連通域標(biāo)記，確定每個連通域外接矩形的左上頂點坐標(biāo)(xn_0,yn_0)與右下頂點坐標(biāo)(xn_2,xn_2)（n=1,2,…,k，k為連通域個數(shù)）。

（2）設(shè)每個字符連通域外接矩形大小M×N，設(shè)X、Y代表字符每列中心的橫坐標(biāo)與縱坐標(biāo)，每列的中心坐標(biāo)可以為(Xm,Ym)，其中(m=1,2,…,M)。

（3）尋找字符每列像素縱坐標(biāo)的最大值ymax與最小值ymin，若ymax=ymin，則列中心點的縱坐標(biāo)為Ym=ymin，否則列中心點的縱坐標(biāo)為Ym=ymin+(ymax-ymin)/2。

（4）將列中心點坐標(biāo)移入直角坐標(biāo)系中，利用改進的最小二乘法擬合直線。

（5）得到最佳擬合直線的傾斜角α后，利用仿射變換實現(xiàn)水平傾斜校正。

（6）采用投影法精確定位出箱號。

通過使用40 幅圖像對上述方法進行實驗，本文的研究對象比例參數(shù)h=0.80～0.82，p=0.8，直線擬合最佳，集裝箱箱號精定位過程如圖6所示。

圖6 集裝箱箱號精定位過程示例Fig.6 Example of container number precise locating process

2 集裝箱箱號分割及識別

2.1 基于梯度下降投影的箱號字符矯正及分割算法

精確定位出的箱號在垂直方向上存在傾斜，這種傾斜是圖像坐標(biāo)相對于X軸Y方向的錯切。若字符過于傾斜的情況下，會造成字符在某一方向上的粘連，不利于字符分割，同時后期采用神經(jīng)網(wǎng)絡(luò)識別容易引起誤識別，例如1和7。所以，本文提出基于梯度下降投影的字符矯正及分割算法，通過不同的步長對精確定位出的箱號邊緣圖像旋轉(zhuǎn)并投影，利用目標(biāo)函數(shù)對應(yīng)的投影負梯度方向，找出最小投影長度所對應(yīng)旋轉(zhuǎn)角度。進而實現(xiàn)垂直傾斜校正。公式（7）為：

為了避免梯度算法陷入局部最優(yōu)，本文選取了合適的角度范圍，使得字符校正在該范圍內(nèi)僅存在一個谷底。梯度下降投影的字符矯正及分割算法具體實現(xiàn)過程如下：

（1）判斷箱號垂直傾斜的方向，設(shè)步長ηt=α°，字符個數(shù)為n，第j個字符的投影長度為Lj，ηt下投影總長度為，則，計算原箱號字符投影總長L0，將箱號圖像旋轉(zhuǎn)±ηt，分別計算Lα°與L-α°，若Lα°

（2）設(shè)定初始的投影總長L0，步長ηt=β°，收斂條件σ，角度θ。投影梯度計算?f(L)；更新L，L(i+1)=L(i)-β f′(L(i))，用更新后的L(i+1)來計算f(L(i+1))，比較f(L(i+1))與f(L(i))的大小關(guān)系，若f(L(i+1))-f(L(i))>σ，重復(fù)以上步驟，否則停止，并記錄角度label。

（3）設(shè)定步長ηt=κ°，在[label-5°,label+5°]范圍內(nèi)重復(fù)步驟（2）中找尋最小f(L)對應(yīng)的label。

（4）設(shè)定步長ηt=λ°，在[label-1.5°,label+1.5°]范圍內(nèi)重復(fù)步驟（2）中找尋最小f(L)對應(yīng)的傾斜角φ，錯切變換實現(xiàn)垂直傾斜校正。

（5）投影法進行字符分割。

梯度下降投影字符矯正算法如下所示：

圖7 為垂直校正結(jié)果圖，圖8 為投影法分割出的箱號字符圖像。

圖7 垂直校正結(jié)果圖Fig.7 Vertical correction result diagram

圖8 箱號字符分割圖Fig.8 Container number character segmentation diagram

2.2 BP神經(jīng)網(wǎng)絡(luò)箱號字符識別

箱號字符需要識別的計算量不是很大，故采用BP神經(jīng)網(wǎng)絡(luò)算法。利用訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法實現(xiàn)字符識別。首先將單個箱號字符進行歸一化與細化處理，并采用13 點特征法提取字符特征。網(wǎng)絡(luò)訓(xùn)練的BP 算法是一個迭代過程。它被反復(fù)應(yīng)用于一組輸入輸出對，稱為訓(xùn)練集，直到輸出誤差達到理想的小值。BP 神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層等3 個層面[22]。其結(jié)構(gòu)如圖9所示。

圖9 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.9 Structure diagram of BP neural network

本文設(shè)計兩個三層BP神經(jīng)網(wǎng)絡(luò)分別實現(xiàn)集裝箱箱號中數(shù)字與字母的識別，這樣可以避免一些易混淆的數(shù)字和字母的識別，如S 與5，B 與8 等。其輸入層神經(jīng)元數(shù)目均為128，在本程序中，對于數(shù)字網(wǎng)絡(luò)采用8421 碼對0～9進行編碼，但由于選用S形函數(shù)作為傳輸函數(shù)，則輸出永遠達不到0 或1，只能接近，進而采用（0.1，0.1，0.1，0.1）輸出向量來表示輸出“0”，（0.9，0.1，0.1，0.9）輸出向量來表示輸出“9”，其他數(shù)字同理，而字母網(wǎng)絡(luò)，其目標(biāo)字符為A～Z 這26 個字母，由于它的范圍在24和25之間，所以它的輸出層神經(jīng)元數(shù)目為5，其中識別字母的BP 神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元數(shù)目設(shè)為32，識別數(shù)字的BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)目設(shè)為12。

在BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，數(shù)字網(wǎng)絡(luò)最小均方誤差設(shè)為0.001，訓(xùn)練步長為0.012，動量因子為0.1，最大迭代數(shù)為10 000 次，字母網(wǎng)絡(luò)最小均方誤差設(shè)為0.001 4，訓(xùn)練步長為0.012，動量因子為0.3，最大迭代數(shù)為14 000次。利用訓(xùn)練好的網(wǎng)絡(luò)對箱號字符進行識別過程中，將1～4個字符送到字母網(wǎng)絡(luò)，5～11個字符送到數(shù)字網(wǎng)絡(luò)中。

3 實驗結(jié)果與分析

本文實驗樣本均采集于蘇州太倉港閘口車道出入口處，其中選取1 050 張實驗樣本，所測試樣本包含了晝、夜樣本，分辨率為1 920×1 080，且包含了不同的集裝箱箱型，光照條件，傾斜角度以及不同的自然環(huán)境下的樣本。通過對箱號定位與分割后，將字符數(shù)據(jù)分成兩組：一組用作樣本集訓(xùn)練，將訓(xùn)練結(jié)果作為標(biāo)準(zhǔn)模板；另一組作為測試樣本集。本文算法在Intel Core i5-8300H處理器2.30 GHz CPU 和8 GB 內(nèi)存的計算機上，用MATLAB R2017b編程實現(xiàn)。

為了驗證本文提出的箱號定位算法及整體識別算法性能，其中定位部分與文獻[23]的基于MSER 和連通域分析方法、文獻[24]的基于頂帽變換和灰度跳變特征方法進行對比，整體識別部分與文獻[25]中的Yolov3算法、文獻[26]的基于壓縮感知的識別方法進行對比。均在相同箱號圖像、相同仿真實驗環(huán)境下進行，同時以箱號定位成功率、字符識別成功率以及平均檢測時間作為性能評估準(zhǔn)則，具體實驗結(jié)果如表1所示。

表1 箱號識別實驗結(jié)果統(tǒng)計Table 1 Statistical results of container number recognition experiments

由表1可以看出，本文的定位率和文獻[23]、文獻[24]相比較高，說明本文定位算法具有較好的抗干擾性能。原因在于本文采用改進型的差分邊緣檢測算法，增強了對較低對比度和光照不均情況的處理能力，同時可以有效排除箱號傾斜下非箱號區(qū)域字符的干擾。而文獻[23]采用最大穩(wěn)定極值區(qū)域（MSER）方法對于不同傾斜且多光照背景下箱號定位容易失敗，文獻[24]采用OTSU進行二值化，不能適應(yīng)于較低對比度或背景較復(fù)雜的情況，而且對于光照不均魯棒性較差。但本文還存在一定的定位錯誤，主要在于某些字符對比度太低或者光照太強導(dǎo)致邊緣檢測不出而無法形成連通域。從平均檢測時間來看，本文算法滿足實際應(yīng)用中的實時性要求。由于本文的傾斜校正方法精度較高，字符分割正確率可達到98.5%，圖10為集裝箱箱號粗定位和分割示例。

圖10 集裝箱箱號粗定位和分割示例Fig.10 Example of rough location and segmentation of container number

從箱號整體識別實驗結(jié)果表明，本文的總體檢測精度為95.7%，Yolov3 算法[25]的為91%，文獻[26]的方法為90.9%，可見本文綜合識別率相對較高，因為Yolov3 算法雖可實現(xiàn)端到端的識別，但面對箱號圖像的傾斜與偏轉(zhuǎn)魯棒性不佳，同時未對集裝箱圖像進行多尺度融合，較低對比度圖像識別效果也不好。文獻[26]雖對箱號背景顏色具有魯棒性，但對傾斜與偏轉(zhuǎn)箱號定位以及較失真字符分割效果較差。而本文對于傾斜與偏轉(zhuǎn)箱號的校正精度較高，保證了分割出的箱號字符含有更多的結(jié)構(gòu)信息，且采用字母與數(shù)字分開識別策略，使得字符識別效果較好。圖11為Yolov3和本文方法識別結(jié)果示例。

圖11 Yolov3和本文方法識別結(jié)果示例Fig.11 Yolov3 and illustration of recognition results of proposed method

4 結(jié)論

針對集裝箱圖像采集環(huán)境和箱號自身的特點，研究了箱號識別系統(tǒng)中的關(guān)鍵技術(shù)問題。對于箱號圖像光照不均問題，采用了一種改進型的差分邊緣檢測粗定位算法；然后利用改進的最小二乘法有效地解決箱號偏轉(zhuǎn)難以精確定位的問題，接著運用基于梯度下降投影字符矯正及分割算法，實現(xiàn)對傾斜箱號的校正和分割，最后采用BP神經(jīng)網(wǎng)絡(luò)對箱號字符進行識別。實驗測試結(jié)果表明本文提出的算法精度高、魯棒性好、識別速度符合實時性的要求，具有一定實用價值。