陳 寧， 王 勝， 黃正文

(集美大學(xué)機(jī)械與能源工程學(xué)院，福建 廈門 361021)

基于特征匹配的集裝箱識別與定位技術(shù)研究

陳 寧， 王 勝， 黃正文

(集美大學(xué)機(jī)械與能源工程學(xué)院，福建 廈門 361021)

集裝箱識別與定位是實(shí)現(xiàn)港口自動化的關(guān)鍵技術(shù)之一。模板匹配是一種較常用的圖像識別方法，但傳統(tǒng)的模板匹配算法僅基于像素的灰度信息進(jìn)行對比匹配，當(dāng)外部環(huán)境稍有變化時(shí)，算法的魯棒性會大幅下降，且存在匹配效率不高，適應(yīng)性不強(qiáng)等問題。提出基于目標(biāo)顏色模板預(yù)定位與變步長圖像塊匹配分割相結(jié)合的算法，將具有形狀不變性的特征向量作為集裝箱實(shí)時(shí)識別與定位的重要依據(jù)，實(shí)驗(yàn)結(jié)果顯示該識別方法能有效提高圖像分割效率，同時(shí)對目標(biāo)平移、旋轉(zhuǎn)、尺度變化具有適應(yīng)性。

港口自動化；模板匹配；圖像識別；塊匹配分割法；形狀不變性

當(dāng)今港口集裝箱裝卸作業(yè)迫切需要從傳統(tǒng)的人工操作向無人化、自動化、智能化方向發(fā)展，利用機(jī)器視覺、人工智能等最新研究成果升級傳統(tǒng)的集裝箱裝卸機(jī)械已經(jīng)勢在必行。相對于傳統(tǒng)的人工操作，基于視覺的智能系統(tǒng)能夠克服人的主觀因素和生理極限的不利影響，提高作業(yè)的安全系數(shù)和效率，并解放勞動力。因此，基于視覺的智能裝卸機(jī)械(最終發(fā)展目標(biāo)是智能裝卸機(jī)器人)具有重要的研究意義和應(yīng)用價(jià)值。基于視覺的集裝箱準(zhǔn)確識別與定位是其最基本，且十分重要的研究內(nèi)容，也是完成后續(xù)如集裝箱跟蹤、堆垛、轉(zhuǎn)運(yùn)工作的基礎(chǔ)。

在集裝箱吊放作業(yè)中對其進(jìn)行識別定位屬于

實(shí)時(shí)運(yùn)動目標(biāo)檢測、識別與定位的研究領(lǐng)域。而這一領(lǐng)域是機(jī)器視覺研究中的難點(diǎn)，也是智能視覺系統(tǒng)的關(guān)鍵。目前常用的目標(biāo)檢測算法主要有背景減法[1]、幀間差分法[2]、光流法[3]以及基于統(tǒng)計(jì)學(xué)習(xí)的檢測算法[4]等。目標(biāo)識別有傳統(tǒng)的模板匹配法[5]、特征點(diǎn)匹配法[6]、神經(jīng)網(wǎng)絡(luò)識別算法[7]和基于支持向量機(jī)(support vector machine, SVM)的識別算法[8]等。針對集裝箱的識別(非針對集裝箱在道口通關(guān)時(shí)對諸如箱號等附屬信息的識別，而是指對集裝箱本身的識別)研究較少，其中張森和傅圣雪[9]研究了基于模板匹配的集裝箱識別與定位，但結(jié)果不穩(wěn)定，對集裝箱尺度變化的適應(yīng)性較差。陳丹[10]采用了基于監(jiān)督學(xué)習(xí)的SVM分類法識別集裝箱，但所選特征較多，算法復(fù)雜、實(shí)時(shí)性不夠。考慮到傳統(tǒng)算法雖簡單高效，但魯棒性不好，智能算法復(fù)雜且實(shí)時(shí)性不佳的問題，本文提出了基于目標(biāo)顏色模板預(yù)定位，變步長圖像塊匹配分割算法與形狀特征精定位相結(jié)合的方式來實(shí)現(xiàn)對集裝箱的實(shí)時(shí)識別與定位，在集裝箱發(fā)生平移、旋轉(zhuǎn)、尺度變化以及存在環(huán)境干擾情況下都取得了較好的實(shí)驗(yàn)效果。算法流程如圖1所示，其中顏色模板預(yù)定位、圖像分割和集裝箱特征提取是本文研究的主要內(nèi)容。

圖1 算法流程圖

1 基于顏色模板匹配的集裝箱預(yù)定位

1.1 色調(diào)、飽和度、亮度顏色模型轉(zhuǎn)換

由于色調(diào)、飽和度、亮度(hue，saturation，value，HSV)顏色空間相對于RGB空間來說，對光線、亮度和陰影等外部環(huán)境的變化具有更低的敏感度，能夠有效增強(qiáng)算法的魯棒性?？捎孟铝泄綄D像序列從RGB顏色空間轉(zhuǎn)換到HSV空間：

則，色調(diào)分量H為

飽和度分量S為

亮度分量V為

1.2 顏色模板預(yù)定位

將顏色空間從RGB轉(zhuǎn)換到HSV后，選取一小塊，如60×60 P2(P2，像素面積)，作為顏色模板。以模板的HSV直方圖作為匹配特征，在圖像中搜索檢測與模板匹配度最高的區(qū)域作為集裝箱識別的預(yù)定位區(qū)域。圖2中帶坐標(biāo)的紅色小矩形框是紅、綠兩種顏色模板在圖像中的預(yù)定位區(qū)域，表明該顏色模板能夠找到集裝箱的大致位置，為后續(xù)圖像分割提供初始基準(zhǔn)區(qū)域。

圖2 顏色模板預(yù)定位結(jié)果

2 變步長圖像塊匹配分割

傳統(tǒng)的基于灰度閾值的圖像分割算法只考慮圖像的灰度(亮度)信息，當(dāng)存在外部環(huán)境干擾(光照強(qiáng)度變化，陰影等)時(shí)圖像分割效率低且自適應(yīng)性不強(qiáng)。鑒于集裝箱這一特定目標(biāo)具有相對單一的色彩，且與背景存在較大差異。本文優(yōu)先考慮選擇基于顏色信息的圖像分割方法，提出了一種基于HSV模板的變步長圖像塊匹配快速分割算法(圖 3)。不同于普通的塊匹配，其能根據(jù)待分割區(qū)域大小來自適應(yīng)調(diào)整步長和匹配模板的尺寸。

圖3 變步長圖像塊匹配分割算法示意圖

選擇目標(biāo)大小不同的5個(gè)塊，分別是16×16、8×8、4×4、2×2和1×1(單位P2)作為模板圖像。計(jì)算模板所對應(yīng)的HSV直方圖，分別用H0、H1、H2、H3和H4來表示。設(shè)目標(biāo)分割閾值范圍為[Tmin, Tmax]，算法原理及計(jì)算步驟如下：

(1) 根據(jù)前面所得到的顏色模板預(yù)定位信息，取與顏色模板相匹配的區(qū)域中心點(diǎn)作為起始點(diǎn)，以其為中心預(yù)定義一個(gè)16×16的像素區(qū)域作為0塊。計(jì)算此區(qū)域的HSV直方圖B0，若Tmin≤|B0–H0|≤Tmax，則轉(zhuǎn)至下一步。否則，重新預(yù)定義8×8像素區(qū)域作為0塊，依此類推(除非待匹配目標(biāo)區(qū)域過小，一般來說第(1)步是滿足的，能夠轉(zhuǎn)至下一步)。

(2) 取與0塊相鄰的另外4個(gè)塊作為1塊(為了方便表述，以右邊塊為例進(jìn)行說明)，計(jì)算右邊 1塊 (16×16 P2)的HSV直方圖B11，若Tmin≤|B11–H0|≤Tmax，則轉(zhuǎn)至第(3)步，否則轉(zhuǎn)至第(4)步。

(3) 取與此1塊相鄰的另外3個(gè)塊作為2塊(以其右邊塊為例)，計(jì)算右邊2塊(16×16 P2)的HSV直方圖B21，若Tmin≤|B21–H0|≤Tmax，則以此為規(guī)律，繼續(xù)向外搜索匹配，否則轉(zhuǎn)至第(4)步。

(4) 將此16×16塊分為4個(gè)8×8的子塊(以其中一個(gè)子塊為例進(jìn)行說明)，計(jì)算此子塊的HSV直方圖B11(8)，若Tmin≤|B11(8)–H1|≤Tmax，則以此為規(guī)律，繼續(xù)向外搜索匹配，否則轉(zhuǎn)至第(5)步。

(5) 將此8×8塊分為4個(gè)4×4的子塊(以其中1個(gè)子塊為例)，計(jì)算其子塊的HSV直方圖B11(4)，若Tmin≤|B11(4)–H2|≤Tmax，則以此為規(guī)律，繼續(xù)向外搜索匹配，否則轉(zhuǎn)至第(6)步。

(6) 將此4×4塊分為4個(gè)2×2的子塊(以其中1個(gè)子塊為例)，計(jì)算其子塊的HSV直方圖B11(2)，若Tmin≤|B11(2)–H3|≤Tmax，則以此為規(guī)律，繼續(xù)向外搜索匹配，否則轉(zhuǎn)至第(7)步。

(7) 將此2×2塊分為4個(gè)1×1的子塊(以其中1個(gè)子塊為例)，計(jì)算其子塊的HSV直方圖B11(1)，若Tmin≤|B11(1)–H4|≤Tmax，則以此為規(guī)律，繼續(xù)向外搜索匹配，否則轉(zhuǎn)至第(8)步。

(8) 基于 HSV模板的變步長圖像塊匹配分割完成，程序結(jié)束。

執(zhí)行程序運(yùn)行結(jié)果如圖4所示；表1為3種方法的分割效率比較表。

圖4 3種算法分割效果比較

表1 3種方法的分割效率比較(ms)

根據(jù)表 1中 3種算法的分割效果可知，全局Otsu閾值分割算法由于采用逐步迭代法尋找最優(yōu)閾值，導(dǎo)致耗時(shí)較長，并且這種基于像素灰度的分割方法無法達(dá)到預(yù)期的分割效果。基于顏色閾值的分割方法充分利用色彩信息，尋找RGB 3個(gè)顏色閾值，雖然能夠較好地將目標(biāo)從背景中分割出來，但其對外界環(huán)境的變化比較敏感(如 c3中陰影對其影響很大)。而基于HSV模板的變步長塊匹配分割算法由于使用了 HSV模板，抗背景干擾能力更強(qiáng)；并且采用預(yù)定位與變步長的塊搜索匹配法能大幅減少搜索匹配區(qū)域，縮短處理時(shí)間。

3 基于形狀特征的集裝箱精確定位

在集裝箱圖像分割完成之后，正常情況下所提取到的目標(biāo)是一個(gè)近似的矩形區(qū)域。集裝箱精確定位的主要難點(diǎn)是存在平移、旋轉(zhuǎn)和尺度變化而引起集裝箱位姿的不確定性以及記憶環(huán)境光照、噪聲等的干擾，并要求算法具有良好的魯棒性和實(shí)時(shí)性。為了實(shí)現(xiàn)這一目標(biāo)，本文提出了一種基于形狀不變性特征的度量識別算法，根據(jù)前期實(shí)驗(yàn)結(jié)果，從中提取如下5種候選特征：

(1) 延長因子(elongation factor，EF)：是指最大Feret直徑與垂直于該Feret直徑上線段的平均長度的比值。Feret直徑是一種常用的粒徑表示方法，最大Feret直徑是指粒子周邊最遠(yuǎn)兩點(diǎn)間的距離。

(2) 海伍德圓度因子(Heywood circularity factor，HCF)：是指粒子周長和與粒子面積相等的圓的周長之比，反映了粒子形狀與圓的接近程度。粒子形狀越接近圓，海伍德圓度因子越接近1。

(3) 一階Hu矩(first order Hu moment, FHM)

(4) 二階Hu矩(second order Hu moment, SHM)

(5) 三階Hu矩(third order Hu moment, THM)

對于離散圖像函數(shù) I( x ,y)的p和q階矩可近似表示為

通常，希望提取到的目標(biāo)特征具有平移、旋轉(zhuǎn)和尺度不變性。而形狀的中心矩具有平移不變性，其定義為

這樣就可以得到前面3個(gè)不變矩特征。

以圓形、三角形和任意形狀目標(biāo)為研究對象，分別提取以上5種特征在目標(biāo)不同狀態(tài)下的特征值來確定其在平移、旋轉(zhuǎn)和尺度變化情況下是否具有不變性及形狀的可區(qū)分性。統(tǒng)計(jì)結(jié)果如表2~4所示。

表2 圓形目標(biāo)在不同狀態(tài)下提取到的5種特征

表3 三角形目標(biāo)在不同狀態(tài)下提取到的5種特征

表4 任意形狀目標(biāo)在不同狀態(tài)下提取到的5種特征

實(shí)驗(yàn)結(jié)果表明，本文所選5種形狀特征在同種形狀目標(biāo)發(fā)生平移、旋轉(zhuǎn)、尺度變化時(shí)仍然具有良好的不變性，在不同形狀目標(biāo)下具有明顯差異性，因此可以將其歸為基于形狀的目標(biāo)識別算法中。

另外，考慮到所需識別的集裝箱在正常情況下經(jīng)圖像處理后形狀接近矩形。因此可以提取其長和寬，并將其長寬比值(length-w idth ratio，LWR)作為集裝箱目標(biāo)識別和判斷箱型(20英尺或40英尺)的一個(gè)輔助特征，以提高系統(tǒng)識別的準(zhǔn)確性和定位精度。用實(shí)際的集裝箱模型圖像經(jīng)處理后提取的6種不變性特征統(tǒng)計(jì)結(jié)果如表5所示。

表5 集裝箱模型(矩形)在不同狀態(tài)下提取到的6種特征

結(jié)果表明所提取集裝箱的6種特征在目標(biāo)發(fā)生平移、旋轉(zhuǎn)、尺度變化或三者兼有的情況下都能保持良好的不變性，可以作為集裝箱識別與定位的可靠依據(jù)。

4 實(shí)驗(yàn)分析及結(jié)束語

為了擴(kuò)大不同形狀目標(biāo)在數(shù)值上的差異，提高識別判斷的準(zhǔn)確率，可將5種不變性特征組合成一

個(gè)一維向量T=[EF,HCF,FHM,SHM,THM]，并根據(jù)各個(gè)特征對不同形狀區(qū)分能力的不同，可以定義一組合適的權(quán)值 λ=[0.25,0.10,0.30,0.25,0.05]T，計(jì)算S=T×λ結(jié)果如表6所示。

計(jì)算結(jié)果表明，不同形狀得到的S值具有明顯差異。為了準(zhǔn)確提取集裝箱(矩形)目標(biāo)，可以給 S設(shè)定一個(gè)合理的臨界區(qū)間閾值，實(shí)驗(yàn)證明取[Smin,Smax]=[0.8850, 0.9950]比較合適。并且融合測量集裝箱長寬比(LWR)作為判斷的輔助特征，以進(jìn)一步提高識別的準(zhǔn)確性。最終對集裝箱模型的識別定位結(jié)果如圖5所示。

表6 不同形狀的S值對比

圖5 集裝箱在不同位姿及環(huán)境干擾下的識別定位結(jié)果

文獻(xiàn)[10]研究了2種基于視覺的集裝箱識別方法：①基于組合特征，選取集裝箱的幾何特征(包括主軸率、緊密度、圓方差、周長面積比等)、顏色特征、紋理特征、頂點(diǎn)特征共 45個(gè)特征作為組合特征對集裝箱進(jìn)行識別。②采用SVM的識別方式，將45個(gè)特征構(gòu)成特征向量作為SVM的輸入，通過對樣本學(xué)習(xí)訓(xùn)練后對集裝箱進(jìn)行識別。

本文對250張圖像共400個(gè)集裝箱的識別結(jié)果與文獻(xiàn)[9]、[10]做了統(tǒng)計(jì)對比，如表7所示。

結(jié)果表明，傳統(tǒng)的模板匹配法耗時(shí)較長，識別率不高，特別在目標(biāo)形狀、尺度發(fā)生變化時(shí)識別困難。組合特征法和 SVM法選擇特征過多，特征提取耗時(shí)較長，實(shí)時(shí)性不佳。其中 SVM法還需要大量樣本進(jìn)行訓(xùn)練，耗時(shí)更長，識別效果取決于目標(biāo)特征和訓(xùn)練參數(shù)的選擇。其優(yōu)點(diǎn)是對任意角度的集裝箱通過訓(xùn)練后都可能取得較好的

識別效果。本文提出的顏色模板預(yù)定位和基于HSV模板的變步長圖像塊匹配分割算法以及基于特征集的集裝箱匹配識別方法在處理效率上具有較大優(yōu)勢，整體實(shí)時(shí)性最好，適合工程應(yīng)用?；?種形狀特征的集裝箱識別與精確定位還具有較好的魯棒性和可靠性，雖然對視角有一定要求(正上或斜上方視角最佳)，但也符合港口機(jī)械集裝箱自動化裝卸的實(shí)際應(yīng)用背景(因?yàn)榧b箱裝卸機(jī)械，如岸吊、輪胎吊、軌道吊都主要是完成對集裝箱豎直方向的搬運(yùn)，操作時(shí)的視角為正上或斜上視角，集裝箱的全視角識別沒有必要且難以實(shí)現(xiàn)工程應(yīng)用)。

表7 識別結(jié)果統(tǒng)計(jì)表

集裝箱識別與定位是實(shí)現(xiàn)港口集裝箱自動化裝卸的關(guān)鍵技術(shù)之一。本文的研究是基于視覺的集裝箱識別、定位與抓取技術(shù)的一部分。雖然具有一定的啟示意義，但還存在一定的局限性，未來還需要更緊密結(jié)合港口的實(shí)際環(huán)境對集裝箱識別與定位做更深入的研究。另外，如何通過獲取的集裝箱視覺定位信息實(shí)時(shí)引導(dǎo)集裝箱的裝卸作業(yè)也是今后研究的重點(diǎn)與難點(diǎn)。

[1] 劉 娣, 高美鳳. 基于背景差分的核密度估計(jì)前景檢測方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013, 49(6): 170-174.

[2] 嚴(yán)金果, 徐蔚鴻. 基于新的幀間差分運(yùn)動目標(biāo)檢測算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2013, 34(12): 4331-4335.

[3] 袁國武, 陳志強(qiáng), 龔 健, 等. 一種結(jié)合光流法與三幀差分法的運(yùn)動目標(biāo)檢測算法[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2013, 34(3): 668-671.

[4] 楊 濤, 李 靜, 潘 泉, 等. 基于場景模型與統(tǒng)計(jì)學(xué)習(xí)的魯棒行人檢測算法[J]. 自動化學(xué)報(bào), 2010, 36(4): 499-508.

[5] 田 娟, 鄭郁正. 模板匹配技術(shù)在圖像識別中的應(yīng)用[J]. 傳感器與微系統(tǒng), 2008, 27(1): 112-114, 117.

[6] 馮亦東, 孫 躍. 基于SURF特征提取和FLANN搜索的圖像匹配算法[J]. 圖學(xué)學(xué)報(bào), 2015, 36(4): 650-654.

[7] 龐春江, 高婉青. 基于模糊混沌神經(jīng)網(wǎng)絡(luò)的人臉識別算法[J]. 計(jì)算機(jī)應(yīng)用, 2008, 28(6): 1549-1551, 1558.

[8] Cumani S, Laface P. Analysis of large-scale SVM training algorithms for language and speaker recognition [J]. IEEE Transaction on Audio, Speech, and Language Processing, 2012, 20(5): 1585-1596.

[9] 張 森. 傅圣雪. 基于模板匹配的集裝箱實(shí)時(shí)識別與定位[J]. 信息科技, 2007, 20: 193-194.

[10] 陳 丹. 集裝箱圖像識別與定位系統(tǒng)研究與實(shí)現(xiàn)[D].成都: 西南交通大學(xué), 2013.

Container Recognition and Location Technology Based on Feature M atching

Chen Ning, Wang Sheng, Huang Zhengwen

(College of Mechanical and Energy Engineering, Jimei University, Xiamen Fujian 361021, China)

Container recognition and location is one of the key technologies to realize port automation. Template matching is one of the basic and frequently used image recognition methods. Traditional template matching algorithm only based on gray information of pixels to compare and match objects. When external environment changes slightly, the robustness of the algorithm is greatly reduced. Moreover, there are some problems, such as low matching efficiency and adaptability, etc. So, an algorithm was presented which combined w ith color template pre-position and image segmentation based variable step size block matching. The feature vector w ith shape invariance was extracted, which is an important basis of the container real-time recognition and location. The result shows that this recognition method not only improved image segmentation efficiency, but has great adaptability for target translation, rotation and scale change.

port automation; template matching; image recognition; block matching segmentation algorithm; shape invariance

TP 391.41

10.11996/JG.j.2095-302X.2016040530

A

2095-302X(2016)04-0530-07

2015-11-25；定稿日期：2016-03-26

福建省科技廳資助省屬高校專項(xiàng)(JK2 0 1 4 0 2 4)；福建省自然科學(xué)基金項(xiàng)目(2 0 1 6 J 0 1 7 5 5)

陳 寧(1972–)，男，河南洛陽人，副教授，博士。主要研究方向?yàn)闄C(jī)器視覺、工程機(jī)器人。E-mai l：cn1972@jum.edu.cn