董煜文,王曉華，張森宇,李 琪,葉浩劼

(西安工程大學 電子信息學院,陜西 西安 710048)

0 引 言

相較傳統(tǒng)的服裝生產(chǎn)方式, 服裝吊掛系統(tǒng)[1]大幅度節(jié)約了捆扎、 搬運、 拆包等非生產(chǎn)時間,但其中的掛片工作仍需人工完成,該站位成本較高,且隨著工作時間的延長, 及人工主觀因素的影響, 容易出現(xiàn)漏掛和錯掛的問題, 掛片效率極大降低. 智能掛片是利用機器人將衣服裁片精確掛在衣架指夾的工作.在這個過程中, 需要對吊掛衣架上的各個指夾進行定位． 該過程分為2個部分[2-3]: (1) 用局部特征匹配的方法從衣架圖像中識別出匹配點集; (2) 對衣架圖像匹配點集進行處理，得出衣架指夾圖像坐標.

David Lowe[4-5]提出的SIFT算法具有對圖像平移、旋轉和尺度變化不變性的優(yōu)點,使其成為近十年來最流行的圖像特征點檢測方法;Luc Van Gool等[6]發(fā)明的加速穩(wěn)健特征(SURF,speeded up robust features)算法具有提取速度更快、維度更低的優(yōu)點,但在精確度上不及SIFT算法;Rublee等[7]將FAST[8](features from accelerated segment test)算子與BREIF[9](binary robust independent elementary features)描述子進行結合和改進,提出了ORB(oriented FAST and rotated BRIEF)算法,該算法在應用時具有很高的效率,但是不具備尺度不變性[10].

由于衣架指夾坐標必須足夠準確才能控制機器人進行掛片操作, 而 SIFT 算法精度較高， 且匹配效果穩(wěn)定,所以本文采用基于 SIFT 算法對衣架指夾進行圖像定位． 得到衣架指夾匹配點集后, 利用 Graham[11-12]算法維護匹配點集, 形成點集凸包[13-14], 再通過凸包求取點集的最小外接矩形[15]． 因為各個夾具分割衣架最小外接矩形長邊的距離之比是確定的, 所以得到衣架最小外接矩形之后即可求得指夾圖像坐標.

1 基本原理

1.1 SIFT算法

SIFT算法十分穩(wěn)定,在改變圖像尺度、亮度、拍攝視角或旋轉角度的情況下,都能得到良好的匹配效果,整個算法分為4個部分:

(1) 構建尺度空間利用不同尺度的高斯差分核[16]與圖像卷積生成高斯差分尺度空間,可表示為

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)

(1)

(2) 檢測DOG尺度空間極值點.以每一個采樣點為中心的九宮格中的點,與其上下兩層相對應的點相加,共有27個點,若采樣點是27個點中的最大值或最小值,就認為該采樣點是該尺度下的一個特征點．由于DOG存在局部曲率很不對稱的像素,所以還需要去除對比度低的特征點和不穩(wěn)定的邊緣響應點.

(3) 特征點描述子對于每一個關鍵點,用梯度直方圖統(tǒng)計其領域像素的梯度方向(梯度直方圖的橫軸范圍是0°～360°,其中每10°一個柱),梯度直方圖的峰值即為該特征點的主方向.將坐標軸旋轉到與特征點主方向重合,以特征點為中心取16×16的像素領域,將此領域分成16個4×4的子區(qū)域.計算每個子區(qū)域內的像素的梯度(梯度方向為將360°均分為8個部分的方向)和模值,將各個方向的模值累加,得到梯度直方圖,這樣對于每個特征點將生成16×8=128維的特征描述符.

1.2 匹配點集最小外接矩形

SIFT算法只是將模版圖像上的特征點與待匹配圖像上的特征點進行匹配,匹配點分布在衣架圖像上的各個位置,計算匹配點的最小外接矩形是為了得到衣架圖像坐標,為求解衣架指夾坐標做準備.

1.2.1 匹配點集凸包計算 本文采用Graham算法求得點集凸包,利用凸包的特性計算點集最小外接矩形．取點集最左邊(橫坐標最小)的點作為參考點,如果有多個這樣的點就取最下面的(縱坐標最小)點作為參考點,將此點標為p0,其余點按從下至上,從左到右的順序,依次標記為p0,p1,p2,…,pn.排序后開始刪除p0,p1,p2,…,pn上不在凸包上的點,建立一個棧,先把p0,p1,p2入棧中,對于p3,p4,p5,…,pn的每個點,若棧頂?shù)膬蓚€點和當前的點按順序連接時,連線的方向是順時針方向,則刪除棧頂?shù)狞c,繼續(xù)將棧頂?shù)膬蓚€點和當前的點按順序連接,若連線的方向是逆時針方向或者棧內只有2個元素(p1,p2),就把當前點入棧,所有點處理完之后棧中保存的點就是凸包的所有頂點.

1.2.2 匹配點集最小外接矩形計算 得到點集凸包后,按照以下步驟進行點集最小外接矩形的求取:

(1) 取凸包上任意一條邊作為矩形的一條邊;

(2) 遍歷凸包上的頂點,取距離(1)所得直線最遠的點,過該點做平行線,定為矩形第二條邊所在的直線;

(3) 將凸包上所有頂點向(2)所得的直線投影,過相互距離最遠的兩個投影點做(1)所得直線的垂線,作為矩形另外兩條邊所在直線(至此,可得到一個矩形);

圖 1 衣架Fig.1 Coat hanger

(4) 遍歷凸包的所有邊,重新運行(1)～(3),將面積最小的矩形作為點集的最小外接矩形．

如圖1所示,為服裝吊掛系統(tǒng)上的衣架.每個衣架上包含5個指夾,各個指夾在吊掛衣架上的分布是固定的, 不論如何采集圖像,各個指夾分割衣架最小外接矩形長邊的距離之比是確定的,所以得到衣架最小外接矩形就可求得指夾圖像坐標.

2 實驗結果

實驗采用的運行環(huán)境為Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz,4GB內存的PC機．在VS2012上選用OpenCV開源圖像處理數(shù)據(jù)庫作為開發(fā)平臺．實驗采用5組圖像數(shù)據(jù),分別為不同尺度、不同視角、不同亮度、蘋果和茶杯(作為干擾物)及不同顏色下的SIFT算法匹配.

2.1 匹配方法驗證

同為局部特征匹配方法,SURF算法采用Hessian[17]行列式的斑點特征檢測方法,在不同的尺度上利用積分圖像有效計算出近似Harr[18]小波值,簡化了二階微分模版的構建,提高了尺度空間的特征檢測效率;而ORB算法在FAST特征基礎上提出通過強度中心法得到點的方向,并在BREIF中加入旋轉因子[19]進行改進使描述符具備旋轉不變性．

對于包含衣架的圖像分別使用SURF、ORB和SIFT算法進行特征提取,得到的結果如圖2所示.可以看出,SIFT算法的特征點均勻地分布在衣架圖像上,匹配效果穩(wěn)定,準確度高;SURF算法的特征點較多,但匹配效果很差;ORB算法的特征點匹配的效果良好,但是特征點分布不均勻,衣架上有些部分沒有提取出特征點,這不利于對衣架指夾位置的確定.定位衣架指夾在識別過程中需要獲取吊掛衣架的整體結構信息,即特征點應該均勻分布在吊掛衣架上的各個位置,故SIFT算法最適合對吊掛衣架進行識別.

(a) SURF算法 (b) ORB算法 (c) SIFT算法圖 2 特征匹配方法Fig.2 Feature matching method

2.2 吊掛衣架識別

對不同類別的吊掛衣架圖像用SIFT算子進行識別,效果如表1所示.由表1中“尺度”、“視角”、“亮度”可以看出,算法能夠對不同尺度、旋轉角度、亮度的目標進行識別,表1中“蘋果和茶杯”驗證了算法能夠排除蘋果和茶杯的干擾進行識別,表1中“顏色”說明該算法在顏色相近的背景下對吊掛衣架的識別率很差,實際使用時應改善吊掛衣架的顏色避免錯誤識別.

2.3 吊掛衣架指夾圖像坐標確定

用SIFT算法匹配后,可以得到吊掛衣架圖像的匹配特征點集,利用Graham算法對圖像中的匹配點集進行維護,得到點集的凸包,再將凸包上的頂點按1.2的方法進行迭代求取點集的最小外接矩形,如圖3所示. 得到點集最小外接矩形后,按照吊掛衣架實物可知,各個指夾分割吊掛衣架最小外接矩形長邊的比為1∶1.25∶1.35∶1.35∶1.25∶1,如圖4所示．根據(jù)比例即可求得指夾圖像坐標.

表1 SIFT特征匹配效果

Table 1 Effect of SIFT feature matching

3 結束語

為了對吊掛衣架指夾進行定位,分別采用SIFT、SURF、ORB算法對衣架圖像進行匹配.實驗表明,SIFT算法更適合對衣架圖像進行識別．根據(jù)Graham算法和凸包最小外接矩形算法成功計算出衣架圖像匹配點集的最小外接矩形,最后利用指夾在吊掛衣架上位置的比例關系,實現(xiàn)了吊掛衣架指夾的定位,為智能服裝吊掛系統(tǒng)的智能掛片環(huán)節(jié)提供借鑒.實驗過程中發(fā)現(xiàn),采用SIFT算法進行匹配會出現(xiàn)少量的誤匹配點,且如果背景顏色和吊掛衣架顏色相近則識別效果很差,因此,在剔除誤匹配點的方法上還有待改進,并且應使背景顏色與吊掛衣架顏色有較大差異,易于區(qū)分.

圖 3 匹配點集的最小外接矩形 圖 4 指夾分割吊掛衣架示意圖 Fig.3 The smallest circumscribed rectangle of a matched set of points Fig.4 Sketch map for separating hangers by finger clip

參考文獻(References)：

[1] 王瑞卿,洪良,王曉華.基于RFID和ZigBee技術的服裝吊掛系統(tǒng)生產(chǎn)線設計[J].紡織高?；A科學學報，2017,30(4):490-495.

WANG R Q,HONG L,WANG X H.Design of garment hanging system production line based on RFID and ZigBee[J].Basic Sciences Journal of Textile Universities,2017,30(4):490-495.

[2] 馬浩,景軍鋒,李鵬飛.基于機器視覺的管紗毛羽檢測[J].西安工程大學學報,2017,31(3):377-382.

MA H,JING J F,LI P F.Detection of tube hairiness based on machine vision[J].Journal of Xi′an Polytechnic University,2017,31(3):377-382.

[3] 王曉華,傅衛(wèi)平.零件的雙目視覺識別定位與抓取系統(tǒng)研究[J].制造業(yè)自動化,2010,32(12):129-132.

WANG X H,FU W P.Research on recognition and location system of work-piece based on binocular vision[J].Manufacturing Automation,2010,32(12):129-132.

[4] LOWE D G.Distinctive image features from scale-invariant keypoints [J].International Journal of Computer Vision,2004,60(2):91-110.

[5] 姚楚楚,陳寧.側臉識別在在線考試系統(tǒng)中的應用[J].西安工程大學學報,2017,31(2):238-243.

YAO C C,CHEN N.The application of side face recognition in online examination system[J].Journal of Xi′an Polytechnic University,2017,31(2): 238-243.

[6] BAY H,TUYTELAARS T,GOOL L V.SURF: Speeded up robust features[J].Computer Vision & Image Understanding,2006,110 (3):404-417.

[7] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB: An efficient alternative to SIFT or SURF[J].IEEE International Conference on Computer Vision,2011,58(11):2564-2571.

[8] KARIM S,ZHANG Y,ASIF M R,et al.Comparative analysis of feature extraction methods in satellite imagery[J].Journal of Applied Remote Sensing,2017,11(4):1.

[9] SHARIF H,HOLZEL M.A comparison of prefilters in ORB-based object detection[J].Pattern Recognition Letters,2017,93(S1):154-161.

[10] SAHU N,SUR A.SIFT based video watermarking resistant to temporal scaling[J].Journal of Visual Communication and Image Representation,2017,45:77-86.

[11] GOMES A J P.A total order heuristic-based convex hull algorithm for points in the plane[J].Computer-aided Design,2016,70(C):153-160.

[12] FAN J,YANG J,AI D,et al.Convex hull indexed Gaussian mixture model (CH-GMM) for 3D point set registration[J].Pattern Recognition,2016,59(S1):126-141.

[13] 李必棟,閆浩文,王中輝,等.坐標排序的離散點凸包生成算法[J].測繪科學,2017,42(2):14-17.

LI B D,YAN H W,WANG Z H,et al.Algorithm of convex hull generation for point sets based on sorted coordinates[J].Science of Surveying and Mapping,2017,42(2):14-17.

[14] LIU R Z,TANG Y Y,FANG B,et al.An enhanced version and an incremental learning version of visual-attention-imitation convex hull algorithm[J].Neurocomputing,2014,133(8):231-236.

[15] 侯占偉,賈玉蘭,王志衡.基于最小外接矩形的珠寶定位技術研究[J].計算機工程,2016,42(2):254-260.

HOU Z W,JIA Y L,WANG Z H.Research on jewelry positioning technology based on minimum bounding rectangle[J].Computer Engineering,2016,42(2):254-260.

[16] 管聲啟,何建新,王杰,等.應用小波域高斯差分濾波的起球疵點客觀評價[J].紡織學報,2017,38(9):155-161.

GUAN S Q,HE J X,WANG J,et al.Pilling objective evaluation based Gaussian filtering in wavelet domain[J].Journal of Textile Research,2017,38(9):155-161.

[17] BRAU N M.Sparse HessianFD:An R package for estimating sparse hessian matrices[J].Journal of Statistical Software,2017,82(10):1-22.

[18] DAI H,ZHENG Z,WANG W.A new fractional wavelet transform[J].Communications in Nonlinear Science and Numerical Simulation,2017,44:19-36.

[19] 侯毅,周石琳,雷琳,等.基于ORB的快速完全仿射不變圖像匹配[J].計算機工程與科學,2014,36(2):303-310.

HOU Y,ZHOU S L,LEI L,et al.Fast fully affine invariant image matching based on ORB [J].Computer Engineering and Science,2014,36(2):303-310.