李金鐘， 王天琪， 何俊杰， 李亮玉， 侯仰強(qiáng)

(天津工業(yè)大學(xué) 天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室， 天津 300387)

采用雙目視覺的織物曲面接縫提取與縫合路徑規(guī)劃

李金鐘， 王天琪， 何俊杰， 李亮玉， 侯仰強(qiáng)

(天津工業(yè)大學(xué) 天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室， 天津 300387)

針對(duì)曲面織物的接縫自動(dòng)提取及縫合路徑規(guī)劃問題，提出一種基于雙目視覺的接縫自動(dòng)識(shí)別方法。結(jié)合縫合預(yù)制件的三維點(diǎn)云與二維圖像之間的空間位置轉(zhuǎn)換關(guān)系，得到預(yù)制件二維圖像中接縫在三維點(diǎn)云中的映射；進(jìn)一步采用基于弗萊納-雪列矢量的路徑規(guī)劃方法，對(duì)縫合路徑上各位置的弗萊納-雪列(Frenet-Serret)矢量進(jìn)行計(jì)算，求出機(jī)器人末端執(zhí)行器的位姿，利用MatLab對(duì)機(jī)器人的縫合路徑進(jìn)行仿真。實(shí)驗(yàn)結(jié)果表明：該方法能夠精確快速地對(duì)接縫的空間位置進(jìn)行定位，解決了自動(dòng)縫合過程中縫合路徑尋找困難、精度不高等問題，并可快速地對(duì)機(jī)器人縫合路徑進(jìn)行規(guī)劃。

曲面織物； 雙目視覺； 接縫位置； 弗萊納-雪列矢量； 縫合路徑規(guī)劃

傳統(tǒng)的點(diǎn)云處理方法是基于曲率的[1]，該方法需對(duì)視覺系統(tǒng)獲得的三維點(diǎn)云進(jìn)行較精確地處理。一方面，織物表面形狀的凹凸影響接縫的提取效果；另一方面，實(shí)際縫合過程中，由于織物三維特征的多樣性，采用針對(duì)某一特征建立的算法具有一定局限性，因此織物的點(diǎn)云處理是一個(gè)復(fù)雜且耗時(shí)的過程。相對(duì)于點(diǎn)云處理技術(shù)而言，對(duì)二維圖像的處理具有技術(shù)上的相對(duì)靈活性，圖像處理是對(duì)攝像機(jī)獲取的像素圖像進(jìn)行處理的技術(shù)，其理論已經(jīng)相對(duì)成熟，針對(duì)不同問題有多種圖像處理算法；并且正確的打光技術(shù)，能獲得較好的二維圖像，具有實(shí)驗(yàn)與工業(yè)上的可控性，因此，結(jié)合二維圖像的處理技術(shù)對(duì)接縫進(jìn)行提取是一種比較實(shí)用且高效的方法。雙目視覺系統(tǒng)是機(jī)器視覺的重要分支之一[2]，是對(duì)攝像機(jī)從不同角度獲取的物體圖像進(jìn)行處理從而計(jì)算出物體三維坐標(biāo)的技術(shù)[3]，該技術(shù)從二維圖像信息中提取三維圖形信息，是對(duì)信息融合技術(shù)很好的體現(xiàn)。本文旨在利用雙目視覺系統(tǒng)將二維圖像信息與三維點(diǎn)云信息相融合來獲取接縫信息，對(duì)接縫位置進(jìn)行快速精確求解。

1 接縫空間坐標(biāo)提取

雙目視覺系統(tǒng)是通過計(jì)算空間點(diǎn)在2幅圖像中的視差獲得該點(diǎn)的三維坐標(biāo)。工作流程包括圖像采集、攝像機(jī)標(biāo)定、圖像預(yù)處理、特征匹配、三維重建等。其中攝像機(jī)標(biāo)定是系統(tǒng)工作的基礎(chǔ)；標(biāo)定的精確與否，直接決定了三維重建的精度。為精確快速地對(duì)攝像機(jī)進(jìn)行標(biāo)定，前人總結(jié)了幾種標(biāo)定方法，主要包括：傳統(tǒng)攝像機(jī)標(biāo)定方法、相機(jī)自標(biāo)定方法、主動(dòng)視覺相機(jī)標(biāo)定方法等[4]；Tsai的RAC標(biāo)定方法[5]是傳統(tǒng)標(biāo)定方法的一種，該方法標(biāo)定過程分為2步：第1步，在徑向一致的約束條件下，通過矩陣變換來求得相機(jī)的外參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣T；第2步，在只考慮相機(jī)徑向畸變的情況下，將相機(jī)的畸變模型引入到計(jì)算過程中，求得攝像機(jī)的內(nèi)部參數(shù)。RAC標(biāo)定方法得出的相機(jī)內(nèi)外參數(shù)如表1所示。

表1 Tsai標(biāo)定法獲得的參數(shù)

相機(jī)是基于小孔成像原理成像的[6]，如圖1所示小孔成像模型。O代表光心，xuouyu是相機(jī)成像平面；物體上的光線經(jīng)成像平面匯聚于光心。位于同一條射線上的點(diǎn)與二維圖像平面上的點(diǎn)相對(duì)應(yīng)，其對(duì)應(yīng)關(guān)系為

(1)

式中：f為相機(jī)焦距；XC、YC、ZC為相機(jī)坐標(biāo)系中的坐標(biāo)；xc、yc為相機(jī)圖像坐標(biāo)。

注：圖中下腳標(biāo)表示相應(yīng)的坐標(biāo)系：w表示世界坐標(biāo)；c表示相機(jī)圖像坐標(biāo)；u表示像素坐標(biāo)。圖1 攝像機(jī)成像模型Fig.1 Camera image model

由于現(xiàn)實(shí)情況下存在誤差，引入誤差因子θ可得式(2)：

(2)

則存在如下對(duì)應(yīng)關(guān)系：

(3)

攝像機(jī)徑向畸變模型可由式(4)、(5)得出：

(4)

(5)

將畸變因素引入式(3)中可得：

(6)

式中：r為圖像中心到像素點(diǎn)的距離。

(7)

式(6)、(7)相連可得：

(8)

在實(shí)際求解過程中常常獲得的是物點(diǎn)在世界坐標(biāo)系中的坐標(biāo)，由表1可知，在攝像機(jī)標(biāo)定過程中可得知由世界坐標(biāo)系到攝像機(jī)坐標(biāo)系轉(zhuǎn)換的外參矩陣；因此以通過矩陣變換得出圖像像素坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換關(guān)系。

已知

(9)

式中：p為像素坐標(biāo)；PW為世界坐標(biāo)；Mi為內(nèi)參矩陣；Mε為外參矩陣。

p=MiPC

(10)

其中PC為攝像機(jī)坐標(biāo)系點(diǎn)的坐標(biāo)；即

(11)

展開得

(12)

其中

展開成方程組的形式

(13)

可得如下關(guān)系：

通過式(14)即可將二維圖像信息與三維圖形信息結(jié)合求得接縫在世界坐標(biāo)系中的位置，式中所用參數(shù)在攝像機(jī)標(biāo)定時(shí)均已求出；ε1、ε2根據(jù)實(shí)情況給出；由于所采集的點(diǎn)云是物體的外表面，求解的結(jié)果是射線與物體外表面的交點(diǎn)，不存在得到多個(gè)對(duì)應(yīng)解的情況。

2 縫合路徑軌跡規(guī)劃

織物的縫合質(zhì)量除了與縫合位置的尋找精度有關(guān)外，還與縫合的路徑有極大的關(guān)系；本文采用了弗萊納-雪列[7](Frenet-Serret)矢量方法進(jìn)行路徑規(guī)劃。弗萊納矢量描述了曲線的切向、法向、副法方向之間的關(guān)系[8]。該路徑規(guī)劃方法如下。

獲得的接縫三維空間點(diǎn)經(jīng)曲線擬合可表示成參數(shù)的形式；其曲線參數(shù)方程可由式(15)表示：

(15)

曲線上任意一點(diǎn)構(gòu)造一組相互垂直的單位矢量，如圖2所示。

圖2 空間曲線的弗萊納-雪列矢量Fig.2 Frenet-Serret column vectors of space curve

圖中：et、en、eb、分別為曲線上任意一點(diǎn)構(gòu)成的切向、法向和次法線單位矢量。

(16)

(17)

(18)

這里r′表示dr/ds，r″表示d2r/ds2；s為該曲線上點(diǎn)的弧長。式中：

(19)

(20)

(21)

(22)

(23)

由式(15) ～ (23)得知空間曲線的弗萊納-雪列的3個(gè)矢量；即而確定機(jī)器人末端執(zhí)行器的中心坐標(biāo)及位姿。當(dāng)機(jī)器人跟蹤一個(gè)連續(xù)軌跡時(shí)，關(guān)節(jié)角的計(jì)算是通過末端執(zhí)行器的一組連續(xù)位姿來實(shí)現(xiàn)的[9]。實(shí)際上，連續(xù)軌跡是通過沿連續(xù)軌跡的一組足夠靠近的位姿樣本來描述的，因此在機(jī)器人實(shí)際路徑規(guī)劃過程中需要將所擬合的曲線實(shí)體離散為一系列的點(diǎn)，然后對(duì)各點(diǎn)所對(duì)應(yīng)位置的位姿進(jìn)行求解，從而得到機(jī)器人不同位置的位姿。

3 試驗(yàn)結(jié)果與分析

3.1 二維圖像的處理

圖像處理包括圖像變換、圖像增強(qiáng)、圖像復(fù)原、圖像分割、小波變換[10-11]等技術(shù)；其中圖像分割技術(shù)是近年來研究的熱點(diǎn)，是模式識(shí)別的基礎(chǔ)；在理論研究和實(shí)踐應(yīng)用中都得到了廣泛的重視。

本文實(shí)驗(yàn)采用厚度為5 mm玻璃纖維織物作為實(shí)驗(yàn)材料，如圖3所示。對(duì)CCD攝像機(jī)獲得的二維圖像利用MatLab進(jìn)行圖像增強(qiáng)、二值化、圖像分割、邊緣提取等來獲得接縫中心點(diǎn)坐標(biāo)。

圖3 織物二維圖像Fig.3 Two-dimensional image of fabric

對(duì)圖像進(jìn)行處理獲得的接縫中心點(diǎn)像素坐標(biāo)如圖4所示。

圖4 接縫圖像像素坐標(biāo)Fig.4 Image pixel coordinates of seam

3.2 三維接縫點(diǎn)的獲取

本文實(shí)驗(yàn)通過三維掃描儀器CPOSmini獲得織物的三維點(diǎn)云，如圖5所示?？椢稂c(diǎn)云表面凹凸不平，情況復(fù)雜，一個(gè)區(qū)域與另一個(gè)區(qū)域邊界測量點(diǎn)的法向矢量或曲率存在突變，因此，基于曲率的接縫提取方法對(duì)點(diǎn)云的處理有很高的要求；對(duì)于實(shí)際應(yīng)用中快速性、精確性的要求難以得到滿足。本文提出的結(jié)合二維圖像對(duì)接縫位置進(jìn)行提取能夠很好地滿足工業(yè)上的需求。

圖5 三維點(diǎn)云Fig.5 Three-dimensional points cloud

在得知接縫的二維圖像像素坐標(biāo)與三維點(diǎn)云的基礎(chǔ)上由式(14)可得出接縫在點(diǎn)云中具體位置，而在實(shí)際縫合過程中，縫合位置相對(duì)于接縫的位置有一定的偏移；通過一定的偏移方法即可實(shí)現(xiàn)縫合位置的定位；定位后的縫合位置處點(diǎn)云如圖6所示。

圖6 接縫三維坐標(biāo)Fig.6 Three-dimensional coordinates of seam

對(duì)所獲取的點(diǎn)進(jìn)行曲線擬合得方程如下：

x=3.362×10-7t4-2.081×10-4t3+ 2.463×10-2t2+1.839t-56.09

y=-2.666×10-6t4+5.033×10-4t3- 4.176×10-3t2-1.935t+68.6

z=-9.244×10-7t4+2.149×10-4t3- 9.142×10-3t2-1.135×10-2t-19.08

機(jī)器人縫合過程中不同位置的位姿可通過對(duì)參數(shù)t進(jìn)行賦值求得；本文實(shí)驗(yàn)對(duì)曲線上30個(gè)位置的坐標(biāo)進(jìn)行求解，結(jié)果如表2所示。

表2 曲線離散點(diǎn)

對(duì)表2中各點(diǎn)所代表的位置進(jìn)行弗萊納-雪列矢量求解，序號(hào)為1的點(diǎn)處的位姿矩陣O如式(24)所示；求得每個(gè)點(diǎn)的三維雪列矢量即可得知工具坐標(biāo)位姿；對(duì)縫合路徑規(guī)劃如圖7所示。

(24)

圖7 縫合路徑規(guī)劃Fig.7 Stitching path planning

該方法在得到縫合軌跡方程后，通過計(jì)算得出機(jī)器人末端執(zhí)行器的位姿，進(jìn)而指導(dǎo)縫合機(jī)器人對(duì)織物進(jìn)行縫合操作；實(shí)現(xiàn)縫合過程的自動(dòng)化與智能化。

4 結(jié)束語

1)本文針對(duì)織物接縫的智能縫合問題，提出了融合二維圖像與三維圖形信息的接縫提取方法，解決了傳統(tǒng)接縫求取方法通用性差、求解過程容易受干擾等問題。

2)采用了基于弗萊納-雪列(Frenet-Serret)矢量的方法，精確快速地對(duì)機(jī)器人縫合過程中末端操作器的位姿進(jìn)行求解。

[1] 馬驪溟, 徐毅, 李澤湘. 基于高斯曲率極值點(diǎn)的散亂點(diǎn)云數(shù)據(jù)特征點(diǎn)提取[J]. 系統(tǒng)仿真學(xué)報(bào)，2008(9):2341-2344. MA Limin,XU Yi, LI Zexiang. Extracting feature points for scattered points based on gauss curvature extreme point[J].Journal of System Simul Ation, 2008(9):2341-2344.

[2] 羅桂娥. 雙目立體視覺深度感知與三維重建若干問題研究[D].長沙:中南大學(xué),2012:23. LUO Guie. Some issues of depth perception and three dimention reconstruction from binocular stereo vision[D]. Changsha:Central South University， 2012:23.

[3] 全燕鳴,黎淑梅,麥青群. 基于雙目視覺的工件尺寸在機(jī)三維測量[J]. 光學(xué)精密工程,2013(4):1054-1061. QUAN Yanming,LI Shumei,MAI Qingqun.On-machine 3D measurement of workplace dimensions based on binocular vision[J].Optics and Precision Engineering.2013(4):1054-1061.

[4] 邱茂林,馬頌德,李毅. 計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述[J]. 自動(dòng)化學(xué)報(bào),2000(1):47-59. QIU Maolin,MA Songde,LI Yi. Overview of camera calibration for computer vision[J]. Acta Automatic Sinica, 2000(1):47-59.

[5] 李鵬,王軍寧. 攝像機(jī)標(biāo)定方法綜述[J]. 山西電子技術(shù),2007(4):77-79. LI Peng,WANG Junning. Overview of camera calibration methods[J]. Shanxi Electronic Technology,2007(4): 77-79.

[6] BOGUSLAW Cyganek. An Introduction to 3D Computer Vision Techniques and Algorithms[M]. Germany: Wiley, 2009:15-40.

[7] BINI D, DE FELICE F, JANTZEN R T. Absolute and relative frenet-serret frames and Fermi-walker trans-port [J].Classical and Quantum Gravity, 1999, 16:2105-0124.

[8] ARREAGA G, CAPOVILLA R, GUVEN J. Frenet-serret dynamics[J].Classical and Quantum-Gravity, 2001,18:5065-5083.

[9] JORGE Angeles. Fundamentals of Robotic Mechanical Systems[M]. New York: Springer Verlag New York Inc, 2002:351-386.

[10] 王愛民,沈蘭蓀. 圖像分割研究綜述[J]. 測控技術(shù)，2000(5):1-6,16. WANG Aimin, SHEN Lanquan. Study surveys on image segmentation[J]. Measurement & Control Technology, 2000(5):1-6,16.

[11] 殷明. 四元數(shù)小波變換理論及其在圖像處理中的應(yīng)用研究[D].合肥:合肥工業(yè)大學(xué),2012:27. YIN Ming. Research on quaternion wavelet transformation theory and its application in process-ing[D]. Hefei:Hefei University of Technology,2012:27.

Fabric curved surface seam extraction using binocular vision and stitching path planning

LI Jinzhong, WANG Tianqi, HE Junjie, LI Liangyu, HOU Yangqiang

(TianjinKeyLaboratoryofAdvancedMechatronicsEquipmentTechnology,TianjinPolytechnicUniversity,Tianjin300387,China)

Aiming at the seam automatic extraction and the stitching path planning of curve surface fabrics, a seam automatic recognition method based on binocular vision was proposed. Combining the spatial position conversion relation between three dimensional points cloud and the two dimensional image of a stitched prefabricated part, the map of the same in two dimensional image of the prefabricated part in the three dimensional points cloud was acquired. Furthermore, Frenet-Serret vectors in all positions of the stitching path were calculated by a path designing method based on Frenet-Serret vectors, the posture of a robot terminal was calculated, and the stitching path of the robot was simulated using MatLab. The experimental results show that the method can position the spatial positions of a seam accurately and quickly and solve the problems in the automatic stitching process on difficut stitching path search and low precision, and can also plan a stitching path of the robot quickly.

curve surface fabric; binocular vision; seam position; Frenet-Serret vector; stitching path planning

10.13475/j.fzxb.20160801505

2016-08-08

2017-05-04

國家自然科學(xué)基金資助項(xiàng)目(U1333128)； 天津市科技支撐計(jì)劃重點(diǎn)項(xiàng)目(15ZCZDGX00300)

李金鐘(1994—)，男，碩士生。主要研究方向?yàn)闄C(jī)器人視覺。王天琪，通信作者，E-mail: 4320304@qq.com。

TP 391.4； TP 242.2

A