謝德浩,全燕鳴
(華南理工大學(xué) 機(jī)械與汽車工程學(xué)院,廣東 廣州 510640)
現(xiàn)代工業(yè)對(duì)焊縫的質(zhì)量要求非常嚴(yán)格,為了保證焊接質(zhì)量,必須對(duì)焊縫質(zhì)量進(jìn)行實(shí)時(shí)檢測(cè)。結(jié)構(gòu)光作為一種主動(dòng)式光學(xué)測(cè)量技術(shù),具有精度高、非接觸、效率高、信息量豐富和適應(yīng)范圍廣等優(yōu)點(diǎn),廣泛應(yīng)用于焊縫跟蹤檢測(cè)中[1-3]。與傳統(tǒng)的檢測(cè)方法相比,結(jié)構(gòu)光視覺檢測(cè)方法可靠性高,可準(zhǔn)確提取工件及焊縫等目標(biāo)的三維信息,有利于后續(xù)分析。
在采用結(jié)構(gòu)光的焊縫檢測(cè)系統(tǒng)中必須對(duì)系統(tǒng)進(jìn)行精確標(biāo)定[4-5],標(biāo)定誤差直接決定系統(tǒng)的測(cè)量精度。結(jié)構(gòu)光視覺系統(tǒng)標(biāo)定包含攝像機(jī)的標(biāo)定和結(jié)構(gòu)光的標(biāo)定。目前,攝像機(jī)標(biāo)定已經(jīng)有較成熟的方法,如直接線性變換法、兩步法、雙平面法等[6-7]。結(jié)構(gòu)光視覺系統(tǒng)中廣泛使用投影儀作為主動(dòng)投射面光源,因此對(duì)投影儀的標(biāo)定變得越來越重要。投影儀是非成像設(shè)備,與攝像機(jī)不同,它很難準(zhǔn)確獲得點(diǎn)的空間位置與其在投影圖像上相應(yīng)位置的對(duì)應(yīng)關(guān)系,導(dǎo)致對(duì)其標(biāo)定相對(duì)困難。許多學(xué)者對(duì)投影儀的標(biāo)定進(jìn)行了大量研究。Zhang和戴小林[8-9]等人使用條紋相移技術(shù),投影多幅條紋圖像對(duì)投影儀進(jìn)行標(biāo)定,但因基于相位匹配,存在相位計(jì)算誤差,會(huì)影響標(biāo)定精度。李中偉[10-11]等人針對(duì)此問題利用相移技術(shù)提出對(duì)相位誤差補(bǔ)償,得到了精度較高的投影儀標(biāo)定結(jié)果。上述方法由于需要投影多幅相位條紋,且要進(jìn)行相位識(shí)別和去包裹,過程復(fù)雜、耗時(shí),易受環(huán)境因素影響,從而導(dǎo)致標(biāo)定精度無法提高。
本研究提出的結(jié)構(gòu)光視覺系統(tǒng)標(biāo)定方法是基于單平面標(biāo)定塊實(shí)現(xiàn)攝像機(jī)標(biāo)定。投影儀標(biāo)定時(shí)采用“逆攝像機(jī)”方法,將棋盤圖案投影到標(biāo)定平面,提取標(biāo)定平面四角靶標(biāo)及投影圖案特征點(diǎn),建立投影儀圖像和攝像機(jī)圖像的對(duì)應(yīng)關(guān)系,結(jié)合攝像機(jī)標(biāo)定結(jié)果求取特征點(diǎn)三維坐標(biāo),將投影儀標(biāo)定轉(zhuǎn)化為成熟的攝像機(jī)標(biāo)定。與上述標(biāo)定方法相比,該方法更加省時(shí)快捷,標(biāo)定操作方便,精度高,更適合于現(xiàn)場(chǎng)標(biāo)定。
結(jié)構(gòu)光視覺系統(tǒng)組成如圖1所示。采用投影光柵作為結(jié)構(gòu)光,將編制的光柵條紋結(jié)構(gòu)光投影到工件表面,條紋隨著工件表面形狀的變化而發(fā)生畸變,攝像機(jī)獲取其圖像,然后進(jìn)行圖像處理,從被物體表面形狀所調(diào)制的畸變條紋模式中提取出物體的三維信息,可以識(shí)別出不同坡口形式的焊縫并求取其中心位置及特征信息,從而進(jìn)行焊縫檢測(cè)跟蹤或熔透控制。
圖1 系統(tǒng)組成示意
按照光學(xué)原理,由于光路具有可逆性,投影儀可看作一個(gè)逆向的攝像機(jī),所以投影儀模型可用與攝像機(jī)類似的模型表示?;趩螖z像機(jī)-投影儀的結(jié)構(gòu)光系統(tǒng)模型如圖2所示,建立世界坐標(biāo)系OXYZ,投影儀坐標(biāo)系Op-XpYpZp,攝像機(jī)坐標(biāo)系Oc-XcYcZc,投影儀圖像坐標(biāo)系O-uv。
圖2 攝像機(jī)-投影儀模型
理想情況下,投影儀可看作一個(gè)針孔模型,投影儀靶面上一點(diǎn)Pi與其投射到空間點(diǎn)Pw的成像關(guān)系表示為
式中(X,Y,Z)為待測(cè)量物體表面上的一點(diǎn)Pw的世界坐標(biāo),(u,v)為其投影儀圖像坐標(biāo);K為內(nèi)部參數(shù),包括圖像主點(diǎn)坐標(biāo)(u0,v0),圖像坐標(biāo)軸傾斜系數(shù)s,u軸與v軸上的尺度因子fu,fv;R為世界坐標(biāo)系到投影儀參考坐標(biāo)系的剛體旋轉(zhuǎn)變換矩陣,可用三個(gè)旋轉(zhuǎn)角度表示;T為世界坐標(biāo)系到投影儀參考坐標(biāo)系的平移向量,可用三個(gè)平移參數(shù)表示,R和T即為外部參數(shù);σ為歸一化系數(shù)。
實(shí)際的光學(xué)系統(tǒng)由于加工制造、裝配誤差等原因并不按理想的針孔模型成像,使得物體點(diǎn)在像面上實(shí)際所成的像與理想成像之間存在有光學(xué)畸變誤差[12]。鏡頭畸變影響了被測(cè)點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)值,其修正公式為
式中 up、vp是圖2中Pw點(diǎn)在成像平面上的畸變點(diǎn)Pi的二維坐標(biāo);up'、vp'為Pi'點(diǎn)的非畸變二維坐標(biāo);δu、δv是由鏡頭畸變而引起的水平和垂直方向上偏移誤差。本研究?jī)H考慮鏡頭的一階徑向畸變,則
在此提出的基于平面的標(biāo)定方法以理想針孔模型作為基礎(chǔ)理論模型,首先標(biāo)定攝像機(jī)的內(nèi)外參數(shù),再利用變換后的投影圖像標(biāo)定投影儀的內(nèi)外參數(shù),即完成了整個(gè)系統(tǒng)的標(biāo)定。投影內(nèi)容采用黑白棋盤圖案,在投影平面四角粘貼的棋盤格單元圖案為攝像機(jī)平面標(biāo)靶,投影平面用于建立攝像機(jī)圖像與投影圖像之間的對(duì)應(yīng)匹配關(guān)系。標(biāo)定平面及投影圖案如圖3所示,投影平面和標(biāo)定平面為同一個(gè)平面,標(biāo)定過程中平面靶標(biāo)可以在攝像機(jī)視野范圍內(nèi)自由移動(dòng)。
圖3 標(biāo)定平面及投影圖案
攝像機(jī)坐標(biāo)系在圖像的左下角,世界坐標(biāo)系設(shè)定在棋盤格靶標(biāo)的左下角處,因此無論標(biāo)定平面如何移動(dòng),棋盤格圖像上同一角點(diǎn)的世界坐標(biāo)總是精確可知的,不隨標(biāo)定平面移動(dòng)發(fā)生任何變化,只有兩個(gè)坐標(biāo)系之間的變換關(guān)系式發(fā)生改變。與攝像機(jī)相反的是,由于投影圖案是精確設(shè)計(jì),因此投影儀參考坐標(biāo)系下的投影圖案的特征角點(diǎn)坐標(biāo)都是精確可知而且不發(fā)生變化的,而其對(duì)應(yīng)的世界坐標(biāo)系卻是在隨標(biāo)定平面變化而不斷變化。
基于平面投影的結(jié)構(gòu)光系統(tǒng)標(biāo)定方法的具體標(biāo)定過程分為如下幾步:
(1)利用張正友標(biāo)定方法標(biāo)定攝像機(jī)[13]。
(2)根據(jù)靶標(biāo)確定攝像機(jī)坐標(biāo)下標(biāo)定平面的位姿。
(3)精確提取攝像機(jī)平面上投影圖像的棋盤格特征點(diǎn)坐標(biāo)。
(4)提取四角棋盤格單元角點(diǎn),再利用光平面相交法計(jì)算投影圖像上的棋盤格角點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)。
(5)建立投影儀坐標(biāo)系下投影圖案的棋盤格特征角點(diǎn)坐標(biāo)和對(duì)應(yīng)的世界坐標(biāo)系的三維空間坐標(biāo)之間的對(duì)應(yīng)關(guān)系,完成投影儀標(biāo)定。
本實(shí)驗(yàn)搭建的結(jié)構(gòu)光視覺檢測(cè)系統(tǒng)由單攝像機(jī)和單投影儀組成。采用的投影儀是BenQMX615,分辨率1 024×768;選擇Pointgrey CCD相機(jī):FL2G-13S2M-C,分辨率為1 024×768。編寫程序生成8×8的棋盤投影圖案。
攝像機(jī)的標(biāo)定對(duì)于結(jié)構(gòu)光系統(tǒng)而言尤為重要,因?yàn)閿z像機(jī)的標(biāo)定精度直接影響著投影儀的標(biāo)定精度。采用Matlab工具箱對(duì)攝像機(jī)進(jìn)行標(biāo)定[14]。按照本研究的標(biāo)定方法,用攝像機(jī)拍攝四角靶標(biāo)和投影圖像,獲得不同姿態(tài)下的用于投影儀標(biāo)定的12幅圖像,然后使用編寫的標(biāo)定擴(kuò)展程序進(jìn)行標(biāo)定計(jì)算,得到投影儀的標(biāo)定結(jié)果。標(biāo)定結(jié)果見表1、表2。
表1 攝像機(jī)內(nèi)參數(shù)標(biāo)定結(jié)果
最終求得投影儀和攝像機(jī)的相對(duì)位置和方向即空間關(guān)系如下:
攝像機(jī)參考坐標(biāo)系轉(zhuǎn)換到投影儀參考坐標(biāo)系的旋轉(zhuǎn)矩陣
攝像機(jī)參考坐標(biāo)系轉(zhuǎn)換到投影儀參考坐標(biāo)系的平移矩陣
圖4為結(jié)構(gòu)光系統(tǒng)定標(biāo)之后,以攝像機(jī)坐標(biāo)系作為世界坐標(biāo)系后得出的結(jié)構(gòu)光系統(tǒng)外部參數(shù)示意圖,與實(shí)驗(yàn)過程中投影儀、攝像機(jī)以及標(biāo)定平面的位置基本吻合。
為了分析投影儀標(biāo)定的精度,利用標(biāo)定結(jié)果計(jì)算投影圖案的特征角點(diǎn)坐標(biāo)的反投影誤差,如圖5所示。均方根誤差在X,Y兩個(gè)方向分別為0.093 pixel和0.107 pixel。平均誤差控制在0.3個(gè)像素以內(nèi),符合要求。
圖4 結(jié)構(gòu)光系統(tǒng)外部參數(shù)示意
圖5 投影儀標(biāo)定反向投影誤差
圖6 試驗(yàn)焊縫圖像及三維重建圖
在對(duì)上述結(jié)構(gòu)光視覺系統(tǒng)中的相機(jī)和投影儀進(jìn)行標(biāo)定之后,對(duì)兩塊并排的試驗(yàn)焊縫通過投影光柵,采用三步移相法解相,結(jié)合標(biāo)定結(jié)果計(jì)算物體三維信息,對(duì)試驗(yàn)焊縫進(jìn)行三維重構(gòu)。圖6a為采集到的結(jié)構(gòu)光投影圖像,圖6b為主相位圖,圖6c為試驗(yàn)焊縫板三維點(diǎn)云重建效果。從三維重建圖中可看出采用本研究提出的標(biāo)定技術(shù)結(jié)合相移法能夠?qū)崿F(xiàn)焊縫的三維檢測(cè)。
當(dāng)焊接控制要求和精度提高到一定程度時(shí),就需要用到工件、焊縫、熔池等目標(biāo)的三維信息。利用結(jié)構(gòu)光技術(shù)來獲取焊縫三維特征信息,具有信息量大、非接觸、靈敏度和精度高、抗電磁干擾能力強(qiáng)等優(yōu)點(diǎn)。針對(duì)焊接應(yīng)用中結(jié)構(gòu)光系統(tǒng)的標(biāo)定方法進(jìn)行研究,并運(yùn)用標(biāo)定的系統(tǒng)對(duì)試驗(yàn)焊縫板進(jìn)行了三維重構(gòu)。實(shí)驗(yàn)表明,所提出的投影儀標(biāo)定方法操作過程簡(jiǎn)單,投影儀標(biāo)定的精度滿足要求,可適用于遙控焊接、焊后熔透質(zhì)量檢測(cè)、焊縫跟蹤等應(yīng)用場(chǎng)合的結(jié)構(gòu)光視覺系統(tǒng)中。
[1]毛鵬軍,黃石生,薛家祥,等.弧焊機(jī)器人焊縫跟蹤系統(tǒng)研究現(xiàn)狀及發(fā)展趨勢(shì)[J].電焊機(jī),2001,31(10):29-32.
[2]張萬江,許 敏.基于結(jié)構(gòu)光視覺的激光拼焊焊縫質(zhì)量檢測(cè)方法研究[J].儀表技術(shù)與傳感器,2012(7):27.
[3]華清宇.汽車橫向搖臂焊縫質(zhì)量焊后視覺檢測(cè)系統(tǒng)研究[D].上海:上海交通大學(xué),2012.
[4]殷子強(qiáng),張廣軍,高洪明,等.焊接機(jī)器人再制造中結(jié)構(gòu)光傳感器的標(biāo)定[J].焊接學(xué)報(bào),2009(12):57-60.
[5]魯建波,徐培全,姚 舜,等.圓形掃描結(jié)構(gòu)光傳感器的標(biāo)定和焊縫檢測(cè)[J].焊接學(xué)報(bào),2006,27(4):53-56.
[6]Salvi J,Armangue X,Batlle J.A comparative review of camera calibrating methods with accuracy evaluation[J].Pattern Recognition,2002,35(7):1617-1625.
[7]劉振中,傅 莉.攝像機(jī)標(biāo)定研究[J].沈陽航空工業(yè)學(xué)院學(xué)報(bào),2010,27(1):43-47.
[8]Zhang S,Huang PS.Novel method for structured light sys temcalibration[J].Optical Engineering,2006,45(8):083601.
[9]戴小林,鐘約先,袁朝龍,等.單攝像機(jī)結(jié)構(gòu)光掃描系統(tǒng)中投影儀標(biāo)定技術(shù)[J].機(jī)械設(shè)計(jì)與制造,2008(8):194-196.
[10]李中偉,史玉升,鐘 凱,等.結(jié)構(gòu)光測(cè)量技術(shù)中的投影儀標(biāo)定算法[J].光學(xué)學(xué)報(bào),2009(11):3061-3065.
[11]Moreno D,Taubin G.Simple,Accurate,and Robust Projector-Camera Calibration[C]//3D Imaging,Modeling,Processing,Visualization and Transmission(3DIMPVT),2012 Second International Conferenceon.IEEE,2012:464-471.
[12]葛寶臻,李曉潔,邱 實(shí).基于共面點(diǎn)直接線性變換的攝像機(jī)畸變校正[J].中國激光,2010(2):488-494
Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.
[14]Jean-Yves Bouguet,Camera Calibration Toolbox for Matlab[EB/OL].http://www.vision.cal tech.edu/bouguetj/calib_doc.