潘 燕，張 偉，趙 雨，樓向明

(1.中國計量大學機電工程學院，浙江 杭州 310018；2.杭州娃哈哈研究院，浙江 杭州 310009)

線結(jié)構(gòu)光傳感器參數(shù)現(xiàn)場標定方法

潘 燕1，張 偉1，趙 雨2，樓向明2

(1.中國計量大學機電工程學院，浙江 杭州 310018；2.杭州娃哈哈研究院，浙江 杭州 310009)

為了精確、快速、高效地標定線結(jié)構(gòu)光傳感器參數(shù)，提出了一種線結(jié)構(gòu)光傳感器參數(shù)現(xiàn)場標定方法。根據(jù)攝像機標定方法，并結(jié)合L-M非線性優(yōu)化算法對攝像機內(nèi)外參數(shù)及鏡頭畸變系數(shù)進行標定。拍攝不同姿態(tài)下的平面靶標圖像，利用靶標圖像計算攝像機外參計算靶標上的圓點在攝像機坐標系下的三維坐標，并構(gòu)建靶標平面方程。將激光線投射到不同姿態(tài)的靶標平面上，通過靶標平面方程計算出激光線上點在攝像機坐標系下的3D坐標，由不同位置重構(gòu)出激光點在攝像機坐標系下的3D坐標來完成光平面參數(shù)標定。通過對攝像機參數(shù)、畸變系數(shù)和光平面參數(shù)的標定，重構(gòu)目標物體進行測試。測量結(jié)果表明：該算法能夠快速、準確地獲取小車車體的三維坐標，并構(gòu)造出車體的三維模型。該方法適用于大視場的工業(yè)現(xiàn)場標定。

傳感器； 標定； 非線性優(yōu)化； 畸變； 光平面

0 引言

結(jié)構(gòu)光視覺檢測系統(tǒng)具有結(jié)構(gòu)簡單、檢測效率高、速度快且檢測信息量大等優(yōu)點，被充分應用于逆向工程、工業(yè)在線檢測及三維型面數(shù)字化[1-2]等領域。線結(jié)構(gòu)光傳感器主要由攝像機、激光器等組成，其數(shù)學模型包括攝像機透視投影模型和光平面方程。線結(jié)構(gòu)光傳感器的現(xiàn)場標定主要是對其模型參數(shù)進行標定，其參數(shù)包括攝像機的內(nèi)外參數(shù)、畸變系數(shù)及光平面方程參數(shù)，根據(jù)激光三角原理來獲得空間中被測物體的三維信息。攝像機標定法是較為傳統(tǒng)的攝像機參數(shù)標定方法之一[3]，其使用3D立體靶標上特征點直接求解攝像機模型參數(shù)，但需要3D立體靶標作為標定工具，增加了標定成本且應用場合受到限制。Tsai在1986年提出了一種基于徑向約束的兩步法標定方法，只考慮了徑向畸變而未考慮到切向畸變。張正友等人于2000年提出的2D平面靶標攝像機標定方法，其標定的精度較高、靈活性較強[4]，而且成本低，適用于攝像機參數(shù)的現(xiàn)場標定。

線結(jié)構(gòu)光平面標定方法主要有拉絲法、鋸齒靶法和交比不變法。文獻[5]、文獻[6]提出了利用交比不變原理來獲取線結(jié)構(gòu)光標定特征點，由于特征點不是直接從圖像中提取出的，所以其標定點精度易受到相機畸變系數(shù)等的影響，且只能獲取很少的標定特征點。文獻[7]、文獻[8]提出了基于靶標平面的線結(jié)構(gòu)光模型參數(shù)標定法，其操作較為簡單、精度較高、不需要其他設備作輔助進行標定，是比較常用的結(jié)構(gòu)光標定方法。文獻[9]提出了一種基于一維靶標的結(jié)構(gòu)光傳感器標定方法，可用于尺寸較大的結(jié)構(gòu)光測量系統(tǒng)標定，但其需要包含3個共線特征點提取。本文提出了一種線結(jié)構(gòu)光傳感器參數(shù)現(xiàn)場標定方法，通過帶參數(shù)法對光條進行標定，可以獲得更多精確的標定點3D坐標，從而確定光平面參數(shù)，本文方法可用于工業(yè)現(xiàn)場的大場景標定。

1 線結(jié)構(gòu)光傳感器三維視覺模型

圖1為線結(jié)構(gòu)光傳感器透視投影模型。

圖1 線結(jié)構(gòu)光傳感器透視投影模型

oc-xcyczc、o0-uv、o1-XY、ow-XWYWZW分別為攝像機坐標系、像平面坐標系、歸一化平面坐標系、世界坐標系,oc、oco1分別為攝像機光心和焦距。由圖1可知，結(jié)構(gòu)光平面π在被測物體表面形成曲線AB,AB上任意一點P在世界坐標系和攝像機坐標系下的齊次坐標為pW=(XW,YW,ZW，1)T、pc=(xc,yc,zc,1)T，對應的像平面上點P′和歸一化平面上點P″的齊次坐標分別為p′=(u,v)T、p″=(X,Y,1)T。

根據(jù)針孔成像模型，空間點P與各坐標系的關(guān)系為：

(1)

(2)

(3)

式中：R為3×3正交矩陣；T為平移向量；f為攝像機焦距；(u0,v0)為O1在像平面的中心點坐標；dX、dY為每個像素在X、Y軸上的物理尺寸。

將式(2)代入式(3)，得到攝像機坐標系下任意一點P與像平面點的坐標(u,v)的關(guān)系為：

(4)

式中：fx、fy、u0、v0、γ為攝像機內(nèi)部參數(shù)。

由式(4)可得兩個關(guān)于針孔成模型的約束條件：

(5)

設在攝像機坐標系下線結(jié)構(gòu)光平面方程為：

zc=Axc+Byc+C

(6)

(7)

式中：A0、B0、C0為化簡后光平面方程系數(shù)。

通過對攝像機和光平面方程參數(shù)的標定，由式(7)可求出光平面上任一點P在攝像機坐標系下的唯一確定的3D坐標。通過對外部參數(shù)R、T的標定，由式(1)即可確定該點在世界坐標系下的三維坐標。但在實際成像過程中，攝像機鏡頭會有一些畸變，主要為徑向畸變，也存在一些切向畸變?？紤]到鏡頭畸變情況，由式(7)變化得到的線結(jié)構(gòu)光傳感器模型為：

(8)

畸變校正后的(以像素為單位)圖像平面坐標為：

(9)

2 參數(shù)標定

2.1 攝像機參數(shù)標定

(10)

假設靶標平面位于世界坐標平面XwYw上，則有：

(11)

H=[h1h2h3]=λA[r1r2t]

(12)

式中：λ為常數(shù)因子；r1，r2為方向矢量；t為平移向量。

(13)

式中：h1、h2已求出，只有A-TA-1是未知的，A中包含了5個參數(shù)，至少需要k≥3個單映性矩陣，即2k個方程求解出攝像機內(nèi)部參數(shù)。

由內(nèi)參通過式(12)即可求出每幅圖像的外參。用以上參數(shù)作為初值采用L-M非線性優(yōu)化算法進行優(yōu)化，得到最終所有參數(shù)的優(yōu)化解。算法中的目標函數(shù)為：

(14)

式中：mi,j=(u,v);M=(Xw,Yw)。

2.2 線結(jié)構(gòu)光平面標定

線結(jié)構(gòu)光平面的標定主要包括兩個方面:一是激光線上標定點三維坐標的獲取[10]，二是光平面方程的求解。

①靶標姿態(tài)獲取。將設計好的靶標置于攝像機視野[11]中，拍攝靶標圖像；靶標的世界坐標已設定，通過對其進行相應的圖像處理可獲得靶標的圖像坐標；根據(jù)空間點與圖像點之間的映射關(guān)系，求出每幅圖像的外參。

②激光點圖像坐標獲取。在相同位置保持靶標姿態(tài)不變[12]，打開激光發(fā)射器，拍攝激光條圖像。靶標上的激光線圖像通過相應的檢測算法，可獲得其圖像坐標。為提高激光線上點圖像坐標的獲取精度，對光條圖像進行圖像處理操作，包括二值化、細化、去毛刺等操作，結(jié)合結(jié)構(gòu)元素細化方法，對光條中心線提取產(chǎn)生的毛刺進行剔除[13]。這種提取光條中心線的方法，可以減少其他噪聲干擾。再選定激光點初始和結(jié)束位置擬合成一條直線，用擬合直線上的點作為標定點，通過擬合直線法可以消除噪聲，提高激光線上標定點圖像坐標的提取精度。

③激光點三維坐標獲取[14]。通過對靶標姿態(tài)的標定，由式(1)可求得靶標平面上圓點在攝像機坐標系下的三維坐標，設靶標平面方程為：

(15)

由平面上圓點三維坐標可求出靶標平面在攝像機坐標系下的平面方程。激光線既在靶標平面，又在激光平面，聯(lián)立式(9)、式(15)，通過式(8)可求出激光點畸變校正后在攝像機坐標系下三維坐標。重復以上操作，拍攝不同位置的靶標圖像求取靶標姿態(tài)再拍攝相應位置的激光線的圖像，并求出不同激光線上點的三維坐標。

④計算光平面方程。從不同位置求取出的n個激光點的三維坐標，它們均滿足光平面方程，通過式(8)可求出平面方程系數(shù)，完成結(jié)構(gòu)光平面標定。

3 試驗與測量分析

3.1 攝像機標定結(jié)果

試驗采用德國Allied Vision公司生產(chǎn)的Mako G-131B高幀率的工業(yè)級千兆網(wǎng)CCD攝像機，攝像機配置8 mm定焦鏡頭。靶標由70個大小相同的圓點組成。本文從不同位置拍攝了15幅靶標圖像，用于攝像機內(nèi)外參數(shù)的標定。試驗采用張正友的基于2D平面靶標的攝像機標定方法，利用L-M非線性優(yōu)化算法進行優(yōu)化，求得所有內(nèi)參數(shù)優(yōu)化解。

攝像機內(nèi)參標定結(jié)果、畸變系數(shù)分別如表1、表2所示。

表1 攝像機內(nèi)參標定結(jié)果

表2 畸變系數(shù)

3.2 光平面標定結(jié)果

采用前面所述的結(jié)構(gòu)光平面標定的方法，拍攝了5組不同姿態(tài)下的靶標和激光圖像，標定靶標平面方程。在光平面上，先對光條圖像進行相應的圖像處理操作，包括二值化、細化、去毛刺等操作；然后擬合直線，并提取光條中心線；最后在所提取的光條中心線上均勻取點，作為標定所需的激光點的圖像坐標。

采用上述圖像處理及直線擬合的方法可以有效地去除噪聲的干擾，提高光條上激光點圖像坐標的提取精度。利用靶標平面方程，計算光條上激光點的三維坐標。利用上述方法重構(gòu)出的光條三維坐標如圖2所示。

圖2 光條三維坐標

表3為不同位置重構(gòu)的部分激光線上點的三維坐標。通過對不同姿態(tài)下激光線上點三維坐標的計算進行平面擬合，得到光平面的系數(shù)，從而完成了整個線結(jié)構(gòu)光的標定，其光平面標定結(jié)果如表4所示。

表3 激光線上點的三維坐標

表4 光平面標定結(jié)果

3.3 光條重構(gòu)被測三維物體

完成對線結(jié)構(gòu)光傳感器的標定，并將標定結(jié)果運用到模擬小車車體的測量上。將小車車體置于攝像機視野中，緩慢向前移動直到車尾處，并拍攝不同位置下車體的激光圖像。試驗中拍攝了226幅小車位置變化時的激光圖像，用來重構(gòu)小車車體測量的三維模型。

對試驗中獲得的激光圖像進行相應的圖像處理操作，獲取激光圖像在像坐標系下的坐標并進行畸變校正。通過攝像機和光平面參數(shù)的標定結(jié)果計算被測小車在攝像機坐標系下的3D坐標，并重構(gòu)出任意光條圖像。重構(gòu)的小車車體測量的三維效果圖如圖3所示。試驗表明，本文所用的線結(jié)構(gòu)光標定方法能夠有效地應用到大場景視覺檢測系統(tǒng)中。

圖3 車體測量三維效果圖

4 結(jié)束語

本文提出了一種線結(jié)構(gòu)光傳感器的現(xiàn)場標定方法。根據(jù)張正友的攝像機標定方法求出攝像機參數(shù)的初始值，再結(jié)合L-M非線性優(yōu)化算法對參數(shù)進行優(yōu)化，從而精確地完成攝像機內(nèi)外參數(shù)及畸變系數(shù)的標定。通過靶標平面方程得到激光線上標定點在攝像機坐標系下的三維坐標，由不同位置標定點坐標完成光平面方程的標定。本文還通過對線結(jié)構(gòu)光傳感器參數(shù)的標定，完成了基于線結(jié)構(gòu)光的模擬小車的測量試驗。試驗結(jié)果表明，本文的標定方法能夠有效地實現(xiàn)小車車體的測量。本文的標定方法具有成本低、計算簡單、操作靈活、測量精度高等優(yōu)點，適用于大場景的工業(yè)現(xiàn)場標定。

[1] TAMAS V,RALPH M,JORDAN C.Reverse engineering of geometic models-an introduction[J].Computer Aided Design,1997,29(4):255-268.

[2] SEOKBAE S,HYUNPUNG P,KUANH H L.Automated laser scanning system for reverse engineering and inspection[J].International Journal of Machine Tools & Manufacture,2002,42(8):889-897.

[3] ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4] 欒祿祥.室內(nèi)移動機器人機器視覺定位系統(tǒng)的設計[J].自動化儀表,2017,38(2):49-52.

[5] 陳新禹,馬孜,汪洋,等 .線結(jié)構(gòu)光參數(shù)的簡易標定方法[J].光電子.激光,2013(3):563-568.

[6] 周富強,張廣軍.表面視覺傳感器模型參數(shù)的簡易標定方法[J].機械工程學報,2005(3):175-179.

[7] 劉震,張廣軍,魏振忠,等.一種高精度線結(jié)構(gòu)光視覺傳感器現(xiàn)場標定方法[J].光學學報,2009(11):3124-3128.

[8] 韓建棟,呂乃光,董明利,等.線結(jié)構(gòu)光傳感系統(tǒng)的快速標定方法[J].光學精密工程,2009(5):958-963.

[9] 周富強,蔡斐華.基于一維靶標的結(jié)構(gòu)光視覺傳感器標定[J].機械工程學報,2010(18):7-12.

[10]田忠運.基于雙線結(jié)構(gòu)光三維檢測技術(shù)研究[D].南京：南京航空航天大學,2012.

[11]李鵬.加工中心在機復合式檢測系統(tǒng)的關(guān)鍵技術(shù)研究[D].大連：大連海事大學,2012.

[12]程傳景.線結(jié)構(gòu)光視覺傳感器的現(xiàn)場標定技術(shù)研究[D].大連:中國海洋大學,2006.

[13]王婉心,賈立鋒.骨架提取中的毛刺去除方法[J].廣東工業(yè)大學學報,2014(4):90-94.

[14]陳培芬.圓鋼視覺測量系統(tǒng)的關(guān)鍵技術(shù)研究[D].天津：天津大學,2014.

On-SiteCalibrationMethodfortheParametersofLightSensorwithLineStructure

PAN Yan1,ZHANG Wei1,ZHAO Yu2,LOU Xiangming2

(1.College of Quality and Safety Engineering,China Jiliang University,Hangzhou 310018,China;2.Research Institute of Wahaha，Hangzhou 310019,China)

To calibrate the parameter of light sensor with line structure accurately and promptly and efficiently,an on-site calibration method is proposed.Based on the camera calibration method,and combining with L-M nonlinear optimization algorithm,the internal and external parameters and the distortion coefficient of the camera are calibrated.Shooting the images of the plane target under different attitude,and using the target image to calculate the external parameters of the camera,then through the external parameter,the 3D coordinates of the point on the target in the coordinate system of camera are calculated,to construct the plane equation.The laser line is projected onto the target plane of different attitude,then through target plane equation,the 3D coordinates of the point on laser line in the coordinate system of camera calculated,from different positions to reconstruct the 3D coordinates of the laser points in camera coordinate system,to complete the light plane calibration.Through the calibration of the camera parameters and distortion coefficient and light plane parameters of the tested object will be used for the reconstruction and simulation of car body measurement.The test results show that the 3D coordinates of the car can be precisely obtained by the algorithm and construct the 3D model of the car.The algorithm can be applied to the on-site calibration in large field of view.

Sensor； Calibration; Nonlinear optimization； Distortion； Light plane

TH721;TP212

： A

10.16086/j.cnki.issn1000-0380.201709012

修改稿收到日期:2017-04-06

潘燕(1992—)，女，在讀碩士研究生，主要從事機器視覺、視覺測量等方向的研究。E-mail:1479532677@qq.com。 張偉(通信作者)，男，博士，副教授，主要從事數(shù)字化制造技術(shù)與裝備自動化、機器人技術(shù)、CAD/CAM等方向的研究。 E-mail:zhangwei@cjlu.edu.cn。