劉 玥， 林嘉睿， 劉 濤， 劉常杰， 葉聲華

（天津大學精密測試技術及儀器國家重點實驗室，天津 300072）

白車身視覺檢測系統(tǒng)中多類型傳感器全局校準技術

劉 玥， 林嘉睿， 劉 濤， 劉常杰， 葉聲華

（天津大學精密測試技術及儀器國家重點實驗室，天津 300072）

針對白車身視覺檢測系統(tǒng)中傳感器數(shù)量多、種類各異、分布空間大、位置關系復雜等問題，提出了一種適用于工業(yè)現(xiàn)場的多視覺傳感器全局校準技術?；谧鴺讼甸g接統(tǒng)一法，設計多個精密立體靶標作為坐標系轉(zhuǎn)換中介，利用激光跟蹤儀獲取現(xiàn)場校準數(shù)據(jù)，在單位四元數(shù)數(shù)學模型的基礎上，求解兩坐標系間最優(yōu)轉(zhuǎn)換矩陣，將固定式傳感器和柔性傳感器的測量坐標系統(tǒng)一到全局坐標系。該方法已在某企業(yè)在線測量項目中成功應用，現(xiàn)場只需完成傳感器坐標系與全局坐標系轉(zhuǎn)換關系標定，降低了復雜現(xiàn)場環(huán)境對多傳感器全局校準的限制，簡化了校準過程，提高了環(huán)境適應性，校準后檢測系統(tǒng)各向測量精度均優(yōu)于±0.2mm，滿足白車身在線測量精度要求。

計量學；全局校準；多類型傳感器；白車身；激光跟蹤儀

1 引 言

基于三維視覺檢測技術的白車身三維視覺檢測系統(tǒng)具有非接觸、速度快、可在線等突出優(yōu)點，能夠?qū)崿F(xiàn)汽車白車身各分總成、總成上關鍵點三維尺寸的100%在線測量［1］。

利用工業(yè)機器人的柔性在線視覺檢測系統(tǒng)［2］，實現(xiàn)了柔性測量和高度自動化，已廣泛應用于現(xiàn)代汽車制造業(yè)。近年來隨著汽車工業(yè)的飛速發(fā)展，對于車身制造和在線檢測提出了更高的要求，尤其是針對車身底部關鍵尺寸的控制已經(jīng)越來越受到生產(chǎn)的重視。由于工業(yè)機器人運動軌跡受限于滾床、夾具以及待測車身，無法滿足車身底部特征的測量要求，因此必須引入固定式視覺測量系統(tǒng)［3］，將固定式傳感器安裝在車身底部測量待測點，與柔性檢測系統(tǒng)構成多類型傳感器視覺測量系統(tǒng)，見圖1。

圖1 白車身視覺檢測系統(tǒng)

為了確保測量系統(tǒng)的功能實現(xiàn)和測量精度，測量系統(tǒng)的全局校準則成為至關重要的一個環(huán)節(jié)，由于柔性傳感器與固定傳感器的機械結(jié)構、測量方式不同，且固定式傳感器分布空間較大，以及車身檢測現(xiàn)場環(huán)境復雜等因素，給全局校準技術提出了很大的難題，因此必須研究一種適用于工業(yè)現(xiàn)場的多類型視覺傳感器高精度全局校準技術。

目前，針對工業(yè)現(xiàn)場多視覺傳感器現(xiàn)場全局校準技術的研究較少，天津大學馮克猷和羅明［4］、合肥工業(yè)大學盧榮勝和香港城市大學Y.F.Li［5］等學者使用雙經(jīng)緯儀交會測量系統(tǒng)，通過精密靶標實現(xiàn)大視場視覺測量系統(tǒng)的全局校準，此方法在較大空間內(nèi)能取得較高精度，但在復雜環(huán)境下，雙經(jīng)緯儀擺放空間受限并且交匯測量易存在測量盲區(qū)，坐標系建立采集控制點步驟繁雜，在車身檢測現(xiàn)場應用需要改進。

針對上述方法的局限性本研究提出了一種應用于復雜現(xiàn)場環(huán)境的大視場多類型視覺傳感器的高精度全局校準方法。用激光跟蹤儀作為外部精密坐標測量設備，通過精密靶標建立坐標系間的轉(zhuǎn)換關系，完成全局校準。該方法操作簡單，能夠在車身檢測現(xiàn)場等復雜環(huán)境下高效率地完成不同類型視覺傳感器間的全局校準任務，滿足在線監(jiān)控白車身加工尺寸變化的精度要求。

2 多類型視覺傳感器全局校準技術

2.1 精密靶標的設計

設計了基準靶標和介質(zhì)靶標輔助來完成全局校準。

基準靶標作為測量基準用于標定傳感器相機的外部參數(shù)，建立相機坐標系與世界標系的轉(zhuǎn)換關系。靶標需要在相機視場內(nèi)提供足夠多的控制點，由于受到現(xiàn)場環(huán)境的限制，靶標體積不宜過大，因此采用5*7的圓孔陣列作為相機測量特征點，圓孔采用精密加工中心銑削而成，保證了加工精度，如圖2所示。結(jié)合精密圓孔擬合算法以及單應性矩陣的獲取方法［6］，實現(xiàn)標定點的精確提取及與其三維世界坐標的準確對應。為了便于激光跟蹤儀進行現(xiàn)場標定，設置4個激光跟蹤儀3.81 cm靶球磁座作為激光跟蹤儀測量的控制點，并使用精度高于激光跟蹤儀的三坐標測量機（CMM）精確標定圓孔圓心和匹配磁座放置的靶球球心間的位置關系，建立起相機坐標系到跟蹤儀坐標系的轉(zhuǎn)換關系。

圖2 基準靶標

介質(zhì)靶標作為固定傳感器的附件，校準時安裝在相機一側(cè)，通過機械加工與傳感器精密配合，見圖3。靶標上提供的激光跟蹤儀測量點，用于建立傳感器測量坐標系，并定義此坐標系為傳感器坐標系。考慮靶標應用于復雜的現(xiàn)場環(huán)境下，采用冗余控制點的設計，將靶標加工為方型套筒，為控制點設置留有充足的空間，在除底面外的3個面上，共設置9個激光跟蹤儀測量點作為控制點，其位置關系使用激光跟蹤儀事先標定，在現(xiàn)場只需測量任意3個控制點即可建立固定式傳感器的傳感器坐標系，從而降低了復雜環(huán)境對控制點測量的限制。

圖3 介質(zhì)靶標裝配圖

2.2 白車身視覺檢測系統(tǒng)全局校準的實現(xiàn)

白車身視覺檢測系統(tǒng)全局校準系統(tǒng)如圖4所示，由激光跟蹤儀和精密靶標組成，使用激光跟蹤儀作為高精度外部坐標測量設備，設計多種精密靶標作為坐標系轉(zhuǎn)換的中介，輔助從相機坐標系到全局坐標系的轉(zhuǎn)換。本研究提出的全局校準技術分為柔性傳感器全局校準和固定式傳感器全局校準兩個部分。

圖4 白車身視覺檢測系統(tǒng)現(xiàn)場全局校準系統(tǒng)

為了降低復雜現(xiàn)場環(huán)境對全局校準的影響，將固定式傳感器相機坐標系到傳感器坐標系轉(zhuǎn)換關系的標定安排在環(huán)境條件良好的實驗場所進行，見圖5。在系統(tǒng)測量現(xiàn)場，只需如圖4所示使用激光跟蹤儀建立起傳感器坐標系到全局坐標系的轉(zhuǎn)換關系，即完成固定式傳感器全局校準。

柔性傳感器通過連桿安裝在機器人末端法蘭盤進行坐標測量，現(xiàn)場環(huán)境對其約束較小，但是需要標定手眼關系［7］。本研究應用了一種不依賴于機器人運動模型的方法，能夠在環(huán)境良好的實驗場所中快速準確地獲得手眼關系。使用圖5中的標定系統(tǒng)，將基準靶標作為中介固定放置在測量空間內(nèi)，得到柔性傳感器坐標系和靶標坐標系之間的關系，并利用激光跟蹤儀建立靶標坐標系到跟蹤儀坐標系的轉(zhuǎn)換關系及連接桿件銷孔坐標系到跟蹤儀坐標系的轉(zhuǎn)換關系，由于實際安裝時銷孔坐標系與法蘭盤坐標系重合，從而由坐標變換鏈：傳感器坐標系→靶標坐標系→跟蹤儀坐標系→法蘭盤坐標系（銷孔坐標系），實現(xiàn)手眼標定。

圖5 固定傳感器相機標定系統(tǒng)

機器人法蘭盤坐標系與機器人基坐標系之間的轉(zhuǎn)換關系，可以通過機器人正向運動學模型得到。最后需要對機器人外部參數(shù)進行校準，如圖6所示，將機器人變換至少3個位姿，每個位姿下測量出TCP在跟蹤儀坐標系下的坐標值，同時利用D-H模型［8］得到TCP在機器人基坐標系下的坐標值，從而將機器人基坐標系與跟蹤儀坐標系統(tǒng)一起來，再利用激光跟蹤儀建立跟蹤儀坐標系與全局坐標系的轉(zhuǎn)換關系，進而將機器人基坐標系到全局坐標系統(tǒng)一起來，完成機器人外部參數(shù)的校準。

圖6 機器人外部參數(shù)校準示意圖

要將柔性與固定式視覺傳感器的測量坐標系統(tǒng)一到全局坐標系，必須在現(xiàn)場標定中以相同的全局控制點作為基準，利用激光跟蹤儀測量控制點精確建立全局坐標系，獲取現(xiàn)場校準數(shù)據(jù)完成整體系統(tǒng)的全局校準。

2.3 全局校準參數(shù)的求解

全局參數(shù)的求解分為坐標系轉(zhuǎn)換矩陣求解和相機外部參數(shù)求解兩個部分。坐標系轉(zhuǎn)換矩陣由平移矩陣T和旋轉(zhuǎn)矩陣R組成，可以表示坐標變換關系為：式中，Pi、Qi為第i點在兩個相關坐標下的坐標值。

常用的旋轉(zhuǎn)矩陣表示方法有三點法、微小角近似法、羅德里格矩陣法、奇異值分解法（SVD）以及四元數(shù)法，文獻［9］中對上述幾種方法進行了詳細的對比分析。其中奇異值分解法和四元數(shù)法易于實現(xiàn)且實用性較強，但是由于靶標設計的限制控制點較為密集，SVD算法在此情況下V向量方向具有隨機性，容易產(chǎn)生奇異解，在本研究中使用無法保證穩(wěn)定性，所以采用單位四元數(shù)表示旋轉(zhuǎn)矩陣。設向量q＝［q0q1q2q3］T為單位四元數(shù)組，旋轉(zhuǎn)矩陣的單位四元數(shù)的表示方法為［10］：

在機器視覺實際應用中，轉(zhuǎn)角一般小于180°，則可限制四元數(shù)的第一個元素為正，即q0＞0。

基于單位四元數(shù)的旋轉(zhuǎn)矩陣估計算法［11］，將問題轉(zhuǎn)化為求二次型最小特征值對應的單位特征向量。首先建立目標函數(shù)

根據(jù)空間中全局控制點位置不變的性質(zhì)，則兩組點有相同的質(zhì)心，將兩組坐標數(shù)據(jù)質(zhì)心化，分離出T。取

作如下定義：

這里mij是M的元素，trace為矩陣的跡，進一步定義對稱矩陣

其中，I為3×3單位陣，則式（4）問題化為如下問題，即因此求R的問題轉(zhuǎn)化為求一個單位向量Qu使二次型HQu最小，即對應于H最小特征值的單位特征向量將q帶入式（1）即可求得旋轉(zhuǎn)矩陣R，T則可由下式得到

相機外部參數(shù)求解采用相機標定法，通過已知相機內(nèi)參和外參標定系統(tǒng)，確定外部參數(shù)。根據(jù)攝像機針孔近似透視成像模型：

式中：ρ為比例因子，M為3×4投影矩陣，M＝A［R｜T］表征了二維圖像坐標到三維世界坐標之間的基本關系；其中，A為內(nèi)部參數(shù)矩陣；R為單位正交旋轉(zhuǎn)矩陣；T為平移矩陣；

其中，fx和fy為相機在x、y方向的有效焦距，u0和v0為相機的像面中心。

由此定義靶標坐標系到像面坐標系的轉(zhuǎn)換矩陣：

使用基準靶標進行標定，控制點為共面點，則zw＝0，采用直接線性變換［12，13］的方法解出投影矩陣M。

3 實驗驗證

本文提出的方法已在某企業(yè)在線測量項目中進行了實驗驗證。

白車身視覺檢測系統(tǒng)由20臺固定式視覺傳感器和4臺柔性視覺傳感器組成，固定傳感器通過連桿-萬向球的機械連接形式安裝在滾床下方的適當位置，柔性傳感器通過連桿安裝在機器人法蘭盤上，現(xiàn)場使用激光跟蹤儀（Faro Xi）進行標定。

白車身視覺檢測系統(tǒng)需要將測量數(shù)據(jù)與車身數(shù)模標準值進行比對，選擇車身靜態(tài)坐標系作為全局坐標系，即在工裝夾具不發(fā)生變化的情況下，直接根據(jù)定位工裝建立的坐標系?，F(xiàn)場使用激光跟蹤儀測量預留全局控制點建立車身坐標系，在視覺傳感器安裝完成后，使用本文論述的方法對整體系統(tǒng)進行全局校準。

利用校準后的系統(tǒng)測量基準白車身上的待測點，獲得其在車身坐標系下的坐標值（表1），并與基準白車身待測點在激光跟蹤儀下的測量結(jié)果（表2）進行對比，得到測量點坐標偏差，見表3。其中固定式傳感器測量點與柔性傳感器測量點分別取10個，固定視覺測量系統(tǒng)測量待測點的坐標最大偏差為±0.1 mm，各坐標分量的RMS誤差為：xRMS＝0.073 mm，yRMS＝0.066 mm，zRMS＝0.072 mm。柔性視覺測量系統(tǒng)測量待測點坐標最大偏差為±0.2 mm，各坐標分量的RMS誤差為：xRMS＝0.124 mm，yRMS＝0.116 mm，zRMS＝0.157 mm，總體測量系統(tǒng)滿足白車身視覺檢測系統(tǒng)的測量精度要求。柔性視覺測量偏差較大，主要是由于測量過程中引入了工業(yè)機器人定位誤差。

4 結(jié) 論

本文針對白車身視覺檢測系統(tǒng)傳感器數(shù)量多、種類各異、分布空間大、位置關系復雜等問題，提出了一種激光跟蹤儀結(jié)合多種精密靶標的視覺檢測系統(tǒng)現(xiàn)場全局校準方法，解決了多類型傳感器視覺測量系統(tǒng)在惡劣現(xiàn)場環(huán)境下的全局校準問題，該方法操作簡單，效率高，并在白車身在線檢測現(xiàn)場驗證了其可行性與精度，校準后的測量系統(tǒng)最大誤差低于0.2 mm，滿足白車身視覺檢測系統(tǒng)的測量精度要求。

表1 視覺檢測系統(tǒng)測量結(jié)果mm

表2 激光跟蹤儀測量結(jié)果mm

表3 測量點坐標偏差mm

［1］ 羅明.多傳感器及其視覺測量系統(tǒng)的研究及應用［D］.天津：天津大學，1996.

［2］ 劉常杰，邾繼貴，楊學友，等.汽車白車身在線激光視覺檢測站［J］.儀器儀表學報，2004，25（4）：671－672.

［3］ 邾繼貴，王仲，周富強，等.IVECO車身視覺檢測系統(tǒng)現(xiàn)場溯源研究［J］.計量學報，2000，29（1）：28－33.

［4］ 馮克猷，羅明.多視覺檢測系統(tǒng)的定標［J］.計量學報，1995，16（3）：217－220.

［5］ Lu R S，Li Y F.A global calibration method for largescale multi-sensor measurement systems［J］.Sens Actuators A：Phys，2004，116（3）：384－393.

［6］ 吳斌，朱洪巖，肖心通，等.視覺測量中基于單應性矩陣的平面靶標圖像特征提?。跩］.光電子激光，2011，22（8）：1211－1215.

［7］ 郭劍鷹，呂恬生.機器人手眼矩陣求解算法［J］.計量技術，2003，（4）：3－5.

［8］ 任永杰，邾繼貴，楊學友，等.基于距離精度的測量機器人標定模型及算法［J］.計量學報，2008，29（3）：198－202.

［9］ 林嘉睿.大型復雜物體組合測量方法研究［D］.天津：天津大學，2012.

［10］ 楊凡，李廣云，王力.三維坐標轉(zhuǎn)換方法研究［J］.測繪通報，2010，6（5）：7－15.

［11］ Faugeras O D，Lustman F，Toscani G.Motion and Structure from Motion from Point and Line Matches［C］／／Computer Society Press of the IEEE，London，1987：25－34.

［12］ 班瑩，段發(fā)階，胡亮，等.基于激光掃描的汽車車身測量系統(tǒng)傳感器標定的研究［J］.計量學報，2008，29（1）：17－20.

［13］ 吳斌，薛婷，邾繼貴，等.一種立體視覺測量高精度標定新方法［J］.光電工程，2005，32（2）：66－70.

Multi-sensor Global Calibration Technology of Vision Sensor in Car Body-in-white VisualMeasurement System

LIU Yue， LIN Jia-rui， LIU Tao， LIU Chang-jie， YE Sheng-hua
（State Key Laboratory of Precision Measuring Technology＆Instruments，Tianjin University，Tianjin 300072，China）

A novel global calibration method for the multi-sensor vision measurement system in industrial field is proposed to solve the problem of multiple sensors of different types，large distribution space and complicated position relations in the car body-in-white vision measurement system.Based on the indirect coordinates transformation，two precise 3D targets are designed as the intermediary in coordinates transformation，and field calibration data is acquired by a laser tracker.On the basis of the unit quaternion global calibration model，the optimized transformation parameters can be established in order to unify the stationary sensor coordinates and flexible sensors coordinates to the global coordinate system.Themethod has been applied in the inlinemeasurement station of a company successfully.Only the calibration of transformation relation between the sensor coordinates and the global coordinates is needed in the application filed. Therefore，the complex environmental restriction is reduced in multi-sensor global calibration.Meanwhile，the environment adaptability is improved and the calibration process is simplified.Themaximum deviation of the visionmeasurement system is±0.2mm，whichmeets the accuracy requirements of themanufacture dimension changes control of car body-in-white.

Metrology；Global calibration；Multi-sensor visionmeasurement system；Car body-in-white；Laser tracker

TB92

A

1000-1158（2014）03-0204-06

10．3969／j．issn．1000-1158．2014．03．03

2013-06-14；

2013-09-23

國家863計劃（2012AA041205）；“十二五”國家科技支撐計劃（2011BAF13B04）

劉玥（1988－），男，天津人，天津大學精密測試技術及儀器國家重點實驗室碩士，主要從事視覺測量的研究。liuyue2007＠tju.edu.cn