王寶俊 張 超 崔海華 姜 濤 傅世強 王鴻熠 吳 凱

2021年中國航天大會專欄

面向裝配定位的大視場測量系統(tǒng)組合標(biāo)定方法

王寶俊張 超崔海華姜 濤傅世強王鴻熠吳 凱

（1. 南京航空航天大學(xué)智能材料與結(jié)構(gòu)航空科技部級重點實驗室，南京 210016；2.北京航星機(jī)器制造有限公司，北京 100013）

針對航天大部件裝配中的定位過程，為解決所使用的視覺系統(tǒng)標(biāo)定方法復(fù)雜、標(biāo)定精度低的問題，提出一種平面靶標(biāo)和一維靶標(biāo)組合的雙目視覺系統(tǒng)標(biāo)定方法。該方法結(jié)合單應(yīng)性變換原理，利用小型平面靶標(biāo)進(jìn)行組合標(biāo)定視覺系統(tǒng)內(nèi)參，將內(nèi)參作為輸入，利用一維編碼靶標(biāo)標(biāo)定視覺系統(tǒng)外參，在保證內(nèi)外參數(shù)標(biāo)定精度的基礎(chǔ)上，大大簡化雙目視覺系統(tǒng)實際使用過程中的標(biāo)定步驟，能夠有效提高標(biāo)定效率。實際標(biāo)定實驗結(jié)果表明，雙目視覺系統(tǒng)標(biāo)定精度可達(dá)0.08mm，獲得相機(jī)內(nèi)參后可對外參進(jìn)行在線標(biāo)定，標(biāo)定精度和效率均較高。

雙目視覺系統(tǒng)標(biāo)定；平面靶標(biāo)；一維編碼靶標(biāo)；單應(yīng)性變換；歸一化算法

1 引言

在航天大部件裝配過程中由于部件尺寸大、剛性弱、易變形等特性，對其定位引導(dǎo)精度提出了較高要求。視覺方式作為常見的測量檢測、定位引導(dǎo)和精度驗證的手段，因其精度高、操作簡便而廣泛應(yīng)用。視覺系統(tǒng)在使用中，標(biāo)定是最為基礎(chǔ)和關(guān)鍵的技術(shù)之一，標(biāo)定的方法和結(jié)果影響著最終的效率和精度。視覺系統(tǒng)標(biāo)定是指建立圖像像素位置與場景點位置之間的關(guān)系，途徑是根據(jù)相機(jī)模型由特征點的圖像坐標(biāo)和世界坐標(biāo)求解相機(jī)內(nèi)外參數(shù)。

雙目視覺系統(tǒng)作為常見的視覺測量方式，國內(nèi)外學(xué)者已經(jīng)對其標(biāo)定方法做了大量研究工作。按照是否使用標(biāo)定物，標(biāo)定方法可分為主動視覺標(biāo)定方法和使用標(biāo)定物的標(biāo)定方法。主動視覺標(biāo)定方法需要控制相機(jī)按照特定方式移動，難以保證相機(jī)運動精度，因此在實際應(yīng)用中難以推廣。使用標(biāo)定物的標(biāo)定方法按照標(biāo)定物的不同又可以分為三維靶標(biāo)法、平面靶標(biāo)法和一維靶標(biāo)法。三維靶標(biāo)法標(biāo)定精度高，但其存在自遮擋問題，且制造加工難度大，實際應(yīng)用較為困難；平面靶標(biāo)法標(biāo)定精度較高，但問題在于靶標(biāo)要覆蓋整個視場才能保證標(biāo)定精度，故靶標(biāo)尺寸大、標(biāo)定步驟復(fù)雜；一維靶標(biāo)法標(biāo)定精度略低于前兩種方法，但其標(biāo)定方式靈活高效且成本低，適合在線標(biāo)定。

針對航天大部件裝配定位的實際環(huán)境與條件，單一的標(biāo)定方法難以同時滿足高精度高效率的要求。本文提出一種平面靶標(biāo)和一維靶標(biāo)組合的雙目視覺系統(tǒng)標(biāo)定方法，利用小型平面靶標(biāo)組合構(gòu)造覆蓋相機(jī)整個視場的大型平面靶標(biāo)，進(jìn)而標(biāo)定雙目系統(tǒng)內(nèi)參，以內(nèi)參作為輸入，利用一維編碼靶標(biāo)在線標(biāo)定外參。實驗表明，該方法在保證雙目視覺系統(tǒng)標(biāo)定精度的基礎(chǔ)上，能夠有效簡化標(biāo)定步驟，提高標(biāo)定效率。

2 雙目視覺系統(tǒng)模型

圖1 雙目視覺模型示意圖

左右相機(jī)坐標(biāo)系之間的相互位置關(guān)系可通過空間轉(zhuǎn)換矩陣表示為：

實際相機(jī)成像過程中會存在畸變，一般只考慮徑向和切向畸變。徑向畸變可描述為：

切向畸變可描述為：

3 組合式標(biāo)定原理

3.1 基于組合式平面靶標(biāo)的內(nèi)參標(biāo)定

在利用平面靶標(biāo)進(jìn)行相機(jī)內(nèi)參標(biāo)定時，要想獲得高精度的標(biāo)定結(jié)果，靶標(biāo)的尺寸需要和測量視場范圍一樣大，而大尺寸的平面靶標(biāo)設(shè)計制造困難。因此采用將多個小型平面靶標(biāo)組合構(gòu)造大型靶標(biāo)的方式進(jìn)行標(biāo)定，在保證內(nèi)參標(biāo)定精度的同時，小型平面靶標(biāo)制造相對簡單，且成本較低。

圖2 平面靶標(biāo)組合示意圖

式（9）可改寫為：

上述步驟未考慮鏡頭畸變，同時標(biāo)定圖像會存在一定噪聲，因此需要進(jìn)一步采用列文伯格-馬夸爾特算法（Levenberg-Marquardt，LM算法）優(yōu)化相機(jī)內(nèi)參。

設(shè)雙目視覺系統(tǒng)共拍攝了張標(biāo)定圖像，為標(biāo)定過程中使用的小型平面靶標(biāo)數(shù)目，分別建立左右相機(jī)最優(yōu)化目標(biāo)函數(shù)：

至此，通過小型平面靶標(biāo)組合的方式已得到最優(yōu)的左右相機(jī)內(nèi)部參數(shù)。由于相機(jī)內(nèi)部參數(shù)只與相機(jī)本身特性有關(guān)，故認(rèn)為外界環(huán)境改變不會影響相機(jī)內(nèi)參。標(biāo)定好內(nèi)部參數(shù)后，認(rèn)為相機(jī)內(nèi)參在很長一段時間內(nèi)不會改變。在雙目系統(tǒng)實際使用中，只需進(jìn)行一次上述相機(jī)內(nèi)參標(biāo)定，后續(xù)使用時只要對雙目系統(tǒng)左右相機(jī)外部參數(shù)進(jìn)行在線標(biāo)定即可，因此可以簡化實際使用時的標(biāo)定步驟。

3.2 基于一維靶標(biāo)的外參標(biāo)定

已有很多學(xué)者研究利用一維靶標(biāo)對雙目系統(tǒng)進(jìn)行標(biāo)定，其中最關(guān)鍵的步驟是如何通過多組匹配圖像點坐標(biāo)快速準(zhǔn)確地解算相機(jī)外參初值。對于這一問題，最經(jīng)典的方法是基于對極幾何原理的八點算法。

3.2.1 傳統(tǒng)八點算法解算基礎(chǔ)矩陣

因此，式（13）可化為與本質(zhì)矩陣有關(guān)的方程。

基礎(chǔ)矩陣和本質(zhì)矩陣都是雙目視覺系統(tǒng)的關(guān)鍵參數(shù)，二者類似。由式（13）或式（15），只要知道多組匹配像點坐標(biāo)即可解算。一般采用8對匹配像點進(jìn)行基礎(chǔ)矩陣或本質(zhì)矩陣的求解，即傳統(tǒng)的八點算法。

3.2.2 加權(quán)平移歸一化算法解算基礎(chǔ)矩陣

傳統(tǒng)八點算法是易于實現(xiàn)的線性算法，但其對噪聲數(shù)據(jù)異常敏感，并且求得的解不穩(wěn)定，估計得到的基礎(chǔ)矩陣精度也不高，原因在于八點法在處理時認(rèn)為每對匹配點對陣的影響都是相同的，但實際上每個點誤差不同，對陣的影響也各不相同。因此，采用一種加權(quán)平移歸一化算法，引入余差作為權(quán)因子，以排除噪聲干擾，使得高精度的匹配點對陣的影響大而低精度的匹配點影響小。

式中：是向量Fp的第個分量。

再對圖像坐標(biāo)作歸一化處理：

3.2.3 解算外部參數(shù)

奇異值分解得到的只是比例意義上的，還需對其結(jié)合一維靶標(biāo)長度進(jìn)行絕對定向。通過一維靶標(biāo)已知的真實長度和測量所得特征點間比例意義上的距離求解比例系數(shù)，進(jìn)而最終確定平移向量。

3.2.4 非線性優(yōu)化外部參數(shù)

在相機(jī)外參標(biāo)定過程中由于圖像噪聲的影響會導(dǎo)致最終標(biāo)定結(jié)果的不準(zhǔn)確，因此結(jié)合一維靶標(biāo)特征點距離約束對相機(jī)外參進(jìn)行LM非線性優(yōu)化，建立最優(yōu)化目標(biāo)函數(shù)

4 標(biāo)定實驗與結(jié)果分析

本文提出的算法均已使用C++編程語言完成實現(xiàn)。為驗證所提出的雙目系統(tǒng)平面靶標(biāo)和一維靶標(biāo)組合式標(biāo)定方法的可行性和有效性，對雙目視覺系統(tǒng)進(jìn)行了標(biāo)定實驗。

標(biāo)定實驗環(huán)境和條件如下：雙目視覺系統(tǒng)兩相機(jī)采用德國映美精CMOS工業(yè)相機(jī)，型號為DMK 33GP031，相機(jī)分辨率為2592×1944pixel（5MP），鏡頭焦距為8mm，測量距離約為2m。

對于標(biāo)定內(nèi)參所用的小型平面靶標(biāo)，采用如圖4a所示的形式。小型平面靶標(biāo)正中間的方形編碼標(biāo)志邊長為75mm，其作用是確定靶標(biāo)坐標(biāo)系，同時不同的編碼標(biāo)志可以區(qū)分不同的小型靶標(biāo)，以便于組合。靶標(biāo)上各圓點的半徑為15mm，圓心間距為45mm。將4個小型平面靶標(biāo)進(jìn)行組合以覆蓋雙目視覺系統(tǒng)整個視場范圍，如圖4b所示。

圖4 小型平面靶標(biāo)示意圖

按照這種組合方式在相機(jī)視場內(nèi)調(diào)整靶標(biāo)，獲得不同的位姿關(guān)系，左右相機(jī)分別拍攝20張圖像，然后利用本文標(biāo)定方法標(biāo)定雙目系統(tǒng)內(nèi)參矩陣，內(nèi)參標(biāo)定結(jié)果如表1所示。

表1 雙目視覺系統(tǒng)內(nèi)參標(biāo)定結(jié)果

為驗證內(nèi)參標(biāo)定精度，對平面靶標(biāo)上的特征點進(jìn)行三維重建，統(tǒng)計左右相機(jī)20張圖像每張圖像重建出的靶標(biāo)特征點坐標(biāo)之間的距離的平均值，并與真值45mm進(jìn)行比較，比較結(jié)果如圖5所示。

圖5 靶標(biāo)特征點距離重建結(jié)果

由圖5可以看出，靶標(biāo)特征點重建精度基本保持在±0.1mm以內(nèi)，可見精度較高。

標(biāo)定外參所用的一維靶標(biāo)采用如圖6的形式，一維靶標(biāo)上粘貼有編碼標(biāo)志點。相較于傳統(tǒng)圓形標(biāo)志點，編碼點具有匹配性好、提取精度高、不需要特定匹配算法等優(yōu)點。

圖6 一維靶標(biāo)示意圖

將一維靶標(biāo)在雙目視覺系統(tǒng)視場內(nèi)任意擺放20次，獲得左右相機(jī)拍攝圖像，利用本文方法標(biāo)定外參，并與傳統(tǒng)的八點算法進(jìn)行比較，標(biāo)定和比較的結(jié)果如表2所示。

表2 雙目視覺系統(tǒng)外參標(biāo)定結(jié)果

圖7 兩種方法余差結(jié)果比較

為驗證外參標(biāo)定精度，采用余差作為衡量標(biāo)準(zhǔn)之一，確保減少噪聲對圖像坐標(biāo)點的干擾，保證本文算法的正確性。本文方法與傳統(tǒng)八點算法在余差上的差異如圖7所示。

由圖7可以看出，兩種方法余差曲線圖趨勢一致，因此可以說明本文方法的正確性。同時由余差數(shù)據(jù)可以明顯看出，本文所計算的余差精度是傳統(tǒng)八點算法的100倍左右。

再將矩陣的條件數(shù)作為衡量標(biāo)準(zhǔn)，判斷估計的基礎(chǔ)矩陣的魯棒性好壞。矩陣的條件數(shù)是對矩陣誤差或不確定度的敏感性的度量，直接反映了矩陣的魯棒性，條件數(shù)越大，矩陣的魯棒性就越差，這時矩陣稱做是病態(tài)的；條件數(shù)越小，矩陣的魯棒性就越好，這時矩陣稱做是良態(tài)的。矩陣的條件數(shù)和范數(shù)有關(guān)，表3顯示了不同范數(shù)下本文算法和傳統(tǒng)八點算法所估計的基礎(chǔ)矩陣的差異。

表3 兩種方法基礎(chǔ)矩陣條件數(shù)比較

從表3可以看出，在不同的范數(shù)下，傳統(tǒng)八點算法所估計出的基礎(chǔ)矩陣條件數(shù)是本文方法的10～10倍，因此本文方法可以有效改善基礎(chǔ)矩陣的條件數(shù)，提高了基礎(chǔ)矩陣的魯棒性。

因此綜合余差和矩陣的條件數(shù)兩種衡量標(biāo)準(zhǔn)，本文的外參標(biāo)定方法可以有效提高基礎(chǔ)矩陣估計的精度，提高外參結(jié)果的精度。

最后，本文利用標(biāo)定好的雙目視覺系統(tǒng)觀測小型標(biāo)準(zhǔn)靶標(biāo)，進(jìn)一步驗證本文標(biāo)定方法的準(zhǔn)確性和有效性。如圖8所示，每個小型標(biāo)準(zhǔn)靶標(biāo)兩點之間的距離均為90mm，通過標(biāo)定好的雙目視覺系統(tǒng)進(jìn)行測量和三維重建。

圖8 小型標(biāo)準(zhǔn)靶標(biāo)示意圖

將測量結(jié)果與標(biāo)準(zhǔn)值進(jìn)行比對，測量結(jié)果如圖9所示。

由圖9分析可知，測量結(jié)果最大誤差為0.179mm，最小誤差為0.011mm，誤差平均值為0.078mm，測量結(jié)果的均方根誤差為=0.081mm。將本文方法與其他文獻(xiàn)或方法進(jìn)行對比，對比結(jié)果如表4所示。

圖9 小型標(biāo)準(zhǔn)靶標(biāo)測量結(jié)果

表4 不同標(biāo)定方法結(jié)果對比

由表4分析可知，本文的組合式標(biāo)定方法測量誤差均低于其他文獻(xiàn)中的方法，因此說明本文標(biāo)定方法可以獲得較高的標(biāo)定精度。

4 結(jié)束語

在航天大部件的裝配定位過程中，視覺系統(tǒng)的標(biāo)定是最為基礎(chǔ)和關(guān)鍵的技術(shù)之一。本文提出一種平面靶標(biāo)和一維靶標(biāo)組合的雙目視覺系統(tǒng)標(biāo)定方法，利用小型平面靶標(biāo)進(jìn)行組合構(gòu)造覆蓋相機(jī)整個視場的大型平面靶標(biāo)，進(jìn)而標(biāo)定雙目系統(tǒng)內(nèi)參，利用一維編碼靶標(biāo)結(jié)合加權(quán)平移歸一化算法標(biāo)定外參。實驗結(jié)果表明，本文方法能夠在保證雙目視覺系統(tǒng)標(biāo)定精度的基礎(chǔ)上，有效簡化標(biāo)定步驟，提升視覺系統(tǒng)的標(biāo)定效率，可行性與實用性較高。

1 張廣軍. 視覺測量[M]. 北京：科學(xué)出版社，2008：102～103

2 朱嘉，李醒飛，徐穎欣. 攝像機(jī)的一種主動視覺標(biāo)定方法[J]. 光學(xué)學(xué)報，2010，30(5)：1297～1303

3 孫軍華，劉震，張廣軍，等. 基于柔性立體靶標(biāo)的攝像機(jī)標(biāo)定[J]. 光學(xué)學(xué)報，2009，29(12)：3433～3439

4 王晨，張宗華，丁宇航，等. 基于立體標(biāo)靶的雙目系統(tǒng)標(biāo)定研究[J]. 光學(xué)技術(shù)，2020，46(3)：322～329

5 Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11): 1330～1334

6 Valsamis N, Ilias K, George K, et al. Fully automatic camera calibration using regular planar patterns[J]. Int Arch Photogram Remote Sens Spatial Inf Sci, 2008, 37(B5): 21～26

7 王亮，吳福朝. 基于一維標(biāo)定物的多攝像機(jī)標(biāo)定[J]. 自動化學(xué)報，2007，33 (3)：225～231

8 楊珍，孫軍華，吳子彥，等. 基于雙一維靶標(biāo)的攝像機(jī)標(biāo)定方法[J]. 光電子·激光，2010，21(3)：411～414

9 Amini K, Rostami F. A modified two steps Levenberg-Marquardt method for nonlinear equations[J]. Journal of Computational and Applied Mathematics, 2015, 288: 341～350

10 Zhang Zhengyou. Camera calibration with one-dimensional objects.[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(7):892～899

11 周富強，張廣軍，魏振忠，等. 基于未知運動一維靶標(biāo)的雙目視覺傳感器標(biāo)定[J]. 機(jī)械工程學(xué)報，2006，42(6)：92～96

12 楊景豪，劉巍，劉陽，等. 雙目立體視覺測量系統(tǒng)的標(biāo)定[J]. 光學(xué)精密工程，2016，24(2)：300～308

13 倪章松，顧藝，柳慶林，等. 大視場雙目立體視覺柔性標(biāo)定[J]. 光學(xué)精密工程，2017，25(7)：1882～1889

Combined Calibration Method of Large Field of View Measurement System for Assembly Positioning

Wang BaojunZhang ChaoCui HaihuaJiang TaoFu ShiqiangWang HongyiWu Kai

(1. Ministry Level Key Laboratory of Aeronautical Science and Technology for Intelligent Materials and Structures, Nanjing University of Aeronautics and Astronautics, Nanjing 210016;2. Beijing Hangxing Machinery Manufacturing Co., Ltd., Beijing 100013)

A binocular vision system calibration method based on the combination of plane target and one-dimensional target is proposed in this paper for the problems of complex calibration method and low calibration accuracy in the positioning process of aerospace large parts assembly.This method combines the small plane target to calibrate internal parameters of vision system, based on the homography transform principle and taking the internal parameters as the input data, uses one-dimensional coding target to calibrate external parameters of vision system. On the basis of ensuring the calibration accuracy of internal and external parameters, it greatly simplifies the calibration steps in the actual use of binocular vision system, and can effectively improve the calibration efficiency.The experimental results show that the calibration accuracy of the binocular vision system can reach 0.08mm. After obtaining the internal parameters of the camera, the external parameters can be calibrated online, thus the calibration accuracy and efficiency are both high.

calibration of binocular vision system；plane target；one dimensional coded target；homography transformation；normalization algorithm

O439

A

國家重點研發(fā)計劃2019YFB2006100、2019YFB17075001；江蘇高校優(yōu)勢學(xué)科建設(shè)工程資助項目；南京航空航天大學(xué)研究生創(chuàng)新基地（實驗室）開放基金項目kfjj20200108。

王寶俊（1997），碩士，儀器科學(xué)與技術(shù)專業(yè)；研究方向：雙目視覺、三維測量。

2021-04-08