王寶俊 張 超 崔海華 姜 濤 傅世強(qiáng) 王鴻熠 吳 凱

2021年中國航天大會(huì)專欄

面向裝配定位的大視場(chǎng)測(cè)量系統(tǒng)組合標(biāo)定方法

王寶俊張 超崔海華姜 濤傅世強(qiáng)王鴻熠吳 凱

（1. 南京航空航天大學(xué)智能材料與結(jié)構(gòu)航空科技部級(jí)重點(diǎn)實(shí)驗(yàn)室，南京 210016；2.北京航星機(jī)器制造有限公司，北京 100013）

針對(duì)航天大部件裝配中的定位過程，為解決所使用的視覺系統(tǒng)標(biāo)定方法復(fù)雜、標(biāo)定精度低的問題，提出一種平面靶標(biāo)和一維靶標(biāo)組合的雙目視覺系統(tǒng)標(biāo)定方法。該方法結(jié)合單應(yīng)性變換原理，利用小型平面靶標(biāo)進(jìn)行組合標(biāo)定視覺系統(tǒng)內(nèi)參，將內(nèi)參作為輸入，利用一維編碼靶標(biāo)標(biāo)定視覺系統(tǒng)外參，在保證內(nèi)外參數(shù)標(biāo)定精度的基礎(chǔ)上，大大簡(jiǎn)化雙目視覺系統(tǒng)實(shí)際使用過程中的標(biāo)定步驟，能夠有效提高標(biāo)定效率。實(shí)際標(biāo)定實(shí)驗(yàn)結(jié)果表明，雙目視覺系統(tǒng)標(biāo)定精度可達(dá)0.08mm，獲得相機(jī)內(nèi)參后可對(duì)外參進(jìn)行在線標(biāo)定，標(biāo)定精度和效率均較高。

雙目視覺系統(tǒng)標(biāo)定；平面靶標(biāo)；一維編碼靶標(biāo)；單應(yīng)性變換；歸一化算法

1 引言

在航天大部件裝配過程中由于部件尺寸大、剛性弱、易變形等特性，對(duì)其定位引導(dǎo)精度提出了較高要求。視覺方式作為常見的測(cè)量檢測(cè)、定位引導(dǎo)和精度驗(yàn)證的手段，因其精度高、操作簡(jiǎn)便而廣泛應(yīng)用。視覺系統(tǒng)在使用中，標(biāo)定是最為基礎(chǔ)和關(guān)鍵的技術(shù)之一，標(biāo)定的方法和結(jié)果影響著最終的效率和精度。視覺系統(tǒng)標(biāo)定是指建立圖像像素位置與場(chǎng)景點(diǎn)位置之間的關(guān)系，途徑是根據(jù)相機(jī)模型由特征點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)求解相機(jī)內(nèi)外參數(shù)。

雙目視覺系統(tǒng)作為常見的視覺測(cè)量方式，國內(nèi)外學(xué)者已經(jīng)對(duì)其標(biāo)定方法做了大量研究工作。按照是否使用標(biāo)定物，標(biāo)定方法可分為主動(dòng)視覺標(biāo)定方法和使用標(biāo)定物的標(biāo)定方法。主動(dòng)視覺標(biāo)定方法需要控制相機(jī)按照特定方式移動(dòng)，難以保證相機(jī)運(yùn)動(dòng)精度，因此在實(shí)際應(yīng)用中難以推廣。使用標(biāo)定物的標(biāo)定方法按照標(biāo)定物的不同又可以分為三維靶標(biāo)法、平面靶標(biāo)法和一維靶標(biāo)法。三維靶標(biāo)法標(biāo)定精度高，但其存在自遮擋問題，且制造加工難度大，實(shí)際應(yīng)用較為困難；平面靶標(biāo)法標(biāo)定精度較高，但問題在于靶標(biāo)要覆蓋整個(gè)視場(chǎng)才能保證標(biāo)定精度，故靶標(biāo)尺寸大、標(biāo)定步驟復(fù)雜；一維靶標(biāo)法標(biāo)定精度略低于前兩種方法，但其標(biāo)定方式靈活高效且成本低，適合在線標(biāo)定。

針對(duì)航天大部件裝配定位的實(shí)際環(huán)境與條件，單一的標(biāo)定方法難以同時(shí)滿足高精度高效率的要求。本文提出一種平面靶標(biāo)和一維靶標(biāo)組合的雙目視覺系統(tǒng)標(biāo)定方法，利用小型平面靶標(biāo)組合構(gòu)造覆蓋相機(jī)整個(gè)視場(chǎng)的大型平面靶標(biāo)，進(jìn)而標(biāo)定雙目系統(tǒng)內(nèi)參，以內(nèi)參作為輸入，利用一維編碼靶標(biāo)在線標(biāo)定外參。實(shí)驗(yàn)表明，該方法在保證雙目視覺系統(tǒng)標(biāo)定精度的基礎(chǔ)上，能夠有效簡(jiǎn)化標(biāo)定步驟，提高標(biāo)定效率。

2 雙目視覺系統(tǒng)模型

圖1 雙目視覺模型示意圖

左右相機(jī)坐標(biāo)系之間的相互位置關(guān)系可通過空間轉(zhuǎn)換矩陣表示為：

實(shí)際相機(jī)成像過程中會(huì)存在畸變，一般只考慮徑向和切向畸變。徑向畸變可描述為：

切向畸變可描述為：

3 組合式標(biāo)定原理

3.1 基于組合式平面靶標(biāo)的內(nèi)參標(biāo)定

在利用平面靶標(biāo)進(jìn)行相機(jī)內(nèi)參標(biāo)定時(shí)，要想獲得高精度的標(biāo)定結(jié)果，靶標(biāo)的尺寸需要和測(cè)量視場(chǎng)范圍一樣大，而大尺寸的平面靶標(biāo)設(shè)計(jì)制造困難。因此采用將多個(gè)小型平面靶標(biāo)組合構(gòu)造大型靶標(biāo)的方式進(jìn)行標(biāo)定，在保證內(nèi)參標(biāo)定精度的同時(shí)，小型平面靶標(biāo)制造相對(duì)簡(jiǎn)單，且成本較低。

圖2 平面靶標(biāo)組合示意圖

式（9）可改寫為：

上述步驟未考慮鏡頭畸變，同時(shí)標(biāo)定圖像會(huì)存在一定噪聲，因此需要進(jìn)一步采用列文伯格-馬夸爾特算法（Levenberg-Marquardt，LM算法）優(yōu)化相機(jī)內(nèi)參。

設(shè)雙目視覺系統(tǒng)共拍攝了張標(biāo)定圖像，為標(biāo)定過程中使用的小型平面靶標(biāo)數(shù)目，分別建立左右相機(jī)最優(yōu)化目標(biāo)函數(shù)：

至此，通過小型平面靶標(biāo)組合的方式已得到最優(yōu)的左右相機(jī)內(nèi)部參數(shù)。由于相機(jī)內(nèi)部參數(shù)只與相機(jī)本身特性有關(guān)，故認(rèn)為外界環(huán)境改變不會(huì)影響相機(jī)內(nèi)參。標(biāo)定好內(nèi)部參數(shù)后，認(rèn)為相機(jī)內(nèi)參在很長一段時(shí)間內(nèi)不會(huì)改變。在雙目系統(tǒng)實(shí)際使用中，只需進(jìn)行一次上述相機(jī)內(nèi)參標(biāo)定，后續(xù)使用時(shí)只要對(duì)雙目系統(tǒng)左右相機(jī)外部參數(shù)進(jìn)行在線標(biāo)定即可，因此可以簡(jiǎn)化實(shí)際使用時(shí)的標(biāo)定步驟。

3.2 基于一維靶標(biāo)的外參標(biāo)定

已有很多學(xué)者研究利用一維靶標(biāo)對(duì)雙目系統(tǒng)進(jìn)行標(biāo)定，其中最關(guān)鍵的步驟是如何通過多組匹配圖像點(diǎn)坐標(biāo)快速準(zhǔn)確地解算相機(jī)外參初值。對(duì)于這一問題，最經(jīng)典的方法是基于對(duì)極幾何原理的八點(diǎn)算法。

3.2.1 傳統(tǒng)八點(diǎn)算法解算基礎(chǔ)矩陣

因此，式（13）可化為與本質(zhì)矩陣有關(guān)的方程。

基礎(chǔ)矩陣和本質(zhì)矩陣都是雙目視覺系統(tǒng)的關(guān)鍵參數(shù)，二者類似。由式（13）或式（15），只要知道多組匹配像點(diǎn)坐標(biāo)即可解算。一般采用8對(duì)匹配像點(diǎn)進(jìn)行基礎(chǔ)矩陣或本質(zhì)矩陣的求解，即傳統(tǒng)的八點(diǎn)算法。

3.2.2 加權(quán)平移歸一化算法解算基礎(chǔ)矩陣

傳統(tǒng)八點(diǎn)算法是易于實(shí)現(xiàn)的線性算法，但其對(duì)噪聲數(shù)據(jù)異常敏感，并且求得的解不穩(wěn)定，估計(jì)得到的基礎(chǔ)矩陣精度也不高，原因在于八點(diǎn)法在處理時(shí)認(rèn)為每對(duì)匹配點(diǎn)對(duì)陣的影響都是相同的，但實(shí)際上每個(gè)點(diǎn)誤差不同，對(duì)陣的影響也各不相同。因此，采用一種加權(quán)平移歸一化算法，引入余差作為權(quán)因子，以排除噪聲干擾，使得高精度的匹配點(diǎn)對(duì)陣的影響大而低精度的匹配點(diǎn)影響小。

式中：是向量Fp的第個(gè)分量。

再對(duì)圖像坐標(biāo)作歸一化處理：

3.2.3 解算外部參數(shù)

奇異值分解得到的只是比例意義上的，還需對(duì)其結(jié)合一維靶標(biāo)長度進(jìn)行絕對(duì)定向。通過一維靶標(biāo)已知的真實(shí)長度和測(cè)量所得特征點(diǎn)間比例意義上的距離求解比例系數(shù)，進(jìn)而最終確定平移向量。

3.2.4 非線性優(yōu)化外部參數(shù)

在相機(jī)外參標(biāo)定過程中由于圖像噪聲的影響會(huì)導(dǎo)致最終標(biāo)定結(jié)果的不準(zhǔn)確，因此結(jié)合一維靶標(biāo)特征點(diǎn)距離約束對(duì)相機(jī)外參進(jìn)行LM非線性優(yōu)化，建立最優(yōu)化目標(biāo)函數(shù)

4 標(biāo)定實(shí)驗(yàn)與結(jié)果分析

本文提出的算法均已使用C++編程語言完成實(shí)現(xiàn)。為驗(yàn)證所提出的雙目系統(tǒng)平面靶標(biāo)和一維靶標(biāo)組合式標(biāo)定方法的可行性和有效性，對(duì)雙目視覺系統(tǒng)進(jìn)行了標(biāo)定實(shí)驗(yàn)。

標(biāo)定實(shí)驗(yàn)環(huán)境和條件如下：雙目視覺系統(tǒng)兩相機(jī)采用德國映美精CMOS工業(yè)相機(jī)，型號(hào)為DMK 33GP031，相機(jī)分辨率為2592×1944pixel（5MP），鏡頭焦距為8mm，測(cè)量距離約為2m。

對(duì)于標(biāo)定內(nèi)參所用的小型平面靶標(biāo)，采用如圖4a所示的形式。小型平面靶標(biāo)正中間的方形編碼標(biāo)志邊長為75mm，其作用是確定靶標(biāo)坐標(biāo)系，同時(shí)不同的編碼標(biāo)志可以區(qū)分不同的小型靶標(biāo)，以便于組合。靶標(biāo)上各圓點(diǎn)的半徑為15mm，圓心間距為45mm。將4個(gè)小型平面靶標(biāo)進(jìn)行組合以覆蓋雙目視覺系統(tǒng)整個(gè)視場(chǎng)范圍，如圖4b所示。

圖4 小型平面靶標(biāo)示意圖

按照這種組合方式在相機(jī)視場(chǎng)內(nèi)調(diào)整靶標(biāo)，獲得不同的位姿關(guān)系，左右相機(jī)分別拍攝20張圖像，然后利用本文標(biāo)定方法標(biāo)定雙目系統(tǒng)內(nèi)參矩陣，內(nèi)參標(biāo)定結(jié)果如表1所示。

表1 雙目視覺系統(tǒng)內(nèi)參標(biāo)定結(jié)果

為驗(yàn)證內(nèi)參標(biāo)定精度，對(duì)平面靶標(biāo)上的特征點(diǎn)進(jìn)行三維重建，統(tǒng)計(jì)左右相機(jī)20張圖像每張圖像重建出的靶標(biāo)特征點(diǎn)坐標(biāo)之間的距離的平均值，并與真值45mm進(jìn)行比較，比較結(jié)果如圖5所示。

圖5 靶標(biāo)特征點(diǎn)距離重建結(jié)果

由圖5可以看出，靶標(biāo)特征點(diǎn)重建精度基本保持在±0.1mm以內(nèi)，可見精度較高。

標(biāo)定外參所用的一維靶標(biāo)采用如圖6的形式，一維靶標(biāo)上粘貼有編碼標(biāo)志點(diǎn)。相較于傳統(tǒng)圓形標(biāo)志點(diǎn)，編碼點(diǎn)具有匹配性好、提取精度高、不需要特定匹配算法等優(yōu)點(diǎn)。

圖6 一維靶標(biāo)示意圖

將一維靶標(biāo)在雙目視覺系統(tǒng)視場(chǎng)內(nèi)任意擺放20次，獲得左右相機(jī)拍攝圖像，利用本文方法標(biāo)定外參，并與傳統(tǒng)的八點(diǎn)算法進(jìn)行比較，標(biāo)定和比較的結(jié)果如表2所示。

表2 雙目視覺系統(tǒng)外參標(biāo)定結(jié)果

圖7 兩種方法余差結(jié)果比較

為驗(yàn)證外參標(biāo)定精度，采用余差作為衡量標(biāo)準(zhǔn)之一，確保減少噪聲對(duì)圖像坐標(biāo)點(diǎn)的干擾，保證本文算法的正確性。本文方法與傳統(tǒng)八點(diǎn)算法在余差上的差異如圖7所示。

由圖7可以看出，兩種方法余差曲線圖趨勢(shì)一致，因此可以說明本文方法的正確性。同時(shí)由余差數(shù)據(jù)可以明顯看出，本文所計(jì)算的余差精度是傳統(tǒng)八點(diǎn)算法的100倍左右。

再將矩陣的條件數(shù)作為衡量標(biāo)準(zhǔn)，判斷估計(jì)的基礎(chǔ)矩陣的魯棒性好壞。矩陣的條件數(shù)是對(duì)矩陣誤差或不確定度的敏感性的度量，直接反映了矩陣的魯棒性，條件數(shù)越大，矩陣的魯棒性就越差，這時(shí)矩陣稱做是病態(tài)的；條件數(shù)越小，矩陣的魯棒性就越好，這時(shí)矩陣稱做是良態(tài)的。矩陣的條件數(shù)和范數(shù)有關(guān)，表3顯示了不同范數(shù)下本文算法和傳統(tǒng)八點(diǎn)算法所估計(jì)的基礎(chǔ)矩陣的差異。

表3 兩種方法基礎(chǔ)矩陣條件數(shù)比較

從表3可以看出，在不同的范數(shù)下，傳統(tǒng)八點(diǎn)算法所估計(jì)出的基礎(chǔ)矩陣條件數(shù)是本文方法的10～10倍，因此本文方法可以有效改善基礎(chǔ)矩陣的條件數(shù)，提高了基礎(chǔ)矩陣的魯棒性。

因此綜合余差和矩陣的條件數(shù)兩種衡量標(biāo)準(zhǔn)，本文的外參標(biāo)定方法可以有效提高基礎(chǔ)矩陣估計(jì)的精度，提高外參結(jié)果的精度。

最后，本文利用標(biāo)定好的雙目視覺系統(tǒng)觀測(cè)小型標(biāo)準(zhǔn)靶標(biāo)，進(jìn)一步驗(yàn)證本文標(biāo)定方法的準(zhǔn)確性和有效性。如圖8所示，每個(gè)小型標(biāo)準(zhǔn)靶標(biāo)兩點(diǎn)之間的距離均為90mm，通過標(biāo)定好的雙目視覺系統(tǒng)進(jìn)行測(cè)量和三維重建。

圖8 小型標(biāo)準(zhǔn)靶標(biāo)示意圖

將測(cè)量結(jié)果與標(biāo)準(zhǔn)值進(jìn)行比對(duì)，測(cè)量結(jié)果如圖9所示。

由圖9分析可知，測(cè)量結(jié)果最大誤差為0.179mm，最小誤差為0.011mm，誤差平均值為0.078mm，測(cè)量結(jié)果的均方根誤差為=0.081mm。將本文方法與其他文獻(xiàn)或方法進(jìn)行對(duì)比，對(duì)比結(jié)果如表4所示。

圖9 小型標(biāo)準(zhǔn)靶標(biāo)測(cè)量結(jié)果

表4 不同標(biāo)定方法結(jié)果對(duì)比

由表4分析可知，本文的組合式標(biāo)定方法測(cè)量誤差均低于其他文獻(xiàn)中的方法，因此說明本文標(biāo)定方法可以獲得較高的標(biāo)定精度。

4 結(jié)束語

在航天大部件的裝配定位過程中，視覺系統(tǒng)的標(biāo)定是最為基礎(chǔ)和關(guān)鍵的技術(shù)之一。本文提出一種平面靶標(biāo)和一維靶標(biāo)組合的雙目視覺系統(tǒng)標(biāo)定方法，利用小型平面靶標(biāo)進(jìn)行組合構(gòu)造覆蓋相機(jī)整個(gè)視場(chǎng)的大型平面靶標(biāo)，進(jìn)而標(biāo)定雙目系統(tǒng)內(nèi)參，利用一維編碼靶標(biāo)結(jié)合加權(quán)平移歸一化算法標(biāo)定外參。實(shí)驗(yàn)結(jié)果表明，本文方法能夠在保證雙目視覺系統(tǒng)標(biāo)定精度的基礎(chǔ)上，有效簡(jiǎn)化標(biāo)定步驟，提升視覺系統(tǒng)的標(biāo)定效率，可行性與實(shí)用性較高。

1 張廣軍. 視覺測(cè)量[M]. 北京：科學(xué)出版社，2008：102～103

2 朱嘉，李醒飛，徐穎欣. 攝像機(jī)的一種主動(dòng)視覺標(biāo)定方法[J]. 光學(xué)學(xué)報(bào)，2010，30(5)：1297～1303

3 孫軍華，劉震，張廣軍，等. 基于柔性立體靶標(biāo)的攝像機(jī)標(biāo)定[J]. 光學(xué)學(xué)報(bào)，2009，29(12)：3433～3439

4 王晨，張宗華，丁宇航，等. 基于立體標(biāo)靶的雙目系統(tǒng)標(biāo)定研究[J]. 光學(xué)技術(shù)，2020，46(3)：322～329

5 Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11): 1330～1334

6 Valsamis N, Ilias K, George K, et al. Fully automatic camera calibration using regular planar patterns[J]. Int Arch Photogram Remote Sens Spatial Inf Sci, 2008, 37(B5): 21～26

7 王亮，吳福朝. 基于一維標(biāo)定物的多攝像機(jī)標(biāo)定[J]. 自動(dòng)化學(xué)報(bào)，2007，33 (3)：225～231

8 楊珍，孫軍華，吳子彥，等. 基于雙一維靶標(biāo)的攝像機(jī)標(biāo)定方法[J]. 光電子·激光，2010，21(3)：411～414

9 Amini K, Rostami F. A modified two steps Levenberg-Marquardt method for nonlinear equations[J]. Journal of Computational and Applied Mathematics, 2015, 288: 341～350

10 Zhang Zhengyou. Camera calibration with one-dimensional objects.[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(7):892～899

11 周富強(qiáng)，張廣軍，魏振忠，等. 基于未知運(yùn)動(dòng)一維靶標(biāo)的雙目視覺傳感器標(biāo)定[J]. 機(jī)械工程學(xué)報(bào)，2006，42(6)：92～96

12 楊景豪，劉巍，劉陽，等. 雙目立體視覺測(cè)量系統(tǒng)的標(biāo)定[J]. 光學(xué)精密工程，2016，24(2)：300～308

13 倪章松，顧藝，柳慶林，等. 大視場(chǎng)雙目立體視覺柔性標(biāo)定[J]. 光學(xué)精密工程，2017，25(7)：1882～1889

Combined Calibration Method of Large Field of View Measurement System for Assembly Positioning

Wang BaojunZhang ChaoCui HaihuaJiang TaoFu ShiqiangWang HongyiWu Kai

(1. Ministry Level Key Laboratory of Aeronautical Science and Technology for Intelligent Materials and Structures, Nanjing University of Aeronautics and Astronautics, Nanjing 210016;2. Beijing Hangxing Machinery Manufacturing Co., Ltd., Beijing 100013)

A binocular vision system calibration method based on the combination of plane target and one-dimensional target is proposed in this paper for the problems of complex calibration method and low calibration accuracy in the positioning process of aerospace large parts assembly.This method combines the small plane target to calibrate internal parameters of vision system, based on the homography transform principle and taking the internal parameters as the input data, uses one-dimensional coding target to calibrate external parameters of vision system. On the basis of ensuring the calibration accuracy of internal and external parameters, it greatly simplifies the calibration steps in the actual use of binocular vision system, and can effectively improve the calibration efficiency.The experimental results show that the calibration accuracy of the binocular vision system can reach 0.08mm. After obtaining the internal parameters of the camera, the external parameters can be calibrated online, thus the calibration accuracy and efficiency are both high.

calibration of binocular vision system；plane target；one dimensional coded target；homography transformation；normalization algorithm

O439

A

國家重點(diǎn)研發(fā)計(jì)劃2019YFB2006100、2019YFB17075001；江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程資助項(xiàng)目；南京航空航天大學(xué)研究生創(chuàng)新基地（實(shí)驗(yàn)室）開放基金項(xiàng)目kfjj20200108。

王寶?。?997），碩士，儀器科學(xué)與技術(shù)專業(yè)；研究方向：雙目視覺、三維測(cè)量。

2021-04-08