趙子良，張宗華，高 楠，孟召宗

（河北工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300130）

引言

通過(guò)多目相機(jī)系統(tǒng)實(shí)現(xiàn)大場(chǎng)景三維重建精度依賴于相機(jī)系統(tǒng)的標(biāo)定[1-3]，采用傳統(tǒng)單一特征的平面標(biāo)定板對(duì)于小重疊視場(chǎng)的多目相機(jī)系統(tǒng)，存在標(biāo)定精度受限以及失效等問(wèn)題[4-5]。王晨等人[6]采用多個(gè)小標(biāo)定板搭建立體標(biāo)靶；Liu等人[7]采用FARO激光雷達(dá)對(duì)立體標(biāo)靶進(jìn)行預(yù)標(biāo)定，提高了各相機(jī)間的標(biāo)定精度；任海蕾[8]通過(guò)引入輔助相機(jī)求解小重疊視場(chǎng)相機(jī)間的相對(duì)位姿；Zhao等人[9]采用球體靶標(biāo)場(chǎng)進(jìn)行標(biāo)定。上述標(biāo)定方法存在設(shè)施誤差的引入，以及標(biāo)定流程復(fù)雜、成本高、靈活性差等問(wèn)題。ArUco（augmented reality university of cordoba）[10]標(biāo)記是一種由外部黑色框和內(nèi)部二進(jìn)制代碼組成的基準(zhǔn)標(biāo)記[11]，廣泛用于機(jī)器人導(dǎo)航、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域[12]?；贑hArUco（chess augmented reality university of cordoba）平板[13]的多相機(jī)標(biāo)定方法，通過(guò)檢測(cè)標(biāo)記及ID信息對(duì)棋盤角點(diǎn)的提取及編碼，無(wú)設(shè)施誤差引入，提高了標(biāo)定靈活性。

1 基本原理

1.1 ChArUco平板角點(diǎn)提取原理

如圖1所示，由于ArUco標(biāo)記坐標(biāo)系的單獨(dú)定義性，棋盤角點(diǎn)可通過(guò)兩鄰近標(biāo)記子坐標(biāo)系Om1?XmYmZm與Om2?XmYmZm進(jìn)行定位傳遞；角點(diǎn)提取是基于標(biāo)記的預(yù)標(biāo)定，通過(guò)重投影插值到圖像中，并基于ChArUco平板布局的先驗(yàn)知識(shí)，寫入對(duì)應(yīng)編碼。

圖1 ChArUco平板角點(diǎn)提取原理圖Fig.1 Schematic diagram of ChArUco board corner extraction

1.2 多相機(jī)標(biāo)定原理

采用ChArUco平板標(biāo)定相機(jī)內(nèi)參是基于上述角點(diǎn)提取進(jìn)行的二次標(biāo)定，與通過(guò)ArUco標(biāo)記的預(yù)標(biāo)定均基于張正友棋盤格標(biāo)定法[14]。對(duì)于小重疊視場(chǎng)以及大視場(chǎng)拍攝要求的多相機(jī)組外參標(biāo)定原理如圖2所示。

圖2 多相機(jī)外參標(biāo)定原理圖Fig.2 Schematic diagram of external parameter calibration of multiple cameras

通過(guò)雙目標(biāo)定得到“中-下”兩相機(jī)間的外參矩陣Rmid-down、Tmid-down有如下關(guān)系：

式中：Rmid、Tmid和Rdown、Tdown分別為中和下機(jī)位相機(jī)相對(duì)于平板的外參矩陣。同理，可得到“中-上”兩相機(jī)的坐標(biāo)系轉(zhuǎn)換矩陣Rmid-up、Tmid-up。則“上-下”機(jī)位間的外參矩陣通過(guò)（2）式進(jìn)行位姿傳遞得到：

本文采用雙目平均重投影誤差方法（binocular mean reprojection error, BMRE）[15]對(duì)外參進(jìn)行定量評(píng)價(jià)。由于在實(shí)際進(jìn)行相機(jī)位姿估計(jì)中受標(biāo)定的內(nèi)參影響，本文通過(guò)Levenberg-Marquardt算法進(jìn)行非線性優(yōu)化，得到高精度的標(biāo)定參數(shù)。

1.3 多相機(jī)標(biāo)定步驟

采用ChArUco平板的標(biāo)定步驟為：1）調(diào)整相機(jī)組位姿采用“中-上”和“中-下”兩相鄰相機(jī)組各拍攝25對(duì)ChArUco平板照片；2）識(shí)別ArUco標(biāo)記角點(diǎn)進(jìn)行初步標(biāo)定；3）采用重投影插值角點(diǎn)算法提取平板棋盤角點(diǎn)，進(jìn)行二次標(biāo)定；4）對(duì)所有圖像進(jìn)行畸變矯正，分別標(biāo)定各組相機(jī)間的位姿關(guān)系；5）通過(guò)位姿傳遞得到非相鄰“上-下”機(jī)位間的位姿關(guān)系。標(biāo)定流程如圖3所示。

圖3 多目相機(jī)標(biāo)定流程圖Fig.3 Flow chart of multiple cameras calibration

2 實(shí)驗(yàn)

為驗(yàn)證基于ChArUco平板方法對(duì)多相機(jī)系統(tǒng)進(jìn)行標(biāo)定的有效性，設(shè)計(jì)了如下實(shí)驗(yàn)。

2.1 硬件系統(tǒng)

圖4為多目相機(jī)標(biāo)定圖像采集系統(tǒng)。該系統(tǒng)由一個(gè)ChArUco平板、六軸機(jī)器人和多目相機(jī)組構(gòu)成。ChArUco平板采用DICT_6×6_250（標(biāo)記大小為6×6，字典大小為250）標(biāo)記數(shù)組，設(shè)置棋盤格規(guī)格為9×12、格子大小為45 mm×45 mm，ArUco標(biāo)記的尺寸為22.5 mm；相機(jī)組位姿調(diào)整采用六軸工業(yè)機(jī)器人；相機(jī)組采用奧比中光Astra Pro RGB相機(jī)。

圖4 多目相機(jī)標(biāo)定圖像采集系統(tǒng)Fig.4 Multiple cameras calibration image acquisition system

多目相機(jī)組結(jié)構(gòu)如圖5所示，中間框內(nèi)相鄰RGB相機(jī)間存在小重疊視場(chǎng)，光軸夾角理論值是42 °，非相鄰相機(jī)間無(wú)重疊視場(chǎng)。由于在制作及裝配過(guò)程中存在一定的誤差，而光軸夾角難以在物理層面進(jìn)行測(cè)量，需要進(jìn)行標(biāo)定計(jì)算。本文以Liu等人[7]標(biāo)定方法得到的角度值作為真實(shí)值，與本文所提方法進(jìn)行結(jié)構(gòu)精度的對(duì)比驗(yàn)證。

圖5 多目相機(jī)結(jié)構(gòu)實(shí)物圖Fig.5 Photo of multiple cameras structure

2.2 多目相機(jī)標(biāo)定實(shí)驗(yàn)

如圖6為“中-下”相機(jī)組采集的部分標(biāo)定圖像，其中第1排和第2排分別為下機(jī)位和中機(jī)位拍攝的平板圖像，每列為2個(gè)相機(jī)同時(shí)采集的圖像對(duì)。

圖6 ChArUco平板標(biāo)定圖像Fig.6 ChArUco board calibration images

采用如圖3流程標(biāo)定得到各相機(jī)的內(nèi)參如表1所示。其中fx、fy分別是x和y軸的等效焦距，u0、v0分別是相機(jī)像素坐標(biāo)系的x和y軸的主點(diǎn)坐標(biāo)分量。各相機(jī)的重投影誤差分布圖如圖7所示。表2為各相機(jī)間外參及雙目平均重投影誤差（BMRE）。由于“上-下”機(jī)位間的外參是通過(guò)相鄰相機(jī)間的外參計(jì)算得到，因而2個(gè)相機(jī)間未進(jìn)行雙目重投影誤差的計(jì)算。表3為由本文與采用Liu的方法標(biāo)定計(jì)算得到的各相機(jī)間光軸夾角及誤差。

表1 各相機(jī)的內(nèi)參Table 1 Internal parameters of each camera

表2 各相機(jī)間外參及BMRETable 2 External parameters and BMRE between each camera

表3 各相機(jī)間夾角及誤差Table 3 Angle and error between each camera

由圖7可知，各相機(jī)的重投影誤差主要集中在?0.1 pixel到0.1 pixel之間，且具有較好的收斂性。由表2可知標(biāo)定相鄰2個(gè)相機(jī)BMRE均小于0.15 pixel；由表3數(shù)據(jù)可得，2種方法標(biāo)定各相機(jī)光軸夾角浮動(dòng)范圍均保持在± 0.2 °以內(nèi)，且本文方法誤差均在±0.13 °以內(nèi)，屬較高精度的標(biāo)定水平。由于非均勻補(bǔ)光和重投影法提取角點(diǎn)帶來(lái)的誤差等因素影響，為標(biāo)定引入了一定的誤差。

圖7 重投影誤差分布圖Fig.7 Distribution of reprojection errors

2.3 空間點(diǎn)位距離測(cè)試

為驗(yàn)證本文提出的標(biāo)定方法在實(shí)際應(yīng)用中的測(cè)量精度，實(shí)驗(yàn)通過(guò)求取ChArUco平板不同ID的4個(gè)棋盤角點(diǎn)（角點(diǎn)ID分別為9、22、34、37）涵蓋不同點(diǎn)位距離進(jìn)行測(cè)試。以“中-下”機(jī)位相機(jī)為例，測(cè)試點(diǎn)位及距離如圖8所示。通過(guò)與采用任海蕾[8]輔助相機(jī)的標(biāo)定方法進(jìn)行對(duì)比，計(jì)算得到空間點(diǎn)位坐標(biāo)值如表4所示；空間點(diǎn)間距值的測(cè)量誤差如表5所示。由表5可知，采用本文標(biāo)定方法測(cè)試平均誤差為0.11%；采用輔助相機(jī)的外參標(biāo)定方法測(cè)試誤差均大于本文方法，平均誤差為0.16%。由于本文采用的相機(jī)組結(jié)構(gòu)基線距較短（約3 cm～4 cm），結(jié)合標(biāo)定誤差，為點(diǎn)間距測(cè)量引入毫米量級(jí)的測(cè)試誤差；另外，測(cè)試精度受非均勻光照及測(cè)試點(diǎn)的重投影提取影響。

圖8 測(cè)試點(diǎn)位及距離Fig.8 Test point position and distance

表4 點(diǎn)位坐標(biāo)測(cè)量值Table 4 Point position coordinate measurements

表5 點(diǎn)距測(cè)量誤差Table 5 Measurement error of point distance

3 結(jié)論

提出基于ChArUco平板的多目相機(jī)標(biāo)定方法并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。ChArUco平板的角點(diǎn)編碼特性可實(shí)現(xiàn)在非完整拍攝條件下的雙目標(biāo)定，優(yōu)化得到BMRE小于0.15 pixel。標(biāo)定得到各相機(jī)光軸夾角誤差在±0.13 °以內(nèi)；重建點(diǎn)位距離測(cè)試平均誤差相較于引入輔助相機(jī)的標(biāo)定方法精度提高了0.05%。本文采用一個(gè)平面標(biāo)定板即可對(duì)有限視場(chǎng)與無(wú)重疊視場(chǎng)的多相機(jī)組進(jìn)行標(biāo)定，在保證精度的條件下具有操作靈活簡(jiǎn)單的優(yōu)點(diǎn)。