段心怡，楊 劍，程澤會(huì)

(中北大學(xué) 軟件學(xué)院，太原 030051)

0 引言

在過去幾十年，隨著計(jì)算機(jī)視覺在無人駕駛、智能監(jiān)控、視覺分析等方面的快速發(fā)展以及視覺系統(tǒng)成本的降低，多相機(jī)視覺系統(tǒng)得到了日益廣泛的應(yīng)用。由于單相機(jī)視覺系統(tǒng)存在視場(chǎng)范圍狹窄以及無法產(chǎn)生視差等限制，使得其應(yīng)用受限，因此多相機(jī)系統(tǒng)應(yīng)運(yùn)而生。同時(shí)環(huán)境條件限制、設(shè)計(jì)需求、成本限制等因素的影響，多相機(jī)視覺系統(tǒng)往往存在相機(jī)之間無重疊視場(chǎng)的情況，然而相機(jī)之間的坐標(biāo)系變換對(duì)于很多應(yīng)用至關(guān)重要，例如:視覺測(cè)量[1-5]、軌跡追蹤[6-9]、自主機(jī)器人[10-12]、監(jiān)控[13-15]等等，因此針對(duì)無重疊視場(chǎng)的多相機(jī)視覺系統(tǒng)全局標(biāo)定問題，研究一種高精度、易操作、低成本的有效方法成為很多研究者關(guān)注的問題。

相機(jī)的全局標(biāo)定方法是解決局部的相機(jī)坐標(biāo)系轉(zhuǎn)換到全局坐標(biāo)系的問題，目前針對(duì)該問題，研究人員已經(jīng)提出了多種方法，可分為基于周圍環(huán)境信息的手眼標(biāo)定方法[16-20]和基于關(guān)聯(lián)靶標(biāo)的外參標(biāo)定方法[21-26]。然而無重疊視場(chǎng)的多相機(jī)系統(tǒng)全局標(biāo)定問題依然是一個(gè)具有挑戰(zhàn)性的問題，尤其在相機(jī)之間的視場(chǎng)無法通視或單向觀測(cè)的情況下。針對(duì)該問題，本文提出了基于半鏡面平面靶標(biāo)的全局標(biāo)定方法，通過平面靶標(biāo)的鏡面部分將點(diǎn)激光器的光線反射到其他相機(jī)的視場(chǎng)內(nèi)，利用平面靶標(biāo)的標(biāo)志點(diǎn)計(jì)算靶標(biāo)的空間參數(shù)并得到反射光線的空間方程，最后利用激光光線的方向向量構(gòu)建相機(jī)間坐標(biāo)系轉(zhuǎn)換方程組，從而確定轉(zhuǎn)換矩陣和平移向量。實(shí)驗(yàn)表明所提方法可有效的解算全局標(biāo)定矩陣，并具有高精度、計(jì)算簡(jiǎn)便、操作簡(jiǎn)便、設(shè)備簡(jiǎn)單等優(yōu)點(diǎn)。

1 相關(guān)工作

為了解決無重疊視場(chǎng)的多相機(jī)系統(tǒng)全局標(biāo)定問題，科研工作者已經(jīng)給出很多方法，其可總體分為：基于人工或周圍環(huán)境信息的手眼或自標(biāo)定方法[16-20]和基于關(guān)聯(lián)標(biāo)定物的外參標(biāo)定方法[21-34]。

自標(biāo)定方法通常需要設(shè)定相機(jī)組一定規(guī)律的運(yùn)動(dòng)。受手眼標(biāo)定方法的啟發(fā)，Esquivel等[16]基于每個(gè)相機(jī)時(shí)間同步性估計(jì)彼此之間的相對(duì)姿態(tài)。F.Pagel[17]則給出了運(yùn)動(dòng)調(diào)整的方法，利用測(cè)距法計(jì)算相機(jī)之間彼此的運(yùn)動(dòng)幅度，從而估計(jì)相機(jī)之間的外參數(shù)。文獻(xiàn)[18-19]則是在現(xiàn)有的手眼標(biāo)定等方法基礎(chǔ)上，借助加速度傳感器和角度傳感器等設(shè)備進(jìn)一步優(yōu)化相機(jī)外參的標(biāo)定，文獻(xiàn)[20]則是首先利用SLAM設(shè)備(如深度相機(jī))將周圍環(huán)境進(jìn)行三維建模，在相機(jī)組運(yùn)動(dòng)過程中，根據(jù)周圍環(huán)境的三維坐標(biāo)確定外參。該類方法具有較好的自主性，但也存在計(jì)算復(fù)雜，精度難以保證等問題。

基于關(guān)聯(lián)標(biāo)定物的外參標(biāo)定方法通常不需要相機(jī)做特定的運(yùn)行。針對(duì)無重疊視場(chǎng)的多相機(jī)系統(tǒng)全局標(biāo)定問題，文獻(xiàn)[21]利用近景攝影測(cè)量的原理，首先在室內(nèi)環(huán)境中布置編碼點(diǎn)，然后，利用測(cè)量設(shè)備測(cè)量編碼點(diǎn)的全局三維坐標(biāo)，最后利用這些測(cè)定的三維坐標(biāo)點(diǎn)標(biāo)定相機(jī)之間的轉(zhuǎn)換矩陣。文獻(xiàn)[22-23]采用經(jīng)緯儀或激光雷達(dá)關(guān)聯(lián)兩個(gè)相機(jī)平面靶標(biāo)，實(shí)現(xiàn)全局標(biāo)定。文獻(xiàn)[24-25]則設(shè)計(jì)了長(zhǎng)距離的鏈接桿，在長(zhǎng)桿的兩頭分別固定標(biāo)定靶標(biāo)，從而實(shí)現(xiàn)標(biāo)定靶的關(guān)聯(lián)。同時(shí)有很多科研工作者利用鏡面的反射效果，反視另一個(gè)相機(jī)的視場(chǎng)，從而實(shí)現(xiàn)相機(jī)的關(guān)聯(lián)[26-30]，該類方法簡(jiǎn)單直接，但需要視場(chǎng)沒有遮擋，同時(shí)反射后靶標(biāo)變小，有損精度，利用球面鏡反射雖可獲得較好的視野，但也存在畸變的問題。Liu等[31]則將激光器產(chǎn)生的光平面投射到平面靶標(biāo)上，利用光平面的法向量構(gòu)建相機(jī)之間的轉(zhuǎn)換方程。該方法不需要昂貴的設(shè)備，具有實(shí)施簡(jiǎn)單的優(yōu)點(diǎn)，但也存在計(jì)算復(fù)雜，標(biāo)定板朝向限制的不足。文獻(xiàn)[32-34]中，則進(jìn)一步提出更實(shí)用的方法，利用點(diǎn)激光器產(chǎn)生激光射線，分別在各自視場(chǎng)內(nèi)截?cái)嗌渚€，觀測(cè)散斑點(diǎn)像，從而計(jì)算射線的方向向量，然后利用射線的方向向量構(gòu)建外參解算方程。以激光射線為靶標(biāo)的相機(jī)標(biāo)定方法，具有設(shè)備簡(jiǎn)單、實(shí)施方便、計(jì)算簡(jiǎn)單等優(yōu)點(diǎn)，但需要其相機(jī)之間的視場(chǎng)可以通視，沒有遮擋，并要求單向性觀測(cè)。

本文所提出的基于半鏡面平面靶標(biāo)的無重疊視域多相機(jī)全局標(biāo)定方法，基于點(diǎn)激光器的射線方向向量約束相機(jī)之間的轉(zhuǎn)換方程，并利用半鏡面平面靶標(biāo)改變其光路。該方法具有很好的靈活性，設(shè)備簡(jiǎn)單、易操作、計(jì)算簡(jiǎn)單，由于激光的準(zhǔn)直性，精度不受相機(jī)布局遠(yuǎn)近的影響，適用于各種相機(jī)布局，在相機(jī)之間的視場(chǎng)無法通視或單向觀測(cè)的情況下依然適用。

2 全局標(biāo)定方法的原理

基于半鏡面平面靶標(biāo)的無重疊視域多相機(jī)全局標(biāo)定方法的原理如圖1所示，不失一般性，圖以雙相機(jī)組為例進(jìn)行說明, 多相機(jī)系統(tǒng)可轉(zhuǎn)化為兩兩分組的問題。

圖1 無重疊視域多相機(jī)全局標(biāo)定方法的示意圖

表1 符號(hào)與定義

本文所提方法的主要步驟如下：

1)基于張正友[35]的經(jīng)典標(biāo)定方法，實(shí)現(xiàn)單個(gè)相機(jī)的內(nèi)參數(shù)的標(biāo)定Ack,(k=1,2)及相機(jī)1,2的自身坐標(biāo)系外參。

2)將相機(jī)群分為兩兩一組，如圖1所示，選定單點(diǎn)激光器的位置；

3)在相機(jī)1的視場(chǎng)內(nèi)，三次移動(dòng)標(biāo)定板，則可攔截激光的散斑點(diǎn)A,B,C，并采集圖像點(diǎn)a,b,c，則根據(jù)3.1小節(jié)中的方法可計(jì)算得到激光射線的消隱點(diǎn)；

4)在相機(jī)c1的視場(chǎng)內(nèi)，放置半鏡面標(biāo)定板，將激光光路反射到相機(jī)c2的視場(chǎng)內(nèi)，并在c2不同位置截獲激光射線的散斑點(diǎn)D,E,F，并采集圖像點(diǎn)d,e,f。利用3.1小節(jié)中的方法可計(jì)算得到激光射線的消隱點(diǎn)；

2.1 計(jì)算圖像消隱點(diǎn)坐標(biāo)

如圖1所示，選定激光器的位置，在相機(jī)c1的視場(chǎng)內(nèi)移動(dòng)平面靶標(biāo)，分別在位置i=1,2,3攔截激光射線形成散斑點(diǎn)A,B,C，并采集像點(diǎn)(ai,bi,ci)，其結(jié)果如圖2所示，V∞表示激光射線在相機(jī)c1坐標(biāo)系下的無限遠(yuǎn)點(diǎn)，相應(yīng)的vi1∞則表示該無限遠(yuǎn)點(diǎn)在圖像坐標(biāo)系下的消隱點(diǎn)坐標(biāo)。

圖2 點(diǎn)A,B,C,V∞的交比示意圖

(1)

則根據(jù)射影幾何的交比不變性[34]可估算圖像消隱點(diǎn)vi∞1：

(2)

公式(2)中，(ai,bi,ci,vi∞1)表示激光射線散斑點(diǎn)(A,B,C,V1∞)的單應(yīng)圖像點(diǎn)，其坐標(biāo)系如圖2所示。同理，經(jīng)過半鏡面平面靶的反射，光線進(jìn)入相機(jī)c2的視場(chǎng)內(nèi)，移動(dòng)平面靶可截取激光的散斑點(diǎn)圖像(di,ei,fi,vi∞2)，基于交比不變性可估算反射后光線的消隱點(diǎn)vi∞2。

2.2 基于半鏡面的法向量及消隱點(diǎn)計(jì)算R21

線的消隱點(diǎn)表示了直線的方向向量。設(shè)dci,(i=1,2)表示激光射線的方向向量，如圖3所示。根據(jù)2.1節(jié)計(jì)算的消隱點(diǎn)可得射線的方向向量(3)：

圖3 半鏡面平面靶反射激光光路

(3)

(4)

因此根據(jù)式(3)和(4)可知，經(jīng)過鏡面反射后，入射光線與反射光線的消隱點(diǎn)之間的關(guān)系式：

(5)

根據(jù)射影幾何可知，設(shè)空間中一點(diǎn)在兩個(gè)相機(jī)像平面上的坐標(biāo)為mc1和mc2，其關(guān)系可用單應(yīng)矩陣H表示為：

mc1=Hmc2

(6)

當(dāng)單應(yīng)平面為無窮遠(yuǎn)平面π∞，其關(guān)系依然存在，此時(shí)像點(diǎn)為無窮遠(yuǎn)點(diǎn)的像，也就是圖像的消隱點(diǎn)。

(7)

結(jié)合式(5)可得到：

vi∞1=W-1H∞vi∞2

(8)

根據(jù)文中的設(shè)定，第一個(gè)攝像機(jī)c1的坐標(biāo)系為全局坐標(biāo)系，經(jīng)過標(biāo)定后，其兩個(gè)相機(jī)內(nèi)參已知，相機(jī)矩陣分別為：

(9)

對(duì)于單應(yīng)平面π上的任一個(gè)點(diǎn)M, 考慮它在兩個(gè)攝像機(jī)下的投影。顯然，在第一個(gè)攝像機(jī)下的投影為：

(10)

因此，單應(yīng)平面π到第一個(gè)像平面的單應(yīng)矩陣為H1=Ac1。在第二個(gè)攝像機(jī)下的投影為：

(11)

(12)

(13)

當(dāng)單應(yīng)平面π變成無窮遠(yuǎn)平面，所以在式(13)中取L→∞的極限值，可得到無窮遠(yuǎn)單應(yīng)矩陣，顯然:

(14)

因此:

(15)

2.3 計(jì)算平移向量

(16)

設(shè)點(diǎn)A,B,C的鏡像點(diǎn)表示為A′,B′,C′，根據(jù)式(16)可得：

A′,B′,C′=QA,QB,QC

(17)

設(shè)D點(diǎn)在相機(jī)2下的坐標(biāo)為Dc2=(xDc2,yDc2,zDc2)，坐標(biāo)轉(zhuǎn)化為相機(jī)1坐標(biāo)系后Dc1=(xDc1,yDc1,zDc1)，其轉(zhuǎn)換關(guān)系如下：

(18)

同樣的坐標(biāo)表達(dá)方式及轉(zhuǎn)換關(guān)系可用于A,B,C,D,E,F。

A,B,C做鏡面對(duì)稱得到A′,B′,C′,D,E,F共線，因此可得：

(19)

可寫為：

(20)

把式(18)代入到式(20)可得:

(21)

2.4 非線性優(yōu)化

如圖3所示，設(shè)激光線在位置i的方程為L(zhǎng)i，其可表示為如下方程：

(22)

通常認(rèn)為，相機(jī)CCD圖像噪聲符合高斯分布，采用最大似然法針對(duì)下式求解最優(yōu)解可獲得最小誤差的相機(jī)外參。

(23)

其中：α=(T2,nxi,nyi,nzi,xi0,yi0,zi0)，m表示點(diǎn)激光器的位置，d(qij,Li)則表示點(diǎn)qij偏離直線Li的距離。同時(shí)這里采用了Levenberg-Marquardt算法作為優(yōu)化方法，實(shí)現(xiàn)對(duì)最小二乘結(jié)果的最優(yōu)解。

3 實(shí)驗(yàn)部分與分析

3.1 綜合仿真實(shí)驗(yàn)

為了驗(yàn)證所提算法的有效性和精度，設(shè)計(jì)了如下的實(shí)驗(yàn)部分，分析了影響標(biāo)定精確性的3個(gè)主要的因素：1)圖像噪聲對(duì)激光散斑中心點(diǎn)檢測(cè)精度及鏡面法向量計(jì)算精度的影響；2)相機(jī)之間的距離對(duì)全局標(biāo)定的影響；3)布置激光器的數(shù)量對(duì)相機(jī)全局標(biāo)定參數(shù)的影響；

3.1.1 相機(jī)圖像噪聲

圖4 圖像噪聲對(duì)標(biāo)定點(diǎn)的誤差影響

由圖4 可以看出，所有相機(jī)外參數(shù)的均方根誤差隨著噪聲水平線性增長(zhǎng)。通常在真實(shí)實(shí)驗(yàn)中，會(huì)采用工業(yè)相機(jī)，其圖像的噪聲要小于0.2個(gè)像素。

同時(shí)采用的點(diǎn)激光器射線強(qiáng)度符合高斯分布，因此基于Matlab仿真了光強(qiáng)高斯分布的光斑圖像，并分別進(jìn)行100次的添加高斯白噪聲后，擬合高斯分布的中心點(diǎn)，其中心點(diǎn)偏離的RMS結(jié)果如圖5所示?？梢钥闯?，在標(biāo)定板方向向量與激光射線方向向量夾角<10度，圖像噪聲<1個(gè)像素的條件下，其RMS小于0.006 mm。

圖5 激光散斑圖像仿真及圖像噪聲影響對(duì)中心提取的影響

3.1.2 兩相機(jī)之間距離因素

實(shí)驗(yàn)結(jié)果如圖6所示，標(biāo)定的外參的RMS誤差隨著相機(jī)之間距離的增加而增長(zhǎng)，當(dāng)其相對(duì)精度均小于0.3%，所提方法可應(yīng)用于相機(jī)組的外參標(biāo)定。

圖6 相機(jī)之間距離對(duì)標(biāo)定外參的RMS誤差的影響

3.1.3 點(diǎn)激光器位置數(shù)量對(duì)精度的影響

實(shí)驗(yàn)結(jié)果表明，隨著點(diǎn)激光器布置數(shù)量的增加，相機(jī)外參數(shù)的標(biāo)定誤差較快地減少。在不少于5個(gè)位置放置激光器的條件下，標(biāo)志點(diǎn)之間距離的均方根誤差小于0.07 mm，基于半鏡面平面靶標(biāo)的全局標(biāo)定方法在較少點(diǎn)激光器的條件下，可得到較好的精度。

圖7 點(diǎn)激光器的放值數(shù)量對(duì)標(biāo)定誤差的影響

3.2 實(shí)驗(yàn)過程

如圖8所示，真實(shí)實(shí)驗(yàn)的環(huán)境采用了三相機(jī)組(相機(jī)1,2,3)，其中相機(jī)1,2為維視公司的CMOS灰度工業(yè)相機(jī)，其圖像分別率為2 048×1 536，像素尺寸為3.2×3.2 μm，相機(jī)采用的光學(xué)鏡頭為日本computar 28 mm鏡頭；相機(jī)3作為輔助相機(jī)，采用大恒公司CMOS工業(yè)相機(jī)，其圖像分辨率為2 048×1 536，光學(xué)鏡頭為日本computar 18 mm鏡頭。相機(jī)組固定在三角支架上，激光器及標(biāo)定板則固定在光學(xué)平臺(tái)。

圖8 三相機(jī)組對(duì)內(nèi)參的標(biāo)定

首先完成相機(jī)內(nèi)參的標(biāo)定工作，標(biāo)定中采用的二維標(biāo)定板以及半鏡面標(biāo)定板中的圖案均為9×7個(gè)黑白相間的棋盤格，其間距為30 mm。在相機(jī)內(nèi)參標(biāo)定過程中，3個(gè)相機(jī)分別采集了20副二維標(biāo)定板的圖像，并采用張正友的方法完成內(nèi)參的標(biāo)定，標(biāo)定結(jié)果如表2所示。

表2 內(nèi)參的標(biāo)定結(jié)果

完成相機(jī)組的內(nèi)參標(biāo)定后，為了驗(yàn)證外參的標(biāo)定效果，設(shè)計(jì)了利用第三個(gè)相機(jī)作為關(guān)聯(lián)視場(chǎng)，基于經(jīng)典的張的標(biāo)定方法完成沒有公共視域的兩相機(jī)(相機(jī)1,2)的外參標(biāo)定，并與本文方法進(jìn)行比較。其實(shí)驗(yàn)如下：

1)基于張正友的方法[33]，分別完成相機(jī)1,3，相機(jī)2,3的外參的標(biāo)定，從而在相機(jī)3的幫助下得到相機(jī)1,2之間的轉(zhuǎn)換矩陣并做為真值與本文所提出的方法進(jìn)行比較；

2)基于本文所提方法，分別在8個(gè)不同的位置布置點(diǎn)激光器，在相機(jī)1視場(chǎng)內(nèi)放置半鏡面標(biāo)定板將激光射線反射到相機(jī)2的視場(chǎng)內(nèi)；

3)分別在每個(gè)相機(jī)視場(chǎng)內(nèi)用標(biāo)定板截?cái)嗉す馍渚€，并采集6個(gè)散斑點(diǎn)圖像，如圖9展示了相應(yīng)的散斑圖像點(diǎn)。根據(jù)所提式(8)、(15)則可計(jì)算得到旋轉(zhuǎn)矩陣，式(21)可計(jì)算得到平移向量。

圖9 三相機(jī)組對(duì)外參的標(biāo)定

表3給出了比較結(jié)果，假設(shè)張正友的方法為真值，則本文所提的方法最大誤差為平移向量中的tx，在相機(jī)間距1.1 m的條件下，其誤差為0.36 mm。

表3 全局標(biāo)定方法和張正友方法的結(jié)果

4 結(jié)束語

針對(duì)無重疊視域的多相機(jī)全局標(biāo)定問題，提出了基于半鏡面平面靶標(biāo)的標(biāo)定方法。相比于現(xiàn)有的方法，所提出的方法具有更好的彈性、適應(yīng)性，基本不受相機(jī)布局的影響，尤其適用于一維標(biāo)定物無法貫穿兩個(gè)相機(jī)的視場(chǎng)的情形，同時(shí)在相同標(biāo)定精度及設(shè)備條件下，該算法計(jì)算更為簡(jiǎn)便，只需要計(jì)算一維標(biāo)定物的散斑圖像點(diǎn)的消隱點(diǎn)即可計(jì)算旋轉(zhuǎn)矩陣，該算法具有廣泛的應(yīng)用前景。實(shí)驗(yàn)結(jié)果確認(rèn)了所提出的基于半鏡面平面靶標(biāo)的外參標(biāo)定方法具有較好的精度以及魯棒性。