楚圣輝，張慧萌，陳碩，孟浩，劉國(guó)忠

（北京信息科技大學(xué)，北京 100192）

大場(chǎng)景下多目立體視覺(jué)標(biāo)定方法的研究

楚圣輝，張慧萌，陳碩，孟浩，劉國(guó)忠

（北京信息科技大學(xué)，北京 100192）

相機(jī)的標(biāo)定是機(jī)器視覺(jué)中三維重建的關(guān)鍵步驟，其精度也決定三維重建的準(zhǔn)確性，為了解決三維重建信息不完整和大視場(chǎng)標(biāo)定，提出一種多目相機(jī)標(biāo)定的方法。它區(qū)別于傳統(tǒng)雙目相機(jī)標(biāo)定，能夠應(yīng)用于較大視場(chǎng)下，并且通過(guò)多個(gè)視角，提供比較全面的三維信息。采用張正友標(biāo)定算法，利用黑白相間棋盤(pán)格作為標(biāo)定靶標(biāo)，首先通過(guò)在四個(gè)方向的四臺(tái)相機(jī)對(duì)場(chǎng)景中靶標(biāo)進(jìn)行拍攝，求出每個(gè)相機(jī)的內(nèi)外參數(shù)，然后通過(guò)相機(jī)之間的矩陣關(guān)系和LM優(yōu)化算法統(tǒng)一相機(jī)坐標(biāo)系，完成多目相機(jī)系統(tǒng)的標(biāo)定，這種方法能夠適用于大場(chǎng)景中，獲得完整的三維信息。最后通過(guò)實(shí)驗(yàn)，給出實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證此方法的正確性，并提出相機(jī)位置與標(biāo)定精度的關(guān)系，此方法可應(yīng)用于電力培訓(xùn)的人體動(dòng)作捕捉系統(tǒng)等大視場(chǎng)立體視覺(jué)的系統(tǒng)標(biāo)定中，為電力培訓(xùn)方法提供新思路。

大場(chǎng)景；多目標(biāo)定；張正友標(biāo)定算法；棋盤(pán)格

0 引言

近年來(lái)，人體運(yùn)動(dòng)捕捉技術(shù)[2]已越來(lái)越成熟，被應(yīng)用在影視制作、智能監(jiān)控、游戲制作、運(yùn)動(dòng)分析等領(lǐng)域。電力安全生產(chǎn)涉及到職工的生命安全，也影響電力系統(tǒng)安全、穩(wěn)定的運(yùn)行。由于電力系統(tǒng)的特殊性,對(duì)工作人員的要求也越來(lái)越高，現(xiàn)場(chǎng)的電力培訓(xùn)雖然效果良好，但由于設(shè)備帶電運(yùn)行，存在很多危險(xiǎn)性和不確定性，在現(xiàn)場(chǎng)進(jìn)行人員培訓(xùn)具有非常大的局性，動(dòng)作捕捉技術(shù)可以通過(guò)識(shí)別操作人員的位置和動(dòng)作，模擬真實(shí)的操作環(huán)境，并且記錄操作流暢，可以使操作更加規(guī)范化。

相機(jī)的標(biāo)定是動(dòng)作捕捉系統(tǒng)的關(guān)鍵，在識(shí)別人體動(dòng)作的過(guò)程中，為了確定相機(jī)拍攝圖像和實(shí)際空間之間的關(guān)系，必須要建立相機(jī)成像的幾何模型，這個(gè)模型的參數(shù)就是相機(jī)的內(nèi)外參數(shù)，標(biāo)定的過(guò)程就是確定這些參數(shù)的過(guò)程[1]。

相機(jī)的標(biāo)定可以分為三類(lèi)：傳統(tǒng)標(biāo)定[3]、自標(biāo)定[4]和主動(dòng)視覺(jué)標(biāo)定法，張正友標(biāo)定法[5]，是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間，使用黑白相間的棋盤(pán)格作為標(biāo)定物。傳統(tǒng)棋盤(pán)格標(biāo)定法采用兩臺(tái)相機(jī)同時(shí)對(duì)靶標(biāo)進(jìn)行拍攝，視場(chǎng)范圍相對(duì)較小，無(wú)法對(duì)空間中完整的人體活動(dòng)進(jìn)行捕捉，而且兩臺(tái)相機(jī)從不同角度拍攝，對(duì)部分三維信息造成丟失，重建結(jié)果不夠完整。

本文使用張正友標(biāo)定法進(jìn)行相機(jī)的標(biāo)定，首先運(yùn)用張正友標(biāo)定法對(duì)四個(gè)相機(jī)依次進(jìn)行標(biāo)定，求出每個(gè)相機(jī)的內(nèi)外參數(shù)，然后通過(guò)矩陣旋轉(zhuǎn)關(guān)系和LM優(yōu)化算法，統(tǒng)一四個(gè)相機(jī)的坐標(biāo)系完成多目相機(jī)系統(tǒng)的標(biāo)定，可適用于較大場(chǎng)景中，建立比較完整的三維信息，并應(yīng)用于電力培訓(xùn)的人體動(dòng)態(tài)捕捉中。

1 相機(jī)成像模型

在計(jì)算機(jī)視覺(jué)中，為了獲得空間中點(diǎn)的位置，需要通過(guò)空間中物體點(diǎn)與相機(jī)平面及圖像上的點(diǎn)對(duì)進(jìn)行描述。為了方便描述，需要定義幾種坐標(biāo)系：圖像物理坐標(biāo)系，圖像像素坐標(biāo)系，相機(jī)坐標(biāo)系，世界坐標(biāo)系[6]。

如圖1，以圖像左上角為O0原點(diǎn)建立像素為單位的圖像像素坐標(biāo)系u-v，（u,v）代表像素的行和列，x-y表示圖像物理坐標(biāo)系，（u0,v0）代表原點(diǎn)O1，

圖1 圖像物理坐標(biāo)系和像素坐標(biāo)系

dx和dy分別為每個(gè)像素在橫軸x和縱軸y上的物理尺寸，u-v坐標(biāo)系中的坐標(biāo)和x-y坐標(biāo)系下的坐標(biāo)關(guān)系如下：

相機(jī)成像的幾何關(guān)系如圖2所示，Pw（Xw，Yw，Zw）為空間某一點(diǎn)P的世界坐標(biāo)，PC（Xc,Yc,Zc）為該點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)

圖2 相機(jī)坐標(biāo)系與世界坐標(biāo)系

相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系可用旋轉(zhuǎn)矩陣R和平移向量t描述

上式（2）中：R為3x3正交單位陣（也稱(chēng)為旋轉(zhuǎn)矩陣）；t為三維平移向量。

根據(jù)針孔成像模型，利用三角形相似原理，得到相機(jī)坐標(biāo)系和圖像坐標(biāo)系的關(guān)系，用齊次坐標(biāo)與矩陣的形式表示為：

式（3）中f為相機(jī)焦距。

將式（1）、（2）帶入式（3），就可以得到P的世界坐標(biāo)與像素坐標(biāo)的關(guān)系，如下式

其中ax=f/dx，ay=f/dy，M1是相機(jī)的內(nèi)部參數(shù)矩陣，由相機(jī)的內(nèi)參數(shù)ax、ay、u0、v0所決定，M2是相機(jī)的外部參數(shù)矩陣，由旋轉(zhuǎn)矩陣R和平移向量t所決定。

2 畸變矯正

在實(shí)際成像中，考慮到鏡頭工藝等原因，一半都會(huì)存在畸變，畸變主要包括徑向畸變和切向畸變[7-8]。

（5）式中：r2=x2+y2,k1,k2,…為相機(jī)的徑向畸變參數(shù)。

切向畸變?chǔ)膞t、δyt表示為：

式（6）中，p1、p2為相機(jī)切向畸變參數(shù)。

考慮相機(jī)畸變后，P點(diǎn)在歸一化相機(jī)物理坐標(biāo)(xd, yd)表示為：

由透視變換轉(zhuǎn)化為像素坐標(biāo)系下坐標(biāo)（u，v）：

式（8）中，fu、fv為u、v兩方向歸一化焦距，s為坐標(biāo)軸傾斜因子，u0、v0為主點(diǎn)像素坐標(biāo)。

由式（5）～（8）可以求出相機(jī)內(nèi)部參數(shù) fu、fv、s、u0、v0，還有畸變系數(shù)k1,k2、p1、p2。

3 多相機(jī)坐標(biāo)系統(tǒng)一

得到相機(jī)的內(nèi)外參數(shù)之后，需要把所有的相機(jī)關(guān)聯(lián)起來(lái)，即確定相機(jī)外參數(shù)間的關(guān)系，先要確定一個(gè)統(tǒng)一的世界坐標(biāo)系，一般以某一相機(jī)的相機(jī)坐標(biāo)系為統(tǒng)一坐標(biāo)系，然后求出每一個(gè)相機(jī)相對(duì)這個(gè)統(tǒng)一坐標(biāo)系的旋轉(zhuǎn)關(guān)系，然后用旋轉(zhuǎn)關(guān)系求相機(jī)的平移[9]，最后用LM算法得到最優(yōu)解。

圖3 相機(jī)標(biāo)定示意圖

世界坐標(biāo)系中任意一點(diǎn)坐標(biāo)為W，在第i個(gè)和第j個(gè)相機(jī)坐標(biāo)系中坐標(biāo)分別為xi、xj，從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換為：

（9）式中消去W，得到xi和xj之間的轉(zhuǎn)換關(guān)系：

記[R t]=[R （jRi）-1tj-R（jRi）-1]，則式（10）可簡(jiǎn)寫(xiě)為xj=Rxi+t，所以，兩個(gè)相機(jī)間的選對(duì)旋轉(zhuǎn)為R= R（jRi）-1，平移向量t=tj-Rj(Ri)-1，通過(guò)標(biāo)定，求出所有相機(jī)外部參數(shù)Ri、ti、Rj、tj，可以得出每個(gè)相機(jī)在統(tǒng)一坐標(biāo)系下的關(guān)系。

4 標(biāo)定結(jié)果

試驗(yàn)中使用了四個(gè)CCD相機(jī)，像素尺寸為5.6μm* 5.6μm，為保證視場(chǎng)范圍，采用了4mm鏡頭，采用黑白相間的棋盤(pán)格作為標(biāo)定靶標(biāo)，提取棋盤(pán)格上角點(diǎn)信息進(jìn)行相機(jī)的標(biāo)定。對(duì)空間中靶標(biāo)進(jìn)行了拍攝：

圖4 標(biāo)定棋盤(pán)格

試驗(yàn)中為保證相機(jī)標(biāo)定的精度，將棋盤(pán)格靶標(biāo)在相機(jī)視場(chǎng)內(nèi)擺放若干位置，分別拍攝了100張不同角度和位置的圖像，如圖5所示：

圖5 相機(jī)和靶標(biāo)相對(duì)位置關(guān)系

四個(gè)相機(jī)的標(biāo)定結(jié)果為：

1號(hào)相機(jī)焦距 f1=735.70553，主點(diǎn)坐標(biāo) c1= [332.83706，237.34153]，徑向畸變?yōu)椋琸11=-0.09698，k12=0.09186，切向畸變?yōu)?p11=-0.00296，p12= 0.00008。

2號(hào)相機(jī)焦距 f2=734.34412，主點(diǎn)坐標(biāo) c2= [348.33989，235.97910]，徑向畸變?yōu)?，k21=-0.09378，k22=0.06665，切向畸變?yōu)?p21=-0.00190，p22= 0.00296。

3號(hào)相機(jī)焦距 f3=736.95946，主點(diǎn)坐標(biāo) c3= [341.89395，252.66362]，徑向畸變?yōu)?，k31=-0.09217，k32=0.01289，切向畸變?yōu)?p31=-0.00061，p32= 0.00334。

4號(hào)相機(jī)焦距 f4=735.48787，主點(diǎn)坐標(biāo) c4= [334.43309,233.13859]，徑向畸變?yōu)?，k41=-0.10568，k42=0.16539，切向畸變?yōu)?p41=-0.00211，p42= 0.00279。

表1 相機(jī)焦距和誤差

5 測(cè)量結(jié)果與分析

利用標(biāo)定結(jié)果對(duì)實(shí)際空間中兩個(gè)固定距離的小圓球進(jìn)行了測(cè)量，如圖6。

首先根據(jù)圖像中點(diǎn)的位置，得到兩個(gè)點(diǎn)的像素坐標(biāo)，然后根據(jù)標(biāo)定的相機(jī)內(nèi)外參數(shù)，求得兩點(diǎn)在空間中的世界坐標(biāo)，計(jì)算距離[10]，最后與空間中兩點(diǎn)的實(shí)際距離作比較，兩小球的距離為500mm（如表2）。

列舉幾個(gè)通過(guò)相機(jī)間內(nèi)外參求得的兩點(diǎn)空間距離（如表3）。

由表2和表3可知，在上述原理的基礎(chǔ)上通過(guò)拍攝圖像進(jìn)行了實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)數(shù)據(jù)，相鄰相機(jī)間求得兩點(diǎn)間距離精度較高，魯棒性較好，由于實(shí)際場(chǎng)景中相機(jī)擺放的位置呈一個(gè)長(zhǎng)方形，2號(hào)和3號(hào)相機(jī)、1號(hào)和4號(hào)相機(jī)之間的距離明顯長(zhǎng)于1號(hào)和2號(hào)相機(jī)、3號(hào)和4號(hào)相機(jī)之間的距離，對(duì)應(yīng)的2和3號(hào)相機(jī)、1和4號(hào)相機(jī)光軸與靶標(biāo)平面所成的角度相對(duì)較大，所以坐標(biāo)系統(tǒng)一后，誤差相對(duì)較大。由于實(shí)驗(yàn)設(shè)備有限，采用了四臺(tái)相機(jī)，后期可以在2號(hào)和3號(hào)、1號(hào)和4號(hào)相機(jī)之間增加兩臺(tái)相機(jī)，減少相機(jī)間的距離，進(jìn)而減小相機(jī)與靶標(biāo)所成角度來(lái)增加標(biāo)定精度。

圖6 空間中點(diǎn)位置

表2 兩個(gè)球中心圖像坐標(biāo)

表3 兩球中心世界坐標(biāo)

進(jìn)一步實(shí)驗(yàn)，在四個(gè)區(qū)域內(nèi)隨意放置兩個(gè)小球點(diǎn)，但是固定他們中心之間的距離為300mm，如圖7所示：

圖7 兩個(gè)相機(jī)中四個(gè)區(qū)域

用兩個(gè)相機(jī)分別對(duì)每個(gè)區(qū)域拍攝十組照片，1號(hào)區(qū)域?yàn)閮蓚€(gè)相機(jī)的圖像中心，2、3和4號(hào)區(qū)域?yàn)閳D像的邊緣，與相機(jī)光軸角度較大。

表4 兩球在四個(gè)區(qū)域距離及誤差

由表4可知，2、3和4號(hào)區(qū)域相對(duì)于1號(hào)區(qū)域誤差較大，所以每個(gè)相機(jī)擺放的位置應(yīng)盡量使人位于圖像的中心，減小與相機(jī)光軸所成的角度，以提高后期三維重建和人體動(dòng)態(tài)捕捉的精度。

6 結(jié)語(yǔ)

相機(jī)的標(biāo)定是機(jī)器視覺(jué)和三維重建的基礎(chǔ)，為機(jī)器視覺(jué)相關(guān)技術(shù)在眾多領(lǐng)域的應(yīng)用提供了前提條件，本文在張正友標(biāo)定法的基礎(chǔ)上，提出了一種多目相機(jī)標(biāo)定，運(yùn)用黑白相間棋盤(pán)格對(duì)四個(gè)相機(jī)依次進(jìn)行標(biāo)定，求出每個(gè)相機(jī)的內(nèi)外參數(shù)，然后通過(guò)矩陣變換和LM算法優(yōu)化數(shù)據(jù)，統(tǒng)一四個(gè)相機(jī)的坐標(biāo)系完成多目相機(jī)系統(tǒng)的標(biāo)定。提出了相機(jī)位置與標(biāo)定精度的關(guān)系，在大場(chǎng)景下通過(guò)增加相機(jī)個(gè)數(shù)，減小相機(jī)光軸與靶標(biāo)平面之間角度來(lái)減小誤差，提高標(biāo)定精度，本方法用于電力系統(tǒng)培訓(xùn)中的大視場(chǎng)情況下的人體動(dòng)作捕捉，滿(mǎn)足人體在場(chǎng)景中位置變化的精度，為電力培訓(xùn)的方法提供了新的思路。

[1]向澤銳，支錦亦，徐伯初，等．運(yùn)動(dòng)捕捉技術(shù)及其應(yīng)用研究綜述[J]．計(jì)算機(jī)應(yīng)用研究，2013，30(8)：2241-2245.

[2]馬頌德，張正友．計(jì)算機(jī)視覺(jué):計(jì)算理論與算法基礎(chǔ)［M］.北京:科學(xué)出版社，1998.

[3]Tsai R．A Versatile Camera Calibration Technique fFor High-accuracy 3D Machine Vision Metrology Using Off-the-shelf Tv Cameras and Lenses[J]．IEEE Journal on Robotics and Automation，1987，3(4)：323-344．

[4]吳福超，胡占義.攝像機(jī)自標(biāo)定的線(xiàn)性理論與算法[J].計(jì)算機(jī)學(xué)報(bào)2001，24（11）：1121-1235．

[5]Zhang Z．A Flexible New Technique for Camera Calibration[J]．IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22(11)：1330-1334．

[6]馬頌德.計(jì)算機(jī)視覺(jué)：計(jì)算理論與算法基礎(chǔ)[M].科學(xué)出版社，1998．

[7]Hsieh C H，Chen F C.General Two-stage Kalman Filters[J]．IEEE Transactions on Automatic Control，2000，45(4)：819-824．

[8]Zhang Z．Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C].iccv．IEEE Computer Society,，1999:666．

[9]Martinec D，Pajdla T．Robust Rotation and Translation Estimation in Multiview Reconstruction[C].IEEE Conference on Computer Vision and Pattern Recognition．IEEE，2007:1-8．

[10]Faugeras O.Three-dimensional Computer Vision:A Geometric Viewpoint[M].Springer-Verlag，1987．

Research of Multi-view Calibration in Wide Field

CHU Sheng-hui，ZHANG Hui-meng，CHENG Shuo，MENG Hao，LIU Guo-zhong

（Beijing Information Science and Technology University,Beijing 100192）

Camera calibration is the key step in the machine vision and three-dimensional reconstruction,Its precision is also determines the accura?cy of the three-dimensional reconstruction,this paper presents a method of multi-camera calibration in order to solve the wide field calibra?tion and incomplete information of three-dimensional reconstruction.It is different from traditional binocular camera calibration,it can be used in the large field of view to provide comprehensive three-dimensional information through the multiple perspectives.This paper adopts Zhang Zhengyou calibration algorithm,in the four directions using four cameras shot on calibration target which is a black and white X-corners in the scene to calculate the internal and external parameters of each camera firstly,Then through the relationship of ma?trix in cameras and the LM optimization algorithm to unify camera coordinate system,complete the multi-camera calibration system,This method can be applied to large scenario,for the complete information of three-dimensional reconstruction.Finally through the experiment, the experimental data is given to demonstrate the correctness of this method and proposed a relationship between the position of the camera and calibration precision.This method is applied to human motion capture system of power training and provides a new way of thinking for power training.

楚圣輝（1989-），男，河北石家莊人，碩士，研究方向?yàn)闄C(jī)器視覺(jué)、圖像處理

張慧萌（1988-），男，北京人，碩士，研究方向?yàn)殡娏ο到y(tǒng)仿真培訓(xùn)、數(shù)字圖像處理

陳碩（1993-），女，北京人，碩士，研究方向?yàn)橐曈X(jué)測(cè)量，數(shù)字圖像處理

孟浩（1978-），女，漢族，內(nèi)蒙赤峰人，博士，講師，研究方向?yàn)榫軠y(cè)量理論與技術(shù)、非統(tǒng)計(jì)理論

劉國(guó)忠（1966-），男，山西平遙人，博士，教授，研究方向?yàn)樯镝t(yī)學(xué)檢測(cè)技術(shù)與儀器、光電測(cè)量技術(shù)及儀器

2017-03-14

2017-05-20

1007-1423（2017）15-0033-06

10.3969/j.issn.1007-1423.2017.15.008

Wide Field;Multi-view Calibration;Zhang Zhengyou Calibration Algorithm;X-corners