李麗娟，李寧，林雪竹，2

（1.長春理工大學(xué)　光電工程學(xué)院，長春　130022；2.長春理工大學(xué)　機電工程學(xué)院，長春　130022）

基于標(biāo)準(zhǔn)桿的雙目視覺傳感器標(biāo)定技術(shù)研究

李麗娟1，李寧1，林雪竹1，2

（1.長春理工大學(xué)光電工程學(xué)院，長春130022；2.長春理工大學(xué)機電工程學(xué)院，長春130022）

目前制造業(yè)對大范圍精密測量技術(shù)要求越來越高，為了克服傳統(tǒng)雙目立體視覺標(biāo)定過程中測量場難實現(xiàn)、標(biāo)定精度低等缺點，提出了一種較靈活的基于一維標(biāo)準(zhǔn)桿的雙目視覺傳感器的標(biāo)定方法。該方法首先利用正方形模板和帶有四個特征點的標(biāo)準(zhǔn)桿實現(xiàn)主點和畸變的標(biāo)定，然后在測量場多次擺放標(biāo)準(zhǔn)桿，由兩攝像機拍攝標(biāo)準(zhǔn)桿圖像，利用標(biāo)準(zhǔn)桿上對應(yīng)特征點之間的約束以及基本矩陣估計雙目視覺傳感器其余參數(shù)，最后光束法平差進(jìn)行整體優(yōu)化，消除累積誤差。仿真實驗和真實實驗結(jié)果均表明該方法適用于大視場雙目視覺傳感器的標(biāo)定，操作簡單、標(biāo)定效率高。

雙目視覺傳感器；標(biāo)定；標(biāo)準(zhǔn)桿；光束法平差

視覺測量是一種非接觸式、高效的先進(jìn)測量技術(shù)，具有測量方式多變、測量速度快、便于攜帶等優(yōu)勢，已被廣泛應(yīng)用于制造業(yè)。視覺測量系統(tǒng)主要由兩個攝像機和系統(tǒng)計算軟件構(gòu)成，雙攝像機的標(biāo)定精度極大的影響著整個測量系統(tǒng)的精度［1］，研究精度高、運算快、操作簡單的標(biāo)定方法至關(guān)重要。

目前攝像機標(biāo)定方法主要有自標(biāo)定、一維直線標(biāo)定、二維平面標(biāo)定和三維立方體標(biāo)定［2，3］。三維靶標(biāo)要求制作精準(zhǔn)細(xì)密，不便于日常維護，在實際應(yīng)用中并不十分廣泛；二維標(biāo)定在計算中把平面模板作為理想平面來對待，后期優(yōu)化中忽略了實際平面模板的誤差；自標(biāo)定計算非常復(fù)雜，結(jié)果并不魯棒。一維標(biāo)定靶由幾個共線且彼此距離已知的特定標(biāo)定點組成，由于其不會被自身遮擋、制作簡單、操作方便等優(yōu)勢，已經(jīng)逐漸被應(yīng)用于攝像機的標(biāo)定。最早提出一維標(biāo)定方法的是Zhang［4］，由彼此距離已知且共線的3個點組成一維標(biāo)定靶，一端固定，另一端旋轉(zhuǎn)，拍攝不同6幅圖像即可實現(xiàn)標(biāo)定；王年［5］也對該方法做出改進(jìn)，提出當(dāng)一維標(biāo)定物在空間中做一般剛體運動時，就能夠標(biāo)定出雙目攝像機的內(nèi)外部參數(shù)；王亮［6］提出了類似于分層重建的基于一維標(biāo)定物的線性標(biāo)定算法，表明一維標(biāo)定物運用起來更加靈活方便。

本文提出了基于一維標(biāo)準(zhǔn)桿和對極幾何的攝像機標(biāo)定方法，首先利用消隱點的性質(zhì)完成主點的標(biāo)定，然后在攝像機前方任意揮舞一維標(biāo)準(zhǔn)桿，得到若干幅圖像，畸變校正后，由歸一化八點法估計基本矩陣，進(jìn)而估計攝像機外部參數(shù)初始值，最后利用光束法平差捆綁調(diào)整所有參數(shù)，得到最優(yōu)解。

1　雙目視覺系統(tǒng)建模

雙目視覺系統(tǒng)的測量模型如圖1所示，Ol和Or分別為左右攝像機光心，左攝像機坐標(biāo)系為Ol-XlYlZl，右攝像機坐標(biāo)系為Or-XrYrZr，令世界坐標(biāo)系與左攝像機坐標(biāo)系重合?？臻g一點M（X，Y，Z，1）在左右攝像機像面上的對應(yīng)點為ml（ul，vl，1）和mr（ur，vr，1）。

圖1　雙目視覺測量原理

由攝像機模型：

其中Pl、Pr為左右攝像機的投影矩陣，

其中I為3×3單位矩陣。

flx、fly、frx、fry分別為左右攝像機的有效焦距，（olx，oly）、（orx，ory）分別為左右攝像機主點坐標(biāo)，R、T為旋轉(zhuǎn)矩陣和平移向量。

由于實際鏡頭帶有不同程度的畸變，即空間點M（X，Y，Z）實際成像點不在 （x，y），而是在（xd，yd），一般情況下，畸變模型如下：

其中r2=x?2+y?2，k為一階徑向畸變系數(shù)。

在理想成像條件下，光線Olml和光線Ormr直接相交于M點，但實際情況中，如圖1，由于圖像噪聲誤差、制造工藝誤差等，它們不能直接相交而構(gòu)成異面曲線，由三角測量原理，它們公垂線的中點就是最接近空間點M的三維重構(gòu)點，將（1）式變形為：

根據(jù)三角測量原理，點對應(yīng)ml?mr的空間點M是上述方程的解，即只要知道攝像機的內(nèi)外部參數(shù)就可以得到被測物點的三維空間物點。

2　標(biāo)定原理

標(biāo)定流程如圖2所示。

圖2　標(biāo)定流程

2.1主點、畸變和有效焦距的標(biāo)定

主點標(biāo)定模板如圖4所示，標(biāo)定原理示意如圖3，由消隱點的屬性，一組平行線與光軸平行時，對應(yīng)的消隱點必是像面的主點，即主點。點a1a2a3，b1b2b3，c1c2c3，d1d2d3分別為A、B、C、D的三次對應(yīng)成像點，利用Harris角點檢測算子依次提取圖像中四個角點，擬合出四條直線li（i=1，2，3，4），并求解四條直線的交點，如果主點Oc在直線li上，必有，利用這一條件建立優(yōu)化目標(biāo)函數(shù)：

選定平均值為初值，利用最大似然估計求解主點的最優(yōu)解。

圖3　主點標(biāo)定原理圖

圖4　標(biāo)定模板

畸變標(biāo)定示意如圖5，由交比不變性質(zhì)，空間中標(biāo)準(zhǔn)桿上4點的交比如式（7）。

標(biāo)準(zhǔn)桿上C、D、E、H在像平面上的實際四個對應(yīng)成像點為cd、dd、ed、hd，由于畸變的原因，這四個點并不在一條直線上，根據(jù)公式（8），由最小二乘法線性擬合理想直線方程，并在交比不變的約束下確定畸變系數(shù)k。

圖5　畸變標(biāo)定原理圖

如圖1中，空間點在左右兩像面上的成像點滿足對極幾何約束，空間點M與左右像面的像點ml、mr組成極平面π，平面π與左右像面的交線分別為左極線ll和右極線lr，則像點ml必定位于ll上，mr必定位于lr上，這種極線約束關(guān)系在數(shù)學(xué)上可以由基本矩陣和本質(zhì)矩陣來表示：

其中，F(xiàn)為基本矩陣，E為本質(zhì)矩陣，［t］×是由T元素組成的反對稱矩陣。

由（9）式，根據(jù)加權(quán)歸一化八點算法求解出基本矩陣F，考慮到通常情況下像平面為正方形，高寬比為1，所以有 flx=fly=fl，frx=fry=fr，Kruppa方程是雙目攝像機的重要約束，將基本矩陣、極點和攝像機內(nèi)參數(shù)聯(lián)系在一起：

er為右圖像極點，由對基本矩陣F奇異值分解得到，［］er×為反對稱矩陣，s為一未知的正比例因子。將（12）式展開，求解有效焦距 fl和 fr。

2.2外參數(shù)和比例因子的標(biāo)定

當(dāng)內(nèi)參數(shù)矩陣KlKr已知時，利用公式（10）可求出本質(zhì)矩陣E，對E進(jìn)行奇異值分界，E=U∑VT，可以得到R和帶有比例因子的t：

R=UR90°VT或，其中

這樣R和T有四種組合結(jié)果，由于特征點位于攝像機前方，重建點Z坐標(biāo)值大于0，另外平移向量x分量小于0，根據(jù)這兩個條件篩選出最佳R和T的組合。

本質(zhì)矩陣E的求解在‖T‖=1的條件下求得，因此在此基礎(chǔ)上得到的三維重建點和真實點相差一個比例因子λ。假設(shè)標(biāo)準(zhǔn)桿上兩特征點距離為l，我們依據(jù)相差比例因子的投影矩陣計算出兩特征點的距離l?，則：

2.3攝像機標(biāo)定參數(shù)整體優(yōu)化---光束法平差

上述標(biāo)定參數(shù)的獲取是通過分步獲得，忽略系統(tǒng)的整體性，以共線條件方程為基礎(chǔ)，將攝像機內(nèi)參數(shù)、外參數(shù)和標(biāo)定點物方坐標(biāo)放在一起進(jìn)行平差調(diào)整，該方法亦稱光束法平差［7］。將方程線性化后，建立誤差方程，提供相應(yīng)的初始值和多個像點坐標(biāo)，逐點解算未知數(shù)的修正量，不斷更新初始值和誤差方程，迭代求解出最佳值。

由式（1）～（4），建立由空間點坐標(biāo)表示像點坐標(biāo)的共線條件方程：

由于（17）式方程是關(guān)于未知數(shù)的非線性函數(shù)，因此需線性化處理，即將函數(shù)按一階泰勒級數(shù)展開，從而建立誤差方程，并分別以內(nèi)部參數(shù)、外部參數(shù)和標(biāo)定點的三維坐標(biāo)的修正量這三種形式表達(dá)：

式中，P1、P2、P3分別為內(nèi)參數(shù)、外參數(shù)和物方點坐標(biāo)的修正量，A、B、C分別為它們對應(yīng)的偏導(dǎo)數(shù)矩陣，L為觀測值，分別表示為：

其中（x0，y0）為像點坐標(biāo)初始值，（x，y）是通過（16）式計算得到的像點坐標(biāo)。

攝像機標(biāo)定參數(shù)的獲取可通過下列非線性優(yōu)化問題求得：

上述光束法平差將含有誤差的參數(shù)放在一起進(jìn)行平差調(diào)整優(yōu)化，既考慮了物方標(biāo)定點的坐標(biāo)誤差，又考慮了畸變、主點對圖像坐標(biāo)的誤差。

3　仿真及實驗結(jié)果

3.1計算機仿真

利用Matlab7.10編寫算法程序，兩攝像機內(nèi)部參數(shù)完全一致，設(shè)定值表格1所示，將相機置于4000×4000mm2的視場中。

表1　仿真雙目傳感器參數(shù)

假設(shè)左相機坐標(biāo)系為世界坐標(biāo)系，標(biāo)準(zhǔn)桿長度為970mm，隨機置于視場中的10個位置，分別獲取標(biāo)定桿圖像坐標(biāo)，在特征點的圖像坐標(biāo)上加上均值為0標(biāo)準(zhǔn)差為s的高斯白噪聲，取10個不同值，每個噪聲水平做100次，取平均值得到標(biāo)定結(jié)果：

為了驗證實驗結(jié)果，改變不同噪聲，反投空間點坐標(biāo)，并求出反投的標(biāo)準(zhǔn)桿的長度與理論長度的誤差。

表3　測量長度誤差結(jié)果

圖6　標(biāo)準(zhǔn)桿反投長度與理論長度誤差

根據(jù)上圖表示的仿真結(jié)果，可以看出雙目視覺相機的空間點測量精度即標(biāo)準(zhǔn)桿理論長度與反投長度誤差基本符合噪聲增大而增大的趨勢。

3.2真實實驗

采用兩個分辨率為1300×1024的OK-AC1300型號的1/2型號相機組成雙目視覺傳感器，鏡頭為50mm定焦鏡頭。標(biāo)準(zhǔn)桿圖7所示，帶有四個特征點，任意兩點間標(biāo)準(zhǔn)距離激光跟蹤儀獲得。

圖7　標(biāo)準(zhǔn)桿

在攝像機測量范圍內(nèi)揮舞標(biāo)準(zhǔn)桿20次，得到40組對應(yīng)圖像觀測點，利用上面的標(biāo)定方法在Matlab7.10平臺下測試，得到攝像機內(nèi)部參數(shù)如表格2所示。

表2　攝像機內(nèi)參數(shù)標(biāo)定結(jié)果

外部參數(shù)：

為了評定本算法的標(biāo)定精度，使用標(biāo)定后的結(jié)果進(jìn)行像點空間坐標(biāo)的反求，計算標(biāo)準(zhǔn)桿兩端標(biāo)記點的長度，將測量值與實際值970.675mm進(jìn)行比較，表格3給出了部分測量結(jié)果，并計算了相應(yīng)的測量均值和標(biāo)準(zhǔn)差。

表3表明多次測量平均誤差為-0.234mm，標(biāo)準(zhǔn)差為0.3586，精度較高，本方法利用一維標(biāo)準(zhǔn)桿進(jìn)行標(biāo)定，且最后利用光束法平差統(tǒng)一優(yōu)化攝像機的內(nèi)外部參數(shù)，消除了累計誤差，使結(jié)果達(dá)到全局最優(yōu)。

4　結(jié)論

本文提出并實現(xiàn)了一種雙目視覺測量的一維標(biāo)定方法。該方法利用已知距離的特征點的標(biāo)準(zhǔn)桿在大視場測量空間移動，通過兩個攝像機獲得的匹配點求得基本矩陣，并采用光束法平差優(yōu)化計算得到雙目攝像機的內(nèi)外部參數(shù)。測量過程中系統(tǒng)與被測物體的相對姿態(tài)是任意的，綜合分析了測量時工作姿態(tài)，拍攝了20種姿態(tài)下的標(biāo)準(zhǔn)桿，基本涵蓋了測量時的所有姿態(tài)，保證了測量系統(tǒng)的標(biāo)定精度，在攝像機前方7.8立方米空間測量精度達(dá)0.085mm。

［1］ 趙萍，李永奎，田素博，等.雙目視覺測量系統(tǒng)結(jié)構(gòu)參數(shù)理論與試驗研究［J］.機械設(shè)計，2013，30（2）：64-68.

［2］ 張鋮偉，王彪，徐貴力.攝像機標(biāo)定方法研究［J］.計算機技術(shù)與發(fā)展，2010，20（11）：174-179.

［3］ 雷成，吳福朝，胡占義.Kruppa方程與攝像機自標(biāo)定［J］.自動化學(xué)報，2001，27（05）：621-630.

［4］Zhang Z Y.Camera calibration with one-dimensional objects［A］.Proceedings of the 7th European Conference on Computer Vision［C］.Berlin，Germany：Springer-Verlag，2002：161-174.

［5］ 王年，唐俊，韋穗，等.基于一維移動物體的雙目裝置自標(biāo)定［J］.機器人，2006，28（2）：136-143.

［6］ 王亮，吳福朝.基于一維標(biāo)定物的多攝像機標(biāo)定［J］.自動化學(xué)報，2007，33（3）：225-231.

［7］ 王昭，黃軍輝，高建民，等.基于光束法平差的結(jié)構(gòu)光測量系統(tǒng)標(biāo)定［J］.機械工程學(xué)報，2013，49（8）：32-40.

Research on Calibration of Stereo Vision Sensor Based on Standard Bar

LI Lijuan1，Li Ning1，LIN Xuezhu1，2
（1.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022；2.School of Mechatronical Engineering，Changchun University of Science and Technology，Changchun 130022）

The more accurate of large scope precise measurement is increasingly required in manufacturing industry，this paper presents a more flexible method based on one-dimensional standard bar for calibrating stereo vision sensor，which overcomes difficulty and low precision in factory in traditional binocular stereo vision sensor.Firstly，a square template and a standard bar with four points are used to calibrate principal point and aberration，then the standard bar is randomly placed in measurement space for several times and the images of the points on the standard bar are acquired by the cameras，the other parameters are estimated based on the foundational matrix and the constraint of the known distance between the points on the target，lastly，the bundle adjustment method is applied to optimize all the parameters of the cameras and calibration points to reduce the accumulated error.The results of simulation and physical experiment show that the proposed calibration method is efficient and easy to operate，and this method is suitable for the calibration of stereo vision sensor with large field of view.

stereo vision sensor；calibration；standard bar；bundle adjustment

TP391

A

1672-9870（2015）05-0034-05

2015-04-25

國家863重點項目（2013XX0406）

李麗娟（1972-），女，教授，博士生導(dǎo)師，E-mail：custjuan@126.com