韋爭亮， 古耀達(dá)， 黃志斌， 吳 菁

（廣州計(jì)量檢測技術(shù)研究院，廣東廣州 510030）

雙目立體視覺中特征點(diǎn)三維坐標(biāo)重構(gòu)校準(zhǔn)研究

韋爭亮， 古耀達(dá)， 黃志斌， 吳 菁

（廣州計(jì)量檢測技術(shù)研究院，廣東廣州 510030）

雙目立體視覺是一種商業(yè)化較成熟的三維測量技術(shù)，左右攝像機(jī)內(nèi)外參數(shù)的精確標(biāo)定是實(shí)現(xiàn)三維重構(gòu)的基礎(chǔ)和關(guān)鍵。針對(duì)棋盤格和圓點(diǎn)兩種標(biāo)定板圖案研究了相應(yīng)的圖像處理技術(shù)，實(shí)現(xiàn)了標(biāo)定點(diǎn)的亞像素精度定位及其有效排序。采用基于單映性約束和非線性優(yōu)化的多視角平面標(biāo)定算法實(shí)現(xiàn)了攝像機(jī)光學(xué)及空間位置參數(shù)求解。用極線約束殘差法衡量標(biāo)定結(jié)果的準(zhǔn)確度?；跇蚴饺鴺?biāo)標(biāo)準(zhǔn)實(shí)現(xiàn)標(biāo)定點(diǎn)三維重構(gòu)平面度以及多平面空間夾角測量結(jié)果的校準(zhǔn)，基于光學(xué)三坐標(biāo)標(biāo)準(zhǔn)實(shí)現(xiàn)了標(biāo)定點(diǎn)三維重構(gòu)空間距離的校準(zhǔn)，并分析了校準(zhǔn)結(jié)果的不確定度。圓標(biāo)志點(diǎn)三維重構(gòu)空間距離示值誤差為0.029 mm，不確定度U＝24μm（k＝2）。

計(jì)量學(xué)；三維測量；雙目立體視覺；攝像機(jī)標(biāo)定點(diǎn)；三坐標(biāo)；校準(zhǔn)

1 前 言

雙目立體視覺采用雙攝像機(jī)模仿人眼功能，從不同視角獲取物體表面信息，利用視差實(shí)現(xiàn)物體表面三維重構(gòu)，是一種較成熟、商業(yè)市場較成功的三維測量技術(shù)。為了從不同視角二維圖像中恢復(fù)目標(biāo)三維信息，必須對(duì)左右攝像機(jī)的內(nèi)部光學(xué)及相對(duì)空間位置參數(shù)進(jìn)行精確的標(biāo)定，再依據(jù)攝像機(jī)成像投影數(shù)學(xué)模型反算出被測物體表面離散目標(biāo)點(diǎn)的三維坐標(biāo)。隨著雙目立體視覺技術(shù)在各個(gè)領(lǐng)域應(yīng)用的不斷擴(kuò)展，越來越需要對(duì)該種技術(shù)三維測量結(jié)果的準(zhǔn)確度進(jìn)行可靠的驗(yàn)證與校準(zhǔn)。

本文基于圖像處理實(shí)現(xiàn)圓點(diǎn)或棋盤圖案的平面標(biāo)定塊特征點(diǎn)定位及排序，采用文獻(xiàn)［1］中基于不同視角平面成像單映射矩陣約束的攝像機(jī)內(nèi)參數(shù)求解法，并結(jié)合Levenberg-Marquardt非線性迭代從全局意義上優(yōu)化參數(shù)，實(shí)現(xiàn)自搭建的雙目立體視覺測量系統(tǒng)攝像機(jī)標(biāo)定。最終通過?？怂箍礕lobal Advantage橋式三坐標(biāo)測量機(jī)和德國WERTH的VideoCheck UA超高精度復(fù)合式光學(xué)三坐標(biāo)兩種溯源標(biāo)準(zhǔn)對(duì)標(biāo)定塊特征點(diǎn)三維測量結(jié)果進(jìn)行空間多布局的校準(zhǔn)。

2 雙目立體視覺測量原理

典型的雙目立體視覺測量系統(tǒng)［2］如圖1所示。對(duì)于目標(biāo)表面上的某個(gè)采樣點(diǎn)，根據(jù)其在兩幅圖像中的匹配像素點(diǎn)及攝像機(jī)標(biāo)定參數(shù)，可以構(gòu)建兩條空間視線求取其三角交會(huì)點(diǎn)獲得三維坐標(biāo)。但缺乏紋理的被測目標(biāo)表面難以實(shí)現(xiàn)左右圖像的匹配，通常增設(shè)一個(gè)投影設(shè)備將特定編碼的結(jié)構(gòu)光投射到物體表面形成匹配特征［3］，從而降低測量難度，提升測量分辨率和準(zhǔn)確度。

圖1 基于雙目立體視覺的三維測量系統(tǒng)

3 攝像機(jī)成像模型

攝像機(jī)光學(xué)成像如圖2所示，空間任意一點(diǎn)P與攝像機(jī)光心C的連線交成像平面于點(diǎn)p。依據(jù)世界坐標(biāo)系OXWYWZW到攝像機(jī)坐標(biāo)系CXCYCZC的旋轉(zhuǎn)矩陣R及平移向量T（攝像機(jī)外參數(shù)），按照公式（1）實(shí)現(xiàn)P點(diǎn)世界坐標(biāo)系OXWYWZW三維坐標(biāo)（XW，YW，ZW）到歸一化成像平面二維坐標(biāo)系oxy的坐標(biāo)（xu，yu）的轉(zhuǎn)換。其中ri及ti為矩陣R和向量T的元素。矩陣R的元素ri也可采用三個(gè)坐標(biāo)軸旋轉(zhuǎn)角θ，φ，φ來表示。

圖2 攝像機(jī)光學(xué)成像

由于制造存在的鏡頭畸變導(dǎo)致實(shí)際像點(diǎn)為p′（xd，yd）。依據(jù)公式（2）可實(shí)現(xiàn)畸變與非畸變圖像坐標(biāo)轉(zhuǎn)換，其中k1、k2、k3為徑向畸變參數(shù)，來自透鏡形狀誤差，p1、p2為切向畸變參數(shù)，來自透鏡組裝誤差。

最后依據(jù)攝像機(jī)主點(diǎn)o（光軸與成像平面交點(diǎn)）的對(duì)應(yīng)像素坐標(biāo)（u0，v0）以及攝像機(jī)成像水平和垂直方向以像素為單位的焦距fx、fy，由公式（3）計(jì)算出實(shí)際像點(diǎn)在計(jì)算機(jī)屏幕二維坐標(biāo)系o′uv的坐標(biāo)（u，v）。

4 標(biāo)定圖像處理及參數(shù)求解

首先需要標(biāo)定板提供一系列分布于測量空間的三維坐標(biāo)已知的標(biāo)定點(diǎn)，再通過圖像處理提取出標(biāo)定點(diǎn)在成像平面的二維像素坐標(biāo)，最后采用特定算法求解攝像機(jī)內(nèi)外參數(shù)。采用棋盤和圓點(diǎn)兩種圖案的平面標(biāo)定板提供標(biāo)定輸入數(shù)據(jù)。

圖3 棋盤標(biāo)定板及二值化圖像

棋盤標(biāo)定板的采集圖像如圖3（a）所示。尺寸為200 mm×200 mm×8 mm，方格數(shù)量為13×13個(gè)，線間距為12 mm，金屬材料。首先進(jìn)行閾值化分割，得到黑白二值化圖像，見圖3（b）。Harris定義的角點(diǎn)位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣：）

式中：x，y為像素點(diǎn)p的坐標(biāo)；I為像素灰度值。

有兩個(gè)最大特征值的地方，在本質(zhì)上表示以此點(diǎn)為中心周圍存在至少兩個(gè)不同方向的紋理，而棋盤格的角點(diǎn)為4條黑白跳躍清晰邊界的交會(huì)之處，基于該種角點(diǎn)定義可有效實(shí)現(xiàn)棋盤格角點(diǎn)定位［4］。根據(jù)邊界點(diǎn)與角點(diǎn)連線垂直于邊界梯度的約束迭代實(shí)現(xiàn)角點(diǎn)的亞像素精確定位，見圖4。最后依據(jù)棋盤角點(diǎn)上下左右連續(xù)位置關(guān)系實(shí)現(xiàn)所有角點(diǎn)的排序，見圖5（a）、（b）。

圖4 亞像素定位垂直約束

圓點(diǎn)標(biāo)定板的采集圖像如圖6（a）所示，尺寸為400 mm×300 mm×10 mm，圓點(diǎn)數(shù)量為11×9個(gè)，點(diǎn)間距為25 mm，大圓直徑為15 mm，小圓直徑為7.5 mm，金屬材料。同樣，首先將圖像二值化分割出目標(biāo)圓點(diǎn)，見圖6（b），提取跟蹤所有黑白跳躍的連續(xù)邊界。攝像機(jī)透視成像后標(biāo)準(zhǔn)圓點(diǎn)變成了橢圓形狀，用最小二乘法擬合封閉邊界橢圓系數(shù)，通過擬合誤差閾值（小于5個(gè)像素值）可有效排除各類非目標(biāo)橢圓點(diǎn)邊界，見圖6（c）、（d）。沿著有效的橢圓邊界點(diǎn)梯度方向最小二乘擬合拋物線峰值點(diǎn)定位亞像素邊界點(diǎn)，再次擬合橢圓系數(shù)實(shí)現(xiàn)亞像素級(jí)別的橢圓中心點(diǎn)定位。根據(jù)面積差別提取出4個(gè)大點(diǎn)，由距離最短的兩個(gè)連續(xù)大點(diǎn)確定X軸排列方向，依據(jù)其它大點(diǎn)與X軸大點(diǎn)的夾角確定Y軸及各軸正負(fù)方向，以4個(gè)大點(diǎn)為出發(fā)點(diǎn)，依據(jù)上下左右連續(xù)位置約束搜索定位出99個(gè)標(biāo)定點(diǎn)并排好次序，見圖6（e）、（f）。

圖5 棋盤角點(diǎn)定位實(shí)例

圖6 圓點(diǎn)標(biāo)定板圓心定位實(shí)例

攝像機(jī)標(biāo)定參數(shù)求解方法主要有線性模型方法、非線性法、基于徑向約束的Tsai兩步法［5］、畸變參數(shù)預(yù)矯正法、神經(jīng)網(wǎng)絡(luò)方法、局部逐點(diǎn)單像素方法［6］。文獻(xiàn)［1］對(duì)參數(shù)求解及優(yōu)化步驟進(jìn)行了詳細(xì)介紹，提出的多位置平面標(biāo)定方法只需單平面標(biāo)定塊，操作靈活方便，標(biāo)定成本低，隨意放置無需精密位移裝置，測量空間覆蓋充足，參數(shù)求解精度較高，應(yīng)用較為廣泛。

數(shù)學(xué)模型線性變換公式如下：

式（6）為矩陣代號(hào)縮寫式：

將世界坐標(biāo)系XY平面設(shè)置于標(biāo)定板平面上，則M＝[XWYW0 1]，標(biāo)定板平面二維坐標(biāo)點(diǎn)M與對(duì)應(yīng)圖像二維坐標(biāo)點(diǎn)m間存在一個(gè)單應(yīng)性矩陣變換H。

依據(jù)公式（7）建立的方程組可以解算出每一個(gè)標(biāo)定位置的H，基于式（8）和R的正交性（），可得到兩個(gè)關(guān)于攝像機(jī)內(nèi)參數(shù)的基本約束方程

理論上獲取3個(gè)以上視角，即3×2個(gè)內(nèi)參數(shù)約束即可通過奇異值分解和Cholesky矩陣分解算法實(shí)現(xiàn)內(nèi)參數(shù)矩陣的唯一確定。求解出內(nèi)參數(shù)矩陣A之后，每個(gè)標(biāo)定位置的外參數(shù)矩陣即可按下式求解

為了提高標(biāo)定精度，必須考慮客觀鏡頭畸變問題。以實(shí)際檢測圖像坐標(biāo)m與由參數(shù)初值算出的圖像坐標(biāo)的殘差平方和

為目標(biāo)函數(shù)，用Levenberg-Marquardt法進(jìn)行非線性迭代，全局優(yōu)化參數(shù)。

5 三維測量結(jié)果校準(zhǔn)

雙目立體視覺成像存在極線幾何約束。如圖7所示，左右圖像極線由雙攝像機(jī)的光心及空間點(diǎn)確定的光平面與成像平面的相交而形成。左圖像的某像素點(diǎn)在右圖像上的匹配點(diǎn)必定位于其對(duì)應(yīng)極線上，相反亦成立。由攝像機(jī)標(biāo)定內(nèi)外參數(shù)求解基本矩陣F，可建立極線約束方程：

式中：mTr表示右圖像像素坐標(biāo)；ml表示左圖像像素坐標(biāo)。

攝像機(jī)標(biāo)定準(zhǔn)確度最直接的一種衡量參數(shù)就是所有左右圖像標(biāo)定點(diǎn)去除鏡頭畸變后與其對(duì)應(yīng)極線的距離偏差均值。

圖7 外極線幾何

圖8 棋盤格標(biāo)定板圖像集

圖8給出了3個(gè)不同空間位置的棋盤格標(biāo)定板采集圖像。一共采集了10個(gè)不同視角的數(shù)據(jù)進(jìn)行攝像機(jī)標(biāo)定。標(biāo)定后極線距離偏差均值為0.099 pixel。圖9為非標(biāo)定位置的棋盤格144個(gè)標(biāo)定點(diǎn)的三維重構(gòu)結(jié)果。圖10為空間點(diǎn)最小二乘平面擬合距離偏差示意圖，平面擬合的偏差均值為0.05 mm，正負(fù)距離偏差的最大間隔即平面度為0.29 mm。棋盤格標(biāo)定板采用橋式三坐標(biāo)標(biāo)準(zhǔn)測量得到的平面度參考值為0.053 mm。采用光學(xué)三坐標(biāo)測量得到的棋盤格標(biāo)定板鄰接角點(diǎn)的距離均值為11.907 mm，實(shí)測連續(xù)角點(diǎn)距離均值為11.961 mm。表1為其中5個(gè)連續(xù)角點(diǎn)的空間坐標(biāo)及距離測量結(jié)果。

圖11為4個(gè)不同空間位置的圓點(diǎn)標(biāo)定板采集圖像。同樣共采集10個(gè)視角數(shù)據(jù)，極線距離偏差均值為0.096 pixel。99個(gè)圓心標(biāo)定點(diǎn)三維重構(gòu)結(jié)果如圖12，最小二乘平面擬合距離偏差示意如圖13所示。平面擬合誤差均值0.045 mm，平面度為0.328 mm，橋式三坐標(biāo)平面度標(biāo)準(zhǔn)值0.027 mm，光學(xué)三坐標(biāo)連續(xù)圓點(diǎn)距離標(biāo)準(zhǔn)均值為24.976 mm，連續(xù)圓點(diǎn)距離均值實(shí)測值為25.005 mm。

圖9 棋盤角點(diǎn)三維重構(gòu)結(jié)果

圖10 144點(diǎn)平面擬合誤差示意圖

表1 5個(gè)角點(diǎn)空間坐標(biāo)及距離實(shí)測結(jié)果mm

圖11 圓點(diǎn)標(biāo)定圖像集

將棋盤標(biāo)定板放置于3個(gè)不同空間位置測量，圖14為重構(gòu)結(jié)果三維顯示圖?；跇蚴饺鴺?biāo)得到任意兩個(gè)空間位置平面夾角，共3個(gè)角度標(biāo)準(zhǔn)值和三維重構(gòu)的3個(gè)角度實(shí)測量值，見表2，最大角度誤差為－0.061°。

圖12 99個(gè)圓心點(diǎn)三維重構(gòu)結(jié)果

圖13 圓心最小二乘平面擬合距離偏差示意圖

圖14 3個(gè)不同位置平面的三維重構(gòu)結(jié)果

表2 平面間夾角測量結(jié)果

6 校準(zhǔn)不確定度分析

對(duì)鄰接圓心距離均值三維測量示值誤差進(jìn)行不確定度分析。

空間距離示值誤差e為實(shí)測值lm與光學(xué)三坐標(biāo)標(biāo)準(zhǔn)值ls之差。

（1）標(biāo)準(zhǔn)不確定度分量u（lm）為圓心距離均值三維測量重復(fù)性，具體結(jié)果見表3。共測量10次，標(biāo)準(zhǔn)偏差為0.012 mm。

表3 距離均值重復(fù)性測量結(jié)果mm

（2）不確定度分量u（ls）由標(biāo)準(zhǔn)器光學(xué)三坐標(biāo)測量的最大允許誤差MPE引入。按均勻分布計(jì)算，則

合成標(biāo)準(zhǔn)不確定度［7］：

取包含因子k＝2，U＝24μm。

采用WERTH VideoCheck UA光學(xué)三坐標(biāo)溯源標(biāo)準(zhǔn)，與同類型設(shè)備相比具有較高精度，但考慮測量成本及可行性，可選用普通的視頻影像測量儀標(biāo)準(zhǔn)，若其最大允許誤差為±5μm，按照上述評(píng)定過程計(jì)算到的U為25μm，依據(jù)不確定度小于等于被評(píng)定測量儀器最大允差1／3的要求，可滿足允差大于0.075 mm的三維重構(gòu)校準(zhǔn)。

7 結(jié) 論

基于圖像二值化、梯度邊界提取跟蹤、形狀約束、最小二乘擬合等圖像處理技術(shù)實(shí)現(xiàn)棋盤或圓點(diǎn)平面標(biāo)定塊特征點(diǎn)識(shí)別及亞像素精度定位?；趩斡承约s束多視角平面標(biāo)定算法實(shí)現(xiàn)攝像機(jī)內(nèi)部光學(xué)及相對(duì)空間位置外參數(shù)求解，通過非線性迭代優(yōu)化解算鏡頭畸變參數(shù)，采用橋式三坐標(biāo)和光學(xué)三坐標(biāo)標(biāo)準(zhǔn)對(duì)非標(biāo)定位置的平面特征點(diǎn)三維測量結(jié)果進(jìn)行校準(zhǔn)。

棋盤格角點(diǎn)平面范圍為132 mm×132 mm，三維重構(gòu)的平面擬和誤差為0.051 mm，平面度測量示值誤差為（0.290－0.053）mm＝0.247 mm，誤差相對(duì)整個(gè)平面范圍為1.9×10－3，空間距離示值誤差為（11.961－11.907）mm＝0.054 mm，誤差相對(duì)整個(gè)平面范圍為0.4×10－3。

圓點(diǎn)平面范圍為250 mm×200 mm，三維重構(gòu)平面擬和誤差為0.045 mm，平面度測量誤差為（0.328－0.027）mm＝0.301 mm，誤差相對(duì)測量范圍為1.2×10－3，空間距離示值誤差為（25.005－24.976）mm＝0.029 mm，誤差相對(duì)測量范圍為0.1×10－3。

從實(shí)驗(yàn)結(jié)果相對(duì)于整個(gè)測量范圍的誤差可以看出：圓點(diǎn)標(biāo)定的準(zhǔn)確度高于棋盤標(biāo)定，主要是因?yàn)閳A心標(biāo)志點(diǎn)在數(shù)字圖像中的唯一確定性高于棋盤角點(diǎn)。由于制作因素，在光學(xué)三坐標(biāo)的放大鏡頭中可看到形成棋盤格角點(diǎn)的4條邊界交會(huì)并未對(duì)齊，實(shí)際交會(huì)角點(diǎn)是個(gè)空白區(qū)域，導(dǎo)致其定位精度低于可依據(jù)邊界精確定位的圓心特征。

空間距離的示值誤差較明顯地小于平面度的誤差，說明所采用的參數(shù)求解方法沒有較好符合標(biāo)志點(diǎn)來自于同一平面的約束，設(shè)定的標(biāo)定點(diǎn)距離約束則得到了較好符合。

三維重構(gòu)的測量誤差除了來自特征點(diǎn)的圖像定位算法、攝像機(jī)標(biāo)定算法、標(biāo)定板的制作精度以外，圖像采集硬件的性能也將會(huì)直接影響三維測量的精度。由于本文采用的三維測量校準(zhǔn)技術(shù)是在基礎(chǔ)的攝像機(jī)標(biāo)定層面上進(jìn)行，因此有助于更直接發(fā)現(xiàn)測量誤差的來源。

［1］ Zhang Z Y.A Flexible New Technique for Camera Calibration［J］.IEEEtransactionsonpatternanalysisand machineintelligence，2000，22（11）：1330－1334.

［2］ 張廣軍.機(jī)器視覺［M］.北京：科學(xué)出版社，2009，99－108.

［3］ 謝捷如，王震.運(yùn)用LCD條紋投影進(jìn)行光學(xué)三維輪廓測量［J］.計(jì)量學(xué)報(bào)，2008，29（4）：301－304.

［4］ Bradski G，Kaebler A.學(xué)習(xí)OpenCV［M］.于仕琪，劉瑞禎，譯.北京：清華大學(xué)出版社，2009.

［5］ Tsai R Y.A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Offthe－shelf TV Cameras and Lenses［J］.IEEEjournalof roboticsandautomation，1987，RA－3（4）：323－344.

［6］ Liu H Y，Su W H，Richard K，etal.Calibration-based phase-shifting projected fringe profilometry for accurate absolute 3D surface profile measurement［J］.Optics Communications，2003，216，（1－3）：65－80.

［7］ 國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局.JJF 1059.1—2012，測量不確定度評(píng)定與表示［S］.2012.

Research on Calibration of Three Dimensional Coordinate Reconstruction of Feature Points in Binocular Stereo Vision

WEIZheng-liang， GU Yao-da， HUANG Zhi-bin， WU Jing
（Guangzhou Institute of Measuring and Testing Technology，Guangzhou，Guangdong 510030，China）

Binocular stereo vision is one of the 3D measurement techniques which is more adult in commerce.The accurate calibration of inner and out parameters for left and right camera is basic and important in realizing 3D reconstruction.Corresponding image process techniques to two calibration block pattern with chess corners or circle points are researched，so the feature points are located in sub-pixel accuracy and effectly sequenced.The optical and space parameters are calculated by calibration algorithm of homography constraint and multe-view plane.Accuracy of calibration result is evaluated by epipolar constraint residualerror.The calibration ofmeasurement results of flatness and angle between planes of feature points 3D reconstruction is completed by standard of bridge CMM.The calibration of space distance of feature points is completed by standard of optical CMM，and the uncertainty is analyzed.The indication error of space distance of circle calibration points 3D reconstruction is 0.029 mm，uncertaintyUis 24μm（k＝2）.

Metrology；Three dimensional measurement；Binocular stereo vision；Camera calibration point；Coordinatemeasuringmachining；Calibration

TB921

A

1000-1158（2014）02-0102-06

10．3969／j．issn．1000-1158．2014．02．02

2013-05-27；

2013-07-04

國家質(zhì)檢總局科技計(jì)劃項(xiàng)目（2012QK063）

韋爭亮（1982－），男（壯族），廣西河池人，廣州計(jì)量檢測技術(shù)研究院工程師，博士，主要從事幾何量計(jì)量、非接觸光學(xué)三維測量技術(shù)研究。2609517012＠qq.com