王遜揚(yáng), 金　鋒

(1. 沈陽(yáng)大學(xué) 信息工程學(xué)院, 遼寧 沈陽(yáng)　110044;2. 北京經(jīng)緯信息技術(shù)公司, 北京　100081)

?

一種全自動(dòng)相機(jī)標(biāo)定系統(tǒng)的設(shè)計(jì)

王遜揚(yáng)1,2, 金鋒1

(1. 沈陽(yáng)大學(xué) 信息工程學(xué)院, 遼寧 沈陽(yáng)110044;2. 北京經(jīng)緯信息技術(shù)公司, 北京100081)

提出了一種基于最小凸包理論的棋盤格角點(diǎn)自動(dòng)提取算法,結(jié)合張正友的經(jīng)典標(biāo)定模型,設(shè)計(jì)一種全自動(dòng)相機(jī)標(biāo)定系統(tǒng).實(shí)驗(yàn)表明,該系統(tǒng)在復(fù)雜的光照和背景條件下,具有很好的標(biāo)定精度和可靠性.

相機(jī)標(biāo)定; 凸包理論; 角點(diǎn)提取; 自動(dòng)標(biāo)定

相機(jī)標(biāo)定作為視覺測(cè)量的首要任務(wù),標(biāo)定結(jié)果的準(zhǔn)確性和可靠性對(duì)后續(xù)的研究工作起到至關(guān)重要的作用.目前,應(yīng)用比較廣泛的相機(jī)標(biāo)定方法包括了三種類型:傳統(tǒng)相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定方法和基于主動(dòng)視覺系統(tǒng)的標(biāo)定方法[1].傳統(tǒng)標(biāo)定方法具有魯棒性和精度高的優(yōu)點(diǎn),其中,以張正友提出的柔性桌面標(biāo)定法[2]為典型代表.張正友標(biāo)定算法精度適中、計(jì)算量小且操作簡(jiǎn)單、靈活而得到廣泛的推崇.Bouguet等人設(shè)計(jì)了一種MATLAB標(biāo)定工具箱方法[3],利用張正友的算法進(jìn)行參數(shù)的計(jì)算,但該工具箱的自動(dòng)化程度不高,需要人工界定標(biāo)定板的頂點(diǎn),而且需要對(duì)多幅圖像進(jìn)行處理,導(dǎo)致整個(gè)標(biāo)定過程十分耗時(shí).本文提出了一種新的基于最小凸包理論的棋盤格特征點(diǎn)自動(dòng)提取算法,利用張正友標(biāo)定模型進(jìn)行參數(shù)的自動(dòng)計(jì)算,并以文本形式輸出,操作簡(jiǎn)單高效,且標(biāo)定精度與MATLAB標(biāo)定工具箱結(jié)果相當(dāng).

1　張正友標(biāo)定模型

1.1相機(jī)參數(shù)的初始估計(jì)

假定將模板平面放置在世界坐標(biāo)系Z=0的平面上,則相機(jī)成像模型為:

(1)

式中,(u,v)為像素坐標(biāo)系一點(diǎn),(X,Y,Z)空間三維點(diǎn).

(2)

由于內(nèi)參矩陣中包含5個(gè)未知參數(shù),故當(dāng)拍攝的圖像數(shù)目大于等于3時(shí),就可以線性唯一求解出內(nèi)參.令

(3)

(4)

理想狀況下,像素坐標(biāo)與空間點(diǎn)坐標(biāo)通過相機(jī)參數(shù)投影在像素坐標(biāo)系中的點(diǎn)是同一個(gè)點(diǎn),但實(shí)際情況會(huì)有偏差,為了使相機(jī)參數(shù)更加精準(zhǔn),利用下面的投影誤差最小化函數(shù)[4]迭代求精.

(5)

式中,m表示像素坐標(biāo)系下的坐標(biāo),m(K,Ri,ti,Mj)表示空間M點(diǎn)經(jīng)過初始估計(jì)的相機(jī)參數(shù)投影到像素坐標(biāo)系下的坐標(biāo).

2　棋盤格網(wǎng)格交點(diǎn)特征提取

2.1棋盤格四極點(diǎn)的自動(dòng)識(shí)別

棋盤格的四極點(diǎn)就是棋盤格四個(gè)頂角處的角點(diǎn).棋盤格四極點(diǎn)的識(shí)別對(duì)于角點(diǎn)的排序起到至關(guān)重要的作用.

(1) 最小凸包定義.最小凸包:包含一個(gè)平面有限點(diǎn)集S的最小凸區(qū)域(區(qū)域內(nèi)任意兩點(diǎn)的連線總在區(qū)域內(nèi))稱為S的最小凸包.由定義可知,最小凸包包含S中所有的點(diǎn),且凸包頂點(diǎn)必屬于S,凸包的面積應(yīng)是包含點(diǎn)集S區(qū)域中最小的一個(gè)[5].由全部點(diǎn)得到有限點(diǎn)集S,而線段組成的凸多邊形即點(diǎn)集S最小凸包.

(2) 求取最小凸包.①起始點(diǎn)確定.確定最小凸包時(shí),必須找到最小凸包內(nèi)其中一點(diǎn)定義成計(jì)算過程起始點(diǎn).這一點(diǎn)的選擇往往以橫坐標(biāo)、縱坐標(biāo)極值點(diǎn)進(jìn)行處理,本文將縱坐標(biāo)最小點(diǎn)定義成起始點(diǎn),記為P0.②頂點(diǎn)排序.如果點(diǎn)集中最小凸包具備N (N≥3)個(gè)頂點(diǎn),以P0作為起點(diǎn)結(jié)合一定規(guī)律進(jìn)行排序,最終辨認(rèn)出最小凸包剩下(N -1)個(gè)頂點(diǎn)數(shù)量,同時(shí)標(biāo)注成(P1,P2,…,PN-1).本文中的頂點(diǎn)排序規(guī)律為:將P0點(diǎn)和其余點(diǎn)進(jìn)行連接,得出ov軸至其他連線逆時(shí)針轉(zhuǎn)角,把最小轉(zhuǎn)角θ1min對(duì)應(yīng)的點(diǎn)標(biāo)記為P1;接著讓P1點(diǎn)和其他點(diǎn)進(jìn)行連接,得出P0P1至其他連線逆時(shí)針轉(zhuǎn)角,把最小轉(zhuǎn)角θ2min對(duì)應(yīng)的點(diǎn)標(biāo)記為P2;按照這樣的規(guī)侓,第k (2≤k≤N)個(gè)頂點(diǎn)Pk能夠符合Pk-2Pk-1和Pk-1Pk逆時(shí)針轉(zhuǎn)角θkmin最小的規(guī)律;該過程反復(fù)循環(huán),直到通過θNmin得到的定點(diǎn)和起點(diǎn)P0重合,圖1為該過程的結(jié)果圖.

圖1　最小凸包生成過程Fig.1　Generation processing of the minimum convex hull

(3) 求棋盤格四極點(diǎn).如圖2所示,通過最小凸包算法可以得到圖像角點(diǎn)集中最小凸包數(shù)據(jù),利用這種模式能夠準(zhǔn)確獲得棋盤格中最小凸包頂點(diǎn),同時(shí)棋盤格最小凸包內(nèi)四個(gè)頂點(diǎn)即為對(duì)應(yīng)的四極點(diǎn).

圖2　最小凸包序列形成Fig.2　The sequence of minimum convex hull

棋盤格圖像角點(diǎn)集最小凸包的獲取是棋盤格四極點(diǎn)可以有效識(shí)別的關(guān)鍵.以下模式中結(jié)合棋盤格四極點(diǎn)相關(guān)特征可以完成對(duì)它的最終識(shí)別.一般而言,棋盤格最小凸包內(nèi)四個(gè)頂點(diǎn)即為對(duì)應(yīng)的四極點(diǎn).一般情況下,角點(diǎn)集中兩個(gè)角點(diǎn)的直線距離最大的兩組角點(diǎn)就是棋盤格四極點(diǎn).棋盤格角點(diǎn)集最小凸包頂點(diǎn)為(P0,P1,…,Pk,…,PN-1),將每個(gè)頂點(diǎn)與其他頂點(diǎn)相連,計(jì)算出兩兩頂點(diǎn)間的直線距離,進(jìn)行比較得出距離最大的兩組頂點(diǎn)(四個(gè)頂點(diǎn))即為候選極點(diǎn),記作(A,B,C,D).結(jié)果圖3所示.

圖3　棋盤格四極點(diǎn)Fig.3　Four poles of checkerboard

2.2角點(diǎn)自動(dòng)排序

通過棋盤四極格點(diǎn)對(duì)矩陣H進(jìn)行處理,利用單應(yīng)性矩陣可以將角點(diǎn)對(duì)應(yīng)空間坐標(biāo)變換為角點(diǎn)圖像坐標(biāo),這一模式可以實(shí)現(xiàn)角點(diǎn)在空間坐標(biāo)系和圖像坐標(biāo)系的相互轉(zhuǎn)變,對(duì)角點(diǎn)進(jìn)行排序.

(1) 單應(yīng)性矩陣H的計(jì)算.棋盤格角點(diǎn)圖像像素坐標(biāo)(u,v)和空間坐標(biāo)(Xw,Yw)兩者符合一定的變換聯(lián)系:

(6)

變換矩陣H又可以稱作單應(yīng)性矩陣,確定h33=1,H中存在8個(gè)未知參數(shù).因事先得到了棋盤格角點(diǎn)空間坐標(biāo),如果計(jì)算出單應(yīng)性矩陣H,則能夠獲得棋盤格所有角點(diǎn)圖像像素坐標(biāo),圖像點(diǎn)、空間點(diǎn)兩者也將能夠得到有效匹配.很顯然,若想使棋盤格角點(diǎn)得到有效的排序,必須盡快獲得單應(yīng)性矩陣H.由于單應(yīng)性矩陣H中存在8個(gè)未知數(shù),則必須通過4個(gè)角點(diǎn)對(duì)應(yīng)的圖像與空間坐標(biāo)方可得到H.如果攝像機(jī)不存在畸變,已知棋盤格內(nèi)部任意4個(gè)角點(diǎn)坐標(biāo)均能獲得H;但攝像機(jī)是存在畸變的,利用棋盤格的四極點(diǎn)計(jì)算所得單應(yīng)性矩陣H就更適合于整幅棋盤格圖像.

將已求出的四個(gè)極點(diǎn)坐標(biāo)的的空間坐標(biāo)設(shè)為(0,0)、(0,1)、(1,1)、(1,0),而四個(gè)極點(diǎn)坐標(biāo)已知(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4),則上式變化為:

(7)

H即求出.

(2) 角點(diǎn)排序.開始階段設(shè)置棋盤格行列兩方向上的的角點(diǎn)數(shù)量為mr與mc,因上一操作中確定兩極點(diǎn)空間距離是1,由此可得行方向上角點(diǎn)間的空間距離為1/(mr-1),列方向上角點(diǎn)間的空間距離為1/(mc-1)(實(shí)際中通常把棋盤格設(shè)為正方形,即有1/(mr-1)=1/(mc-1)).棋盤格各角點(diǎn)的空間坐標(biāo)可如下計(jì)算:

(8)

其中i=(0,1,…,mr-1),j=(0,1,…,mc-1)分別為各角點(diǎn)在棋盤格中的行列號(hào).

將H和(Xiw,Yjw,1)代入式(6),獲取相關(guān)圖像坐標(biāo)(ui,vi),至此,形成角點(diǎn)圖像坐標(biāo)(ui,vi)和空間坐標(biāo)(Xiw,Yjw,1)兩者的對(duì)應(yīng)關(guān)系,最終實(shí)現(xiàn)角點(diǎn)排序.

2.3角點(diǎn)的精確定位

為了完成相機(jī)的精確標(biāo)定,必須將角點(diǎn)定位到亞像素級(jí).故此,把像素級(jí)角點(diǎn)坐標(biāo)(ui,vi)確定成初始點(diǎn),為方便起見,利用灰度梯度法[6].如圖4所示,在鄰域內(nèi)的角點(diǎn),可分為兩類.在邊緣處點(diǎn)Pk與非邊緣處點(diǎn)Pj,Q點(diǎn)代表著亞像素級(jí)角點(diǎn)所處位置.Pk灰度梯度方位與QPk垂直,由于Pj灰度梯度為0,那么Q點(diǎn)鄰域內(nèi)的點(diǎn)P其灰度梯度全部和QP垂直,即

(9)

式中,Pi為Q鄰域內(nèi)的任意一點(diǎn),為Pi點(diǎn)的灰度梯度向量.因現(xiàn)實(shí)中的圖像受到噪音等條件的干擾,式(9)通常不等于0,加入誤差值εi進(jìn)行處理,則存在式(10):

(10)

以像素級(jí)角點(diǎn)為中心取一窗口,計(jì)算誤差和

(11)

可以通過計(jì)算S最小的點(diǎn)的方式獲得亞像素Q點(diǎn)位置.將像素級(jí)角點(diǎn)Q0作為初始值,完成迭代優(yōu)化,便能夠獲取準(zhǔn)確的亞像素角點(diǎn)Q.

圖4　棋盤格角點(diǎn)與灰度梯度Fig.4　Checkerboard corners and gray gradient

3　實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用Basler工業(yè)相機(jī),計(jì)算機(jī)配置為AMD FX-6300處理器,主頻3.5 GHz,內(nèi)存8GB,操作系統(tǒng)為Windows 8.1 64位專業(yè)版.按照文獻(xiàn)[3]中建議,選擇位置和角度適中,在光線較暗、背景復(fù)雜的環(huán)境下拍攝的12幅圖像作為標(biāo)定圖像,如圖5所示,圖像分辨率為640×480.利用Microsoft Visual Studio 2010軟件,在VC++ 2010和OpenCV2.4.8環(huán)境下編寫了標(biāo)定工具箱軟件,將本文的的角點(diǎn)提取算法結(jié)合張正友經(jīng)典標(biāo)定法編入進(jìn)行系統(tǒng)實(shí)現(xiàn),與文獻(xiàn)[3]中的Matlab標(biāo)定工具箱方法的結(jié)果進(jìn)行對(duì)比,結(jié)果對(duì)比見表1.

圖5　標(biāo)定圖像Fig.5　The images used as calibration 表1　實(shí)驗(yàn)結(jié)果對(duì)比表 Table 1　Correlation table of experimental results

參數(shù)類型Matlab工具箱本文結(jié)果誤差焦距(fx)493.77051494.422482-0.65197焦距(fy)495.82814495.5270420.30110主點(diǎn)(u0)335.03694336.938614-1.90167主點(diǎn)(v0)242.11678243.850479-1.73369畸變(k1)-0.35841-0.258470.61688畸變(k2)2.785241.112481.67276畸變(p1)0.062310.061380.00048畸變(p2)0.061420.06380-0.00238耗時(shí)(s)3274.9322.1

結(jié)合表1不難發(fā)現(xiàn),通過本文的方法所得標(biāo)定結(jié)果和Matlab工具箱獲取的結(jié)果精度相當(dāng),但是本文的方法耗時(shí)明顯小于Matlab工具箱,大大提高了標(biāo)定效率.實(shí)驗(yàn)證明,本文方法適用范圍很廣, 圖6在光線較暗、背景復(fù)雜的環(huán)境下,應(yīng)用本文的方法,均能快速準(zhǔn)確的檢測(cè)棋盤格角點(diǎn).

圖6　復(fù)雜環(huán)境下的角點(diǎn)提取結(jié)果Fig.6　The results of corners extraction under complex environment

4　結(jié)　　論

本文以棋盤格角點(diǎn)提取為切入點(diǎn),與張正友的標(biāo)定算法相結(jié)合,最終實(shí)現(xiàn)了相機(jī)的全自動(dòng)標(biāo)定.實(shí)驗(yàn)結(jié)果顯示了本文所設(shè)計(jì)的標(biāo)定系統(tǒng)在不同場(chǎng)景和光照條件下,同樣能自動(dòng)、準(zhǔn)確和快速的完成實(shí)驗(yàn).本系統(tǒng)除了在標(biāo)定前輸入棋盤格數(shù)和尺寸,整個(gè)標(biāo)定過程無需人工干預(yù),自動(dòng)顯示標(biāo)定結(jié)果,并按照標(biāo)準(zhǔn)格式導(dǎo)出,適合各個(gè)層次的計(jì)算機(jī)視覺研究者.

[1] 邱茂林,馬頌德,李毅. 計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述[J]. 自動(dòng)化學(xué)報(bào), 2000,26(1):43-55.

(QIU M L ,MA S D,LI Y. Overview of camera calibration for computer vision[J]. Acta Automatica Sinica, 2000,26(1):43-55.)

[2] ZHANGZ Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000,22(11):1330-1334.

[3] BOUGUET J Y. Camera calibration toolbox for MATLAB[J]. High Speed Vision System & Object Tracking, 2010.

[4] STRICKLAND R N,CHANDLER D W. Reconstruction of an axisymmetric image from its blurred and noisy projection[J]. Applied Optics, 1991,30(14):2585-2588.

[5] 劉人午,楊德宏,李燕,等. 一種改進(jìn)的最小凸包生成算法[J]. 大地測(cè)量與地球動(dòng)力學(xué), 2011,31(3):130-133.

(LIU R W,YANG D H,LI Y,et al. An improved algorithm for producing minimum convex hull[J]. Journal of Geodesy and Geodynamics, 2011,31(3):130-133.)

[6] 劉濤,陳國(guó)柱,李元宗. 亞像素角點(diǎn)定位提高相機(jī)標(biāo)定精度[J]. 機(jī)械工程與自動(dòng)化, 2007(4):28-30.

(LIU T,CHEN G D,LI Y Z. Using subpixel corner detection to improve calibration precision[J]. Mechanical Engineering & Automation, 2007(4):28-30.)

【責(zé)任編輯: 肖景魁】

Design of Fully Automatic Camera Calibration System

WangXunyang1,2,JinFeng1

(1. College of Information Engineering, Shenyang University, Shenyang 110044, China; 2. Beijng Jingwei Information Technology Corporation, Beijng 100081, China)

An automatic corners extraction calibration method, combined with Zhang’s classic calibration algorithm, is proposed based on minimum convex hull theory. A fully automatic camera calibration system is designed. Experimental results show that the method has a good calibration accuracy and reliability under the complex lighting and background conditions.

camera calibration; convex hull theory; corners extraction; automatic calibration

2015-12-03

王遜揚(yáng)(1989-),男,遼寧沈陽(yáng)人,沈陽(yáng)大學(xué)碩士研究生.

2095-5456(2016)04-0311-04

TP 391

A