王 皓 杜向陽(yáng) 耿英博 張克平

(上海工程技術(shù)大學(xué)機(jī)械工程學(xué)院)

基于LabVIEW的相機(jī)標(biāo)定技術(shù)研究*

王 皓 杜向陽(yáng) 耿英博 張克平

(上海工程技術(shù)大學(xué)機(jī)械工程學(xué)院)

使用LabVIEW平臺(tái)和視覺(jué)開(kāi)發(fā)模塊完成對(duì)相機(jī)的標(biāo)定，選用圓點(diǎn)陣標(biāo)定板，利用Canny算子提取圓形輪廓，然后基于亞像素邊緣提取的圓擬合方法提取特征點(diǎn)在圖像坐標(biāo)系下點(diǎn)中心坐標(biāo)。該方法降低了攝像機(jī)標(biāo)定的難度，極大地縮短了軟件開(kāi)發(fā)周期，具有較高的標(biāo)定精度，能夠滿足實(shí)際工業(yè)檢測(cè)的精度要求。

相機(jī)標(biāo)定 機(jī)器視覺(jué) LabVIEW Canny算子

機(jī)器視覺(jué)就是利用計(jì)算機(jī)和視覺(jué)傳感器件替代人眼來(lái)做度量和判決[1]。近年來(lái)，機(jī)器視覺(jué)技術(shù)以非接觸、快速、高精度及自動(dòng)化程度高等優(yōu)點(diǎn)在各個(gè)領(lǐng)域都得到廣泛應(yīng)用。

相機(jī)標(biāo)定是機(jī)器視覺(jué)檢測(cè)和定位系統(tǒng)研究中的重要組成部分。相機(jī)標(biāo)定的實(shí)質(zhì)就是求解相機(jī)內(nèi)外參數(shù)的過(guò)程。目前，用于相機(jī)標(biāo)定的方法多種多樣，大致可以分為3類：傳統(tǒng)的相機(jī)標(biāo)定方法、主動(dòng)視覺(jué)中的標(biāo)定方法和相機(jī)自標(biāo)定方法。筆者在基于張正友標(biāo)定算法的基礎(chǔ)上，利用LabVIEW作為開(kāi)發(fā)平臺(tái)，并考慮到二次徑向畸變，建立非線性相機(jī)模型，完成對(duì)相機(jī)的標(biāo)定。

1 LabVIEW平臺(tái)與視覺(jué)開(kāi)發(fā)模塊

LabVIEW作為一種編程語(yǔ)言，與其他常見(jiàn)的編程語(yǔ)言相比，最大的特點(diǎn)在于它是一種圖形化編程語(yǔ)言，使程序開(kāi)發(fā)更直觀、簡(jiǎn)潔，界面也更加具有說(shuō)服力，極大地提高了編程的效率，縮短了軟件的開(kāi)發(fā)時(shí)間。

視覺(jué)開(kāi)發(fā)模塊是專為開(kāi)發(fā)機(jī)器視覺(jué)而設(shè)計(jì)的，NI視覺(jué)開(kāi)發(fā)模塊包括IMAQ Vision和NI Vision Assistant，IMAQ Vision擁有強(qiáng)大視覺(jué)處理函數(shù)的庫(kù)，NI Vision Assistant提供不通過(guò)編程就實(shí)現(xiàn)將LabVIEW 應(yīng)用于快速成型的直觀環(huán)境。其中IMAQ Vision 是一套包含各種圖像處理函數(shù)的功能庫(kù)，它將400 多種函數(shù)集成到LabVIEW、Measurement Studio、LabWindows/CVI、Visual C++和Visual Basic開(kāi)發(fā)環(huán)境中，為圖像處理提供了完整的開(kāi)發(fā)功能；NI Vision Assistant是圖像模型建立與驗(yàn)證的一個(gè)工具，它能夠自動(dòng)生成LabVIEW程序框圖，該程序框圖中包含NI Vision Assistant建模時(shí)一系列操作的相同功能，而且開(kāi)發(fā)者可以根據(jù)實(shí)際需求進(jìn)行二次編寫，并將程序框圖集成到自動(dòng)化或生產(chǎn)測(cè)試應(yīng)用中，用于運(yùn)動(dòng)控制、儀器控制及數(shù)據(jù)采集等。

2 相機(jī)模型的建立

針孔相機(jī)模型是各種相機(jī)模型中最簡(jiǎn)單、常見(jiàn)的一種，這是一種不考慮相機(jī)畸變因素而建立的理想狀態(tài)模型。它的優(yōu)點(diǎn)是成像關(guān)系是線性的，簡(jiǎn)單實(shí)用而且保證準(zhǔn)確性，因此在機(jī)器視覺(jué)中得到了廣泛的應(yīng)用。但是在實(shí)際的工程應(yīng)用中，由于相機(jī)鏡頭的制造和安裝中存在一定的誤差，鏡頭均會(huì)產(chǎn)生一定的畸變，為了提高相機(jī)標(biāo)定的精度，筆者在理想的針孔相機(jī)模型的基礎(chǔ)上考慮鏡頭的徑向畸變，從而重新建立相機(jī)的成像模型。

2.1針孔相機(jī)模型

CCD相機(jī)采集獲取的圖片在計(jì)算機(jī)內(nèi)是以M行N列的數(shù)組形式保存的，M行N列的圖像中的元素稱為像素。在圖像上定義直角坐標(biāo)系每一像素的坐標(biāo)(u,v)分別為該像素在數(shù)組中的列數(shù)和行數(shù)，所以(u,v)是以像素為單位的圖像坐標(biāo)系的坐標(biāo)。而在實(shí)際的工程應(yīng)用中，需要將以像素為單位的圖像坐標(biāo)系轉(zhuǎn)變成以物理單位毫米(mm)表示的圖像坐標(biāo)系，以物理單位毫米表示的圖像坐標(biāo)系的x軸和y軸分別平行于u軸和v軸，這兩個(gè)坐標(biāo)系之間的關(guān)系如圖1所示。

圖1 圖像坐標(biāo)系關(guān)系

其中o點(diǎn)在(u,v)坐標(biāo)系中的坐標(biāo)為(u0,v0)，即圖像中每一個(gè)像素在x軸和y軸方向上的物理尺寸為dx,dy，所以在圖像中，每個(gè)像素在坐標(biāo)系(u,v)和坐標(biāo)系(x,y)下的關(guān)系用齊次坐標(biāo)與矩陣形式表示為：

(1)

圖2為針孔相機(jī)模型示意圖。針孔相機(jī)模型是指在理想狀態(tài)下，采集的圖像點(diǎn)經(jīng)過(guò)透鏡成像后，在成像平面上可形成與之對(duì)應(yīng)的理想的像點(diǎn)，使得空間圖像點(diǎn)、鏡頭的光心點(diǎn)和成像點(diǎn)都在一條直線上[2]。設(shè)Oc-XcYcZc為相機(jī)坐標(biāo)系、Ow-XwYwZw為世界坐標(biāo)系，相機(jī)坐標(biāo)系的原點(diǎn)Oc為CCD相機(jī)鏡頭的光心，Zc軸與相機(jī)的光軸重合，原點(diǎn)o為相機(jī)光軸和圖像平面的交點(diǎn)，f為相機(jī)的有效焦距，圖像平面和XcOcYc平面平行，以物理單位毫米表示的圖像坐標(biāo)系的x軸和y軸分別平行于相機(jī)坐標(biāo)系的Xc軸和Yc軸。(Xw,Yw,Zw)、(Xc,Yc,Zc)分別為空間中任意一點(diǎn)P的世界坐標(biāo)和相機(jī)坐標(biāo)，(x,y)為點(diǎn)P在圖像平面上的投影坐標(biāo)。

對(duì)于空間上任意一點(diǎn)P，在世界坐標(biāo)系下的坐標(biāo)(Xw,Yw,Zw)和在相機(jī)坐標(biāo)系下的坐標(biāo)(Xc,Yc,Zc)之間的變換關(guān)系為：

(2)

圖2 針孔相機(jī)模型示意圖

其中，R和T分別表示從世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣，旋轉(zhuǎn)矩陣R是3×3的正交矩陣，平移矩陣T是3×1的列向量；H1是4×4的矩陣，用于反映相機(jī)坐標(biāo)系和世界坐標(biāo)系之間的位置關(guān)系，表示相機(jī)的外參數(shù)矩陣。

按圖2建立針孔相機(jī)模型，得到空間上一點(diǎn)P在圖像平面上的坐標(biāo)用齊次坐標(biāo)與矩陣形式表示為：

(3)

根據(jù)式(1)、(3)得到圖像坐標(biāo)系與相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系：

(4)

其中，H2是3×4的矩陣，表示相機(jī)的內(nèi)部參數(shù)矩陣；fx、fy、u0、v0只與相機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)。根據(jù)式(4)，當(dāng)采集3幅及以上的標(biāo)定板圖像，就可以求出相機(jī)內(nèi)參數(shù)矩陣H2。

根據(jù)式(2)、(4)得到圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系：

(5)

其中，H是3×4的單應(yīng)性矩陣。根據(jù)式(5)，當(dāng)已知足夠多的空間點(diǎn)的世界坐標(biāo)及其對(duì)應(yīng)的圖像坐標(biāo)，就可求出H矩陣。知道了投影矩陣H和相機(jī)內(nèi)參數(shù)矩陣H2，便可求出相機(jī)的外參數(shù)矩陣，得到相機(jī)的外部參數(shù)。確定了相機(jī)的內(nèi)外參數(shù)，即完成了相機(jī)線性模型的標(biāo)定。

2.2非線性相機(jī)模型

在實(shí)際的成像過(guò)程中，考慮到相機(jī)鏡頭的制造和安裝過(guò)程中存在一定的誤差，會(huì)造成鏡頭的失真，一般都存在非線性畸變，相機(jī)的鏡頭畸變主要分為3類：徑向畸變、偏心畸變和薄棱鏡畸變[3]，考慮到非線性畸變，所以在相機(jī)標(biāo)定時(shí)使用非線性優(yōu)化算法。而有研究表明，引入過(guò)多的非線性(如偏心畸變和薄棱鏡畸變)不僅不能提高解的精度，還會(huì)引起解的不穩(wěn)定，所以筆者在考慮畸變的情況下建立實(shí)際的非線性相機(jī)模型，而在一般情況下徑向畸變就足以描述非線性畸變，因此筆者只考慮徑向畸變[4]，建立相機(jī)非線性模型的方程如下：

(6)

3 相機(jī)標(biāo)定步驟

筆者利用LabVIEW+NI Vision去完成相機(jī)的標(biāo)定，考慮到圓心提取算法的穩(wěn)定性和定位精度要優(yōu)于棋盤標(biāo)定板的角點(diǎn)提取，因此選用6×8圓點(diǎn)陣列標(biāo)定板，如圖3所示。

圖3 圓點(diǎn)陣列標(biāo)定板

具體的標(biāo)定步驟如下：

a. 首先選擇相機(jī)的標(biāo)定類型為Camera Model(Grid)，用至少5幅標(biāo)定圖像才能得到相機(jī)參數(shù)和鏡頭的畸變；

b. 加載采集的標(biāo)定板圖像，為了提高標(biāo)定的精度，筆者載入11張?jiān)诓煌嵌认虏杉臉?biāo)定板圖像，并按照要求，選用基本上與鏡頭光軸相垂直的圖像1為標(biāo)定的參考工作平面，并將以此平面為基準(zhǔn)來(lái)修正鏡頭的非線性畸變；

c. 對(duì)每一幅圖像進(jìn)行閾值參數(shù)的選擇，將標(biāo)定板圖像上的圓點(diǎn)從背景中清晰地顯現(xiàn)出來(lái)，若標(biāo)定版圖像上的圓點(diǎn)沒(méi)有被完全覆蓋，則需要手動(dòng)畫出相對(duì)應(yīng)的范圍，以保證圓點(diǎn)區(qū)域完全顯示，并采用Canny濾波器提取圓形輪廓；

d. 輸入標(biāo)定版圖像上圓點(diǎn)間的相關(guān)參數(shù)，包括X Spacing、Y Spacing和Unit，分別表示標(biāo)定板上相鄰圓點(diǎn)之間的X方向上的圓心距離、Y方向上的圓心距離和距離的單位，筆者使用的實(shí)際相鄰圓點(diǎn)間X方向上和Y方向上的距離均為12，單位為mm；

e. 利用圓擬合算法提取圓心特征點(diǎn)的坐標(biāo)，得出相機(jī)的內(nèi)參和相應(yīng)的誤差參數(shù)，如圖4所示；

f. 為標(biāo)定圖像設(shè)定坐標(biāo)系，選取右上角的圓心為坐標(biāo)圓點(diǎn)，以便在后續(xù)測(cè)量中得出點(diǎn)的精確坐標(biāo)值；

g. 最后將標(biāo)定結(jié)果保存為png文件格式，方便在后續(xù)的測(cè)量中調(diào)用。

圖4 相機(jī)標(biāo)定步驟e

4 實(shí)驗(yàn)結(jié)果分析

對(duì)矯正后的圖像進(jìn)行形狀邊緣檢測(cè)，得到圓點(diǎn)陣列標(biāo)定板中所有圓的半徑、圓心的圖像坐標(biāo)及世界坐標(biāo)等詳細(xì)的參數(shù)，筆者只選取標(biāo)定板圓點(diǎn)的半徑參數(shù)數(shù)據(jù)信息(表1)。

表1 標(biāo)定板圓點(diǎn)半徑參數(shù)

實(shí)驗(yàn)結(jié)果表明該方法矯正效果較好，平均物理誤差在0.032 9mm左右，畸變?yōu)?.100 7%。

在計(jì)量學(xué)中，常用標(biāo)準(zhǔn)差衡量所測(cè)數(shù)據(jù)的精度，筆者選用標(biāo)準(zhǔn)差σ對(duì)垂直方向相機(jī)標(biāo)定精度進(jìn)行評(píng)定，公式如下：

(7)

根據(jù)表1選取圖像圓點(diǎn)的半徑結(jié)果數(shù)據(jù)進(jìn)行具體的分析處理，分別計(jì)算得出以像素為單位的圓的半徑標(biāo)準(zhǔn)差σpixel=0.1639和以毫米為單位的圓的半徑的標(biāo)準(zhǔn)差σmm=0.0088。因此經(jīng)過(guò)上述的數(shù)據(jù)分析表明，筆者使用的標(biāo)定方法具有較高的標(biāo)定精度，能夠滿足實(shí)際機(jī)床加工或工業(yè)檢測(cè)的精度要求。

5 結(jié)束語(yǔ)

基于LabVIEW 的標(biāo)定方法可以很有效地消除圖像中線性與非線性的畸變，操作簡(jiǎn)單，標(biāo)定精度較高，而且能夠方便地與NI視覺(jué)開(kāi)發(fā)模塊結(jié)合使用，是傳統(tǒng)方法無(wú)法相比的，對(duì)實(shí)際生產(chǎn)有很重大的意義，將會(huì)廣泛地應(yīng)用到機(jī)械工件加工、零件檢測(cè)等眾多領(lǐng)域，進(jìn)一步提高自動(dòng)化程度，極大地提高生產(chǎn)效率，降低成本。

[1] Carsten S, Markus U, Christian W. Machine Vision Algorithms and Applications[M]. Berlin: Wiley-VCH, 2007.

[2] Yang X F, Huang Y M, Gao F.A Simple Camera Calibration Method Based on Sub-pixel Corner Extraction of the Chessboard Image[C].Proceedings of IEEE International Conference on Intelligent Computing and Intelligent Systems.Piscataway,NJ,2010:688～692.

[3] 劉超.移動(dòng)視覺(jué)檢測(cè)系統(tǒng)的建模與標(biāo)定方法研究[D].天津：天津大學(xué),2013.

[4] Zhang Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,22(11):1330～1334.

TheResearchofTechnologyforCameraCalibrationBasedonLabVIEW

WANG Hao, DU Xiang-yang, GENG Ying-bo, ZHANG Ke-ping

(CollegeofMechanicalEngineering,ShanghaiUniversityofEngineeringScience)

Employing LabVIEW platform and visual development module to calibrate cameras was implemented, including having dot matrix chosen to calibrate the board and Canny operator adopted to extract the circle edge and then having the method of circle fitting extracted based on subpixel edge to get feature points’ coordinate in the image coordinate system. The proposed method can reduce the difficulty of camera calibration and shorten the software development cycle. The most important is that it has a high calibration accuracy as the actual industrial detection required.

camera calibration, machine vision, LabVIEW, Canny operator

王皓(1993-)，碩士研究生，從事圖像處理的研究，wanghaoxsj@qq.com。

TP301.6

A

1000-3932(2017)10-0944-05

2017-06-21，

2017-06-30)