馬喜平，李 迪，姚俠楠，馬苑晉

（華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣州 510640）

隨著機(jī)器視覺技術(shù)的日益成熟，點(diǎn)膠系統(tǒng)開始通過機(jī)器視覺系統(tǒng)提高產(chǎn)品的生產(chǎn)效率，并通過優(yōu)化標(biāo)定計(jì)算方式進(jìn)一步提高了產(chǎn)品的加工精度和質(zhì)量，進(jìn)而提高產(chǎn)品的經(jīng)濟(jì)效益。

運(yùn)用機(jī)器視覺進(jìn)行點(diǎn)膠加工前，需要進(jìn)行相機(jī)的標(biāo)定。相機(jī)的標(biāo)定的目的是建立空間中三維物點(diǎn)同像素坐標(biāo)系的二維像點(diǎn)之間的關(guān)系，標(biāo)定結(jié)果直接關(guān)系視覺系統(tǒng)工作的精度。相機(jī)標(biāo)定方法一般有3種，除了傳統(tǒng)相機(jī)標(biāo)定方法以外，還有基于主動(dòng)視覺標(biāo)定方法和自標(biāo)定方法[1]。

傳統(tǒng)標(biāo)定分為直接線性標(biāo)定法[2-3]、Tsai兩步標(biāo)定法[4]、相機(jī)自標(biāo)定方法[5]和張正友標(biāo)定法[6]等。Tsai兩步標(biāo)定法由Tsai于1986年提出，此方法需要一個(gè)已知的標(biāo)定塊作為空間參照物，利用空間參照物與圖像特殊點(diǎn)的對(duì)應(yīng)關(guān)系標(biāo)定相機(jī)。在計(jì)算相機(jī)所有參數(shù)時(shí)，除了使用平板標(biāo)定塊，還必須保持特征點(diǎn)在不同的平面。因此，Tsai兩步標(biāo)定法由兩步進(jìn)行：

（1）計(jì)算部分外部參數(shù)，如旋轉(zhuǎn)矩陣和平移矩陣參數(shù) tx和ty。

（2）計(jì)算參數(shù) tz。

盡管Tsai兩步法是常用的標(biāo)定方法，但是也有其缺陷：

（1）無法通過一個(gè)平面標(biāo)定全部?jī)?nèi)外參數(shù)。

（2）涉及非線性計(jì)算，可能導(dǎo)致解的不穩(wěn)定性。

因此本文提出一種基于Tsai兩步法的簡(jiǎn)易標(biāo)定方法，不需要制定標(biāo)定板，直接通過平臺(tái)運(yùn)動(dòng)拍攝圖標(biāo)、提取特征點(diǎn)；同時(shí)通過合理安排求解步驟，將非線性計(jì)算線性化，提高解的穩(wěn)定性。

1 基于Tsai兩步法的改進(jìn)型相機(jī)標(biāo)定方法

1.1 標(biāo)定中的幾種坐標(biāo)系及其轉(zhuǎn)換關(guān)系

相機(jī)標(biāo)定通常需要涉及四大坐標(biāo)系并考慮它們之間的關(guān)系：除了相機(jī)本身的相機(jī)坐標(biāo)系（Xc，Yc，Zc）和像素坐標(biāo)系（u，v），還需要針對(duì)產(chǎn)品標(biāo)定的圖像坐標(biāo)系（x，y）和空間坐標(biāo)系（Xw，Yw，Zw）。 四大坐標(biāo)系之間的關(guān)系如圖1所示。

圖1 坐標(biāo)系的轉(zhuǎn)換Fig.1 Coordinate transformation

根據(jù)小孔成像原理，光心Oc與空間任意點(diǎn)P的連線OcP跟圖像平面的交點(diǎn)就是點(diǎn)P投影至圖像上的位置 p。 如果用（Xc，Yc，Zc）表示點(diǎn) P（Xw，Yw，Zw）在相機(jī)坐標(biāo)系下的坐標(biāo)，用p（x，y）表示點(diǎn)P投影到圖像平面的坐標(biāo)，將單位像素在x軸上的物理尺寸設(shè)為dx并將單位像素在y軸上的物理尺寸設(shè)dy，圖像的中心坐標(biāo)即主點(diǎn)設(shè)為（u0，v0）。設(shè)空間點(diǎn)在世界坐標(biāo)系和相機(jī)坐標(biāo)系下的齊次坐標(biāo)分別為Pw（Xw，Yw，Zw，1）和 Pc（Xc，Yc，Zc，1）。

通過針孔成像模型，可以得到空間任意點(diǎn)的世界坐標(biāo)和像素坐標(biāo)之間的對(duì)應(yīng)關(guān)系，如式（1）所示。

式中：M1是內(nèi)參，M2是外參。

1.2 相機(jī)畸變模型

Tsai指出，在對(duì)相機(jī)進(jìn)行標(biāo)定時(shí)，如果在計(jì)算過程中過多考慮非線性畸變，會(huì)導(dǎo)致在計(jì)算過程中引入過多的非線性參數(shù)，反而影響了標(biāo)定精度，而且還會(huì)引起其他相反作用，例如解的不穩(wěn)定性。視覺點(diǎn)膠系統(tǒng)的計(jì)算過程對(duì)這個(gè)問題進(jìn)行了改進(jìn)，通常只需修正徑向畸變。

本文采用文獻(xiàn)[7]提出的畸變模型進(jìn)行求解，如式（2）所示：

式中：（xu，yu）為圖像點(diǎn)坐標(biāo)的理想值；（xd，yd）為實(shí)際圖像點(diǎn)的坐標(biāo)，且為一階徑向畸變系數(shù)。

1.3 改進(jìn)的兩步標(biāo)定法

1.3.1 特征點(diǎn)的提取

特征點(diǎn)提取的主要目的是精確獲取每個(gè)特征點(diǎn)在圖像中的位置，從而方便在對(duì)應(yīng)的空間坐標(biāo)中對(duì)其進(jìn)行標(biāo)定。實(shí)驗(yàn)首先在機(jī)臺(tái)上固定一個(gè)標(biāo)靶圖像，移動(dòng)至視野中心建立圖像模板，然后機(jī)臺(tái)在視野范圍內(nèi)運(yùn)動(dòng)固定距離，獲得標(biāo)靶的空間位置，再通過模板匹配得到各個(gè)位置的圖像坐標(biāo)。如圖2所示，細(xì)框線是選取的模板范圍，粗線是通過模板匹配獲得的輪廓識(shí)別框，特征點(diǎn)是識(shí)別框的重心。

圖2 特征點(diǎn)提取Fig.2 Extraction of feature point

1.3.2 標(biāo)定計(jì)算

Tsai兩步法中，應(yīng)當(dāng)首先計(jì)算部分外部參數(shù)，從而利用徑向畸變沿向量si的方向直接確定旋轉(zhuǎn)矩陣以及平移參數(shù)tx和ty，而第二步則必須對(duì)平移參數(shù)tz進(jìn)行計(jì)算，因?yàn)閠z的變化會(huì)產(chǎn)生類似k的圖像效應(yīng)[8]。本文通過合理安排求解次序，對(duì)Tsai兩步標(biāo)定法進(jìn)行改進(jìn)，避免了非線性優(yōu)化繁瑣的問題[9]。因?yàn)樗械奶卣鼽c(diǎn)均位于平板標(biāo)定物上，可將所有特征點(diǎn)取 Zw＝0。 設(shè)旋轉(zhuǎn)矩陣平移向量式（2）可以改寫為

將式（3）展開得：

根據(jù)徑向平行約束條件，由式（2）得：

將式（4）整理得：

1.3.3 標(biāo)定算法的具體步驟

（Ⅰ）計(jì)算旋轉(zhuǎn)矩陣R、平移參數(shù)tx和ty。首先，通過求解其中一組參數(shù)l來獲得部分外部參數(shù)。對(duì)于式（5），如果能過獲取n個(gè)特征點(diǎn)的空間坐標(biāo)（Xi，Yi，Zi）及其對(duì)應(yīng)的圖像坐標(biāo)（xi，yi）（以 mm 為單位），i=1，2，…，n（n＞5），則可構(gòu)造矩陣 A，每行為 ai（ai=［yiXi，yiYi，-xiXi，-xiYi，yi］）。

設(shè) l=［l1，l2，l3，l4，l5］ 是需要求解的中間參數(shù)向量，l的各個(gè)參數(shù)如下所示：

設(shè)向量 b=［x1，x2，…，xn］包含 n 組對(duì)應(yīng)點(diǎn)的圖像橫坐標(biāo)xi，列出線性方程Al=b，方程中A和b是已知參數(shù)，從而可以求解l，根據(jù)l計(jì)算出旋轉(zhuǎn)參數(shù)和平移參數(shù)，如式（6）所示。

設(shè)根據(jù)l計(jì)算4個(gè)旋轉(zhuǎn)參數(shù)和平移參數(shù)tx，如下所示：

為了確定ty的符號(hào)，選擇一個(gè)特征點(diǎn)P（Xw，Yw，Zw）及其對(duì)應(yīng)的圖像點(diǎn) p（x，y）進(jìn)行計(jì)算：

若ξx與x的符號(hào)且ξy與y的符號(hào)兩者均分別一致，則ty的符號(hào)與假設(shè)結(jié)果相符，否則，ty就要變號(hào)。

其余旋轉(zhuǎn)參數(shù)可按下面公式進(jìn)行計(jì)算：

另外值得注意的是，旋轉(zhuǎn)矩陣R的正交約束條件是推導(dǎo)上述公式必須遵守的條件。r23，r31，r32的符號(hào)有可能因?yàn)榉礁\(yùn)算的二值性而存在錯(cuò)誤，為了保證旋轉(zhuǎn)矩陣的正交性，若r11r21+r21r22的符號(hào)為正，則改變r(jià)23的符號(hào)；若計(jì)算有效焦距f為負(fù)號(hào)，則改變 r13，r23，r31，r32的符號(hào)。 第一步基本確定除 tz外的所有外部參數(shù)，第二步只需對(duì)tz，f，k進(jìn)行計(jì)算。

（Ⅱ）求解有效焦距 f、徑向畸變系數(shù)k和平移參數(shù)tz。對(duì)于某一特征點(diǎn)有：

因?yàn)樗刑卣鼽c(diǎn)的Zw=0，同時(shí)結(jié)合式（2）與式（8）可得：

為了避免解非線性方程繁瑣的問題，本文提出了改進(jìn)算法。 令 M=r11Xw+r12Yw+tx，N=r21Xw+r22Yw+ty，L=r31Xw+r32Yw，kf=k f，整理式（9）得到關(guān)于 f，kf，tz的線性方程組：

式中：M，N，L，xd，yd，rd均為已知量，f，kf，tz為待求參數(shù)。對(duì)于N個(gè)特征點(diǎn)，用最小二乘法解超定線性方程組對(duì) N 個(gè)特征點(diǎn)進(jìn)行求解 f，kf，tz，即可求解 k，進(jìn)而求解。此時(shí)，需要對(duì)f的符號(hào)進(jìn)行判斷修正，若判斷f為負(fù)號(hào)，則對(duì)f的符號(hào)進(jìn)行反號(hào)處理，同時(shí)改變第一步求得的 r13，r23，r31和 r32的符號(hào)。

在Tsai基礎(chǔ)上改進(jìn)的兩步法，可以求解全部相機(jī)內(nèi)外參數(shù)。此時(shí)，只需再通過分布標(biāo)定進(jìn)行線性計(jì)算，就可以有效地提高了標(biāo)定精度，避免在非線性求解中遇到的繁瑣和不穩(wěn)定性的問題。

2 標(biāo)定實(shí)驗(yàn)驗(yàn)證

2.1 平臺(tái)的搭建

本文的標(biāo)定實(shí)驗(yàn)在如圖3所示的視覺點(diǎn)膠平臺(tái)進(jìn)行，平臺(tái)采用1個(gè)海康威視MV-CA060-11GM黑白相機(jī)，分辨率3072×2048，1個(gè)配套的鏡頭（焦距16 mm），相機(jī)安裝高度大約800 mm；采用深圳旗眾QZMC3004連續(xù)軌跡控制卡進(jìn)行運(yùn)動(dòng)控制。視覺點(diǎn)膠系統(tǒng)界面如圖4所示。

圖3 硬件結(jié)構(gòu)與實(shí)驗(yàn)平臺(tái)Fig.3 Hardware strcture and experiment platform

圖4 視覺點(diǎn)膠系統(tǒng)界面Fig.4 Interface of visual dispensing system

2.2 標(biāo)定實(shí)驗(yàn)的流程

標(biāo)定流程描述如下：首先在三軸機(jī)械手的末端安裝標(biāo)靶零件，調(diào)整標(biāo)靶平面使其水平并且與工件高度一致，通過點(diǎn)動(dòng)使該平面移動(dòng)至匹配范圍的左上角，錄入左上角坐標(biāo)；再移動(dòng)至匹配范圍的中心位置，建立匹配模板；最后移動(dòng)至匹配范圍的右下角，錄入右下角坐標(biāo)。點(diǎn)擊開始標(biāo)定按鈕，機(jī)臺(tái)得到指令后以40 mm為間隔進(jìn)行移動(dòng)，每次停留0.5 s等待機(jī)臺(tái)停穩(wěn)，然后進(jìn)行拍照得到特征點(diǎn)的圖像坐標(biāo)。由于機(jī)械位置已知，因此可以獲得一系列世界坐標(biāo)和圖像坐標(biāo)的點(diǎn)對(duì)。通過對(duì)這些點(diǎn)對(duì)進(jìn)行計(jì)算處理得到標(biāo)定結(jié)果。

2.3 實(shí)驗(yàn)數(shù)據(jù)及分析

將特征點(diǎn)的圖像坐標(biāo)進(jìn)行矩陣運(yùn)算得到世界坐標(biāo)的計(jì)算值，通過計(jì)算值與實(shí)際值對(duì)比進(jìn)行誤差分析[10]。

表1 實(shí)驗(yàn)分析表Tab.1 Experimental analysis

3 結(jié)語(yǔ)

本文以視覺點(diǎn)膠控制系統(tǒng)為背景，針對(duì)傳統(tǒng)的標(biāo)定方法大多需要標(biāo)定板，而標(biāo)定板的制作和特征點(diǎn)的提取繁雜等問題，提出了一種改進(jìn)型的簡(jiǎn)易標(biāo)定方法，該方法不需要使用標(biāo)定板，同時(shí)避免非線性計(jì)算的復(fù)雜。本文著重于視覺點(diǎn)膠系統(tǒng)中相機(jī)標(biāo)定的簡(jiǎn)易性，大范圍應(yīng)用于工業(yè)場(chǎng)景。在視覺點(diǎn)膠平臺(tái)上進(jìn)行驗(yàn)證，結(jié)果表明本方法可以達(dá)到mm的定位精度，能滿足一般的視覺點(diǎn)膠設(shè)備的要求，是一種可靠有效的簡(jiǎn)便方法。

[1]曹文君.多目全景相機(jī)的內(nèi)外參數(shù)標(biāo)定研究[J].工業(yè)控制計(jì)算機(jī)，2017，30（12）：53-54

[2]Abdel-Aziz Y I，Karara H M，Hauck M.Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[J].Photogrammetric Engineering&Remote Sensing，2015，81（2）：103-107.

[3]Goktepe A，Kocaman E.Analysis of camera calibrations using direct linear transformation and bundle adjustment methods[J].Scientific Research and Essays，2010，5（9）：869-872.

[4]Tsai R Y.An efficient and accurate camera calibration technique for 3D machine vision[J].Proc.of Comp.Vis.Patt.Recog.，1986：364-374.

[5]De Ma S.A self-calibration technique for active vision systems[J].IEEE Transactionson Roboticsand Automation，1996，12（1）：114-120.

[6]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[7]李玲.基于雙目立體視覺的計(jì)算機(jī)三維重建方法研究[D].湖北：武漢大學(xué)，2005.

[8]夏皮羅.計(jì)算機(jī)視覺[M].趙清杰，譯.北京：機(jī)械工業(yè)出版社，2005.

[9]趙宣銘.一種基于Tsai法的攝像機(jī)改進(jìn)標(biāo)定法[J].西安工程大學(xué)學(xué)報(bào)，2011，25（4）：560-565.

[10]李迪，張孫亞，吳培浩，等.用于分揀機(jī)器人的改進(jìn)標(biāo)定方法[J].廣東輕工職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2017，16（1）：1-5.