高成 樊易飛 佟維妍

摘? 要： 在機(jī)器人視覺伺服領(lǐng)域，視覺標(biāo)定是一個(gè)重要的研究方向，也是當(dāng)前的研究熱點(diǎn)。對軟件標(biāo)定原理進(jìn)行說明，建立攝像機(jī)坐標(biāo)系統(tǒng)和機(jī)器人世界坐標(biāo)系統(tǒng)之間的關(guān)系，利用Halcon函數(shù)庫中的算子，充分考慮了機(jī)械手的末端中心和鏡頭徑向畸變的影響，提出基于Halcon的優(yōu)化軟件標(biāo)定方法，實(shí)現(xiàn)攝像機(jī)內(nèi)外參數(shù)的標(biāo)定。實(shí)驗(yàn)結(jié)果證明，該方法在X，Y，Z方向的標(biāo)定精度都較高，標(biāo)定過程簡單易行，完全適用于工業(yè)機(jī)器人的視覺系統(tǒng)標(biāo)定。

關(guān)鍵詞： 機(jī)器人; 視覺標(biāo)定; Halcon; 攝像機(jī)參數(shù); 徑向畸變; 標(biāo)定精度

中圖分類號： TN876?34; TP24? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）18?0178?04

Abstract： The visual calibration is an important research direction in the field of robot visual servo， and is also one of the current research hotspots. The principle of software calibration is described in detail. The relationship between the camera coordinate system and the robot world coordinate system is established. In consideration of the influences of the terminal center of the robot hand and the radial distortion of the camera lens， an optimized software calibration method based on Halcon is proposed by means of the operator in the function library， and the internal and external parameters of the camera are calibrated. The experimental results show that the method has high calibration accuracy in X， Y and Z axis， and the calibration process is simple and easy. It is suitable for visual system calibration of industrial robots.

Keywords： robot; vision calibration; Halcon; camera parameters; radial distortion; calibration accuracy

0? 引? 言

機(jī)器視覺是用計(jì)算機(jī)模仿生物視覺的科學(xué)和技術(shù)，其發(fā)展與計(jì)算機(jī)視覺的進(jìn)步密切相關(guān)[1?3]。近30年，國內(nèi)外學(xué)者在計(jì)算機(jī)視覺方面進(jìn)行了大量研究，也取得了重要突破，提出了新的理論和方法，為機(jī)器視覺的工業(yè)化奠定了理論基礎(chǔ)。工業(yè)化的發(fā)展對裝配定位精度和自動(dòng)化水平要求越來越高。基于計(jì)算機(jī)視覺的工業(yè)機(jī)器人定位精度高、成本低、自動(dòng)化和智能化水平高，機(jī)器視覺在定位和裝配領(lǐng)域有廣泛的應(yīng)用[4]。

因?yàn)闄C(jī)器視覺的軟件和硬件產(chǎn)品的巨大需求，很多公司開發(fā)了自己的視覺函數(shù)庫，方便用戶編寫應(yīng)用程序。目前，OpenCV，Halcon和LabVIEW等函數(shù)庫在工業(yè)生產(chǎn)應(yīng)用較廣。Halcon是一套完整的標(biāo)準(zhǔn)機(jī)器視覺算法軟件包，廣泛應(yīng)用于機(jī)器視覺集成開發(fā)環(huán)境。利用Halcon算子，能明顯縮短計(jì)算機(jī)視覺應(yīng)用系統(tǒng)的開發(fā)周期、降低成本，并促進(jìn)了機(jī)器視覺、醫(yī)學(xué)影像和圖像分析處理的快速發(fā)展。Halcon是歐州和日本工業(yè)界應(yīng)用最廣的機(jī)器視覺軟件。機(jī)器視覺的核心是圖形算法，圖形算法的不斷進(jìn)步為機(jī)器視覺技術(shù)發(fā)展提供了可靠的理論基礎(chǔ)，為社會(huì)生產(chǎn)力提供了強(qiáng)大動(dòng)力。

當(dāng)前，視覺標(biāo)定方法大致分為三類：傳統(tǒng)標(biāo)定法、自標(biāo)定法和基于主動(dòng)視覺的標(biāo)定方法[5]。

1999年，張正友提出了張氏相機(jī)標(biāo)定法，其他大多標(biāo)定方法都以張氏標(biāo)定法為基礎(chǔ)進(jìn)行改進(jìn)。Otkovic 等用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行相機(jī)標(biāo)定[6]，Kukelova在標(biāo)定模型的基礎(chǔ)矩陣表達(dá)式上，加了兩個(gè)約束條件，提高了相機(jī)標(biāo)定的速度[7]，文獻(xiàn)[8]利用消隱點(diǎn)原理對張氏標(biāo)定法改進(jìn)，簡化了張氏標(biāo)定步驟，實(shí)驗(yàn)證明，相機(jī)標(biāo)定精度也得到了提高。文獻(xiàn)[9]應(yīng)用LabVIEW視覺開發(fā)工具包， 完成畸變校正。文獻(xiàn)[10]利用Halcon和VC++編寫程序，實(shí)現(xiàn)了視覺機(jī)器人抓取系統(tǒng)。文獻(xiàn)[11]提出一種優(yōu)化的自適應(yīng)攝像機(jī)標(biāo)定方法，將攝像機(jī)參數(shù)估計(jì)與鏡頭畸變校準(zhǔn)分開進(jìn)行，提高了鏡頭畸變校準(zhǔn)的精度，減小了參數(shù)優(yōu)化過程中的變量維數(shù)。文獻(xiàn)[12]基于改進(jìn)的兩步法攝像機(jī)標(biāo)定方法，對第一步中得到的標(biāo)定參數(shù)通過非線性優(yōu)化，并求解畸變系數(shù)，用單幅圖像即可完成標(biāo)定。文獻(xiàn)[13] 將自適應(yīng)和聲搜索算法與攝像機(jī)標(biāo)定過程相結(jié)合，優(yōu)化了標(biāo)定所得的攝像機(jī)內(nèi)參和鏡頭徑向畸變系數(shù)。

以上研究方法是針對不同的應(yīng)用環(huán)境和應(yīng)用要求，各有優(yōu)缺點(diǎn)。本文提出一種適用于工業(yè)現(xiàn)場實(shí)際條件的機(jī)器視覺標(biāo)定方法，根據(jù)功能劃分不同的模塊，組成結(jié)構(gòu)完整的系統(tǒng)，包括標(biāo)定模塊、模板生成模塊、拍照觸發(fā)模塊、圖像采集模塊、圖像處理模塊和數(shù)據(jù)交互模塊。相機(jī)標(biāo)定是利用機(jī)器視覺進(jìn)行精確測量和定位的前提和基礎(chǔ)。

1? 基于Halcon的視覺標(biāo)定和應(yīng)用

軟件標(biāo)定就是要建立相機(jī)成像的數(shù)學(xué)模型，描述世界坐標(biāo)系下的目標(biāo)投影到相機(jī)成像平面的過程。軟件標(biāo)定的最終目標(biāo)是準(zhǔn)確計(jì)算包含在模型中相機(jī)的內(nèi)外參數(shù)。目標(biāo)位置在圖像平面坐標(biāo)系統(tǒng)中以像素表示，標(biāo)定完成后，目標(biāo)位置用毫米表示。

利用Halcon函數(shù)庫完成相機(jī)標(biāo)定，實(shí)現(xiàn)簡單，結(jié)果可靠。整個(gè)標(biāo)定過程包括制作標(biāo)定板、參數(shù)設(shè)置、標(biāo)記點(diǎn)搜索和標(biāo)定計(jì)算。通過正確選擇相應(yīng)算子和設(shè)置參數(shù)，就可完成相機(jī)的準(zhǔn)確標(biāo)定，標(biāo)定流程如圖1所示。

1.1? 標(biāo)定板制作

Halcon的標(biāo)定流程所需的對象是方形白底標(biāo)定板，有m×n個(gè)圓形標(biāo)記點(diǎn)，標(biāo)定板的一角以三角形標(biāo)記。原則上，標(biāo)定板面積約占相機(jī)整個(gè)視野的[13]。如圖2所示，標(biāo)定板上標(biāo)記點(diǎn)的尺寸應(yīng)適當(dāng)，太大會(huì)使鄰近標(biāo)記點(diǎn)間分界不清;太小會(huì)使標(biāo)記點(diǎn)不易分辨。選擇標(biāo)定板的前提是所有標(biāo)記點(diǎn)成像清晰，并盡可能多的在標(biāo)定板上排列。標(biāo)記點(diǎn)越密集，算法越匹配，相應(yīng)的標(biāo)定精度越高。

1.2? 標(biāo)定點(diǎn)搜索

標(biāo)定過程中，必須在攝像機(jī)視野內(nèi)不斷改變標(biāo)定板的位置，轉(zhuǎn)動(dòng)標(biāo)定板的方向，在X軸和Y軸方向傾斜標(biāo)定板，以檢測透視畸變和鏡頭畸變;同時(shí)，不能破壞標(biāo)定板的表面，在標(biāo)定結(jié)束時(shí)計(jì)算出準(zhǔn)確的標(biāo)定參數(shù)。在分割完成的多個(gè)區(qū)域中，孔型區(qū)域的個(gè)數(shù)與標(biāo)定板描述文件一致，在圖像中確定出標(biāo)定板區(qū)域，外圍的矩形輪廓作為標(biāo)定板所在區(qū)域。為了減少背景噪聲或其他碎片對提取點(diǎn)的影響，本文采用了輪廓篩選方法，不同的是，忽略小于閾值的閉合區(qū)域。標(biāo)定板區(qū)域搜索結(jié)果如圖3所示。

所有的邊緣將被優(yōu)化到亞像素的精度。將標(biāo)記點(diǎn)的中心坐標(biāo)存儲(chǔ)在2個(gè)數(shù)組中，所有點(diǎn)的行坐標(biāo)存儲(chǔ)于RCoord，所有點(diǎn)的列坐標(biāo)存儲(chǔ)于CCoord，2個(gè)數(shù)組維數(shù)必須對應(yīng)于標(biāo)記點(diǎn)個(gè)數(shù)，嚴(yán)格按照標(biāo)定板描述文件中的順序排列。

1.3? 標(biāo)定計(jì)算

標(biāo)定計(jì)算需要進(jìn)行坐標(biāo)變換。笛卡爾坐標(biāo)系是目前應(yīng)用最廣泛、最理想的位置參考系統(tǒng)。在任何空間，坐標(biāo)系的建立只需選擇原點(diǎn)和坐標(biāo)軸。

世界坐標(biāo)系是基礎(chǔ)坐標(biāo)系，其他坐標(biāo)系的位姿，都以世界坐標(biāo)系為參考，有時(shí)也被稱為全局坐標(biāo)系。為了計(jì)算簡便，本文所使用的標(biāo)定算法中，將目標(biāo)物所在平面中心定義為世界坐標(biāo)系的原點(diǎn)， X軸和Y軸與成像平面坐標(biāo)系中Xi軸和Yi軸平行，Z軸與攝像機(jī)光軸平行，如圖4所示。

圖中，P（xw，yw，zw）是點(diǎn)P在世界坐標(biāo)系W下的坐標(biāo)，P（xc，yc，zc）是在攝像機(jī)坐標(biāo)系C中的坐標(biāo)，I是攝像機(jī)的成像平面。根據(jù)攝像機(jī)針孔成像的原理，點(diǎn)P在I的投影為Pi（xi，yi），由于畸變等因素影響，而實(shí)際成像于點(diǎn)[P′ix′i，y′i]。

1） 點(diǎn)P在坐標(biāo)系W與C中的齊次坐標(biāo)變換關(guān)系為：

式中：t是坐標(biāo)系W與C的位置平移向量;R是坐標(biāo)系W與C繞X，Y和Z軸的旋轉(zhuǎn)向量，并且旋轉(zhuǎn)角度由歐拉角[（θ，?，φ）]表示。

2） 將攝像機(jī)坐標(biāo)系C下目標(biāo)點(diǎn)P的三維坐標(biāo)P（xc，yc，zc）變換為成像平面I二維坐標(biāo)系中的坐標(biāo)Pi（xi，yi）。

式中，f是相機(jī)焦距。

3） 世界坐標(biāo)系W下P點(diǎn)發(fā)出的光通過透鏡中心折射，在成像平面I上沒有成像于點(diǎn)Pi（xi，yi），實(shí)際成像于[P′ix′i，y′i]，這就是透鏡的徑向畸變。徑向畸變關(guān)系可以用較簡單的形式表示，如下：

式中，k是測量失真程度的參數(shù)。當(dāng)k=0時(shí)，無畸變;k<0時(shí)，表示桶形畸變;k>0時(shí)，表示枕形畸變。

4） 在成像平面坐標(biāo)系I中，點(diǎn)P以像素坐標(biāo)表示，記Pi（r，c）。I中主點(diǎn)Oi坐標(biāo)以（r0，c0）表示，Py和Px分別表示I中yi方向和xi方向單位像素（pixel）長度，變換關(guān)系為：

目標(biāo)點(diǎn)的匹配結(jié)果為二維圖像坐標(biāo)，返回世界坐標(biāo)也是X和Y方向的二維坐標(biāo)，Z缺省值為0。因該平面是標(biāo)定板在標(biāo)定過程中所處的平面，世界坐標(biāo)的原點(diǎn)被固定在攝像機(jī)拍攝圖像的中心。

2? 試驗(yàn)結(jié)果及分析

2.1? 試驗(yàn)標(biāo)定

實(shí)驗(yàn)中使用的全景攝像機(jī)的分辨率是1 024×768，在標(biāo)定過程中，用Halcon軟件提取圖像中的角點(diǎn)。利用棋盤標(biāo)定板，選擇7×7標(biāo)記點(diǎn)的棋盤[12]。每個(gè)棋盤的尺寸為30 mm×30 mm，并且從每個(gè)圖像中提取6×6個(gè)標(biāo)記點(diǎn)。在不同位置和角度選擇10張圖片。

在Halcon圖像處理軟件中，有許多角點(diǎn)提取算法，如Point_Foerstner，Point_Harris和Point_Lepetit算法，可以提取交叉點(diǎn)，但不能排除標(biāo)定板邊緣的某些角坐標(biāo)，且坐標(biāo)誤差較大。圖5比較了幾種算法的提取結(jié)果。本文利用saddle_points_sub_pix算法提取角點(diǎn)，具有以下特點(diǎn)：

1） 采取亞像素級的數(shù)學(xué)分析，精確提取角點(diǎn);

2） 利用灰度值函數(shù)的閾值，剔除圖像中灰度值相對均勻的區(qū)域。

主線程和后臺(tái)線程的軟件標(biāo)定流程如圖6所示。

標(biāo)定開始，首先制作標(biāo)定板，讀取其描述文件，按下“采集”按鈕，判斷是否是第一次拍攝，如果攝像機(jī)內(nèi)部參數(shù)已初始化，則圖像處理標(biāo)記設(shè)置為“真”。如果拍攝到足夠多的照片，單擊“標(biāo)定”按鈕，當(dāng)后臺(tái)線程存儲(chǔ)足夠多的標(biāo)記坐標(biāo)時(shí)，開始校準(zhǔn)計(jì)算，獲取攝像機(jī)的內(nèi)外參數(shù)并保存。

對10個(gè)圖像的標(biāo)定結(jié)果的平均誤差進(jìn)行再平均，不考慮透鏡畸變，平均誤差是0.35 mm。圖7比較了文獻(xiàn)[14?15]算法的標(biāo)定誤差與本文提出算法的標(biāo)定誤差，可以看出，本文提出方法的算法標(biāo)定誤差較小。

2.2? 標(biāo)定精度

在精度測試中，首先輸入目標(biāo)對象的模板。將目標(biāo)物體放置在攝像機(jī)視場中的固定位置，通過精確的測量，在攝像機(jī)拍攝照片后，匹配數(shù)據(jù)記錄下來。10幅圖像實(shí)驗(yàn)數(shù)據(jù)如表1所示，匹配精度誤差分析直方圖如圖8所示。根據(jù)試驗(yàn)結(jié)果，在X方向，視覺軟件的測量誤差小于0.35 mm，Y方向小于0.25 mm，Z方向小于0.3 mm，校準(zhǔn)的匹配性符合系統(tǒng)的要求。