胡宇鵬，蔣年德

（東華理工大學(xué)信息工程學(xué)院，江西南昌 330013）

0 引 言

隨著我國制造強國戰(zhàn)略逐步深化，人工智能制造[1]成為“中國制造2025”明確主攻方向，越來越多的工廠開始使用工業(yè)機器人和機器視覺實現(xiàn)自動化生產(chǎn)，使機器人能夠適應(yīng)更復(fù)雜的生產(chǎn)環(huán)境，提高生產(chǎn)效率。作為實現(xiàn)人工智能制造和智慧城市基礎(chǔ)[2]的手眼標(biāo)定，是機器人和機器視覺進(jìn)行協(xié)調(diào)工作的必要內(nèi)容，通過重構(gòu)三維場景獲取相機坐標(biāo)系和機器人坐標(biāo)系之間的位姿關(guān)系，因此提升其精確度、標(biāo)定范圍和穩(wěn)定性非常重要。

目前，標(biāo)定的主要方法有主動視覺標(biāo)定法、相機自標(biāo)定法和傳統(tǒng)相機標(biāo)定法[3]。主動視覺標(biāo)定法優(yōu)點在于不用借助標(biāo)定物、穩(wěn)定性強及算法簡單，但成本高、設(shè)備昂貴；相機自標(biāo)定法[4]靈活性強但精度低、魯棒性差；傳統(tǒng)相機標(biāo)定法需要標(biāo)定物輔助標(biāo)定，但是算法足夠成熟，魯棒性強且操作簡單[5-9]。對于精度要求高和成本需要控制的場景，傳統(tǒng)相機標(biāo)定法能夠滿足要求。其中常用的方法有直線標(biāo)定法、Tsai 兩步法和張氏標(biāo)定法，這也是當(dāng)前比較常用的幾種方法。

文獻(xiàn)[10]提出的DLT（Direct Linear Transformation，直線線性變換）方法是根據(jù)小孔成像提出的一種理想標(biāo)定方法，因為沒有考慮到相機鏡頭畸變的影響，標(biāo)定結(jié)果精確度低。文獻(xiàn)[11-12]采用兩步法先線性求得相機參數(shù)，再考慮畸變因素得到初始的參數(shù)值，通過非線性優(yōu)化方法得到最終的相機參數(shù)，Tsai 兩步法速度較快，但僅考慮徑向畸變，精確度較低。文獻(xiàn)[13]提出了平面棋盤格靶標(biāo)標(biāo)定方法，該方法更加靈活，通過單應(yīng)矩陣計算出相機內(nèi)外參數(shù)。張氏標(biāo)定法不用較多的測試設(shè)備，操作簡單、精確度較高。

九點標(biāo)定法是目前常用的手眼標(biāo)定方法，基于張氏標(biāo)定法進(jìn)行標(biāo)定，通過檢測標(biāo)定圓的圓心像素坐標(biāo)和世界坐標(biāo)計算變換矩陣。由于九點標(biāo)定法無法適應(yīng)相機鏡頭的非線性畸變，導(dǎo)致標(biāo)定結(jié)果精確度低，工業(yè)機器人無法實現(xiàn)高精度作業(yè)，所以本文對該方法存在的不足進(jìn)行改進(jìn)和提升[14]。

理想情況下，相機小孔成像不會產(chǎn)生畸變，像素坐標(biāo)系與機器人世界坐標(biāo)系之間呈線性變換關(guān)系。但受到鏡頭畸變和機器誤差影響，像素坐標(biāo)系與世界坐標(biāo)系之間存在非線性變換，并且鏡頭下每個區(qū)域的畸變程度不同，距離鏡頭中心越遠(yuǎn)畸變程度越大。所以讓變換矩陣[15]適應(yīng)不同區(qū)域的畸變就顯得尤為重要。受到卷積原理的啟發(fā)，本文提出基于卷積的工業(yè)機器人非線性手眼標(biāo)定方法。將標(biāo)定物分為多個卷積區(qū)域，提取每個區(qū)域畸變特征，生成最適合該區(qū)域的矩陣參數(shù)，減小鏡頭畸變對相機標(biāo)定的影響。該方法通過增加標(biāo)定點個數(shù)，提高標(biāo)定精度和檢測工作范圍。通過實驗驗證表明，本文方法精確度相比于九點標(biāo)定法有了明顯改進(jìn)，更加滿足于精確度高、檢測范圍大和穩(wěn)定性強的場景。

1 相機標(biāo)定原理

1.1 常用坐標(biāo)系

手眼標(biāo)定可實現(xiàn)圖像坐標(biāo)和機器人世界坐標(biāo)之間的轉(zhuǎn)換，需要建立起相機的成像模型，主要涉及到4 個坐標(biāo)系，分別是世界坐標(biāo)系OW-XWYWZW（單位：mm）、相機坐標(biāo)系OC-XCYCZC（單位：mm）、圖像坐標(biāo)系O-xy（單位：mm）和像素坐標(biāo)系Oo-UV（單位：pixel），如圖1 所示。

圖1 相機成像模型

世界坐標(biāo)系和相機坐標(biāo)系之間屬于剛體變換，由旋轉(zhuǎn)矩陣R和平移向量t表征。相機坐標(biāo)系到圖像坐標(biāo)系屬于透視投影，由3D 變換到2D 空間，損失一維深度信息即焦距f。圖像坐標(biāo)系和像素坐標(biāo)系可通過平移尺度變換表征二者關(guān)系，但受到透鏡實際形狀、位置抖動及焦平面傾斜等影響，不符合線性變換。

1.2 坐標(biāo)系轉(zhuǎn)換

圖像坐標(biāo)系轉(zhuǎn)換像素坐標(biāo)系，如圖1 所示，Oo是像素坐標(biāo)系原點，O是圖像坐標(biāo)系原點。假設(shè)dx、dy是每個像素在x和y方向上的長度，則圖像坐標(biāo)系中的點x、y對應(yīng)像素坐標(biāo)系應(yīng)有如式（1）所示的關(guān)系：

相機坐標(biāo)系和圖像坐標(biāo)系之間可以利用相似三角形求出轉(zhuǎn)換關(guān)系。f表示相機焦距，xy平面表示相平面，轉(zhuǎn)換關(guān)系如式（2）所示：

世界坐標(biāo)系轉(zhuǎn)換相機坐標(biāo)系的過程屬于剛體變換，轉(zhuǎn)換不會發(fā)生形變，由旋轉(zhuǎn)矩陣R和平移向量t進(jìn)行變換。其中R是一個3×3 的正交單位矩陣，t為3×1 的矩陣。轉(zhuǎn)換關(guān)系如式（3）所示：

將像素坐標(biāo)系、圖像坐標(biāo)系、相機坐標(biāo)系和世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系結(jié)合，可得到像素坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系，即相機坐標(biāo)系與機器人坐標(biāo)系之間的位姿關(guān)系，如式（4）所示：

2 相機線性與非線性模型

在理想狀態(tài)下，相機每個坐標(biāo)系之間的轉(zhuǎn)換都是線性變換，相機成像過程中不會產(chǎn)生誤差，可以直接使用Abdel線性模型進(jìn)行標(biāo)定，如式（5）所示：

式中：ZC為未知尺度因子；T為投影矩陣；K為相機內(nèi)參矩陣；M為外參矩陣，由R和t組成。

但是受到目前鏡頭工藝水平和機器誤差的限制，相機成像無法達(dá)到理想化小孔成像模型，實際所成的圖像與理想圖像之間存在著非線性幾何失真。目前最主要的畸變誤差有徑向畸變、切向畸變和薄棱鏡畸變等。非線性模型在線性模型基礎(chǔ)上加入由多項式擬合的像點位置偏差(Δu,Δv)，可以減少畸變誤差影響，如式（6）所示：

加入了像點位置偏差的非線性模型雖然有了極大改善，但依然無法達(dá)到理想線性相機模型，機器人在進(jìn)行高精度作業(yè)時仍會有較大誤差。因此，要找到一種適合實際場景應(yīng)用的手眼標(biāo)定方法，提高相機識別精確度及識別范圍極為重要。

3 改進(jìn)九點標(biāo)定法

3.1 九點標(biāo)定法

九點標(biāo)定法是基于張氏標(biāo)定法進(jìn)行標(biāo)定，通過檢測標(biāo)定圓的圓心像素坐標(biāo)和世界坐標(biāo)計算變換矩陣。九點標(biāo)定本質(zhì)是點與點之間進(jìn)行仿射變換，具有操作簡單、精確度高、穩(wěn)定性強等優(yōu)點，是機器人標(biāo)定中的常用方法。主要操作方法包括以下幾個步驟：

步驟1：準(zhǔn)備一張印有9 個圓的標(biāo)定物紙張，一般為3×3 標(biāo)準(zhǔn)，并確保相機能夠全部采集到。

步驟2：確保標(biāo)定物在相機采集過程中保持靜止，使用圖像處理和控制機械臂方法獲取標(biāo)定圓的圓心像素坐標(biāo)和圓心機械臂坐標(biāo)。

步驟3：通過步驟2 獲取的像素坐標(biāo)和機械坐標(biāo)進(jìn)行仿射變換生成矩陣參數(shù)，通過矩陣參數(shù)可以將任意像素坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)。

九點標(biāo)定法的缺點在于無法減小相機鏡頭畸變引起的標(biāo)定誤差，在精確度和標(biāo)定測試范圍上無法同時滿足實際需求。標(biāo)定范圍擴大會受到鏡頭畸變影響，導(dǎo)致標(biāo)定精確度降低，標(biāo)定范圍縮小精確度高，實際檢測范圍無法滿足實際需求。

3.2 基于卷積的非線性手眼標(biāo)定方法

針對目前九點標(biāo)定法無法同時滿足標(biāo)定范圍和標(biāo)定精確度的不足，本文提出一種基于卷積的非線性手眼標(biāo)定方法對原有的方法進(jìn)行改進(jìn)。該方法在保證精確度的前提下擴大標(biāo)定檢測范圍，滿足更多工業(yè)機器人場景需求。

該標(biāo)定方法操作步驟相較九點標(biāo)定法有所不同，具體操作步驟如下所示：

步驟1：準(zhǔn)備一張印有若干圓的標(biāo)定物紙張，具體個數(shù)根據(jù)檢測范圍大小確定，將這些圓排列成n×m的標(biāo)準(zhǔn)，并確保相機能夠全部采集。

步驟2：確保標(biāo)定物在相機采集過程中保持靜止，使用圖像處理和控制機械臂方法獲取標(biāo)定圓的圓心像素坐標(biāo)和圓心機械臂坐標(biāo)。

步驟3：使用3×3 的卷積核遍歷標(biāo)定物上的圓，按照從左到右、從上到下的順序進(jìn)行遍歷，具體操作如圖2所示，共標(biāo)定54 個圓，生成28 個卷積區(qū)域?qū)?yīng)的旋轉(zhuǎn)矩陣參數(shù)，左上角方框為第一個卷積區(qū)域，右下角方框為最后一個卷積區(qū)域。

圖2 使用卷積方法的標(biāo)定圓

步驟4：將所有卷積區(qū)域旋轉(zhuǎn)矩陣參數(shù)進(jìn)行保存，坐標(biāo)系轉(zhuǎn)換時使用該卷積區(qū)域的旋轉(zhuǎn)矩陣參數(shù)，提高標(biāo)定精確度。

4 實驗過程及結(jié)果

4.1 實驗準(zhǔn)備

為確保實驗結(jié)果的真實性和可靠性，使用四軸機械臂的機械坐標(biāo)作為世界坐標(biāo)。選取500 萬像素（2 448×1 536）工業(yè)款相機進(jìn)行圖像采集，距離標(biāo)定面高度400 mm。機械臂與標(biāo)定圓紙張位于同一平面，具體如圖3 所示。

圖3 實際標(biāo)定界面圖

4.2 實驗過程

分別用九點標(biāo)定法和本文改進(jìn)的算法對不同范圍大小標(biāo)定物進(jìn)行標(biāo)定，將標(biāo)定結(jié)果測試后比較，分析兩種算法的測試結(jié)果及優(yōu)缺點。現(xiàn)對基于卷積的工業(yè)機器人非線性手眼標(biāo)定方法實驗過程進(jìn)行概述。

1）獲取標(biāo)定圓圓心像素坐標(biāo)

張氏標(biāo)定法通過棋盤格角點檢測進(jìn)行標(biāo)定，本文采用圓心檢測進(jìn)行標(biāo)定，圓心檢測相比于棋盤格角點檢測可以達(dá)到更加精確的效果。首先對相機采集的圖像進(jìn)行預(yù)處理，提高識別精確度，主要包括灰度化、二值化、高斯模糊、形態(tài)學(xué)處理和輪廓查找等操作；再通過圓形特征獲取標(biāo)定圓圓心坐標(biāo)，并將檢測獲取的像素圓心坐標(biāo)按照從左到右、從上到下的順序保存。該檢測方法在實驗過程中具有運算速度快、穩(wěn)定性強和魯棒性高等優(yōu)點。

2）獲取標(biāo)定圓圓心機械臂坐標(biāo)

根據(jù)步驟1）獲取的圓心像素坐標(biāo)順序，通過控制機械臂獲取標(biāo)定物圓心對應(yīng)的世界坐標(biāo)進(jìn)行保存。這個過程需要通過通信協(xié)議指令控制。為了確保機械坐標(biāo)結(jié)果更加準(zhǔn)確，使用工業(yè)機器人視覺標(biāo)定針輔助標(biāo)定。

3）計算旋轉(zhuǎn)矩陣參數(shù)

通過卷積的原理在標(biāo)定物上按照從左到右、從上到下的順序依次遍歷，卷積核大小為3×3。根據(jù)前兩步得到的結(jié)果在每個卷積區(qū)域生成對應(yīng)的旋轉(zhuǎn)矩陣參數(shù)。遍歷結(jié)束后，將每個區(qū)域的旋轉(zhuǎn)矩陣參數(shù)進(jìn)行保存。

4）計算誤差

為了使實驗更加具有可靠性，誤差計算采用測試點在基于卷積的工業(yè)機器人非線性手眼標(biāo)定方法中進(jìn)行測試。通過旋轉(zhuǎn)矩陣參數(shù)轉(zhuǎn)換圖像處理后的像素坐標(biāo)，得到重建的坐標(biāo)值，最后分析實驗結(jié)果。

4.3 實驗結(jié)果分析

為達(dá)到實驗?zāi)康?，本文采用測試點分別在九點標(biāo)定法和本文算法下進(jìn)行比對，分析兩者誤差。使用兩種方法在標(biāo)定物上標(biāo)定，得到各自的標(biāo)定結(jié)果。測試點通過標(biāo)定結(jié)果重建的坐標(biāo)值和真實值之間的距離表示各自標(biāo)定的誤差值，并增加測試點取平均誤差達(dá)到更穩(wěn)定、精確的實驗結(jié)果。

兩種算法經(jīng)過多次測試，誤差結(jié)果如表1 所示。隨著標(biāo)定范圍擴大，九點標(biāo)定法誤差也隨之增大，本文算法依然保持著較小的誤差。由此可見，在實際應(yīng)用場景中，使用本文手眼標(biāo)定算法的工業(yè)機器人視覺精確度更高，能滿足更多的機器視覺項目。誤差分析比較如圖4所示。

表1 算法測試誤差mm

圖4 誤差分析比較

最終實驗表明，九點標(biāo)定法矩陣參數(shù)過于單一，無法適應(yīng)標(biāo)定范圍擴大引入的鏡頭畸變影響，精確度不穩(wěn)定，工業(yè)機器人在實際應(yīng)用中無法滿足作業(yè)需求。針對九點標(biāo)定法存在的不足，本文提出的基于卷積的工業(yè)機器人非線性手眼標(biāo)定方法能有效減少鏡頭畸變誤差，保持較高的精確度，滿足標(biāo)定需求，可以更好地使工業(yè)機器人適應(yīng)不同卷積區(qū)域的相機畸變參數(shù)，完成高精度作業(yè)。

5 結(jié) 語

本文提出的基于卷積的工業(yè)機器人非線性手眼標(biāo)定方法主要基于卷積的原理，通過3×3 卷積區(qū)域依次遍歷相機標(biāo)定范圍，求解每個卷積區(qū)域的旋轉(zhuǎn)矩陣參數(shù)。通過讓旋轉(zhuǎn)矩陣參數(shù)適應(yīng)鏡頭下每個區(qū)域畸變的方法，從而減少相機鏡頭畸變的影響。與傳統(tǒng)的九點標(biāo)定法相比，本文提出的算法不僅提高了相機標(biāo)定檢測范圍，同時提高了精確度，性能更加穩(wěn)定，能夠滿足工業(yè)機器人的更多實際應(yīng)用要求。