粟明 李迪 李松 東梁

(華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640)

設(shè)備主動(dòng)視覺的模板匹配自標(biāo)定

粟明 李迪 李松 東梁

(華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640)

為簡(jiǎn)化自動(dòng)化設(shè)備視覺定位平臺(tái)的標(biāo)定流程，減少對(duì)標(biāo)準(zhǔn)塊的依賴并實(shí)現(xiàn)標(biāo)定自動(dòng)化，本文提出了基于模板匹配的主動(dòng)視覺自標(biāo)定方法，依靠平臺(tái)運(yùn)動(dòng)時(shí)拍攝到的圖片，實(shí)現(xiàn)任意場(chǎng)景目標(biāo)的識(shí)別，然后建立模型對(duì)運(yùn)動(dòng)位置進(jìn)行標(biāo)定；給出了視覺自標(biāo)定的原理、流程和容錯(cuò)方法，適用于多目標(biāo)的情形；整個(gè)過程由粗到精分3圈進(jìn)行，根據(jù)匹配位置自動(dòng)計(jì)算標(biāo)定結(jié)果，使標(biāo)定更加實(shí)用化與通用化。所提方法成功應(yīng)用于LED平面固晶機(jī)中，結(jié)果表明該方法精度可達(dá)13．947μm，能滿相關(guān)自動(dòng)化設(shè)備的視覺標(biāo)定要求。

模板匹配；主動(dòng)視覺；自標(biāo)定；固晶機(jī)；定位精度

1 引言

鑒于計(jì)算機(jī)視覺系統(tǒng)的非接觸、速度快、精度高、成本下降等優(yōu)點(diǎn)，自動(dòng)化設(shè)備整合視覺系統(tǒng)提升設(shè)備的智能化水平已是必然趨勢(shì)。視覺標(biāo)定技術(shù)作為設(shè)備精定位及其離線編程的基礎(chǔ)，是融合視覺的自動(dòng)化設(shè)備中不可或缺的關(guān)鍵技術(shù)。視覺標(biāo)定的目的是確定三維空間與二維圖像之間的映射關(guān)系，基于這種映射關(guān)系，可獲得二維圖像中的機(jī)構(gòu)精確運(yùn)動(dòng)的位置信息。視覺標(biāo)定有三種不同形式：傳統(tǒng)標(biāo)定方法、自標(biāo)定方法和基于主動(dòng)視覺的標(biāo)定方法。傳統(tǒng)標(biāo)定利用加工精度很高的已知標(biāo)定塊作為參照物，通過空間點(diǎn)和圖像之間的對(duì)應(yīng)關(guān)系來建立標(biāo)定模型，采用優(yōu)化算法提取參數(shù)，典型的方法有Tsai的方法[1,2]、Weng的迭代法[3]以及簡(jiǎn)易標(biāo)定法[4,5]等，傳統(tǒng)法可使用任意攝像機(jī)模型、精度高，但過程復(fù)雜且需標(biāo)定塊，視覺定位平臺(tái)的場(chǎng)景、位姿和光學(xué)參數(shù)等易變動(dòng)，要經(jīng)常標(biāo)定，若每次都用標(biāo)定塊，費(fèi)時(shí)且不方便。自標(biāo)定技術(shù)則直接利用多幅場(chǎng)景圖像特征信息進(jìn)行標(biāo)定，無需標(biāo)定塊、靈活性強(qiáng)，但魯棒性差[6]。主動(dòng)視覺的自標(biāo)定是已知某些運(yùn)動(dòng)信息的條件下的視覺標(biāo)定方法，基于運(yùn)動(dòng)信息，可以線性求解模型參數(shù)，魯棒性更高[7]。

2 基于視覺的平面定位系統(tǒng)

考慮一種典型的由一個(gè)相機(jī)和2個(gè)電機(jī)組成的平面定位系統(tǒng)，如圖1所示。平臺(tái)負(fù)責(zé)物料運(yùn)載，相機(jī)則進(jìn)行識(shí)別，相機(jī)固定在機(jī)架且靜止不動(dòng)，平臺(tái)做運(yùn)動(dòng)定位。

運(yùn)動(dòng)平臺(tái)的精確位置通過目標(biāo)在圖像中的位置運(yùn)算得出，圖像運(yùn)算的坐標(biāo)都基于圖像坐標(biāo)系，考慮到像素陣列精度高，且不同品牌相機(jī)內(nèi)部參數(shù)不同，實(shí)際計(jì)算時(shí)，忽略相機(jī)內(nèi)部誤差，主要考慮外部位姿誤差。假設(shè)平臺(tái)運(yùn)動(dòng)是基于電機(jī)脈沖的，那么需將圖像位置轉(zhuǎn)化成對(duì)電機(jī)控制的脈沖值，即計(jì)算像素的脈沖當(dāng)量。對(duì)于圖1所示的平面定位系統(tǒng)，圖像坐標(biāo)系至電機(jī)坐標(biāo)系的轉(zhuǎn)換主要考慮以下問題：①旋轉(zhuǎn)，相機(jī)的安裝位置和電機(jī)的安裝位置的角度偏差；②平移，圖像原點(diǎn)和電機(jī)坐標(biāo)系原點(diǎn)平移偏差；③縮放，兩個(gè)坐標(biāo)系物理尺度不一致。④軸夾角，電機(jī)坐標(biāo)系的雙軸安裝垂直度偏差；⑤仿射，相機(jī)投射平面和電機(jī)平臺(tái)平面的平行度偏差。

圖1 視覺平面定位系統(tǒng)圖

3 模板匹配技術(shù)

圖像識(shí)別技術(shù)是主動(dòng)視覺的自標(biāo)定的基礎(chǔ)，利用模板匹配技術(shù)，可實(shí)現(xiàn)自標(biāo)定的任意場(chǎng)景目標(biāo)識(shí)別。模板匹配就是模板在搜索圖中進(jìn)行滑動(dòng)，對(duì)滑動(dòng)的點(diǎn)進(jìn)行相似度運(yùn)算，當(dāng)模板在搜索圖目標(biāo)區(qū)內(nèi)的匹配度大于預(yù)設(shè)值時(shí)，可判定為匹配[8]。設(shè)搜索圖S大小為M×N，模板圖T為m×n，NCC算法作為基于灰度的典型模板匹配方法，其在滑動(dòng)位置（i，j）的相似度可定義為：

圖2 多目標(biāo)處理前識(shí)別結(jié)果

圖3 多目標(biāo)處理后識(shí)別結(jié)果

圖4 最優(yōu)位置

針對(duì)模板匹配速度慢的問題，采用快速歸一化相關(guān)性、積分圖像和快速傅里葉變換等[9-12]方法對(duì)模板識(shí)別速度進(jìn)行優(yōu)化，采用曲面擬合[8,13]方法對(duì)匹配結(jié)果進(jìn)行亞像素定位。

單目標(biāo)模板匹配預(yù)知搜索圖中最多1個(gè)目標(biāo)，只需在搜索圖中找到大于相似度閾值Q的最高相似度的匹配點(diǎn)，就可確定目標(biāo)的有無及其位置。當(dāng)視野內(nèi)有多個(gè)目標(biāo)，則不一定得出正確的結(jié)果。相似度為0.8的LED晶元的實(shí)際匹配結(jié)果如圖2所示，可以看出，結(jié)果把最佳區(qū)域鄰域都囊括進(jìn)來了，相似度閾值Q越低，鄰域越多，如果只取最高匹配，則只能找到一個(gè)目標(biāo)。為此，對(duì)算法稍加改進(jìn)，自標(biāo)定的多目標(biāo)識(shí)別分4步進(jìn)行。

第1步：按照相似度閾值Q尋找符合要求的所有點(diǎn)。

第2步：分割目標(biāo)，根據(jù)幾何特征對(duì)所得的點(diǎn)進(jìn)行分類與分割。幾何特征是指歐式距離，設(shè)第1步獲得k個(gè)點(diǎn)，第i點(diǎn)設(shè)置歸類標(biāo)記hi，初始值hi=0。用x表示橫向位置，y表示縱向位置，q表示相似度，則對(duì)于搜索圖S大小為M×N，模板圖T為m×n的匹配，點(diǎn)(xi，yi，qi)和點(diǎn)(xj，yj，qj)的像素距離為

其中i，j=1，2，…，k；i≠j。若L(i，j)＜min(m，n)，則將i，j點(diǎn)歸為同類，已經(jīng)歸類的點(diǎn)其標(biāo)記置為1，即hi=1，hj=1。設(shè)分割后的總類數(shù)為Tn，則第i類的點(diǎn)集為

第3步：取最大相似度的點(diǎn)作為每類最終識(shí)別目標(biāo)。即

改進(jìn)后的多目標(biāo)識(shí)別結(jié)果如圖3所示，不再如圖2那樣有很多白色堆疊框，目標(biāo)被準(zhǔn)確識(shí)別出來，不存在鄰域匹配的現(xiàn)象。

第4步：自標(biāo)定由粗到精分3圈進(jìn)行，根據(jù)自標(biāo)定的初步結(jié)果獲取目標(biāo)的理論位置，取距離理論位置最近目標(biāo)為最終識(shí)別對(duì)象。假定目標(biāo)的理論位置為(xThe，yThe)，則最優(yōu)目標(biāo)位置

其中i，j=1，2，…，n。最優(yōu)位置和理論位置如圖4所示。

4 視覺自標(biāo)定

視覺自標(biāo)定通過運(yùn)動(dòng)到不同位置自動(dòng)求取向量之間的關(guān)系來反應(yīng)圖像坐標(biāo)系和電機(jī)坐標(biāo)系的映射關(guān)系，實(shí)際應(yīng)用中需從圖像確定平臺(tái)的目標(biāo)位置，也需從平臺(tái)確定圖像的目標(biāo)位置。定義脈沖當(dāng)量表示為圖像移動(dòng)1個(gè)像素對(duì)應(yīng)的平臺(tái)運(yùn)動(dòng)脈沖移動(dòng)數(shù)，定義像素當(dāng)量表示為平臺(tái)運(yùn)動(dòng)1個(gè)脈沖對(duì)應(yīng)的像素移動(dòng)數(shù)。建立標(biāo)定模型如圖5所示，XOY為電機(jī)坐標(biāo)系，SOT為圖像坐標(biāo)系，假定二者單位向量的映射為

圖5 視覺標(biāo)定運(yùn)動(dòng)位置

式中X、Y表示電機(jī)坐標(biāo)系的單位向量，S、T表示圖像坐標(biāo)系的單位向量，Rxs、Rxt表示電機(jī)X方向的像素當(dāng)量，Rys、Ryt表示電機(jī)Y方向的像素當(dāng)量，Rsx、Rsy表示圖像S方向的脈沖當(dāng)量，Rtx、Rty表示圖像T方向的脈沖當(dāng)量。根據(jù)公式（6）求取當(dāng)量之間的關(guān)系，可得

標(biāo)定時(shí)，中心實(shí)線框做成模板，確保在中心開始移動(dòng)。然后分別沿著X-、X+、Y-和Y+這4個(gè)方向移動(dòng)一個(gè)步長(zhǎng)，對(duì)每次移動(dòng)做圖像識(shí)別，計(jì)算移動(dòng)后的模板位置偏移。用A(tai, sai)，B(tbi,sbi)，C(tci,sci)，D(tdi,sdi)，表示這4個(gè)位置，其中i=1，2，3?？傻妹}沖像素當(dāng)量

按照公式（7）和（8）可求得像素當(dāng)量Rxs、Rxt和Rys、Ryt。自標(biāo)定遵循先粗后精的過程，運(yùn)動(dòng)流程如圖6所示，全過程分成3圈進(jìn)行，每一圈都有4個(gè)方向的移動(dòng)，最后進(jìn)行自動(dòng)驗(yàn)證，防止得到錯(cuò)誤結(jié)果。整個(gè)自標(biāo)定需要設(shè)定的參數(shù)有：①P0-第1圈的起始微脈沖；②L1-第2圈的像素距離；③L2-第3圈的像素距離；④W-模板的寬；⑤H-模板的高；⑥K0-匹配相似度；⑦Le-自動(dòng)校驗(yàn)的脈沖數(shù)。其中，W、H和K0是用戶設(shè)置參數(shù)，W、H的值只能取偶數(shù)，K0能準(zhǔn)確而快速識(shí)別目標(biāo)即可，其余參數(shù)都是調(diào)試獲得；P0在多目標(biāo)情形時(shí)，保證第1圈不超過模板大?。籐1、L2和Le不能使模板目標(biāo)走出視野范圍，L2越大越好。

圖6 視覺標(biāo)定流程圖

為保證視覺自標(biāo)定算法成功，必須有容錯(cuò)處理：①用戶選擇的模板區(qū)無特征導(dǎo)致識(shí)別失敗時(shí)的處理；②工業(yè)PC控制系統(tǒng)中常用的PCI或USB相機(jī)易受帶寬影響，會(huì)偶爾丟幀，必須進(jìn)行丟幀處理；③進(jìn)行圖像計(jì)算位置的超行程報(bào)警處理；④標(biāo)定速度不宜過大，定位延時(shí)不能太短。

5 標(biāo)定實(shí)驗(yàn)驗(yàn)證

基于模板匹配的主動(dòng)視覺自標(biāo)定算法，是針對(duì)自動(dòng)化設(shè)備的視覺平面定位系統(tǒng)的標(biāo)定，標(biāo)定實(shí)驗(yàn)在深圳某自動(dòng)化設(shè)備有限公司的LED固晶機(jī)結(jié)構(gòu)平臺(tái)基礎(chǔ)上進(jìn)行，平臺(tái)采用2個(gè)德國(guó)Imaging Source黑白USB相機(jī)，分辨率640×480，采用廣州某公司的12軸高性能運(yùn)動(dòng)控制卡進(jìn)行運(yùn)動(dòng)控制，試驗(yàn)平臺(tái)機(jī)械結(jié)構(gòu)如圖7所示和視覺控制系統(tǒng)如圖8所示。

圖7 固晶平臺(tái)視覺控制系統(tǒng)

圖8 固晶平臺(tái)控制方法

按照上文標(biāo)定方法，視覺平面定位系統(tǒng)的重復(fù)定位精度尤為關(guān)鍵，因此依據(jù)工業(yè)機(jī)器人性能及相關(guān)測(cè)試方法的國(guó)家標(biāo)準(zhǔn)GB-T12642-2001所提供的位置準(zhǔn)確度和重復(fù)性測(cè)試方法，對(duì)平臺(tái)重復(fù)精度進(jìn)行測(cè)試。首先測(cè)試模板匹配的圖像識(shí)別精度，按照不同模板大小，在不同光照強(qiáng)度條件下，拍照間隔1秒，重復(fù)識(shí)別30次，測(cè)得圖像重復(fù)識(shí)別精度為0.05像素且具備抗光照能力，表明圖像識(shí)別精度對(duì)標(biāo)定誤差的影響非常小。為驗(yàn)證辨識(shí)參數(shù)的有效性和準(zhǔn)確性，采用圖像識(shí)別的像素位置和平臺(tái)直線電機(jī)的光柵尺讀數(shù)作為基準(zhǔn)進(jìn)行誤差測(cè)量，平臺(tái)的光柵尺精度為1μm。試驗(yàn)平臺(tái)視野行程小于10mm，測(cè)試動(dòng)作不超出視野內(nèi)，運(yùn)動(dòng)時(shí)采用標(biāo)準(zhǔn)規(guī)定的低速250mm/s。位置穩(wěn)定性延時(shí)根據(jù)平臺(tái)結(jié)構(gòu)的不同而選擇設(shè)定，本測(cè)試平臺(tái)的定位后延時(shí)為300ms。對(duì)平臺(tái)單向和多向的不同位置重復(fù)定位30次，按照標(biāo)準(zhǔn)規(guī)定的方法計(jì)算偏差，結(jié)果如表1所示。

表1 自標(biāo)定重復(fù)定位精度

由結(jié)果可知，標(biāo)定算法在固晶平面定位系統(tǒng)中的重復(fù)定位精度為13.947μm，能滿足設(shè)備的精度要求。系統(tǒng)辨識(shí)結(jié)果如表2所示。

表2 系統(tǒng)辨識(shí)結(jié)果

6 結(jié)論

本文基于圖像模板匹配技術(shù)，介紹了設(shè)備主動(dòng)視覺自標(biāo)定的原理，給出了整個(gè)標(biāo)定的運(yùn)動(dòng)過程和注意事項(xiàng)，適用于多目標(biāo)的情形，并在LED固晶機(jī)的視覺平臺(tái)上進(jìn)行驗(yàn)證。結(jié)果表明，基于模板匹配的主動(dòng)視覺自標(biāo)定算法精度達(dá)到13.947μm，僅需辨識(shí)幾個(gè)參數(shù)，避免了傳統(tǒng)采用標(biāo)定塊的方法或者手動(dòng)輸入標(biāo)定參數(shù)試驗(yàn)等復(fù)雜過程。一旦算法標(biāo)定工藝參數(shù)調(diào)試通過，對(duì)于最終設(shè)備用戶而言只需要設(shè)置模板大小和相似度即可一鍵標(biāo)定，對(duì)模板要求低，大大簡(jiǎn)化標(biāo)定過程。

[1]Tsai R Y．An efficient and accurate camera calibration technique for 3D machine vision[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Miami Beach,Florida,June 22-26,1986．Washington:IEEE Comput．Soc．Press,1986:364-374．

[2]Tsai R Y,Lenz R K．A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]．IEEE Transactions on Robotics and Automation(1042-296X),1989,5(3):345-358．

[3]Weng J,Cohen P,Herniou M．Camera calibration with distortion models and accuracy evaluation[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence(0162-8828),1992,14(10):965-980．

[4]Zhang Y Z．Flexible camera calibration by viewing a plane from unknown orientations[C]//the Seventh IEEE International Conference on Computer Vision,Kerkyra,Greece,September 20-27,1999．Los Alamitos: IEEE Comput．Soc．,1999:666-673．

[5]Meng X Q,Li H,Hu Z Y．A new easy camera calibration technique based on circular points[C]//the 11th British Machine Vision Conference,Bristol,United Kindom,September 11-14,2000．Bristol:Univ．Bristol,2000:496-505．

[6]雷成,吳福朝,胡占義．Kruppa方程與攝像機(jī)自定標(biāo)[J]．自動(dòng)化學(xué)報(bào),2001,27(5):621-630．

[7]胡占義,吳福朝．基于主動(dòng)視覺攝像機(jī)標(biāo)定方法[J]．計(jì)算機(jī)學(xué)報(bào), 2002,25(11):1149-1156．

[8]鄒廣華．基于幾何特征的快速模板匹配算法[D]．哈爾濱：哈爾濱工業(yè)大學(xué),2010：50-58．

[9]Di Stefano L,Mattoccia S．Fast template matching using bounded partial correlation[J]．Machine Vision and Applications(0932-8092), 2003,13(4):213-221．

[10]Wei S D,Lai S H．Fast Template Matching Based on Normalized Cross Correlation With Adaptive Multilevel Winner Update[J]．IEEE Transations on Image Processing(1057-7149),2008,17(11):2227-2235．

[11]Kawanishi T,Kurozumi T,Kashino K,et al．A fast template matching algorithm with adaptive skipping using inner-subtem-plates'distances[C]//The 17th International Conference on Pattern Recognition．Cambridge,England,Augest 23-26,2004．Los Alamitos:IEEE Computer Soc．,2004:654-657．

[12]Briechle K,Hanebeck U D．Template Matching using Fast Normalized Cross Correlation[C]//Conference on Optical Pattern Recognition XII,Orlando,Florida,April 19,2001．Bellingham:Spie-int Soc Optical Engineering,2001:95-102．

[13]李帥,盧榮勝,史艷瓊,等．基于高斯曲面擬合的亞像素邊緣檢測(cè)算法[J]．工具技術(shù),2011,45(7):79-82．

Self-calibration of EquipmentActive Vision Using Template Matching

Su Ming Li DiLi Song Dong Liang
(College of Mechanical Engineering,South China Univ.of Tech.,Guangzhou 510641,Guangdong)

act】To simplify the visual positioning platform calibration process of automation equipment,reduce the reliance on the standard block and realize the automatic calibration,this paper presents a visual self-calibration method based on template matching, relying on the platform motion captured images to recognize the target of any scene,and then builds a mathematical model to calculate the calibration results;Gives the principle,process,and fault tolerance method of self-calibration,suitable for multi-objective situation.The whole process calculates the calibration results from coarse to fine points with 3 laps automatically,making calibration more practical and generalization.The proposed method is successfully applied to the LED die bonder.The results show that positioning accuracy can reach 13.947 um based on the method,which can meet the calibration requirements of the relevant equipment.

template matching;active vision;self-calibration;LED die bonder;positioning accuracy

TH744.1

：A

1008-6609(2015)03-0025-04

粟明，男，湖南懷化人，碩士研究生，研究方向：機(jī)器人及先進(jìn)運(yùn)動(dòng)控制。

廣東省科技計(jì)劃項(xiàng)目，項(xiàng)目編號(hào)：2012A090100012；廣東省戰(zhàn)略性新興產(chǎn)業(yè)核心技術(shù)攻關(guān)專項(xiàng)資金項(xiàng)目，項(xiàng)目編號(hào)：2012A010702004。