房曉偉 ，段 潔，安志勇，李華杰

FANG Xiao-wei1 , DUAN Jie1 , AN Zhi-yong1, LI Hua-jie2

（1.長春理工大學 光電工程學院，長春 130000；2.長春工業(yè)大學，長春 130012）

0 引言

機器視覺技術應用于貼片機中幾乎成為高性能貼片機的一個標志，并已廣泛應用于表面組裝自動化生產(chǎn)線上，現(xiàn)代先進的組裝設備大多裝載相應級別的機器視覺系統(tǒng)[1]。機器視覺對元件吸取的角度偏差檢測具有高精度、無損傷、無接觸等優(yōu)勢。其中偏差角度定義為圖像坐標系橫軸與元件單側邊界直線的夾角。該偏差來自抓取元件的機械誤差以及元件運輸過程中產(chǎn)生的誤差。元件角度糾偏的作用是對有偏差的元件進行修正，使其能夠正確貼片。

目前常用糾偏方法有模式匹配法和形狀匹配法。模式匹配法由于計算量較大，多數(shù)由上位機控制，計算速度較慢，所以不能滿足現(xiàn)代生產(chǎn)需求。本文的形狀匹配法是采用FPGA做圖像處理，完全嵌入式，使用單指令數(shù)據(jù)流算法以及最小二乘擬合算法，速度快、精度高。經(jīng)過實驗驗證，此算法穩(wěn)定可靠，速度和精確度有明顯提高。

1 形狀匹配計算概述

1.1 形狀匹配基本概念

在視覺領域里，形狀與圖像是緊密聯(lián)系的，形狀所包含的信息量遠遠多于紋理和顏色所含有的信息量，是一種相對更高一層的圖像特征。形狀匹配的準確性由形狀提取的好壞所影響。好的形狀描述可以將復雜的形狀匹配問題變得簡單化，更有效率，而差的形狀描述則往往得不到滿意的結果。所以形狀描述的提取在形狀匹配的過程中具有極其關鍵的作用。

形狀描述一般分為基于輪廓的形狀描述方法和基于區(qū)域的形狀描述方法[2]?；谳喞男螤蠲枋龇椒ㄐ枰崛〉木褪切螤畹妮喞畔ⅰ；趨^(qū)域的形狀描述方法就是通過對閉合的曲線內(nèi)部的像素點提取形狀的某些特征進行描述。由于片狀元件特征的提取是基于輪廓的描述，所以后面的研究也主要是基于輪廓上的信息進行形狀匹配。

1.2 形狀匹配計算流程

在形狀匹配領域，將物體看作是一系列離散點的集合，物體的形狀信息就可以通過表示物體的離散點集合或其子集來獲得[3]。基于輪廓的形狀匹配方法如圖1所示。

圖1 形狀匹配流程圖

1）圖像采集

對于要進行形狀匹配的圖像進行采集信息。實驗中用VITA1300 CMOS做圖像采集。

2）邊緣檢測

邊緣指的是圖像中像素的值有突變的地方，對于元件則指引腳與背景之間像素的差異。邊緣檢測主要有Sobel、Prewitt、Roberts等。由于Sobel算子相對于其他算子具有邊緣定位準確、靈活性強、對噪聲有抑制作用，則采用Sobel算子對圖像進行邊緣檢測，從而識別出片狀元件的每個引腳邊緣[4]，Sobel算子如圖2(a)、(b)所示。

圖2 Sobel算子及3×3像素區(qū)域

利用FPGA中shiftram例化截取出3×3像素點，假設圖2(c)中符號代表3×3像素區(qū)域的圖像點，則有公式(1)：

其中，Gx為圖像在x方向梯度算子，Gy為圖像在y方向梯度算子，Δf為梯度的模值。

3）二值形狀

圖像二值化是將圖像上的0～255級灰度像素值通過設定的閾值T映射為0或255，利用FPGA中的比較器，像素點（x,y）處的梯度模值Δf大于或等于T，認為該點是目標的邊緣點，否則為背景值零。二值化之后的圖像凸顯出感興趣的目標輪廓。圖3(a)是灰度圖像。圖3(b)是經(jīng)過Sobel邊緣檢測且二值化處理之后的圖像，從而得到清晰的元件引腳輪廓，以便于后面的引腳檢測。

圖3 邊緣檢測前后處理效果圖

4）形狀描述

如圖3(b)所示，每個元件引腳輪廓類似圓形，由于元件引腳輪廓區(qū)域在10×10大小的像素區(qū)域內(nèi)，而二值化之后的圖像只有0和1，所以用1bit表示像素值。所以利用FPGA中shiftram做矩陣[7]，例化10個位寬為10bit為的D觸發(fā)器，可以有效地代表了10×10bit圖像矩陣區(qū)域，從而可離散地擬合出圓形的形狀。

5）形狀匹配

FPGA內(nèi)部進行形狀匹配，對圖像從第一行開始從左至右，從上至下遍歷整幅圖像尋找形狀相匹配的引腳，并記錄相應的元器件引腳坐標，將檢測的坐標值鎖存在lcd_xpos_r，lcd_ypos_r，同樣方法就可檢測出多個引腳的坐標值。用(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分別代表元件引腳坐標的值。

整個過程沖分發(fā)揮FPGA計算速度的優(yōu)勢，即外部單指令觸發(fā)，F(xiàn)PGA收到觸發(fā)信號之后內(nèi)部采集一整幀圖像，采集的過程中對圖像數(shù)據(jù)流進行形狀匹配，利用上述方法計算出每個引腳的坐標值。從而大大提高計算速度及精度。

2 片狀元件角度糾偏算法

2.1 偏差產(chǎn)生原因

貼片頭吸取元器件，移動至上視攝像機的位置上方，由于吸取元件、運輸?shù)纫幌盗袆幼?，元件不可避免地會出現(xiàn)偏差，也就是說，有些元件擺放角度會有偏差，如圖4所示，那么僅僅依靠貼片頭的X,Y軸電機運動無法滿足現(xiàn)代貼片機精確要求[5]。所以有必要精確計算元件角度。

圖4 片狀元件在供料盤中角度偏移示意圖

2.2 糾偏方法

想要得到元器件的角度偏差，就要擬合元件邊界直線，則可以利用最小二乘法擬合出元件邊界直線，利用最小二乘法對于直線的擬合是一種有效的工具[6]。對圖像中離散的目標進行擬合，可得到連續(xù)的函數(shù)，從而確定目標的各個參數(shù)。

已知一系列點坐標(x1,y1)、(x2,y2)…(xn,yn)，擬合出直線方程為y=kx+b，則有式(2)和式(3)：

為了方便程序?qū)崿F(xiàn)，設計中最小二乘法所采用的是式(2)和式(3)的結合，如式(4)所示：

將1.2節(jié)(5)形狀匹配中得到的坐標點(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)帶入式(4)，得出直線方程y=kx+b之后，則利用反三角函數(shù)，如式(5)所示：

其中θ為圖4中的偏差角。如圖3(c)為直線擬合示意圖。

如圖5(a)所示是原件未經(jīng)過糾偏的貼片圖，偏差比較明顯，無法使用。如圖5(b)所示是原件糾偏之后的貼片圖，已經(jīng)能達到現(xiàn)代貼片的需求。所以該文方法是可行有效的。

圖5 元件糾偏前和元件糾偏后貼片圖

3 實驗與分析

為了提高片狀元件角度糾偏的速度及精確度，利用FPGA并行執(zhí)行的優(yōu)勢，結合最小二乘法，并根據(jù)設計資源的要求，所以本設計采用Altera Cyclone IV EP4CE115F23I7為圖像處理芯片進行數(shù)據(jù)運算，此型號為Altera Cyclone IV系列容量最大的一款處理芯片，具有10W LEs。圖6為實驗系統(tǒng)工作框圖，F(xiàn)PGA內(nèi)部工作流程如下：

1）FPGA對獲取的圖像進行Sobel邊緣檢測并且進行二值化處理得到元件引腳輪廓。

2）針對元件引腳輪廓，F(xiàn)PGA內(nèi)部做圓形的形狀匹配，獲取每個引腳的中心坐標。

3）對獲取元件引腳坐標進行最小二乘法擬合直線，利用三角函數(shù)得到元件角度偏差。

圖6 系統(tǒng)工作框圖

圖像傳感器接口為parallel CMOS，它有1個幀同步、1個行同步、1個時鐘和8位數(shù)據(jù)信號。FPGA接收圖像數(shù)據(jù)流，F(xiàn)PGA內(nèi)部進行元件引腳坐標檢測。如圖7是FPGA SignalTap時序示意圖，data[2:9]為圖像數(shù)據(jù)流，cmos_vsync、cmos_href分別為行、場信號，cmos_pclk為圖像時鐘信號，lcd_xpos、lcd_ypos為元件引腳坐標輸出信號。

圖7 SignalTap時序圖（截圖）

采用嵌入式FPGA圖像處理系統(tǒng)，主要解決上位機耗時長的問題。FPGA在圖像處理及坐標計算速度方面比上位機有明顯的優(yōu)勢，并結合最小二乘法進一步提高了計算精確度。

3.1 直線擬合測試實驗

對于圖3(a)所示元件，在圖像坐標系中的引腳測試坐標值如表1所示，圖像的左上角表示原點，從左向右、從上到下分別為X,Y的正方向。由于擬合出元件單側直線就可以得到元件偏差角度，所以表1為元件單側引腳坐標值。其中引腳標號順序左上角為1腳，自左至右共4腳。

表1 FPGA實測數(shù)據(jù)

利用前面介紹的式(4)和式(5)則可以計算出k=0.0413。則偏差角度θ=arctan(k)≈2.37℃。

3.2 算法的綜合性能比較

表2 FPGA和Labview對比實測數(shù)據(jù)

由于貼片頭的機械誤差范圍在-10℃和10℃之間，所以本測試范圍為-10℃和10℃之間。表2是FPGA形狀匹配和Labview模式匹配兩者計算時間以及精確度對比。

從表2中可以看出，相對于上位機Labview模式匹配，利用FPGA做形狀匹配的快速糾偏算法進一步提高了計算精度，并且計算時間上明顯減少。實驗結果表明該文算法是可行有效的。

4 結束語

根據(jù)現(xiàn)代貼片機要求速度快，精度高的特點，對片狀元件角度糾偏算法進行了深入的研究，提出了基于FPGA形狀匹配快速糾偏算法，結合最小二乘法來完成片狀元件的角度糾偏算法，有效地提高了系統(tǒng)計算速度及精確度，經(jīng)過大量實驗測試，該算法可以良好應用于元件的角度糾偏，并對元件角度的變化具有良好的適應能力。

[1]許海麗.基于OpenCV的SMT糾偏貼片視覺系統(tǒng)的研究[D].江蘇:蘇州大學,2013.

[2]余江.基于輪廓的形狀匹配方法研究[D].安徽:安徽大學,2013.

[3]周瑜,劉俊濤,白翔.形狀匹配方法研究與展望[J].自動化學報,2012,38(6):889-910

[4]白穎杰.基于機器視覺的圖像處理與特征識別方法的研究[D].重慶:重慶大學.2010.

[5]余大偉.視覺系統(tǒng)在貼片機貼片頭定位與片狀元件檢測糾偏中的應用研究[D].江蘇:蘇州大學,2010.

[6]王力.基于機器視覺的貼片元件定位系統(tǒng)的研究與開發(fā)[D].江蘇:蘇州大學,2010.