譚臺哲　寧華龍

1(廣東工業(yè)大學(xué)計算機學(xué)院　廣東 廣州 510006)2(河源廣工大協(xié)同創(chuàng)新研究院　廣東 河源 517000)

?

基于機器視覺的電子連接器缺陷檢測系統(tǒng)的設(shè)計

譚臺哲1,2寧華龍1*

1(廣東工業(yè)大學(xué)計算機學(xué)院廣東 廣州 510006)2(河源廣工大協(xié)同創(chuàng)新研究院廣東 河源 517000)

摘要針對電子連接器組裝過程中，存在Pin腳間距和平整度不一致等問題，設(shè)計一個基于機器視覺的電子連接器缺陷檢測系統(tǒng)。在Canny算法的基礎(chǔ)上，給出一種新的檢測算法。實驗證明，相比與人工檢測的方法，該系統(tǒng)設(shè)計方案的檢測速度和精度都得到了明顯提升，能夠適應(yīng)和滿足自動化工業(yè)生產(chǎn)的需求。

關(guān)鍵詞機器視覺電子連接器數(shù)學(xué)形態(tài)學(xué)亞像素

0引言

連接器是一種經(jīng)常使用的電子元器件，主要用于電路內(nèi)部隔處架起橋梁使電流流通。FPC電子連接器作為電子連接器的新技術(shù)，是在柔性線路板的基礎(chǔ)上發(fā)展起來的一種非常精密的電子元件。隨著電子行業(yè)在我國迅速發(fā)展，中國變成了世界化的電子元器件生產(chǎn)基地，各種電子元器件的生產(chǎn)規(guī)模不斷擴大。隨著電子產(chǎn)品的消費不斷增加，電子連接器生產(chǎn)規(guī)模的擴大，對產(chǎn)品質(zhì)量的要求迅速提升，使產(chǎn)品質(zhì)量檢測在連接器生產(chǎn)步驟中成為至關(guān)重要的環(huán)節(jié)。

在電子連接器生產(chǎn)過程中，Pin腳在組裝時，由于氣缸運動存在受力不均的情況，導(dǎo)致Pin腳出現(xiàn)傾斜，影響產(chǎn)品的最終質(zhì)量，因此，在生產(chǎn)過程中有必要引入檢測方法。傳統(tǒng)的檢測方法是人工在放大鏡前檢查電子連接器，這也是目前實際中常見的應(yīng)用方法。其主要過程為當(dāng)產(chǎn)品在產(chǎn)線上組裝工序完成后，工作人員使用光學(xué)影像測量儀以及相應(yīng)模具對第一批產(chǎn)品手動進(jìn)行精確測量，稱之為首檢。使用這種方法可實現(xiàn)對生產(chǎn)過程進(jìn)行動態(tài)跟蹤控制，降低不良率[1]。其后，大量的人工在放大鏡前檢查電子連接器，這種方法完全依靠人的視覺直覺，準(zhǔn)確率低，精度沒有保障；而視覺檢測方法是通過對圖像的處理，來檢測電子連接器的平整度和pin腳間距，以判定生產(chǎn)的工件是否合格，這是目前通行的檢測方法。生產(chǎn)電子連接器時，根據(jù)生產(chǎn)制造工藝，pin腳之間的間距定和pin腳的平整度，其檢測精度要求±0.01 mm。然而當(dāng)前許多自動化生產(chǎn)中仍以人工手段檢測電子連接器，即通過人眼來分辨電子連接器的pin腳平整度和間距，這根本無法達(dá)到檢測的精度要求，并且人眼容易疲勞，人工檢測存在著諸多弊端。

由于電子連接器圖像的結(jié)構(gòu)穩(wěn)定、特征明顯，因此很適合使用自動化的手段代替人工進(jìn)行檢測。事實上，已有很多將機器視覺應(yīng)用于電子連接器檢測的應(yīng)用[1-4]。文獻(xiàn)[1,2]中提出了基于機器視覺檢測的電子連接器的兩個核心問題：對每個pin腳的邊緣檢測和去除邊緣毛疵即圖像去噪。文獻(xiàn)[1]提出一種基于閾值分割的亞像素精度邊緣再檢測算法；文獻(xiàn)[2]使用Sobel邊緣檢測算法；文獻(xiàn)[4]提出利用數(shù)學(xué)形態(tài)學(xué)消除噪聲點，提出了自適應(yīng)雙閾值Canny邊緣檢測。本文基于專業(yè)機器視覺庫Halcon[7-9]，設(shè)計一個將Canny邊緣檢測與亞像素相結(jié)合的視覺檢測系統(tǒng)。

1系統(tǒng)總體方案設(shè)計

本檢測系統(tǒng)安裝在一套自動化生產(chǎn)線上，其生產(chǎn)線主要有伺服馬達(dá)、機械導(dǎo)軌、氣閥等。配合生產(chǎn)線，本系統(tǒng)主要由圖像采集系統(tǒng)和數(shù)字圖像處理系統(tǒng)組成。在檢測時，生產(chǎn)線將產(chǎn)品送入傳送裝置，再由伺服馬達(dá)控制氣閥利用吸嘴將要檢測的工件吸起，并置于檢測平臺上，此時，光源頻閃曝光。然后，PLC程序發(fā)送信號控制CMOS攝像機對待檢連接器進(jìn)行拍照，再由千兆網(wǎng)接口傳人計算機的圖像處理系統(tǒng)。通過系統(tǒng)軟件的計算評估，將處理結(jié)果顯示出來并通知PLC控制模塊，由PLC控制模塊決定工件的不良排除操作[10]。系統(tǒng)工作流程如圖1所示。

圖1　系統(tǒng)工作流程圖

2光學(xué)硬件選型

系統(tǒng)的光學(xué)硬件選型主要有：工業(yè)相機、工業(yè)鏡頭和特定的光源等。工業(yè)相機的選擇和實際的工件尺寸決定了系統(tǒng)的檢測精度，本系統(tǒng)使用Basler500萬像素黑白相機acA2500-14gm，分辨率達(dá)到0.01 mm，可使得pin腳的邊緣能夠更加準(zhǔn)確地定位到，從而保證定位的精度能夠滿足生產(chǎn)工藝的要求。鏡頭的選擇要根據(jù)工作視野和工作距離來確定，檢測微小元器件時，一般會選擇放大鏡頭、遠(yuǎn)心鏡頭等，本系統(tǒng)選用的是工作距離為110 mm的遠(yuǎn)心鏡頭[21]。光源選擇的合適與否直接影響著視覺系統(tǒng)的應(yīng)用效果。依據(jù)LED燈的工作原理[11]，本系統(tǒng)選用LED藍(lán)色同軸光源。同軸光的結(jié)構(gòu)特點為：(1) 高密度排列LED，亮度幅度提高；(2) 獨特散熱結(jié)構(gòu)，提高穩(wěn)定性，延長壽命；(3) 高級鍍膜分光鏡，減少光損失；(4) 成像清晰，亮度均勻。因此同軸光發(fā)出的光線均勻反射到光源發(fā)出口，面分布均勻性和方向均勻性都很好，可以將表面相對復(fù)雜的物體或圖片照射出比較均勻的效果，并且藍(lán)色光源波長短，不易形成衍射現(xiàn)象。

3視覺軟件設(shè)計

系統(tǒng)實驗對象是某公司生產(chǎn)的pin腳間距為0.5 mm的電子連接器，其產(chǎn)品pin腳數(shù)目變化范圍為：4pin到60pin。由于篇幅限制，本文以20pin的產(chǎn)品為例進(jìn)行描述，主要針對pin腳間距和平整度兩種外觀檢測項目進(jìn)行討論。電子連接器檢測工件的部分視圖如圖2所示。

圖2　電子連接器部分視圖

3.1軟件設(shè)計中的關(guān)鍵技術(shù)

根據(jù)檢測產(chǎn)品采集圖像的結(jié)構(gòu)可知，該系統(tǒng)的關(guān)鍵技術(shù)就是pin腳邊緣精確定位以及基準(zhǔn)線的檢測。采用圖3電子連接器的圖像數(shù)據(jù)進(jìn)行描述，算法主要分三步：(1) 電子連接器的粗定位；(2) pin腳邊緣和基線的精確定位檢測；(3) 計算pin腳的間距和平整度，判斷生產(chǎn)的電子連接器是否合格。

圖3　電子連接器原圖與初步定位效果圖

3.1.1電子連接器的粗定位

在本視覺系統(tǒng)中，由于機械移位誤差，使得工件在圖像中并不一定總處于同樣的位置和方向，因此本文設(shè)計系統(tǒng)檢測算法時，對這種位置的變化做出相應(yīng)的考慮。

首先，使用大津法(OTSU)分割出圖像的電子連接器和基線部分[12,21]。其算法的基本原理是：分割出圖像前景目標(biāo)的最好閾值T是使得類間方差最大化的閾值，即：

α2=q1((μ1-μ)2+q2(μ2-μ)2

(1)

其中，α2為類間方差，q1是灰度值大于閾值T的類的概率，q2是灰度值不大于閾值T的類的概率，而μ是兩類的類間均值。

最佳閾值T就是使得α2最大的灰度值。本系統(tǒng)利用閾值T，將電子連接器和基線區(qū)域同背景分開，其原圖與粗定位的效果見圖3。

3.1.2pin腳邊緣和基線的精確定位

利用大津法(OTSU)、數(shù)學(xué)形態(tài)學(xué)方法[13-15,21]處理后的圖像得到pin腳和基線ROI的粗定位。為了對pin腳邊緣和基線進(jìn)行精確定位，本文對pin腳和基線ROI區(qū)域進(jìn)行亞像素算法處理。對于亞像素插值算法，其主要目的是提高像素點的精度，目前一個像素點的實際尺寸為0.01 mm。為了達(dá)到更高的精度，將粗定位圖像中的一個像素點使用2×2的矩陣像素點代替。其具體算法描述如下：

將圖4中的Ai j像素點使用Ai j 0、Ai j 1、Ai j 2、Ai j 3代替。

圖4　亞像素插值

采用式(2)的插值算法，以Ai j 0為例進(jìn)行說明：

(2)

其中，Ai j、Ai-1 j-1、Ai-1 j、Ai j-1代表圖像中像素點的灰度值T為一個閾值。通過T來判斷Ai j是否為邊緣點，經(jīng)過實驗驗證，當(dāng)T取值為40時，達(dá)到較好的邊緣判斷效果。對于圖像的邊界插值，本文采取將原像素點的值直接賦值給2×2的矩陣像素點。

對于pin腳和基線的邊緣檢測，本文在亞像素插值圖像以及已有的Canny邊緣檢測算法[4,16-18]的基礎(chǔ)上提出一種改進(jìn)的方法。傳統(tǒng)的Canny算子在選取高低閾值的時候，無法避免人為因素的影響，不具有自適應(yīng)和性魯棒性，不適合當(dāng)前的工程應(yīng)用[4]。因此，本文通過對pin腳、鐵片具體屬性的分析，使用一種自適應(yīng)選取閾值的邊緣檢測算法，并對邊緣點的選取算法作了相應(yīng)的改進(jìn)，以適應(yīng)實際生產(chǎn)需要。在已有的自適應(yīng)閾值的基礎(chǔ)上，即文獻(xiàn)[4]中的方法，選出的高低閾值Tl和Th。對于大于Tl而小于Th的點該如何劃分以獲取更確切的邊緣，本文提出以下自適應(yīng)邊緣點選取方法：

首先，根據(jù)Canny算子計算出原圖像I的梯度圖像D。且設(shè)大于等于高閾值Th的點屬于C1類，小于等于低閾值Tl的點屬于C2類，中間部分為C3類。為了減小計算量，根據(jù)高低閾值，可以先去除C2類的點。再根據(jù)各個pin腳的位置生成相應(yīng)的測量框R，在測量框的內(nèi)部選取大于高閾值Th一類點中，選取梯度最大的點Dmax(i,j)作為搜索邊緣點的一個種子點。然后在Dmax(i,j)的八鄰域內(nèi)搜索，查找其中梯度最大的點D(i′,j′)，這完成了搜索的初始化條件。

其次，進(jìn)行邊緣點搜索，在初始化條件的基礎(chǔ)上，對測量框內(nèi)部查找，其滿足迭代條件的邊緣點，其迭代描述如下：

(1) 令D1=Dmax(i,j)，D2=D(i′,j′)，其為梯度值。

(2) 搜索區(qū)域內(nèi)部屬于C3類的點中局部梯度最大的點D3，設(shè)找到的D3點的坐標(biāo)為(i″,j″)。

(3) 分別計算D3點到D1、D2點的街道距離d13和d23，公式如下：

(3)

(4) 為了排除噪聲點的干擾D3點到D1、D2點的距離之和要小于k。由于D1和D2點對于D3點的影響不同，D3點離D2點較近，離D1點較遠(yuǎn)，因此引進(jìn)兩個影響因子α、β，且考慮梯度的限定。這里再引進(jìn)一個梯度影響因子c作用與距離之上，實現(xiàn)動態(tài)梯度閾值的查找邊緣點，則計算找到的D3點是否滿足如下條件：

αd13+βd23≤2ck

(4)

(5) 如果D3點滿足式(4)，則將D3點視為邊緣點，然后令D1=D2，D2=D3，重復(fù)步驟(2)-步驟(4)，當(dāng)局部區(qū)域內(nèi)沒有點滿足條件時結(jié)束。使用如上的算法得到的檢測效果見圖5。

圖5　改進(jìn)算法檢測效果

本文中提出的改進(jìn)算法，相比與文獻(xiàn)[4,16-18]，其檢測的精度有較大的改善，文獻(xiàn)[4]中的檢測精度為±0.02，本文的檢測精度為±0.01，詳細(xì)結(jié)果見3.2節(jié)。

3.1.3計算pin腳間距和平整度

3.2實驗結(jié)果

本文共采用3組100個pin腳數(shù)目為20的產(chǎn)品進(jìn)行實驗，將其同人工檢測作比較，其中產(chǎn)品的誤判率和漏判率如表1所示。

表1　實驗結(jié)果統(tǒng)計表

分析導(dǎo)致檢測誤判、漏判的原因發(fā)現(xiàn)：由于生產(chǎn)產(chǎn)品的過程中會產(chǎn)生塑料廢屑附著在產(chǎn)品上，導(dǎo)致檢測邊緣時產(chǎn)生很大的偏差；基線的設(shè)定是由機械安裝完成的，但是機械安裝不能保證基線完全水平，這對于取平均值的算法造成很大的影響。因此在算法中加入機械修正算法，補償機械造成的偏差。補償后以三組1000個樣本進(jìn)行驗證，其實驗結(jié)果見表2。

表2　機械修正后的檢測結(jié)果

在驗證測量結(jié)果時，將這個系統(tǒng)檢測的結(jié)果同測量精度為0.005 mm的二次元測量結(jié)果進(jìn)行對比，以驗證檢測結(jié)果的精度，其部分pin腳的平整度數(shù)據(jù)見表3。

表3　數(shù)據(jù)精度驗證

4結(jié)語

通過對電子連接器生產(chǎn)行業(yè)進(jìn)行深入的調(diào)查研究，目前多數(shù)廠家仍然以人工手段完成其性能的評估和檢測，這樣的檢測速度和精度已無法滿足現(xiàn)有的工業(yè)自動化生產(chǎn)需求。因此，設(shè)計實現(xiàn)基于專業(yè)機器視覺庫HALCON的電子連接器自動化缺陷檢測系統(tǒng)代替人工檢測應(yīng)運而生。本文提出基于亞像素精度的自適應(yīng)邊緣檢測算法，此算法能夠?qū)崿F(xiàn)對電子連接器邊緣的精確定位，提高檢測結(jié)果的精度。本系統(tǒng)已經(jīng)運用于多家電子連接器自動化生產(chǎn)產(chǎn)線上，運行穩(wěn)定，能夠很好地滿足自動化工業(yè)生產(chǎn)的需求。但是本設(shè)計方案也存在不足：(1) 系統(tǒng)對于工作的環(huán)境(包括機械環(huán)境和光源環(huán)境)比較敏感，一般要求必須固定基本的工作環(huán)境。(2) 系統(tǒng)中采用了機械設(shè)置基線的方法，引進(jìn)了機械誤差。

參考文獻(xiàn)

[1] 褚娜.FPC連接器高精度缺陷檢測技術(shù)研究[D].中國計量學(xué)院,2013.

[2] 褚娜.FPC連接器焊腳外觀檢測關(guān)鍵技術(shù)研究[J].中國計量學(xué)院學(xué)報,2012,23(3):268-273.

[3] 李峰峰.電子元器件外觀檢測系統(tǒng)的研究與開發(fā)[D].華南理工大學(xué),2012.

[4] 黃杰賢.FPC外觀缺陷自動光學(xué)檢測關(guān)鍵技術(shù)研究[D].華南理工大學(xué),2012.

[5] 張洪濤,段發(fā)階,丁克勤,等.帶鋼表面缺陷視覺檢測系統(tǒng)關(guān)鍵技術(shù)研究[J].計量學(xué)報,2007,28(3):216-219.

[6] 張洪濤,段發(fā)階,葉聲華.一種快速亞像素邊緣檢測方法研究[J].計量學(xué)報,2002,23(4):263-270.

[7] 章毓晉.機器視覺和圖像技術(shù)[J].自動化博覽,2009,26(2):20-25.

[8] 楊少榮,吳迪靖,段德山.機器視覺算法與應(yīng)用[M].北京:清華大學(xué)出版社,2009.

[9] 李景峰,楊麗娜,潘恒.Visual C++串口通信技術(shù)詳解[M].機械工業(yè)出版社,2010.

[10] Xia N J,Cao Q X,Fu Z.A Machine Vision System of Ball Grid Array Inspection on RT-Linux OS[C]//2004 International Conference on the Business of Electronic Product Reliability and Liability,Shanghai,2004:81-85.

[11] 耿春明,蔡東寶.基于計算機視覺的機械零件檢系統(tǒng)設(shè)計[J].計算機測量與控制,2012,20(1):38-39.

[12] Tian H,Srikanthan T,Asari K V.The Segmentation algorithm of improvement a two-dimensional Otsu and application research[C]//2010 2nd International Conference on Software Technology and Engineering(ICSTE),2010,25(1):76-79.

[13] Hu Jinmei,Li Zuoyong.Medical image segmentation algorithm based on the improved mathematical morphology[J].Computer Simulations,2011,28(5):299-302.

[14] Chen Tingting,Cheng Xiaoping.Image segmentation using fuzzy morphology and morphological watershed algorithm[J].Journal of Southwest University,2008,30(3):142-145.

[15] Wei Qiangqiang.Showdown:Mathematical morphology and its application in the image edge detection[J].Science and Technology Information,2010,10(2):38-42.

[16] Mukhopadhyay S,Chanda B.Multiscale Morphological Segmentation of Gray-scale Images[J].IEEE Transactions on Image Processing,2003,12(5):533-549.

[17] Wood S L,Qu G Y.A Modified Gray Level Morphological Gradient with Accurate Orientation Estimates and Reduced Noise Sensitivity[C]//Proceedings of the 34th Asilomar Confcrence on Signals,Systems and Computers,IEEE Press,2000:926-930.

[18] 余洪山,王耀南.一種改進(jìn)型canny邊緣檢測算法[J].計算機工程與應(yīng)用,2004,40(20):27-29.

[19] Maragos P.Tutorial on advances in morphological image processing and analysis[J].Optical Engineering,1987,26(7):623-632.

[20] Serra J.Image analysis and mathematical morphology[M].New York:Academic Press,1982.

[21] 戰(zhàn)蔭偉,付波.打印機顯示模塊的機器視覺檢測系統(tǒng)的設(shè)計[J].計算機工程與設(shè)計,2014,35(4):1491-1495.

DESIGN OF MACHINE VISION-BASED DEFECT DETECTION SYSTEM FOR ELECTRONIC CONNECTORS

Tan Taizhe1,2Ning Hualong1*

1(SchoolofComputer,GuangdongUniversityofTechnology,Guangzhou510006,Guangdong,China)2(SynergyInnovationInstituteofGDUT,Heyuan517000,Guangdong,China)

AbstractAiming at the problem of inconsistencies of Pin feet spacing and flatness in electronic connector assembly process, in this paper we design a machine vision-based defect detection system for electronic connectors. Meanwhile, based on Canny algorithm we present a new detection algorithm. It is verified by experiment that compared with manual detection methods, the design scheme of the system significantly improves the detection speed and accuracy, it is able to adapt to and meet the needs of automated industrial production.

KeywordsMachine visionElectronic connectorsMathematical morphologySub pixel

收稿日期：2014-12-02。高等院校學(xué)科建設(shè)專項(12ZK0362)。譚臺哲，副教授，主研領(lǐng)域：計算機機器視覺。寧華龍，碩士。

中圖分類號TP391.4

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.054