李本紅，張淼，歐幸福

(1.佛山職業(yè)技術(shù)學(xué)院，廣東佛山528137;2.廣東工業(yè)大學(xué)自動化學(xué)院，廣州510006)

基于機器視覺的SOP芯片引腳缺陷檢測系統(tǒng)設(shè)計*

李本紅1*，張淼2，歐幸福1

(1.佛山職業(yè)技術(shù)學(xué)院，廣東佛山528137;2.廣東工業(yè)大學(xué)自動化學(xué)院，廣州510006)

為解決人工檢測SOP芯片引腳缺陷所存在的諸多問題，設(shè)計一套基于機器視覺的SOP芯片引腳缺陷自動檢測系統(tǒng)。系統(tǒng)采用ARM-DSP雙核架構(gòu)快速地實現(xiàn)圖像采集、處理和特征提取以及外圍應(yīng)用功能，設(shè)計基于動態(tài)閾值的快速分割算法來獲取芯片的特征圖像，采用灰度躍變檢測引腳中點、中點直線擬合和引腳間距統(tǒng)計等方法實現(xiàn)對SOP芯片引腳缺陷的自動檢測。實驗結(jié)果表明該系統(tǒng)快速、準確、可行。

圖像處理;芯片引腳缺陷;圖像分割;直線擬合;間距統(tǒng)計

在IC集成芯片器件生產(chǎn)過程中，芯片的外觀質(zhì)量檢測是其中一項必不可少的環(huán)節(jié)，包括IC芯片的引腳尺寸、殘缺、偏曲、間距不均、平整度差等檢測項目，而上述質(zhì)量問題會直接影響電路產(chǎn)品的質(zhì)量。目前IC集成芯片器件的外觀質(zhì)量檢測主要采用人工目檢方法。人工目檢方法雖方便直接，但存在以下幾個方面的問題:(1)人工目檢方法不能實現(xiàn)24 h不間斷工作，工人工作強度大，易造成視覺疲勞，導(dǎo)致誤檢，直接降低產(chǎn)品檢測的可靠性;(2)人工目檢的質(zhì)量判斷標準不易量化，導(dǎo)致檢測結(jié)果穩(wěn)定較差;(3)由于IC集成芯片尺寸較小，受限于人眼的識別能力，人工目檢的檢測速度和精度較低，使得檢測效率低、人力成本較高。上述因素在較大程度上制約了我國IC集成芯片生產(chǎn)行業(yè)的發(fā)展，如何改進生產(chǎn)檢測工藝，實現(xiàn)檢測方法的智能化和自動化，提高微觀級別工藝檢測精度和效率，降低成本，促進大規(guī)模集成電路工業(yè)化生產(chǎn)技術(shù)的升級，成為產(chǎn)業(yè)發(fā)展的迫切需要。

1 系統(tǒng)總體

系統(tǒng)是由背景光源及驅(qū)動電路、線陣式CCD工業(yè)相機及其輔助裝置、FPGA圖像采集電路、基于DSP和ARM雙處理器結(jié)構(gòu)的嵌入式圖像處理和控制部分、信號輸出部分等組成［4］。系統(tǒng)框圖如圖1所示。

嵌入式圖像處理和控制部分是系統(tǒng)的核心，主控制器采用三星公司的S3C6410ARM處理器，配置、移植Linux操作系統(tǒng)，協(xié)處理器使用TI公司的TMS320C6678DSP處理器。系統(tǒng)硬件原理圖框圖如圖2所示。

圖1 系統(tǒng)結(jié)構(gòu)框圖

圖2 系統(tǒng)硬件原理圖

DSP協(xié)處理器主要接收來自FPGA圖像采集電路傳送過來的IC芯片圖像數(shù)據(jù)，完成圖像預(yù)處理、分割、模板匹配、缺陷分析等復(fù)雜的圖像處理工作，將圖像處理結(jié)果發(fā)送給ARM主控制器，同時以AV信號輸出給顯示器進行顯示。

ARM主控制器主要完成人機交互、任務(wù)管理、數(shù)據(jù)輸入輸出、外部設(shè)備的控制和通信等系統(tǒng)的基本運行。(1)通過操作觸摸屏查看圖像處理結(jié)果等數(shù)據(jù)，設(shè)置、處理系統(tǒng)參數(shù)等;(2)接收光纖傳感器的芯片位置觸發(fā)信號，通過光源控制器點亮環(huán)形LED光源，觸發(fā)CCD工業(yè)相機拍攝芯片圖像; (3)采集、處理和控制電機轉(zhuǎn)速、加減速及正反轉(zhuǎn)。(4)將檢測結(jié)果數(shù)據(jù)存儲到硬盤中，以待日后查閱、統(tǒng)計應(yīng)用等;(5)根據(jù)圖像處理結(jié)果，控制剔除裝置剔除缺陷芯片;(6)通過以太網(wǎng)連接器實現(xiàn)遠程監(jiān)控。

2 系統(tǒng)硬件設(shè)計

2.1 圖像采集電路

CameraLink是一種機器視覺應(yīng)用領(lǐng)域廣泛采用的基于物理層的LVDS的數(shù)據(jù)串行通信協(xié)議。由于CameraLink串行通信信號分為電源信號、視頻數(shù)據(jù)信號(ChannelLink標準)、相機控制信號、串行通信信號和視頻數(shù)據(jù)信號，采用低壓差分信號LVDS進行傳輸，而FPGA處理器使用的是LVTTL或LVCOMS電平信號，所以本文使用SN65LVDS94、 SN65LVDS391和SN65LVDS179對CameraLink信號進行轉(zhuǎn)換。其中SN65LVDS94用于4路視頻圖像數(shù)據(jù)信號X0:X3的轉(zhuǎn)換，SN65LVDS391用于4路工業(yè)相機控制信號CC1:CC4的轉(zhuǎn)換，SN65LVDS179用于一對異步串行通信控制信號的轉(zhuǎn)換。具體電路如圖3所示。

圖3 圖像采集電路

2.2 圖像處理電路

為滿足ARM主處理器和DSP協(xié)處理器之間高速的數(shù)據(jù)傳輸要求，本文采用基于IDT70261的雙端口RAM的接口電路，通過IDT70261芯片兩組獨立數(shù)據(jù)接口D0L-D15L和D0R-D15R實現(xiàn)S3C6410和TMS320C6678連接。ARM和DSP的連接電路圖如圖4所示。

圖4 ARM與DSP連接電路圖

2.3 ARM外圍控制電路

主控制器S3C6410的外圍控制電路主要包括觸摸屏顯示器、以太網(wǎng)接口電路、電機控制電路、環(huán)形光源控制電路、光纖傳感器、硬盤存儲器以及次品分揀裝置等部分，外圍控制電路如圖5所示。觸摸屏顯示器、以太網(wǎng)接口和硬盤存儲器通過自身獨立接口與主控制器連接，用戶系統(tǒng)操作、遠程通信和信息存儲等功能;光纖傳感器用于獲取芯片在檢測平臺上的位置信息;S3C6410通過通用I/O口GPC1與運放耦合電路連接，并經(jīng)由固態(tài)繼電器控制檢測平臺驅(qū)動電機，控制電機的正反轉(zhuǎn)和加減速，耦合電路和固態(tài)繼電器保障控制端和電機強電端之間互不干擾;環(huán)形光源控制電路通過通用I/O口GPC2控制，實現(xiàn)環(huán)形光源的點亮和熄滅;芯片次品剔除裝置由通用I/O口GPC3控制輔助吹氣裝置，實現(xiàn)芯片次品的剔除動作。

2.4 VGA接口電路

VGA顯示接口電路模塊主要用于顯示DSP協(xié)處理器實時圖像處理結(jié)果。在接口電路高性能的ADV7123譯碼器芯片實現(xiàn)3路10 bit RGB顏色信息的數(shù)模轉(zhuǎn)換。為使輸入RGB數(shù)據(jù)的位數(shù)與Camera-Link工業(yè)相機的像素位數(shù)一致，在接口電路中將3路數(shù)據(jù)輸入端的低兩位接地置零，如圖6所示。

圖5 ARM外圍控制電路

圖6 VGA顯示接口電路

3 系統(tǒng)軟件設(shè)計

3.1 系統(tǒng)軟件實現(xiàn)流程

集成芯片引腳缺陷檢測算法包括對SOP集成芯片的引腳尺寸偏差、殘缺、偏曲、間距不均等類型缺陷的檢測，算法流程圖如圖7所示。

具體步驟如下:

(1)圖像采集模塊通過Camera Link從CCD工業(yè)相機獲取芯片圖像，并傳輸給圖像處理協(xié)控制器DSP。

(2)協(xié)處理器DSP對原始芯片圖像進行濾波降噪等預(yù)處理，利用模板匹配算法獲取芯片位置信息和角度信息，根據(jù)位置信息和角度對預(yù)處理芯片圖像旋轉(zhuǎn)至準水平位置，并設(shè)置合理尺寸的ROI區(qū)域，提取ROI區(qū)域內(nèi)的芯片圖像。

(3)利用數(shù)學(xué)形態(tài)學(xué)腐蝕膨脹算法對ROI區(qū)域的芯片圖像進行處理，進一步去除干擾噪聲。

(4)利用迭代閾值分割法對ROI區(qū)域的芯片圖像進行而知分割，提取芯片輪轂圖像。

(5)通過直線擬合算法獲取芯片兩側(cè)的邊緣函數(shù)、斜度和左右頂角坐標。

(6)由芯片的左右頂角坐標，計算芯片引腳根部擬合直線，并從引腳根部開始沿引腳方向，按像素遞增，設(shè)置n條與引腳根部擬合直線平行的掃描直線。

(7)沿芯片引腳根部擬合直線檢查像素灰度值，得到芯片引腳根部中心點坐標，計算引腳間距;沿n條掃描直線檢測像素灰度，得到引腳在該處位置的中點，根據(jù)引腳的所有中點信息，計算引腳長度、平直度和偏曲度，根據(jù)上述計算結(jié)果判斷是否存在尺寸偏差、殘缺、偏曲和間距不均等缺陷。

圖7 缺陷檢測算法流程

3.2 圖像分割算法

芯片目標圖像分割是芯片圖像的關(guān)鍵，本文采用實現(xiàn)芯片圖像從背景圖像中快速分割提?。?-6］。

(1)根據(jù)芯片圖像的全局灰度直方圖計算出最大灰度值Gmax和最小灰度值Gmin，設(shè)初始閾值為:

(2)使用初始閾值Gmen將原始圖像分割為目標圖像T和背景圖像B，并分別計算其灰度均值:式中，G(i，j)為像素點灰度值，N(i，j)像素點的加權(quán)系數(shù)。

(3)根據(jù)步驟(2)的灰度均值計算第2次分割閾值:

(4)若Tk+1=Tk，則程序執(zhí)行結(jié)束，Tk為最佳分割閾值;否則令k=k+1，跳轉(zhuǎn)至步驟(2)繼續(xù)循環(huán)執(zhí)行直至迭代計算得到最佳閾值。

3.3 缺陷識別算法

芯片引腳缺陷檢測算法是系統(tǒng)軟件實現(xiàn)的核心［7-9］，本文采用的缺陷檢測算法如下:

(1)由芯片的左右頂部(底部)頂角坐標，設(shè)置引腳根部中點掃描直線，沿該直線檢測所有n個引腳根部的中點坐標(xi，0，yi，0)，計算兩兩相鄰引腳根部中點的間距，即為引腳根部間距，公式如下:

若si大于最大預(yù)設(shè)間距Smax或si小于最小預(yù)設(shè)間距Smin，則判斷引腳根部間距存在缺陷或引腳缺失。

(2)通過最小二乘法將管腳的根部中點坐標擬合成直線，該直線公式如下:

(3)同理，沿引腳方向按像素點遞增，擬合與引腳根部中點掃描直線平行的其余m條引腳中點掃描直線，m的大小為引腳長度方向的像素點個數(shù)值，直線公式如下:

其中:根據(jù)式(7)檢測引腳像素值，得到該掃描直線上的引腳第i個引腳的第j個中點的坐標為(xi，j，yi，j)，根據(jù)式(5)計算第j條掃描直線方向的兩兩引腳中點間距，根據(jù)結(jié)果判斷是否存在引腳殘缺或偏曲。

(4)根據(jù)每一個引腳中點坐標(xi，j，yi，j)，擬合出每一個引腳的直線函數(shù):其中:

計算每一個引腳的中點擬合直線的斜度Ki=，若大于最大預(yù)設(shè)斜度=+ε或小

4 實驗結(jié)果及分析

系統(tǒng)圖像傳感器采用30萬像素的嘉恒OK_AM1121型1/3英寸黑白面陣CCD工業(yè)相機，分辨率為640×480，曝光時間850μs;配備6 mm的T2616FICS-3型Computar鏡頭;背景光源使用奧普特OPT-RI5030白色LED環(huán)形光源，同時將EMCV(Embedded Computer Vision Library)移植至系統(tǒng)DSP協(xié)處理器上完成圖像的預(yù)處理等工作。

4.1 芯片圖像提取

使用上述算法對2 000幅SOP型芯片圖像進行測試驗證，現(xiàn)選取4幅有代表性的圖像予以說明，其中圖8是引腳合格的芯片圖像，其中，從左至右分別為原始圖像、旋轉(zhuǎn)至準水平圖像、裁剪圖像、濾波降噪圖像、二值分割圖像和開關(guān)運算后圖像。圖9～圖11是有引腳缺陷的3類不合格芯片圖像。

圖8 合格芯片引腳提取算法效果

圖9 引腳缺失提取算法效果

圖10 引腳殘缺提取算法效果

圖11 引腳偏曲提取算法效果

從上述測試可以看出，采用本文的圖像預(yù)處理方法能完整提取芯片引腳圖像，通過圖像裁剪減少信息冗余，與濾波算法結(jié)合降低圖像噪聲干擾，使用迭代閾值二值分割算法能快速計算芯片圖像最佳分割閾值，提取引腳圖像。

4.2 引腳缺陷檢測

根據(jù)SOP芯片常用封裝標準，引腳間距為1.27 mm，引腳長度為2.54 mm。結(jié)合系統(tǒng)的標定和芯片圖像的測量統(tǒng)計結(jié)果，引腳平均長度為46個像素，引腳平均間距為23個像素，合格芯片引腳個數(shù)為單列14個，按照設(shè)計要求設(shè)定合格引腳間距誤差為不超過5個像素。

在提取芯片引腳圖像的基礎(chǔ)上，對圖9～圖11的引腳圖像使用本文的缺陷檢測方法，分別設(shè)置35條灰度躍變檢測直線，獲取引腳根部、端部和其他部分的中心坐標，記錄引腳根部中心個數(shù)分別為14、13、14和14個，則圖9所示的芯片缺失1個引腳;計算每條掃描直線上每兩個引腳中心坐標的間隔距離si，如表1所示，其中圖8所示芯片引腳間距均在標準范圍內(nèi)，圖9～圖11所示芯片引腳分別存在缺失、殘缺、偏曲等缺陷。

圖12左圖為各類型芯片缺陷檢測結(jié)果圖，紅線為引腳中點灰度檢測基準和引腳中點，右圖為沿引腳中點灰度檢測基準的灰度變化及灰度變化導(dǎo)數(shù)圖，其中淺色曲線為沿灰度檢測基準線上像素灰度變化曲線，深色曲線為灰度導(dǎo)數(shù)曲線。

通過對2 000個SOP集成芯片進行檢驗，可得系統(tǒng)的引腳缺陷檢驗出錯率為0.5%，且其中0.2%錯判現(xiàn)象為合格產(chǎn)品被誤判為次品，系統(tǒng)可滿足實際生產(chǎn)的需要。

表1 引腳中心間距si統(tǒng)計結(jié)果

圖12 引腳缺陷檢測結(jié)果

5 結(jié)束語

本文提出了整個SOP芯片引腳缺陷檢測系統(tǒng)的硬件設(shè)計和軟件算法設(shè)計;借助ARM主處理器在監(jiān)視控制、人機交互等方面的優(yōu)勢和DSP協(xié)處理器強大的數(shù)字圖像處理能力，采用了ARM+DSP的雙處理器結(jié)構(gòu)實現(xiàn)缺陷檢測算法和系統(tǒng)應(yīng)用功能的快速處理;設(shè)計了迭代閾值二值分割算法和數(shù)學(xué)形態(tài)學(xué)算法相結(jié)合的方法完成引腳圖像的有效提取，設(shè)計了基于灰度躍變檢測引腳中心點的引腳缺陷識別方法。從實驗結(jié)果看來，該方法檢測效率高、穩(wěn)定性好，滿足工程的實際應(yīng)用。

［1］夏鏈，賈偉妙，崔鵬，等.基于機器視覺的BGA芯片缺陷檢測及其MATLAB實現(xiàn)［J］.合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版)，2009，32(11):32-38.

［2］朱更明，李方敏.芯片管腳缺陷在線視覺檢測系統(tǒng)研究［J］.電子制作，2015，30(9):1866-1873.

［3］劉建峰，李承峰.基于機器視覺的IC芯片外觀檢測系統(tǒng)［J］.計算機工程與應(yīng)用，2009，45(35):46-51.

［4］黃偉基，謝云.基于ARM與DSP的PET瓶蓋缺陷在線檢測系統(tǒng)的設(shè)計［J］.機床與液壓，2013，41(7):174-180.

［5］Ma Yide，Dai Ruolang，Li Lian.An Counting and Segmentation Method of Blood Cell Image With Logical and Morphological Featureofcell［J］.Chinese Journal of Electronics，2002，11(1):53-55.

［6］丁倩雯.基于FPGA的自適應(yīng)像素分割算法設(shè)計與實現(xiàn)［J］.電子器件，2015，38(3):510-555.

［7］劉泉，胡文娟.基于機器視覺的PCB缺陷檢測系統(tǒng)設(shè)計與研究［J］.電子器件，2007，30(2):550-556.

［8］鄭金駒，李文龍，王瑜輝，等.QFP芯片外觀視覺檢測系統(tǒng)及檢測方法［J］.中國機械工程，2013，24(3):290-298.

［9］何榮芳，孫長庫，王鵬，等.SMT封裝電路板三維在線檢測技術(shù)［J］.傳感技術(shù)學(xué)報，2015，28(2):290-297.

李本紅(1974-)，男，漢族，籍貫湖南省祁陽縣，現(xiàn)為佛山職業(yè)技術(shù)學(xué)院電氣自動化專業(yè)電子技術(shù)講師，主要研究方向為自動控制系統(tǒng)的設(shè)計與分析，lbh_1974@163.com;

張淼(1968-)，漢族，籍貫廣東省廣州市，華南理工大學(xué)博士，現(xiàn)為廣東工業(yè)大學(xué)自動化學(xué)院教授，主要研究方向為圖像處理、模式識別，bezhangm@ gdut.edu.cn;

歐幸福(1985-)，男，漢族，籍貫湖南省衡陽市，2013年于廣東工業(yè)大學(xué)獲碩士學(xué)位，現(xiàn)為佛山職業(yè)技術(shù)學(xué)院電氣自動化專業(yè)講師，主要研究方向為數(shù)字圖像處理，機器視覺，adaouxingfu@163.com。

SOP Chip Pins Defect Detection Based on Machine Vision System Design*

LIBenhong1*，ZHANGMiao2，OU Xingfu1

(1.Foshan Vocational and Technical College，F(xiàn)ushan Guangdong 528137，China;2.Guangdong University of Technology，Guangzhou 510006，China)

In order to solve the problems in manual inspection of SOP chip defect，design an automatic detection system of SOP chip defect based on machine vision.The system uses ARM-DSP dual-core architecture to achieve these functions rapidly such as image acquisition，processing and feature extraction as well as peripheral applications.It designed a fast segmentation algorithm based on dynamic threshold to get the chip feature image and used themethods of grayscale transition detector pin midpoint，midpoint line fitting and pin spacing statistical to realize automatic detection of the SOP chip pin defect.Experimental results show that the system is fast，accurate and feasible.

image processing;chip pin defect;image segmentation;line fitting;spacing statistics

C:7230;6340

10.3969/j.issn.1005－9490.2017.01.033

TP391.41

:A

:1005－9490(2017)01－0171－08

項目來源:廣東省教育部產(chǎn)學(xué)研重大專項項目(2012A090300005)

2016-01-31修改日期:2016-03-14