李呈怡 劉化軒 李 俊(東南大學(xué)復(fù)雜工程系統(tǒng)測量與控制教育部重點實驗室 江蘇 南京 210096)

0 引 言

LED技術(shù)起源于20世紀(jì)初，發(fā)展迅速，其相關(guān)產(chǎn)業(yè)隨之在全球范圍內(nèi)快速崛起，形成了涵蓋襯底、外延、芯片、封裝四個環(huán)節(jié)的完整產(chǎn)業(yè)鏈。在LED封裝環(huán)節(jié)，需要對LED晶粒和杯框進(jìn)行識別定位。固晶機(jī)是在該環(huán)節(jié)必不可少的關(guān)鍵設(shè)備。目前，在多個發(fā)達(dá)國家，固晶機(jī)的性能已經(jīng)達(dá)到很高的水平，以ASM公司生產(chǎn)的AD809全自動LED固晶機(jī)為例，該固晶機(jī)的固晶速度可以達(dá)到每秒6～8次，圖像識別定位精度達(dá)亞像素級，但這些進(jìn)口設(shè)備的價格均十分高昂。而國內(nèi)生產(chǎn)的大多數(shù)固晶機(jī)雖價格便宜但性能較差，多數(shù)固晶機(jī)的固晶速度只能達(dá)到每秒4～6次左右，定位精度也較低。我國LED市場規(guī)模日益擴(kuò)大，根據(jù)相關(guān)數(shù)據(jù)分析，其年消費量達(dá)1 000億只以上，但LED封裝過程中所使用的固晶設(shè)備要么是價格昂貴的進(jìn)口設(shè)備，要么是性能較差的國產(chǎn)低端設(shè)備，因此極有必要研制一種高速高精度高性價比的固晶機(jī)。

LED固晶機(jī)工作的主要過程[1]如下：上料機(jī)構(gòu)滾輪把支架傳送到預(yù)先設(shè)定好的工作位置，由點膠機(jī)構(gòu)在支架上需要固晶的位置點膠；然后取- 固晶臂從原點位置運動到吸晶工作臺吸取晶粒，返回原始位置；最后由取- 固晶臂再從原始位置運動到固晶工作臺上方對準(zhǔn)固晶位置，固晶完成后再返回原始位置。這些過程都需要依賴于視覺系統(tǒng)的固晶識別定位技術(shù)，因此設(shè)計一種有效的LED固晶目標(biāo)識別定位算法顯得極其重要。李釧寶[2]研究了基于SAD、NCC模板匹配算法的固晶目標(biāo)識別定位算法，并運用金字塔算法優(yōu)化了搜索空間。金字塔匹配算法速度很快，但其搜索精度卻難以滿足要求。陳世哲等[3]提出了一種使用投影特征的基于優(yōu)勢遺傳自適應(yīng)算法的快速固晶目標(biāo)匹配算法。遺傳算法雖然是一種高效的仿生算法，但其搜索結(jié)果具有隨機(jī)性，容易陷入局部最優(yōu)。曹占倫等[4]采用了粗- 精結(jié)合的固晶目標(biāo)匹配算法,先使用金字塔匹配算法進(jìn)行粗匹配,繼而對匹配結(jié)果在設(shè)定鄰域內(nèi)用序列閾值序貫相似性檢測算法進(jìn)行精匹配，但是序貫相似性檢測法對誤差閾值的設(shè)定較難把握。

本文提出一種雙階段的識別定位方法。首先使用基于Haar-like特征的弱分類器組成的Adaboost級聯(lián)分類器快速識別固晶目標(biāo)以確定其位置候選集實現(xiàn)初步定位，然后對候選集中的目標(biāo)采用模板匹配的方式從候選集中篩選出目標(biāo)并實現(xiàn)精確定位。

1 識別定位算法性能需求分析

進(jìn)口固晶設(shè)備性能優(yōu)良，以德國ASM公司生產(chǎn)的AD809全自動LED固晶機(jī)性能為參考，本固晶機(jī)的性能指標(biāo)設(shè)計如下：(1) 視覺定位精度不超過固晶目標(biāo)大小的1/100；(2) 固晶速度：每秒鐘完成固晶6～8粒；(3) 為了保證平穩(wěn)性，運動控制時間不能小于110 ms；(4) 可處理的晶粒尺寸范圍0.1～1 mm。

下面將對識別定位算法的性能需求展開分析，算法的性能需求分為兩個部分，一是耗時要求，二是精度要求。LED固晶機(jī)每秒種固晶6～8粒，則固晶周期大約為125 ms。為了保證后續(xù)的取晶順利，每幅視野中必須保證存在不少于9個晶?；蚬叹c位，則一幅視野的固晶總時間約為9×125=1 125 ms。周期可以分為以下幾個部分：(1) 運動控制時間不能小于110 ms。那么一幅視野所需時間為9×110=990 ms；(2) 圖像采集時間37 ms，傳輸?shù)诫娔X的時間10 ms；(3) 每個固晶周期平均的取- 固晶策略用時10 ms。故每幅圖像的處理時間需小于1 125-990-47-10=78 ms。

不同的固晶目標(biāo)誤差需要不大于該固晶目標(biāo)百分之一，而本文實驗選取相機(jī)型號為MVC360MF,鏡頭型號為MZDH0805C，其參數(shù)是根據(jù)1個像素偏差來估計實際定位精度并計算相機(jī)視場范圍的。因此只要識別定位算法的圖像定位偏差不超過1像素就可以滿足精度要求。綜上，識別定位算法的時間性能必須達(dá)到每幅視野的處理時間小于78 ms，精度性能要求圖像定位偏差不能大于1像素值。

2 識別定位算法設(shè)計

在實際生產(chǎn)中，固晶機(jī)視覺系統(tǒng)多用灰度模板匹配實現(xiàn)對固晶目標(biāo)的識別定位?；叶饶０迤ヅ涫褂脠D像灰度特征，具有通用性好、精度高的特點，但其計算復(fù)雜度高，識別速度較低，經(jīng)驗證明：單純的模板匹配算法難以滿足每幅視野的處理時間小于78 ms的時耗要求。為縮短算法時耗同時保證精度，本文將采用一種基于特征提取的機(jī)器學(xué)習(xí)方法對固晶目標(biāo)進(jìn)行訓(xùn)練，得到一種有效的分類器用以高速識別固晶目標(biāo)。在獲得固晶目標(biāo)之后，結(jié)合灰度模板匹配算法對其實現(xiàn)精確定位。分類器的初步識別定位可以縮小模板匹配算法的搜索空間，既可減少計算時耗，又可保證算法精度。

2.1 結(jié)合特征提取的級聯(lián)分類器算法研究

機(jī)器學(xué)習(xí)是一個將數(shù)據(jù)轉(zhuǎn)換成信息的過程。這里采用機(jī)器學(xué)習(xí)的方法從樣本數(shù)據(jù)里提取規(guī)則訓(xùn)練分類器，并利用生成的分類器來識別固晶目標(biāo)。相比決策樹、神經(jīng)網(wǎng)絡(luò)等[5]單一的分類算法，組合這些單一分類算法的集成學(xué)習(xí)分類算法可以獲得更加優(yōu)越的泛化性能。其中，Boosting算法就是一種識別正確率很高的集成學(xué)習(xí)分類算法。AdaBoost[6]是Boosting算法家族中效率最高且可以非常容易地應(yīng)用到實際問題中的算法，現(xiàn)常與其他算法結(jié)合用于人臉識別[7]。AdaBoost算法的基本思路是尋找若干個粗糙的規(guī)則作為弱分類器，繼而組合弱分類器成一強分類器。常用的AdaBoost算法有四種，由于四種算法的基本結(jié)構(gòu)相似，本文選用相對簡單的Discrete AdaBoost(DAB)分類器。

在基于AdaBoost的級聯(lián)分類器算法中，每一個弱分類器都是對圖像特征值的一個判斷。Haar-like特征、HOG特征、LBP特征是特征提取的三大法寶。Haar-like特征是一種簡單的矩形特征[8]，它分為邊緣特征、線性特征、中心特征和對角線特征。每種特征內(nèi)都有白色和黑色兩種矩形，Haar-like特征值即為白色矩形像素和減去黑色矩形像素和，它反映了圖像灰度變化情況。固晶目標(biāo)(見圖1)有晶粒目標(biāo)與杯框目標(biāo)，它們具有形狀簡單、邊緣明顯、背景單一及同種型號相似度高的特點，這正符合Haar-like矩形特征適用范圍；LBP是一種用來描述圖像局部紋理特征的算子[9]，它是通過將相鄰的像素的灰度值與中心灰度值進(jìn)行比較，然后生成一個8位二進(jìn)制數(shù)作為該窗口中心像素點的LBP值，并用這個值來反映該區(qū)域的紋理信息，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點；HOG特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述算子[10-11]，它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向信息作為該局部圖像區(qū)域的表征，對圖像幾何的和光學(xué)的形變都能保持很好的不變性。

在訓(xùn)練分類器時，應(yīng)當(dāng)逐一加入特征，直到它的命中率和錯誤接受率達(dá)到預(yù)設(shè)的目標(biāo)值為止。而由于LED固晶目標(biāo)的樣本特征比較單一，可采樣本數(shù)量有限。故在樣本數(shù)量不再增加就無法訓(xùn)練出更高層的分類器時應(yīng)該設(shè)置訓(xùn)練時間作為訓(xùn)練停止的條件。結(jié)合特征提取的AdaBoost分類器的訓(xùn)練過程見算法1。

算法1結(jié)合特征提取的AdaBoost分類器算法

1： 采集正負(fù)樣本。并預(yù)處理成訓(xùn)練數(shù)據(jù)集Q={(x1,y1),(x2,y2),…(xN,yN)}，其中xi代表樣本，yi∈{1，-1}，yi為1表示樣本為固晶目標(biāo)，yi為-1表示樣本非固晶目標(biāo)。

2： 初始化所有訓(xùn)練樣例的權(quán)重D1(i)=1/N，其中N是樣例數(shù)，i=1,2,…，N。

3： form=1,2,…，M:

//M表示分類器層數(shù)

a) 使用具有權(quán)重為Dm的訓(xùn)練數(shù)據(jù)集，得到本輪最優(yōu)的弱分類器hm(i)：hm(i)∈{-1,1}，其中每個弱分類器是一個基本特征和閾值的組合。

b) 計算hm(i)在訓(xùn)練集上的分類誤差率em，若最小誤差率小于0.5，則繼續(xù)，否則退出。

c) 設(shè)置hm(i)的系數(shù)am，am表示基本分類器hm(i)在AdaBoosting強分類器中所占的權(quán)重。

d) 更新數(shù)據(jù)點權(quán)重，主要是提高誤分類樣本權(quán)重，減小正確分類樣本的權(quán)重。

4： 組合各弱分類器得到最終的強分類器。

2.2 基于級聯(lián)分類器和模板匹配的識別定位算法

常用的灰度值模板匹配的相似性度量方法有平均絕對差算法(MAD)、絕對誤差和算法(SAD)、誤差平方和算法(SSD)、歸一化積相關(guān)算法(NCC)[12]。為了減少外界因素的干擾，本文選用抗噪聲和干擾能力最強的NCC算法進(jìn)行后續(xù)的精確定位。對于固晶目標(biāo)候選集中的候選位置(i,j)，位置子圖S與固晶目標(biāo)模板T的相似度為：

固晶目標(biāo)圖像是一種自相關(guān)的圖像，模板匹配過程中每個固晶目標(biāo)周圍都會得到很多相似度量值很高的匹配位置。為了精確確定固晶目標(biāo)的位置，本文選取四鄰域內(nèi)的極大值作為固晶目標(biāo)精確位置候選集。在獲得固晶目標(biāo)的精確位置之后，使用每個精確位置周圍四鄰域的特征值作為權(quán)值，再通過加權(quán)平均的方式得到了亞像素精度的位置。

根據(jù)以上的討論，基于級聯(lián)分類器和模板匹配的固晶目標(biāo)識別定位算法如下(見算法2)，其中步驟1-3為第一階段基于級聯(lián)分類器的初步識別定位，步驟4-5為第二階段基于模板匹配的精確定位。

算法2基于級聯(lián)分類器和模板匹配的雙階段固晶目標(biāo)識別定位算法

1： 采集固晶目標(biāo)的正負(fù)樣本，并預(yù)處理成訓(xùn)練數(shù)據(jù)集。

2： 按照算法1的步驟訓(xùn)練分類器。

3： 以模板圖像大小的窗口在每幅視野中逐像素移動，根據(jù)分類器中的信息判斷當(dāng)前窗口是否為正樣本窗口，若為正樣本窗口則計算此時的特征值并保存到特征圖譜中對應(yīng)像素位置，否則在圖譜對應(yīng)像素位置保存0。

4： 遍歷該基本特征值圖譜以確定四鄰域內(nèi)的極大值作為固晶目標(biāo)精確位置候選集。通過預(yù)設(shè)的行列間距和NCC模板匹配算法對候選集位置進(jìn)行進(jìn)一步的篩選。

5： 使用每個精確位置周圍四鄰域的特征值作為權(quán)值，通過加權(quán)平均的方式得到了亞像素精度的位置。

3 實驗與結(jié)果

本節(jié)將設(shè)置兩個實驗，一是通過實驗研究上述三種不同的特征組合DAB形成的3種級聯(lián)分類器對固晶目標(biāo)的分類性能，從而選出最優(yōu)組合。二是將使用最優(yōu)級聯(lián)分類器的雙階段算法與實際生產(chǎn)中固晶機(jī)慣用的NCC模板匹配算法及金字塔搜索優(yōu)化后的NCC模板匹配算法進(jìn)行比較。

3.1 級聯(lián)分類器性能比較

由于本文研究的對象固晶目標(biāo)來自于實際問題，并沒有標(biāo)準(zhǔn)的數(shù)據(jù)集，所以實驗中所用到的訓(xùn)練樣本數(shù)據(jù)集、測試樣本數(shù)據(jù)集皆是自行制作的。實驗中幾種型號的固晶目標(biāo)所用訓(xùn)練樣本和測試樣本個數(shù)見表1。實驗平臺為Dell Optiplex3020安裝64位Win10，CPU為Inter Core i3，主頻3.4 GHz，4 GB內(nèi)存。

表1 訓(xùn)練樣本和測試樣本信息

第一個實驗是以5050、3528、2835型杯框為對象研究上述3種級聯(lián)分類器的性能。前面提到，在訓(xùn)練分類器時，應(yīng)當(dāng)逐一加入特征，直到它的檢測率和錯誤率達(dá)到預(yù)設(shè)的目標(biāo)值或是在樣本數(shù)量不再增加就無法訓(xùn)練出更高層的分類器為止。實驗發(fā)現(xiàn)，基于LBP和HOG的分類器可以通過增加層數(shù)來達(dá)到和基于Haar-like的分類器相近的性能，基于Haar-like和HOG特征的分類器達(dá)到一定層數(shù)時不增加樣本的情況下很難再訓(xùn)練出更高層的分類器。表2至表4給出了三級以內(nèi)DAB級聯(lián)分類器結(jié)合不同的實驗結(jié)果，表5給出了訓(xùn)練用時為10 min的DAB級聯(lián)分類器實驗結(jié)果，其中命中率表示正樣本的正確識別率，其值為正樣本中被識別為正樣本的個數(shù)與正樣本之比；錯誤接受率指的是負(fù)樣本的錯誤識別率，其值為負(fù)樣本中被誤識別為正樣本的個數(shù)與負(fù)樣本個數(shù)之比；‘-’表示10 min以內(nèi)沒能得到結(jié)果。

表2 基于haar-like的DAB分類器性能

表3 基于LBP的DAB分類器性能

表4 基于HOG的DAB分類器性能

表5 DAB分類器性能(訓(xùn)練時間為10 min)

訓(xùn)練分類器過程中的命中率和錯誤接受率是兩個重要參數(shù)。命中率影響識別定位的精度，由本文的需求分析可知，只要圖像定位精度不超過1個像素就可滿足精度要求。當(dāng)分類器命中率在0.85以上時，固晶目標(biāo)理想位置和四領(lǐng)域像素位置同時未被識別的概率為：(1-0.85)5≈7.6×10-5?？梢?，只要分類器的命中率在0.85以上就對識別定位精度影響不大。故本文選擇用來識別定位的分類器一般為錯誤接受率在10-5量級而命中率在0.85以上。由表2至表4可知，從命中率和錯誤接受率來看基于Haar-like的分類器好于基于其他兩種特征的分類器。而且基于HOG特征的分類器的性能與固晶目標(biāo)型號有很大關(guān)系,其穩(wěn)定性不佳。由表5可知，雖然基于LBP和基于HOG的分類器都可以通過增加層數(shù)來達(dá)到和基于Haar-like分類器相近性能從而滿足0.85的正確率和10-5數(shù)量級的錯誤接受率的要求，但兩者測試用時都要比基于Haar-like的分類器長。故本文選擇基于Haar-like特征的DAB分類器，分類器層數(shù)為3層，使用該方法得到的固晶目標(biāo)識別定位效果見圖2。

(a) 0.1 mm晶粒 (b) 5730型杯框

(c) 3528型杯框 (d) 2835型杯框圖2 雙階段算法定位效果圖

3.2 算法性能比較

視覺系統(tǒng)的識別定位算法是影響固晶機(jī)效率和穩(wěn)定性的最重要因素。實際生產(chǎn)中固晶機(jī)使用的算法多采用NCC模板匹配算法。然而，單純的NCC模板匹配算法實現(xiàn)的識別定位算法運算量較大，為了降低運算量可以采用金字塔搜索法。本文通過計算得到較低分辨率模板圖像M2和搜索空間S2，此時利用NCC模板匹配確定固晶目標(biāo)位置。然后將每個目標(biāo)位置映射到源圖像作為中心，在width=W_template+7，height=H_template+7范圍內(nèi)做精確匹配。

為了比較三種算法的定位精度和時耗，分別對不同的固晶目標(biāo)使用三種算法，在同一條件下進(jìn)行多次測量，分別得到了定位的平均偏差和單幅視野固晶目標(biāo)定位的平均耗時，實驗結(jié)果見表6。

表6 三種算法的定位偏差(pixel)和單幅圖像上的識別定位平均耗時 ms

如表6所示，在相同條件下，DAB識別定位算法和NCC識別定位算法的定位精度都不超過0.8 pixel，由前面的算法需求分析可知只要識別定位算法的定位偏差不超過1 pixel就滿足高精度固晶機(jī)視覺系統(tǒng)的需求。而金字塔搜索識別定位算法對多個型號的定位偏差大于1 pixel，故不能滿足高精度固晶視覺系統(tǒng)的需求。另基于DAB的識別定位算法的單幅圖像識別耗時都小于78 ms，而基于NCC的識別定位算法的單幅圖像識別耗時都大于78 ms，金字塔搜索法雖然在一定程度上優(yōu)化了NCC算法的搜索空間，縮短了耗時，但其耗時能否小于78 ms與固晶目標(biāo)型號有關(guān)。綜上可得，本文提出的雙階段識別定位算法性能優(yōu)于NCC模板匹配算法和金字塔搜索法，可以滿足高速高精度固晶機(jī)性能需求。

4 結(jié) 語

為了實現(xiàn)高速高精度的固晶目標(biāo)識別定位，本文提出了先利用級聯(lián)分類器對固晶目標(biāo)進(jìn)行初步識別定位再用模板匹配的方法實現(xiàn)固晶目標(biāo)精確定位的思路。實驗分析比較了三種特征與DAB算法結(jié)合得到的三種級聯(lián)分類器的性能，由于在滿足命中率和錯誤接受率的前提下基于LBP和HOG特征的分類器的耗時都比基于Haar-like特征的分類器要長，且基于HOG特征的分類器的性能較不穩(wěn)定，最終選擇了Haar-like+DAB級聯(lián)分類器。以該分類器為核心，本文設(shè)計了一種固晶目標(biāo)識別定位算法，實驗證明：該算法能夠滿足高速高精度固晶機(jī)的需求；定位精度不輸于、定位速度大大超過灰度模板匹配算法，并且無論定位精度還是速度都優(yōu)于金字塔搜索識別定位算法。

[1] 全大鵬.LED自動固晶機(jī)的固晶機(jī)構(gòu)動力學(xué)分析及優(yōu)化[D].北京:北京交通大學(xué),2012.

[2] 李釗寶.LED晶片檢測中的電極定位圖像處理及算法研究[D].杭州:中國計量學(xué)院,2013.

[3] 陳世哲，劉國棟，浦欣,等.基于優(yōu)勢遺傳的自適應(yīng)遺傳算法[J].哈爾濱工業(yè)大學(xué)學(xué)報,2007,39(7):1021- 1024.

[4] 曹占倫，吳小洪，姜永軍,等.改進(jìn)匹配算法在LED粘片設(shè)備圖像識別中的應(yīng)用[J].半導(dǎo)體技術(shù),2008,33(3):200- 203.

[5] 陳建凱，王鑫，何強，等.區(qū)間值屬性的單調(diào)決策樹算法[J].模式識別與人工智能，2016，29(1):47- 53.

[6] Telgarsky M.A Primal-Dual Convergence Analysis of Boosting[J].Journal of Machine Learning Research,2012,13(2):561- 606.

[7] 方承志，袁海峰．基于CMYK-H-CbCr膚色檢測和改進(jìn)型AdaBoost算法的人臉檢測[J]．計算機(jī)應(yīng)用與軟件，2017，34(8)：167- 172．

[8] 張曉紅，劉巖，姚鴻勛.基于Haar-like特征的空間金字塔的貓臉識別[J].智能計算機(jī)與應(yīng)用，2015，5(4):104- 107.

[9] 董文彧，馮瑞，郭躍飛．基于均勻LBP和稀疏編碼的人臉識別算法[J]．計算機(jī)應(yīng)用與軟件，2015，32(1)：175- 178.

[10] Dayanda K N C,Suresh K V.HOG-PCA descriptor with optical flow based human detection and tracking[C]//Proceedings of 2014 IEEE International Conference on Communication and Signal Processing.Melmaruvathur,India,2014:900- 904.

[11] 蔣美云，郭雷，徐夢珠．基于HOG算子的手型特征提取算法[J]．計算機(jī)應(yīng)用與軟件，2015，32(12)：326- 329.

[12] Zhou J,Du J,Zhu S.Continues target tracking based on NCC and Kalman algorithm[C]//Proceedings of 2014 IEEE International Conference on Cloud Computing and Intelligence System.Hongkong,China,2014:634- 638.