楊盼盼，陳慶奎

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

隨著信息化技術(shù)的發(fā)展，電子設(shè)備逐漸成為日常必需品，因而對(duì)電子系統(tǒng)微型化、集成化的要求也越來(lái)越高。芯片作為電子產(chǎn)品基礎(chǔ)性的重要組成部分，在生產(chǎn)過(guò)程中要經(jīng)歷數(shù)十道工序，生產(chǎn)完成后需裝入物料帶并塑封，保護(hù)芯片內(nèi)部及引腳部分，封裝后的芯片也更便于運(yùn)輸。為了改善元器件封裝效率，一般通過(guò)改善封裝的結(jié)構(gòu)和方法來(lái)優(yōu)化封裝設(shè)備。

集成電路芯片封裝完成后，對(duì)其進(jìn)行質(zhì)量分析是芯片生產(chǎn)流程中一個(gè)重要的環(huán)節(jié)。傳統(tǒng)的人工檢測(cè)主觀(guān)性較強(qiáng)，耗費(fèi)人力物力，長(zhǎng)時(shí)間的檢測(cè)工作還會(huì)產(chǎn)生視覺(jué)疲勞，進(jìn)而導(dǎo)致檢測(cè)正確率下降。

本文提出了一種基于視頻圖像的芯片封裝質(zhì)量分析方法，將深度學(xué)習(xí)YOLOv3 算法結(jié)合圖像處理技術(shù)應(yīng)用于芯片封裝質(zhì)量的檢測(cè)。在原有的車(chē)間傳送帶正上方安裝CCD 工業(yè)相機(jī)，獲取封裝后的物料條視頻圖像，通過(guò)目標(biāo)檢測(cè)YOLOv3 算法進(jìn)行芯片目標(biāo)定位，并分割單張芯片圖像。對(duì)獲取到的單芯片圖像進(jìn)行缺陷分類(lèi)判定，采用Harris 算子結(jié)合尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）特征描述方法，進(jìn)行模板圖像與各類(lèi)缺陷圖像的匹配，并對(duì)匹配點(diǎn)采用特征聚類(lèi)方法剔除誤配點(diǎn)，提高匹配準(zhǔn)確率，實(shí)現(xiàn)對(duì)各類(lèi)缺陷殘次品（Not Good，NG）的判定。實(shí)驗(yàn)證明，本文方法不受主觀(guān)因素的影響，且可以量化評(píng)估最終的檢測(cè)結(jié)果。

1 相關(guān)工作

針對(duì)元器件封裝品質(zhì)分析的系統(tǒng)主要是將計(jì)算機(jī)視覺(jué)與元器件表面檢測(cè)技術(shù)相結(jié)合。自動(dòng)化機(jī)器視覺(jué)檢查可以減少人工工作量和勞動(dòng)力成本，并提高檢測(cè)精度。文獻(xiàn)［1］提出一種基于數(shù)字圖像處理的印刷電路板（Printed Circuit Board，PCB）自動(dòng)光學(xué)檢測(cè)方法，建立了將標(biāo)準(zhǔn)圖像和待測(cè)圖像進(jìn)行對(duì)比的檢測(cè)系統(tǒng)，該方法對(duì)于光照及芯片擺放位置要求極高，易造成誤判。文獻(xiàn)［2］提出了一種基于數(shù)學(xué)形態(tài)學(xué)的PCB 自動(dòng)缺陷檢測(cè)算法，以圖像腐蝕后的邊緣距離信息為參照，對(duì)比輪廓特征后進(jìn)行缺陷識(shí)別。文獻(xiàn)［3］提出了基于梯度方向信息熵的PCB 缺陷檢測(cè)方法，使用領(lǐng)域梯度方向信息熵提取缺陷特征，構(gòu)造特征向量，作為SVM 分類(lèi)器的訓(xùn)練樣本，能夠?qū)CB 裸板存在的常見(jiàn)缺陷進(jìn)行快速、精確的定位。文獻(xiàn)［4］提出了基于標(biāo)注框的寬高聚類(lèi)生成候選框的Faster R-CNN 的零件表面缺陷檢測(cè)算法，并引入多級(jí)感興趣區(qū)域（Region of Interest，RoI）池化層結(jié)構(gòu)以提高檢測(cè)準(zhǔn)確性。由于在真實(shí)的工業(yè)環(huán)境中能提供的缺陷樣本太少，無(wú)法進(jìn)行大量數(shù)據(jù)支撐的訓(xùn)練，所以將深度學(xué)習(xí)方法直接應(yīng)用在表面缺陷檢測(cè)中的研究，迄今為止也仍不多見(jiàn)。

圖像匹配是指使用有效的匹配算法為2 個(gè)或多個(gè)圖像數(shù)據(jù)找到相同或相似的提示點(diǎn)的過(guò)程。目前主流的圖像匹配算法有基于灰度和基于特征兩種。其中，基于灰度的圖像匹配算法正確率較高，但是計(jì)算量巨大，導(dǎo)致匹配效率低下；基于特征的匹配是從原始圖像的灰度信息提取特征，在特征空間進(jìn)行匹配，特征攜帶的有用信息比灰度值更豐富，易于適應(yīng)復(fù)雜的圖像變換，例如幾何畸變、不同分辨率、不同角度的圖像變換等。因此，基于特征的匹配算法速度更快，檢測(cè)效果也更加準(zhǔn)確。Harris 等人提出了Harris 角點(diǎn)檢測(cè)算法，該算法具有一定的旋轉(zhuǎn)不變性，對(duì)光照與噪聲也有一定的魯棒性，但Harris 算法卻不具備尺度不變性。Lowe于2004 年提出SIFT 算法，是設(shè)計(jì)改進(jìn)后的關(guān)鍵點(diǎn)匹配算法，雖然SIFT 耗時(shí)比較長(zhǎng)，但無(wú)論從種類(lèi)數(shù)量、還是整體質(zhì)量來(lái)看，SIFT 的性能都是最好的，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量的SIFT 特征向量。因此本文將Harris 算子與SIFT 算法結(jié)合，實(shí)現(xiàn)圖像關(guān)鍵特征的描述及匹配，較好地解決了Harris 算子的分類(lèi)準(zhǔn)確性低和SIFT 算法耗時(shí)長(zhǎng)等問(wèn)題。

2 芯片封裝質(zhì)量分析方法

芯片封裝后需要對(duì)物料條進(jìn)行質(zhì)量分析，常見(jiàn)的質(zhì)量問(wèn)題主要有塑封不嚴(yán)密、芯片缺件、芯片歪斜、芯片反置以及芯片正面的logo 印刷錯(cuò)漏等情況。

本文研究的芯片封裝質(zhì)量分析系統(tǒng)包括3 個(gè)模塊：圖像采集模塊、芯片定位模塊和缺陷檢測(cè)模塊。芯片封裝質(zhì)量分析過(guò)程示意如圖1 所示。

圖1 芯片封裝質(zhì)量分析過(guò)程示意圖Fig.1 Diagram of chip packaging quality analysis process

2.1 圖像采集模塊

使用工業(yè)CCD 相機(jī)采集圖像，將圖像傳感器接收到的光學(xué)圖像轉(zhuǎn)化為計(jì)算機(jī)能夠處理的電信號(hào)。將物料條放置在生產(chǎn)線(xiàn)的傳送帶卡槽內(nèi)固定，防止其由于運(yùn)動(dòng)慣性發(fā)生位置偏移；傳送帶定速將物料條傳送至工業(yè)相機(jī)光源下，相機(jī)以固定時(shí)間間隔自動(dòng)拍照。

CCD 相機(jī)采集到的視頻圖像傳入系統(tǒng)，存儲(chǔ)結(jié)構(gòu)包括芯片生產(chǎn)型號(hào)、物料條圖像的編號(hào)、三通道圖像、圖像采集時(shí)間、圖像高度所占像素以及圖像寬度所占像素。

2.2 芯片定位模塊

相機(jī)采集圖像后傳入系統(tǒng)，使用訓(xùn)練好的YOLOv3 算法檢測(cè)目標(biāo)芯片，根據(jù)檢測(cè)結(jié)果返回的坐標(biāo)信息計(jì)算檢測(cè)框間距，判定缺件缺陷并沿檢測(cè)框剪裁成單芯片圖像。

深度學(xué)習(xí)算法YOLOv3（You Only Look Once）是一種一階段算法，將檢測(cè)過(guò)程看作回歸問(wèn)題求解，舍棄了顯示候選框生成的步驟，對(duì)輸入圖像提取特征后可以迅速預(yù)測(cè)出目標(biāo)所屬類(lèi)別和所在位置，檢測(cè)速度快，能滿(mǎn)足工業(yè)生產(chǎn)過(guò)程中對(duì)于缺陷實(shí)時(shí)檢測(cè)的需求。YOLOv3 的骨干網(wǎng)絡(luò)Darknet-53 分別抽取到了下采樣32 倍、16 倍和8 倍的特征，可以實(shí)現(xiàn)對(duì)不同大小尺度的目標(biāo)檢測(cè)，采用多尺度融合的方法進(jìn)行局部特征交互，對(duì)主干網(wǎng)絡(luò)提取到的3 個(gè)不同尺度的特征圖、和進(jìn)行融合預(yù)測(cè)。不同尺度的特征圖是把輸入圖像劃分成不同數(shù)量的單元格，數(shù)量越多、越容易檢測(cè)小目標(biāo)物體。分析可知，52×52×255 特征圖既擁有深層網(wǎng)絡(luò)的語(yǔ)義抽象特征，又充分利用了淺層網(wǎng)絡(luò)的細(xì)粒度像素級(jí)別的邊緣、轉(zhuǎn)角和結(jié)構(gòu)信息的底層特征。YOLOv3 聚類(lèi)了9個(gè)先驗(yàn)框，每個(gè)尺度的特征圖分配到3 個(gè)不同尺寸的先驗(yàn)框，見(jiàn)表1。

表1 YOLOv3 特征圖信息Tab.1 Feature map information of YOLOv3

本文借鑒遷移學(xué)習(xí)思想，采用了在ImageNet 上預(yù)訓(xùn)練好的模型參數(shù)darknet53.conv.74，在此基礎(chǔ)上繼續(xù)訓(xùn)練。數(shù)據(jù)增強(qiáng)方法主要選取了旋轉(zhuǎn)、平移、縮放及水平翻轉(zhuǎn)，增加訓(xùn)練集樣本數(shù)量，提高模型的泛化能力，避免出現(xiàn)過(guò)擬合現(xiàn)象。

模型檢測(cè)目標(biāo)芯片后，返回所屬類(lèi)別、置信度得分及邊界框坐標(biāo)信息。檢測(cè)框坐標(biāo)集合為b＝｛［，，，］，［，，，］，……，［x，y，w，h］｝，其中為檢測(cè)出的芯片編號(hào)，(x ，y）表示第個(gè)邊界框的左上角坐標(biāo)，（w，h）表示第個(gè)邊界框的寬、高。將b按照x坐標(biāo)連續(xù)遞增排序并重新標(biāo)號(hào)，可進(jìn)一步定位芯片。本實(shí)驗(yàn)采用的芯片規(guī)格唯一，正常封裝的物料條中芯片間距固定，而有缺件缺陷的物料條會(huì)出現(xiàn)一段較長(zhǎng)的間距。計(jì)算兩相鄰邊界框坐標(biāo)的間距，即為相鄰芯片間距，缺件缺陷芯片間距如圖2 所示，推導(dǎo)出的定義式可寫(xiě)為：

圖2 缺件缺陷芯片間距圖Fig.2 Missing parts defect chip spacing diagram

其中，(x ，y）表示第個(gè)邊界框左上角的橫、縱坐標(biāo)，若d大于最大預(yù)設(shè)間距閾值，則可判定第塊芯片與第1 塊芯片中出現(xiàn)了缺件缺陷。

2.3 缺陷檢測(cè)模塊

缺陷檢測(cè)模塊使用圖像分割算法、即大津法（Otsu）分區(qū)域提取出引腳部分，將二值圖中圖像的4個(gè)邊緣點(diǎn)使用最小二乘法擬合直線(xiàn)，進(jìn)行芯片歪斜判定；研究又通過(guò)改進(jìn)的Harris-SIFT 算法模板匹配，根據(jù)匹配特征點(diǎn)對(duì)分布的區(qū)域及匹配點(diǎn)對(duì)占比進(jìn)行缺陷分類(lèi)判定，并對(duì)芯片反置、印刷模糊和塑封不嚴(yán)密缺陷進(jìn)行識(shí)別，被判定為合格品或各類(lèi)缺陷品。

2.3.1 圖像預(yù)處理

研究對(duì)象示例為SOIC（Small Outline IC），即小外形IC 封裝，統(tǒng)一規(guī)格為7 mm×6.5 mm。受傳感器材料屬性、拍攝光照角度等因素的影響，工業(yè)現(xiàn)場(chǎng)采集的芯片圖像通常包含噪聲，系統(tǒng)收到圖像數(shù)據(jù)后先要進(jìn)行預(yù)處理，對(duì)得到的元器件圖像進(jìn)行光源修正、圖像去噪等。

采用直方圖均衡化方式處理采集到的一些過(guò)暗和過(guò)亮的圖像，豐富圖像的細(xì)節(jié)，增強(qiáng)圖像的質(zhì)量，以減小由于光源反射而產(chǎn)生的明亮區(qū)域的影響，如圖3 所示。

圖3 直方圖均衡化處理Fig.3 Histogram equalization processing

2.3.2 圖像分割方法

圖像分割是對(duì)圖像進(jìn)一步分析、識(shí)別的前提，而閾值的選擇則是該方法中的核心任務(wù)，動(dòng)態(tài)閾值分割算法適用于檢測(cè)目標(biāo)前景與背景具有較好區(qū)分度的情況。本文采用Otsu 分割算法，操作簡(jiǎn)單且分割效果良好，類(lèi)間方差定義如式（2）所示：

其中，() 表示閾值為時(shí)目標(biāo)前景像素點(diǎn)數(shù)占整幅圖像的比例，前景平均灰度值為() ；() 表示閾值為時(shí)背景像素點(diǎn)數(shù)占整幅圖像的比例，背景平均灰度值為() ；μ為整體圖像的灰度均值。最佳的閾值為類(lèi)間方差() 達(dá)到最大值時(shí)對(duì)應(yīng)的灰度值。

使用Otsu 算法對(duì)圖像進(jìn)行動(dòng)態(tài)閾值分割時(shí)，部分區(qū)域因光線(xiàn)等因素影響，呈現(xiàn)出與芯片引腳區(qū)域相近的顏色，這會(huì)影響圖像動(dòng)態(tài)閾值的計(jì)算結(jié)果，導(dǎo)致無(wú)法直接通過(guò)二值化處理得到完整的引腳區(qū)域。由于芯片光照不均勻，導(dǎo)致某些引腳區(qū)域與正常引腳顏色存在差異，因此就對(duì)引腳和芯片主體區(qū)域進(jìn)行劃分，對(duì)僅包含引腳的區(qū)域進(jìn)行分析，以減小芯片主體對(duì)提取過(guò)程的影響。對(duì)引腳區(qū)域分塊，每個(gè)分塊內(nèi)利用Otsu 算法計(jì)算動(dòng)態(tài)閾值，提取受光照因素影響的引腳。分區(qū)域后的Otsu 算法的流程步驟詳述如下。

單芯片圖像編號(hào)，單芯片三通道圖像，單芯片在原物料條的坐標(biāo)位置信息，單芯片圖像高度，單芯片圖像寬度，引腳數(shù)目，芯片主體區(qū)域與引腳區(qū)域所占寬度比例系數(shù)

分割后的芯片引腳二值圖像

1.將圖像三通道圖像轉(zhuǎn)化成灰度圖。

3.考慮到圖像截取像素差異，將左引腳區(qū)域和右引腳區(qū)域分別橫向均分1 等份，得到左、右引腳分塊區(qū)域集合。

4.按序號(hào)逐次遍歷各區(qū)域及各區(qū)域每個(gè)像素點(diǎn)，如果像素點(diǎn)位于圖像邊緣區(qū)域，則將該點(diǎn)像素值融合為該點(diǎn)在原圖周?chē)?×3 區(qū)域內(nèi)像素灰度平均值。

5.按序號(hào)逐次遍歷各區(qū)域，分別統(tǒng)計(jì)各區(qū)域內(nèi)的灰度直方圖并歸一化，求得各區(qū)域內(nèi)的平均灰度值，測(cè)試多個(gè)閾值求出各區(qū)域最佳分割閾值，根據(jù)不同區(qū)域的最佳閾值進(jìn)行圖像二值化分割，更新左、右引腳分塊區(qū)域集合。

6.將左、右引腳分塊區(qū)域集合中各區(qū)域按序號(hào)重新拼接寫(xiě)入左、右引腳。

7.將左、右引腳區(qū)域拼接，生成分割后的芯片引腳二值圖像并返回。

分割出來(lái)的引腳部分可能會(huì)由于光照等問(wèn)題出現(xiàn)截?cái)嗟痊F(xiàn)象，可將引腳圖像中噪聲進(jìn)行形態(tài)學(xué)操作。閉運(yùn)算可以去除前景噪聲，并填充原有閉合圖像中的空洞。對(duì)圖像進(jìn)行閉運(yùn)算，即先使用膨脹操作，將鄰近分散的引腳點(diǎn)連通，有效解決引腳截?cái)嗟膯?wèn)題；對(duì)膨脹過(guò)的圖像加以腐蝕處理，將芯片內(nèi)部多余噪聲部分腐蝕。閉運(yùn)算可以去除前景噪聲，并填充原有閉合圖像中的空洞。閉運(yùn)算操作效果如圖4所示。

圖4 閉運(yùn)算操作效果圖Fig.4 Closing operation effect diagram

分割出引腳部分后，可以通過(guò)引腳的傾斜角度判斷物料條是否出現(xiàn)芯片歪斜缺陷。以分割出的引腳圖像4 個(gè)邊緣點(diǎn)為角點(diǎn)，使用最小二乘法分別擬合4 條直線(xiàn)，組成一個(gè)四邊形作為引腳圖像邊緣的最小外接矩，使用中心法確定圖像的幾何中心位置。假設(shè)圖像左上角起始坐標(biāo)為（0，0），右下角坐標(biāo)為（，），可得中心點(diǎn)坐標(biāo)（，）的運(yùn)算公式具體如下：

其中，、分別為圖像像素的行數(shù)和列數(shù)，（，）為圖像在點(diǎn)（，）處的灰度值。

角度參數(shù)計(jì)算如圖5 所示。以中心坐標(biāo)點(diǎn)為原點(diǎn)作延長(zhǎng)線(xiàn)，與最小二乘法得出的擬合直線(xiàn)邊界交點(diǎn)記為（0，0），以作為原點(diǎn)建立相對(duì)直角坐標(biāo)系，記角點(diǎn)的坐標(biāo)為（，），其中芯片偏斜角度可由式（5）得出：

圖5 角度參數(shù)計(jì)算圖Fig.5 Angle parameters calculation diagram

2.3.3 Harris-SIFT 圖像匹配

SIFT 算法耗時(shí)主要集中于特征點(diǎn)檢測(cè)與特征點(diǎn)描述部分，特征點(diǎn)檢測(cè)時(shí)需要多次用到高斯模糊，運(yùn)算量較大。故本文提出使用Harris 算子在大尺度空間檢測(cè)角點(diǎn)后映射到小尺度空間，建立SIFT 特征描述子；在匹配點(diǎn)對(duì)校正部分，采用角點(diǎn)集類(lèi)別向量聚類(lèi)算法進(jìn)行圖像的精確匹配，以剔除錯(cuò)誤的匹配點(diǎn)。Harris-SIFT 圖像匹配算法過(guò)程示意如圖6所示。這里，對(duì)Harris-SIFT 算法中各主要步驟擬展開(kāi)闡釋分述如下。

圖6 Harris-SIFT 算法過(guò)程示意圖Fig.6 Harris-SIFT algorithm process diagram

（1）檢測(cè)圖像角點(diǎn)。Harris 算法通過(guò)計(jì)算點(diǎn)的一階曲率及梯度檢測(cè)角點(diǎn)，相比SIFT 算法無(wú)需構(gòu)建DoG（Difference of Gaussian）金字塔，故檢測(cè)速度更快。Harris 角點(diǎn)檢測(cè)類(lèi)通過(guò)建立小的窗口對(duì)對(duì)象進(jìn)行掃描，其對(duì)應(yīng)角點(diǎn)響應(yīng)函數(shù)的運(yùn)算公式可寫(xiě)為：

其中，為的行列式；為的跡；，是自相關(guān)矩陣的2 個(gè)特征值；為常量，一般取值為0.04～0.06。

（2）確定角點(diǎn)特征向量。特征點(diǎn)檢測(cè)完成，生成角點(diǎn)集，使用SIFT 算法為每一個(gè)角點(diǎn)分配可以反映角點(diǎn)特征的梯度幅值(，) 和方向(，)，研究推得的數(shù)學(xué)公式見(jiàn)如下：

其中，表示特征點(diǎn)所在尺度空間，由高斯函數(shù)與原圖像卷積得到。

（3）生成SIFT 特征描述向量。為了確保特征點(diǎn)具有旋轉(zhuǎn)不變性，以關(guān)鍵點(diǎn)主方向?yàn)橹行男D(zhuǎn)，求取16 個(gè)4×4 窗口內(nèi)每個(gè)種子點(diǎn)的8 個(gè)梯度方向，如此每個(gè)特征點(diǎn)就生成一個(gè)128 維的SIFT 特征向量，為了消除光照變化的干擾，對(duì)其做歸一化處理。

（4）特征點(diǎn)匹配。使用K-近鄰算法（一般取值為2）求取歐氏距離最近鄰和次近鄰。當(dāng)該點(diǎn)的最近鄰距離與次近鄰距離的比值小于（本文取為0.8）時(shí)，被認(rèn)為是匹配點(diǎn)。

在匹配的點(diǎn)對(duì)中，具有最大相似性的點(diǎn)對(duì)不一定是正確配對(duì)的，一般針對(duì)匹配后的點(diǎn)對(duì)使用隨機(jī)采樣一致性（RANSAC）算法計(jì)算一組局內(nèi)點(diǎn)的單應(yīng)矩陣，根據(jù)該單應(yīng)矩陣計(jì)算映射誤差，根據(jù)誤差閾值重新迭代計(jì)算局內(nèi)點(diǎn)集合，找到最優(yōu)局內(nèi)點(diǎn)集合后，局外點(diǎn)被判斷為誤配點(diǎn)。但RANSAC 算法迭代次數(shù)沒(méi)有上限，需要人為定義閾值，存在很大的隨機(jī)性，無(wú)法達(dá)到最優(yōu)，且當(dāng)提取的特征點(diǎn)數(shù)量較多時(shí)，該算法的計(jì)算量會(huì)有顯著增大，匹配效率較低。故使用K-means 聚類(lèi)算法修正匹配點(diǎn)的算法研發(fā)步驟詳見(jiàn)如下。

單芯片圖像編號(hào)，單芯片三通道圖像，單芯片在原物料條的坐標(biāo)位置信息，單芯片圖像寬高，初始匹配點(diǎn)對(duì)集合，聚類(lèi)初始中心點(diǎn)個(gè)數(shù)

修正后的匹配點(diǎn)對(duì)集合

1.For1 →：

得到特征一：匹配點(diǎn)對(duì)之間的歐氏距離d；

得到特征二：匹配點(diǎn)對(duì)之間連線(xiàn)與水平面夾角θ；

將d和θ加入類(lèi)別向量集合。

2.對(duì)類(lèi)別向量集合進(jìn)行K-means 聚類(lèi)，設(shè)置聚類(lèi)的個(gè)數(shù)為2，生成2 個(gè)聚類(lèi)中心點(diǎn)，計(jì)算所有類(lèi)別向量F到聚類(lèi)中心點(diǎn)的距離；更新中心點(diǎn)，迭代聚類(lèi)；當(dāng)中心點(diǎn)變化滿(mǎn)足收斂要求時(shí)停止迭代。

3.由于正確匹配點(diǎn)對(duì)集中，故點(diǎn)對(duì)數(shù)目最多的類(lèi)別為正確匹配點(diǎn)對(duì)，將另一匹配有誤的類(lèi)別中的點(diǎn)對(duì)從初始匹配點(diǎn)對(duì)集合中剔除，得到修正后的匹配點(diǎn)對(duì)集合。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)準(zhǔn)備

本實(shí)驗(yàn)硬件環(huán)境為：Intel（R）Core（TM）i5-2450 M CPU＠2.50 GHz 的處理器，8 GB 內(nèi)存，4 GB顯存，操作系統(tǒng)Windows10 64 位。開(kāi)發(fā)環(huán)境為：Python3.8+TensorFlow2.4.0、OpenCV4.4 圖像處理庫(kù)和YOLOv3 目標(biāo)檢測(cè)框架，使用CUDA10.1 和CUDNN10.1 加速運(yùn)算。

深度學(xué)習(xí)算法依賴(lài)于圖像標(biāo)注，故前期的主要工作是對(duì)包含不同數(shù)量黑色芯片塊的PCB 板進(jìn)行人工標(biāo)注和訓(xùn)練。分別從網(wǎng)絡(luò)和工廠(chǎng)車(chē)間獲取到1 000張PCB 板樣本圖像，隨機(jī)對(duì)樣本圖像進(jìn)行90°、180°和270°旋轉(zhuǎn)，數(shù)據(jù)增強(qiáng)后獲得3 000 張訓(xùn)練圖像，平均每張圖像中有7 個(gè)芯片樣本。被標(biāo)記好的樣本圖像會(huì)生成對(duì)應(yīng)的.xml 文件，該文件主要存放數(shù)據(jù)集標(biāo)簽信息。訓(xùn)練集、測(cè)試集和驗(yàn)證集按3 ∶1 ∶1 劃分，使用YOLOv3 遷移學(xué)習(xí)進(jìn)行芯片的目標(biāo)檢測(cè)算法訓(xùn)練，訓(xùn)練后的圖像簡(jiǎn)化了芯片復(fù)雜的背景信息，以便于對(duì)芯片封裝質(zhì)量進(jìn)行下一步的分析。

在實(shí)驗(yàn)室環(huán)境下進(jìn)行仿真實(shí)驗(yàn)。將帶有缺陷的物料條固定放置于傳送帶上，傳送至工業(yè)相機(jī)光源下，相機(jī)以40 fps 幀率錄制視頻并進(jìn)行質(zhì)量分析。分別選擇正常芯片、芯片缺失、塑封不嚴(yán)密、芯片歪斜、芯片反置以及芯片正面印刷的logo 錯(cuò)漏缺陷圖像各200 張進(jìn)行實(shí)驗(yàn)驗(yàn)證。缺陷認(rèn)定取芯片偏斜角度閾值為10°，即傾斜角度超過(guò)10°被認(rèn)為存在芯片歪斜缺陷；印刷錯(cuò)漏和芯片反置的匹配點(diǎn)對(duì)區(qū)間分別為15%～90%和0%～15%，即匹配點(diǎn)對(duì)占比超過(guò)90%，則認(rèn)為不存在印刷錯(cuò)漏或芯片反置缺陷，匹配點(diǎn)對(duì)占比介于10%～90%、被認(rèn)為存在印刷錯(cuò)漏缺陷，匹配點(diǎn)對(duì)占比低于10%，則認(rèn)為存在芯片反置缺陷。

3.2 評(píng)價(jià)指標(biāo)

采用的評(píng)價(jià)標(biāo)準(zhǔn)有查準(zhǔn)率Pre、查全率Rec、以及虛警率FA。各計(jì)算公式可分別寫(xiě)作如下形式：

其中，TP（）表示類(lèi)樣本被正確識(shí)別的樣例； FP（）表示其它類(lèi)樣本被識(shí)別為類(lèi)樣本的樣例； FN（）表示類(lèi)樣本被識(shí)別為其他樣本的樣例。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 YOLOv3 目標(biāo)檢測(cè)結(jié)果分析

利用YOLOv3 網(wǎng)絡(luò)在預(yù)訓(xùn)練的模型基礎(chǔ)上進(jìn)行迭代訓(xùn)練，網(wǎng)絡(luò)文件中的部分參數(shù)設(shè)置見(jiàn)表2，訓(xùn)練期間損失曲線(xiàn)如圖7 所示?？梢钥闯?，模型在前5個(gè)周期迭代中損失值迅速下降，此時(shí)模型正在快速擬合；經(jīng)過(guò)60 個(gè)周期的迭代訓(xùn)練后，該模型的損失值降低至0.024、并趨于穩(wěn)定，不再繼續(xù)收斂，此時(shí)網(wǎng)絡(luò)模型已達(dá)到最優(yōu)狀態(tài)，可以使用訓(xùn)練好的模型檢測(cè)數(shù)據(jù)集中的芯片。

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)Tab.2 Network training parameters

圖7 訓(xùn)練期間的損失曲線(xiàn)Fig.7 Loss curve during training

3.3.2 Harris-SIFT 算法檢測(cè)結(jié)果可視化

本文提出的Harris-SIFT 算法與傳統(tǒng)SIFT 算法特征點(diǎn)檢測(cè)時(shí)間對(duì)比結(jié)果如圖8 所示，本文算法比SIFT 算法檢測(cè)時(shí)間同比縮短2～3 倍，有效提高檢測(cè)速度。

圖8 算法檢測(cè)時(shí)間對(duì)比圖Fig.8 Algorithm detection time comparison chart

使用改進(jìn)后的Harris-SIFT 算法對(duì)缺陷圖像進(jìn)行檢測(cè)，結(jié)果如圖9～圖11 所示。

圖9 反置芯片圖像Fig.9 Invert chip images

圖10 印刷錯(cuò)漏圖像Fig.10 Misprinted images

圖11 塑封不嚴(yán)密圖像Fig.11 Improper plastic packaging

3.3.3 缺陷檢測(cè)結(jié)果分析

使用本文提出方法對(duì)各類(lèi)圖像進(jìn)行缺陷識(shí)別和分類(lèi)，缺陷檢測(cè)結(jié)果見(jiàn)表3。由表3 可以看出，本文提出的方法針對(duì)各類(lèi)缺陷的查全率和查準(zhǔn)率都較高，且虛警率均在11%以下，滿(mǎn)足工業(yè)生產(chǎn)需求，可以應(yīng)用到生產(chǎn)芯片封裝檢測(cè)領(lǐng)域。印刷錯(cuò)漏缺陷樣本與芯片反置缺陷樣本最易出現(xiàn)混淆，少量密封不嚴(yán)密樣本與歪斜樣本會(huì)相互誤判，但整體的檢測(cè)結(jié)果仍保持在標(biāo)準(zhǔn)范圍內(nèi)，可對(duì)SIFT 算法做進(jìn)一步調(diào)優(yōu)，針對(duì)特征點(diǎn)對(duì)匹配閾值范圍進(jìn)行調(diào)節(jié)。

表3 缺陷檢測(cè)結(jié)果Tab.3 Defects detection results

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有的芯片封裝質(zhì)量檢測(cè)過(guò)程中存在的問(wèn)題，本文將深度學(xué)習(xí)算法與圖像處理技術(shù)相結(jié)合，提出了一種基于視頻圖像的芯片封裝質(zhì)量分析方法。實(shí)驗(yàn)結(jié)果表明，本方法準(zhǔn)確地判斷出了芯片封裝的殘次品并指出了缺陷對(duì)應(yīng)的類(lèi)型，以便及時(shí)回收殘次品并重新封裝。該缺陷分類(lèi)方法取得了93%的準(zhǔn)確率，說(shuō)明提出模型同時(shí)具備良好的魯棒性與泛化能力，但由于復(fù)雜工業(yè)條件下影響檢測(cè)準(zhǔn)確率、召回率的因素繁雜，該算法還有繼續(xù)優(yōu)化的空間，進(jìn)一步提高芯片封裝質(zhì)量分析的準(zhǔn)確率和檢測(cè)效率是未來(lái)研究的主要方向。