中圖分類(lèi)號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào):1672-0105(2025)02-0047-05

Research on Deep Learning Methods for Micro-component Pin Distance Measurement

XIANG Chaohui， QIAN Yuezhong， ZOU Jiaming (ZhejiangIndustryTradeVocationalCollege，Wenzhou325o35，China）

Abstract:Inindustrial visualquality inspection，measuring the distancebetween pinsof microelectroniccomponents posesa significantchalenge.TraditionalmethodsrelyheavilyonOpenCVforextensive imageprocesingoperations，whichrequieegiees torepeatedlyadjustparameters，leading toloweiciencyandinsuficientauracyIntherealmofdeepleaing，theseisuscanbe addressedthrough distanceregresionandobject detectiontechniques.MethodOneivolvesusingtheResNet18 network to extract image features and employing fullyconnectedlayers fordistanceregresion toultimately measure pin distances.Method Two trains the YOLOv8n modelto detect pin bounding boxes and then calculates the distances between pins basedon these detections. Aditionallyduetoteghomogeneityofimagescolectedfromproductionlinswherepinpositionsarelargelysimlaodels oftensuffer fromsevereoverfiting.Tomitigatethis，wedesignedasimulated pindistancemeasurementmethodtogeneratediverse data，therebyenhancingtherobustnessofthemodels.Experimentalresultsdemonstratethatthedep learing-baseddistance measurement methods offer a significant improvement in acuracy compared to traditional OpenCV-based approaches.

Keywords: industrial quality inspection; deep learning; object detection; pin distance measurement

0引言

微型電子元器件是電子系統(tǒng)中的關(guān)鍵組件，其質(zhì)量影響整個(gè)系統(tǒng)的性能。隨著工業(yè)生產(chǎn)的快速發(fā)展，微型電子元器件的生產(chǎn)效率大幅提升，但表面缺陷（如填充不足、裂痕、缺焊片、劃痕等）和尺寸缺陷（如引腳間距過(guò)寬/窄、焊片長(zhǎng)度過(guò)長(zhǎng)/短等）等問(wèn)題依然存在。鑒于這些元件價(jià)格低廉且體積小巧，對(duì)單個(gè)元器件的高效精確檢測(cè)成為必要，然而人工審核難以滿(mǎn)足速度與精度的要求。近年來(lái)，隨著人工智能技術(shù)的進(jìn)步，基于機(jī)器視覺(jué)的檢測(cè)方法逐漸成為微型電子元器件質(zhì)檢的主要手段。

在工業(yè)視覺(jué)檢測(cè)中，Zheng等結(jié)合OpenCV的OTSU自動(dòng)閥值處理和Canny邊緣檢測(cè)，提取了膠囊外部輪廓，并通過(guò)形態(tài)特征分析來(lái)識(shí)別內(nèi)部缺陷。He等2采用不對(duì)稱(chēng)侵蝕擴(kuò)張技術(shù)進(jìn)行背景區(qū)域分割，提取不受陰影干擾的特征區(qū)域，并基于菱形點(diǎn)矯正（RSPC）算法和點(diǎn)重排技術(shù)，有效檢測(cè)了電力網(wǎng)絡(luò)中的缺陷。WeiFan等聚焦車(chē)輛表面缺陷檢測(cè)，將快速二維傅里葉變換（2DFFT）應(yīng)用于漫射照明攝像系統(tǒng)中，實(shí)驗(yàn)表明算法效果良好。Keyur及其團(tuán)隊(duì)4在齒輪、硬幣和連接器的分類(lèi)中，提出了融合支持向量機(jī)以及神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法，使準(zhǔn)確率達(dá)到 95% 。DavidFries及其團(tuán)隊(duì)針對(duì)飛行過(guò)程中飛行員遭遇不明原因生理事件（UPEs）所帶來(lái)的安全隱患，開(kāi)發(fā)了一套快速響應(yīng)的機(jī)器視覺(jué)解決方案，該系統(tǒng)集成了先進(jìn)的機(jī)器學(xué)習(xí)算法和認(rèn)知神經(jīng)網(wǎng)絡(luò)技術(shù)，能夠?qū)崟r(shí)分析來(lái)自多種傳感器的數(shù)據(jù)流。YiLuo等設(shè)計(jì)了融合機(jī)器視覺(jué)與被動(dòng)柔性機(jī)制的微孔釘自動(dòng)精密裝配系統(tǒng)，以高精度平臺(tái)定位，機(jī)器視覺(jué)控位，柔性機(jī)構(gòu)補(bǔ)償偏差，實(shí)現(xiàn)高精度裝配并提升生產(chǎn)效率與質(zhì)量。

在電子元器件視覺(jué)檢測(cè)中，Sreenivasan等通過(guò)產(chǎn)品頂部拍攝的圖像中提取重要參數(shù)，使用OpenCV圖像處理的方法檢測(cè)板焊接層缺陷的問(wèn)題。Hawari等基于模糊數(shù)學(xué)理論來(lái)建立模型，并通過(guò)模糊理論結(jié)合機(jī)器視覺(jué)對(duì)微型元器件的引腳進(jìn)行檢查，能夠識(shí)別元器件引腳接觸不良、缺針、歪針等問(wèn)題。Demir等針對(duì)PCB板以及SMD板的缺陷問(wèn)題，在視覺(jué)檢測(cè)的基礎(chǔ)上，結(jié)合二值化處理、形態(tài)學(xué)處理等方法進(jìn)行缺陷檢測(cè)。Huang等[]創(chuàng)新使用了開(kāi)關(guān)中位數(shù)濾波器的方法，在電路芯片引腳缺陷的檢測(cè)中表現(xiàn)良好。劉建群等提出基于OpenCV的表面貼裝芯片引腳檢測(cè)系統(tǒng)，利用圖像處理算法和平面幾何原理，實(shí)現(xiàn)引腳尺寸與高度差異的非接觸式實(shí)時(shí)測(cè)量，實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的穩(wěn)定性與可靠性。何新鵬等[1將神經(jīng)網(wǎng)絡(luò)模型用于芯片引腳缺陷檢測(cè)，針對(duì)俯視圖像中引腳與基板重疊的識(shí)別難題，通過(guò)BP神經(jīng)網(wǎng)絡(luò)提取長(zhǎng)度、寬度等特征參數(shù)，實(shí)現(xiàn)缺陷精準(zhǔn)識(shí)別分類(lèi)。

目前的深度學(xué)習(xí)方法主要應(yīng)用于工業(yè)產(chǎn)品的表面缺陷檢測(cè)，而測(cè)距類(lèi)任務(wù)則主要通過(guò)OpenCV圖像處理流程配置實(shí)現(xiàn)。然而，OpenCV圖像處理存在如下缺點(diǎn)：1.效率低，配置流程需要專(zhuān)業(yè)工程師對(duì)每種元器件逐個(gè)設(shè)置檢測(cè)參數(shù)，尤其對(duì)于型號(hào)眾多的元器件，流程配置效率極低；2.適應(yīng)力差，傳統(tǒng)基于規(guī)則或統(tǒng)計(jì)學(xué)的OpenCV圖像處理方法泛化性較差，環(huán)境的細(xì)微變化也可能導(dǎo)致顯著的檢測(cè)誤差。而使用深度學(xué)習(xí)方法則需要大量的樣本進(jìn)行訓(xùn)練，但是生產(chǎn)線(xiàn)上的圖像往往同質(zhì)性較強(qiáng)，使得訓(xùn)練出來(lái)的模型缺少魯棒性。本文引入兩種深度學(xué)習(xí)的方法進(jìn)行引腳距離測(cè)量。方法一：通過(guò)ResNet18網(wǎng)絡(luò)對(duì)引腳圖像進(jìn)行特征提取，然后全連接輸出距離。方法二：通過(guò)YOLOv8n網(wǎng)絡(luò)對(duì)引腳圖像進(jìn)行目標(biāo)檢測(cè)，然后通過(guò)檢測(cè)框信息計(jì)算距離。另外，本文設(shè)計(jì)了一種引腳圖像生成的方法，通過(guò)模擬生成大量數(shù)據(jù)，生成的圖像質(zhì)檢差異性較大，從而提升模型的魯棒性。

1檢測(cè)方法設(shè)計(jì)

1.1OpenCV檢測(cè)方法

基于OpenCV的檢測(cè)方法主要用到閥值分割、輪廓查找等算法。其中：1.閾值分割將圖像轉(zhuǎn)化為二值圖。由于采集圖像的環(huán)境變化可能導(dǎo)致引腳灰度值變化，因此，本文采用OTSU的方法進(jìn)行自適應(yīng)閾值分割；2.形態(tài)變換可以去除圖像上的噪點(diǎn)。由于采集的圖像可能存在噪點(diǎn)，會(huì)影響輪廓查找，所以需要形態(tài)變換去除噪點(diǎn)；3.邊緣檢測(cè)獲取到引腳的外部輪廓，進(jìn)一步提升輪廓查找的精度；4.輪廓查找區(qū)分了不同輪廓個(gè)體。邊緣檢測(cè)只能得到整體的邊緣，無(wú)法區(qū)分輪廓個(gè)體，因此需要輪廓查找區(qū)分不同引腳個(gè)體；5.最后由輪廓中心計(jì)算出兩個(gè)引腳的距離，通過(guò)OpenCV中輪廓的矩計(jì)算出輪廓的中心。如圖1所示。

1.2ResNet18距離測(cè)量方法

ResNet18由18層網(wǎng)絡(luò)構(gòu)成，包含卷積層、批量歸一化層、池化層等，網(wǎng)絡(luò)采用線(xiàn)性整流函數(shù)作為激活函數(shù)。該網(wǎng)絡(luò)參數(shù)量較少，計(jì)算成本更低，符合微型元器件質(zhì)檢所需要的速度快的特點(diǎn)，且網(wǎng)絡(luò)的輸出可以根據(jù)需求調(diào)整，適合距離測(cè)量的要求。本文主要通過(guò)ResNet18網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，由全連接層輸出距離的回歸預(yù)測(cè)值。如圖2所示。通過(guò)模型訓(xùn)練進(jìn)行參數(shù)回歸，得到距離測(cè)量模型。

1.3YOLO目標(biāo)檢測(cè)方法

YOLOv8n是YOLO系列網(wǎng)絡(luò)中輕量級(jí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，其骨干網(wǎng)絡(luò)采用CSPNet（CrossStagePartialNetwork）結(jié)構(gòu)，能夠在保證特征提取能力的同時(shí)，減少計(jì)算量和模型參數(shù)；頸部網(wǎng)絡(luò)采用了FPN（Feature Pyramid Network） 和 PAN（PathAggregationNetwork）相結(jié)合的結(jié)構(gòu)，用于融合不同尺度的特征圖，增強(qiáng)模型對(duì)不同大小目標(biāo)的檢測(cè)能力；頭部網(wǎng)絡(luò)采用了簡(jiǎn)單高效的檢測(cè)頭結(jié)構(gòu)，用于預(yù)測(cè)目標(biāo)的類(lèi)別和位置。本文通過(guò)YO-LOv8n檢測(cè)引腳位置，然后通過(guò)檢測(cè)框信息計(jì)算兩個(gè)引腳之間的距離。如圖3所示。

2實(shí)驗(yàn)2.1實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的三種算法在表1所示的環(huán)境中運(yùn)行。其中OpenCV檢測(cè)方法在CPU上運(yùn)行，ResNet18以及YOLOv8n檢測(cè)方法在GPU上運(yùn)行。

2.2數(shù)據(jù)集構(gòu)建

在微型電子元器件的視覺(jué)質(zhì)檢中，通常需要先對(duì)元器件定位，定位后，引腳將在畫(huà)面中的固定位置，通過(guò)圖像相對(duì)位置剪切即可得到多個(gè)引腳對(duì)圖像，下一步，通過(guò)本文的方法進(jìn)行距離測(cè)量。然而，由于生產(chǎn)線(xiàn)上拍攝的圖片相似度過(guò)高，每張圖片的元器件基本在同一個(gè)位置，此類(lèi)數(shù)據(jù)會(huì)使得模型訓(xùn)練過(guò)擬合，降低模型的魯棒性。因此本文通過(guò)模擬的方法生成引腳對(duì)數(shù)據(jù)集，通過(guò)隨機(jī)產(chǎn)生背景，將引腳圖像隨機(jī)覆蓋于背景上，可以得到背景不同、引腳距離不同的多樣性數(shù)據(jù)集。具體方法如下：

1.在真實(shí)的元器件圖像中隨機(jī)截取背景圖像20張;2.在真實(shí)的元器件圖像中隨機(jī)截取引腳圖像100張；3.將背景圖像和元器件圖像按照7:3分成訓(xùn)練集和測(cè)試集；4.隨機(jī)選取2個(gè)引腳圖像，隨機(jī)選取1個(gè)背景圖像；5.將2個(gè)引腳圖像隨機(jī)放置在背景圖像中，保持y坐標(biāo)相同，記錄間距；

6.在訓(xùn)練集和測(cè)試集中，重復(fù)4-5步驟，生成訓(xùn)練圖像7000張、測(cè)試圖像3000張

另外，本文通過(guò)對(duì)真實(shí)環(huán)境數(shù)據(jù)的標(biāo)注，得到了包含1000張真實(shí)環(huán)境圖像的數(shù)據(jù)集，用于對(duì)比。

2.3訓(xùn)練過(guò)程

由于OpenCV的方法不涉及模型訓(xùn)練，因此此處僅說(shuō)明ResNet18以及YOLOv8n模型的訓(xùn)練過(guò)程。訓(xùn)練參數(shù)如表2所示。

此外，訓(xùn)練中學(xué)習(xí)率過(guò)早降至過(guò)低值可能導(dǎo)致模型陷入局部最優(yōu)，終止參數(shù)更新的局面。本文使用了PyTorch中的學(xué)習(xí)率調(diào)度器來(lái)協(xié)調(diào)學(xué)習(xí)率的調(diào)整。根據(jù)余弦退火策略動(dòng)態(tài)調(diào)整優(yōu)化器的學(xué)習(xí)率，具體來(lái)說(shuō)，基于余弦函數(shù)的特性來(lái)調(diào)整學(xué)習(xí)率。學(xué)習(xí)率的變化軌跡遵循余弦函數(shù)的一部分，使得學(xué)習(xí)率以一種平滑的方式先下降后上升，模擬了學(xué)習(xí)過(guò)程中的“熱身”和“冷卻”。這種機(jī)制有助于模型跳出局部最優(yōu)解，特別是在訓(xùn)練后期，當(dāng)學(xué)習(xí)率變得非常小的時(shí)候，通過(guò)重啟學(xué)習(xí)率可以幫助找到更好的解決方案。其中半個(gè)周期的長(zhǎng)度設(shè)置為50，即學(xué)習(xí)率從初始值降至最低值所需的時(shí)間步長(zhǎng)為50個(gè)輪次。

2.4評(píng)價(jià)指標(biāo)

對(duì)于工業(yè)元器件引腳測(cè)距而言，精度和速度是兩個(gè)重要的指標(biāo)。對(duì)于精度而言，根據(jù)具體的算法，本文檢測(cè)了box損失以及MSE損失。速度也將在后文中給出對(duì)比結(jié)果。

2.4.1box損失

對(duì)于YOLO目標(biāo)檢測(cè)的方法，首先需要得到引腳的檢測(cè)框，然后測(cè)量距離。模型訓(xùn)練的損失為邊框損失（boxloss)，主要針對(duì)邊界框的回歸。具體的方法主要為IoU損失（IntersectionoverUnionLoss）。該損失具有尺度不變性，直接反映了預(yù)測(cè)框質(zhì)量的特點(diǎn)，該損失主要用于衡量模型產(chǎn)生的預(yù)測(cè)邊界框B 和實(shí)際邊界框 A 兩者之間的重合度，其中預(yù)測(cè)邊界框和實(shí)際邊界框重疊部分面積為兩者交集，兩者組成圖形的面積為兩者并集，交并比即為兩邊界框交集與并集的比值交并比損失，IoU公式為：

IoU損失能夠有效衡量建模模型對(duì)引腳的定位的精確度，通過(guò)對(duì)該指標(biāo)的追蹤，模型能夠有效擬合，達(dá)到預(yù)期效果。IoU的值越高，表示模型預(yù)測(cè)的邊界框和標(biāo)注的邊界框重合度越高，IoU的值越低，表示模型預(yù)測(cè)的邊界框和標(biāo)注的邊界框重合度越低。其值在0到1之間，對(duì)于YOLOv8n檢測(cè)方法，模型訓(xùn)練中監(jiān)督了IoU損失值，其下降過(guò)程如圖5所示。

2.4.2MSE損失

對(duì)于OpenCV檢測(cè)方法，通過(guò)計(jì)算兩個(gè)引腳輪廓中心的距離，得到預(yù)測(cè)的引腳距離；對(duì)于ResNet18檢測(cè)方法，通過(guò)網(wǎng)絡(luò)直接得出一個(gè)數(shù)值，表示預(yù)測(cè)的量的引腳距離；對(duì)于YOLOv8n檢測(cè)方法，通過(guò)檢測(cè)兩個(gè)引腳邊界框，計(jì)算兩個(gè)邊界框的距離，得到了預(yù)測(cè)的引腳距離。以上三個(gè)預(yù)測(cè)的引腳距離需要和實(shí)際引腳距離作比較，本文采用均方誤差（MSE）來(lái)衡量預(yù)測(cè)值與標(biāo)注值的誤差。具體公式為：

其中： n 為樣本個(gè)數(shù)， y_i 為真實(shí)值， 為預(yù)測(cè)值。MSE值越大，表示預(yù)測(cè)的距離和標(biāo)注的距離差距越大，MSE值越小，則表示預(yù)測(cè)的距離和標(biāo)注的距離差距越小。對(duì)于ResNet18檢測(cè)方法，模型訓(xùn)練過(guò)程中監(jiān)督了MSE值，其下降過(guò)程如圖6所示。

2.5結(jié)果對(duì)比

通過(guò)三種方法，計(jì)算出最終的MSE值以及檢測(cè)時(shí)間。如表3所示。

通過(guò)表3可以看出，ResNet18檢測(cè)方法以及YOLOv8n檢測(cè)方法的MSE值均比OpenCV檢測(cè)方法要低，且ResNet18檢測(cè)方法的MSE損失值最低。對(duì)于真實(shí)數(shù)據(jù)的MSE損失，由于真實(shí)環(huán)境采集的數(shù)據(jù)中，引腳間距比較集中，檢測(cè)方法表現(xiàn)效果更好，MSE損失值更低。對(duì)于檢測(cè)時(shí)間而言，OpenCV檢測(cè)方法由于算法簡(jiǎn)單，計(jì)算速度較快，達(dá)到每秒2396次；ResNet18檢測(cè)方法雖然網(wǎng)絡(luò)相對(duì)較復(fù)雜，但是由于深度學(xué)習(xí)模型可以并行計(jì)算，最終檢測(cè)時(shí)間最快，達(dá)到每秒3665次；YOLOv8n檢測(cè)方法雖然也可以并行計(jì)算，但是由于網(wǎng)絡(luò)比較復(fù)雜，綜合計(jì)算速度較差，只有每秒1486次。綜合對(duì)比，ResNet18檢測(cè)方法效果最優(yōu)，不僅精度高而且速度快，YOLOv8n檢測(cè)方法速度相對(duì)較低，但是精度大幅度提升。

3結(jié)論

在工業(yè)視覺(jué)質(zhì)量檢測(cè)領(lǐng)域中，傳統(tǒng)的基于OpenCV的方法需要反復(fù)調(diào)整參數(shù)，過(guò)程耗時(shí)且精度低。此外，由于生產(chǎn)線(xiàn)上的圖像采集環(huán)境相對(duì)固定，導(dǎo)致訓(xùn)練數(shù)據(jù)集同質(zhì)性較強(qiáng)，容易引起模型過(guò)擬合。本文基于ResNet18網(wǎng)絡(luò)的方案，以及YO-LOv8n目標(biāo)檢測(cè)模型計(jì)算引腳之間的距離，另外設(shè)計(jì)了一種模擬生成引腳測(cè)距的方法，增加了訓(xùn)練數(shù)據(jù)的多樣性，從而增強(qiáng)了模型的泛化能力和魯棒性。實(shí)驗(yàn)表明，深度學(xué)習(xí)方法精度有明顯提升，而且ResNet18檢測(cè)方法速度有大幅度提升。

參考文獻(xiàn)：

[1]ZHENG S，ZHANGW，WANGL，etal.Special shaped softgel inspectionsystembasedonmachine vision[C].2015IEEE9th International Conference on Anti-counterfeiting，Security，and Identification(ASID).IEEE，2015:124-127.

[2]HEP，SUNX，ZHOUG.Defect detectionofenergizedgrid basedonMachineVision[C].2020IEEE 5thInternational Conference on Signal and Image Processing(ICSIP).IEEE，2020:376-380.

[3]FANW，LUC，TSUJINO K.Anautomatic machine vision method forthe flawdetectiononcar's body[C].2015 IEE 7th International Conference on Awareness Science and Technology(iCAST).IEEE，2O15:13-18.

[4]JOSHIKD，SURGENORBW.Smallpartsclassficationwithflexible machinevisionandahybridclassfierC].0185th International Conference on Mechatronics and Machine Vision in Practice(M2VIP). IEEE，2018:1-6.

[5]FRIESD，PHILLIPSJ，MCINNISM，etal.RapidMulti-SensorFusionandIntegrationUsingAI-enabledMachineVisionfor Real-TimeOperatorPhysiological Status[C].2021IEEEResearchandAplications ofPhotonicsinDefenseConference(RAPID). IEEE，2021:1-2.

[6]LUOY，WEIW，WANGX.Research forhole-peg assemblybasedonmachinevisionandflexiblemechanism[C].2010 International Conference on Mechanic Automation and Control Engineering. IEEE，2010:5326-5330.

[7]SREENIVASAN K K，SRINATHM，KHOTANZADA.Automated Vision System for Inspectionof ICPadsandBonds[J].IEEE Transactions on Components，Hybrids，and Manufacturing Technology，1993，16(3):333-338.

[8]HAWARIY，SALAMIMJE，ABURAS AA.Fuzzy Based Technique forMicrochip Lead Inspection Using Machine Vision[C]. 2008 International Conference on Computer and Communication Engineering.IEEE，2008:1222-1226.

[9]DEMIRD，BIRECIKS，KURUGOLLUF，etal.Quality Inspection iPCsandSMDs Using Computer VisionTechiques[C]. Proceedings of IECON'94-20th Annual Conference of IEEE Industrial Electronics.IEEE，1994，2:857-861.

[10]HUANGY，PANQ，LIUQ，etal.Applicationof Improved CannyAlgorithmonthe IcChipPinInspection[C].Advanced MaterialsResearch，2011，317:854-858.

[11]劉建群，曠輝，丁少華.基于視覺(jué)的表面貼裝芯片引腳檢測(cè)系統(tǒng)的研究[J].中國(guó)機(jī)械工程，2007(16):1908-1912.

[12]何新鵬.基于神經(jīng)網(wǎng)絡(luò)的芯片引腳檢測(cè)系統(tǒng)的研究[D].廣東：廣東工業(yè)大學(xué)，2011.

[13]姚興田，劉建峰，邱自學(xué)，等.集成電路芯片引腳外觀自動(dòng)檢測(cè)系統(tǒng)的研究[J].機(jī)械設(shè)計(jì)與制造，2010(11):205-206.

（責(zé)任編輯：麻小珍）