賴武剛，李家楠，林凡強

基于改進YOLOv5的輕量級芯片封裝缺陷檢測方法

賴武剛，李家楠，林凡強

（成都理工大學 機電工程學院，成都 610059）

針對芯片封裝缺陷檢測過程中檢測精度低與模型難部署的問題，提出YOLOv5-SPM檢測網(wǎng)絡，旨在提高檢測精度并實現(xiàn)模型輕量化。首先，通過在特征提取模塊后增加通道注意力機制，提高缺陷通道的關注度，減少冗余特征的干擾，進而提升目標的檢測精度。其次，在主干網(wǎng)絡與頸部網(wǎng)絡連接處使用快速特征金字塔結構，更好地融合了自建芯片數(shù)據(jù)集的多尺度特征信息。最后，將主干網(wǎng)絡的特征提取模塊更換為MobileNetV3，將常規(guī)卷積更換為深度卷積和點卷積，有效降低了模型尺寸和計算量。經(jīng)過改進后的新網(wǎng)絡YOLOv5s-SPM在模型參數(shù)下降29.5%的情況下，平均精度較原網(wǎng)絡提高了0.6%，準確率提高了3.2%。新網(wǎng)絡相較于傳統(tǒng)網(wǎng)絡在芯片缺陷檢測任務中實現(xiàn)了模型精度與速度的統(tǒng)一提高，同時由于模型參數(shù)減小了29.5%，更適合部署在資源有限的工業(yè)嵌入式設備上。

YOLOv5；芯片封裝缺陷檢測；通道注意力機制；特征金字塔池化；輕量化

芯片技術是當今高新技術中的重要組成部分，其中封裝是芯片從制造到成品不可或缺的關鍵環(huán)節(jié)之一。然而在工廠加工生產(chǎn)中時常會出現(xiàn)劃痕或缺腳等各種封裝缺陷，對芯片的絲印識別和實際使用都會造成巨大影響，從而降低良品率。因此，對芯片封裝缺陷進行檢測有著重要的現(xiàn)實意義。

傳統(tǒng)方法對芯片封裝缺陷的檢測一般使用數(shù)字圖像處理技術[1]，但近年來隨著神經(jīng)網(wǎng)絡技術的發(fā)展，逐漸引入深度學習來進行缺陷識別，其中大致分為兩階段模型Faster R-CNN和單階段模型YOLO系列。對于兩階段模型，Zhang等[2]利用改進后的Faster R-CNN，提出了一種全新的LED芯片表面缺陷檢測方法。該方法首先在COCO數(shù)據(jù)集上完成了預訓練，然后再在收集的LED芯片表面數(shù)據(jù)集上完成了微調。實驗結果表明，該方法在生產(chǎn)線上具有良好的檢測效果。

考慮到兩階段網(wǎng)絡的檢測速度相對較慢，有許多學者采用單階段模型。Liu等[3]提出了一種基于YOLOv3的小目標檢測方法UAV-YOLO，通過對網(wǎng)絡淺層添加額外的卷積層來豐富空間信息，并優(yōu)化了網(wǎng)絡訓練方法，能夠適應不同環(huán)境下的小目標檢測任務。周天宇等[4]改進了YOLOv3的特征提取網(wǎng)絡，設計了4個檢測尺度，并優(yōu)化了網(wǎng)絡的初始檢測框，實現(xiàn)了對多種載波芯片缺陷的高精度檢測。相似地，Wang等[5]提出了一種名為YOLOv4-SA的目標檢測網(wǎng)絡，通過將注意力機制與YOLOv4相結合，用于微小缺陷的檢測。該網(wǎng)絡由特征提取主干、空間注意模塊（SAM）和特征融合模塊組成。通過SAM的校正，使特征圖能夠突出缺陷區(qū)域，從而更有效地識別微小缺陷。實驗證明，該網(wǎng)絡可以有效提高平均精度均值（AP）。

除此之外，羅月童等[6]提出一種無監(jiān)督學習的方法，對含有缺陷的芯片圖像利用卷積去噪自編碼器進行重構，再將重構后的新圖像與輸入圖像相減，得到的結果被稱為“殘差圖”。這種方法能夠提取出包含缺陷信息的特征圖，從而更容易地進行缺陷檢測。

可以看出，在使用深度學習技術進行芯片封裝缺陷檢測的任務中，監(jiān)督學習占主流趨勢，而模型的檢測速度與精度，還有模型大小一直都是學者們關注的重點。為進一步解決這些問題，本文以更先進的YOLOv5網(wǎng)絡為基礎，進一步提升模型性能指標，實現(xiàn)模型的輕量化，進而降低芯片封裝缺陷檢測設備的部署門檻。

1 YOLOv5原網(wǎng)絡介紹

YOLOv5是一種快速的目標檢測算法[7]，能夠實時地對圖像中的物體進行分類和定位。其網(wǎng)絡結構如圖1所示。

YOLOv5網(wǎng)絡結構包含4個部分：Input、Backbone、Neck和Head[8]。

Input部分：根據(jù)真實框分布使用k-means聚類算法進行自適應錨框計算，并采用與YOLOv4相同的數(shù)據(jù)增強方式。

Backbone部分：主要由CBS、C3、SPPF等模塊組成。其中C3模塊包含3個CBS層和多個Bottleneck層，將原有特征圖分為兩部分，分別為正常卷積和殘差卷積，然后將兩者拼接，從而對殘差特征進行學習。SPPF模塊（空間金字塔池化）對特征圖進行卷積和串行最大池化，生成包含多尺度信息的最終特征圖。

Neck部分：主要采用了FPN（Feature Pyramid Networks）來獲取多級特征圖并接入PAN（Path Aggregation Network）模塊進行特征聚合，以增強模型對不同尺度目標特征的融合。

圖1 YOLOv5原網(wǎng)絡

Head部分：用于完成預測的任務。輸出端包含損失函數(shù)的計算和非極大值抑制（NMS），NMS用于在目標檢測任務中解決生成多個預測框的問題，有效解決冗余[9]。

2 本文改進的YOLOv5網(wǎng)絡

本文改進的YOLOv5網(wǎng)絡模型結構如圖2所示。網(wǎng)絡采用MobileBlock（MobilenetV3 Block）更換了網(wǎng)絡主干部分的特征提取模塊，使用深度卷積和點卷積的耦合取代常規(guī)卷積，實現(xiàn)了模型的輕量化。此外，在MobileBlock的輸出特征圖進行特征融合之前，使用SE通道注意力機制強化目標的特征信息，從而提高網(wǎng)絡檢測精度。同時，本網(wǎng)絡使用SimSPPF特征金字塔模塊對多尺度信息進行融合，提高了模型的魯棒性，從而提高模型對芯片封裝缺陷的檢測精度。

2.1 SE模塊的引入

通道注意力機制可以幫助模型更好地學習目標特征。具體來說，在使用大量的芯片缺陷訓練數(shù)據(jù)后，網(wǎng)絡會自適應地決定哪些通道對檢測結果的影響更顯著，從而使模型更加專注于學習目標特征，減少對冗余信息的依賴，進而提高檢測精度[10]。

再使用excitation操作，構建全連接網(wǎng)絡，從而獲取特征圖每個通道的重要程度：

2.2 SimSPPF空間金字塔池化

SPP（Spatial Pyramid Pooling）空間金字塔池化是一種廣泛應用于各種深度學習模型中的特征池化模塊[11]。在該模塊的基礎上，本文使用了SimSPPF模塊，該模塊主要優(yōu)化了SPP模塊中的并行池化操作。由于并行池化操作需要同時處理多個池化層，因此計算量較大，處理速度較慢。SimSPPF模塊將并行池化操作變?yōu)榇胁僮?，同時將激活函數(shù)從SiLU替換為Relu，大大降低了計算量，提高了處理速度。SPP與SimSPPF結構見圖4。

圖2 本文改進的YOLOv5網(wǎng)絡

圖3 SE模塊結構

2.3 主干網(wǎng)絡MobileBlock模塊

本文使用的MobileBlock模塊由MobilenetV3網(wǎng)絡構成[12]。模塊如圖5所示，該模塊極大地降低了網(wǎng)絡的計算量，同時經(jīng)過后續(xù)的實驗驗證，使用MobileBlock模塊能保證對芯片封裝缺陷的檢測效果，同時使得模型更加輕量化。

MobileBlock使用的深度可分離卷積是一種輕量化卷積操作，它將標準卷積劃分為深度卷積和點卷積2個獨立的層。其中深度卷積通過對每層特征圖應用一個單獨的卷積核來執(zhí)行過濾步驟，而點卷積則通過輸入通道的點對點線性計算來構建過濾后的新特征。這種分解方式可以大大減少參數(shù)量和計算量，從而實現(xiàn)模型的輕量化。深度卷積計算式見式（3）。

本文使用MobileBlock替換原YOLOv5s網(wǎng)絡中的C3模塊，并且對骨干網(wǎng)絡進行精簡處理，減少了特征提取的次數(shù)，進一步提升了芯片封裝缺陷檢測特征提取網(wǎng)絡的輕量化程度。

3 結果與分析

3.1 實驗環(huán)境及數(shù)據(jù)集

本文的實驗環(huán)境基于AutoDL云平臺，使用PyTorch 1.9.0框架，Python版本3.8.10，CUDA版本12.0。GPU為RTX 3080，CPU配置為12 vCPU Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50 GHz。實驗在強聚光效果的點光源照射條件下，針對SOT-89封裝的AMS1117穩(wěn)壓芯片使用圖像采集與捕捉平臺（圖6）搭載的工業(yè)智能相機采集芯片圖像，建立自建芯片封裝數(shù)據(jù)集。其中相機的處理器為Intel四核1.9 GHz，CPU為4 GB內存，相機幀頻為30幀/s，分辨率為2 592×2 048，后續(xù)處理成640×640大小。數(shù)據(jù)集中含有劃痕（Scratch）和引腳缺損（Pin Defect）2種類型的缺陷，共計535張圖片[13]，使用4-mosaic數(shù)據(jù)增強方式提高數(shù)據(jù)集豐富程度，以防止模型過擬合。

圖片為640×640的RGB三通道圖，建立數(shù)據(jù)集過程中保證待檢測芯片位于圖片正中，還原工業(yè)檢測流程，同時按照8∶2的比例將數(shù)據(jù)集劃分為訓練集和驗證集2個部分。其中，圖7為拍攝的原圖；圖8為檢測結果圖，圖8結果表明可以正確檢測出所含有的缺陷。

3.2 評估指標

通過從模型參數(shù)量、預測速度、運算量、準確率、召回率、平均精度P、平均精度均值AP等方面綜合評估模型性能及復雜度。其中準確率表示預測正確的比例，召回率表示預測的全面性；平均精度P通過計算-曲線下的面積，得到模型在所有置信度閾值下的平均精度[14]，通過對每個類別的P求均值就可以得到所有類別的平均精度均值AP[15]。其中準確率、召回率、平均精度P和平均精度均值AP的計算公式如下：

圖4 SPP和SimSPPF結構

Fig.4 Structure of SPP and SimSPPF

圖5 MobileBlock模塊

圖6 圖像采集與捕捉平臺

圖7 芯片封裝缺陷檢測原圖

圖8 芯片封裝缺陷檢測結果

3.3 實驗結果與分析

3.3.1 模型復雜度與性能對比

為了驗證單一結構改變對模型復雜度與性能的影響，本文進行了一系列實驗，使用了YOLOv5s作為基準網(wǎng)絡，在此基礎上進行了改進。各網(wǎng)絡模型的復雜度與性能對比如表1和表2所示，其中AP@0.5值表示oU閾值為0.5時的平均精度均值，AP@0.5:0.95值為oU閾值從0.5變化到0.95上的平均精度均值。

表1 模型復雜度對比

Tab.1 Comparison of model complexity

注：加粗字體均為表格中所有模型該項指標的最優(yōu)值，其中預測速度指標為5次實驗結果的期望值。

表2 模型性能對比

Tab.2 Comparison of model performance

分析實驗結果可知，YOLOv5s-S在少量提高模型復雜度的基礎上，AP@0.5的數(shù)值上提升了1.2%，AP@0.5:0.95的數(shù)值上提升了2.1%，說明通過在不同維度特征圖后添加通道注意力機制能有效地對目標特征進行強化，從而使得模型更好地識別出芯片封裝缺陷。YOLOv5s-P在復雜度不變的情況下，略微提升模型預測速度，且AP數(shù)值比原網(wǎng)絡提高了0.8%，說明串行結構相較于并行結構的特征金字塔能更好地融合自建芯片數(shù)據(jù)集的尺度特征，魯棒性更強。YOLOv5s-M在略微降低模型性能的同時，只使用原模型70%的參數(shù)，極大地降低了模型復雜度，能更快地進行預測，滿足輕量化要求。本文提出的YOLOv5s-SPM在模型復雜度遠低于YOLOv5s原模型的基礎上，AP@0.5的數(shù)值提升了0.6%，AP@0.5:0.95的數(shù)值提升了0.8%，進一步提升了對劃痕與引腳損傷2種缺陷的定位與識別精確度。

3.3.2 損失函數(shù)分析

YOLOv5s的損失函數(shù)分為cls_loss、obj_loss以及box_loss共3個部分[17]。其中cls_loss和obj_loss均采用交叉熵損失，box_loss則采用CIoU計算損失[18]，相關公式如下：

本文提出的YOLOv5s-SPM網(wǎng)絡在驗證集上的損失函數(shù)如圖9所示。

設置訓練的迭代次數(shù)為400次，在0～100次時損失函數(shù)劇烈下降，之后訓練速度放緩，直至400輪迭代結束各損失函數(shù)均趨于平穩(wěn)，最終并未出現(xiàn)過擬合現(xiàn)象。

3.3.3 不同模型對比

為了進一步評估改進的模型在自建芯片數(shù)據(jù)集上的性能，選取YOLO系列的其他模型以及經(jīng)典的輕量化模型進行了對比實驗，用來驗證所提出模型的綜合性能。不同模型檢測結果的對比如表3所示，其中Ghostnet為將YOLOv5s骨干網(wǎng)絡替換對應輕量化網(wǎng)絡的模型。

圖9 YOLOv5-SPM損失函數(shù)迭代曲線

表3 不同模型檢測結果對比

Tab.3 Comparison of detection results of different models

分析YOLOv5s、YOLOv7-tiny、GhostNet，YOLOv5s-SPM模型的各類型缺陷檢測結果，從表3可以看出，YOLOv5-SPM的平均精度對比前3個模型分別提高了0.6%、16.3%，2.9%，且在2種類型的缺陷檢測任務中的表現(xiàn)也更加優(yōu)異。證明本文設計的YOLOv5s-SPM模型優(yōu)于YOLOv5s、YOLOv7-tiny、GhostNet等3個模型。同時，不同模型的性能對比結果如表4所示。

表4 不同模型性能對比

Tab.4 Performance comparison of different models

通過對比可以看出，相較于擁有最快預測速度的YOLOv7-tiny，YOLOv5-SPM在模型參數(shù)量、準確率、召回率以及AP@0.5等多項指標表現(xiàn)更優(yōu)。盡管改進后的網(wǎng)絡預測速度低于YOLOv7-tiny的網(wǎng)絡預測速度，但在保證幀率為60幀/s的情況下平均精度超過了17%，能滿足芯片封裝缺陷檢測的實時性要求。與經(jīng)典輕量級網(wǎng)絡GhostNet相比，YOLOv5s-SPM在模型參數(shù)量上僅相差6%，而準確率和AP@0.5指標分別高出6%和3%，說明MobilenetV3在整體性能上的表現(xiàn)要優(yōu)于GhostNet。綜合考慮，本文提出的YOLOv5s-SPM模型與新版本的YOLO以及典型輕量化模型相比綜合性能優(yōu)秀，平均精度、檢測速度和模型復雜度均滿足工業(yè)生產(chǎn)需求，能夠處理典型的生產(chǎn)關鍵問題（如實時性問題和小目標檢測問題）[19]，并且能夠方便地在嵌入式設備中進行部署，能良好地完成芯片封裝缺陷檢測任務。

4 結語

本文提出了一種基于改進YOLOv5的芯片封裝缺陷檢測方法，通過在自建芯片數(shù)據(jù)集上進行訓練、對比和優(yōu)化。通過引入SE通道注意力機制，強化了目標特征的重要程度進而提高了檢測精度；在主干網(wǎng)絡和頸部網(wǎng)絡之間加入了SimSPPF特征金字塔結構用來融合不同尺度的特征信息；將主干網(wǎng)絡替換為MobileNetV3，并使用深度可分離卷積，實現(xiàn)輕量化目標的同時，性能優(yōu)于原YOLOv5網(wǎng)絡。后續(xù)將進行數(shù)據(jù)集的擴充工作，增加可識別缺陷類別，同時進一步提高模型的檢測精度和速度，并研究如何將模型部署在工業(yè)嵌入式設備上，以進一步優(yōu)化和完善芯片封裝缺陷檢測平臺在實際封裝缺陷檢測應用中的表現(xiàn)，拓展其應用場景。

[1] 王新宇, 蔣三新. 芯片缺陷檢測綜述[J]. 現(xiàn)代制造技術與裝備, 2022, 58(5): 94-98.

WANG Xin-yu, JIANG San-xin. Overview of Chip Defect Detection[J]. Modern Manufacturing Technology and Equipment, 2022, 58(5): 94-98.

[2] ZHANG Zhi-wei, GONG Qian, CAO Yuan, et al. Detecting LED Chip Surface Defects with Modified Faster R-CNN[C]// 18th International SoC Design Conference, Jeju Island, 2021: 268-269.

[3] LIU Ming-jie, WANG Xian-hao, ZHOU An-jian, et al. UAV-YOLO: Small Object Detection on Unmanned Aerial Vehicle Perspective[J]. Sensors, 2020, 20(8): 2238.

[4] 周天宇, 朱啟兵, 黃敏, 等. 基于改進YOLOV3的載波芯片缺陷檢測[J]. 激光與光電子學進展, 2021, 58(12): 78-85.

ZHOU Tian-yu, ZHU Qi-bing, HUANG Min, et al. Defect Detection of Chip on Carrier Based on Improved YOLOV3[J]. Laser & Optoelectronics Progress, 2021, 58(12): 78-85.

[5] WANG Shuo, WANG Hong-yu, YANG Fan, et al. Attention-Based Deep Learning for Chip-Surface-Defect Detection[J]. The International Journal of Advanced Manufacturing Technology, 2022, 121(3/4): 1957.

[6] 羅月童, 卞景帥, 張蒙, 等. 基于卷積去噪自編碼器的芯片表面弱缺陷檢測方法[J]. 計算機科學, 2020, 47(2): 118-125.

LUO Yue-tong, BIAN Jing-shuai, ZHANG Meng, et al. Detection Method of Chip Surface Weak Defect Based on Convolution Denoising Auto-Encoders[J]. Computer Science, 2020, 47(2): 118-125.

[7] WANG Min, YANG Wen-zhong, WANG Lie-jun, et al. FE-YOLOv5: Feature Enhancement Network Based on YOLOv5 for Small Object Detection[J]. Journal of Visual Communication and Image Representation, 2023, 90: 103752.

[8] HE Di, XU Ke, ZHOU Peng. Defect Detection of Hot Rolled Steels with a New Object Detection Framework Called Classification Priority Network[J]. Computers & Industrial Engineering, 2018, 128: 290-297.

[9] ROY A M, BOSE R, BHADURI J. A Fast Accurate Fine-Grain Object Detection Model Based on YOLOv4 Deep Neural Network[EB/OL]. 2021: arXiv: 2111.00298. https://arxiv.org/abs/2111.00298

[10] 王一, 龔肖杰, 程佳, 等. 基于改進YOLOv5的金屬工件表面缺陷檢測[J]. 包裝工程, 2022, 43(15): 54-60.

WANG Yi, GONG Xiao-jie, CHENG Jia, et al. Surface Defect Detection of Metal Workpiece Based on Improved YOLOv5[J]. Packaging Engineering, 2022, 43(15): 54-60.

[11] HE K, ZHANG X, REN S, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[12] JIA Liang-quan, WANG Ya-wen, ZANG Ying, et al. MobilenetV3 With CBAM for Bamboo Stick Counting[J]. IEEE Access, 2022, 10: 53963-53971.

[13] 武澤坤, 葉曉嫻, 陳夢. 基于改進YOLOv5的藥用膠囊表面缺陷檢測方法[J]. 包裝工程, 2022, 43(23): 297-304.

WU Ze-kun, YE Xiao-xian, CHEN Meng. Surface Defect Detection Method for Pharmaceutical Capsules Based on Modified YOLOv5[J]. Packaging Engineering, 2022, 43(23): 297-304.

[14] WAN Guang, FANG Hong-bo, WANG Deng-zhun, et al. Ceramic Tile Surface Defect Detection Based on Deep Learning[J]. Ceramics International, 2022, 48(8): 11085-11093.

[15] 馬學森, 馬吉, 蔣功輝, 等. 基于注意力機制和多尺度特征融合的絕緣子缺陷檢測方法[J]. 南京大學學報(自然科學), 2022, 58(6): 1020-1029.

MA Xue-sen, MA Ji, JIANG Gong-hui, et al. Insulator Defect Detection Method Based on Attention Mechanism and Multi-Scale Feature Fusion[J]. Journal of Nanjing University (Natural Science), 2022, 58(6): 1020-1029.

[16] 李鑫, 汪誠, 李彬, 等. 改進YOLOv5的鋼材表面缺陷檢測算法[J]. 空軍工程大學學報(自然科學版), 2022, 23(2): 26-33.

LI Xin, WANG Cheng, LI Bin, et al. Steel Surface Defect Detection Algorithm Based on Improved YOLOv5[J]. Journal of Air Force Engineering University (Natural Science Edition), 2022, 23(2): 26-33.

[17] XUE Jin-lin, CHENG Feng, LI Yu-qing, et al. Detection of Farmland Obstacles Based on an Improved YOLOv5s Algorithm by Using CIoU and Anchor Box Scale Clustering[J]. Sensors, 2022, 22: 1790.

[18] LIU Yuan-jie, LYU Zun-chao, HU Ying-yue, et al. Improved Cotton Seed Breakage Detection Based on YOLOv5s[J]. Agriculture, 2022, 12: 1630.

[19] CHEN Ya-jun, DING Yuan-yuan, FAN Zhao, et al. Surface Defect Detection Methods for Industrial Products: A Review[J]. Applied Sciences, 2021, 11(16): 7657.

Lightweight Chip Package Defect Detection Method Based on Improved YOLOv5

LAI Wu-gang, LI Jia-nan, LIN Fan-qiang

(College of Mechanical and Electrical Engineering, Chengdu University of Technology, Chengdu 610059, China)

The work aims to propose a YOLOv5-SPM detection network, solve the challenges concerning diminished detection accuracy and complex model deployment encountered in chip packaging defect detection, to enhance detection accuracy and facilitate the implementation of lightweight models. The channel attention mechanism was placed after each feature extraction module to increase the importance of defect-related channels, reduce the interference of redundant features and improve the target detection accuracy. Then, the SimSPPF pyramid pooling structure was used in the connection of the backbone network and the neck network to integrate multi-resolution features of the self-built chip data set more effectively. After that, the feature extraction module of the backbone network was replaced with MobileNetV3 and the conventional convolution was replaced with deep convolution and point convolution to significantly reduce the model size and calculation scale. The improved new network YOLOv5s-SPM achieved a 0.6% increase in mean average precision and a 3.2% increase in accuracy compared with the original network, while reducing the model parameters by 29.5%. The experimental results validate the superiority of the proposed network in achieving higher accuracy and faster detection speed in the task of chip defect detection. Since the model parameters are reduced by 29.5%, it can also be deployed on industrial embedded devices.

YOLOv5; chip package defect detection; channel attention mechanism; simplified spatial pyramid pooling-fast; lightweight

TB487

A

1001-3563(2023)17-0189-08

10.19554/j.cnki.1001-3563.2023.17.023

2023-04-18

四川省科技計劃重點研發(fā)項目（2020YFS0472）

責任編輯：曾鈺嬋