［摘 要］ 為了兼顧實(shí)時(shí)性和準(zhǔn)確率，提出了一種基于改進(jìn)YOLOv5算法的晶圓表面缺陷檢測方法。該方法采用了輕量級(jí)網(wǎng)絡(luò)GhostNet作為主干提取網(wǎng)絡(luò)，以降低模型復(fù)雜度并提升檢測速度。同時(shí)為了提高模型的特征提取能力和檢測精度，引入了高效通道注意力機(jī)制。此外采用FReLU激活函數(shù)取代了原有的SiLU函數(shù)，以增強(qiáng)模型對空間的敏感性，提高檢測準(zhǔn)確性。使用真實(shí)的晶圓缺陷數(shù)據(jù)集對改進(jìn)模型進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，相比于原始模型，改進(jìn)YOLOv5網(wǎng)絡(luò)模型實(shí)現(xiàn)了30.02%的參數(shù)壓縮，同時(shí)目標(biāo)精度達(dá)到78.6%，相較于YOLOv5s提升了4.4%，mAP值提高5.5%，檢測速度提高1.3 ms。

［關(guān)鍵詞］ 深度學(xué)習(xí)； 晶圓表面缺陷； 缺陷檢測； YOLOv5； GhostNet

［中圖分類號(hào)］ TP391.4， TN407" ［文獻(xiàn)標(biāo)識(shí)碼］ A

晶圓表面缺陷檢測是半導(dǎo)體制造過程中的關(guān)鍵環(huán)節(jié)。隨著集成電路制造工藝的不斷進(jìn)步和芯片工藝的微縮，對晶圓表面缺陷檢測的要求越來越嚴(yán)格。人工目視檢測方法效率低且準(zhǔn)確率不高，因此需要采用更先進(jìn)的檢測方法?；趫D像處理算法的缺陷檢測方法，如模板匹配[1-2]、邊緣檢測[3-4]、分割算法[5]等，適用于類型簡單且特征明顯的缺陷檢測，但處理復(fù)雜的缺陷時(shí)往往效果不佳。相比之下，深度學(xué)習(xí)算法以其強(qiáng)大的表征能力、自動(dòng)學(xué)習(xí)特征等優(yōu)勢，成為目標(biāo)缺陷檢測的研究熱點(diǎn)[6-7]。

在深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)[8]（CNN）因其良好的圖像特征提取效果成為晶圓表面缺陷檢測研究的重要方向之一。在眾多CNN模型中，YOLO算法以其高精度、快速和適應(yīng)性強(qiáng)等優(yōu)點(diǎn)，廣泛應(yīng)用于多個(gè)領(lǐng)域[9-12]。但使用該算法處理晶圓表面缺陷檢測任務(wù)仍存在對于復(fù)雜的缺陷類型檢測效果不佳、訓(xùn)練時(shí)長過長等問題。針對這些問題，許多研究人員已經(jīng)嘗試改進(jìn)YOLO算法，如優(yōu)化模型結(jié)構(gòu)[13]、特征增強(qiáng)改進(jìn)[14]、更換主干網(wǎng)絡(luò)[15]、網(wǎng)絡(luò)結(jié)構(gòu)輕量化[16]等。這些改進(jìn)算法取得了一定的效果，但實(shí)際應(yīng)用中仍存在如小目標(biāo)缺陷誤檢、漏檢等問題。因此，本文提出了一種基于改進(jìn)YOLOv5算法的晶圓表面缺陷檢測方法，旨在進(jìn)一步提高檢測精度和檢測速度。

本文對晶圓表面缺陷的形成機(jī)制和表現(xiàn)形式進(jìn)行深入分析，通過數(shù)據(jù)增強(qiáng)處理獲得了增廣后的數(shù)據(jù)集。在YOLOv5模型上進(jìn)行晶圓表面缺陷檢測預(yù)訓(xùn)練及參數(shù)微調(diào)，實(shí)驗(yàn)結(jié)果表明其檢測精度和速度都有待提高。之后對算法模型進(jìn)行優(yōu)化，采用輕量化網(wǎng)絡(luò)GhostNet替換主干網(wǎng)絡(luò)，引入ECA注意力模塊加強(qiáng)特征提取能力，并改進(jìn)激活函數(shù)以提高模型的學(xué)習(xí)能力。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本研究提出的改進(jìn)算法能夠有效地提高晶圓表面缺陷檢測的精度和速度。為了驗(yàn)證提出的優(yōu)化策略的合理性和先進(jìn)性，進(jìn)行了消融實(shí)驗(yàn)。此外，選取部分樣本對改進(jìn)算法的檢測效果進(jìn)行了展示和分析。

1 基于YOLOv5的晶圓缺陷檢測算法

1.1 晶圓表面缺陷分類

晶圓表面缺陷可以分為自然缺陷和人為缺陷兩種類型。自然缺陷是指在晶圓生長過程中自然形成的表面缺陷，主要包括晶體缺陷、空位缺陷、位錯(cuò)、晶界等。人為缺陷一般是指晶圓生產(chǎn)過程中由于制造工藝問題、操作不當(dāng)、設(shè)備故障等因素引起的缺陷。通過分析缺陷的產(chǎn)生原因與表現(xiàn)方式，可以將缺陷分為晶體缺陷、表面沾污以及機(jī)械損傷這三類。表面沾污存在多種類型，包括不同形態(tài)的表面冗余物，如顆粒、線形、不規(guī)則形狀等。此外，沾污還可能來自金屬雜質(zhì)、有機(jī)物殘留等。機(jī)械損傷主要表現(xiàn)為表面刮傷、劃痕、裂紋等形式。本文使用了金相顯微鏡和超景深顯微鏡作為實(shí)驗(yàn)器材，用于獲取晶圓表面缺陷圖像以創(chuàng)建數(shù)據(jù)集。圖1給出了實(shí)驗(yàn)獲取的部分晶圓表面缺陷類型。

1.2 YOLOv5算法原理及結(jié)構(gòu)

YOLO（You Only Look Once）是一種基于卷積神經(jīng)網(wǎng)絡(luò)的單階段目標(biāo)檢測算法，其核心思想是將目標(biāo)檢測任務(wù)看作一個(gè)回歸問題，通過在單個(gè)CNN模型中預(yù)測邊界框和類別得分，從而實(shí)現(xiàn)高效、快速的目標(biāo)檢測[17]。為了克服YOLO在小目標(biāo)檢測方面不夠精確、檢測速度較慢等局限性，YOLOv5在原有算法的基礎(chǔ)上進(jìn)行了優(yōu)化，采用更加高效的網(wǎng)絡(luò)架構(gòu)、更加靈活的anchor生成以及更加準(zhǔn)確的后處理算法等技術(shù)，進(jìn)一步提高了目標(biāo)檢測的精度和速度。

本研究綜合考慮目標(biāo)檢測的準(zhǔn)確度和實(shí)時(shí)性等多方面因素，選擇了YOLOv5算法作為目標(biāo)檢測模型，并使用預(yù)訓(xùn)練權(quán)重文件yolo5s.pt進(jìn)行初始訓(xùn)練。YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，主要由4個(gè)模塊組成：輸入端（Input）、主干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）和預(yù)測輸出端（Prediction Head）。

對于目標(biāo)檢測任務(wù)，YOLOv5的Input輸入端負(fù)責(zé)接收圖像數(shù)據(jù)，對輸入圖像的大小、通道數(shù)、歸一化進(jìn)行定義，并且進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放等處理。然后將處理后的圖像輸入到主干網(wǎng)絡(luò)，從輸入圖像中提取特征。主干網(wǎng)絡(luò)采用CSPDarknet體系結(jié)構(gòu)，包括C3、Focus和SPP模塊，是整個(gè)模型的核心部分。主干網(wǎng)絡(luò)的輸出通過Neck網(wǎng)絡(luò)進(jìn)行進(jìn)一步處理，使用FPN特征金字塔加強(qiáng)特征提取，對圖像進(jìn)行額外的特征提取和轉(zhuǎn)換，這一階段有助于融合來自不同層次的特征以捕獲更多的上下文信息。隨著網(wǎng)絡(luò)的深化，網(wǎng)絡(luò)的特征提取和特征融合能力得到進(jìn)一步提高。最后，Neck網(wǎng)絡(luò)的輸出通過預(yù)測端，利用FPN特征金字塔得到的三個(gè)加強(qiáng)特征的shape層傳入YoloHead獲得對圖像的預(yù)測結(jié)果，包括每個(gè)對象的邊界框、對象得分和類別概率，至此完成整個(gè)目標(biāo)檢測訓(xùn)練過程。

2 改進(jìn)的YOLOv5模型

2.1 輕量化的骨干網(wǎng)絡(luò)

深度卷積神經(jīng)網(wǎng)絡(luò)中頻繁的卷積操作會(huì)導(dǎo)致計(jì)算成本大幅增加，這對于資源有限的設(shè)備來說，會(huì)影響模型的效率和響應(yīng)速度。為了解決這個(gè)問題，本文提出一種基于YOLOv5的輕量化網(wǎng)絡(luò)，使用GhostNet替代CSPDarknet53作為主干網(wǎng)絡(luò)，從而構(gòu)建出一個(gè)輕量級(jí)且高效的模型。

針對主流的CNN網(wǎng)絡(luò)廣泛存在的冗余性，GhostNet將一個(gè)大的卷積核分解成多個(gè)較小的卷積核，代替原主干網(wǎng)絡(luò)中的大型標(biāo)準(zhǔn)卷積層，從而減少模型所需的參數(shù)和計(jì)算量[18]。這種分解技術(shù)可以大大減少模型的存儲(chǔ)需求和計(jì)算復(fù)雜度，從而加快推理時(shí)間，提高工作效率。此外，GhostNet采用SE（Squeeze-and-Excitation）注意力模塊[19]來調(diào)整通道關(guān)系并增強(qiáng)網(wǎng)絡(luò)特征表示能力，提高模型計(jì)算速度和運(yùn)行效率的同時(shí)提高泛化性能和魯棒性。

改進(jìn)后的GhostNet_YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。在主干網(wǎng)絡(luò)進(jìn)行改進(jìn)后，整個(gè)模型的層數(shù)從214層增加到492層，但參數(shù)卻從7220783降低到4771904，參數(shù)量降低大約34%。計(jì)算量也從原來16.0GFLOPs降低至7.9GFLOPs，意味著GhostNet_YOLOv5更適合在計(jì)算資源有限的設(shè)備上進(jìn)行部署，該改進(jìn)模型可以在實(shí)時(shí)目標(biāo)檢測等場景中發(fā)揮更好的性能。

改進(jìn)的GhostNet_YOLOv5網(wǎng)絡(luò)模型仍采用YOLOv5模型中的損失函數(shù)，采用GIOU_Loss做邊界框的位置損失函數(shù)，使用二進(jìn)制交叉熵（BCE）和Logits損失函數(shù)計(jì)算分類概率和目標(biāo)得分的損失：

L=λ1Lcls+λ2Lloc+λ3Lobj（1）

式中：L為總體多任務(wù)損失函數(shù)，Lcls為分類損失函數(shù)，Lloc為位置損失函數(shù)，Lobj為目標(biāo)置信度損失函數(shù)，λ1、λ2、λ3為平衡不同損失項(xiàng)的權(quán)重系數(shù)。

相比于其他輕量化網(wǎng)絡(luò)，GhostNet具有更高的計(jì)算效率和更好的泛化性能和魯棒性。與MobileNet系列和ShuffleNet系列相比，GhostNet采用了更直接的分解技術(shù)和注意力機(jī)制，可以更有效地減少參數(shù)量和計(jì)算量。相比于EfficientNet系列，GhostNet可以更靈活地設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)保持較高的準(zhǔn)確率。因此，選擇GhostNet輕量化網(wǎng)絡(luò)可以在保持較高準(zhǔn)確率的同時(shí)，提高計(jì)算效率和泛化能力。

2.2 引入注意力機(jī)制

在應(yīng)用YOLOv5算法模型進(jìn)行晶圓表面缺陷檢測過程中發(fā)現(xiàn)一些問題，如缺陷定位不準(zhǔn)確、對小目標(biāo)檢測效果不佳以及對缺陷形態(tài)多樣性不夠適應(yīng)等。為了解決這些問題，考慮引入注意力機(jī)制[20]。注意力機(jī)制可以根據(jù)輸入數(shù)據(jù)的重要性分配不同的注意力權(quán)重，增強(qiáng)對晶圓表面缺陷的響應(yīng)。

根據(jù)注意力施加的方式和位置的不同，可以分為空間域注意力、通道域注意力和混合域注意力。對不同注意力機(jī)制進(jìn)行學(xué)習(xí)和比較后，最終選擇引入了ECA（Efficient Channel Attention）通道注意力機(jī)制。該機(jī)制可以自適應(yīng)地調(diào)整通道權(quán)重，更準(zhǔn)確地捕捉缺陷特征，提高分類準(zhǔn)確性。相比混合域和空間域注意力機(jī)制，通道注意力機(jī)制計(jì)算量小，同時(shí)保證檢測準(zhǔn)確率，提高計(jì)算效率。

ECA注意力模塊是一種輕量級(jí)的注意力機(jī)制，主要由全局平均池化、一維卷積、Sigmoid函數(shù)等操作構(gòu)成，采用分組卷積用于改進(jìn)CNN架構(gòu)[21]，其結(jié)構(gòu)如圖4所示。

ECA模塊實(shí)現(xiàn)過程如下：首先使用全局平均池化對每個(gè)空間位置的通道特征進(jìn)行平均池化操作獲取全局信息，然后使用一維卷積計(jì)算通道之間的交互，并使用Sigmoid激活函數(shù)非線性映射，該過程不涉及通道降維。圖4中通道維度C和卷積核大小k成比例，是為了保證在不同的網(wǎng)絡(luò)結(jié)構(gòu)和特征維度下，ECA模塊的計(jì)算效率和準(zhǔn)確性得到平衡。

相比于SE[19]、CBAM[22]、CA[23]等其他注意力模塊，ECA注意力模塊可以自適應(yīng)地調(diào)整不同位置之間的特征權(quán)重，從而能夠有效捕捉圖像中不同位置之間的長程依賴關(guān)系，從而提高模型的性能和準(zhǔn)確性。此外，ECA注意力模塊還具有輕量級(jí)的特點(diǎn)，可以在保證檢測準(zhǔn)確性的同時(shí)減少計(jì)算量，提高模型的效率。而且ECA注意力模塊能夠與其他模塊結(jié)合使用，進(jìn)一步提高模型的準(zhǔn)確性和效率。因此，ECA注意力模塊在晶圓表面缺陷檢測領(lǐng)域中具有廣泛的應(yīng)用前景。

2.3 改進(jìn)激活函數(shù)

在卷積神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)的作用是將卷積層的輸出進(jìn)行非線性變換，從而引入一些非線性因素，使得網(wǎng)絡(luò)可以學(xué)習(xí)到更加復(fù)雜的特征[24]。原始版本的YOLOv5中使用SiLU激活函數(shù)，它是Swish激活函數(shù)的一種特例，使用以標(biāo)量輸入為基礎(chǔ)的搜索函數(shù)來計(jì)算激活值，Swish激活函數(shù)如：

f（x）=x*Sigmoid（βx）（2）

式中：x為卷積層的輸出，β為一個(gè)超參數(shù)，用于調(diào)整函數(shù)的形狀。當(dāng)β=1時(shí)即為SiLU激活函數(shù)。通常情況下，卷積層用于線性捕捉空間依賴性，而激活層則用于提供非線性變換，以實(shí)現(xiàn)更強(qiáng)的特征表示能力。這種過程只依賴于神經(jīng)元本身，因此無法獲取這些空間依賴關(guān)系。

針對圖像任務(wù)，F(xiàn)ReLU激活函數(shù)因其具備自適應(yīng)地獲取圖像局部上下文的能力而備受關(guān)注[25]。該激活函數(shù)的設(shè)計(jì)包含兩個(gè)核心組件，即漏斗條件和像素級(jí)別建模能力，能夠很好地解決激活函數(shù)中的空間不敏感性問題。其原理示意如圖5所示。

圖5中T（xc，i，j）為定義的漏斗式條件：

Txc，i，j=xωc，i，j·pωc（3）

式中：xc，i，j表示在第c個(gè)通道上，以（i，j）為中心的窗口，即圖中的黃色框口；p是一個(gè)在激活函數(shù)的計(jì)算過程中可調(diào)節(jié)的參數(shù)，用于控制函數(shù)的曲線形狀，使其能夠更好地適應(yīng)圖像中復(fù)雜的視覺布局，提高模型的性能。FReLU激活函數(shù)的輸出結(jié)果為：

fxc，i，j=maxxc，i，j，Txc，i，j（4）

此外，F(xiàn)ReLU激活函數(shù)具有像素級(jí)別建模能力，能夠在每個(gè)像素上進(jìn)行建模，適應(yīng)圖像中的不同紋理和細(xì)節(jié)，從而提高了模型在圖像處理任務(wù)中的準(zhǔn)確性。

在晶圓缺陷檢測任務(wù)中，F(xiàn)ReLU的優(yōu)勢表現(xiàn)在它可以自適應(yīng)地調(diào)整負(fù)斜率的形狀，從而更好地適應(yīng)晶圓圖像中的不同缺陷特征。同時(shí)，F(xiàn)ReLU的計(jì)算速度快，參數(shù)較少，優(yōu)化效果好，這些特點(diǎn)也有助于提高模型在晶圓缺陷檢測任務(wù)中的準(zhǔn)確性。因此，F(xiàn)ReLU可以作為一種有效的激活函數(shù)，用于提高晶圓缺陷檢測模型的準(zhǔn)確性。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境搭建

本文訓(xùn)練環(huán)境搭建包括本地和遠(yuǎn)程兩個(gè)階段。在本地階段，由于設(shè)備顯卡為AMD Radeon，無法使用PyTorch CUDA版本，因此使用CPU進(jìn)行訓(xùn)練。這帶來的影響是：在使用CPU進(jìn)行訓(xùn)練時(shí)，計(jì)算速度會(huì)比GPU慢很多，因?yàn)镚PU在并行計(jì)算方面有優(yōu)勢。本地環(huán)境下安裝Anaconda創(chuàng)建虛擬環(huán)境并安裝必要軟件包，選擇PyTorch框架進(jìn)行深度學(xué)習(xí)。遠(yuǎn)程服務(wù)器AutoDL的環(huán)境搭建更為簡單，可選擇所需鏡像進(jìn)行應(yīng)用。在本實(shí)驗(yàn)中，均使用Pycharm集成開發(fā)環(huán)境（IDE）進(jìn)行代碼開發(fā)和調(diào)試。表1給出了兩個(gè)階段的環(huán)境參數(shù)的詳細(xì)對比。

該實(shí)驗(yàn)在兩個(gè)不同的環(huán)境下，使用了相同的實(shí)驗(yàn)參數(shù)和數(shù)據(jù)集進(jìn)行訓(xùn)練，并通過表2對比了在這兩個(gè)環(huán)境下的速度、訓(xùn)練效果等參數(shù)。這些數(shù)據(jù)對于選擇適合的設(shè)備進(jìn)行訓(xùn)練提供了重要參考。實(shí)驗(yàn)結(jié)果表明，使用GPU訓(xùn)練速度大幅提升，特別是在數(shù)據(jù)擴(kuò)增后的訓(xùn)練過程中，訓(xùn)練速度和效果都有了明顯提升。經(jīng)過第一階段測試后，選擇在遠(yuǎn)程服務(wù)器上進(jìn)行模型訓(xùn)練。

實(shí)驗(yàn)參數(shù)采用YOLOv5s模型，初始數(shù)據(jù)集555張圖像，圖像尺寸640×640，epoch=100，batch_size=16，workers=8。

3.2 數(shù)據(jù)標(biāo)注及數(shù)據(jù)集擴(kuò)增

由于晶圓缺陷的種類繁多、數(shù)量龐大，而且不同制造廠家的晶圓缺陷數(shù)據(jù)大多是保密的，所以很難獲取到公開專用的晶圓缺陷數(shù)據(jù)集，這給晶圓缺陷檢測和分類的研究帶來了很大的困難。解決這個(gè)問題，可以通過實(shí)驗(yàn)數(shù)據(jù)獲取實(shí)驗(yàn)圖像，再對其進(jìn)行分類、標(biāo)注得到數(shù)據(jù)集圖像。這種方法雖然需要一定的實(shí)驗(yàn)條件和標(biāo)注工作，但是可以彌補(bǔ)缺少公開專用數(shù)據(jù)集的不足，為晶圓缺陷檢測和分類的研究提供數(shù)據(jù)支持。本實(shí)驗(yàn)中使用LabelImg作為圖像標(biāo)注工具，標(biāo)注過程在每張圖像上使用最小的框體將所有檢測的目標(biāo)進(jìn)行框選，保存后會(huì)生成對應(yīng)的標(biāo)簽文件。

本文從實(shí)驗(yàn)數(shù)據(jù)中獲取圖像清晰并存在明顯缺陷的圖像555張，經(jīng)過數(shù)據(jù)增強(qiáng)技術(shù)對原始圖像進(jìn)行處理，其中包含圖像剪裁、直方圖均衡化、添加噪聲等方式?？紤]到訓(xùn)練及檢測效率的提升，對所有大于5M的圖像進(jìn)行JPEG壓縮處理，最終得到數(shù)據(jù)擴(kuò)增后的數(shù)據(jù)集圖像1666張，按照數(shù)據(jù)集、驗(yàn)證集、測試集比例為8∶1∶1進(jìn)行分配。

3.3 訓(xùn)練過程

使用遠(yuǎn)程GPU進(jìn)行單卡訓(xùn)練，采用YOLOv5s作為基礎(chǔ)訓(xùn)練模型。訓(xùn)練過程中采用SDG優(yōu)化器進(jìn)行優(yōu)化，訓(xùn)練輪數(shù)為100輪，訓(xùn)練部分和驗(yàn)證部分的圖像尺寸均統(tǒng)一為640×640像素。實(shí)驗(yàn)超參數(shù)設(shè)定采用源代碼初始默認(rèn)參數(shù)，初始學(xué)習(xí)率和終止學(xué)習(xí)率均設(shè)置為0.01，學(xué)習(xí)率的動(dòng)態(tài)量momentum設(shè)置為0.937，batchsize設(shè)置為16，即每次訓(xùn)練傳入網(wǎng)絡(luò)的圖像數(shù)據(jù)為16張，使用8個(gè)數(shù)據(jù)加載器來加快圖像讀取速度。整個(gè)訓(xùn)練流程如圖6所示。

3.4 目標(biāo)檢測算法的評估函數(shù)

因晶圓表面缺陷檢測任務(wù)中需檢測包含顆粒、異物、污染、劃痕等多種缺陷類型，涉及類別、位置和大小多方面，單一指標(biāo)難全面衡量，應(yīng)綜合考慮精確率Precision、召回率Recall、平均精度均值mAP@0.5和檢測時(shí)長等因素來全面評估算法性能。精確率反映正樣本占檢測出的物體的比例；召回率反映正確判定的正樣本占所有正樣本的比例；mAP@0.5是指IoU取值為0.5時(shí)的平均AP值，其中IoU為交并比。上述評價(jià)指標(biāo)公式如下：

Precision=TPTP+FP（5）

Recall=TPTP+FN（6）

AP=∫10Psmooth（r）dr（7）

mAP=∑Ci=1APiC（8）

式（5）、（6）中，TP標(biāo)簽為正類，預(yù)測為正類；FP標(biāo)簽為負(fù)類，預(yù)測為正類；FN標(biāo)簽為正類，預(yù)測為負(fù)類。公式（7）中Psmooth（r）表示經(jīng)過平滑化處理A-P曲線所圍成的面積，AP為平均精準(zhǔn)度，式（8）中mAP是AP值在所有類別下的均值，Pi是第i個(gè)類別的精確率，C為類別數(shù)。

3.5 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證改進(jìn)算法的先進(jìn)性，本文在晶圓缺陷檢測任務(wù)中使用YOLOv3-Tiny、YOLOv4模型進(jìn)行了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

結(jié)果表明改進(jìn)后的YOLOv5算法在保持算法精準(zhǔn)度的前提下，對目標(biāo)檢測速度有了一定程度的提升，檢測時(shí)長縮短至10.9 ms。相較于原始YOLOv5s模型，改進(jìn)后的算法的檢測精確度提高了4.4%，mAP提高了5.5%，檢測效果優(yōu)于YOLOv3-Tiny和YOLOv4算法。

此外，本文進(jìn)行消融實(shí)驗(yàn)分別驗(yàn)證改進(jìn)輕量級(jí)GhostNet模塊、ECA注意力機(jī)制以及FReLU激活函數(shù)對晶圓表面缺陷檢測的有效性。以YOLOv5s為基準(zhǔn)，結(jié)合不同的改進(jìn)策略進(jìn)行實(shí)驗(yàn)設(shè)計(jì)，并得到了實(shí)驗(yàn)結(jié)果，如表4所示。

從消融實(shí)驗(yàn)結(jié)果可知，通過使用GhostNet作為YOLOv5的主干網(wǎng)絡(luò)，可以使得網(wǎng)絡(luò)參數(shù)大大降低，降幅達(dá)33.91%，在檢測速度提升的同時(shí)降低模型的存儲(chǔ)容量，達(dá)到模型輕量化的效果。但在僅單獨(dú)引入GhostNet主干網(wǎng)絡(luò)時(shí)模型的平均精度均值降低1.7%。為降低此部分產(chǎn)生的檢測率降低的影響，本文引入ECA注意力機(jī)制以提高對圖像有效信息的提取，從而增強(qiáng)對晶圓表面缺陷的特征提取能力。通過在YOLOv5s與優(yōu)化模型1上分別引入ECA注意力模塊，實(shí)驗(yàn)結(jié)果表明mAP分別提高1.2%和2.1%。此外，可以觀察到ECA模塊具有參數(shù)量少的特點(diǎn)，模型3僅在優(yōu)化模型1的基礎(chǔ)上增加了0.65%的網(wǎng)絡(luò)參數(shù)。在最后一步消融實(shí)驗(yàn)中，將SiLU激活函數(shù)更換為FReLU，模型的準(zhǔn)確率進(jìn)一步提升，相較于YOLOv5s，mAP提升5.5%。

以下是經(jīng)過改進(jìn)后的YOLOv5算法在測試集上的缺陷檢測效果展示，為更清晰地呈現(xiàn)效果，部分圖像已經(jīng)進(jìn)行了放大處理。結(jié)果展示分為3個(gè)部分：

1）密集缺陷實(shí)驗(yàn)結(jié)果 實(shí)驗(yàn)結(jié)果顯示，改進(jìn)后的算法模型能夠在晶圓表面缺陷密集的情況下，仍表現(xiàn)出較高的檢出率，統(tǒng)計(jì)結(jié)果表明其檢出可達(dá)90%。相較于原始的YOLOv5算法，缺陷檢出率提升了5%。這是一個(gè)相對較大的提升，說明該算法的改進(jìn)對于缺陷檢測效果具有重要影響。這意味著改進(jìn)算法在實(shí)際生產(chǎn)中可以有效地檢測到晶圓表面的缺陷，從而有助于提高生產(chǎn)效率和產(chǎn)品質(zhì)量。具體的檢測效果展示如圖7所示，可以清晰地看到該算法能夠準(zhǔn)確地檢測出晶圓表面的缺陷，避免了缺陷的漏檢和誤檢，從而提高了檢測的準(zhǔn)確性和可靠性。

2）稀疏缺陷實(shí)驗(yàn)結(jié)果 針對晶圓表面缺陷圖像中分布較稀疏的情況，實(shí)驗(yàn)結(jié)果如圖8所示。經(jīng)過統(tǒng)計(jì)分析，改進(jìn)后的優(yōu)化算法模型在晶圓表面缺陷檢測測試集中的漏檢率降低至8%，并且對可能有融合的缺陷也有檢出。

圖8展示的第一張圖檢測出了在相似位置上存在外來異物和有機(jī)污染物兩種缺陷類型。考慮到在制造工藝中可能會(huì)引入異物，進(jìn)行下一步的光刻操作時(shí)光刻膠很容易附著在異物周圍，導(dǎo)致存在外來異物的位置上也會(huì)出現(xiàn)有機(jī)污染。融合缺陷的檢出可以幫助工程師更快速、準(zhǔn)確地確定缺陷的位置和類型，從而有針對性地進(jìn)行后續(xù)處理。因此，這一結(jié)果表明改進(jìn)后的算法具有更強(qiáng)的實(shí)用性和適用性，能夠更好地支持晶圓表面缺陷檢測工作。

3）小目標(biāo)缺陷實(shí)驗(yàn)結(jié)果 通過對檢測結(jié)果統(tǒng)計(jì)分析，發(fā)現(xiàn)原始YOLOv5s模型對小目標(biāo)缺陷的檢測存在較高誤檢和漏檢率，只能檢測出45%的缺陷目標(biāo)。經(jīng)過數(shù)據(jù)集優(yōu)化、算法優(yōu)化改進(jìn)后，小目標(biāo)缺陷的檢出率可達(dá)80%以上，同時(shí)漏檢數(shù)量明顯減少。圖9展示了對小目標(biāo)缺陷的檢測效果。結(jié)果表明，改進(jìn)算法能夠更有效地提取豐富全面的語義信息，從而在小目標(biāo)缺陷的檢測上表現(xiàn)出更好的性能和更高的檢測精度。

為對改進(jìn)算法模型的性能進(jìn)行全面評估，本研究在同一實(shí)驗(yàn)環(huán)境下對其與原有YOLOv5算法進(jìn)行比較，均采用同樣的數(shù)據(jù)集，訓(xùn)練輪數(shù)為300。通過對平均精度（mAP）和召回率的結(jié)果曲線進(jìn)行比較（圖10），表明采用YOLOv5和改進(jìn)算法均能夠較好地完成缺陷檢測任務(wù)，并且改進(jìn)算法在平均精度和召回率方面均顯著優(yōu)于原有YOLOv5算法，驗(yàn)證了改進(jìn)方法的有效性和實(shí)用性。

此外，還對改進(jìn)算法和原算法在處理時(shí)間上進(jìn)行了對比。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法在不降低檢測準(zhǔn)確度的情況下，能夠在同等硬件條件下顯著提高處理速度。這一結(jié)果表明算法優(yōu)化不僅能夠提高檢測精度，還能夠在實(shí)際應(yīng)用中提高效率，滿足實(shí)時(shí)性要求。

4 結(jié)束語

本文提出了一種基于改進(jìn)YOLOv5算法的晶圓表面缺陷檢測方法。相較于YOLOv5s，改進(jìn)YOLOv5算法檢測精度更高，有效降低小目標(biāo)漏檢、誤檢出現(xiàn)的概率，模型輕量化的同時(shí)有效提高晶圓缺陷檢測的準(zhǔn)確性和實(shí)時(shí)性。本文研究成果不僅對半導(dǎo)體芯片制造中晶圓表面缺陷檢測的精度和效率提升具有重要意義，也對深度學(xué)習(xí)算法在目標(biāo)檢測領(lǐng)域的應(yīng)用有一定的參考價(jià)值。下一步改進(jìn)工作是對現(xiàn)有晶圓缺陷數(shù)據(jù)集進(jìn)行數(shù)據(jù)優(yōu)化擴(kuò)增，平衡各缺陷類別數(shù)量，進(jìn)一步優(yōu)化算法使得缺陷檢測模型具有更強(qiáng)的泛化能力和精確度。

［ 參 考 文 獻(xiàn) ］

［1］ KONG Q， WU Z， SONG Y. Online detection of external thread surface defects based on an improved template matching algorithm[J]. Measurement， 2022， 195： 111087.

[2] JOHN V， YONEDA K， LIU Z， et al. Saliency map generation by the convolutional neural network for real-time traffic light detection using template matching[J]. IEEE transactions on computational imaging， 2015， 1（03）： 159-173.

[3] YU X K，WANG Z W，WANG Y H，et al. Edge detection of agricultural products based on morphologically improved canny algorithm[J]. Mathematical Problems in Engineering， 2021， 2021（03）：1-10.

[4] 王睿男，武穆清，陳鐵英，等.基于形態(tài)學(xué)的紅外圖像邊緣檢測[J].北京郵電大學(xué)學(xué)報(bào)，2021，44（01）：66-71.

[5] 曹宇， 徐傳鵬. 一種改進(jìn)閾值分割算法在鏡片缺陷檢測中的應(yīng)用[J].激光與光電子學(xué)進(jìn)展，2021， 58（16）：219-224.

[6] 周曉彥，王珂，李凌燕. 基于深度學(xué)習(xí)的目標(biāo)檢測算法綜述[J]. 電子測量技術(shù)，2017，40（11）：89-93.

[7] 楊傳禮，張修慶.基于機(jī)器視覺和深度學(xué)習(xí)的材料缺陷檢測應(yīng)用綜述[J].材料導(dǎo)報(bào)，2022，36（16）：226-234.

[8] 靳晶晶，王佩.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法研究[J].通信與信息技術(shù)，2022（02）：76-81.

[9] 張上，王恒濤，冉秀康. 基于YOLOv5的輕量化交通標(biāo)志檢測方法[J]. 電子測量技術(shù)，2022，45（08）：129-135.

[10] 張立國，馬子薦，金梅，等.基于YOLO的輕量紅外圖像行人檢測方法[J].激光與紅外，2022，52（11）：1737-1744.

[11] XIANG Y， FEI Q. Car， Cyclist and pedestrian object detection based on YOLOv5[J]. International Journal of New Developments in Engineering and Society， 2022， 6（03）：38-42.

[12] FANG C， XIANG H， LENG C， et al. Research on real-time detection of safety harness wearing of workshop personnel based on YOLOv5 and OpenPose[J]. Sustainability， 2022， 14（10）： 5872.

[13] CAO X， ZHANG F， YI C， et al. Wafer surface defect detection based on improved YOLOv3 network[C]. Proceedings-2020 5th International Conference on Mechanical， Control and Computer Engineering， ICMCCE 2020， 9421681 ：1475-1478.

[14] XIE Y， HU W， XIE S， et al. Surface defect detection algorithm based on feature-enhanced YOLO[J]. Cognitive Computation， 2022： 1-15.

[15] CHEN S H， TSAI C C. SMD LED chips defect detection using a YOLOv3-dense model[J]. Advanced engineering informatics， 2021， 47： 101255.

[16] ZHANG D，CHEN X，REN Y，et al．SmartGYOLO： alight-weight real-time object detection network[J]．Journal of Physics： Conference Series，2021， 1757： 12096.

[17] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C].Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 779-788.

[18] HAN K， WANG Y， TIAN Q， et al. Ghostnet： More features from cheap operations[C] Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2020： 1577-1586.

[19] HU J， SHEN L， ALBANIE S. et al. Squeeze and excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（08）：2011-2023.

[20] LIU J W， LIU J W， LUO X L. Research progress in attention mechanism in deep learning[J]. Gongcheng Kexue Xuebao/Chinese Journal of Engineering， 2021， 43（11）： 1499-1511.

[21] WANG Q， WU B， ZHU P， et al. ECA-Net： Efficient channel attention for deep convolutional neural networks[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2020： 11531-11539.

[22] WOO S， PARK J， LEE J Y， et al. Cbam： Convolutional block attention module[C]. Proceedings of the European conference on computer vision （ECCV）. 2018： 3-19.

[23] FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation[C]. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019： 3146-3154.

[24] SHIV R D， SATISH K S， BIDYUT B C. Activation functions in deep learning： A comprehensive survey and benchmark[J]. Neurocomputing， 2022，503（07）：92-108.

[25] MA N， ZHANG X， SUN J. Funnel activation for visual recognition[C]. Computer Vision-ECCV 2020： 16th European Conference， Glasgow， UK， August 23-28， 2020， Proceedings， Part XI 16. Springer International Publishing， 2020： 351-368.

Wafer Surface Defect Detection Method Basedon Improved YOLOv5 Algorithm

MING Yue1， LV Qinghua1，" ZHAI Zhongsheng2， LV Hui1， YU Yikai1，" CUI Xiandai1

（1 School of science， Hubei Univ. of Tech.， Wuhan 430070， China;2 School of Mechanical Engineering， Hubei Univ. of Tech.， Wuhan 430070， China）

Abstract： Wafer surface defect detection holds significant importance in semiconductor chip manufacturing. However， during the inspection process， 1 detection and missed detection of defects often occur due to the complexity and diversity of wafer surface defect types and manifestations. To balance real time and accuracy requirements， a wafer surface defect detection method based on the improved YOLOv5 algorithm is proposed. This method uses the lightweight network GhostNet as the backbone extraction network to reduce model complexity and improve detection speed. Additionally， an efficient channel attention mechanism is introduced to enhance the model's feature extraction ability and detection accuracy. The original SiLU function is replaced with the FReLU activation function to improve the model's sensitivity to space and detection accuracy. The improved model is validated using a real wafer defect dataset. The experimental results show that the improved YOLOv5 network model achieves 30.02% parameter compression compared with the original model. The target accuracy reaches 78.6%， which is 4.4% higher than YOLOv5s. The mAP value is increased by 5.5%， and the detection speed is increased by 1.3 ms.

Keywords： deep learning; wafer surface defects; defect detection; YOLOv5; GhostNet

［責(zé)任編校： 閆 品］