隨著集成電路產(chǎn)業(yè)的快速發(fā)展，IC 尺寸越來越小，其生產(chǎn)制造工藝也越來越復雜，因此IC 封裝存在缺陷的概率也大大增加。在IC 封裝的生產(chǎn)制造過程中，IC 金屬封裝的表面可能會出現(xiàn)一些缺陷，如劃痕、污漬和氣泡等，對IC 的可靠性和使用壽命構(gòu)成了潛在的威脅。因此，IC 金屬封裝表面缺陷檢測對確保集成電路的高可靠性、高穩(wěn)定性和高可用性具有重要的現(xiàn)實價值，是IC 封裝制造過程中至關(guān)重要的一環(huán)。

針對缺陷樣本匱乏、可視性低、形狀不規(guī)則、類型未知等工業(yè)缺陷檢測難題，廣東工業(yè)大學蔡念教授團隊結(jié)合半監(jiān)督深度學習方法和統(tǒng)計建模建立了統(tǒng)計學習建?？蚣?，提出了一種基于MST-GAN（Multi-Scale Generative Adversarial Network with Transformer）的多尺度IC 金屬封裝表面缺陷檢測算法，多尺度缺陷檢測框架如圖1 所示。

為了實現(xiàn)IC 金屬封裝表面質(zhì)量的自動化檢測，團隊搭建了一個光學自動檢測（AOI）系統(tǒng)，包括圖像采集、運動控制、缺陷檢測3 個子系統(tǒng)。利用AOI 系統(tǒng)采集IC 金屬封裝圖像，利用二值化、Canny 和數(shù)學形態(tài)學等數(shù)字圖像處理技術(shù)對圖像進行預(yù)處理，提取感興趣的區(qū)域并切割為子圖，用于模型的訓練和測試。

團隊設(shè)計了一種完全多尺度的生成對抗網(wǎng)絡(luò)MST-GAN，設(shè)計了新穎的多尺度特征提取和跨尺度特征融合方案，引入了Swin Transformer 模型以提升建模能力；自行設(shè)計了上采樣模塊，以解決零填充會引入異常像素的問題；提出了多尺度檢測方案，其中多尺度權(quán)重掩模用于抑制重構(gòu)誤差的影響，多尺度自適應(yīng)閾值用于分割出潛在的缺陷，采用基于圖塊的多尺度缺陷評估方案對這些潛在缺陷進行了充分的評估，最終分割出缺陷并得出檢測結(jié)果。

多尺度缺陷檢測結(jié)果如圖2 所示，試驗結(jié)果驗證了提出的多尺度檢測算法的有效性和可行性，在70.9 幀/s 的合理檢測速度下，實現(xiàn)了0.70%的誤檢率、0.57%的漏檢率、99.3%的正確率、99.8%的精密度、99.3%的召回率和F 分數(shù)達0.996 的優(yōu)良檢測性能，優(yōu)于目前最先進的半監(jiān)督深度學習檢測方法，體現(xiàn)了這一方案強大的應(yīng)用潛力。

研究團隊未來將在此基礎(chǔ)上繼續(xù)探索，以進一步提升檢測框架的檢測性能，并拓寬該檢測框架的應(yīng)用場景，包括探索相鄰圖像塊的關(guān)聯(lián)性分析，探索具有更強建模能力的生成對抗網(wǎng)絡(luò)模型，探索內(nèi)存和能源消耗更小的網(wǎng)絡(luò)模型，進一步滿足工業(yè)應(yīng)用需求。（蔡念 陳凱瓊 黃林昕 夏皓 周帥）

原始文獻：

CHEN K Q, CAI N, WU Z S, et al.Multi-scale GAN with transformer for surface defect inspection of IC metal packages[J].Expert Systems with Applications,2023,212:118788.