陳宏彩，程煜，任亞恒

自動化與智能化技術(shù)

小樣本藥用玻璃瓶缺陷生成方法及應(yīng)用

陳宏彩1,2*，程煜1,2，任亞恒1,2

（1.河北省科學(xué)院應(yīng)用數(shù)學(xué)研究所，石家莊 050081； 2.河北省信息安全認證技術(shù)創(chuàng)新中心，石家莊 050081）

為了克服藥包玻璃瓶缺陷樣本不足帶來的缺陷檢測模型精度不準的問題，提出改進StyleGAN2-ADA的缺陷樣本生成方法，提升模型魯棒性。首先，基于StyleGAN2-ADA算法，在無缺陷圖像集上訓(xùn)練網(wǎng)絡(luò)模型并作為骨干。其次，在骨干網(wǎng)絡(luò)上添加缺陷感知殘差塊，生成缺陷掩碼，在少量的缺陷圖像數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)模型操縱掩碼區(qū)域的特征，模擬缺陷圖像生成過程，合成缺陷圖像。最后，采用YOLOv7檢測網(wǎng)絡(luò)驗證該樣本生成方法的效果。實驗結(jié)果表明，該方法在大量正常圖像和少量缺陷圖像基礎(chǔ)上生成逼真且多樣性的缺陷圖像，應(yīng)用該缺陷樣本合成方法豐富數(shù)據(jù)集后，西林瓶缺陷檢測平均準確率（mAP）達到97.3%，較原始數(shù)據(jù)集合和StyleGAN2-ADA算法分別提高了33.1%和4.1%。該圖像生成方法可以在少量缺陷樣本下生成高質(zhì)量的缺陷圖像，優(yōu)化不均衡數(shù)據(jù)集，增強模型訓(xùn)練的穩(wěn)定性，提高藥用玻璃包裝產(chǎn)品的質(zhì)量和合格率。

藥包玻璃瓶；圖像生成；StyleGAN2-ADA；缺陷檢測；YOLOv7

藥用玻璃瓶生產(chǎn)過程是一個多因素耦合的復(fù)雜程序，生產(chǎn)過程中的異常都會導(dǎo)致產(chǎn)品缺陷產(chǎn)生。及時識別檢測異常產(chǎn)品的缺陷模式是提高產(chǎn)品質(zhì)量和生產(chǎn)效率的有效途徑。為保證醫(yī)藥產(chǎn)品質(zhì)量，精準的藥用玻璃瓶缺陷檢測具有十分重要的研究意義。

早期的產(chǎn)品缺陷檢測方法主要通過人工設(shè)計特征提取方法進行檢測。近年來，隨著深度學(xué)習(xí)快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的算法在視覺檢測任務(wù)中大放異彩，已經(jīng)被推廣應(yīng)用到農(nóng)產(chǎn)品檢測[1-2]、工業(yè)質(zhì)檢[3-4]、醫(yī)藥產(chǎn)品檢測與分類[5]等多個領(lǐng)域。到目前為止，已經(jīng)有許多基于不同網(wǎng)絡(luò)模型和算法的目標檢測器用于缺陷檢測。在眾多檢測算法中，YOLO（You Only Look Once，YOLO）系列算法[6-9]因其檢測速度快、精度高而被廣泛應(yīng)用于產(chǎn)品質(zhì)量檢測中，YOLOv7[8]算法在前人提出的YOLO模型基礎(chǔ)上進一步改進優(yōu)化，采用模型結(jié)構(gòu)重參數(shù)化、模型縮放、由粗到細引導(dǎo)標簽動態(tài)分配等策略，在精度、效率等方面更是表現(xiàn)出優(yōu)于其他目標檢測算法。然而，與傳統(tǒng)的機器學(xué)習(xí)方法相比，基于深度學(xué)習(xí)的方法在缺陷識別時需要大量的數(shù)據(jù)樣本[10]。由于一些藥包玻璃產(chǎn)品生產(chǎn)線中真實的缺陷圖像的稀缺性和高昂收集成本，充分獲得大量不同缺陷圖像具有挑戰(zhàn)性。而基于深度學(xué)習(xí)的產(chǎn)品檢測方法本質(zhì)是基于大數(shù)據(jù)的，缺陷樣本的缺乏會導(dǎo)致訓(xùn)練過程過擬合、檢測精度差、檢測模型難以上線等問題[11]。

為了拓展深度學(xué)習(xí)在工業(yè)檢測領(lǐng)域的應(yīng)用范圍和檢測性能，學(xué)者們提出了很多方法來擴增樣本數(shù)量。傳統(tǒng)數(shù)據(jù)增廣技術(shù)是一種性價比較高的擴增樣本的手段，包括幾何變換（例如平移、旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪、縮放等）、濾波、加噪聲、圖像混疊等[12]。這些圖像處理方法能仿真缺陷的位置和一些簡單紋理變化，但無法仿真缺陷的復(fù)雜紋理和多樣性，其中濾波、加噪聲和混疊這些方法在數(shù)據(jù)大量增廣中不僅無益，有時還會出現(xiàn)泄漏增強等問題[13]。

樣本的稀缺性推動了圖像生成作為缺陷檢測應(yīng)用數(shù)據(jù)增強的研究性工作。為了解決更復(fù)雜場景的樣本生成問題，學(xué)者們提出了一些基于生成式對抗網(wǎng)絡(luò)（Generative Adversarial Nets, GAN）的缺陷生成算法，比較有代表性的是由NVIDIA公司提出的基于樣式的生成對抗網(wǎng)絡(luò)StyleGAN（Style Generative Adversarial Nets，StyleGAN）[14]和它的進一步優(yōu)化方法StyleGAN2[15]等，這些網(wǎng)絡(luò)模型在其自建的高清人臉數(shù)據(jù)集上取得了很好的生成效果。這很大一部分原因可歸功于樣本量大、質(zhì)量高的數(shù)據(jù)集，但是有些應(yīng)用場景這種高質(zhì)量數(shù)據(jù)集獲取難度很高。2021年，Zhang等[16]設(shè)計了一種稱為Defect-GAN的自動缺陷合成網(wǎng)絡(luò)方法，通過添加和刪除缺陷前景來模擬缺陷生成和修復(fù)過程，該方法可以生成多樣化和高保真度的缺陷樣本。然而，這個工作有一定的局限性：需要大型紋理數(shù)據(jù)集；生成的缺陷缺乏隨機性?，F(xiàn)有這些工作通常需要數(shù)百張圖像，直接在幾十張圖像上訓(xùn)練生成圖像的問題尚未解決。針對這種情況，Karras等[17]在StyleGAN2的基礎(chǔ)上進行了優(yōu)化調(diào)整，提出了一種基于樣式的自適應(yīng)判別器增強生成對抗網(wǎng)絡(luò)方法StyleGAN2-ADA（StyleGAN2 with Adaptive Discriminator Augmentation, StyleGAN2-ADA），根據(jù)過擬合的程度在不同時間控制隨機增強概率，可以在有限數(shù)據(jù)上訓(xùn)練，生成較高質(zhì)量圖像。

為了克服藥包玻璃瓶缺陷樣本不足帶來的缺陷檢測模型精度不準的問題，文中結(jié)合深度學(xué)習(xí)研究成果StyleGAN2-ADA算法，設(shè)計一種改進的StyleGAN2- ADA的缺陷樣本合成方法，采用YOLOv7檢測模型測試，驗證缺陷樣本合成數(shù)據(jù)增強方法的效果。

1 藥用玻璃瓶缺陷生成方法

藥用玻璃瓶缺陷生成方法采用兩階段訓(xùn)練策略，如圖1所示。首先，以StyleGAN2-ADA網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)在數(shù)百個無缺陷玻璃瓶圖像上訓(xùn)練，它將一個隨機編碼映射到一張無缺陷的圖像。其次，將缺陷感知的殘差塊沿著缺陷映射網(wǎng)絡(luò)附加到主干網(wǎng)絡(luò)上，并在少量缺陷圖像上訓(xùn)練新的網(wǎng)格。生成器通過可控的缺陷區(qū)域?qū)㈦S機編碼和一個缺陷編碼映射到一張圖像，生成缺陷圖像。

1.1 無缺陷藥用玻璃瓶圖像的預(yù)訓(xùn)練

在第1個訓(xùn)練階段，在無缺陷數(shù)據(jù)集上訓(xùn)練一個生成器作為主干網(wǎng)絡(luò)，通過隨機采樣目標編碼生成無缺陷圖像?？紤]到自適應(yīng)判別器增強方法StyleGAN2- ADA[17]在小樣本上的優(yōu)越性，文中采用StyleGAN- ADA作為網(wǎng)絡(luò)主干，生成網(wǎng)絡(luò)包括一個映射網(wǎng)絡(luò)（Mapping Network）和一個合成網(wǎng)絡(luò)（Synthesis Network），如圖1左側(cè)部分，映射網(wǎng)絡(luò)將一組隨機的向量object輸入到8層全連接層網(wǎng)絡(luò)中，并將其編碼為中間向量object，向量object通過仿射變換A調(diào)整合成網(wǎng)絡(luò)的卷積權(quán)重，將變化導(dǎo)入到生成圖像中。合成網(wǎng)絡(luò)由多個合成塊組成，每個合成塊包含具有跳越結(jié)構(gòu)的卷積層、上采樣層、自適應(yīng)實例規(guī)范化模塊、風(fēng)格控制和噪聲組成。這一階段，在數(shù)百個無缺陷玻璃瓶圖像上訓(xùn)練該網(wǎng)絡(luò)模型，生成無缺陷樣本圖像。

1.2 藥用玻璃瓶缺陷圖像生成網(wǎng)絡(luò)模型

圖1 玻璃瓶缺陷樣本生成網(wǎng)絡(luò)模型

根據(jù)網(wǎng)絡(luò)模型StyleGAN2-ADA的整個目標損失函數(shù)設(shè)置，文中設(shè)計的玻璃瓶缺陷網(wǎng)絡(luò)模型的整個目標損失函數(shù)表達式如式（3）所示。

式中：match為缺陷匹配判別器；StyleGan為模型StyleGAN2-ADA的原始損失函數(shù)；match為match的損失函數(shù)；ms為模式尋找損失函數(shù)；為調(diào)節(jié)參數(shù)。

2 基于YOLOv7的玻璃瓶缺陷目標檢測方法

YOLOv7[8]是目前流行的一種快速的單階段目標檢測模型，具有良好的檢測精度和魯棒性，其網(wǎng)絡(luò)結(jié)構(gòu)包含4個部分：輸入、主干網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和輸出。

輸入部分：主要使用Mosaic數(shù)據(jù)增強、自適應(yīng)錨框計算、自適應(yīng)圖片縮放等數(shù)據(jù)增強方式豐富數(shù)據(jù)集。

主干網(wǎng)絡(luò)部分：主要模塊是高效層聚合網(wǎng)絡(luò)ELAN以及擴展的E-ELAN，用于更高效的特征提取。ELAN 結(jié)構(gòu)通過控制最短最長的梯度路徑，可以對更深的網(wǎng)絡(luò)有效地學(xué)習(xí)和控制收斂。E-ELAN模塊采用擴展、亂序、合并來實現(xiàn)在不破壞原有梯度路徑的情況下不斷增強網(wǎng)絡(luò)學(xué)習(xí)的能力[8]。

特征融合部分：采用SPPCSPC模塊。

輸出部分：使用IDetect檢測頭對目標的位置、類別和置信度信息進行輸出。

3 實驗與結(jié)果

3.1 實驗配置和評價指標

本次實驗在AMAX服務(wù)器上進行測試。實驗環(huán)境包含Ubuntu18.04系統(tǒng)，CUDA11.4，GPU顯卡NVIDIA Tesla V100，Python3.7和深度學(xué)習(xí)框架Pytorch1.7.1等。

從數(shù)據(jù)科學(xué)角度出發(fā)，文中采用弗雷歇初始距離（Fréchet Inception Distance）[19]作為圖像生成質(zhì)量評價指標。是度量同一域內(nèi)真實圖像與生成圖像的特征向量之間的距離，越小代表生成圖像的質(zhì)量越好，其計算式為：

目標檢測評價標準選用準確率（Precision）、召回率（Recall）、平均準確率（mean Average Precision，mA），A是單目標類別檢測精度，mA是對所有目標類別檢測精度求均值，用來評價模型的綜合性能，具體公式如下：

式中：Tp為真正例；Fp為假正例；FN為假負例；PA為平均精度。

3.2 藥用玻璃瓶缺陷圖像生成結(jié)果及分析

藥用玻璃瓶數(shù)據(jù)集是從成都某藥品包裝公司采集的藥用西林瓶圖像。根據(jù)國家藥品監(jiān)督管理局《直接接觸藥品的包裝材料和容器標準》的質(zhì)量管理要求，以及藥用西林瓶的外觀質(zhì)量檢測標準，文中將藥用西林瓶的外觀質(zhì)量缺陷劃分為污漬、氣線、裂紋3類，并進行實驗測試，包括西林瓶缺陷圖像生成和缺陷檢測任務(wù)。原始數(shù)據(jù)集共524張圖像，包括正常西林瓶圖像419張，每類缺陷圖像35張，每張圖像的分辨率大小調(diào)整為256像素×256像素，如圖2所示。為了利用深度學(xué)習(xí)模型進行缺陷檢測，先對缺陷樣本進行數(shù)據(jù)增廣。

西林瓶缺陷生成方法采用文中第1章節(jié)設(shè)計的改進StyleGAN2-ADA（Improved StyleGAN2-ADA）方法，在第1個訓(xùn)練階段，在正常西林瓶數(shù)據(jù)集上訓(xùn)練一個生成器作為主干網(wǎng)絡(luò)；在第2階段，利用1.2節(jié)構(gòu)建的玻璃瓶缺陷樣本生成網(wǎng)絡(luò)模型在每類缺陷圖像數(shù)據(jù)集上訓(xùn)練一個缺陷模型，缺陷匹配判別器match的架構(gòu)與原始styleGAN2-ADA的判別器幾乎相同，但基于判斷缺陷圖像是否與掩碼匹配比判斷其真實性更容易，減少了每層中的通道數(shù)量。match的參數(shù)為1.2×106，相比參數(shù)量為21×106的模型，要少得多，這極大程度便利了小樣本缺陷圖像的生成；最后，利用生成的缺陷模型生成對應(yīng)類別的缺陷圖像。

這里，實驗中一些參數(shù)設(shè)置如下：在訓(xùn)練階段，批處理大小設(shè)置為4，初始學(xué)習(xí)率=0.002 5，自適應(yīng)增強概率調(diào)節(jié)因子=0.6，模式尋找損失函數(shù)調(diào)節(jié)參數(shù)=0.1，缺陷匹配判別器match中調(diào)節(jié)因子match=1.0。

為了驗證本文設(shè)計的缺陷樣本合成方法效果，本文引入StyleGAN2-ADA方法進行實驗對比，并給出定量結(jié)果。不同方法圖像生成評價指標分數(shù)測試情況如圖3所示。從圖3可以看出，隨著訓(xùn)練迭代次數(shù)的增加，本文改進的StyleGAN2-ADA方法的值越來越低，但StyleGAN2-ADA方法的訓(xùn)練過程較本文生成方法的訓(xùn)練過程不穩(wěn)定，在300次迭代點后呈現(xiàn)發(fā)散的情況。隨著訓(xùn)練次數(shù)增大，本文改進的生成方法值逐漸收斂，表明該方法生成圖像與真實圖像越來越接近。

圖4展示了利用本文設(shè)計的改進StyleGAN2-ADA缺陷生成模型獲得的正常圖像和不同的缺陷圖像（這里為了清晰顯示圖像，對生成的圖像去掉了上下黑色邊緣，僅保留西林瓶部分）。從生成的圖像視覺效果可以定性分析出，生成的西林瓶圖像質(zhì)量較高、缺陷特征較為清晰、逼真。

圖3 不同生成對抗網(wǎng)絡(luò)訓(xùn)練的弗雷歇初始距離D的對比

圖4 西林瓶缺陷樣本生成示例

3.3 藥用玻璃瓶缺陷檢測結(jié)果及分析

為了驗證缺陷樣本數(shù)量對缺陷檢測模型的影響，本文采用YOLOv7網(wǎng)絡(luò)模型對西林瓶缺陷檢測測試，評價模型的相關(guān)性能。下面分別以原始數(shù)據(jù)集、StyleGAN2-ADA方法和本文改進的StyleGAN2-ADA方法進行數(shù)據(jù)增廣測試，采用不同生成方法生成每類缺陷各500張圖像，其中，圖像數(shù)據(jù)集總數(shù)量的75%用于訓(xùn)練，25%用于測試，相應(yīng)數(shù)據(jù)集圖像數(shù)量如表1所示。

表1 西林瓶缺陷圖像數(shù)據(jù)集

Tab.1 Date set of penicillin vial defects

表2列出了不同數(shù)據(jù)增強方法下采用YOLOv7缺陷檢測模型得到的性能指標，包括準確率（）、召回率（）、平均準確率（mA）。從表2可以看出，僅采用少量的原始數(shù)據(jù)集進行缺陷檢測時，檢測性能指標都很低，其平均準確率僅為64.2%，這表明采用深度學(xué)習(xí)模型進行缺陷檢測時，小樣本數(shù)據(jù)集容易出現(xiàn)過擬合的問題，檢測性能較差。而本文設(shè)計的缺陷生成方法的缺陷檢測準確率和平均準確率分別達到96.3%和97.3%，較原始數(shù)據(jù)集有較大提高，較StyleGAN2-ADA方法分別提升了4.1百分點和3.5百分點。實驗數(shù)據(jù)驗證了文中缺陷圖像生成方法在提高西林瓶缺陷檢測模型精度方面是有效的。

表2 西林瓶缺陷檢測模型性能測試結(jié)果

Tab.2 Performance test results of penicillin vial defect detection model

4 結(jié)語

針對藥用玻璃瓶缺陷樣本不足導(dǎo)致檢測模型精度不準、現(xiàn)有圖像生成模型生成圖像質(zhì)量不佳等問題，文中提出了一種改進的StyleGAN2-ADA模型，通過實驗驗證了所提方法的有效性。該方法可以在大量正常圖像和少量缺陷圖像基礎(chǔ)上生成逼真且多樣性的西林瓶缺陷圖像，優(yōu)化不均衡數(shù)據(jù)集，增強深度學(xué)習(xí)檢測模型訓(xùn)練的穩(wěn)定性，提升產(chǎn)品檢測精度。該方法已成功應(yīng)用在山東、四川等多家醫(yī)藥包裝公司的玻璃瓶生產(chǎn)檢測流水線上，顯著提高了藥用玻璃包裝產(chǎn)品的質(zhì)量和合格率，提升了藥包企業(yè)產(chǎn)品的安全性和市場競爭力。

[1] 王小榮, 許燕, 周建平, 等. 基于改進YOLOv7的復(fù)雜環(huán)境下紅花采摘識別[J]. 農(nóng)業(yè)工程學(xué)報, 2023, 39(6): 169-176.

WANG X R, XU Y, ZHOU J P, et al. Safflower Picking Recognition in Complex Environments Based on an Improved YOLOv7[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(6): 169-176.

[2] 苗榮慧, 李志偉, 武錦龍. 基于改進YOLO v7的輕量化櫻桃番茄成熟度檢測方法[J]. 農(nóng)業(yè)機械學(xué)報, 2023, 54(10): 225-233.

MIAO R H, LI Z W, WU J L. Lightweight Maturity Detection of Cherry Tomato Based on Improved YOLO V7[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(10): 225-233.

[3] 趙耀霞, 吳桐, 韓焱. 基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜構(gòu)件內(nèi)部零件裝配正確性識別[J]. 電子學(xué)報, 2018, 46(8): 1983-1988.

ZHAO Y X, WU T, HAN Y. Identifying the Correctness of Fit of Internal Components Based on a Convolutional Neural Network[J]. Acta Electronica Sinica, 2018, 46(8): 1983-1988.

[4] 陳宏彩, 任亞恒, 郝存明, 等. 基于YOLOv3的醫(yī)藥玻璃瓶缺陷檢測方法[J]. 包裝工程, 2020, 41(7): 241-246.

CHEN H C, REN Y H, HAO C M, et al. Defect Detection Method for Medical Glass Bottles Based on YOLOv3[J]. Packaging Engineering, 2020, 41(7): 241-246.

[5] LI W Q, TANG Y Ming; YU K M, et al. SLC-GAN: An Automated Myocardial Infarction Detection Model Based on Generative Adversarial Networks and Convolutional Neural Networks with Single-lead Electrocardiogram Synthesis[J]. Information Sciences, 2022, 589: 738-750.

[6] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE Computer Society, 2018: 89-95.

[7] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature Pyramid Networks for Object Detection[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE Computer Society, 2017: 936-944.

[8] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: Trainable Bag-of-Freebies Sets New State-of- the-Art for Real-Time Object Detectors[C]// Proceedings of 2023 IEEE Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE Computer Society, 2023: 7464-7475.

[9] 李松, 史濤, 井方科. 改進YOLOv8的道路損傷檢測算法[J]. 計算機工程與應(yīng)用, 2023, 59(23): 165-174.

LI S, SHI T, JING F K. Improved Road Damage Detection Algorithm of YOLOv8[J]. Computer Engineering and Applications, 2023, 59(23): 165-174.

[10] 陳琨, 王安志. 卷積神經(jīng)網(wǎng)絡(luò)的正則化方法綜述[J/OL]. 計算機應(yīng)用研究: 1-11[2023-12-12]. https:// doi.org/10.19734/j.issn.1001-3695.2023.06.0347.

CHEN K, WANG A Z. Survey on Regularization Methods for Convolutional Neural Networks[J/OL]. Application Research of Computers: 1-11[2023-12-12]. https:// doi.org/ 10.19734/ j.issn.1001-3695.2023.06.0347.

[11] 孔玲爽, 閔悅, 何靜, 等. 基于脈沖神經(jīng)網(wǎng)絡(luò)的鋼材表面缺陷識別研究[J]. 包裝工程, 2022, 43(15): 13-22.

KONG L S, MIN Y, HE J, et al. Steel Surface Defect Identification Based on Spiking Neural Network[J]. Packaging Engineering, 2022, 43(15): 13-22.

[12] 姜雨辰, 朱斌. 少樣本條件下基于生成對抗網(wǎng)絡(luò)的遙感圖像數(shù)據(jù)增強[J]. 激光與光電子學(xué)進展, 2021, 58(8): 0810022.

JIANG Y C, ZHU B. Data Augmentation for Remote Sensing Image Based on Generative Adversarial Networks under Condition of few Samples[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810022.

[13] 馬崠奡, 唐娉, 趙理君, 等. 深度學(xué)習(xí)圖像數(shù)據(jù)增廣方法研究綜述[J]. 中國圖象圖形學(xué)報, 2021, 26(3): 487-502.

MA D A, TANG P, ZHAO L J, et al. Review of Data Augmentation for Image in Deep Learning[J]. Journal of Image and Graphics, 2021, 26(3): 487-502.

[14] KARRAS T，LAINE S，AILA T. A Style-based Generator Architecture for Generative Adversarial Networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE Computer Society, 2019: 4401-4410.

[15] KARRAS T, LAINE S, AITTALA M, et al. Analyzing and Improving the Image Quality of Stylegan[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 8110-8119.

[16] ZHANG G J, CUI K W, HUNG T Y, et al. Defect-GAN: High-Fidelity Defect Synthesis for Automated Defect Inspection[C]// IEEE Winter Conference on Applications of Computer Vision, WACV2021. NewYork: IEEE, 2021: 2524-2534.

[17] KARRAS T, AITTALA M, HELLSTEN J, et al. Training Generative Adversarial Networks with Limited Data[J]. Advances in Neural Information Processing Systems, 2020, 33: 12104-12114.

[18] DUAN Y X, HONG Y, NIU L, et al. Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation[C]// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Washington: AAAI, 2023: 571-578.

[19] HEUSEL M, RAMSAUER H, UNTERTHINER T, et al. GANS Trained by a Two Time-scale Update Rule Converge to a Local Nash Equilibrium[J]. Advances in Neural Information Processing Systems, 2017, 30: 1-38.

Defect Generation Method and Application of Few Sample Medical Glass Bottles

CHEN Hongcai1,2, CHENG Yu1,2, REN Yaheng1,2

(1. Hebei Academy of Sciences Institute of Applied Mathematics, Shijiazhuang 050081, China; 2.Information Security Authentication Technology Innovation Center of Hebei Province, Shijiazhuang 050081, China)

The work aims to propose an improved StyleGAN2-ADA defect sample generation method to enhance model robustness, so as to overcome the problem of inaccurate defect detection models due to insufficient defective sample data. First, a network model was trained as the backbone based on the StyleGAN2-ADA algorithm on a defect-free image dataset. Then, defect perception residual blocks were added to the backbone network to generate defect masks. The network model was trained on a dataset of few defective images to manipulate the features of the masked region and simulate the generation process defective images to synthesize defective images. Finally, YOLOv7 detection network was used to validate the effectiveness of this defect sample generation method. Experimental results showed that the proposed method could generate realistic and diverse defective images based on a large number of normal images and a small number of defective images. After enriching the dataset with this defect sample generation method, the average detection accuracy of penicillin vial defects (mAP) reached 97.3%, which was 33.1% higher than the original dataset and 4.1% higher than the StyleGAN2-ADA algorithm. In conclusion, this defect image generation method can generate high-quality defective images with few defective samples, optimize imbalanced datasets, enhance the stability of model training and improve the quality and pass rate of medicinal glass packaging products.

medical glass bottles; image generation; StyleGAN2-ADA; defect detection; YOLOv7

TB487

A

1001-3563(2024)09-0135-06

10.19554/j.cnki.1001-3563.2024.09.017

2023-12-13

中央引導(dǎo)地方科技發(fā)展資金項目（236Z1604G）