莊昌乾，李璟文

(1.江南大學(xué) 理學(xué)院，江蘇 無(wú)錫 214122；2.江西盛泰光學(xué)有限公司，江西 新余 336600)

0 引言

自動(dòng)化缺陷檢測(cè)對(duì)于先進(jìn)制造中產(chǎn)品的質(zhì)量控制至關(guān)重要，現(xiàn)已被廣泛應(yīng)用于檢測(cè)各種產(chǎn)品生產(chǎn)過(guò)程中的異常和缺陷[1-2]。印刷塑料標(biāo)簽作為一種獨(dú)特的標(biāo)識(shí)和質(zhì)量指標(biāo)，展現(xiàn)了商品的信息、制造商的設(shè)計(jì)理念，也代表了產(chǎn)品的質(zhì)量。但由于生產(chǎn)設(shè)備參差不齊、生產(chǎn)工藝標(biāo)準(zhǔn)不同、操作人員誤操作等外部因素，在實(shí)際制造過(guò)程中，塑料標(biāo)簽表面可能會(huì)出現(xiàn)各種類(lèi)型的缺陷。一些最常見(jiàn)的缺陷包括異物、重影、劃痕、墨點(diǎn)、指紋、線條缺失。這些缺陷不可避免地會(huì)影響產(chǎn)品的質(zhì)量和外觀，因此在制造過(guò)程中檢測(cè)和識(shí)別這些缺陷，從而確保產(chǎn)品的整體質(zhì)量是非常必要的。

目前，最常見(jiàn)的檢測(cè)方法仍依賴(lài)人工篩選[3]。然而，這種方法不僅勞動(dòng)強(qiáng)度大，而且容易受到主觀因素、疲勞程度和檢驗(yàn)員經(jīng)驗(yàn)的影響，導(dǎo)致誤檢漏檢現(xiàn)象頻繁發(fā)生，整體準(zhǔn)確率和效率較低。此外，另一個(gè)明顯的缺點(diǎn)是，這種技術(shù)從根本上難以與自動(dòng)化制造過(guò)程無(wú)縫銜接與兼容。

機(jī)器視覺(jué)是一種更好的缺陷檢測(cè)方法，該方法依靠高速相機(jī)采集樣本圖像，通過(guò)算法進(jìn)行圖像處理，從而識(shí)別和分類(lèi)各種缺陷[4-6]。目前，大多數(shù)研究都局限于基于經(jīng)典圖像處理方法(如振幅閾值、圖像去噪與增強(qiáng)、圖像分割和特征提取)的決策算法[6]。另一類(lèi)缺陷檢測(cè)依賴(lài)于基于頻譜的算法，它將圖像信息轉(zhuǎn)換到頻域(例如Gabor變換，傅里葉變換等)[7]。該方法在發(fā)現(xiàn)紋理特征背景下的瑕疵具有一定的優(yōu)勢(shì)，已應(yīng)用于織物瑕疵檢測(cè)。然而，由于塑料標(biāo)簽缺陷的復(fù)雜性，單幅圖像中可能存在多個(gè)、多種缺陷，使用傳統(tǒng)的圖像處理技術(shù)對(duì)多尺度缺陷進(jìn)行定位和識(shí)別具有很大的挑戰(zhàn)性。

隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展，深度學(xué)習(xí)模型開(kāi)始被應(yīng)用于工業(yè)產(chǎn)品檢測(cè)。到目前為止，已經(jīng)有許多基于不同網(wǎng)絡(luò)模型和算法的目標(biāo)檢測(cè)器用于缺陷檢測(cè)[8-10]。這些檢測(cè)器主要分為單階段和雙階段檢測(cè)器。其中，基于雙階段檢測(cè)算法的典型模型有：Region-CNN (R-CNN)[8]、Fast Region-based CNN (Fast R-CNN)[9]、Faster Region-based CNN (Faster R-CNN)[10]。在這些方法中，涉及兩個(gè)階段(即generating candidate regions和classifying proposal regions)，這通常需要較長(zhǎng)的處理時(shí)間。另一方面，單階段檢測(cè)器只需要通過(guò)一次神經(jīng)網(wǎng)絡(luò)，并在短時(shí)間內(nèi)預(yù)測(cè)所有邊界框及其類(lèi)別概率，因此更適合有實(shí)時(shí)需求的場(chǎng)景。最常見(jiàn)的單階段檢測(cè)器有YOLO[11-15]、SSD[16]、和CornerNet[17]。其中，YOLO是一種非常先進(jìn)的目標(biāo)檢測(cè)器，因?yàn)樗軌驅(qū)崟r(shí)檢測(cè)物體，并具有良好的精度和魯棒性，已在許多工業(yè)場(chǎng)景中用于缺陷檢測(cè)。例如，在文獻(xiàn)[18]中，作者展示了一個(gè)多注意力深度學(xué)習(xí)網(wǎng)絡(luò)，以解決紡織圖像中多個(gè)和多尺度缺陷共存的問(wèn)題。在文獻(xiàn)[19]中，作者開(kāi)發(fā)了一個(gè)基于YOLO-v3的端到端缺陷檢測(cè)模型。在文獻(xiàn)[20]中，作者展示了一種改進(jìn)的MS-YOLOv5網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用多流網(wǎng)絡(luò)，旨在提高對(duì)鋁表面缺陷的識(shí)別，對(duì)7種類(lèi)型缺陷的總體準(zhǔn)確率達(dá)到87.4%，且檢測(cè)性能沒(méi)有明顯的不平衡。盡管研究人員在表面缺陷檢測(cè)方面進(jìn)行了大量的研究，但很少有人嘗試解決工業(yè)應(yīng)用中對(duì)塑料標(biāo)簽物瑕疵缺陷的高精度、高效率檢測(cè)需求的日益增長(zhǎng)。

此外，基于深度學(xué)習(xí)的缺陷檢測(cè)技術(shù)的另一個(gè)難點(diǎn)在于，它們往往需要大量帶注釋的訓(xùn)練樣本，而這些樣本本身數(shù)量較少，或收集起來(lái)很耗時(shí)。在某些情況下，特別是在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型時(shí)，缺陷樣本較少，可用的數(shù)量遠(yuǎn)遠(yuǎn)不能滿(mǎn)足需求。缺陷樣本的不足已成為各種自動(dòng)化缺陷檢測(cè)系統(tǒng)設(shè)計(jì)和部署的瓶頸。最近的一些研究嘗試采用few-short learning，即從極其有限的訓(xùn)練樣本中學(xué)習(xí)來(lái)解決這一問(wèn)題[21-22]。然而，它們的性能相當(dāng)有限，離實(shí)際應(yīng)用還很遙遠(yuǎn)。解決缺陷樣本不足的一種最直接的方法是使用數(shù)據(jù)增強(qiáng)方法來(lái)豐富數(shù)據(jù)集的數(shù)量和多樣性，從而訓(xùn)練出更好的缺陷檢測(cè)網(wǎng)絡(luò)模型。

因此，在本文的工作中，為了克服現(xiàn)有塑料標(biāo)簽缺陷檢測(cè)方法的局限性，并解決可用缺陷樣本不足的問(wèn)題，我們使用單階段檢測(cè)器(即YOLOv5)進(jìn)行缺陷檢測(cè)，并使用生成對(duì)抗網(wǎng)絡(luò)(GAN，generative adversarial network)進(jìn)行數(shù)據(jù)增強(qiáng)和缺陷樣本合成。由于傳統(tǒng)的GAN在合成缺陷圖像時(shí)存在局限性，因此，我們采用了一種專(zhuān)門(mén)用于生成形狀不規(guī)則、分布隨機(jī)且尺寸不同缺陷樣本的Defect-Gan，通過(guò)模擬缺陷生成(defacement)和缺陷圖像重建(restoration)的過(guò)程，我們可以巧妙地利用大量的正常樣本來(lái)生成具有高保真度和多樣性的缺陷樣本。通過(guò)使用擴(kuò)增數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)器，并對(duì)網(wǎng)絡(luò)的超參數(shù)進(jìn)行優(yōu)化，可以顯著提高目標(biāo)檢測(cè)器的準(zhǔn)確率和精度。此外，為了模擬該方法在實(shí)際生產(chǎn)中的應(yīng)用場(chǎng)景，我們?cè)O(shè)計(jì)并定制了一臺(tái)半自動(dòng)的圖像采集機(jī)械平臺(tái)用于采集圓柱樣品表面的印刷標(biāo)簽，以及一個(gè)自主開(kāi)發(fā)的圖像處理和統(tǒng)計(jì)分析軟件。本文所開(kāi)發(fā)的方法和平臺(tái)可以很容易地推廣并應(yīng)用到其他工業(yè)質(zhì)量控制和缺陷檢測(cè)系統(tǒng)中。

1 方法

1.1 基于YOLOv5的目標(biāo)檢測(cè)

自2016年首次亮相以來(lái)，YOLO已經(jīng)有了很大的發(fā)展和升級(jí)。即使最新的版本是YOLOv7(仍在更新中)，YOLOv5仍然被認(rèn)為是迄今為止最受歡迎的實(shí)時(shí)目標(biāo)檢測(cè)算法之一，由于其在卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域的最佳優(yōu)化策略，它在精度、效率和識(shí)別模型等方面都優(yōu)于其他目標(biāo)檢測(cè)算法。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)圖可分為Input、Backbone、Neck、Head四部分，如圖1所示。

圖1 YOLOv5架構(gòu)

具體來(lái)說(shuō)，YOLOv5的Input主要包括三種策略：馬賽克數(shù)據(jù)增強(qiáng)(mosaic data enhancement)、自適應(yīng)錨點(diǎn)計(jì)算(adaptive anchor calculation)和自適應(yīng)圖像縮放(adaptive image scaling)。首先，采用馬賽克數(shù)據(jù)增強(qiáng)算法[23]，通過(guò)翻轉(zhuǎn)、裁剪、縮放等操作，對(duì)4張缺陷圖片進(jìn)行隨機(jī)拼接，提高模型訓(xùn)練效率，增強(qiáng)網(wǎng)絡(luò)的魯棒性。為了適應(yīng)不同的數(shù)據(jù)集，YOLOv5在輸入上集成了自適應(yīng)錨幀計(jì)算。因此，當(dāng)使用不同的數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，初始錨盒的計(jì)算可以自動(dòng)執(zhí)行和更新。

YOLOv5的Backbone主要使用Focus結(jié)構(gòu)和CSP(cross-stage particle network)結(jié)構(gòu)，通過(guò)多次卷積和池化操作從輸入圖像中提取不同維度的特征圖。采用Bottleneck CSP，將基礎(chǔ)層的特征圖分成兩部分，再通過(guò)CSP進(jìn)行合并，減少了計(jì)算量。最后，SPP(spatial pyramid pooling)結(jié)構(gòu)從不同尺度提取特征，生成三尺度特征圖，以提高檢測(cè)精度[24-26]。

在Neck中，YOLOv5使用FPN(feature pyramid network)和PAN(pixel aggregation network)來(lái)融合特征層，并在三個(gè)不同尺度的特征層上實(shí)現(xiàn)預(yù)測(cè)。其中FPN[27]是一個(gè)自頂向下的結(jié)構(gòu)，它將高層特征通過(guò)上采樣和底層特征做融合得到進(jìn)行預(yù)測(cè)的特征圖。PAN[28]是一個(gè)自底向上的特征融合層，對(duì)FPN進(jìn)行補(bǔ)充，并將底層的定位特征傳遞上去。這兩種方法都有助于增強(qiáng)特征融合能力，增強(qiáng)定位的可移植性，提高檢測(cè)精度。

作為最后的檢測(cè)步驟，Head用于檢測(cè)物體的位置和類(lèi)別。在Precision中，使用GIoU作為邊界框的損失函數(shù)，表示為：

(1)

(2)

式中，A、B為GT框(the ground truth box)和預(yù)測(cè)框，C為A、B的最小閉合框。IoU由預(yù)測(cè)框與GT框的交互作用定義，它代表了預(yù)測(cè)的邊界框和GT在目標(biāo)區(qū)域的大小。GIoU是減去C框中與A和B不重疊的面積之比得到的值。因此，GIoU越大，性能就越好。

1.2 合成數(shù)據(jù)的生成

足量的注釋數(shù)據(jù)集在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)和目標(biāo)分類(lèi)中至關(guān)重要。缺乏缺陷樣本會(huì)導(dǎo)致訓(xùn)練過(guò)程過(guò)擬合、檢測(cè)精度差、泛化能力差等問(wèn)題。然而，在某些情況下，很難獲得用于訓(xùn)練模型的足夠數(shù)據(jù)集。為了解決這一問(wèn)題，可以采用數(shù)據(jù)增強(qiáng)算法來(lái)提高網(wǎng)絡(luò)的泛化能力。在本節(jié)中，我們展示了兩種合成圖像生成方法(即生成缺陷圖像的傳統(tǒng)方法和基于深度學(xué)習(xí)的Defect-GAN方法)。

生成缺陷圖像最直接的方法是使用傳統(tǒng)技術(shù)，包括幾何變換(例如，旋轉(zhuǎn)、翻轉(zhuǎn)、平移)、顏色空間變換(例如，隨機(jī)改變圖像的色調(diào)、飽和度、亮度和對(duì)比度)、Kernel濾波器、隨機(jī)擦除、混合圖像和復(fù)制/粘貼[29]。

本工作中使用的第二種方法是使用GAN自動(dòng)合成缺陷樣品[30-32]。其基本思想是將兩個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，同時(shí)訓(xùn)練一個(gè)生成器來(lái)生成逼真的假圖像，以及一個(gè)鑒別器來(lái)區(qū)分生成的圖像和真實(shí)的圖像。

圖2 GAN架構(gòu)

生成器(G，generator)將一個(gè)固定長(zhǎng)度的隨機(jī)向量作為輸入，并學(xué)習(xí)模擬生成原始數(shù)據(jù)集包含的缺陷樣本。然后將生成的樣本和原始數(shù)據(jù)集的樣本輸入鑒別器(D，discriminator)，鑒別器學(xué)習(xí)區(qū)分合成圖像和真實(shí)圖像。生成器的目標(biāo)是創(chuàng)建與原始圖像盡可能相似的樣本圖像，從而欺騙鑒別器，使其相信合成樣本是真實(shí)的。因此，生成器和鑒別器可以被認(rèn)為是在進(jìn)行極大極小值的博弈，其中生成器的目標(biāo)是最大化鑒別器將生成的圖像標(biāo)記為真實(shí)樣本的概率，鑒別器的目標(biāo)是最小化將真實(shí)數(shù)據(jù)標(biāo)記為真實(shí)樣本的概率。

迄今為止，研究者已經(jīng)提出了許多不同的GAN架構(gòu)[33-40]，用于面部表情編輯、圖像修補(bǔ)、風(fēng)格翻譯、超分辨率等。其中包括用于生成人臉圖像的StyleGan2[33]，用于圖像到圖像轉(zhuǎn)換任務(wù)的pix2pixGan[34]，將黑白照片轉(zhuǎn)換為彩色，以及用于擴(kuò)大生物醫(yī)學(xué)圖像數(shù)據(jù)集的CycleGAN[35]。然而，這些方法在用于生成高保真缺陷樣本時(shí)存在局限性。在最近的另一篇文章中，作者提出了Defect-GAN[36]，它是專(zhuān)門(mén)為生成缺陷樣本而設(shè)計(jì)的。在這個(gè)體系結(jié)構(gòu)中，通過(guò)模擬缺陷生成(即在正常樣本上生成缺陷)和缺陷圖像重建(即將缺陷樣本恢復(fù)到正常樣本)的過(guò)程，我們可以巧妙地利用大量的正常樣本來(lái)生成缺陷樣本。Defect-Gan的結(jié)構(gòu)如圖3所示。

生成器采用了一個(gè)編碼器-解碼器幀，它首先對(duì)輸入圖像進(jìn)行編碼，步幅為4，然后將其解碼為原始大小。此外，由于塑料標(biāo)簽上的一些缺陷通常具有復(fù)雜且不規(guī)則的形狀，且具有隨機(jī)變化，因此使用傳統(tǒng)的GAN建模具有困難。為了緩解這種情況，我們采用了一種自適應(yīng)噪聲引入機(jī)制，該機(jī)制結(jié)合了隨機(jī)性來(lái)模擬缺陷內(nèi)的隨機(jī)變化。有了這樣的配置，我們可以生成更真實(shí)的缺陷樣本，提高保真度和多樣性。判別器的主要架構(gòu)沿用了StarGan[37]，它使用PatchGan[34]和一個(gè)分類(lèi)指標(biāo)來(lái)預(yù)測(cè)生成的缺陷類(lèi)別來(lái)區(qū)分假樣本和真實(shí)樣本。

在數(shù)學(xué)上，D和G使用極小極大博弈來(lái)生成與現(xiàn)實(shí)圖像難以區(qū)分的圖像，我們采用的對(duì)抗性損失為[37]：

Ex，c[log(1-Dsrc(d(x，c)))]

(3)

其中：G生成一個(gè)圖像d(x，c)，條件是輸入圖像x和目標(biāo)缺陷標(biāo)簽c，而x試圖區(qū)分真實(shí)和虛假的圖像。Dsrc(x)為D給出的源的概率分布。

(4)

(5)

前者是對(duì)D進(jìn)行優(yōu)化，將真實(shí)的缺陷樣本分類(lèi)到目標(biāo)類(lèi)別，后者是對(duì)G進(jìn)行優(yōu)化，生成目標(biāo)類(lèi)別c的缺陷樣本。因此，通過(guò)最小化對(duì)抗和分類(lèi)損失，我們可以在目標(biāo)類(lèi)別中生成真實(shí)的樣本圖像。

1.3 模型評(píng)價(jià)指標(biāo)

在本節(jié)中，我們將簡(jiǎn)要描述用于評(píng)估模型性能的指標(biāo)。我們使用精度P(定義為正確分類(lèi)的缺陷產(chǎn)品占分類(lèi)器所劃分的所有缺陷產(chǎn)品的比例)和召回率R(定義為正確分類(lèi)的缺陷產(chǎn)品占缺陷產(chǎn)品數(shù)量的比例)來(lái)計(jì)算模型的平均精度(mAP，mean average precision)：

(6)

式中，N表示N個(gè)分類(lèi)，AP表示平均準(zhǔn)確率，計(jì)算方法如下：

(7)

(8)

(9)

其中：TP為真正例，表示本文算法提取的缺陷與人工標(biāo)注的缺陷相符合。類(lèi)似的，F(xiàn)P為假正例，表示本文算法能提取到缺陷，而實(shí)際無(wú)缺陷；FN為假反例，表示本文算法未提取到缺陷，而實(shí)際有缺陷。此外，利用精準(zhǔn)率-召回率曲線(PR曲線)和F1分?jǐn)?shù)來(lái)評(píng)估我們的模型性能。其中PR曲線是精準(zhǔn)率與召回率的關(guān)系圖，精確率和召回率是一對(duì)相互矛盾的指標(biāo)，一般來(lái)說(shuō)高精準(zhǔn)率往往意味著低召回率，反之亦然。為了獲得優(yōu)秀的模型，需要綜合P和R，因此曲線越靠近圖的右上角，說(shuō)明模型的性能越好。但一般來(lái)說(shuō)，算法之間的PR曲線彼此交錯(cuò)，很難分辨優(yōu)劣，所以實(shí)際中常用F1分?jǐn)?shù)來(lái)衡量。F1定義為：

(10)

2 實(shí)驗(yàn)裝置

2.1 實(shí)驗(yàn)裝置

現(xiàn)實(shí)場(chǎng)景中涉及塑料標(biāo)簽種類(lèi)繁多。在我們的初步研究中，我們將主要針對(duì)印刷在圓柱表面上的半透明塑料標(biāo)簽。它主要有六種不同的缺陷類(lèi)型，即異物、重影、劃痕、墨點(diǎn)、線條缺失、指紋。由于基材的透明性，事實(shí)上，其中一些缺陷很難通過(guò)簡(jiǎn)單的人工檢查來(lái)識(shí)別。當(dāng)檢查人員經(jīng)過(guò)幾個(gè)小時(shí)的操作后出現(xiàn)視覺(jué)疲勞時(shí)，情況會(huì)變得更糟。在本節(jié)中，我們首先介紹自動(dòng)采集樣本圖像的實(shí)驗(yàn)設(shè)置。我們的裝置主要由機(jī)械平臺(tái)、光學(xué)照明、圖像采集、圖像處理與缺陷檢測(cè)與顯示五個(gè)模塊組成，如圖4(a～e)所示。

為了模擬真實(shí)的工業(yè)檢測(cè)場(chǎng)景，該物體被放置在定制的機(jī)械臺(tái)上，可以同時(shí)進(jìn)行一維平移和360度旋轉(zhuǎn)。具體地說(shuō)，該物體被放置在可旋轉(zhuǎn)的支架上，如圖4(c)所示。當(dāng)物體被傳送到指定位置時(shí)，編碼器提供一個(gè)基于距離的觸發(fā)信號(hào)。為了用線掃描相機(jī)(Linea2，Dalsa，Canada)獲得圓柱形物體上標(biāo)簽的清晰2D圖像，物體的旋轉(zhuǎn)速度和掃描速率必須完美同步。當(dāng)物體到達(dá)指定位置時(shí)，旋轉(zhuǎn)電機(jī)單元開(kāi)始旋轉(zhuǎn)圓柱形物體。同時(shí)將圖像通過(guò)GigE接口發(fā)送給計(jì)算機(jī)，然后重構(gòu)成展開(kāi)的塑料標(biāo)簽二維圖像，如圖4(d)所示。物體旋轉(zhuǎn)與相機(jī)之間的精確同步是在水平軸和垂直軸上獲得可重復(fù)分辨率和相同分辨率的關(guān)鍵。為了保障采集的標(biāo)簽圖像不失真，同軸度必須得到保證。最后，自主開(kāi)發(fā)的圖形用戶(hù)界面(GUI，graphical user interface)上可對(duì)樣本進(jìn)行圖像的自動(dòng)采集、處理和統(tǒng)計(jì)分析，如圖4(e)所示。當(dāng)用戶(hù)從GUI界面發(fā)出“采集圖像”的請(qǐng)求時(shí)，平臺(tái)開(kāi)始旋轉(zhuǎn)，并同時(shí)打開(kāi)線掃光源進(jìn)行照明。在界面上展示了原始圖像、檢測(cè)到的缺陷以及不同缺陷的實(shí)時(shí)更新和直方圖。在我們的初步研究中，我們發(fā)現(xiàn)，即便使用半自動(dòng)化的處理，采集足夠的樣本圖像也是一個(gè)耗時(shí)的過(guò)程，當(dāng)需要大量缺陷圖像時(shí)，該方法仍有一定的局限性。事實(shí)上，正如我們將在下面的工作中展示的那樣，通過(guò)使用數(shù)據(jù)增強(qiáng)，可以方便地合成缺陷圖像。此外，需要說(shuō)明的是，根據(jù)樣品的特性和檢驗(yàn)要求，光學(xué)照明可以采用不同的配置。特別是為了突出塑料表面的輕微劃痕，可采用低角度照明。此外，通過(guò)在光源前安裝偏振濾光片，我們可以避免來(lái)自反射表面的眩光。在圖5中，我們展示了通常出現(xiàn)在塑料標(biāo)簽上的六種主要缺陷類(lèi)型。

圖4 5個(gè)模塊示意圖

圖5 塑料標(biāo)簽的6種主要缺陷類(lèi)型

2.2 塑料標(biāo)簽數(shù)據(jù)集

原始數(shù)據(jù)集是使用圖4所示的裝置獲得的343張圖像(512×512像素)，其中共包括6種類(lèi)型的缺陷(即墨點(diǎn)、指紋、異物、重影、劃痕和線條缺失)?？紤]到樣本不足，我們采用傳統(tǒng)數(shù)據(jù)增強(qiáng)方法和生成對(duì)抗網(wǎng)絡(luò)Defect-GAN進(jìn)行數(shù)據(jù)增強(qiáng)，相應(yīng)的圖像和注釋數(shù)量如表1所示。

表1 每個(gè)數(shù)據(jù)集中圖像和注釋的數(shù)量 個(gè)

2.3 計(jì)算機(jī)環(huán)境

圖像處理和分析的計(jì)算機(jī)環(huán)境定義如下：CPU，Intel(R)Core (TM)i7-11700KF@3.60GHz 8-core CPU；GPU，NVIDIA GeForce RTX3060Ti；SSD，1TB；pro-gramming languages，Python3.9；Framework，Pytorch 1.7.1；deep learning accelerator，CUDA 11.0 and CUDNN 11.1；IDE：Spider 3.9。

3 結(jié)果與討論

在這項(xiàng)工作中，訓(xùn)練前的參數(shù)設(shè)置如下：image size：512×512；learning rate：0.001；Optimizer：stochastic gradient descent (SGD)；momentum，0.937；weight decay：0.005；batch size：64；epoch：600。

為了可視化YOLOv5在數(shù)據(jù)增強(qiáng)后的提升，我們分別給出了原始數(shù)據(jù)集訓(xùn)練的YOLOv5模型，以及傳統(tǒng)增強(qiáng)和GAN增強(qiáng)后的YOLOv5模型的度量曲線。目標(biāo)檢測(cè)算法利用訓(xùn)練損失和驗(yàn)證損失來(lái)判斷模型是否穩(wěn)定。YOLOv5的損失可以進(jìn)一步分為box_loss、obj_loss和cls_loss，它們是算法進(jìn)行目標(biāo)預(yù)測(cè)效果的指標(biāo)。如圖6所示，用原始數(shù)據(jù)集訓(xùn)練的模型，曲線不僅不穩(wěn)定，而且不收斂。相比之下，當(dāng)使用增強(qiáng)數(shù)據(jù)集訓(xùn)練時(shí)，模型在100次迭代后變得穩(wěn)定并且變化最小，并且在兩種情況下，mAP都有很大的改進(jìn)。

此外，我們還比較了不同網(wǎng)絡(luò)模型的F1_curve和PR_curve。如圖7(a～c)所示，我們繪制了F1_curve，這是一個(gè)同時(shí)考慮了模型的準(zhǔn)確性和召回率的度量。曲線越高，模型的性能越好。我們可以看到，在所有類(lèi)別的數(shù)據(jù)增強(qiáng)后，YOLOv5的F1_curve變得更高。為了評(píng)估目標(biāo)檢測(cè)器在各種閾值下的性能，我們還繪制了P_R曲線，如圖7(d～f)所示。值得注意的是，我們可以看到，使用GAN增強(qiáng)數(shù)據(jù)集訓(xùn)練的YOLOv5所包圍的區(qū)域比使用原始數(shù)據(jù)集和傳統(tǒng)增強(qiáng)數(shù)據(jù)集訓(xùn)練的YOLOv5所包圍的區(qū)域要大，這表明模型獲得了明顯的增強(qiáng)。

前三列是box loss，objectness loss，和classification loss。右邊的兩列是訓(xùn)練過(guò)程中的precision和recall，以及驗(yàn)證過(guò)程中的mAP。圖6 訓(xùn)練和驗(yàn)證過(guò)程的輸出

第一、第二和第三列分別對(duì)應(yīng)原始數(shù)據(jù)集、傳統(tǒng)增強(qiáng)后和GAN增強(qiáng)后的結(jié)果。圖7 YOLOv5下不同數(shù)據(jù)集的F1_curve和PR_curve比較

最后，利用不同的網(wǎng)絡(luò)模型進(jìn)行實(shí)際檢測(cè)分類(lèi)的結(jié)果如圖8所示。圖中的標(biāo)簽顯示了分類(lèi)結(jié)果及其置信度分?jǐn)?shù)。第一行是用原始數(shù)據(jù)集(方案1)訓(xùn)練的YOLOv5對(duì)每個(gè)缺陷的檢測(cè)結(jié)果，第二行和第三行分別是用傳統(tǒng)數(shù)據(jù)增強(qiáng)方法(方案2)和Defect-GAN生成對(duì)抗網(wǎng)絡(luò)(方案3)訓(xùn)練的YOLOv5對(duì)每個(gè)標(biāo)簽缺陷的檢測(cè)結(jié)果。從圖8中可以清楚地看到，使用方案1時(shí)未發(fā)現(xiàn)的一些缺陷在使用方案2和方案3時(shí)可被發(fā)現(xiàn)。此外，對(duì)于已識(shí)別的缺陷，方案3的置信度評(píng)分普遍高于方案1和方案2，這表明分類(lèi)精度有所提高。結(jié)果表明，方案3檢測(cè)性能最好，幾乎所有缺陷類(lèi)型都能被準(zhǔn)確識(shí)別和分類(lèi)。

圖8 使用原始數(shù)據(jù)集訓(xùn)練模型(方案1)，經(jīng)過(guò)傳統(tǒng)增強(qiáng)(方案2)和GAN(方案3)增強(qiáng)后，同一數(shù)據(jù)集的實(shí)際檢驗(yàn)和分類(lèi)結(jié)果

為了使實(shí)驗(yàn)結(jié)果更加直觀，我們?cè)诒?中列出了三個(gè)主要性能指標(biāo)?？梢院芎玫赜^察到，與使用原始數(shù)據(jù)集相比，使用合成圖像訓(xùn)練模型的精度、召回率和mAP都得到了提高。當(dāng)采用生成對(duì)抗網(wǎng)絡(luò)合成的數(shù)據(jù)進(jìn)行訓(xùn)練后，檢測(cè)器的mAP已經(jīng)超達(dá)到99.5%，可以滿(mǎn)足絕大多數(shù)工業(yè)應(yīng)用場(chǎng)景的需求。我們的實(shí)驗(yàn)證明，為了達(dá)到預(yù)期的性能，有足夠的的數(shù)據(jù)是很重要的。此外，Defect-GAN能夠生成具有高保真度和多樣性的缺陷圖像，從而提高目標(biāo)檢測(cè)器的精度。本工作的實(shí)驗(yàn)結(jié)果也證實(shí)了Defect-GAN在缺陷合成的保真度、多樣性和可轉(zhuǎn)移性方面的優(yōu)越性，尤其適用于工業(yè)質(zhì)量控制和缺陷檢測(cè)。

表2 方案1、2、3性能比較

此外，為了進(jìn)一步驗(yàn)證YOLOv5在工業(yè)缺陷檢測(cè)方面的優(yōu)越性和適用性，我們將其性能與Faster-RCNN算法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果如圖9所示。可以看出，在每個(gè)數(shù)據(jù)集的檢測(cè)結(jié)果中，YOLOv5在整體性能上優(yōu)于Faster RCNN。特別是在原始數(shù)據(jù)集上訓(xùn)練模型時(shí)，mAP從48.6%提高到71.7%，達(dá)到了23.1%的顯著提高。同樣，當(dāng)模型使用合成數(shù)據(jù)集訓(xùn)練時(shí)，分別有20.6%和16.1%的改善。

圖9 使用兩種不同算法(YOLOv5和Faster RCNN)時(shí)mAP對(duì)比圖

4 結(jié)束語(yǔ)

總之，在本文中，我們研究并開(kāi)發(fā)了一個(gè)用于圓柱表面塑料標(biāo)簽的自動(dòng)檢測(cè)和分類(lèi)平臺(tái)。我們的主要結(jié)論是，通過(guò)數(shù)據(jù)增強(qiáng)合成缺陷圖像可以顯著提高目標(biāo)檢測(cè)器的準(zhǔn)確性和泛化能力。我們選擇YOLOv5作為目標(biāo)檢測(cè)器，因?yàn)樗哂辛己玫男?、精度和魯棒性。針?duì)實(shí)際中缺陷樣本不足的問(wèn)題，我們探究了兩種數(shù)據(jù)增強(qiáng)方法。通過(guò)使用傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法和Defect-GAN網(wǎng)絡(luò)訓(xùn)練模型，整體精度得到了很大的提高。所展示的數(shù)據(jù)增強(qiáng)方法可以合成具有良好多樣性和保真度的缺陷圖像，能夠解決網(wǎng)絡(luò)訓(xùn)練過(guò)程中樣本不足的問(wèn)題，從而提高預(yù)測(cè)和分類(lèi)精度。我們相信合成數(shù)據(jù)的生成可以推廣到數(shù)據(jù)集有限的其他場(chǎng)景，因此特別適用于需要實(shí)時(shí)缺陷檢測(cè)和分類(lèi)的工業(yè)應(yīng)用。

在后續(xù)研究中，我們將繼續(xù)提高超小目標(biāo)檢測(cè)算法的精度和泛化能力，并進(jìn)一步開(kāi)發(fā)復(fù)雜的集成軟件，用于各種工業(yè)場(chǎng)景下的實(shí)時(shí)缺陷檢測(cè)和質(zhì)量控制。