作者簡(jiǎn)介：程錦鋒（1998－），男，浙江臺(tái)州人，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺、缺陷檢測(cè)；方貴盛（1973－），男（通信作者），江西婺源人，教授，碩導(dǎo)，博士，主要研究方向?yàn)樗胤N機(jī)器人、智能制造技術(shù)（823180313@qq.com）；高惠芳（1965－），女，浙江嘉興人，教授，碩導(dǎo)，主要研究方向?yàn)殡娐放c系統(tǒng)、嵌入式系統(tǒng)等.

摘 要：物體表面缺陷檢測(cè)技術(shù)是工業(yè)質(zhì)檢領(lǐng)域的一項(xiàng)重大課題，對(duì)工業(yè)生產(chǎn)有著重要的意義。針對(duì)近些年基于機(jī)器視覺的表面缺陷檢測(cè)技術(shù)進(jìn)行梳理總結(jié)。首先，列舉了幾種缺陷檢測(cè)在工業(yè)領(lǐng)域的應(yīng)用場(chǎng)景；其次從特征提取和分類算法的角度簡(jiǎn)要闡述了傳統(tǒng)的機(jī)器視覺方法；重點(diǎn)探討了缺陷檢測(cè)中常用的經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和缺陷檢測(cè)算法的最新發(fā)展，并介紹了兩種常用的缺陷檢測(cè)算法優(yōu)化方式；最后，分析了缺陷檢測(cè)領(lǐng)域面臨的三大挑戰(zhàn)：實(shí)時(shí)性問題、小樣本問題和小目標(biāo)問題，目的是為工業(yè)表面缺陷檢測(cè)的研究提供有益的參考和脈絡(luò)梳理。

關(guān)鍵詞：缺陷檢測(cè)；機(jī)器視覺；深度學(xué)習(xí)；表面缺陷；Transformer

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001－3695（2023）04－002－0967－11doi： 10.19734/j.issn.1001－3695.2022.08.0426

Abstract：Object surface defect detection technology is an important subject in the field of industrial quality inspection， which is of great significance to industrial production. This paper mainly summarized the surface defect detection techniques based on machine vision in recent years. Firstly， it listed several application scenarios of defect detection in the industry. Secondly， from the perspective of feature extraction and classification algorithms， it expounded on traditional machine vision methods. Then， this paper focused on the classical neural network structure and the latest development of defect detection algorithms and introduced two commonly used optimization methods of the defect detection algorithm. Finally， it analyzed three major challenges in the field of defect detection： real-time problems， small sample problems and small target problems. The purpose was to provide useful references and context for the research of industrial surface defect detection.

Key words：defect detection; machine vision; deep learning; surface defect; Transformer

0 引言

在工業(yè)生產(chǎn)工作過程中，由于現(xiàn)有技術(shù)、工作環(huán)境等因素，極易造成產(chǎn)品的質(zhì)量問題，物體表面缺陷是產(chǎn)品質(zhì)量問題最直觀的體現(xiàn)。物體表面缺陷的檢測(cè)，即對(duì)成品產(chǎn)品進(jìn)行表面檢查，以識(shí)別工業(yè)生產(chǎn)過程中造成的劃痕、污漬、凹坑等缺陷。因此，物體表面缺陷檢測(cè)是工業(yè)質(zhì)檢領(lǐng)域的一項(xiàng)重要課題，是確保自動(dòng)化生產(chǎn)過程中產(chǎn)品質(zhì)量的重要環(huán)節(jié)。傳統(tǒng)基于機(jī)器視覺的物體表面缺陷檢測(cè)方法通常采用圖像處理相關(guān)技術(shù)以及人工設(shè)計(jì)的特征提取算子進(jìn)行檢測(cè)分類，而基于深度學(xué)習(xí)的缺陷檢測(cè)方法則通過引入深度神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)提取特征，較傳統(tǒng)視覺方法具有較大的優(yōu)勢(shì)，是目前缺陷檢測(cè)領(lǐng)域的主流方法。

目前已有一些相關(guān)的高水平文獻(xiàn)綜述，Gao等人［1］重點(diǎn)闡述了基于設(shè)計(jì)特征的機(jī)器學(xué)習(xí)方法，基于學(xué)習(xí)特征的深度學(xué)習(xí)方法有所涉及，但并未深入探討，沒有具體到網(wǎng)絡(luò)模型；趙朗月等人［2］對(duì)使用傳統(tǒng)圖像處理方式、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)進(jìn)行缺陷檢測(cè)的方法做了分類總結(jié)，并整理了一些缺陷檢測(cè)的相關(guān)數(shù)據(jù)集；Zheng等人［3］分析了自動(dòng)視覺檢測(cè)系統(tǒng)相關(guān)的軟硬件，回顧探討了缺陷檢測(cè)的傳統(tǒng)方法和深度學(xué)習(xí)方法，并介紹了在鋼鐵、織物和半導(dǎo)體行業(yè)的應(yīng)用。本文是對(duì)上述綜述的總結(jié)和延伸，旨在梳理近些年來應(yīng)用于工業(yè)質(zhì)檢領(lǐng)域基于視覺的物體表面缺陷檢測(cè)技術(shù)，幫助研究人員系統(tǒng)、快速地了解這項(xiàng)技術(shù)的研究方向。

1 工業(yè)領(lǐng)域的物體表面缺陷檢測(cè)

物體表面缺陷可以理解為物體受外界因素影響所造成的局部或是整體發(fā)生物理和化學(xué)上的變化，表現(xiàn)為肉眼可視的形狀、顏色、紋理等異于正常標(biāo)準(zhǔn)的改變。物體表面缺陷檢測(cè)通常是指基于物體表面發(fā)生的形狀、顏色、紋理等的可視變化進(jìn)行缺陷檢測(cè)，不同物體對(duì)缺陷有著不同的定義標(biāo)準(zhǔn)，如熱軋鋼帶存在的夾雜、劃痕、氧化皮、裂紋、麻點(diǎn)和斑塊六種缺陷，以及水閘鋼絲繩存在的斷絲、腐蝕、破損、銹蝕、磨損等缺陷。國(guó)內(nèi)外較多的研究成果表明，基于機(jī)器視覺的缺陷檢測(cè)技術(shù)已經(jīng)在工業(yè)缺陷檢測(cè)的諸多行業(yè)得到了廣泛的應(yīng)用，下面介紹幾種機(jī)器視覺缺陷檢測(cè)技術(shù)的應(yīng)用案例。

NEU-DET是東北大學(xué)Song等人［4］研究熱軋帶鋼表面缺陷檢測(cè)發(fā)布的表面缺陷數(shù)據(jù)集，如圖1所示，該數(shù)據(jù)集收集了鋼材存在的氧化皮、斑塊、裂紋、麻點(diǎn)、夾雜和劃痕六種典型的表面缺陷。Cheng等人［5］提出了一種具有不同通道注意和自適應(yīng)空間特征融合的算法用于帶鋼缺陷檢測(cè)，在NEU-DET數(shù)據(jù)上實(shí)現(xiàn)了7825 mAP。Feng等人［6］對(duì)熱軋帶鋼缺陷進(jìn)行檢測(cè)進(jìn)一步研究，在NEU-DET數(shù)據(jù)集的六種缺陷基礎(chǔ)上收集整理了七種典型的熱軋帶鋼缺陷類型，并結(jié)合空間注意力機(jī)制（SA）提出了RepVGG算法，準(zhǔn)確率達(dá)到了95.10%。

Gan等人［7］基于對(duì)鐵軌表面缺陷檢測(cè)的研究建立了關(guān)于鐵軌表面缺陷的數(shù)據(jù)集RSDD，如圖2所示。該數(shù)據(jù)集分別收集了高速鐵軌和普通鐵軌的缺陷圖像數(shù)據(jù)，并提出了融合縱向上下文信息和橫向先驗(yàn)信息的特征提取方法。Nieniewski［8］基于形態(tài)學(xué)運(yùn)算設(shè)計(jì)了鋼軌表面缺陷形狀提取方法，在I型RSDD缺陷數(shù)據(jù)集上獲得了70%的精確度和79%的召回率，在Ⅱ型RSDD缺陷數(shù)據(jù)集上實(shí)現(xiàn)了82%的準(zhǔn)確率和89%的召回率。

KolektorSDD是電子換向器表面缺陷數(shù)據(jù)集，由Kolektor Group提供并標(biāo)注的缺陷圖像數(shù)據(jù)集，其圖像是在真實(shí)可控的工業(yè)環(huán)境下捕獲，缺陷是嵌在換向器表面的微觀碎片或裂紋。該數(shù)據(jù)集包含399張圖像，52張有明顯缺陷，347張無缺陷。Tabernik等人［9］提出了一種基于分割網(wǎng)絡(luò)的兩階段檢測(cè)方法，并引入KolektorSDD數(shù)據(jù)集加以驗(yàn)證。Oliena是由意大利Video Systems Srl （2021）發(fā)布的玻璃瓶表面缺陷數(shù)據(jù)集，該數(shù)據(jù)集包含520張瓶子圖像（頸部部分），其中305個(gè)有缺陷圖像，215個(gè)無缺陷圖像，顯示了一種特定類型的缺陷，即玻璃內(nèi)的裂縫。使用該數(shù)據(jù)研究時(shí)面臨著缺陷樣本較少、背景復(fù)雜等諸多挑戰(zhàn)。Versini等人［10］提出了一種新的組合損失函數(shù)（segmentation-classification combined loss function，SCL），同時(shí)利用分割和分類信息來減少假陽性和假陰性樣本，在Kolektor（電換向器）數(shù)據(jù)集中的表現(xiàn)較優(yōu)，并引入了Oliena數(shù)據(jù)集以促進(jìn)對(duì)玻璃瓶表面缺陷檢測(cè)的研究。

基于機(jī)器視覺的物體表面缺陷檢測(cè)技術(shù)，憑借其高效性和極高的檢測(cè)精度，在3C［11］、半導(dǎo)體及電子［12，13］、汽車［14，15］、木材［16］、紡織品［17］等多個(gè)關(guān)系國(guó)計(jì)民生的領(lǐng)域中得到快速成熟的發(fā)展。雖說如此，對(duì)于物體表面缺陷的檢測(cè)依然面臨著諸多挑戰(zhàn)，針對(duì)不同的缺陷定義標(biāo)準(zhǔn)，檢測(cè)速度和精度依然是不斷被探討的話題。

2 基于機(jī)器視覺的物體表面缺陷檢測(cè)方法

傳統(tǒng)基于機(jī)器視覺的物體表面缺陷檢測(cè)方法一般流程包括圖像處理、特征提取、目標(biāo)分類。實(shí)際工程中，在獲取圖像數(shù)據(jù)后，通常采用圖像增強(qiáng)和圖像分割等處理技術(shù)預(yù)先分離出缺陷區(qū)域；然后再根據(jù)缺陷目標(biāo)人為設(shè)計(jì)特征規(guī)則，手工提取缺陷區(qū)域的特征；最后應(yīng)用一些分類算法對(duì)缺陷特征進(jìn)行分類。特征提取和分類算法是傳統(tǒng)方法的重要環(huán)節(jié)，本章從特征提取和分類算法的角度總結(jié)傳統(tǒng)基于機(jī)器視覺的缺陷檢測(cè)方法。

2.1 特征提取

圖像特征提取是指從原始圖像數(shù)據(jù)中提取出能夠精準(zhǔn)、完整且不冗余地描述目標(biāo)特征的關(guān)鍵信息，因而傳統(tǒng)基于機(jī)器視覺的缺陷檢測(cè)方法最關(guān)鍵的步驟就是從圖像中提取缺陷的特征信息。高效的特征提取能夠保證后續(xù)缺陷識(shí)別的精度和魯棒性，以及降低模型計(jì)算復(fù)雜度。根據(jù)特征的不同形式大致可分為基于紋理特征的方法、基于顏色特征的方法以及基于形狀特征的方法。

2.1.1 基于紋理特征的方法

紋理特征是用來描述物體的表面結(jié)構(gòu)組織排列屬性，可以通過像素及其附近空間鄰域的灰度分布來反映。紋理特征具有旋轉(zhuǎn)不變性，且對(duì)噪聲有較強(qiáng)的抵抗能力?；诩y理特征的方法［1］可以分為統(tǒng)計(jì)法、信號(hào)處理法、模型法和結(jié)構(gòu)法。

a）統(tǒng)計(jì)法是指基于像素及其領(lǐng)域的灰度屬性，研究紋理特征的統(tǒng)計(jì)特性。常用的統(tǒng)計(jì)方法包括直方圖特征、灰度共生矩陣（GLCM）和局部二值模式（LBP）等。Kuang等人［18］提出了一種基于局部二值模式（LBP）和灰度共生矩陣（GLCM）的竹條缺陷檢測(cè)方法，先是通過閾值分割算法提取出感興趣區(qū)域，然后結(jié)合兩種算法來檢測(cè)感興趣區(qū)域的紋理信息并生成特征矩陣，最后將矩陣送入SVM分類器對(duì)竹條缺陷進(jìn)行分類。

b）信號(hào)處理法是指利用某種線性變換、濾波器或者濾波器組將紋理信息轉(zhuǎn)換到變換域，然后通過特定的規(guī)則提取紋理特征。信號(hào)處理的經(jīng)典算法有Sobel算子、Canny算子、Gabor算子、Laplacian算子、小波變換和傅氏變換等。Zhao等人［19］提出了一種基于Gabor濾波和主成分分析（PCA）相結(jié)合的特征提取方法，使用Gabor濾波器提取圖像的多個(gè)紋理映射作為子樣本，對(duì)子樣本集應(yīng)用主成分分析完成特征提取，最后利用SVM分類器對(duì)熱電制冷元件的缺陷進(jìn)行分類。

c）模型法是指對(duì)紋理圖像進(jìn)行建模，將紋理特征提取歸結(jié)為參數(shù)估計(jì)問題，然后采用各種優(yōu)化方法進(jìn)行參數(shù)估計(jì)。典型的模型法有馬爾可夫隨機(jī)場(chǎng)模型、分形模型和自回歸模型等。張輝等人［20］將模糊集理論和馬爾可夫隨機(jī)場(chǎng)（MRF）相結(jié)合提出了改進(jìn)的鋼軌表面缺陷自動(dòng)分割算法，目的是將鋼軌缺陷和背景分離，為缺陷檢測(cè)提供可靠的數(shù)據(jù)。

d）結(jié)構(gòu)法是建立在紋理基元理論基礎(chǔ)上的，其目標(biāo)是確定紋理基元，提取紋理基元的排列規(guī)律。結(jié)構(gòu)分析法的典型算法有句法紋理描述算法、數(shù)學(xué)形態(tài)學(xué)方法等。Jia等人［21］針對(duì)含有重復(fù)紋理基元的有圖案織物圖像，提出了一種基于網(wǎng)格分割和模板統(tǒng)計(jì)的織物自動(dòng)檢測(cè)方法，該方法根據(jù)紋理基元的位置規(guī)則將圖像分割成無重疊的網(wǎng)格，并結(jié)合多種特征提取方法計(jì)算網(wǎng)格的特征向量得到特征向量的平均值，所得平均值作為區(qū)分有缺陷織物和無缺陷織物的基準(zhǔn)。

2.1.2 基于顏色特征的方法

顏色特征是應(yīng)用最廣泛的視覺特征，描述圖像所對(duì)應(yīng)物體的外觀屬性具備一定的旋轉(zhuǎn)、平移不變性，魯棒性較強(qiáng)。顏色模型主要有 HSV、RGB、HSI、CHL、LAB、CMY等，顏色特征表征方法則包括顏色直方圖、顏色集、顏色矩、顏色聚合向量等。

仰梓淮等人［22］根據(jù)二次利用電路板的缺陷特點(diǎn)對(duì)圖像進(jìn)行分塊并比較子塊的顏色特征來檢測(cè)缺陷，其在均勻分塊方法的基礎(chǔ)上提出了四叉樹分裂顏色直方圖檢測(cè)方法，并結(jié)合SVM分類器，在保證檢測(cè)精度的同時(shí)兼顧檢測(cè)速度。胡躍明等人［23］提出了一種基于單高斯模型（SGM）的二維顏色分割的氧化缺陷檢測(cè)方法，并且基于RGB、HSV與分塊策略提取顏色矩、顏色占比等特征構(gòu)建氧化缺陷的八維顏色特征，輸入到有向無環(huán)圖支持向量機(jī)（DAG-SVMS）分類器實(shí)現(xiàn)銅箔表面氧化缺陷的快速分級(jí)。

2.1.3 基于形狀特征的方法

形狀特征存在輪廓形狀特征和區(qū)域形狀特征兩種表述方式。輪廓形狀特征是對(duì)目標(biāo)區(qū)域的包圍邊界進(jìn)行描述，從物體的輪廓中提取，其描述方法主要有邊界特征法（如邊界形狀數(shù)、邊界矩等）、簡(jiǎn)單幾何特征、基于變換域（如傅里葉描述符、小波描述符）、曲率尺度空間（CSS）、數(shù)學(xué)形態(tài)學(xué)等；區(qū)域形狀特征則針對(duì)目標(biāo)輪廓所包圍的區(qū)域內(nèi)的所有像素加以描述，主要有幾何特征（如面積、質(zhì)心、分散度等）、拓?fù)浣Y(jié)構(gòu)特征（如歐拉數(shù)）、矩特征（如Hu不變矩、Zernike矩）。Ge等人［24］針對(duì)具有中心對(duì)稱分布規(guī)律的工業(yè)零件提出了一種基于改進(jìn)Hough的缺陷檢測(cè)方法，能夠解決由于檢測(cè)目標(biāo)與背景相似而導(dǎo)致的不可檢測(cè)問題，可應(yīng)用于實(shí)際生產(chǎn)。

缺陷特征提取的方法多樣，各有優(yōu)缺點(diǎn)，從本質(zhì)上來講，都是從圖像中提取出用于描述區(qū)分目標(biāo)對(duì)象的關(guān)鍵信息。因此組合多種特征提取方法、融合不同特征是提高效率和準(zhǔn)確性的重要方法之一。

2.2 分類算法

傳統(tǒng)的機(jī)器視覺方法是在人工提取的特征信息上訓(xùn)練分類器，通過分類器來正確識(shí)別每個(gè)表面缺陷的類別。常用的分類算法有SVM、KNN、K-means聚類算法等。

a）SVM分類器。支持向量機(jī)（SVM）是一種典型的二分類模型，其核心思想是在給定的樣本空間里找出一個(gè)超平面，用來劃分不同的樣本類型。Iglesias等人［25］結(jié)合自動(dòng)編碼器（CA）和SVM進(jìn)行紋理缺陷檢測(cè)，通過將兩種不同的分類信息融合在一起，優(yōu)化互補(bǔ)輸出，可以有效地檢測(cè)工業(yè)應(yīng)用中常見的不同種類的缺陷。Sha等人［26］將方向梯度直方圖（HOG）作為特征提取方法，并結(jié)合優(yōu)化的SVM實(shí)現(xiàn)了對(duì)倒裝芯片焊點(diǎn)的智能檢測(cè)。Mustaqeem等人［27］提出了一種結(jié)合主成分分析（PCA）和SVM的機(jī)器學(xué)習(xí)混合方法用于缺陷檢測(cè)，通過PCA法找到用于特征優(yōu)化的主成分，從而達(dá)到降低算法時(shí)間復(fù)雜度的目的。

b）KNN分類器。K-近鄰（KNN）算法是通過測(cè)量不同特征值之間的距離進(jìn)行分類。該算法的核心思想是某個(gè)樣本與數(shù)據(jù)集中的k個(gè)樣本最相似，如果這k個(gè)樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。KNN算法所選擇的鄰居都是已經(jīng)正確分類的對(duì)象，這里的度量距離一般使用歐氏距離或曼哈頓距離等。Yildiz等人［28］利用GLCM提取織物缺陷圖像的紋理特征，并采用KNN算法對(duì)缺陷圖像進(jìn)行分類；Yildiz［29］采用PCA法對(duì)絨織物圖像降維，并采用改進(jìn)的對(duì)稱中心局部二值模式提取缺陷特征，結(jié)合KNN算法和貝葉斯分類器比較了歐氏距離度量和相關(guān)距離度量在分類過程中的作用；Cetiner等人［30］采用小波矩提取特征，并基于KNN分類器實(shí)現(xiàn)木材缺陷分類。

c）K-means聚類算法。K-means是聚類算法中最常用的一種，該算法的核心思想是先從樣本集中隨機(jī)選取k個(gè)樣本作為簇中心，并計(jì)算所有樣本與這k個(gè)“簇中心”的距離，對(duì)于每一個(gè)樣本，將其劃分到與其距離最近的“簇中心”所在的簇中。Li等人［31］提出了一種基于粒子群優(yōu)化的K-means聚類圖像分割算法，根據(jù)提取的圖像特征數(shù)據(jù)，采用粒子群優(yōu)化算法對(duì)K-means算法的初始中心和迭代過程進(jìn)行優(yōu)化，提高了K-means算法的聚類精度和計(jì)算效率，實(shí)現(xiàn)對(duì)密封零件表面缺陷區(qū)域的檢測(cè)。張緩緩等人［32］將聯(lián)合直方圖與滑動(dòng)窗口策略相結(jié)合來改進(jìn)中值濾波，很好地抑制了背景紋理的干擾，突出疵點(diǎn)信息，并通過K-means聚類算法將織物的疵點(diǎn)和非疵點(diǎn)進(jìn)行分類檢測(cè)。

除了上述列舉的分類算法，決策樹［33］、隨機(jī)森林［34］、生成對(duì)抗網(wǎng)絡(luò)［35，36］等也是被廣泛使用的分類算法。傳統(tǒng)的機(jī)器視覺分類算法大體可分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩個(gè)方面，其評(píng)判標(biāo)準(zhǔn)是訓(xùn)練樣本是否有標(biāo)簽。聚類算法屬于無監(jiān)督學(xué)習(xí)的一種，KNN、SVM則屬于有監(jiān)督學(xué)習(xí)。

3 基于深度學(xué)習(xí)的物體表面缺陷檢測(cè)方法

基于深度學(xué)習(xí)的物體表面缺陷檢測(cè)方法是一種端對(duì)端的檢測(cè)方案，由卷積神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)提取缺陷特征，其較人為設(shè)計(jì)規(guī)則提取特征更能準(zhǔn)確地表述和理解缺陷信息，檢測(cè)更為精準(zhǔn)。本章主要總結(jié)在缺陷檢測(cè)任務(wù)中常用的經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及缺陷檢測(cè)算法，并介紹了兩種常用的缺陷檢測(cè)算法優(yōu)化方式。

3.1 經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由于CNN強(qiáng)大的特征提取能力，使其成為構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元。一個(gè)簡(jiǎn)易的分類神經(jīng)網(wǎng)絡(luò)一般包括用于特征提取的級(jí)聯(lián)卷積層和池化層、用于分類的全連接層和softmax層。真實(shí)缺陷檢測(cè)項(xiàng)目中，通常根據(jù)實(shí)際問題搭建簡(jiǎn)易的網(wǎng)絡(luò)結(jié)構(gòu)或是使用現(xiàn)有的一些網(wǎng)絡(luò)架構(gòu)作為骨干特征提取網(wǎng)絡(luò)?，F(xiàn)總結(jié)一些缺陷檢測(cè)任務(wù)中常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

a）VGGNet。VGGNet是牛津大學(xué)的視覺幾何組［37］于2014年提出的模型，其主要的創(chuàng)新點(diǎn)在于不斷使用3×3的卷積核和2×2的池化核來加深神經(jīng)網(wǎng)絡(luò)模型的深度，并巧妙地設(shè)計(jì)讓參數(shù)量主要集中在全連接層上，避免了網(wǎng)絡(luò)深度的增長(zhǎng)導(dǎo)致的參數(shù)量上的爆炸，使得模型具有更好的模型泛化能力和更小的分類錯(cuò)誤。VGGNet設(shè)計(jì)了一系列模型，其網(wǎng)絡(luò)深度從11～19層不等，比較常用的是VGG16和VGG19。Zhu等人［38］對(duì)VGG16網(wǎng)絡(luò)稍加改進(jìn)，減去一層全連接層，并采用ReLU函數(shù)作為激活函數(shù)，驗(yàn)證了其在水泥混凝土橋梁表面缺陷的檢測(cè)性能。Apostolopoulos等人［39］在基線VGG19的基礎(chǔ)上提出了改進(jìn)的多路徑特征提取方法，引入了多尺度特征融合的概念，并在五個(gè)公開可用的工業(yè)數(shù)據(jù)集上證明了多路徑提取策略以及改進(jìn)算法的有效性。

b）GoogLeNet。GoogLeNet［40］是谷歌公司于2014年提出的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并在當(dāng)年的ImageNet比賽上取得了冠軍。一般來說，提升神經(jīng)網(wǎng)絡(luò)模型性能最直接的方法是增加網(wǎng)絡(luò)的深度和寬度，但這意味著巨量的參數(shù)量，而巨量的參數(shù)則容易產(chǎn)生過擬合且大大增加計(jì)算量。所以GoogLeNet的作者認(rèn)為必須使得網(wǎng)絡(luò)架構(gòu)走向“稀疏化”才能達(dá)到更深的層次。該算法的核心思想在于用“局部”的密集結(jié)構(gòu)來近似最優(yōu)的稀疏化結(jié)構(gòu)，即inception模塊，故GoogLeNet又稱做inception網(wǎng)絡(luò)，目前存在四個(gè)版本的inception網(wǎng)絡(luò)。王理順等人［41］綜合其他分類模型的經(jīng)典思想優(yōu)化改進(jìn)GoogLeNet架構(gòu)，設(shè)計(jì)了滿足實(shí)際工業(yè)需求的織物缺陷分類模型。Gong等人［42］利用inception-v3網(wǎng)絡(luò)強(qiáng)大的特征提取能力，從小金屬圓柱殼缺陷圖像提取特征，并在邏輯回歸分類器進(jìn)行訓(xùn)練，建立檢測(cè)模型。

c）ResNet。繼VGG和GoogLeNet的創(chuàng)新后，研究人員在實(shí)際訓(xùn)練中發(fā)現(xiàn)單純地加深網(wǎng)絡(luò)層次其實(shí)并不能帶來模型性能上的提升，這是因?yàn)殡S著網(wǎng)絡(luò)的不斷加深，可能存在梯度“爆炸”（exploding）或者“消失”（vanishing）的現(xiàn)象。He等人［43］為解決這一問題提出了殘差網(wǎng)絡(luò)結(jié)構(gòu)（residual network，ResNet），能夠大幅度提升網(wǎng)絡(luò)層次；Yang等人［44］使用ResNet101替代原SSD算法的VGG16網(wǎng)絡(luò)部分作為特征提取網(wǎng)絡(luò)，用于實(shí)木面板表面缺陷檢測(cè)，實(shí)驗(yàn)結(jié)果表明，ResNet與SSD算法結(jié)合的檢測(cè)的缺陷更小，準(zhǔn)確率更高；Wu等人［45］在ResNet的基礎(chǔ)上提出了一種用于小目標(biāo)檢測(cè)的多尺度檢測(cè)方法multi-scale ResNet，該模型引入了特征金字塔網(wǎng)絡(luò)（FPN）實(shí)現(xiàn)了多尺度目標(biāo)提取，并將其應(yīng)用于金相缺陷分析；Singh等人［46］采用ResNet-101用于特征提取，結(jié)合多類SVM作為分類器，在圓錐滾子表面缺陷上驗(yàn)證了該方法的有效性。

如表1所示，研究人員對(duì)分類網(wǎng)絡(luò)的研究經(jīng)歷了由淺層到深層、再由巨量級(jí)到輕量級(jí)的發(fā)展。增加深度和寬度都是通過增加可學(xué)習(xí)參數(shù)的個(gè)數(shù)來達(dá)到增加神經(jīng)網(wǎng)絡(luò)的擬合能力的目的。網(wǎng)絡(luò)深度的加深可以獲得更大的感受野以捕獲更多像素點(diǎn)的類似特征，網(wǎng)絡(luò)寬度的增加則可以得到更豐富、更細(xì)粒度的特征。

3.2 缺陷檢測(cè)算法

在缺陷檢測(cè)任務(wù)中，通常需要對(duì)輸入圖像采樣大量區(qū)域，然后通過神經(jīng)網(wǎng)絡(luò)提取特征來判斷采樣區(qū)域是否包含感興趣的目標(biāo)，并不斷調(diào)整區(qū)域范圍以更準(zhǔn)確地預(yù)測(cè)目標(biāo)的真實(shí)邊界框。故按區(qū)域采樣的方式不同，缺陷檢測(cè)算法可以分為基于錨框機(jī)制的模型、基于關(guān)鍵點(diǎn)采樣的模型、基于分割思想的模型以及基于Transformer框架的端到端缺陷檢測(cè)模型。

3.2.1 基于錨框機(jī)制的缺陷檢測(cè)算法

視覺檢測(cè)算法的發(fā)展過程中，錨框機(jī)制起著重要的作用。錨框的主要思想是在模型訓(xùn)練前預(yù)先設(shè)置多個(gè)不同尺寸的矩形框，以盡可能地涵蓋目標(biāo)所在的所有區(qū)域，訓(xùn)練時(shí)不斷地對(duì)錨框的位置和大小進(jìn)行調(diào)整，最后通過NMS等方法輸出最符合要求的預(yù)測(cè)邊界框。基于錨框機(jī)制的缺陷檢測(cè)算法可分為單階段檢測(cè)網(wǎng)絡(luò)和兩階段檢測(cè)網(wǎng)絡(luò)。

1）Faster R-CNN

Faster R-CNN［57］是在Fast R-CNN的基礎(chǔ)上提出的改進(jìn)算法，其最大的優(yōu)點(diǎn)在于引入了區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN）的概念來代替選擇性搜索方法（selective search）產(chǎn)生候選區(qū)域。RPN的核心思想是通過構(gòu)建一個(gè)小的全卷積網(wǎng)絡(luò)，對(duì)于任意大小的圖片，輸出RoI的具體位置以及該RoI是否為目標(biāo)物體。使用RPN產(chǎn)生RoI的好處是可以與檢測(cè)網(wǎng)絡(luò)共享卷積層。

Chen等人［58］采用可變形卷積優(yōu)化Faster R-CNN算法特征提取網(wǎng)絡(luò)的卷積方式，并在RPN結(jié)構(gòu)中引入特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）以捕獲鋁合金表面不同尺度和形狀的缺陷。Jin等人［59］在Faster R-CNN的輸入層之前增加一層拉普拉斯卷積層，銳化玻璃缺陷圖像以突出紋理特征，并采用VGG16作為骨干特征提取網(wǎng)絡(luò)，調(diào)整了anchor尺寸，提高了訓(xùn)練和檢測(cè)速度，通過遷移學(xué)習(xí)增強(qiáng)了模型的可泛化性。Ni等人［60］采用inception-ResNet-V2網(wǎng)絡(luò)作為Faster R-CNN的特征提取網(wǎng)絡(luò)，inception-ResNet-V2融合了inception和ResNet結(jié)構(gòu)，是對(duì)inception-V4的優(yōu)化和改進(jìn)，改進(jìn)后的模型能夠有效識(shí)別輸電線路關(guān)鍵部件的缺陷。

2）YOLO

從R-CNN到Faster R-CNN都是采用“位置+分類”的思想，檢測(cè)精度逐漸提高，但速度比較慢。YOLO系列則提供了另一種思路：把物體檢測(cè)問題看做回歸問題，直接在輸出層回歸bounding box（包含某個(gè)目標(biāo)的矩形框）的位置和所屬類別，大大地提升了檢測(cè)速度，但其檢測(cè)精度上對(duì)比Faster R-CNN等二階段算法稍弱。YOLO系列算法先后經(jīng)過YOLO［61］、YOLOv2［62］、YOLOv3［63］、YOLOv4［64］算法，已經(jīng)發(fā)展到Y(jié)OLOv5算法及更高版本。Xu等人［65］采用DenseNet替代YOLOv3網(wǎng)絡(luò)DarkNet53的部分殘差單元，并將檢測(cè)尺度增加到四個(gè)，以提升特征信息的提取能力。Fan等人［66］提出了一種基于YOLOv4的蘋果缺陷實(shí)時(shí)檢測(cè)方法，采用通道剪枝和層剪枝的方法優(yōu)化YOLOv4網(wǎng)絡(luò)，使其滿足實(shí)時(shí)檢測(cè)的要求。Yao等人［67］在YOLOv5的基礎(chǔ)上增加了小目標(biāo)檢測(cè)層，提升了小缺陷檢測(cè)能力，并在骨干特征提取網(wǎng)絡(luò)中嵌入了SE注意力模塊，實(shí)現(xiàn)了獼猴桃缺陷的實(shí)時(shí)檢測(cè)。

3）SSD

SSD算法［68］同時(shí)借鑒了YOLO網(wǎng)格的思想和Faster R-CNN的anchor機(jī)制，使SSD可以在進(jìn)行快速預(yù)測(cè)的同時(shí)又可以相對(duì)準(zhǔn)確地獲取目標(biāo)的位置。SSD算法中增加了基于特征金字塔的檢測(cè)方式，其目的是為了提取多尺度特征來準(zhǔn)確地檢測(cè)到不同尺度的物體。Yang等人［69］為了解決小目標(biāo)檢測(cè)精度低的問題，提出了基于SSD的多尺度檢測(cè)網(wǎng)絡(luò)，集成空洞卷積和殘差模塊，并通過特征融合的方式有效地提取多層語義信息。Ding等人［70］在SSD算法上引入DenseNet用于提取木材缺陷特征，并融合DenseNet得到的多層特征圖完成缺陷分類。Zhang等人［71］在SSD算法的骨干網(wǎng)絡(luò)中嵌入了多尺度接收?qǐng)瞿K，采用雙向特征金字塔的思想完成特征融合，結(jié)合通道注意力ECA模塊增強(qiáng)高層語義信息。

如表2所示，單階段檢測(cè)網(wǎng)絡(luò)是基于回歸問題的算法，其在檢測(cè)速度上更具優(yōu)勢(shì)；兩階段檢測(cè)網(wǎng)絡(luò)是基于候選區(qū)域的算法，更關(guān)注于檢測(cè)精度。無論是單階段網(wǎng)絡(luò)還是兩階段網(wǎng)絡(luò)，其對(duì)小目標(biāo)、多目標(biāo)的檢測(cè)仍然存在瓶頸，未來的發(fā)展趨勢(shì)都將是在權(quán)衡好檢測(cè)精度和檢測(cè)速度的同時(shí)提升對(duì)小目標(biāo)、多目標(biāo)的檢測(cè)能力。真實(shí)工程項(xiàng)目中理應(yīng)根據(jù)檢測(cè)對(duì)象的特點(diǎn)選擇合適的缺陷檢測(cè)方案。

3.2.2 基于無錨機(jī)制的缺陷檢測(cè)算法

基于錨框的缺陷檢測(cè)方法存在著依賴過多人為設(shè)計(jì)、正負(fù)樣本不均衡以及對(duì)小目標(biāo)不友好等問題，研究人員一直致力于研究去除錨框的檢測(cè)方法，提出了基于特定關(guān)鍵點(diǎn)采樣和內(nèi)部點(diǎn)采樣的檢測(cè)思想。

1）CenterNet

CenterNet-Keypoint Triplets［76］是在CornerNet基礎(chǔ)上改進(jìn)的算法，解決了CornerNet存在的全局信息缺乏的問題。該算法新增一個(gè)中心關(guān)鍵點(diǎn)，用于探索候選框內(nèi)中間區(qū)域內(nèi)的信息，即使用兩個(gè)角點(diǎn)和一個(gè)中心關(guān)鍵點(diǎn)來預(yù)測(cè)目標(biāo)邊界框；作者還提出了center pooling和cascade corner pooling方法，分別用于中心關(guān)鍵點(diǎn)預(yù)測(cè)和增加角點(diǎn)信息，以獲取更加豐富的目標(biāo)特征信息。CenterNet-objects as points［77］是關(guān)鍵點(diǎn)估計(jì)算法，僅建模一個(gè)中心點(diǎn)預(yù)測(cè)回歸目標(biāo)的其他屬性，輸出熱力圖峰值點(diǎn)即為中心關(guān)鍵點(diǎn)，其優(yōu)勢(shì)在于推理過程只有一個(gè)前向傳播網(wǎng)絡(luò)，結(jié)構(gòu)簡(jiǎn)單，無須對(duì)關(guān)鍵點(diǎn)分組和后處理，大大降低了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量；缺陷是如果同一類別不同物體存在中心點(diǎn)高度重疊的情況，則檢測(cè)結(jié)果不理想。

Tian等人［78］提出了改進(jìn)的無錨檢測(cè)器DCC-CenterNet，用于鋼表面缺陷檢測(cè)，其在CenterNet的基礎(chǔ)上引入擴(kuò)張卷積增大感受野，以達(dá)到檢測(cè)多尺度的目的，并提出了一種新的中心度函數(shù)，使關(guān)鍵點(diǎn)估計(jì)更加精確。Liu等人［79］結(jié)合知識(shí)蒸餾提出了D-CenterNet無錨檢測(cè)器，使用一種自適應(yīng)標(biāo)簽編碼策略來優(yōu)化極端縱橫比缺陷的中心信息回歸，并引入條帶池化（strip pooling）以更有效地提取缺陷特征，在阿里云天池織物缺陷數(shù)據(jù)集上取得了優(yōu)越的性能。Liu等人［80］在CenterNet的框架上嵌入CBAM注意力模塊，并采用特征金字塔網(wǎng)絡(luò)增強(qiáng)缺陷特征信息，其還引入了可變形卷積來代替部分普通卷積以提高對(duì)不同形狀缺陷的檢測(cè)能力，應(yīng)用于卷煙外觀缺陷檢測(cè)。

2）FCOS

2019年Tian等人［81］采用逐像素預(yù)測(cè)的方式設(shè)計(jì)了FCOS無錨檢測(cè)算法，使用物體的所有內(nèi)部點(diǎn)來預(yù)測(cè)邊界框，并且采用FPN多級(jí)預(yù)測(cè)結(jié)構(gòu)來解決低召回率以及由真實(shí)邊界框重疊造成的模糊樣本問題；研究者還增加了“center-ness”分支策略來抑制由遠(yuǎn)離目標(biāo)中心的位置預(yù)測(cè)而得到的低質(zhì)量檢測(cè)邊界框。與之前的主流檢測(cè)器相比，F(xiàn)COS性能更優(yōu)，且設(shè)計(jì)復(fù)雜性要低得多。

Shi等人［82］驗(yàn)證了無錨檢測(cè)算法FCOS在極端尺寸缺陷上的檢測(cè)性能，提出了一種自適應(yīng)中心采樣方法改進(jìn)原始FCOS算法的“center-ness”策略，優(yōu)化了模型對(duì)細(xì)長(zhǎng)缺陷的檢測(cè)，并根據(jù)缺陷特征優(yōu)化正則化方法和損失函數(shù)顯著提高了網(wǎng)絡(luò)對(duì)細(xì)長(zhǎng)缺陷和微缺陷的檢測(cè)性能。Yu等人［83］在FCOS無錨檢測(cè)框架上添加通道注意機(jī)制（CAM）模塊來減少特征信息的損失，并采用雙向特征融合網(wǎng)絡(luò)（BFFN）有效融合圖像特征，在NEU-DET帶鋼缺陷數(shù)據(jù)集上獲得了更好的檢測(cè)精度。

無錨檢測(cè)算法是近些年發(fā)展起來的目標(biāo)檢測(cè)算法，在缺陷檢測(cè)領(lǐng)域也得到了很好的驗(yàn)證。除了上述提到的兩種算法，CornerNet［84］、CentripetalNet ［85］以及最新的ObjectBox［86］亦適用于缺陷檢測(cè)，使用時(shí)需針對(duì)缺陷對(duì)象特征進(jìn)行優(yōu)化。

3.2.3 基于分割思想的缺陷檢測(cè)算法

分割網(wǎng)絡(luò)則是將缺陷檢測(cè)任務(wù)轉(zhuǎn)換為語義分割任務(wù)和實(shí)例分割任務(wù)，旨在劃分出缺陷區(qū)域和非缺陷區(qū)域，給出缺陷的位置、類別以及幾何屬性。分割網(wǎng)絡(luò)充分利用圖像的全局語義特征信息完成圖像的分割任務(wù)，常見的語義分割網(wǎng)絡(luò)有DeepLab、U-Net等，實(shí)例分割網(wǎng)絡(luò)則是以Mask R-CNN為代表。

a）DeepLab系列。DeepLab系列模型是專門用于處理語義分割的網(wǎng)絡(luò)模型，該系列網(wǎng)絡(luò)充分利用空洞卷積的方式，獲得更大的感受野和更多的語義特征信息。Zhou等人［87］提出了基于DeepLabv3+的算法模型用于下水道缺陷檢測(cè)和嚴(yán)重程度量化評(píng)估，并在此基礎(chǔ)上進(jìn)一步研究了不同骨干提取網(wǎng)絡(luò)對(duì)模型檢測(cè)精度和速度的影響，研究結(jié)果表明，帶有ResNet-50骨干網(wǎng)的DeepLabv3+模型在多類下水道缺陷分割上性能較好。

b）U-Net。U-Net［88］是由編碼器和解碼器組成的U型架構(gòu)，其編碼器用于捕獲上下文信息，解碼器則用于目標(biāo)位置的精確定位。U-Net通過編碼器和解碼器之間的拼接操作實(shí)現(xiàn)了淺層特征和高級(jí)特征的特征融合。Wang等人［89］基于U-Net體系架構(gòu)設(shè)計(jì)了多尺度分割網(wǎng)絡(luò)用于地鐵隧道圖像缺陷檢測(cè)，其將U-Net架構(gòu)中的所有卷積塊替換為inception塊，擴(kuò)大了網(wǎng)絡(luò)的感受野，增加了多尺度檢測(cè)能力，并結(jié)合DeepLabv2中的無向空間金字塔池化模塊（ASPP）減輕過擬合問題，得到更精確的結(jié)果。Miao等人［90］提出了一種組合的SE-ResNet方法用于改進(jìn)U-Net模型，將原有U-Net模型中所有的卷積塊用SE-ResNet塊來替代，該模型可以適應(yīng)隧道表面的紋理圖案噪聲和不均勻光源干擾。

c）Mask R-CNN。Mask R-CNN［91］是Faster R-CNN的擴(kuò)展，對(duì)于Faster R-CNN生成的每個(gè)proposal box都使用FCN進(jìn)行語義分割。該算法的backbone部分增加了FPN結(jié)構(gòu)，增強(qiáng)了模型的多尺度特征提取能力，可實(shí)現(xiàn)像素級(jí)的圖像實(shí)例分割，但其在檢測(cè)速度上與Faster R-CNN一樣，不能很好地滿足實(shí)時(shí)檢測(cè)的要求。Xu等人［92］在Mask R-CNN的基礎(chǔ)上增加了一個(gè)路徑增強(qiáng)特征金字塔網(wǎng)絡(luò)（PAFPN），并在網(wǎng)絡(luò)的末端增加了一個(gè)邊緣檢測(cè)分支，驗(yàn)證了其在隧道缺陷檢測(cè)和分割中的魯棒性和準(zhǔn)確性。

3.2.4 基于Transformer框架的端到端缺陷檢測(cè)算法

Transformer是一種最新發(fā)展的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其在自然語言處理和計(jì)算機(jī)視覺領(lǐng)域均取得了重大進(jìn)展，真正做到完全端到端檢測(cè)。Transformer結(jié)構(gòu)如圖3所示，由多個(gè)編碼器和解碼器構(gòu)成，編碼器和解碼器基于多頭注意力設(shè)計(jì)來取代各種卷積運(yùn)算捕獲全局的上下文信息，從而有效提取特征。Transformer模型在各種視覺任務(wù)上表現(xiàn)出競(jìng)爭(zhēng)性的性能，能滿足工業(yè)缺陷檢測(cè)的實(shí)時(shí)性和精度要求。

DETR算法［93］是2020年提出的第一個(gè)基于Transformer框架的目標(biāo)檢測(cè)算法，消除了錨點(diǎn)生成和非極大值抑制組件。DETR通過卷積神經(jīng)網(wǎng)絡(luò)提取特征，結(jié)合二分匹配和Transformer的編碼器—解碼器體系結(jié)構(gòu)實(shí)現(xiàn)圖像到集合的預(yù)測(cè)，即模型預(yù)測(cè)結(jié)果為一個(gè)包含了所有目標(biāo)對(duì)象的無序集合。其中，編碼器—解碼器結(jié)構(gòu)使用多頭自注意力模塊充分考慮全局圖像上下文信息，以提取更有效的目標(biāo)特征。Xu等人［94］驗(yàn)證了DETR算法在復(fù)雜航空?qǐng)D像中的絕緣子缺陷檢測(cè)的有效性，DETR算法在與Cascade R-CNN、YOLOv5的對(duì)比實(shí)驗(yàn)中獲得最佳平均精度且檢測(cè)速度較優(yōu)。張乃雪等人［95］結(jié)合Smooth-L1和GIoU損失函數(shù)設(shè)計(jì)了Smooth-DETR缺陷檢測(cè)算法，用于小尺寸缺陷檢測(cè)。

Swin Transformer算法是一種基于Transformer框架的檢測(cè)算法，其核心是采用層級(jí)式結(jié)構(gòu)移動(dòng)窗口進(jìn)行特征提取，使得特征具有多尺度的概念。Gao等人［96］在Swin Transformer的基礎(chǔ)上提出了改進(jìn)結(jié)構(gòu)Cas-VSwin Transformer用于軋輥表面缺陷檢測(cè)，該改進(jìn)算法提出了一種新的窗口移動(dòng)方案，加強(qiáng)了窗口之間的特征轉(zhuǎn)移，能有效聚合特征。Xie等人［97］采用基于交叉窗口的MSA來代替Swin Transformer算法的SW-MSA以增強(qiáng)窗口的全局建模能力，并設(shè)計(jì)了一種多尺度聚集塊強(qiáng)化語義特征信息，在太陽能電池缺陷檢測(cè)上獲得了比基線Swin Transformer更優(yōu)的檢測(cè)性能。

針對(duì)圖像背景干擾大、缺陷規(guī)模變化大、缺陷類別容易混淆、小缺陷檢測(cè)結(jié)果差的工業(yè)場(chǎng)景，Guo等人［98］結(jié)合Transformer和YOLOv5設(shè)計(jì)了MSFT-YOLO單級(jí)檢測(cè)模型，該模型基于Transformer設(shè)計(jì)了TRANS模塊，將其添加到Y(jié)OLOv5的原始主干和頸部，集成了加權(quán)的雙向特征金字塔網(wǎng)絡(luò)用于不同尺度的特征信息融合，并在NEU-DET帶鋼缺陷數(shù)據(jù)集上得到驗(yàn)證。

綜上，表3列舉了典型的缺陷檢測(cè)算法優(yōu)缺點(diǎn)總結(jié)。缺陷檢測(cè)算法的種類繁多，作為目標(biāo)檢測(cè)的一大分支，目標(biāo)檢測(cè)領(lǐng)域的相關(guān)算法均應(yīng)用于缺陷檢測(cè)領(lǐng)域，但因缺陷的極端尺寸，應(yīng)用時(shí)需根據(jù)檢測(cè)對(duì)象缺陷特點(diǎn)進(jìn)行優(yōu)化，如提升對(duì)小缺陷目標(biāo)的檢測(cè)能力。不同缺陷對(duì)象對(duì)不同檢測(cè)算法適配能力不同，故可以比較在通用數(shù)據(jù)集上的算法性能來初步評(píng)估。適用于缺陷檢測(cè)的算法性能比較如表4所示，可以看出，基于無錨機(jī)制的檢測(cè)算法在檢測(cè)精度上明顯比錨框機(jī)制要高。最新的ObjectBox中心檢測(cè)算法在MS-COCO 2017測(cè)試集上僅需30 M參數(shù)量就實(shí)現(xiàn)了46.1%的檢測(cè)精度。Transformer結(jié)構(gòu)在視覺檢測(cè)任務(wù)上亦取得了巨大的成功，從第一個(gè)Transformer目標(biāo)檢測(cè)算法DETR需要訓(xùn)練500個(gè)epochs才能達(dá)到42%的檢測(cè)精度，到最新的僅需50個(gè)epochs就能實(shí)現(xiàn)更優(yōu)的檢測(cè)性能。

anchor-free檢測(cè)算法較anchor-based算法檢測(cè)精度更高，速度更快?；赥ransformer的算法作為后起之秀，擯棄了各種卷積運(yùn)算提取特征，在全局上下文建模方面具有更強(qiáng)的表達(dá)能力，但訓(xùn)練成本較大；Swin Transformer算法的出現(xiàn)使得Transformer未來替代CNN成為可能。

3.3 缺陷檢測(cè)算法的優(yōu)化

缺陷檢測(cè)任務(wù)中缺陷對(duì)象往往存在缺陷對(duì)象與背景差異小、圖像對(duì)比度低、缺陷尺寸變化大且存在極小極長(zhǎng)等極端尺寸等屬性，在應(yīng)用缺陷檢測(cè)算法時(shí)需根據(jù)檢測(cè)對(duì)象特征優(yōu)化網(wǎng)絡(luò)，提升對(duì)缺陷對(duì)象的檢測(cè)能力。常用的兩種優(yōu)化方式為優(yōu)化卷積方式和嵌入注意力機(jī)制。

3.3.1 優(yōu)化卷積方式

卷積是深度神經(jīng)網(wǎng)絡(luò)最重要的組成部分，深度神經(jīng)網(wǎng)絡(luò)模型之所以具有強(qiáng)大的特征學(xué)習(xí)能力是因?yàn)榇罅烤矸e運(yùn)算的使用。目前已經(jīng)發(fā)展出不同類型的卷積方式，缺陷檢測(cè)中常用的卷積方式包括深度可分離卷積、可變形卷積等。

a）深度可分離卷積（depthwise separable convolution）。深度可分離卷積是MobileNet系列網(wǎng)絡(luò)的精髓，其將普通卷積拆分成級(jí)聯(lián)的兩步運(yùn)算：逐通道卷積（depthwise convolution）和逐點(diǎn)卷積（pointwise convolution），大大降低了參數(shù)量和運(yùn)算成本。Wan等人［111］采用深度可分離卷積來減少YOLOv5模型的卷積參數(shù)量，提高計(jì)算效率，并加入CBAM模塊和增加一個(gè)小尺寸檢測(cè)層，增強(qiáng)小缺陷特征提取能力，用于瓷磚缺陷檢測(cè)。Ma等人［112］結(jié)合深度可分離卷積核雙通道注意機(jī)制設(shè)計(jì)了一種輕量化卷積塊，在保證檢測(cè)精度的同時(shí)大大降低了模型的計(jì)算復(fù)雜度和規(guī)模。

b）可變形卷積（deformable convolution）?？勺冃尉矸e是針對(duì)卷積核形狀的改進(jìn)，其通過對(duì)卷積核的每個(gè)采樣點(diǎn)設(shè)置偏移量，使得卷積核形狀不再局限于矩形，相當(dāng)于在不改變卷積采樣數(shù)量的情況下對(duì)卷積核進(jìn)行不規(guī)則伸縮變化，從而改變感受野的范圍?？勺冃尉矸e可以看做偏移層和輸入特征圖先做插值操作，然后再進(jìn)行普通卷積運(yùn)算。Liu等人［113］提出的缺陷檢測(cè)模型引入可變形卷積對(duì)Faster R-CNN進(jìn)行改進(jìn)，并通過一個(gè)平衡的特征金字塔融合不同分辨尺度的特征映射以增強(qiáng)特征。Zhu等人［114］以Faster R-CNN為基礎(chǔ)，設(shè)計(jì)了基于可變形卷積的ResNeSt網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

不同的卷積結(jié)構(gòu)功能不同，但其本質(zhì)上都是用于提取目標(biāo)圖像特征?？傮w而言，網(wǎng)絡(luò)設(shè)計(jì)過程中對(duì)卷積方式的改進(jìn)基于兩個(gè)方向的考量：a）從kernel size角度改進(jìn)，大卷積核用多個(gè)小卷積核或兩個(gè)不對(duì)稱卷積核替代，單一尺寸卷積核用多尺寸卷積核來替代，固定形狀卷積核引入可變形卷積來替代，添加1×1卷積；b）從channels角度，引入分組卷積替代普通卷積，引入深度可分離卷積，對(duì)每個(gè)feature map基于通道加權(quán)。

3.3.2 嵌入注意力機(jī)制

注意力機(jī)制（attention mechanism）起源于人類的視覺注意力機(jī)制，已經(jīng)成為神經(jīng)網(wǎng)絡(luò)的一個(gè)重要概念。注意力機(jī)制其本質(zhì)是一組權(quán)重系數(shù)，由神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)產(chǎn)生，以“動(dòng)態(tài)加權(quán)”的方式強(qiáng)調(diào)需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域的同時(shí)抑制不相關(guān)的背景區(qū)域。根據(jù)注意力機(jī)制的作用域不同，也就是注意力權(quán)重施加的位置和方式的不同，注意力機(jī)制可分為通道注意力機(jī)制、空間注意力機(jī)制和混合注意力機(jī)制。缺陷檢測(cè)項(xiàng)目中，注意力機(jī)制常被用來改進(jìn)神經(jīng)網(wǎng)絡(luò)模型，以達(dá)到提升檢測(cè)精度的目的。

a）SENet。SENet［115］模塊屬于通道注意力機(jī)制的一種，其目的是通過顯示地建模來表征不同特征通道之間的依賴關(guān)系，具體來說，就是通過網(wǎng)絡(luò)自主學(xué)習(xí)以獲得每個(gè)特征通道的相對(duì)重要程度，然后通過分配不同的權(quán)重提升有用的重要特征并抑制與當(dāng)前任務(wù)相關(guān)性不大的特征信息。He等人［116］設(shè)計(jì)了一種結(jié)合SE模塊和空間注意力SAM模塊的聯(lián)合注意層，并將其嵌入到生成對(duì)抗網(wǎng)絡(luò)（GAN）用于高速磁浮軌道缺陷檢測(cè)。Zheng等人［117］在YOLOv5的骨干網(wǎng)絡(luò)上嵌入了SE模塊，并將YOLOv5的CSP部分Leaky ReLU激活函數(shù)替換為ACON激活函數(shù)，提升了模型的魯棒性和泛化能力，檢測(cè)精度更高，能夠滿足織物疵點(diǎn)檢測(cè)的需求。

b）ECANet。ECANet［118］是在SENet的基礎(chǔ)上改進(jìn)的通道注意力機(jī)制，利用一維的稀疏卷積操作優(yōu)化SE模塊中涉及到的全連接層操作，采取不降維的局部跨信道交互策略，一維卷積的kernel size選擇采用自適應(yīng)方法，實(shí)現(xiàn)了性能上的提優(yōu)。Li等人［119］提出了兩階段工業(yè)缺陷檢測(cè)框架，第一階段采用改進(jìn)的YOLOv5算法，對(duì)骨干特征提取網(wǎng)絡(luò)優(yōu)化刪減并插入ECANet模塊，提取可疑的缺陷區(qū)域，完成鋼材表面缺陷的精確定位。Xie等人［120］結(jié)合ECA模塊和MobileNetV2的輕量級(jí)特性設(shè)計(jì)了一種輕量級(jí)的局部跨通道交互特征提取網(wǎng)絡(luò)，并將其作為YOLOv4的骨干網(wǎng)絡(luò)，顯著提高了模型的檢測(cè)精度。Ying等人［121］將ECANet模塊分別嵌入進(jìn)YOLOv5模型的骨干網(wǎng)絡(luò)和PAN結(jié)構(gòu)特征融合部分，驗(yàn)證了其對(duì)檢測(cè)性能的提升效果。

c）CBAM。CBAM［122］是一種屬于混合注意力機(jī)制的典型應(yīng)用，它同時(shí)包含了通道注意力和空間注意力的優(yōu)點(diǎn)。CBAM的實(shí)現(xiàn)先后經(jīng)過通道注意力模塊（channel attention module）和空間注意力模塊（spatial attention module）兩個(gè)獨(dú)立階段。Guo等人［123］設(shè)計(jì)了一種新的非對(duì)稱卷積塊，在YOLOv4骨干網(wǎng)絡(luò)CSP化的基礎(chǔ)上，對(duì)每個(gè)階段殘差塊的3×3卷積加入非對(duì)稱卷積，增強(qiáng)了竹條表面水平方向的特征提取。該算法還對(duì)頸部網(wǎng)絡(luò)CSP化，并加入CBAM模塊，去掉了功能重復(fù)的SPP層，充分使用了更豐富的高級(jí)特征語義信息。Li等人［119］提出的兩階段工業(yè)缺陷檢測(cè)框架，第二階段采用優(yōu)化的inception-ResNetV2模型，該架構(gòu)是inception和ResNet網(wǎng)絡(luò)主干架構(gòu)的結(jié)合體，并嵌入CBAM模塊，實(shí)現(xiàn)了鋼材缺陷特征的精確分類。

注意力機(jī)制模塊均屬于即插即用的模塊，可以嵌入到網(wǎng)絡(luò)的任意位置，以達(dá)到增強(qiáng)模型檢測(cè)能力的目的；注意力模塊不大，可以多個(gè)嵌入。實(shí)際研究中，可以測(cè)試注意力模塊嵌入進(jìn)網(wǎng)絡(luò)不同位置對(duì)網(wǎng)絡(luò)性能的影響以及測(cè)試不同注意力模塊對(duì)網(wǎng)絡(luò)性能的提升效果來選擇合適的方案。

4 主要問題與發(fā)展趨勢(shì)

基于深度學(xué)習(xí)的缺陷檢測(cè)方法是未來缺陷檢測(cè)領(lǐng)域的主要發(fā)展方向，盡管目前目標(biāo)檢測(cè)算法已經(jīng)取得了很大的進(jìn)展，但在實(shí)際生產(chǎn)工程中，缺陷檢測(cè)算法的部署仍然面臨著諸多挑戰(zhàn)，存在著許多問題亟待解決。

1）實(shí)時(shí)性問題

實(shí)時(shí)性是工業(yè)生產(chǎn)工程中反映檢測(cè)效率的關(guān)鍵因素，在許多諸如在線檢測(cè)等場(chǎng)景，實(shí)時(shí)性始終處在一個(gè)極其重要的位置，因此如何高效權(quán)衡檢測(cè)速度與精度是一個(gè)亟待解決的關(guān)鍵問題。模型加速技術(shù)是解決實(shí)時(shí)性問題的重要改進(jìn)方向，算法層面上，模型設(shè)計(jì)之初可以采用一些輕量化的思想，如采用分組卷積、深度可分離卷積等輕量卷積方式，減少卷積過程的計(jì)算量，或者直接采用輕量級(jí)網(wǎng)絡(luò)模型用于特征提取，如MobileNet、SqueezeNet、ShuffleNet和 EfficientNet等；硬件層面上，使用GPU、FPGA、DSP等加速芯片進(jìn)行模型加速。

2）小樣本問題

小樣本問題始終是限制深度學(xué)習(xí)方法在缺陷檢測(cè)領(lǐng)域得到廣泛應(yīng)用的最關(guān)鍵性問題。深度學(xué)習(xí)方法有著非常強(qiáng)的性能優(yōu)勢(shì)，其強(qiáng)大的學(xué)習(xí)能力需要大量的數(shù)據(jù)樣本來保證。但在真實(shí)的工業(yè)項(xiàng)目中，所能提供的缺陷樣本太少，導(dǎo)致深度學(xué)習(xí)方法在模型學(xué)習(xí)訓(xùn)練過程中出現(xiàn)過擬合問題，難以上線。解決小樣本問題的基本思路有增加樣本和減少算法對(duì)樣本的依賴兩種。

a）數(shù)據(jù)增強(qiáng)技術(shù)。數(shù)據(jù)增強(qiáng)的核心思想就是增加樣本數(shù)量，擴(kuò)充數(shù)據(jù)集，也就是對(duì)原始缺陷樣本采用翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放、裁剪等幾何變換方法和加高斯噪聲、加椒鹽噪聲、調(diào)整對(duì)比度等像素變換方法來獲得更多的樣本。YOLOv5模型在其輸入端采用了Mosaic數(shù)據(jù)增強(qiáng)技術(shù)，即采用隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式對(duì)四張?jiān)紙D像進(jìn)行拼接，極大地豐富了檢測(cè)數(shù)據(jù)集。

b）網(wǎng)絡(luò)預(yù)訓(xùn)練或遷移學(xué)習(xí)。遷移學(xué)習(xí)（transfer learning）是借用已經(jīng)訓(xùn)練好的模型，包括其本身架構(gòu)以及每層上的權(quán)重信息來構(gòu)建新架構(gòu)，也叫做預(yù)訓(xùn)練。遷移學(xué)習(xí)是解決小樣本問題的關(guān)鍵技術(shù)之一，其目的是降低數(shù)據(jù)需求，減少算法對(duì)樣本的依賴。

3）小目標(biāo)問題

物體表面缺陷檢測(cè)面臨的另一個(gè)挑戰(zhàn)是小目標(biāo)問題。解決這一問題最常用的手段是引入特征金字塔結(jié)構(gòu)，將不同階段的特征圖融合，充分利用淺層特征適合小目標(biāo)檢測(cè)的特點(diǎn)，提高多尺度檢測(cè)能力。增加數(shù)據(jù)集中小目標(biāo)樣本的類型和數(shù)量也是解決小目標(biāo)問題的重要途徑之一。

參考文獻(xiàn)：

［1］Gao Yiping，Li Xinyu，Wang X V，et al. A review on recent advances in vision-based defect recognition towards industrial intelligence ［J］. Journal of Manufacturing Systems，2021，62（1）： 753－766.

［2］趙朗月，吳一全. 基于機(jī)器視覺的表面缺陷檢測(cè)方法研究進(jìn)展 ［J］. 儀器儀表學(xué)報(bào)，2022，43（1）： 198－219. （Zhao Langyue，Wu Yiquan. Research progress of surface defect detection methods based on machine vision ［J］. Chinese Journal of Scientific Instrument，2022，43（1）： 198－219.）

［3］Zheng Xiaoqing，Zheng Song，Kong Yaguang，et al. Recent advances in surface defect inspection of industrial products using deep learning techniques ［J］. International Journal of Advanced Manufactu-ring Technology，2021，113（3）： 35－58.

［4］Song Kechen，Yan Yunhui. A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects ［J］. Applied Surface Science，2013，285（11）： 858－864.

［5］Cheng Xun，Yu Jianbo. Retinanet with difference channel attention and adaptively spatial feature fusion for steel surface defect detection ［J］. IEEE Trans on Instrumentation and Measurement，2021，70： 1－11.

［6］Feng Xinglong，Gao Xianwen，Luo Ling. X-SDD： a new benchmark for hot rolled steel strip surface defects detection ［J］. Symmetry，2021，13（4）： 706.

［7］Gan Jinrui，Li Qingyong，Wang Jianzhu，et al. A hierarchical extractor-based visual rail surface inspection system ［J］. IEEE Sensors Journal，2017，17（23）： 7935－7944.

［8］Nieniewski M. Morphological detection and extraction of rail surface defects ［J］. IEEE Trans on Instrumentation and Measurement，2020，69（9）： 6870－6879.

［9］Tabernik D，Sela S，Skvarc J，et al. Segmentation-based deep-learning approach for surface-defect detection ［J］. Journal of Intelligent Manufacturing，2020，31（3）： 759－776.

［10］Versini E，Snidaro L，Liani A. SCL： segmentation－classification combined loss for surface defect detection ［J］. Expert Systems with Applications，2022，198（7）： 116710.

［11］Ming Wuyi，Cao Chen，Zhang Guojun，et al. Review： application of convolutional neural network in defect detection of 3C products ［J］. IEEE Access，2021，9： 135657－135674.

［12］Onshaunjit J，Srinonchat J. Algorithmic scheme for concurrent detection and classification of printed circuit board defects ［J］. Compu-ters，Materials amp; Continua，2022，71（1）： 355－367.

［13］Adibhatla V A，Chih H C，Hsu C C，et al. Applying deep learning to defect detection in printed circuit boards via a newest model of you-only-look-once ［J］. Mathematical Biosciences and Engineering，2021，18（4）： 4411－4428.

［14］Baek W，Kim D Y. An in-process inspection system to detect noise originating from within the interior trim panels of car doors ［J］. Sensors，2020，20（3）： 630.

［15］Kuric I，Klarak J，Bulej V，et al. Approach to automated visual inspection of objects based on artificial intelligence ［J］. Applied Sciences，2022，12（2）： 864.

［16］Urbonas A，Raudonis V，Maskeliūnas R，et al. Automated identification of wood veneer surface defects using faster region-based convolutional neural network with data augmentation and transfer learning ［J］. Applied Sciences，2019，9（22）： 4898.

［17］Chen Mengqi，Yu Lingjie，Zhi Chao，et al. Improved Faster R-CNN for fabric defect detection based on Gabor filter with genetic algorithm optimization ［J］. Computers in Industry，2022，134（1）： 103551.

［18］Kuang Hailan，Ding Yiran，Li Ruifang，et al. Defect detection of bamboo strips based on LBP and GLCM features by using SVM classifier ［C］// Proc of Chinese Control and Decision Conference. Pisca-taway，NJ： IEEE Press，2018： 3341－3345.

［19］Zhao Ming，Qiu Weiyu，Wen Tingxi，et al. Feature extraction based on Gabor filter and support vector machine classifier in defect analysis of thermoelectric cooler component ［J］. Computers amp; Electrical Engineering，2021，92（6）： 107188.

［20］張輝，李平，Wu Q M J，等. 基于改進(jìn)馬爾可夫隨機(jī)場(chǎng)的鋼軌缺陷分割 ［J］. 計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（4）： 1052－1061. （Zhang Hui，Li Ping，Wu Q M J，et al. Rail defect segmentation based on improved Markov random field ［J］. Computer Engineering and Design，2020，41（4）： 1052－1061.）

［21］Jia Liang，Chen Chen，Xu Shoukun，et al. Fabric defect inspection based on lattice segmentation and template statistics ［J］. Information Sciences，2020，512（2）： 964－984.

［22］仰梓淮，黃海鴻，劉賀，等. 基于顏色直方圖的電路板表面缺陷檢測(cè) ［J/OL］. 計(jì)算機(jī)集成制造系統(tǒng).（2022－04－11）.https：//kns.cnki.net/kcms/detail/11.5946.TP.20220411.0023.002.html. （Yang Zihuai，Huang Haihong，Liu He，et al. Color histogram－based detection of defects on circuit boards surface ［J/OL］. Computer Integrated Manufacturing Systems.（2022－04－11）.https：//kns.cnki.net/kcms/detail/11.5946.TP.20220411.0023.002.html.）

［23］胡躍明，李璐，羅家祥. 高密度柔性集成電路基板的表面氧化缺陷檢測(cè) ［J］. 計(jì)算機(jī)集成制造系統(tǒng)，2020，26（9）： 2379－2387. （Hu Yueming，Li Lu，Luo Jiaxiang. Surface oxidation defect detection of high-density flexible integrated circuit substrate ［J］. Computer Integrated Manufacturing Systems，2020，26（9）： 2379－2387.）

［24］Ge Qingcai，F(xiàn)ang Ming，Xu Jing. Defect detection of industrial pro-ducts based on improved Hough transform ［C］// Proc of IEEE International Conference on Mechatronics and Automation. Piscataway，NJ： IEEE Press，2018： 832－836.

［25］Iglesias A T，Anaya M A C，Martinsanz G P，et al. On combining convolutional autoencoders and support vector machines for fault detection in industrial textures ［J］. Sensors，2021，21（10）： 3339.

［26］Sha Yuhua，He Zhenzhi，Du Jiawei，et al. Intelligent detection technology of flip chip based on H-SVM algorithm ［J］. Engineering Failure Analysis，2022，134（4）： 106032.

［27］Mustaqeem M，Saqib M. Principal component based support vector machine （PC-SVM）： a hybrid technique for software defect detection ［J］. Cluster Computing，2021，24（9）： 2581－2595.

［28］Yildiz K，Buldu A，Demetgul M. A thermal－based defect classification method in textile fabrics with K-nearest neighbor algorithm ［J］. Journal of Industrial Textiles，2016，45（5）： 780－795.

［29］Yildiz K. Dimensionality reduction-based feature extraction and classification on fleece fabric images ［J］. Signal Image and Video Processing，2017，11（2）： 317－323.

［30］Cetiner I，Var A A，Cetiner H. Classification of knot defect types using wavelets and KNN ［J］. Elektronika Ir Elektrotechnika，2016，22（6）： 67－72.

［31］Li Xiaoguang，Zhu Juan，Shi Haoran，et al. Surface defect detection of seals based on K-means clustering algorithm and particle swarm optimization ［J］. Scientific Programming，2021，2021： article ID 3965247.

［32］張緩緩，馬金秀，景軍鋒，等. 基于改進(jìn)的加權(quán)中值濾波與K-means聚類的織物缺陷檢測(cè) ［J］. 紡織學(xué)報(bào)，2019，40（12）： 50－56. （Zhang Huanhuan，Ma Jinxiu，Jing Junfeng，et al. Fabric defect detection method based on improved fast weighted median filtering and K-means ［J］. Journal of Textile Research，2019，40（12）： 50－56.）

［33］Lin Yuqing，Xiang Yichuan，Lin Youxi，et al. Defect detection system for optical element surface based on machine vision ［C］// Proc of the 2nd International Conference on Information Systems and Computer Aided Education. Piscataway，NJ： IEEE Press，2019： 415－418.

［34］Decor G，Bah M D，F(xiàn)oucher P，et al. Defect detection in tunnel images using random forests and deep learning ［C］// Proc of the 10th International Conference on Pattern Recognition Systems. 2019： 1－6.

［35］Xu Lin，Tian Ge，Zhang Lipeng，et al. Research of surface defect detection method of hot rolled strip steel based on generative adversarial network ［C］// Proc of Chinese Automation Congress. Piscataway，NJ： IEEE Press，2019： 401－404.

［36］Kim J，Nam Y，Kang M C，et al. Adversarial defect detection in semiconductor manufacturing process ［J］. IEEE Trans on Semiconductor Manufacturing，2021，34（3）： 365－371.

［37］Karen S，Andrew Z. Very deep convolutional networks for large-scale image recognition ［EB/OL］ （2015－04－10）. https：//arxiv.org/pdf/1409.1556.pdf.

［38］Zhu Jinsong，Song Jinbo. An intelligent classification model for surface defects on cement concrete bridges ［J］. Applied Sciences，2020，10（3）： 972.

［39］Apostolopoulos I D，Tzani M A. Industrial object and defect recognition utilizing multilevel feature extraction from industrial scenes with deep learning approach ［J/OL］. Journal of Ambient Intelligence and Humanized Computing.（2022－01－08）. https：//doi.org/10.1007/s12652－021－03688－7.

［40］Szegedy C，Liu Wei，Jia Yangqing，et al. Going deeper with convolutions ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2015： 1－9.

［41］王理順，鐘勇，李振東，等. 基于深度學(xué)習(xí)的織物缺陷在線檢測(cè)算法 ［J］. 計(jì)算機(jī)應(yīng)用，2019，39（7）： 2125－2128. （Wang Lishun，Zhong Yong，Li Zhendong，et al. On－line fabric defect recognition algorithm based on deep learning ［J］. Journal of Computer Applications，2019，39（7）： 2125－2128.）

［42］Gong Yanfeng，Luo Jun，Shao Hongliang，et al. Automatic defect detection for small metal cylindrical shell using transfer learning and logistic regression ［J］. Journal of Nondestructive Evaluation，2020，39（2）： article No.24.

［43］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Deep residual learning for image recognition ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2016： 770－778.

［44］Yang Yutu，Wang Honghong，Jiang Dong，et al. Surface detection of solid wood defects based on SSD improved with ResNet ［J］. Fo-rests，2021，12（10）： 1419.

［45］Wu W H，Lee J C，Wang Yiming. A study of defect detection techniques for Metallographic images ［J］. Sensors，2020，20（19）： 5593.

［46］Singh S A，Desai K A. Automated surface defect detection framework using machine vision and convolutional neural networks ［J/OL］. Journal of Intelligent Manufacturing.（2022－01－24）. https：//doi.org/10.1007/s10845－021－01878－w.

［47］LeCun Y，Bottou L. Gradient-based learning applied to document re-cognition ［J］. Proceedings of the IEEE，1998，86（11）： 2278－2324.

［48］Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM，2017，60（6）： 84－90.

［49］Ioffe S，Szegedy C. Batch normalization： accelerating deep network training by reducing internal covariate shift ［EB/OL］. （2015－03－02）. https：//arxiv.org/pdf/1502.03167.pdf.

［50］Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the inception architecture for computer vision ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2016： 2818－2826.

［51］Szegedy C，Ioffe S，Vanhoucke V，et al. inception-v4，inception-ResNet and the impact of residual connections on learning ［EB/OL］ （2016－08－23）. https：//arxiv.org/pdf/1602.07261.pdf.

［52］Iandola F N，Han Song，Moskewicz M W，et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and lt;1 MB model size ［EB/OL］. （2016－11－04）. https：//arxiv.org/pdf/1602.07360.pdf.

［53］Huang Gao，Liu Zhuang，Van der Maaten L，et al. Densely connected convolutional networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2017： 2261－2269.

［54］Howard A G，Zhu Menglong，Chen Bo，et al. MobileNets： efficient convolutional neural networks for mobile vision applications ［EB/OL］ （2017－04－17）. https：//arxiv.org/pdf/1704.04861.pdf.

［55］Sandler M，Howard A，Zhu Menglong，et al. MobileNetV2： inverted residuals and linear bottlenecks ［C］// Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2018： 4510－4520.

［56］Andrew H，Sandler M，Chen Bo，et al. Searching for MobileNetV3 ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2020： 1314－1324.

［57］Ren Shaoqing，He Kaiming，Girshick R，et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（6）： 1137－1149.

［58］Chen Keyu，Zeng Zhaoyang，Yang Jianfei. A deep region-based pyramid neural network for automatic detection and multi-classification of various surface defects of aluminum alloys ［J］. Journal of Building Engineering，2021，43（11）： 102523.

［59］Jin Dabing，Xu Shiqing，Tong Lianjie，et al. End image defect detection of float glass based on faster region-based convolutional neural network ［J］. Traitement du Signal，2020，37（5）： 807－813.

［60］Ni Hongxia，Wang Minzhen，Zhao Liying. An improved Faster R-CNN for defect recognition of key components of transmission line ［J］. Mathematical Biosciences and Engineering，2021，18（4）： 4679－4695.

［61］Redmon J，Divvala S，Girshick R，et al. You only look once： unified，real-time object detection ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2016： 779－788.

［62］Redmon J，F(xiàn)arhadi A. YOLO9000： better，faster，stronger ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2017： 6517－6525.

［63］Redmon J，F(xiàn)arhadi A. YOLOv3： an incremental improvement ［EB/OL］. （2018－04－18）. https：//arxiv.org/pdf/1804.02767.pdf.

［64］Bochkovskiy A，Wang C Y，Liao H M. YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. （2020－04－23）. https：//arxiv.org/pdf/2004.10934.pdf.

［65］Xu Danqing，Wu Yiquan. Improved YOLO-v3 with DenseNet for multi-scale remote sensing target detection ［J］. Sensors，2020，20（15）： 4276.

［66］Fan Shuxiang，Liang Xiaoting，Huang Wenqian，et al. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOv4 network ［J］. Computers and Electronics in Agriculture，2022，193（2）： 106715.

［67］Yao Jia，Qi Jiaming，Zhang Jie，et al. A real-time detection algorithm for kiwifruit defects based on YOLOv5 ［J］. Electronics，2021，10（14）： 1711.

［68］Liu Wei，Anguelov D，Erhan D，et al. SSD： single shot multibox detector ［C］// Proc of the 14th European Conference on Computer Vision. Cham： Springer，2016： 21－37.

［69］Yang Lijian，Wang Zhujun，Gao Songwei. Pipeline magnetic flux leakage image detection algorithm based on multiscale SSD network ［J］. IEEE Trans on Industrial Informatics，2020，16（1）： 501－509.

［70］Ding Fenglong，Zhuang Zilong，Liu Ying，et al. Detecting defects on solid wood panels based on an improved SSD algorithm ［J］. Sensors，2020，20（18）： 5315.

［71］Zhang Bin，F(xiàn)ang Shuqi，Li Zhixi. Research on surface defect detection of rare-earth magnetic materials based on improved SSD ［J］. Complexity，2021，2021： article ID 4795396.

［72］Girshick R，Donahue J，Darrell T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Wa-shington DC： IEEE Computer Society，2014： 580－587.

［73］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2015，37（9）： 1904－1916.

［74］Girshick R. Fast R-CNN ［C］// Proc of IEEE International Confe-rence on Computer Vision. Washington DC： IEEE Computer Society，2015： 1440－1448.

［75］Lin T Y，Goyal P，Girshick R，et al. Focal loss for dense object detection ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（2）： 318－327.

［76］Duan Kaiwen，Bai Song，Xie Lingxi，et al. CenterNet： keypoint triplets for object detection ［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 6568－6577.

［77］Zhou Xingyi，Wang Dequan，Krhenbühl P. Objects as points ［EB/OL］. （2019－04－16）. https：//arxiv.org/pdf/1904.07850.pdf.

［78］Tian Rushuai，Jia Minping. DCC-CenterNet： a rapid detection method for steel surface defects ［J］. Measurement，2022，187（1）： 110211.

［79］Liu Zhiwei，Lyu Wentao，Wang Chengqun，et al. D-CenterNet： an anchor-free detector with knowledge distillation for industrial defect detection ［J］. IEEE Trans on Instrumentation and Measurement，2022，71： 1－12.

［80］Liu Hongyu，Yuan Guowu，Yang Lei，et al. An appearance defect detection method for cigarettes based on C-CenterNet ［J］. Electro-nics，2022，11（14）： 2182.

［81］Tian Zhi，Shen Chunhua，Chen Hao，et al. FCOS： fully convolutional one-stage object detection ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 9626－9635.

［82］Shi Hui，Lai Rui，Li Gangyan，et al. Visual inspection of surface defects of extreme size based on an advanced FCOS ［J］. Applied Artificial Intelligence，2022，36（1）： 2122222.

［83］Yu Jianbo，Cheng Xun，Li Qingfeng. Surface defect detection of steel strips based on anchor-free network with channel attention and bidirectional feature fusion ［J］. IEEE Trans on Instrumentation and Measurement，2022，71： 1－10.

［84］Law H，Deng Jia. CornerNet： detecting objects as paired keypoints ［J］. International Journal of Computer Vision，2020，128（3）： 642－656.

［85］Dong Zhiwei，Li Guoxuan，Liao Yue，et al. CentripetalNet： pursuing high-quality keypoint pairs for object detection ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway，NJ： IEEE Press，2020： 10516－10525.

［86］Zand M，Etemad A，Greenspan M. ObjectBox： from centers to boxes for anchor-free object detection ［EB/OL］. （2022－07－14）. https：//arxiv.org/pdf/2207.06985.pdf.

［87］Zhou Qianqian，Situ Zuxiang，Teng Shuai，et al. Automatic sewer defect detection and severity quantification based on pixel-level semantic segmentation ［J］. Tunnelling and Underground Space Technology，2022，123（5）： 104403.

［88］Ronneberger O，F(xiàn)ischer P，Brox T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proc of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer，2015： 234－241.

［89］Wang An，Togo R，Ogawa T，et al. Defect detection of subway tunnels using advanced U-Net network ［J］. Sensors，2022，22（6）： 2330.

［90］Miao Xiaokun，Wang Jing，Wang Zhengfang，et al. Automatic recognition of highway tunnel defects based on an improved U-Net model ［J］. IEEE Sensors Journal，2019，19（23）： 11413－11423.

［91］He Kaiming，Gkioxari G，Dollár P，et al. Mask R-CNN ［C］// Proc of IEEE International Conference on Computer Vision. Washington DC： IEEE Computer Society，2017： 2980－2988.

［92］Xu Yingying，Li Dawei，Xie Qian，et al. Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN ［J］. Measurement，2021，178（6）： 109316.

［93］Carion N，Massa F，Synnaeve G，et al. End-to-end object detection with Transformers ［EB/OL］. （2020－05－28）. https：//arxiv.org/pdf/2005.12872. pdf.

［94］Xu Weifeng，Zhong Xiaohong，Luo Man，et al. End-to-end insulator string defect detection in a complex background based on a deep learning model ［J/OL］. Frontiers in Energy Research.（2022－07－18）. https：//doi.org/10.3389/fenrg.2022.928162.

［95］張乃雪，鐘羽中，趙濤，等. 基于Smooth-DETR的產(chǎn)品表面小尺寸缺陷檢測(cè)算法 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（8）： 2520－2525. （Zhang Naixue，Zhong Yuzhong，Zhao Tao，et al. Detection method for small-size surface defects based on Smooth-DETR ［J］. Application Research of Computers，2022，39（8）： 2520－2525. ）

［96］Gao Linfeng，Zhang Jianxun，Yang Changhui，et al. Cas-VSwin Transformer： a variant Swin Transformer for surface-defect detection ［J］. Computers in Industry，2022，140（9）： 103689.

［97］Xie Xiangying，Liu Hu，Na Zhixiong，et al. DPiT： detecting defects of photovoltaic solar cells with image Transformers ［J］. IEEE Access，2021，9： 154292－154303.

［98］Guo Zexuan，Wang Chensheng，Yang Guang，et al. MSFT-YOLO： improved YOLOv5 based on Transformer for detecting defects of steel surface ［J］. Sensors，2022，22（9）： 3467.

［99］Zhang Shifeng，Wen Longyin，Bian Xiao，et al. Single-shot refinement neural network for object detection ［C］// Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 4203－4212.

［100］Cai Zhaowei，Vasconcelos N. Cascade R-CNN： delving into high quality object detection ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 6154－6162.

［101］Zhou Xingyi，Zhuo Jiacheng，Krhenbühl P. Bottom-up object detection by grouping extreme and center points［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2019： 850－859.

［102］Ge Zheng，Liu Songtao，Wang Feng，et al. YOLOx： exceeding YOLO series in 2021 ［EB/OL］. （2021－08－06）. https：//arxiv.org/pdf/2107. 08430.pdf.

［103］Sun Zhiqing，Cao Shengcao，Yang Yiming，et al. Rethinking transformer-based set prediction for object detection ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway，NJ： IEEE Press，2021： 3591－3600.

［104］Dai Zhigang，Cai Bolun，Lin Yugeng，et al. UP-DETR： unsupervised pre-training for object detection with transformers ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 1601－1610.

［105］Meng Depu，Chen Xiaokang，F(xiàn)an Zejia，et al. Conditional DETR for fast training convergence ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 3631－3640.

［106］Zhu Xizhou，Su Weijie，Lu Lewei，et al. Deformable DETR： deforma-ble Transformers for end-to-end object detection ［EB/OL］. （2021－03－18）. https：//arxiv.org/pdf/2010.04159.pdf.

［107］Yao Zhuyu，Ai Jiangbo，Li Boxun，et al. Efficient DETR： improving end-to-end object detector with dense prior ［EB/OL］. （2021－04－03）. https：//arxiv.org/pdf/2104.01318.pdf.

［108］Chen Qiang，Wang Yingming，Yang Tong，et al. You only look one-level feature［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021：13034－13043.

［109］Wang Wen，Cao Yang，Zhang Jing，et al. FP-DETR： detection Transformer advanced by fully pre-training ［C］// Proc of International Conference on Learning Representations. 2022.

［110］Li Feng，Zhang Hao，Liu Shilong，et al. DN-DETR： accelerate DETR training by introducing query denoising ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2022： 13609－13617.

［111］Wan Guang，F(xiàn)ang Hongbo，Wang Dengzhun，et al. Ceramic tile surface defect detection based on deep learning ［J］. Ceramics International，2022，48（8）： 11085－11093.

［112］Ma Zhuxi，Li Yibo，Huang Minghui，et al. A lightweight detector based on attention mechanism for aluminum strip surface defect detection ［J］. Computers in Industry，2022，136（4）： 103585.

［113］Liu Zhenyu，Tang Ruining，Duan Guifang，et al. TruingDet： towards high-quality visual automatic defect inspection for mental surface ［J］. Optics and Lasers in Engineering，2021，138（3）： 106423.

［114］Zhu Ying，Ding Runwei，Huang Weibo，et al. HMFCA-Net： hierarchical multi-frequency based channel attention net for mobile phone surface defect detection ［J］. Pattern Recognition Letters，2022，153（1）： 118－125.

［115］Hu Jie，Shen Li，Albanie S，et al. Squeeze-and-excitation networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2017，42（8）： 2011－2023.

［116］He Yongxiang，Wu Jun，Zheng Yaojia，et al. Track defect detection for high-speed maglev trains via deep learning ［J］. IEEE Trans on Instrumentation and Measurement，2022，71： 1－8.

［117］Zheng Liaomo，Wang Xiaojie，Wang Qi，et al. A fabric defect detection method based on improved YOLOv5 ［C］// Proc of the 7th International Conference on Computer and Communications. Piscataway，NJ： IEEE Press，2021： 620－624.

［118］Wang Qilong，Wu Banggu，Zhu Pengfei，et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 11531－11539.

［119］Li Zhuang，Tian Xincheng，Liu Xin，et al. A two-stage industrial defect detection framework based on improved-YOLOv5 and optimized-inception-ResNetv2 models ［J］. Applied Sciences，2022，12（2）： 834.

［120］Xie Xikun，Li Changjiang，Xu Meng. Application of attention YOLOv4 algorithm in metal defect detection ［C］// Proc of IEEE International Conference on Emergency Science and Information Technology. Piscataway，NJ： IEEE Press，2021： 465－468.

［121］Ying Zhiping，Lin Zhongtao，Wu Zhenyu，et al. A modified-YOLOv5s model for detection of wire braided hose defects ［J］. Measurement，2022，190（2）： 110683.

［122］Woo S，Park J，Lee J Y，et al. CBAM： convolutional block attention module ［C］// Proc of the 15th European Conference on Computer Vision.Cham： Springer，2018： 3－19.

［123］Guo Yijing，Zeng Yixin，Gao Fengqiang，et al. Improved YOLOv4-CSP algorithm for detection of bamboo surface sliver defects with extreme aspect ratio ［J］. IEEE Access，2022，10： 29810－29820.