蘇 虎，張家斌,2，張博豪，鄒 偉,2+

(1.中國科學院 自動化研究所，北京 100190；2.中國科學院大學 人工智能學院，北京 100049)

1 問題的描述

表面缺陷檢測常見于各種工業(yè)質(zhì)檢過程，是控制產(chǎn)品品質(zhì)的關鍵，如圖1所示?；谝曈X感知的表面缺陷檢測，具有精度和執(zhí)行效率高、可防止二次損傷等優(yōu)點，能夠充分滿足工業(yè)現(xiàn)場需求，是實現(xiàn)表面缺陷自動化檢測的理想解決方案，在很多行業(yè)得到了應用，如道路、橋梁、玻璃、鋼鐵、光學元器件等?，F(xiàn)有的關于表面缺陷檢測方法的研究，大體可分為基于顯式特征提取的(傳統(tǒng)方法)和基于自動特征提取的(深度學習方法)兩類。顯式特征提取方法是通過分析紋理特性，如同向性、同質(zhì)性等，提取圖像特征，識別缺陷紋理，從而區(qū)分缺陷產(chǎn)品圖像和正常產(chǎn)品圖像。此類方法的研究起步早，可追溯至上世紀八十年代[1]，研究成果也十分豐富。深度學習方法是2012年深層神經(jīng)網(wǎng)絡成功應用于大規(guī)模圖像分類以后[2]，逐漸發(fā)展起來的。與顯式特征提取方法相比，自動特征提取方法不需要專門進行圖像特征的手工設計和提取，對目標識別能力強。研究人員嘗試將深度學習技術應用于表面缺陷檢測，獲得了超過傳統(tǒng)方法的準確率?；谏疃葘W習的缺陷檢測方法越來越廣泛地應用于各種工業(yè)場景，成為當前缺陷檢測的主流方法。一些公司開發(fā)出多種基于深度學習的商用工業(yè)缺陷檢測軟件，如VIDI、SuaKIT等。同時，弱監(jiān)督學習[3]、無監(jiān)督學習[4]等方法的出現(xiàn)，緩解了工業(yè)場景中數(shù)據(jù)獲取成本高的問題，讓深度學習在工業(yè)質(zhì)檢領域的規(guī)模化應用變得可行。目前，在國家政策的支持下，深度學習正與制造業(yè)深度融合，成為實現(xiàn)工業(yè)檢測自動化的重要推動力。

表面缺陷檢測是一個系統(tǒng)性問題，除檢測方法外，照明成像也十分重要。合理的照明成像方式是有效呈現(xiàn)缺陷特征的關鍵，也是后續(xù)圖像處理和質(zhì)量判斷的基礎。本文從問題描述、檢測流程和檢測方法等方面對表面缺陷檢測進行系統(tǒng)性闡述。在此基礎上，重點綜述了檢測方法的研究進度，對現(xiàn)有檢測方法進行歸類和對比分析，并對每一類方法的特點和適用場景進行總結。通過對該領域代表性文獻的歸納梳理，本文對表面缺陷檢測進行了系統(tǒng)性、全面性的介紹，使研究人員能夠快速了解該領域的進展、相關方法和技術，為有關從業(yè)人員在算法設計和系統(tǒng)搭建時提供借鑒。目前已有一些關于表面缺陷檢測方法的高水平文獻綜述，例如：文獻[5]和文獻[6]綜述了應用于鋼鐵表面的缺陷檢測方法；文獻[7]是綜述紡織物表面缺陷檢測方法的早期文獻，文中還介紹了紡織物在線檢測的硬件系統(tǒng)；文獻[8]首先對不同的表面缺陷進行歸類，然后綜述了應用于多種表面的缺陷檢測方法?？紤]到應用于不同場景的檢測方法的共通性，筆者認為，針對特定應用場景的綜述文獻[5]～文獻[7]可能無法充分闡述該領域的進展。近幾年，深度學習方法的出現(xiàn)極大促進了工業(yè)檢測的進展，基于深度學習的缺陷檢測方法不斷涌現(xiàn)。文獻[5]、文獻[6]和文獻[8]對該類方法論述不足。尤其是，對應用于表面缺陷檢測的分類、檢測和分割網(wǎng)絡并沒有詳盡的歸納總結，對弱監(jiān)督、無監(jiān)督等方法沒有展開介紹。另外，文獻[5]、文獻[6]和文獻[8]僅對缺陷檢測方法進行綜述，沒有涉及缺陷檢測系統(tǒng)的介紹。

2 基于視覺感知的表面缺陷檢測概述

2.1 表面缺陷檢測技術的發(fā)展

表面缺陷檢測方法的發(fā)展里程碑如圖2所示。圖中時間軸表示該類方法首先應用于表面缺陷檢測，以2012年為分界線，將現(xiàn)有缺陷檢測方法分為傳統(tǒng)方法和深度學習方法?；趥鹘y(tǒng)方法的缺陷檢測研究始于20世紀80年代，研究成果豐富，進一步分為統(tǒng)計法、濾波法和模型法。2013年以來，隨著以卷積神經(jīng)網(wǎng)絡為代表的深度學習技術在諸多計算機視覺任務中取得成功應用，人們嘗試將其應用于表面缺陷檢測。目前，基于深度學習的缺陷檢測方法研究十分活躍，各種創(chuàng)新方法不斷涌現(xiàn)，根據(jù)獲取的缺陷信息的不同，具體可分為分類、目標檢測和分割3種方法。在下文中，將對這些方法展開詳細闡述。

2.2 視覺缺陷檢測問題定義

在已有文獻中，獲取的缺陷信息分為類別標簽、外接矩形和像素掩碼3種形式，對應方法分別是分類、目標檢測和分割。如圖3所示，以玻璃蓋板表面的崩邊缺陷為例對3類缺陷信息進行說明。類別標簽包括圖像標簽和缺陷類型標簽，分別表征當前圖像是否是有缺陷的和缺陷類別;外接矩形除了給出缺陷的類型外，還要確定缺陷在原圖中的位置;像素掩碼需要逐像素判斷是否屬于缺陷及缺陷的類型。以上3類缺陷信息的信息量逐步遞增。例如，由外接矩形和像素掩碼可以直接獲得類別標簽，由像素掩碼通?？梢垣@取缺陷的外接矩形。本文將從分類、目標檢測和分割3個角度出發(fā)，對缺陷檢測方法展開綜述。在計算機視覺中，檢測任務通常指確定前景物體的外接矩形。在下文中，將該任務稱為目標檢測，以與本文中表面缺陷檢測的統(tǒng)稱加以區(qū)分。

在工業(yè)應用中，缺陷的類型、尺寸和數(shù)量均需要作為產(chǎn)品質(zhì)量判斷的依據(jù)。事實上，有時由外接矩形獲得的粗略尺寸信息還不足以充分判斷產(chǎn)品質(zhì)量，需要獲得像素的逐像素標簽，以獲取缺陷的精確尺寸信息。本文關于缺陷信息的劃分充分體現(xiàn)了檢測過程中獲取的缺陷信息的差異，而且和計算機視覺中分類、檢測和分割任務的定義保持一致，可為實際應用場景中不同需求的缺陷檢測任務提供參考。

2.3 視覺缺陷檢測系統(tǒng)

基于視覺感知的表面缺陷檢測系統(tǒng)的基本構成包括3個主要模塊，依次完成圖像獲取、圖像處理和圖像反饋功能。在圖像獲取模塊中，需要根據(jù)當前待檢測表面屬性及缺陷特征，構建照明和成像系統(tǒng)，通過機械裝置、光源和相機的協(xié)同配置與操作，獲得缺陷特征明顯的待檢物表面圖像。在圖像處理模塊中，利用圖像處理算法，檢測圖像中的缺陷目標，識別缺陷類型。在圖像反饋模塊中，根據(jù)檢測標準判斷當前樣品是否合格，并將判斷結果傳輸至執(zhí)行機構。同時，也可以對圖像的缺陷類型、位置、形狀、大小等進行可視化顯示，對圖像及缺陷信息進行存儲，便于后續(xù)的查詢與統(tǒng)計等。

一些缺陷特征十分微弱、在原圖中的占比低，利用合理的照明成像方法實現(xiàn)缺陷的有效成像是整個缺陷檢測系統(tǒng)的關鍵，也是后續(xù)圖像處理和質(zhì)量判斷的基礎。由于待檢產(chǎn)品表面材質(zhì)、紋理及缺陷和種類形態(tài)的不同，采用的照明成像方式會有較大差異。在常見應用場景中，通常采用的相機包括線陣相機、面陣相機和線陣面陣相機的組合，采用的光源包括同軸平行光、激光光源、多光源組合等。相機—光源組合模式?jīng)]有固定范式，需要結合實際檢測場景的需求，包括檢測對象屬性、檢測指標要求等進行針對性設計。例如，浙江大學YANG等[9]利用面陣CCD相機和LED光源研制了大口徑精密光學元件表面缺陷評估系統(tǒng)。該系統(tǒng)采用一個三維高精度運動平臺，可以實現(xiàn)圖像采集模塊在豎直平面內(nèi)小范圍的運動及光學校準，實現(xiàn)了最大口徑為800 mm×500 mm的超光滑光學元件表面缺陷的自動化檢測。YASUHIKO等[10]設計了應用于印刷電路板檢測的多光源成像系統(tǒng)。該系統(tǒng)同時采用垂直與傾斜的照明光源，通過多角度入射光線提取表面不同層次的信息。簡川霞等[12]研制了手機玻璃蓋板的表面缺陷檢測系統(tǒng)。該系統(tǒng)采用了同軸平行光源和面陣CCD相機，相機具有豎直平面內(nèi)的兩個運動自由度，可有效調(diào)整工作距離，完成光源的校準。北京科技大學的徐科等[11]在檢測熱軋板帶表面缺陷時，采用綠色激光線光源和面陣CCD相機解決了圖像采集中的遠距離均勻照明問題。Parsytec 5i系統(tǒng)[13]是德國Parsytec公司研制的帶鋼表面缺陷檢測系統(tǒng)。該系統(tǒng)采用面陣相機和線陣相機相結合的復合成像模式。美國Cognex公司研制的鋼鐵表面缺陷檢測系統(tǒng)：SmartView系統(tǒng)[14]，采用LED陣列平行光光源和高速線陣CCD。選擇合理的照明成像方式不僅能夠提升成像質(zhì)量、提高檢測準確率，還能夠控制系統(tǒng)成本，有利于自動化檢測系統(tǒng)在工業(yè)中的推廣應用。

3 基于顯式特征提取的表面缺陷檢測算法

關于此類方法的研究開展較早，相關成果非常多。限于篇幅，本章將僅針對其中具有代表性的典型算法展開綜述。本章將此類方法分為統(tǒng)計法、譜方法和模型法[15]3類方法分別進行闡述；然后，介紹缺陷分類中使用的機器學習方法；最后，對各種方法的特點及適用性進行總結分析。

3.1 統(tǒng)計法

該類方法根據(jù)圖像的統(tǒng)計分布特征分析紋理，識別缺陷。該類方法又可進一步細分為灰度統(tǒng)計法、梯度統(tǒng)計法和模式統(tǒng)計法。

3.1.1 灰度統(tǒng)計法

圖像像素灰度的均值、方差、直方圖等均為常用的灰度統(tǒng)計特征。文獻[16]～文獻[18]分別利用待檢圖像、無缺陷圖像與子圖的像素灰度均值與方差，設定自適應閾值，檢測過暗或過亮的缺陷。TSAI等[19]在像素鄰域內(nèi)建立加權方差矩陣，根據(jù)方差矩陣兩個特征值的差異識別缺陷像素。該方法使用單一特征，避免了復雜分類器的設計，在多個不同的表面檢測任務中獲得較好效果，并且具有較高的實時性，檢測400×400大小的圖像僅需0.032 s。BOUKOUVALAS等[20]利用顏色直方圖對瓷磚表面圖像進行分類，提出并驗證了多種直方圖對比方法，包括L1、L2范數(shù)、線性相關系數(shù)、巴氏距離等。BROADHURST等[21]將單幅圖像分割為互不重疊的多個區(qū)域，分別進行灰度直方圖統(tǒng)計，提升紋理表征的準確率。NAND等[22]利用熵差的直方圖特征檢測鋼鐵表面的水滴、汽泡缺陷、劃傷等低對比度缺陷。該方法計算待檢圖與背景圖的局部熵(在9×9鄰域內(nèi))，計算兩幅圖的熵差，根據(jù)熵差的直方圖特征識別缺陷像素。該方法在鋼鐵表面缺陷檢測中取得了優(yōu)于自適應灰度閾值的準確率。直方圖特征計算簡單，具有平移和旋轉不變性，但是在計算過程中需要占用較多的內(nèi)存空間，同時，直方圖特征對于復雜紋理區(qū)分度較低。

3.1.2 模式統(tǒng)計法

灰度共生矩陣(Gray-Level Co-occurrence Matrices, GLCM)和局部二值模式(Local Binary Patterns, LBP)是常用的模式統(tǒng)計特征。GLCM是對圖像上保持特定距離、角度的兩個像素具有的灰度模式的統(tǒng)計。GLCM通過表征圖像灰度的空間相關特性來描述紋理。GLCM由HARALICK等[23]首次提出，同時設計了14種GLCM特征用于紋理圖像的分類。文獻[24]和文獻[25]提出了基于GLCM特征的缺陷檢測算法，并分別用于檢測木材和地毯的表面紋理缺陷。文獻[24]提出的缺陷檢測方法可分為兩個步驟：首先，利用全局灰度特征區(qū)分正常圖像與缺陷圖像；然后，針對缺陷圖像，利用GLCM特征進一步識別缺陷類型。GLCM特征對于缺陷通常具有更高的區(qū)分度，但是檢測效果對像素點的相對位置、角度、特征維度等參數(shù)變化敏感。目前還沒有一種通用的方法確定這些參數(shù)。LBP由OJALA等[26]提出，并被用于紋理圖像分類。以中心像素灰度為閾值，將相鄰像素與之對比產(chǎn)生的二進制數(shù)即為該中心像素點對應的LBP。IIVARINEN[27]對比了GLCM和LBP兩種特征，驗證兩種特征有效性的同時指出，LBP特征在計算效率上優(yōu)于GLCM特征。文獻[28]和文獻[29]驗證了LBP特征在鋼鐵、木材表面缺陷檢測中的有效性。SONG等[30]采用CLBP(Completed LBP)特征檢測鋼鐵表面缺陷。在特征計算過程中，將單個相鄰像素點的灰度替換為鄰域內(nèi)像素灰度均值，降低噪聲干擾的影響。該方法在鋼鐵表面缺陷檢測中獲得了超過98%的分類準確率。近期，WANG等[31]提出一種新的基于LBP的特征提取方法。與LBP特征不同的是，該特征可同時分析水平、豎直與兩個對角線方向上的鄰域像素灰度分布，以增加辨識度。BULNES等[32]設計了基于位置、面積、長、寬、類型等模式特征的聚類算法，實現(xiàn)了鋼帶表面周期性缺陷的在線檢測。

3.1.3 梯度統(tǒng)計法

梯度表征了圖像中像素灰度的變化。具有較高梯度、灰度變化大的位置被稱為邊緣。在紋理圖像中，單位區(qū)域內(nèi)的邊緣數(shù)量一個重要特征。文獻[33]～文獻[35]利用圖像的邊緣特征檢測缺陷。文獻[33]基于Roberts邊緣檢測算子設計了織物表面的在線缺陷檢測系統(tǒng)，文獻[34]利用Sobel邊緣算子檢測織物表面缺陷，并與閾值法進行了對比。KITTLER等[36]利用K-均值方法將表面紋理聚類為不同的二值化簇，應用Blob方法進行分析，檢測瓷磚表面紋理的缺陷。WEN等[37]提取圖像中的邊緣特征，通過長度和強度對比檢測皮革的表面缺陷。然而，基于邊緣特征的缺陷檢測方法對噪聲或干擾過于敏感，易產(chǎn)生較多的過檢。HOG(histogram of oriented gradient)特征是另一種常用的梯度統(tǒng)計特征。WANG等[38]聯(lián)合HOG與GLCM特征，分別描述表面紋理的全局與局部特征，在5類鋼鐵表面缺陷的分類中達到了91%的準確率。

3.2 譜方法(濾波法)

對于一些僅通過像素灰度難以有效識別的缺陷，研究人員認為，缺陷的出現(xiàn)破壞了均勻紋理的結構一致性，可以通過時域變換，根據(jù)正常紋理和缺陷的不同響應實現(xiàn)缺陷的準確檢測。該類方法又可細分為傅利葉變換(Fourier Transform, FT)方法、Gabor濾波器方法、有限脈沖響應(Finite Impulse Response, FIR)濾波器方法和小波變換方法。

3.2.1 傅利葉濾波器

TSAI等[39-40]提出一種基于FT的缺陷檢測方法，并應用于紡織物、木材的檢測。該方法應用FT將圖像變換至頻域，然后應用1維霍夫變換去除圖像的顯著邊緣。類似地，YAZDCHI等[41]將圖像變換至頻域后，設計高通濾波器去除由于鋼鐵表面反光產(chǎn)生的條紋。經(jīng)過頻域處理后，這些方法[39-41]還需利用傅利葉反變換獲得重構圖像。重構圖像保留充分缺陷特征的同時，去除了干擾，能夠得到更準確的檢測效果。文獻[41]采用包括分形維度特征、均值、方差、灰度最大值在內(nèi)的10維特征分割缺陷像素，在2 300張包含5類不同缺陷的鋼鐵表面數(shù)據(jù)集上獲得了約98%的分類準確率。TSAI等[42]將圖像變換至頻域后發(fā)現(xiàn)，缺陷通常出現(xiàn)在水平與豎直方向。在此基礎上，設計多維統(tǒng)計特征，以一個淺層神經(jīng)網(wǎng)絡為分類器，區(qū)分不同類型的缺陷。CHEN等[43]采用與文獻[42]類似的圖像分析方法，但是選擇了更低維度的頻域特征，可識別織物表面4類主要缺陷。AI等[44]利用曲波變換對圖像進行分解，在分解后圖像中提取傅利葉幅譜特征，檢測連鑄板表面的縱向裂縫缺陷，避免了熔渣、碎屑及光照不均的干擾。根據(jù)以上分析，F(xiàn)T在缺陷檢測中的應用可分為兩類：①圖像預處理，即在頻域處理圖像，然后反變換獲得重構圖像，在重構圖像中檢測缺陷；②直接提取圖像的頻域特征。基于FT的檢測算法的不足之外在于：經(jīng)過FT后，圖像中背景與缺陷位置的頻域特征容易混雜在一起，從而無法有效識別缺陷。

3.2.2 Gabor濾波器

與傅利葉變換相比，Gabor濾波器可以提取圖像局部頻域特征，使得一些特定形態(tài)的缺陷更加具有辨識度。2D Gabor濾波器[45]的參數(shù)一般根據(jù)待檢缺陷的尺寸和方向進行設置[46]。文獻[47]和文獻[48]利用最優(yōu)Gabor濾波器分割織物表面缺陷。然而，單個Gabor濾波器只能檢測尺度、走向相似的缺陷。為了解決這個問題，文獻[49]設計了一系列Gabor濾波器對織物表面紋理進行在線缺陷檢測。為了適應鋼鐵表面孔洞缺陷檢測中的尺度變化，CHOI等[49]提出了多濾波器組合方法，建立了兩個濾波器，分別檢測大尺寸與小尺寸缺陷，通過這兩個濾波器響應的有效組合增強缺陷的頻域特征。研究人員認為，將Gabor濾波器特征與其他類型特征相給合，能夠獲得更豐富的紋理表征，從而增加缺陷的辨識度。文獻[49]和文獻[50]在Gabor濾波器特征的基礎上，引入GLCM特征、形態(tài)特征[49]與分形維度特征[50]等統(tǒng)計特征，有效提升了檢測準確率。由于Gabor濾波器在紋理分析、紋理表征方面的有效性，在表面缺陷檢測中獲得越來越廣泛的應用，后續(xù)研究也逐漸增多。

3.2.3 有限脈沖響應濾波器

KUMAR[7]認為，由于FIR的可調(diào)參數(shù)多于Gabor濾波器，通過參數(shù)設置，利用FIR可獲得更具辨識性的圖像特征，并且提升計算效率。在早期的文獻[51]中，Unser等首先使用特征濾波器處理圖像，然后，基于移動滑窗提取圖像的局部特征，識別紋理圖像缺陷。NEUBAUER[52]應用3個獨立的5×5 FIR濾波器，在10×10鄰域內(nèi)計算響應直方圖，分割紡織物表面缺陷。KUMAR等[53]利用FIR檢測紡織物缺陷，基于Mahalanobis-Singh、Unser和Fisher準則分別設計優(yōu)化函數(shù)，選擇最優(yōu)濾波器。同樣，基于Mahalanobis-Singh準則，JEON等[54]設計最優(yōu)FIR濾波器，并且驗證了在缺陷區(qū)域，F(xiàn)IR濾波器的響應比Gabor濾波器更具有辨識度?；谝陨纤悸?，作者采用多個FIR濾波器(10個，9×9 FIR濾波器)響應的加權和獲得圖像的最終頻域響應，權重根據(jù)圖像特征的歐氏距離進行設置。文獻[55]為檢測瓷磚的紋理缺陷設計了一種特征濾波器，這種濾波器的特點在于，不同的圖像將對應不同的濾波器，并且同一圖像的濾波器相互正交。

3.2.4 小波變換

小波變換可實現(xiàn)圖像的多尺度分析，同時，通過選擇正交基函數(shù)，可消除特征間的關聯(lián)，從而提升特征表達效果。JASPER等[56]提出了自適應小波設計方法，可根據(jù)檢測的紋理場景設計新的基函數(shù)。SARI-SARRAF等[57]設計的織物表面檢測系統(tǒng)，采用德比契斯小波提取圖像的高頻與低頻信號，然后進行圖像融合，可增強缺陷特征，消除背景區(qū)域影響。該系統(tǒng)能夠檢測最小至20像素的缺陷，達到89%的檢出率。KIM等[58]通過對圖像的行和列分別求和獲取兩個一維信號序列，然后利用墨西哥帽小波進行信號分解，最后根據(jù)分解系數(shù)計算圖像信噪比，以識別缺陷。文獻[58]中一維分析方法忽略了圖像像素在另一方向上的相關性，因而難以取得滿意的效果，后續(xù)研究依然以二維分析方法為主。KUMAR等[59]利用哈爾小波分析表面紋理圖像，并基于小波函數(shù)系數(shù)的均值和方差識別缺陷。GHORAI等[60]建立了包括1 000張正常圖像和432張缺陷圖像涉及24種不同類型缺陷的鋼鐵表面數(shù)據(jù)集，試驗了5種不同小波特征的識別效果。作者通過實驗證明，哈爾特征是描述鋼鐵表面缺陷的有效描述子，與支持向量機(Support Vector Machine, SVM)方法結合，達到了90.4%的F值。

在以上介紹的譜方法中，3.2.1節(jié)中的FT方法與3.2.4節(jié)中的文獻[58]所提方法屬于圖像分類方法，其他均屬于缺陷分割方法。譜方法一般與閾值法相結合獲得缺陷分割或圖像分類結果。譜方法能夠克服閾值法對于弱對比度、小尺寸、模糊缺陷的檢測效果不理想的問題。譜方法能夠適用于重復或規(guī)則紋理場景中的缺陷檢測，不適用于隨機紋理。而且，對于與正常紋理頻域響應差別較弱的缺陷，如紋理方向不一致，即使視覺觀感十分明顯，該類方法也難以進行有效檢測。另外，對于譜方法來說，濾波器的選擇、優(yōu)化、參數(shù)設置十分重要，然而，已有文獻在最優(yōu)濾波器設計時僅考慮濾波器本身，如何結合其他類型特征的特點，優(yōu)化濾波器特征以有效表達其他特征難以表征的高頻信號，將是重要的研究課題，也是下一步提升濾波器在表面缺陷檢測中應用效果的重點。

3.3 模型法

該類方法分析紋理屬性，建立紋理圖像表征，然后通過識別異常紋理檢測缺陷。應用于表面缺陷檢測的模型包括自回歸模型[61]、馬爾可夫隨機場模型(Markov Random Filed, MRF)[62]和紋理范式模型(Texture Examplar, TEXEM)[63]。COHEN等[62]利用GMRF對正常紋理進行建模，基于GMRF模型，將缺陷檢測問題轉化為統(tǒng)計學中的假設檢測問題?；谠撍惴?，文獻[64]進一步實現(xiàn)了一種可應用工業(yè)現(xiàn)場的實時缺陷檢測系統(tǒng)。XIE等[63]提出一種可用于檢測隨機紋理的TEXEM模型。在該模型中，紋理圖像被視為一系列TEXEM的疊加，每一個TEXEM可用均值和方差進行表征，使用高斯混合模型擬合這種表征。TEXEM模型在瓷磚表面的缺陷檢測中獲得了優(yōu)于Gabor濾波器的檢測效果。XU等[65]采用小波域隱馬爾可夫樹模型(Hidden Markov Tree, HMT)進行帶鋼表面圖像分割。HMT通過高斯混合模型對同一尺度內(nèi)的小波系數(shù)的分布建模，用小波系數(shù)四叉樹對尺度間的系數(shù)相關性建模。最后，作者采用多尺度融合方法，將不同尺度的分割結果相融合，將錯誤率由融合前的18.8%降低至3.7%。

3.4 特征分類算法

對于上述介紹的缺陷檢測方法，有些可直接得到分類或分割結果，如3.1.1節(jié)中的閾值法，另外一些方法還需要利用機器學習算法對所提取的特征進行分類，才能夠識別缺陷。3.2節(jié)中的譜方法常與閾值法結合，獲得缺陷分割結果。本節(jié)介紹缺陷檢測方法中常用的機器學習分類算法，如神經(jīng)網(wǎng)絡和SVM方法。例如，文獻[30]和文獻[44]使用SVM算法，文獻[29]和文獻[41]分別使用了BP神經(jīng)網(wǎng)絡和自組織神經(jīng)網(wǎng)絡對提取的特征進行分類。文獻[28]對比了BP神經(jīng)網(wǎng)絡、SVM和極限學習機3種分類算法對于LPB特征的分類效果，并根據(jù)實驗驗證結果，選擇極限學習機在鋼鐵表面缺陷檢測中獲得了97%的分類準確率。KUMAR[66]提出一種基于前饋神經(jīng)網(wǎng)絡的缺陷檢測算法。以像素點7×7鄰域內(nèi)成“米”字形分布的25個像素點的灰度值為特征向量，預處理后作為神經(jīng)網(wǎng)的輸入，判斷當前像素點是否屬于缺陷。在文獻[67]中，首先利用閾值法對缺陷像素進行分割，然后提取缺陷區(qū)域的多維特征，利用模糊神經(jīng)網(wǎng)絡識別缺陷類別，最終實現(xiàn)了8種不同類型缺陷的識別。文獻[68]和文獻[69]分別使用自組織映射網(wǎng)絡和細胞神經(jīng)網(wǎng)絡作為缺陷檢測的分類器。

以上文獻采用的神經(jīng)網(wǎng)絡層數(shù)較少，為與后續(xù)的深層神經(jīng)網(wǎng)絡相區(qū)分，一般稱為淺層神經(jīng)網(wǎng)絡。淺層神經(jīng)網(wǎng)絡一般包括輸入層、中間層和輸出層，其中中間層神經(jīng)元個數(shù)是十分重要的超參數(shù)，直接影響其分類性能。目前還沒有統(tǒng)一的準則用于確定這一參數(shù)，而且淺層神經(jīng)網(wǎng)絡擬合能力弱，對于多維特征、非線性分類等復雜問題效果較差。

3.5 小結

基于顯式特征提取的表面缺陷檢測算法以分類和分割方法為主，此類方法較多，表1對于這些方法的特點進行了總結。隨著工業(yè)自動化進程的推進，表面缺陷檢測的應用場景越來越多樣化，工業(yè)現(xiàn)場灰塵、臟污的干擾、不連續(xù)缺陷、對檢測的高實時性和高準確率的要求，使得表面缺陷檢測依然是一個極富挑戰(zhàn)且亟待解決的問題。

4 基于自動特征提取的表面缺陷檢測算法(深度學習方法)

與第3章中介紹的方法相比，該類方法利用標注數(shù)據(jù)自動提取特征，避免了手工設計特征的困難。同時，該類方法抽象能力強，對同類目標的識別能力強。深度學習方法由LECUN等[70]提出，首先在經(jīng)典圖像分類任務中獲得成功應用。AlexNet[2]是首個用于大規(guī)模圖像分類任務的卷積神經(jīng)網(wǎng)絡，由5個卷積層和3個全連接層組成。AlexNet在大規(guī)模分類數(shù)據(jù)集ImageNet上top-5分類錯誤率大幅降低至16.4%，掀起了深層神經(jīng)網(wǎng)絡在計算機視覺領域應用的浪潮。近年來，隨著深度學習技術的進步，深層卷積神經(jīng)網(wǎng)絡(Deep Convolutional Neural Network, DCNN)在各種不同的圖像任務中獲得了越來越廣泛的應用。

借鑒自然場景任務中DCNN的設計思路與流程，研究人員嘗試將DCNN應用于表面缺陷檢測。根據(jù)應用場景的不同，為了獲得不同類型的輸出(如圖3)，所采用的網(wǎng)絡在結構上會有較大差異。本章從分類、檢測和分割3方面介紹相關研究成果。

4.1 基于整圖分類網(wǎng)絡的缺陷檢測

該類方法獲得圖像的類別標簽，可識別圖像是否有缺陷，并且在一些多分類任務中，還需識別缺陷的類型。該類方法可進一步細分為面向工業(yè)場景的輕量分類網(wǎng)絡和面向自然場景的通用分類網(wǎng)絡的應用。

與自然圖像的超大規(guī)模數(shù)據(jù)集相比，工業(yè)數(shù)據(jù)集圖像樣本數(shù)量十分有限。例如，ImageNet數(shù)據(jù)集[71]圖像總量超過1 400萬，coco數(shù)據(jù)集[72]也超過15萬，工業(yè)數(shù)據(jù)集圖像數(shù)量僅達上千或數(shù)百。而且，不同的工業(yè)場景差異非常大，不同數(shù)據(jù)集訓練的權重無法遷移。因此，應用于工業(yè)場景的分類網(wǎng)絡一般層數(shù)少，結構簡單，避免出現(xiàn)過擬合的現(xiàn)象。2013年，MASCI等[73]首先將DCNN應用于鋼鐵表面圖像的分類。該網(wǎng)絡由一個卷積層、一個最大池化層和一個全連接層組成。通過對池化前后不同尺度的特征圖進行金字塔池化操作，獲得固定大小的多尺度特征向量。該網(wǎng)絡能夠適應尺寸、縱橫比差異大的圖像，提升分類準確率。隨著各種分類網(wǎng)絡被不斷提出，并被應用于不同的缺陷分類任務，分類網(wǎng)絡在工業(yè)中的應用越來越廣泛。為便于對比和說明，表2對這些網(wǎng)絡進行了總結，其中第二列網(wǎng)絡結構中，Conv表示卷積層，Pool表示池化層，F(xiàn)C表示全連接層，前面的數(shù)字表示層數(shù)；第三列圖像分辨率中，原圖直接分類方法列出了原圖大小，移動滑窗提取圖像塊后分類方法中同時列出了原圖與提取的圖像塊大小。由于不同工業(yè)場景中采集圖像的分辨率與背景復雜度的不同、分類任務難度的差異，現(xiàn)階段還缺乏統(tǒng)一的標準來衡量這些網(wǎng)絡的性能。同時，由表2還可以看出，DCNN可處理的圖像尺寸有限，對于一些采集的較小尺寸的圖像可直接輸入網(wǎng)絡，如文獻[73]～文獻[77]和文獻[82]。然而，對于一些較大尺寸的圖像，需要劃分為統(tǒng)一大小的子圖，才可利用網(wǎng)絡進行處理，如文獻[78]～文獻[83]和文獻[143]。通常的方法是，利用移動滑窗法將高分辨率原圖劃分為有重疊的統(tǒng)一大小的圖像塊，將這些圖像塊依次處理完成后，綜合判斷獲得原圖的分類結果。但是，這種方法犧牲了實時性，有時無法滿足工業(yè)現(xiàn)場要求。

續(xù)表2

繼AlexNet之后，VGG[84]、GoogleNet[85]、ResNet[86]等更深的分類網(wǎng)絡被相繼提出，在自然圖像分類中取得了更高的準確率。這些經(jīng)典分類網(wǎng)絡也被應用于工業(yè)圖像，或直接用于分類[87-90]，或用于特征提取[91-92]。通常利用網(wǎng)絡在自然圖像上的預訓練權重進行知識遷移，以提高訓練效率。SHANG等[87]提出一種鐵軌缺陷的識別方法。該方法首先利用Canny算子提取圖像邊緣，定位鐵軌區(qū)域，然后將處理后的圖像利用預訓練的Inception V3網(wǎng)絡進行分類。MA等[88]提出一種改進的DenseNet網(wǎng)絡識別聚合鋰離子電池的表面缺陷，分類準確率超過99%。類似地，SASSI等[89]基于預訓練的DenseNet網(wǎng)絡識別多類焊接缺陷，在僅有378幅圖像的小數(shù)據(jù)集中達到了96.22%的分類準確率。AKRAM等[90]在檢測太陽能電池表面缺陷時，基于VGG-11網(wǎng)絡結構，設計了VGG-8、VGG-7、VGG-6結構。最終采用的分類網(wǎng)絡僅包括4個卷積層(每個卷積層后是最大池化層和BN層)和一個全連接層，達到了93.02%的分類準確率，且處理單幅圖像時間僅為8.07 ms。

文獻[91]提出的通用缺陷分類框架，利用VGG網(wǎng)絡提取的多層特征分別進行判斷，然后以多數(shù)表決的方式最終確定待檢測圖像的類別，增強了算法的魯棒性。TAO等[92]在檢測一種深孔零件的表面缺陷時設計了多任務分類網(wǎng)絡。該網(wǎng)絡利用VGG 16提取特征，后接兩個分枝：一個分枝是提取候選區(qū)域，然后分類，以檢測并絲缺陷；另一分枝后接全連接層，對整圖分類，以檢測其他缺陷。該網(wǎng)絡獲得了93.56%的分類準確率。

另外，TABERNIK等[93]以分割的方式實現(xiàn)缺陷圖像的分類。所設計的網(wǎng)絡包括分割網(wǎng)絡和決策網(wǎng)絡兩部分，分別進行訓練。分割網(wǎng)絡輸出的分割圖與最后一層卷積的特征圖為決策網(wǎng)絡的輸入，經(jīng)過全局池化層和全連接層獲得分類結果。該網(wǎng)絡在僅有399個樣本(其中50個為缺陷樣本)的訓練集中達到99.9%的分類準確率。

綜上所述，分類網(wǎng)絡在實際應用中非常廣泛，涉及各種不同的工業(yè)場景。但是，需要注意的是，缺陷在輸入圖像中需要占一定的比例，否則網(wǎng)絡中的池化與卷積操作會造成缺陷特征消失，導致分類失敗。同時，對于高分辨圖像需要進行分塊，分別進行處理，降低了實時性。另外，類別標簽信息量過少，無法進一步判斷產(chǎn)品質(zhì)量，有時無法滿足工業(yè)現(xiàn)場的應用需求。

4.2 基于目標檢測網(wǎng)絡的缺陷檢測

該類方法與上節(jié)介紹的分類方法的區(qū)別在于，不但需要判斷當前待檢圖像是否是有缺陷的及缺陷類別，還需要確定缺陷的位置和大小(外接矩形)。顯然，與分類任務相比，目標檢測任務可以獲得更充分的缺陷信息，便于后續(xù)的可視化顯示或質(zhì)量判斷。該類方法按照使用的網(wǎng)絡結構的不同可大體分為：面向自然場景的通用目標檢測網(wǎng)絡和級聯(lián)網(wǎng)絡兩類。

R-CNN(region covolutional neural network)[94]首先將深度卷積網(wǎng)絡應用于自然場景中的目標檢測任務，然而其流程復雜、計算效率低，消耗存儲資源多，導致實用性差。研究人員進一步改進R-CNN[95]，通過共享特征計算減少計算量，提升算法實時性。Faster R-CNN[96]是首個端到端的檢測網(wǎng)絡，與以往方法相比，在實時性和準確率上有了大幅提升，在工業(yè)現(xiàn)場也得到了廣泛應用。早期的文獻一般是直接將Faster R-CNN應用于工業(yè)圖像，如土木建筑領域的混凝土、鋼裂紋等損傷檢測[97]、衛(wèi)生陶瓷[98]與聚合物偏振器[99]的缺陷檢測、高壓線絕緣子的表面缺陷檢測[100]等，獲得了遠超傳統(tǒng)方法的準確率。CHENG等[101]將Faster R-CNN應用于排水系統(tǒng)管道的損傷檢測，達到83%的mAP。

為了適應特定場景的應用需求，或進一步提升檢測準確率，一些文獻對Faster R-CNN的原始結構進行了改進。例如，LI等[102]利用Faster R-CNN檢測混凝土表面缺陷時，采用ZF net作為骨干網(wǎng)，在最后一個卷積層后添加最大池化層，同時利用池化前后的特征生成候選區(qū)域，以適應具有較大尺度差異的缺陷。通過合理設計超參數(shù)，如錨框的縱橫比、尺度大小等，達到80.7%的mAP，且處理單幅圖像時間為0.41 s。李宜汀等[103]在檢測灌裝生產(chǎn)線上的容器封蓋表面缺陷時，首先檢測封蓋面邊緣位置，對原圖像進行裁剪，以減少無用的干擾背景；然后對裁剪后圖像進行稀疏濾波處理，輸入VGG-16網(wǎng)絡提取特征，利用Faster R-CNN檢測缺陷。該方法在包含4種樣本的400幅圖像中達到了95.83%的準確率。文獻[104]對Faster R-CNN進一步改進，以識別貨運車表面缺陷。與Faster R-CNN初始結構不同的是，在缺陷識別中同時應用淺層、中間層和深層特征，并利用卷積層替換了原有的全連接層，以減少參數(shù)量。與Faster R-CNN相比，所提方法可達到更高的檢測準確率99.13%，且模型參數(shù)量減少了17%。ZHANG等[105]對一種電連接器進行表面缺陷檢測，提出了一種基于旋轉四邊形的檢測網(wǎng)絡，可以輸出被檢測目標的外接四邊形包絡框。與Faster R-CNN輸出的外接矩形相比，這種包絡框能獲得更準確的目標形態(tài)信息，摒除背景信息干擾，提升了后續(xù)質(zhì)量判斷的準確率。

Faster R-CNN可分為候選區(qū)域提取和分類兩個步驟，因此也被稱為兩階段檢測網(wǎng)絡。除Faster R-CNN，RFCN(region-based fully convolutional network)[106]也是常用的兩階段檢測網(wǎng)絡。XUE等[107]對分類網(wǎng)絡GoogLeNet進行改進，并作為RFCN的骨干網(wǎng)絡檢測鐵軌隧道表面裂紋和滲漏兩類主要缺陷，達到85.6%的mAP，且處理單幅圖像時間為0.266 s，優(yōu)于Faster R-CNN。FERGUSON等[108]對比了Faster R-CNN、RFCN和滑窗分類定位等方法在檢測金屬鑄件的表面缺陷的性能。最后，采用Faster R-CNN，以ResNet為骨干網(wǎng)絡，獲得92.1%的mAP。

研究人員后續(xù)提出了YOLO(you only look once)[109]、SSD(single shot multibox detector)[110]、CornerNet[111]等單階段檢測網(wǎng)絡，無需提取候選區(qū)域，直接在輸出層計算物體的位置和類別，達到了更高的實時性。SUONG等[112]利用YOLO v2網(wǎng)絡檢測道路表面的凹坑缺陷時，根據(jù)缺陷的形狀分布與圖像的分辨率，重新計算錨框(Anchor)的設置參數(shù)和柵格大小等超參數(shù)。同時，作者對YOLO v2的網(wǎng)絡結構也進行了改進，刪除三層卷積層，大幅減少了參數(shù)量。ZHANG等[113]利用YOLO v3網(wǎng)絡檢測橋梁表面破損，使用批再正則化(batch re-normalization)和Focal Loss損失進一步提升網(wǎng)絡性能。YIN等[114]利用YOLO v3檢測污水管道損傷缺陷，獲得了85.37%的mAP。DENG等[115]采用YOLO v2網(wǎng)絡檢測混凝土表面的裂紋缺陷。通過在采集的圖像中添加涂寫干擾，訓練網(wǎng)絡在復雜背景與干擾中檢測真正的缺陷。該方法的準確率略高于Faster R-CNN(mAP 77% vs 74.5%)，且具有更高的實時性(0.17 s vs 0.23 s)。另外，MAEDA等[116]使用SSD網(wǎng)絡檢測道路表面缺陷，對比了Inception V2和MobileNet兩種骨干網(wǎng)絡發(fā)現(xiàn)，MobileNet的檢測準確率優(yōu)于Inception V2，對于有些類型缺陷的識別準確率達99%。而且，使用手機處理單幅圖像時間不超過1.5 s，實現(xiàn)了實時檢測。

與自然場景中的前景物體相比，工業(yè)場景下的缺陷目標具有占比小、特征微弱的特點。因此，研究人員將多個現(xiàn)有的深度模型進行級聯(lián)，使網(wǎng)絡可集中于低占比的缺陷目標，提高泛化性。HE等[117]首先采用預訓練的VGG 16網(wǎng)絡提取圖像特征，輸入至后續(xù)卷積層提取類相關特征，對鋼鐵表面圖像進行分類。然后，針對有缺陷的圖像利用YOLO檢測缺陷位置。CHEN等[118]提出一種鐵軌連接件檢測的級聯(lián)深層神經(jīng)網(wǎng)絡，由3個階段組成。在第一和第二階段，由粗到精定位連接件位置；在第三階段，判斷已定位的目標是否存在缺陷。TAO等[119]采用類似的三級級聯(lián)結構用于金屬表面的缺陷檢測：第一和第二級網(wǎng)絡是一組級聯(lián)自編碼器，用于缺陷的精確位置；第三級網(wǎng)絡是一個典型的卷積分類網(wǎng)絡，用于確定缺陷類型。

根據(jù)以上分析，現(xiàn)有工作還集中于將在自然圖像中得到驗證的檢測網(wǎng)絡直接應用于工業(yè)圖像，主要方法可分為單階段網(wǎng)絡、兩階段網(wǎng)絡和級聯(lián)網(wǎng)絡3類。與兩階段網(wǎng)絡相比，單階段網(wǎng)絡實時性高，精度尤其是小目標的檢測精度較低。級聯(lián)網(wǎng)絡可針對目標低占比圖像，提升檢測精度，但是也會降低實時性。目前，更多先進的單階段網(wǎng)絡不斷被提出，檢測精度已經(jīng)趕上甚至反超兩階段網(wǎng)絡。在后續(xù)缺陷檢測的研究中，單階段網(wǎng)絡的應用將會越來越廣泛。

4.3 基于像素分割網(wǎng)絡的缺陷檢測

作為計算機視覺中的另一典型任務，需要逐像素判斷是否屬于缺陷目標，若屬于，則還需進一步識別缺陷類型。分割任務可獲得缺陷的精確形狀與位置信息，可準確測量缺陷尺寸，從而實現(xiàn)表面質(zhì)量的可靠判斷。

在常規(guī)分類網(wǎng)絡中，連續(xù)的卷積與池化操作在增大感受野的同時，極大地降低了分辨率，不可直接應用于分割任務。LONG等[120]首先提出一種可用于圖像分割的全卷積網(wǎng)絡(Fully Convolutional Network, FCN)。FCN有3個輸出分支，F(xiàn)CN-32s是將特征圖直接縮放至原圖大小；FCN-16s首先將FCN-32s特征圖放大2倍，與上一層特征相加后，再縮放至原圖大?。籉CN-8s是將FCN-16s特征圖再放大2倍，與再上一層特征相加后，再縮放至原圖大小。FCN利用底層特征提升分辨率，可應用于像素級分割任務。典型的分割網(wǎng)絡還包括編碼—解碼器(Encoder-Decoder)，最初提出的Encoder-Decoder網(wǎng)絡中編碼器與解碼器間無信息交互[121]。為了降低編碼過程中圖像信息的損失，研究人員提出了有交互的Encoder-Decoder結構，特征相加和特征聯(lián)接(concatenate)[122]是編碼器與解碼器最常見的信息交互或融合方式。其他方式還包括向解碼器傳遞編碼器池化的序號[123]等。

DUNG等[121]利用編碼—解碼網(wǎng)絡分割混凝土表面的裂紋缺陷時，試驗了ResNet、VGG 16和Inception V3作為編碼器的算法性能。從4 032×3 024分辨率原圖中提取227×227統(tǒng)一大小的圖像塊訓練網(wǎng)絡，通過驗證發(fā)現(xiàn)，VGG 16和Inception V3優(yōu)于ResNet，最高F值可達89.3%。LIANG[124]分別應用分類、目標檢測與分割網(wǎng)絡識別橋表面缺陷。作者采用類似于文獻[123]中的編碼—解碼網(wǎng)絡，并利用貝葉斯優(yōu)化方法確定網(wǎng)絡的超參數(shù)，取得了超過90%的準確率。FENG等[125]建立了一種改進的編碼—解碼網(wǎng)絡檢測無人機拍攝的水電站大壩外觀圖像。該網(wǎng)絡通過特征圖逐像素相加融合編碼器與解碼器特征，提升缺陷分割效果。

HUANG等[126]采用VGG 16作為骨干網(wǎng)絡建立了一種FCN網(wǎng)絡，檢測鐵軌隧道表面裂紋和滲漏兩類主要缺陷。作者將采集的高分辨率原圖以滑動窗口的方式提取500×500統(tǒng)一大小的包含缺陷的圖像塊訓練網(wǎng)絡。考慮兩類缺陷在形態(tài)和尺寸上的巨大差異，作者針對每種缺陷分別建立數(shù)據(jù)集進行訓練和測試，達到了98%以上的準確率。APLIPOUR等[127]利用FCN網(wǎng)絡分割混凝土表面的裂紋缺陷。作者以VGG 16為特征提取網(wǎng)絡，對比了FCN32s、FCN16s、FCN8s、FCN4s和FCN2s五種結構及1 024×1 024、512×512和256×256三種不同輸入圖像分辨率對于算法性能的影響。作者選擇FCN2s結構和1 024×1 024分辨率獲得91.24%的準確率。

ASLAM等[128]采用U-net結構分割金屬表面的裂紋缺陷。由于采集的原始圖像分辨率高(約9 000×9 000像素)，作者對原圖的尺度歸一化后，劃分為128×128的圖像塊，作為網(wǎng)絡的輸入。在推理過程中，將所有圖像塊的分割結果拼接在一起，可得到原圖的分割結果。HAN等[129]首先利用Faster R-CNN中的候選區(qū)域提取操作獲得大量可能包含缺陷的圖像塊，然后利用分割網(wǎng)絡U-Net對這些圖像塊進行分割，實現(xiàn)對多晶硅片上的缺陷的分割。

膨脹卷積(有時也稱為空洞卷積)[130]和條件隨機場(Conditional Random Field, CRF)[131]等方法也經(jīng)常用于分割網(wǎng)絡。膨脹卷積可以在不降低特征圖分辨率的前提下增大感受野，CRF可以對輸出的分割圖進行優(yōu)化，提高準確率。WANG等[132]提出一種分割網(wǎng)絡——DilaSeg分割污水管道的破損缺陷。該網(wǎng)絡以預訓練的VGG 16網(wǎng)絡為基礎，引入多尺度膨脹卷積和雙線性差值融合多尺度特征，提高特征圖分辨率，獲得優(yōu)于FCN的準確率。進一步地，作者將DilaSeg與條件隨機場(CRF)相結合，利用循環(huán)神經(jīng)網(wǎng)絡實現(xiàn)條件隨機推理，提出了DilaSeg-CRF方法[133]。在分割污水管道缺陷的實驗中，DiagNet-CRF比DiagNet在交并比準確率上提升了20%。OUYANG等[134]利用CRF方法計算圖像像素點屬于缺陷的概率，作為權重，與卷積神經(jīng)網(wǎng)絡輸出的特征圖逐點相乘，使網(wǎng)絡聚焦于更有可能是缺陷的像素點。

還有一些方法利用滑窗分類的方式獲得粗略分割結果。該類方法首先以滑窗的方式將原圖劃分為統(tǒng)一大小的子圖，然后利用分類網(wǎng)絡對子圖分類，將子圖的類別作為子圖所有像素的類別。該類方法與4.1節(jié)中有些方法十分類似，它們的區(qū)別在于，對子圖的處理完成后，是僅判斷原圖的類別，還是計算原圖的分割結果。若僅判斷原圖類別，本文稱之為分類方法；若同時輸出原圖的分割結果，則歸類為分割方法。YU等[135]認為，在工業(yè)圖像中，缺陷的整體形狀或幾何信息并不關鍵，僅需要圖像的局部信息即可判斷像素是否屬于缺陷?；诖?，作者將原圖劃分為64×64或32×32統(tǒng)一大小的圖像塊，并設計了兩階段網(wǎng)絡獲得缺陷的分割結果。第一階段是分割網(wǎng)絡，利用局部信息分割圖像塊的缺陷像素；第二階段是分類網(wǎng)絡，利用全局信息判斷圖像塊中缺陷像素占比是否超過閾值。融合兩階段輸出獲得分割結果，在DAGM數(shù)據(jù)集上獲得了約96%的準確率。類似地，WU等[136]將原圖劃分為64×64或32×32統(tǒng)一大小的圖像塊，輸入分類網(wǎng)絡。由于相鄰圖像塊有50%的重疊，每個像素屬于4個不同相鄰圖像塊，通過圖像塊的分類結果投票確定像素是否屬于缺陷，從而獲得缺陷分割結果。作者使用多尺度策略進一步提升了準確率，超過了商用軟件VIDI。

分割方法可獲得缺陷詳盡的形態(tài)、尺寸及位置信息，便于對產(chǎn)品質(zhì)量進行分析與判斷。然而，以上介紹的方法無法獲取缺陷的數(shù)量信息。LIONG等[137]利用實例分割網(wǎng)絡Mask R-CNN檢測皮革表面缺陷。XIAO等[138]將多尺度策略引入Mask R-CNN檢測貨運車表面缺陷。實例分割任務可以看作分割和目標檢測的多任務，獲得每個類別像素分割結果的同時，獲得每個類別的實例個數(shù)。分割方法在工業(yè)檢測中用途廣泛，尤其適用于劃痕、蹭傷等低占比、低語義缺陷的識別。然而，分割方法需要像素級標注的圖像作為訓練數(shù)據(jù)，標注成本遠超分類和目標檢測方法，在工業(yè)現(xiàn)場也往往是不可行的。繁重的圖像標注工作量是該類方法在工業(yè)檢測中推廣應用的主要阻礙。

4.4 異常檢測方法

深層神經(jīng)網(wǎng)絡的訓練通常需要大量帶標注的缺陷樣本。然而，在工業(yè)現(xiàn)場，缺陷樣本出現(xiàn)的概率很低，大量缺陷樣本的收集十分困難，各種缺陷類型也難以收集完全。同時，由于缺陷邊界不明顯，精確的矩形框標注、像素分割標注需要耗費大量的精力和成本。這些問題限制了深層神經(jīng)網(wǎng)絡在工業(yè)中的規(guī)?；瘧?。異常檢測方法僅利用正常樣本(即無缺陷樣本)進行訓練，使網(wǎng)絡具備正常樣本分布的重建和差異化特征的提取的能力。在推理階段，當輸入的樣本存在缺陷時，網(wǎng)絡會輸出與正常樣本具有較大差異的結果，通過檢測與預期正常樣本輸出的差異可實現(xiàn)異常樣本(即缺陷樣本)的識別。異常檢測方法可有效解決大量缺陷樣本收集及標注的困難，是一種低數(shù)據(jù)成本方法。根據(jù)處理方式的不同，本文將這種方法進一步分為基于特征提取的和基于圖像重構的兩類方法，分別展開介紹。

4.4.1 基于特征提取的異常檢測方法

異常特征識別方法訓練網(wǎng)絡學習缺陷樣本和正常樣本的差異化特征，通過判斷特征間的差距識別缺陷圖像。ZHANG等[144]認為，無缺陷圖像差異較小，而兩幅缺陷圖像，會因為缺陷類型和形態(tài)的不同導致差異較大。基于這種考慮，在網(wǎng)絡訓練過程中，以特征間的歐氏距離為優(yōu)化目標，迭代計算無缺陷圖像的特征中心，如圖4左圖所示。該方法仍然需要缺陷圖像，但是并不需要收集所有的缺陷類型，數(shù)量也不需要太多，大大降低了數(shù)據(jù)收集難度。NAPOLETANO等[145]提出一種纖維材料掃描電鏡圖像異常檢測方法。該方法提取正常圖像特征，使用主元分析降維，建立正常樣本字典。在測試過程中，計算待檢圖像特征向量和字典特征向量的歐氏距離，如果大于設定閾值，則判斷為異常。CHEON等[146]建立了具有4個卷積層和一個全連接層的分類神經(jīng)網(wǎng)絡。根據(jù)網(wǎng)絡輸出的圖像特征，建立了k-近鄰分類器。通過對比特征間的距離，可識別訓練集中未包括的缺陷類型，并統(tǒng)一歸類為“未知”。該方法在檢測硅片表面缺陷時達到96.2%的準確率。

4.4.2 基于圖像重構的異常檢測方法

圖像重構方法訓練網(wǎng)絡學習正常樣本的分布，使網(wǎng)絡能夠實現(xiàn)正常樣本的重建。測試過程中，當輸入是正常樣本時，原圖和重構圖差異較小；當輸入是缺陷樣本時，原圖和重構圖差異較大。通過對比原圖和重構圖的殘差特征可有效識別缺陷圖像。KANG等[147]提出一種絕緣子表面缺陷的異常檢測方法。該方法采用級聯(lián)網(wǎng)絡的方式，首先利用Faster R-CNN定位關鍵懸鏈線組件，以摒除背景信息影響；然后，針對檢測的興趣區(qū)域，分別進行分類和圖像重建；最后，結合分類置信度和重建誤差判斷缺陷是否存在。這種方法需要提供懸鏈線組件的外接矩形標注，但是并不需要有缺陷的絕緣子圖像。該方法在小規(guī)模缺陷數(shù)據(jù)集上分類F1-分數(shù)達到95%，但是無法檢測微弱缺陷。ZHAO等[150]以解碼—編碼網(wǎng)絡為生成器，建立對抗生成網(wǎng)絡對圖像進行重建。然后，提取原圖和重構圖的LBP特征，基于特征的差識別缺陷圖像。該方法在紋理表面和織物表面缺陷檢測中分別達到了98.53%和94.42%的準確率。文獻[4]、文獻[148]和文獻[149]采用編碼—解碼結構對原圖進行重建，通過原圖和重構圖的誤差分析識別缺陷。然而，網(wǎng)絡無法對原圖進行像素灰度級重構，直接將原圖和重構圖作差容易導致大量過檢。為了克服這個問題，文獻[4]假設殘差圖像的灰度符合高斯分布，計算自適應閾值二值化殘差圖像，識別缺陷。文獻[148]采用線性插值和高斯模糊的方法對重構圖像進行后處理，然后再與原圖做差；文獻[149]采用頻域方法分析殘差圖像，分別實現(xiàn)了鋼鐵表面缺陷和玻璃蓋板表面缺陷的檢測。LIU等[151]建立了一種雙編碼器網(wǎng)絡應用于鋁型材表面缺陷檢測。該網(wǎng)絡包括兩個編碼器和一個解碼器，僅利用正常樣本進行訓練。通過判斷兩個編碼器輸出的隱空間特征差別識別缺陷圖像。該方法在鋁型材數(shù)據(jù)集[168]上獲得96%的分類準確率。HE等[152]提出一種小樣本學習方法，并應用于鋼鐵表面圖像分類。該方法利用小規(guī)模標注數(shù)據(jù)訓練生成網(wǎng)絡，生成大量未標注數(shù)據(jù)，并利用標注數(shù)據(jù)訓練分類網(wǎng)絡，為生成的未標注數(shù)據(jù)分配標簽，從而擴充訓練集。該方法在NEU數(shù)據(jù)集[30]上達到99.56%的分類準確率，并通過實驗驗證了在僅有少量標注數(shù)據(jù)的情況下，該方法可大幅提升分類準確率。

除異常檢測方法外，弱監(jiān)督方法也是一種低數(shù)據(jù)成本方法。弱監(jiān)督方法利用低成本的標注數(shù)據(jù)訓練網(wǎng)絡，輸出更精確的缺陷檢測結果。例如，以圖像類別標簽為監(jiān)督信息訓練網(wǎng)絡，輸出缺陷的外接矩形或分割結果。弱監(jiān)督方法依然需要大量的缺陷樣本，但是有效降低了圖像的標注工作量。類別響應圖(Class Activation Map, CAM)[139]是利用類別標簽定位物體的經(jīng)典弱監(jiān)督方法。后續(xù)的大部分弱監(jiān)督檢測方法均借鑒了CAM的思想。例如，LIN等[140]利用分類網(wǎng)絡內(nèi)部的特征響應熱圖確定缺陷的大體位置。類似地，MARINO等[141]收集6類馬鈴薯圖像訓練分類神經(jīng)網(wǎng)絡；然后二值化缺陷響應圖獲得缺陷的粗略位置；最后，利用SVM方法獲得馬鈴薯表面缺陷的分割結果，實現(xiàn)馬鈴薯質(zhì)量的自動檢測。ZHANG等[142]對CAM進行改進，提出了類卷積模塊和類池化模塊，直接獲得類響應圖，減少CAM計算量的同時，提高了類響應的準確率。所提方法應用于玻璃蓋板的崩邊缺陷檢測，獲得了略低于完全監(jiān)督方法的檢測準確率。在現(xiàn)階段，弱監(jiān)督缺陷檢測方法和異常檢測方法等低數(shù)據(jù)成本方法的研究還不夠成熟，研究成果十分有限，準確率與完全監(jiān)督方法相比還有較大差異。異常檢測方法僅局限于簡單、規(guī)則的紋理表面圖像中進行實驗研究，在更多復雜背景的表面圖像中，檢測效果較差。因此，雖然這些低數(shù)據(jù)成本方法可有效緩解深度學習方法在工業(yè)應用中數(shù)據(jù)收集與標注的工作量，但是實際應用還比較少。

4.5 缺陷檢測數(shù)據(jù)集

完備的數(shù)據(jù)集是驗證深度學習方法優(yōu)劣的有效途徑，對于深度學習方法的研究與應用具有重要的推動作用。研究人員通過現(xiàn)場圖像采集與標注，建立了多個缺陷檢測數(shù)據(jù)集，涉及多個不同的工業(yè)生產(chǎn)場景，例如鋼鐵[30,167]、鋼軌[155,164]、鋁型材[168]等表面、紡織品[157]、鑄造件[108]表面、磁瓦[162]、道路[116,163]等。此外，還有包括多種紋理缺陷的KTH-TIPS2[161]和DAGM2007[159]數(shù)據(jù)集，以及面向無監(jiān)督學習的MVTec AD[165]數(shù)據(jù)集和SEM材料表面的掃描隧道顯微成像數(shù)據(jù)集NanoTWICE[166]。表3列出了部分具有較大影響力的數(shù)據(jù)集，本節(jié)將進行詳細介紹，并說明已有方法在這些數(shù)據(jù)集上的性能。

表3 典型表面缺陷數(shù)據(jù)集

NEU是由東北大學SONG等[30]發(fā)布的熱軋鋼帶表面缺陷數(shù)據(jù)集。該數(shù)據(jù)集收集了軋制氧化皮、斑塊、開裂、點蝕表面、雜質(zhì)和劃痕6種典型的表面缺陷，每類缺陷包含300個樣本，共計1 800個樣本。數(shù)據(jù)集中的圖像分辨率為200×200，提供了圖像中每個缺陷的外接矩形標注。REN等[3]提出的方法在該數(shù)據(jù)集的分類任務上達到了99.21%的準確率。HE等[153]提出的方法獲得了99.67%的分類準確率和82.3%的mAP。DONG等[154]在該數(shù)據(jù)集上進行像素級別的標注，所提出的PGA-NET在像素分割任務上，mIOU達到82.15%。在近期的工作中，SONG等[167]針對鋼帶表面雜質(zhì)、斑塊、劃傷3類缺陷建立了數(shù)據(jù)集SD-saliency-900。該數(shù)據(jù)集與NEU數(shù)據(jù)集類似，圖像分辨率為200×200，每類缺陷包含300個樣本，共計900個樣本，提供缺陷的像素分割標注。文獻[163]中方法利用多維紋理特征有效克服噪聲干擾。該方法在零噪聲情況下平均絕對誤差為16.50%的F值，在20%噪聲的情況下，誤差為22.05%，僅上升5.55%。作者進一步提出了編碼—解碼結構的EDRNnet[169]在零噪聲情況下將平均絕對誤差降低至1.30%，在20%噪聲的情況下，誤差為1.46%，大幅度提高了檢測精度。

北京交通大學的GAN等[155]建立了鐵軌表面缺陷數(shù)據(jù)集RSDDs。該數(shù)據(jù)集包括兩個子數(shù)據(jù)集：①高速鐵軌圖像，有78幅圖像；②普通鐵軌圖像，有128幅圖像，提供缺陷像素分割標注。數(shù)據(jù)集中圖像的分辨率不同，每幅圖像至少包含一個缺陷，并且實際采集的圖像中包含大量的噪聲。GAN等[155]提出的分級特征抽取的方法在普通鐵軌數(shù)據(jù)集上達到了100%的分類正確率。LU等[156]通過結合缺陷區(qū)域的5個顯著性特征與U-Net分割網(wǎng)絡設計了SCueU-Net，在高速鐵路數(shù)據(jù)集上達到了99.76%的分類精度。文獻[164]建立了鋼軌表面圖像數(shù)據(jù)集RSDDS-113，利用雙目視覺系統(tǒng)采集113幅缺陷圖像，并且通過左右兩個相機的位置匹配得到對應的深度圖像，從而獲得缺陷的三維信息。通過與多種方法的對比實驗證明，文獻[164]所提方法達到最優(yōu)性能，平均絕對誤差為9%。

SILVESTRE-BLANES等[157]公布一個織物圖像基準數(shù)據(jù)集AITEX。該數(shù)據(jù)集由245幅分辨率為4 096×256的圖像組成，其中140幅是無缺陷圖像，105幅是缺陷圖像，包含了12種不同類型的缺陷。作者提出的Gabor濾波器方法達到78.1%的檢出率，同時導致2.9%的過檢。通過參數(shù)調(diào)整使缺陷檢出率上升到86.6%時，過檢率會達到11.4%。DENG等[158]提出一種最大穩(wěn)定極值區(qū)域分析方法，達到了91%的檢出率。

DAGM2007數(shù)據(jù)集[159]是模擬現(xiàn)實場景的人工生成紋理圖像，分為10類，每類包括1 000幅正常圖像與150幅缺陷圖像。圖像分辨率為512×512，每幅圖像包含一個缺陷，用橢圓形標注缺陷位置。相關方法在該數(shù)據(jù)集上的評測標準并不統(tǒng)一，缺乏說服力。WU等[136]所提方法在該數(shù)據(jù)集上最高達到了98.6%的分類準確率。KIM等[160]通過遷移學習方式將準確率提升至99.95%。DONG等[154]對圖像進行像素標注，提出的PGA-NET在像素分割任務上，mIOU達到了74.78%。LIU等[170]提出的雙階段網(wǎng)絡在該數(shù)據(jù)集上達到了100%的真正率和真負率。

MAEDA等[116]建立的道路表面圖像數(shù)據(jù)集，包括9 053幅缺陷圖像，涉及8類缺陷。該數(shù)據(jù)集中圖像分辨率為600×600，提供外接矩形標注。作者采用SSD檢測網(wǎng)絡，以MobileNet作為骨干網(wǎng)，對一些類型缺陷的識別準確率高達99%，而且僅利用一部智能手機即可實現(xiàn)實時檢測，單幅圖像的檢測時間不超過1.5 s。

4.6 討論

4.1～4.3節(jié)中介紹的分類、目標檢測和分割3類方法是目前在工業(yè)質(zhì)檢中應用最廣泛的。如上所述，這3類方法使用的標注數(shù)據(jù)和輸出的檢測結果具有較大差異。除此之外，它們也有其自身的優(yōu)劣特點，且適用于不同的應用場景。以4.2節(jié)中介紹的目標檢測方法為例，該類方法更適用于語義信息較強的缺陷。例如，在檢測如圖5a所示的弱語義缺陷時，可能遇到標注不一致的情況。標注人員可能把圖5a中的缺陷標記為兩個缺陷，如圖中(1)和(2)所示，也有可能標記為一個整體缺陷，如圖中(3)所示。這種不一致會干擾網(wǎng)絡的訓練，降低網(wǎng)絡的檢測精度。因此，目標檢測方法更適用于檢測如圖5b所示的強語義缺陷。表4總結了這3類方法的特點。

與顯式特征提取方法相比，自動特征提取方法減少了手工設計特征的困難，且自動提取的特征對光照、缺陷形態(tài)等變化適應性強。但是，自動特征提取方法需要大量的標注數(shù)據(jù)，并且需要高性能運算單元，增加了算法訓練和部署時間，同時也提高了硬件成本，這對于工業(yè)推廣應用是非常不利的。

表4 基于自動特征提取的表面缺陷檢測算法分析

5 表面缺陷檢測的下一步發(fā)展討論

表面缺陷檢測在國內(nèi)外得到了多年的研究，取得了一系列研究成果，其中一些方法已經(jīng)在紡織品、木材、金屬、皮革等檢測中得到了成功應用。而且如本文第4章介紹，近年來快速發(fā)展的深度學習技術更是推動了基于視覺的表面缺陷檢測方法在工業(yè)現(xiàn)場的實際應用。雖然已有的檢測方法眾多，但是考慮到工業(yè)圖像的復雜性、特殊性及工業(yè)現(xiàn)場對于實時性、可靠性和準確率的高要求，工業(yè)表面缺陷檢測依然是一個亟待解決的重要問題。首先在硬件方面，通過對成像系統(tǒng)的設計和改進實現(xiàn)高質(zhì)量圖像的采集是成功完成表面缺陷檢測任務的基礎。尤其是在尖端國防領域或高精密加工領域，如大口徑光學元件[9]、玻璃蓋板[12,142]等。在這些應用中，由于產(chǎn)品表面反光、缺陷微弱、檢測精度高等原因，常規(guī)圖像采集方法往往無法有效呈現(xiàn)缺陷特征，造成漏檢。為了提升缺陷對比度，在圖像采集過程中一般使用高亮光源與高精度線陣相機。但是，這又會導致灰塵或臟污的影響過大，造成大量過檢。因此，模仿人類視覺系統(tǒng)，研究多角度、多波段、高頻閃的仿人成像方式，通過多光源和多相機的協(xié)同控制，結合明暗場兩種成像方法，提升缺陷特征的同時，摒除噪聲影響，是成像系統(tǒng)的未來研究方向之一。由于缺陷檢測方法的研究進展是本文主要的綜述內(nèi)容，因此本章關于表面缺陷檢測下一步發(fā)展的討論也主要集中于檢測方法上。尤其是在深度學習快速發(fā)展的今天，深度學習技術在表面缺陷檢測中的應用及下一步的發(fā)展也是一個開放的、值得關注的問題。

5.1 減緩深度學習方法對于大量標注數(shù)據(jù)的依賴

(1)遷移學習方法

深度學習方法首先在自然圖像上的目標檢測、像素分割等任務中取得了巨大成功后，近年來被逐漸應用于表面缺陷檢測任務。但是與自然圖像中的一些通用視覺任務，如行人檢測，車牌識別等不同，表面缺陷檢測任務由于其檢測的產(chǎn)品、產(chǎn)線不同，很難找到與每個任務相關的公開數(shù)據(jù)集。因此減緩基于深度學習的缺陷檢測算法的數(shù)據(jù)依賴，將是一個未來的發(fā)展方向。在本文4.4節(jié)，本文介紹了一些低數(shù)據(jù)成本方法，主要包括利用弱監(jiān)督學習和異常檢測來降低數(shù)據(jù)標注和收集的難度，然而通過綜述已有文獻，發(fā)現(xiàn)該類方法目前僅適用于簡單、規(guī)則的紋理表面圖像，在更多復雜背景的表面圖像中，檢測效果還無法滿足工業(yè)現(xiàn)場要求。在4.5節(jié)中，本文介紹了現(xiàn)有的開源數(shù)據(jù)集，這些數(shù)據(jù)集主要集中在鋼鐵、鋼軌、紡織品等常見的工業(yè)產(chǎn)品中，無法應用于其他缺陷檢測任務的網(wǎng)絡訓練。采用遷移學習的思想，將不同產(chǎn)品的數(shù)據(jù)分布看成不同的“域”，先在開源數(shù)據(jù)集的“源域”上進行網(wǎng)絡訓練，之后遷移到當前任務的“目標域”上，可以充分利用現(xiàn)有的公開數(shù)據(jù)集，減緩對特定任務的數(shù)據(jù)的依賴，這是下一步一個重要的研究方向。

(2)虛擬缺陷數(shù)據(jù)生成

除了遷移學習，根據(jù)缺陷或圖像的形成機理，生成虛擬的訓練數(shù)據(jù)訓練網(wǎng)絡，也能夠緩解缺陷檢測任務中數(shù)據(jù)成本高的問題。在2007年發(fā)布的DAGM 2007數(shù)據(jù)集即是模擬產(chǎn)生紋理缺陷圖像的一次嘗試。許多缺陷檢測算法都利用該數(shù)據(jù)集進行性能驗證。但該數(shù)據(jù)集中的圖像還存在紋理簡單，分辨率低等特點，與現(xiàn)在工業(yè)現(xiàn)場采集到的高分辨率、紋理復雜的真實圖像有較大的差距。之后，該方向的研究進展較為緩慢。近幾年，對抗生成網(wǎng)絡在各種圖像生成任務上展示了強大的性能，在圖像風格遷移、人臉數(shù)據(jù)生成等復雜圖像上都達到了“以假亂真”的效果。筆者認為，利用生成對抗網(wǎng)絡來實現(xiàn)高分辨率、紋理復雜的虛擬缺陷數(shù)據(jù)的生成有一定的可行性，如果能結合工業(yè)數(shù)據(jù)的特點，對現(xiàn)有的一些對抗生成網(wǎng)絡進行改進，生成大量可應用于網(wǎng)絡訓練的虛擬數(shù)據(jù)，可以解決工業(yè)場景中數(shù)據(jù)收集與標注成本高的問題，使深度學習在工業(yè)質(zhì)檢領域的規(guī)模化應用變得可行。

5.2 提高深度學習方法在工業(yè)現(xiàn)場的適用性

(1)適應性、輕量化網(wǎng)絡設計

正如之前提到的，在尖端國防領域或高精密加工領域，由于對微弱缺陷檢測精度要求較高，一般采用高分辨率的工業(yè)相機進行采圖，圖像分辨率高，使用現(xiàn)有的深度學習算法直接處理會面臨計算量過大、超出硬件資源限制的問題。一般將高分辨率原圖劃分為統(tǒng)一大小的子圖，然后依次進行處理，難以兼顧實時性和準確率。此外，在一些非精密檢測領域，如橋梁[113]、道路[116]、大壩[125]等表面損傷檢測。要求精度不高，且不具備精密光學成像條件。圖像采集與處理對于硬件配置的要求逐漸降低。目前，在有些應用場景中，智能手機或無人機已經(jīng)可以進行實時檢測。例如，在文獻[113]中，智能手機可以完成道路圖像的采集及道路缺陷的檢測，但是處理單幅圖像的時間超過1 s。因此，不管是對于高分辨率大圖的處理，還是在移動端上進行缺陷圖像的處理，將現(xiàn)有網(wǎng)絡直接應用的方式都會存在計算量大、速度慢的問題，筆者認為提高深度學習網(wǎng)絡在工業(yè)場景中的適用性，在降低參數(shù)計算量，提升運算速度的同時保持檢測精度，應是未來表面缺陷檢測任務的一大方向。通過調(diào)研，筆者提出兩類具體方案可供參考。①結合表面缺陷檢測任務的特點設計新網(wǎng)絡，由于工業(yè)圖像的背景紋理比較單一，缺陷的語義信息弱，僅利用局部信息可有效判斷缺陷，過多的語義信息反而是不必要的。因此，設計結構簡單、層數(shù)較少的輕量級神經(jīng)網(wǎng)絡，降低網(wǎng)絡的感受野，可以提升訓練效率，且在應用小規(guī)模工業(yè)數(shù)據(jù)集進行訓練時避免出現(xiàn)過擬合現(xiàn)象。另外，針對低語義缺陷，設計可充分利用底層紋理信息的特征提取及融合方法，結合在多個特征層檢測不同尺寸的缺陷，在降低網(wǎng)絡計算量的同時能夠保持甚至提升缺陷精度。②引入網(wǎng)絡剪枝、知識蒸餾等量化方法，該類方法在表面缺陷檢測領域的應用還比較少見，但是筆者認為利用一些網(wǎng)絡量化方法可以有效減少高性能網(wǎng)絡在缺陷檢測任務中的參數(shù)量和計算量，有利于深度學習算法在表面缺陷檢測任務中的進一步推廣。

(2)與傳統(tǒng)方法結合

本文的第3章和第4章分別詳細介紹了顯式特征提取的(傳統(tǒng)方法)和基于自動特征提取的(深度學習方法)兩類表面缺陷檢測算法。深度學習方法目前已經(jīng)成為表面缺陷檢測的主流方法。該類方法避免了手工特征提取的困難，但是由于深度學習的“黑盒”屬性，導致難以對相關參數(shù)進行針對性調(diào)整，以使方法性能夠滿足工業(yè)現(xiàn)場應用要求。另外，卷積神經(jīng)網(wǎng)絡的優(yōu)越能力主要來自于對圖像語義特征的提取，但是，大部分工業(yè)缺陷檢測任務中更多地依賴圖像底層特征。相反，傳統(tǒng)方法可以對一些底層特征進行針對性提取和應用，但是這些手工設計特征通常無法適應背景、光照等環(huán)境變化及噪聲干擾。將兩類方法相結合，應用深度學習方法強大的特征提取功能和傳統(tǒng)方法對于特定底層特征的提取和應用，賦予相關參數(shù)物理含義，使之能夠進行針對性調(diào)整，提高方法在工業(yè)現(xiàn)場的適用性，也是未來重要研究課題。

6 結束語

基于視覺感知的表面缺陷檢測具有精度高、執(zhí)行效率高、可防止二次損傷等優(yōu)點，能夠充分滿足工業(yè)現(xiàn)場要求，是實現(xiàn)自動化檢測的理想解決方案。本文回顧了表面缺陷檢測技術的發(fā)展路線，并簡要介紹了基于視覺的表面缺陷檢測系統(tǒng)的基本流程。然后，對典型視覺缺陷檢測系統(tǒng)的照明成像方法進行了介紹。接下來，重點闡述了表面缺陷檢測方法的研究進展，以特征的顯式提取和自動提取為線索，對現(xiàn)有的檢測方法進行歸類總結。最后，針對當前的表面缺陷檢測技術的局限性及存在的問題，結合工業(yè)界需求，對表面缺陷檢測的下一步發(fā)展方向進行了思考與展望。