陶 顯 侯 偉 ,2 徐 德 ,2

表面缺陷檢測(cè)是機(jī)器視覺(jué)領(lǐng)域中非常重要的一項(xiàng)研究?jī)?nèi)容,也稱(chēng)為AOI (Automated optical inspection)或ASI (Automated surface inspection),它是利用機(jī)器視覺(jué)設(shè)備獲取圖像來(lái)判斷采集圖像中是否存在缺陷的技術(shù).目前,基于機(jī)器視覺(jué)的表面缺陷裝備已經(jīng)在各工業(yè)領(lǐng)域廣泛替代人工肉眼檢測(cè),包括3C、汽車(chē)、家電、機(jī)械制造、半導(dǎo)體及電子、化工、醫(yī)藥、航空航天、輕工等行業(yè).傳統(tǒng)的基于機(jī)器視覺(jué)的表面缺陷檢測(cè)方法,往往采用常規(guī)圖像處理算法或人工設(shè)計(jì)特征加分類(lèi)器方式.一般來(lái)說(shuō),通常利用被檢表面或缺陷的不同性質(zhì)進(jìn)行成像方案的設(shè)計(jì),合理的成像方案有助于獲得光照均勻的圖像,并將物體表面缺陷明顯地體現(xiàn)出來(lái).一種方式是針對(duì)被檢表面顏色選擇光源,例如文獻(xiàn)[1]中選擇復(fù)合白色光源成像彩色布匹表面缺陷.另一種常見(jiàn)的方式是依據(jù)被檢測(cè)表面反射性質(zhì)選擇不同成像方案,主要包括明場(chǎng)成像、暗場(chǎng)成像和混合成像等.例如,Chen 等[2]針對(duì)金屬易拉罐凹凸底部的表面缺陷檢測(cè),設(shè)計(jì)了兩個(gè)同心放置的圓錐環(huán)形明場(chǎng)光源,用于同時(shí)照亮易拉罐底部的中央和外圍區(qū)域.Tao等[3]采用了暗場(chǎng)成像對(duì)大口徑光學(xué)元件表面微弱劃痕進(jìn)行檢測(cè).雖然精心構(gòu)造的成像方案能夠大大減輕經(jīng)典檢測(cè)算法設(shè)計(jì)的難度,但也增加了檢測(cè)系統(tǒng)的應(yīng)用成本.同時(shí)在很多開(kāi)放式的工業(yè)環(huán)境下(如圖1(b)和圖1(d)所示的自然場(chǎng)景),期待設(shè)計(jì)的成像系統(tǒng)完全消除場(chǎng)景或者被檢材料等變化對(duì)檢測(cè)系統(tǒng)的影響,往往不太現(xiàn)實(shí).在真實(shí)復(fù)雜的工業(yè)環(huán)境下,表面缺陷檢測(cè)往往面臨諸多挑戰(zhàn),例如存在缺陷成像與背景差異小、對(duì)比度低、缺陷尺度變化大且類(lèi)型多樣,缺陷圖像中存在大量噪聲,甚至缺陷在自然環(huán)境下成像存在大量干擾等情形,如圖1 所示,此時(shí)經(jīng)典方法往往顯得束手無(wú)策,難以取得較好的檢測(cè)效果.

圖1 復(fù)雜工業(yè)環(huán)境下的表面缺陷圖像Fig.1 Images of surface defects in complex industrial environment ((a)Scratch image of dark field image of optical component;(b)Surface defect of building bridge;(c)Strip surface defect;(d)Unmanned aerial vehicle insulator defect)

近年來(lái),隨著以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)為代表的深度學(xué)習(xí)模型在諸多計(jì)算機(jī)視覺(jué)(Computer vision,CV)領(lǐng)域成功應(yīng)用,例如人臉識(shí)別、行人重識(shí)別、場(chǎng)景文字檢測(cè)、目標(biāo)跟蹤和自動(dòng)駕駛等,不少基于深度學(xué)習(xí)的缺陷檢測(cè)方法也廣泛應(yīng)用在各種工業(yè)場(chǎng)景中,甚至國(guó)內(nèi)外一些公司開(kāi)發(fā)出多種基于深度學(xué)習(xí)的商用工業(yè)表面缺陷檢測(cè)軟件,如表1 所示.全球傳統(tǒng)工業(yè)視覺(jué)及其部件的市場(chǎng)規(guī)模在2025 年將達(dá)到192 億美元[4],其中中國(guó)占比約為30%,并保持14%的年度平均增長(zhǎng)率,這一領(lǐng)域正在逐步被新一代基于深度學(xué)習(xí)的工業(yè)視覺(jué)技術(shù)替代.同時(shí)我國(guó)在 《中國(guó)制造2025》白皮書(shū)中提出“推廣采用先進(jìn)成型和加工方法、在線檢測(cè)裝置、智能化生產(chǎn)和物流系統(tǒng)及檢測(cè)設(shè)備等,使重點(diǎn)實(shí)物產(chǎn)品的性能穩(wěn)定性、質(zhì)量可靠性、環(huán)境適應(yīng)性、使用壽命等指標(biāo)達(dá)到國(guó)際同類(lèi)產(chǎn)品先進(jìn)水平”.因此,基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法不僅具有重要的學(xué)術(shù)研究?jī)r(jià)值,同時(shí)有著非常廣闊的市場(chǎng)應(yīng)用前景.

表1 商用基于深度學(xué)習(xí)的缺陷檢測(cè)軟件Table 1 Commercial deep learning based defect detection software

鑒于目前國(guó)內(nèi)還沒(méi)有全面細(xì)致論述基于深度學(xué)習(xí)表面缺陷檢測(cè)方法的綜述文獻(xiàn),本文通過(guò)對(duì)2014 年～ 2019 年相關(guān)文獻(xiàn)進(jìn)行歸納梳理,旨在幫助研究人員快速和系統(tǒng)地了解該領(lǐng)域相關(guān)方法與技術(shù).本文內(nèi)容安排如下:第1 節(jié)給出缺陷檢測(cè)問(wèn)題的定義.第2 節(jié)重點(diǎn)對(duì)最近幾年相關(guān)方法進(jìn)行詳細(xì)介紹、細(xì)分和對(duì)比.第3 節(jié)分析基于深度學(xué)習(xí)的表面缺陷檢測(cè)中三個(gè)關(guān)鍵問(wèn)題.第4 節(jié)介紹工業(yè)領(lǐng)域公開(kāi)的缺陷檢測(cè)數(shù)據(jù)集.最后,對(duì)未來(lái)可能的研究焦點(diǎn)和發(fā)展方向進(jìn)行了展望.

1 缺陷檢測(cè)問(wèn)題的定義

1)缺陷的定義.在機(jī)器視覺(jué)任務(wù)中,缺陷傾向于是人類(lèi)經(jīng)驗(yàn)上的概念,而不是一個(gè)純粹的數(shù)學(xué)定義.對(duì)缺陷模式認(rèn)知的不同,會(huì)導(dǎo)致兩種截然不同的檢測(cè)手段.以布匹表面缺陷檢測(cè)為例,如圖2 所示,第1 種是有監(jiān)督的方法,體現(xiàn)在利用標(biāo)記了標(biāo)簽(包括類(lèi)別、矩形框或逐像素等)的缺陷圖像輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練.此時(shí)“缺陷”意味著標(biāo)記過(guò)的區(qū)域或者圖像.因此,該方法更關(guān)注缺陷特征,例如在訓(xùn)練階段將包含大片黑色范圍的區(qū)域或者圖像標(biāo)記為“異色”缺陷用于網(wǎng)絡(luò)訓(xùn)練.在測(cè)試階段,當(dāng)布匹圖像中檢測(cè)到大片黑色的特征時(shí),即認(rèn)為出現(xiàn)了“異色”缺陷.第2 種是無(wú)監(jiān)督的缺陷檢測(cè)方法,通常只需要正常無(wú)缺陷樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練,也稱(chēng)為one-class learning.該方法更關(guān)注無(wú)缺陷(即正常樣本)特征,當(dāng)缺陷檢測(cè)過(guò)程中發(fā)現(xiàn)未見(jiàn)過(guò)的特征(異常特征)時(shí),即認(rèn)為檢測(cè)出缺陷.此時(shí)“缺陷”意味著異常,因此該方法也稱(chēng)作異常檢測(cè)(Anomaly detection).

圖2 缺陷檢測(cè)的問(wèn)題定義Fig.2 Definition of defect detection problem

2)缺陷檢測(cè)的定義.對(duì)比計(jì)算機(jī)視覺(jué)中明確的分類(lèi)、檢測(cè)和分割任務(wù),缺陷檢測(cè)的需求非?；\統(tǒng).實(shí)際上,其需求可以劃分為三個(gè)不同的層次,即“缺陷是什么”、“缺陷在哪里”和“缺陷是多少”.第1階段:“缺陷是什么”,對(duì)應(yīng)計(jì)算機(jī)視覺(jué)中的分類(lèi)任務(wù),如圖2 中分類(lèi)三種缺陷類(lèi)別:異色、空洞和經(jīng)線,這一階段的任務(wù)可以稱(chēng)為“缺陷分類(lèi)”,僅僅給出圖像的類(lèi)別信息.第2 階段:“缺陷在哪里”,對(duì)應(yīng)計(jì)算機(jī)視覺(jué)中的定位任務(wù),這一階段的缺陷定位才是嚴(yán)格意義上的檢測(cè).不僅獲取圖像中存在哪些類(lèi)型的缺陷,而且也給出缺陷的具體位置,如圖2 中將異色缺陷用矩形框標(biāo)記出來(lái).第3 階段:“缺陷是多少”,對(duì)應(yīng)計(jì)算機(jī)視覺(jué)中的分割任務(wù),如圖2 中缺陷分割的區(qū)域所示,將缺陷逐像素從背景中分割出來(lái),并能進(jìn)一步得到缺陷的長(zhǎng)度、面積、位置等等一系列信息,這些信息能輔助產(chǎn)品高一級(jí)的質(zhì)量評(píng)估,例如優(yōu)劣等級(jí)的判斷.雖然缺陷檢測(cè)的這三個(gè)階段的功能需求和目標(biāo)不同,但實(shí)際上三個(gè)階段互相包含且能相互轉(zhuǎn)換.例如第2 階段“缺陷定位”包含第1 階段“缺陷分類(lèi)”這一過(guò)程,第3 階段“缺陷分割”同時(shí)也能完成第2 階段“缺陷定位”.第1 階段“缺陷分類(lèi)”也能通過(guò)一些方法實(shí)現(xiàn)第2 階段和第3階段的目標(biāo).因此,在后文中還是按照傳統(tǒng)工業(yè)習(xí)慣統(tǒng)稱(chēng)為缺陷檢測(cè),只是在針對(duì)不同網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)功能時(shí),才有所區(qū)分.

2表面缺陷檢測(cè)深度學(xué)習(xí)方法

本節(jié)總結(jié)概述基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法.如圖3 所示,依據(jù)數(shù)據(jù)標(biāo)簽的不同,將其整體分為全監(jiān)督學(xué)習(xí)模型、無(wú)監(jiān)督學(xué)習(xí)模型和其他方法(半監(jiān)督學(xué)習(xí)模型和弱監(jiān)督學(xué)習(xí)模型).在全監(jiān)督模型中,依據(jù)輸入圖像方式和損失函數(shù)的差異,分為基于表征學(xué)習(xí)和度量學(xué)習(xí)的方法.在表征學(xué)習(xí)中,根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的不同可以進(jìn)一步細(xì)分為分類(lèi)網(wǎng)絡(luò)、檢測(cè)網(wǎng)絡(luò)和分割網(wǎng)絡(luò).目前大量的研究工作都是著眼于全監(jiān)督學(xué)習(xí)方向,但無(wú)監(jiān)督學(xué)習(xí)同樣是一個(gè)值得研究的方向.從圖3 中可以看出,本文按照每類(lèi)方法的處理特點(diǎn)又細(xì)分為若干種不同的子方法.

圖3 缺陷檢測(cè)方法框架圖Fig.3 Framework of defect detection methods

2.1表征學(xué)習(xí)

現(xiàn)階段大部分基于深度學(xué)習(xí)的表面缺陷檢測(cè)是基于有監(jiān)督的表征學(xué)習(xí)方法.表征學(xué)習(xí)的本質(zhì)是將缺陷檢測(cè)問(wèn)題看作計(jì)算機(jī)視覺(jué)中的分類(lèi)任務(wù),包括粗粒度的圖像標(biāo)簽分類(lèi)或區(qū)域分類(lèi),以及最精細(xì)的像素分類(lèi).由于實(shí)現(xiàn)的目標(biāo)與計(jì)算機(jī)視覺(jué)任務(wù)完全一致,因此基于表征學(xué)習(xí)的缺陷檢測(cè)方法可以看作是其相關(guān)經(jīng)典網(wǎng)絡(luò)在工業(yè)領(lǐng)域的一個(gè)應(yīng)用.

2.1.1 分類(lèi)網(wǎng)絡(luò)

在真實(shí)的工業(yè)生產(chǎn)中,檢測(cè)對(duì)象形狀、尺寸、紋理、顏色、背景、布局和成像光照的巨大差異使復(fù)雜環(huán)境下的缺陷分類(lèi)成為一項(xiàng)艱巨的任務(wù).由于CNN強(qiáng)大的特征提取能力,采用基于CNN 的分類(lèi)網(wǎng)絡(luò)目前已成為表面缺陷分類(lèi)中最常用的模式.通常CNN分類(lèi)網(wǎng)絡(luò)的特征提取部分由級(jí)聯(lián)的卷積層+pooling 層組成,后面連接全連接層(或average pooling 層)+softmax 結(jié)構(gòu)用于分類(lèi).一般來(lái)說(shuō),現(xiàn)有表面缺陷分類(lèi)的網(wǎng)絡(luò)常常采用計(jì)算機(jī)視覺(jué)中現(xiàn)成的網(wǎng)絡(luò)結(jié)構(gòu),包括AlexNet[5],VGG[6],GoogLeNet[7],ResNet[8],DenseNet[9],SENet[10],ShuffleNet[11],MobileNet[12]等.或者針對(duì)實(shí)際問(wèn)題搭建簡(jiǎn)易的網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)輸入一幅測(cè)試圖像到分類(lèi)網(wǎng)絡(luò)中,網(wǎng)絡(luò)輸出該圖像的類(lèi)別和其類(lèi)別的置信度.依據(jù)分類(lèi)網(wǎng)絡(luò)方法實(shí)現(xiàn)任務(wù)的差異,我們將其細(xì)分為三個(gè)小類(lèi):直接利用網(wǎng)絡(luò)做分類(lèi)、利用網(wǎng)絡(luò)做缺陷定位和利用網(wǎng)絡(luò)作為特征提取器.

1)直接利用網(wǎng)絡(luò)進(jìn)行分類(lèi)

直接利用分類(lèi)網(wǎng)絡(luò)做缺陷的分類(lèi)任務(wù)是CNN最早應(yīng)用于表面缺陷檢測(cè)中常用的手段.根據(jù)研究工作的特點(diǎn),可以進(jìn)一步將其細(xì)分為原圖分類(lèi)、定位感興趣區(qū)域(Region of interest,ROI)后分類(lèi)和多類(lèi)別分類(lèi)三種.a)原圖分類(lèi).即直接將收集的完整缺陷圖像放入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練.2014 年,奧地利科技研究所[13]最早采集光度立體圖像訓(xùn)練CNN網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)軌道表面空洞缺陷分類(lèi),整個(gè)網(wǎng)絡(luò)共包含兩個(gè)卷積層和兩個(gè)池化層以及最后一個(gè)全連接層,在鋼軌表面數(shù)據(jù)集上最終達(dá)到的錯(cuò)誤識(shí)別率為1.108%.Park 等[14]設(shè)計(jì)了一種簡(jiǎn)易CNN 分類(lèi)網(wǎng)絡(luò),用于自動(dòng)檢測(cè)表面零件上的污垢、劃痕、毛刺和磨損等缺陷.該方法在實(shí)驗(yàn)缺陷數(shù)據(jù)集上的平均檢測(cè)正確率為98%,其檢測(cè)速度為5 285 樣本/min(圖像分辨率為32×32 像素).Kyeong 等[15]提出了一種卷積神經(jīng)網(wǎng)絡(luò)框架對(duì)半導(dǎo)體行業(yè)的晶圓倉(cāng)圖(Wafer bin map,WBM)中的混合類(lèi)型缺陷模式進(jìn)行分類(lèi).文獻(xiàn)[16]采用修改的VGG19 網(wǎng)絡(luò)用于識(shí)別300×300 分辨率的太陽(yáng)能面板圖像缺陷,網(wǎng)絡(luò)的準(zhǔn)確率達(dá)到88.42%,超過(guò)多種手工設(shè)計(jì)特征(包括KAZE[17]、SIFT (Scale-invariant feature transform)[18]、SURF (Speeded-up robust feature)[19])和支撐向量機(jī)(Support vector machine,SVM)方法的效果.Liang 等[20]提出了一種基于ShuffleNetV2網(wǎng)絡(luò)分類(lèi)復(fù)雜背景下的瓶子噴墨碼缺陷,所提出的方法在塑料容器行業(yè)的在線噴墨碼檢測(cè)設(shè)備上獲得了99.88%的分類(lèi)正確率.直接利用原圖分類(lèi)的方法應(yīng)用非常廣泛,可用于多個(gè)領(lǐng)域的缺陷分類(lèi),例如焊接缺陷分類(lèi)[21]、聚合物鋰電池水泡缺陷的分類(lèi)[22]和印刷電路板(Printed circuit board,PCB)缺陷的分類(lèi)[23]等.b)定位ROI 后分類(lèi).這種分類(lèi)方法在許多工業(yè)應(yīng)用中較為常見(jiàn).通常來(lái)說(shuō),針對(duì)獲取到的整幅圖像,人們常常只關(guān)注某個(gè)固定區(qū)域中是否存在缺陷,因此往往預(yù)先獲取到感興趣的區(qū)域(ROI),然后將ROI 輸入網(wǎng)絡(luò)進(jìn)行缺陷類(lèi)別的判斷.Shang 等[24]提出了一種兩階段的鐵軌缺陷識(shí)別算法,首先利用Canny 算子和直線擬合算法在整個(gè)原始圖像上對(duì)鐵軌區(qū)域進(jìn)行裁剪.然后將裁剪的圖像放入Inception V3 網(wǎng)絡(luò)中提取特征以進(jìn)行軌道圖像分類(lèi).文獻(xiàn)[25]中通過(guò)級(jí)聯(lián)的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)高鐵接觸網(wǎng)螺栓區(qū)域進(jìn)行獲取,然后將裁剪的螺栓圖像輸入到CNN 網(wǎng)絡(luò)中進(jìn)行缺陷分類(lèi).Li 等[26]首先利用基于局部二值模式(Local binary pattern,LBP)特征的級(jí)聯(lián)目標(biāo)檢測(cè)器實(shí)現(xiàn)掃描隧道顯微鏡成像材料待檢測(cè)區(qū)域定位,然后采用CNN 模型來(lái)獲取表面缺陷的具體類(lèi)型.c)多類(lèi)別分類(lèi).當(dāng)待分類(lèi)的缺陷類(lèi)型超過(guò)兩類(lèi)時(shí),常規(guī)的缺陷分類(lèi)網(wǎng)絡(luò)與原圖分類(lèi)方法一樣,即網(wǎng)絡(luò)的輸出節(jié)點(diǎn)為缺陷類(lèi)型的數(shù)目+1 (包括正常類(lèi)別).但多類(lèi)別分類(lèi)方法往往先采用一個(gè)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行缺陷與正常樣本二分類(lèi),然后在同一個(gè)網(wǎng)絡(luò)上共享特征提取部分,修改或者增加缺陷類(lèi)別的分類(lèi)分支.通過(guò)該方式相當(dāng)于給后續(xù)的多目標(biāo)缺陷分類(lèi)網(wǎng)絡(luò)準(zhǔn)備了一個(gè)預(yù)訓(xùn)練權(quán)重參數(shù),這個(gè)權(quán)重參數(shù)通過(guò)正常樣本與缺陷樣本之間二分類(lèi)訓(xùn)練得到.Xie 等[27]首先訓(xùn)練第1 個(gè)ND (normal-defective)-CNN 模型進(jìn)行二分類(lèi)(正常圖像和所有其他缺陷圖像),緩解了數(shù)據(jù)不平衡的問(wèn)題.在訓(xùn)練好ND-CNN 模型后,將輸出向量更改為6 維向量來(lái)訓(xùn)練ID (interdefect)-CNN 模型,以使其適合于多類(lèi)缺陷標(biāo)簽問(wèn)題.該模型在ND-CNN 權(quán)重的基礎(chǔ)上使用缺陷圖像進(jìn)行微調(diào),從而減少了樣本量需求并節(jié)省了訓(xùn)練時(shí)間.Nagata 等[28]提出了一種seeNet (Net with SVMs to classify sample images)網(wǎng)絡(luò),該網(wǎng)絡(luò)有兩個(gè)分類(lèi)分支,第1 個(gè)二分類(lèi)分支用來(lái)分類(lèi)正常樣本和NG 樣本,網(wǎng)絡(luò)的模型采用AlexNet進(jìn)行特征提取,其分類(lèi)器采用SVM;第2 個(gè)分支用于7 類(lèi)別的缺陷分類(lèi).多類(lèi)別分類(lèi)采用這種二分支結(jié)構(gòu),可以充分利用缺陷樣本與正常樣本數(shù)目不均衡的特點(diǎn),挖掘兩者特征之間的差異.

2)利用網(wǎng)絡(luò)進(jìn)行缺陷定位

一般認(rèn)為,分類(lèi)網(wǎng)絡(luò)只能完成圖像標(biāo)簽級(jí)別的分類(lèi),實(shí)際上結(jié)合不同的技巧和方式,分類(lèi)網(wǎng)絡(luò)也可以實(shí)現(xiàn)缺陷的定位與逐像素的分類(lèi).根據(jù)采用的手段不同,可進(jìn)一步將其分為滑動(dòng)窗口、熱力圖(heatmap)和多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)三種形式.a)滑動(dòng)窗口.是最簡(jiǎn)單和直觀的實(shí)現(xiàn)缺陷粗定位的方法.一般工業(yè)表面缺陷檢測(cè)處理的圖像分辨率較大,通過(guò)較小尺寸的窗口在原始圖像上進(jìn)行冗余滑動(dòng),將滑動(dòng)窗口中的圖像輸入到分類(lèi)網(wǎng)絡(luò)中進(jìn)行缺陷識(shí)別.最后將所有的滑動(dòng)窗口進(jìn)行連接,即可獲得缺陷粗定位的結(jié)果.2017 年,Cha 等[29]最早采用基于滑動(dòng)窗口的CNN 分類(lèi)網(wǎng)絡(luò)實(shí)現(xiàn)了裂紋表面缺陷定位,兩種滑動(dòng)窗口冗余路徑結(jié)合實(shí)現(xiàn)圖像全覆蓋,如圖4 所示,圖4(a)為滑動(dòng)窗口路徑示意圖,圖4(b)為裂紋定位的結(jié)果圖.文獻(xiàn)[30-32]采用相同的方法應(yīng)用于金屬表面裂紋、路面表面裂紋和城市建筑物表面缺陷定位.b)熱力圖(heatmap).是一種反映圖像中各區(qū)域重要性程度的圖像,顏色越深代表越重要.在缺陷檢測(cè)領(lǐng)域,熱力圖中顏色越深的區(qū)域代表其屬于缺陷的概率越大.2018 年,Ren 等[33]采用圖像分塊和特征遷移方式獲取每個(gè)分塊所對(duì)應(yīng)屬于缺陷的置信度,并將其轉(zhuǎn)換為熱力圖.在熱力圖基礎(chǔ)上運(yùn)用Otsu 法[34]和圖割算法進(jìn)一步得到準(zhǔn)確的缺陷輪廓區(qū)域.在計(jì)算機(jī)視覺(jué)領(lǐng)域,常采用CAM (Class activation mapping)[35]和Grad-CAM[36]方法獲得熱力圖,其本質(zhì)上是通過(guò)加權(quán)特征圖,確定網(wǎng)絡(luò)模型是通過(guò)哪些像素作為依據(jù)來(lái)判斷輸入圖片所屬的類(lèi)別.Lin 等[37]采用CAM 獲取熱力圖,并利用Otsu 二值化方法分割熱力圖,實(shí)現(xiàn)LED 燈圖像中劃痕或線缺陷的定位.Zhou 等[38]采用grad-CAM 方法獲取熱力圖,并采用Otsu算法分割得到表面缺陷的準(zhǔn)確區(qū)域.c)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò).單純的分類(lèi)網(wǎng)絡(luò)若不加入其他技巧,一般只能實(shí)現(xiàn)圖像級(jí)別的分類(lèi).因此,為了精細(xì)定位缺陷位置,往往設(shè)計(jì)的網(wǎng)絡(luò)會(huì)加上額外的分割分支,兩個(gè)分支共享特征提取的骨架(backbone)結(jié)果,這樣網(wǎng)絡(luò)一般有分類(lèi)和分割兩個(gè)輸出,構(gòu)成多任務(wù)學(xué)習(xí)網(wǎng)絡(luò).它兼顧兩個(gè)網(wǎng)絡(luò)特點(diǎn),對(duì)于分割網(wǎng)絡(luò)分支,圖像中每個(gè)像素都能被當(dāng)作訓(xùn)練樣本來(lái)訓(xùn)練網(wǎng)絡(luò).因此,多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)不僅利用分割分支輸出缺陷具體的分割結(jié)果,而且可以大大減少分類(lèi)網(wǎng)絡(luò)對(duì)樣本的需求.Racki 等[39]設(shè)計(jì)了一個(gè)緊湊的一體化多任務(wù)CNN 結(jié)構(gòu)用于表面缺陷的分割和分類(lèi).所提出的網(wǎng)絡(luò)在各種表面紋理缺陷數(shù)據(jù)集DAGM 2007上取得了最好的效果.Tabernik 等[40]也提出了一個(gè)融合分類(lèi)和分割分支的多任務(wù)缺陷檢測(cè)網(wǎng)絡(luò),整個(gè)網(wǎng)絡(luò)只用了50 幅1 408×512 分辨率的缺陷圖像進(jìn)行訓(xùn)練,取得的缺陷準(zhǔn)確識(shí)別率超過(guò)了商業(yè)Cognex ViDi Suite 軟件.

圖4 基于滑動(dòng)窗口的裂紋定位Fig.4 Crack location based on sliding window

3)利用網(wǎng)絡(luò)做特征提取器

在早期基于深度學(xué)習(xí)的缺陷分類(lèi)方法中,不少文獻(xiàn)利用CNN 特征提取的強(qiáng)大功能,先將圖像輸入到預(yù)訓(xùn)練網(wǎng)絡(luò)中獲取圖像表征特征,再將獲取的特征輸入到常規(guī)的機(jī)器學(xué)習(xí)分類(lèi)器(例如SVM等)中進(jìn)行分類(lèi).例如Zhao 等[41]采用CNN對(duì)電力航拍絕緣子圖像塊進(jìn)行特征抽取,將特征輸入到SVM 中進(jìn)行二分類(lèi),同時(shí)作者還比較了從不同全連接層抽取特征分類(lèi)效果的差異.Malekzadeh 等[42]采用由VGG-DNN 中的fc6 層的輸出作為特征,輸入到SVM 中實(shí)現(xiàn)飛機(jī)表面缺陷分類(lèi),缺陷分類(lèi)精度達(dá)到96%以上.

綜上,基于分類(lèi)網(wǎng)絡(luò)的方法在實(shí)際應(yīng)用中非常廣泛,同時(shí),不同的子方法本身也各有其自身優(yōu)劣,具體如表2 所示.

表2 分類(lèi)網(wǎng)絡(luò)各子方法優(yōu)缺點(diǎn)對(duì)比Table 2 Comparison of advantages and disadvantages of each sub-method of classification network

2.1.2 檢測(cè)網(wǎng)絡(luò)

目標(biāo)定位是計(jì)算機(jī)視覺(jué)領(lǐng)域中最基本的任務(wù)之一,同時(shí)它也是與傳統(tǒng)意義上缺陷檢測(cè)最接近的任務(wù),其目的是獲得目標(biāo)精準(zhǔn)的位置和類(lèi)別信息.目前,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法層出不窮,一般來(lái)說(shuō),基于深度學(xué)習(xí)的缺陷檢測(cè)網(wǎng)絡(luò)從結(jié)構(gòu)上可以劃分為:以Faster R-CNN (Region-CNN)[43]為代表的兩階段(Two stage)網(wǎng)絡(luò)和以SSD (Single shout multibax detector)[44]或YOLO (You only look once)[45]為代表的一階段(One stage)網(wǎng)絡(luò).兩者的主要差異在于兩階段網(wǎng)絡(luò)需要首先生成可能包含缺陷的候選框(Proposal),然后再進(jìn)一步進(jìn)行目標(biāo)檢測(cè).一階段網(wǎng)絡(luò)則直接利用網(wǎng)絡(luò)中提取的特征來(lái)預(yù)測(cè)缺陷的位置和類(lèi)別.

1)基于兩階段的缺陷檢測(cè)網(wǎng)絡(luò)

兩階段檢測(cè)網(wǎng)絡(luò)(Faster R-CNN)的基本流程是首先通過(guò)Backbone 網(wǎng)絡(luò)獲取輸入圖像的特征圖,利用區(qū)域生成網(wǎng)絡(luò)(Region proposal network,RPN)計(jì)算錨框(anchor box)置信度,獲取Proposal 區(qū)域.然后對(duì)Proposal 區(qū)域的特征圖進(jìn)行ROIpooling 后輸入網(wǎng)絡(luò),通過(guò)對(duì)初步檢測(cè)結(jié)果進(jìn)行精細(xì)調(diào)整,最終得到缺陷的定位和類(lèi)別結(jié)果.因此,針對(duì)缺陷檢測(cè)的特點(diǎn),常用方法往往針對(duì)Backbone 結(jié)構(gòu)或其特征圖、錨框比例、ROIpooling和損失函數(shù)等方面進(jìn)行改進(jìn).2018 年,Cha 等[46]最早將Faster R-CNN 直接應(yīng)用在橋梁表面缺陷定位,其Backbone 網(wǎng)絡(luò)被替換為ZF-net,在包含2 366 幅500×375 像素大小的5 類(lèi)橋梁建筑數(shù)據(jù)集中,其mAP(Mean average precision)值達(dá)到87.8%.Zhong 等[47]提出了一種基于三階段PVANET++的部件缺陷定位系統(tǒng),用于高速鐵路的懸鏈支撐裝置—開(kāi)口銷(xiāo)的松動(dòng)和缺失檢測(cè),PVANET++是一個(gè)改進(jìn)版的Faster R-CNN,相比于原版Faster R-CNN,在最高層特征圖進(jìn)行Proposal 提取,其改進(jìn)點(diǎn)在于將低層兩組特征圖進(jìn)行降采樣與高層特征圖上采樣后聯(lián)結(jié)形成新的超特征圖用于Proposal 提取.另外,作者采用了54 個(gè)不同比例的錨框,而不是原始的9 個(gè)錨框.2020 年,Tao 等[48]設(shè)計(jì)了一個(gè)兩階段的Faster R-CNN 網(wǎng)絡(luò)用于無(wú)人機(jī)電力巡檢中絕緣子缺陷定位,第1 階段用于自然場(chǎng)景下的絕緣子區(qū)域定位;第2 階段實(shí)現(xiàn)絕緣子區(qū)域中的缺陷定位.Xue 等[49]基于改進(jìn)的Faster R-CNN 實(shí)現(xiàn)盾構(gòu)隧道中襯砌缺陷的檢測(cè),其Backbone 采用改進(jìn)的Inception 全卷積網(wǎng)絡(luò)得到特征圖,同時(shí)增加兩個(gè)錨框比例,使用位置敏感ROIpooling 替代傳統(tǒng)的ROIpooling,所提出模型在單幅圖像48 ms 的測(cè)試時(shí)間速度下,實(shí)現(xiàn)了檢測(cè)精度超過(guò)95%.Ding 等[50]提出了一種針對(duì)PCB 表面缺陷檢測(cè)網(wǎng)絡(luò)(TDD (Ting defect detection)-Net),該方法通過(guò)使用K 均值聚類(lèi)設(shè)計(jì)合理的錨框大小;其次引入多尺度金字塔網(wǎng)絡(luò)(Feature pyramid networks,FPN)到Faster RCNN 中,加強(qiáng)了來(lái)自底層結(jié)構(gòu)信息的融合,使得網(wǎng)絡(luò)適應(yīng)微小的缺陷檢測(cè).最后,考慮到小數(shù)據(jù)集和樣本不平衡的特點(diǎn),在訓(xùn)練階段采用了在線困難樣本挖掘(Online hard example mining,OHEM)技術(shù).該方法在PCB 缺陷數(shù)據(jù)集上達(dá)到了98.90%的mAP.He 等[51]提出了基于Faster R-CNN 的帶鋼表面缺陷檢測(cè)網(wǎng)絡(luò),該網(wǎng)絡(luò)的改進(jìn)在于將Backbone 中多級(jí)特征圖組合為一個(gè)多尺度特征圖.在缺陷檢測(cè)數(shù)據(jù)集NEU-DET 上,提出的方法在采用ResNet-50 的Backbone 下實(shí)現(xiàn)了82.3%的mAP.利用Faster R-CNN 的檢測(cè)方法也廣泛應(yīng)用在隧道[52]、液晶面板偏振片表面[53]、熱成像絕緣子缺陷[54]、鋁型材表面[55]和輪胎輪轂[56]等缺陷檢測(cè)領(lǐng)域.

2)基于單階段的缺陷檢測(cè)網(wǎng)絡(luò)

單階段檢測(cè)網(wǎng)絡(luò)分為SSD和YOLO 兩種,兩者都是利用整幅圖作為網(wǎng)絡(luò)的輸入,直接在輸出層回歸邊界框(Bounding box)的位置及其所屬的類(lèi)別.SSD 的特點(diǎn)在于引入了特征金字塔檢測(cè)方式,從不同尺度的特征圖中預(yù)測(cè)目標(biāo)位置與類(lèi)別.它使用6 個(gè)不同特征圖檢測(cè)不同尺度的目標(biāo),一般底層特征圖用于預(yù)測(cè)小目標(biāo),高層特征圖預(yù)測(cè)大目標(biāo).Chen 等[25]采用改進(jìn)的SSD 網(wǎng)絡(luò)進(jìn)行接觸網(wǎng)支撐裝置上的緊固件缺陷區(qū)域定位,其主要改進(jìn)部分在于采用不同層的特征圖進(jìn)行目標(biāo)檢測(cè).Li 等[57]提出了一種基于MobileNet-SSD 的灌裝生產(chǎn)線容器密封表面缺陷檢測(cè)方法,通過(guò)MobileNet 優(yōu)化了SSD的Backbone 結(jié)構(gòu),以簡(jiǎn)化檢測(cè)模型參數(shù).Liu 等[58]同樣采用基于MobileNet-SSD 網(wǎng)絡(luò)來(lái)定位高鐵接觸網(wǎng)支撐組部件,相比于原始SSD 網(wǎng)絡(luò),其改進(jìn)點(diǎn)在于:1)采用 MobileNet 為Backbone;2)只使用4 個(gè)不同的特征圖來(lái)加速目標(biāo)檢測(cè).在測(cè)試的數(shù)據(jù)集上,其目標(biāo)達(dá)到25 幀/s 的檢測(cè)速度和94.3%的mAP.Zhang 等[59]采用最新YOLOv3 版本應(yīng)用于橋梁表面缺陷定位,相比于原始YOLOv3 網(wǎng)絡(luò),引入了預(yù)訓(xùn)練權(quán)重、批再規(guī)范化(Batch renormalization)和Focal loss,進(jìn)一步提高了缺陷檢測(cè)率.

隨著計(jì)算機(jī)視覺(jué)中目標(biāo)檢測(cè)網(wǎng)絡(luò)的發(fā)展,相信在今后會(huì)有越來(lái)越多新的檢測(cè)模型應(yīng)用于表面缺陷檢測(cè)中.綜上,在現(xiàn)階段追求檢測(cè)速度的缺陷檢測(cè)領(lǐng)域中,基于一階段的模型應(yīng)用較多,在強(qiáng)調(diào)檢測(cè)精度的缺陷檢測(cè)領(lǐng)域中,基于兩階段的模型采用較多.

2.1.3 分割網(wǎng)絡(luò)

分割網(wǎng)絡(luò)將表面缺陷檢測(cè)任務(wù)轉(zhuǎn)化為缺陷與正常區(qū)域的語(yǔ)義分割甚至實(shí)例分割問(wèn)題,它不但能精細(xì)分割出缺陷區(qū)域,而且可以獲取缺陷的位置、類(lèi)別以及相應(yīng)的幾何屬性(包括長(zhǎng)度、寬度、面積、輪廓、中心等).按照分割功能的區(qū)別,其大致可以分為:全卷積神經(jīng)網(wǎng)絡(luò) (Fully convolutional networks,FCN)[60]方法和Mask R-CNN[61]方法.

1)FCN 方法

FCN 是圖像語(yǔ)義分割的基礎(chǔ),目前幾乎所有的語(yǔ)義分割模型都是基于FCN.FCN 首先利用卷積操作對(duì)輸入圖像進(jìn)行特征提取和編碼,然后再通過(guò)反卷積操作或上采樣將特征圖逐漸恢復(fù)到輸入圖像尺寸大小.依據(jù)FCN 網(wǎng)絡(luò)結(jié)構(gòu)的差異,其缺陷分割方法可以進(jìn)一步細(xì)分為常規(guī)FCN、Unet[62]和SegNet[63]三種方法.a)常規(guī)FCN 方法.Wang 等[64]提出一種基于FCN 的輪胎X 射線圖像缺陷分割方法,相比于原始FCN 方法,該方法通過(guò)融合多尺度采樣層的特征圖來(lái)細(xì)化分割輪胎圖像中的缺陷.Yu 等[65]提出了一個(gè)基于FCN 的兩階段表面缺陷分割模型,第1 階段采用一個(gè)輕量級(jí)的FCN 快速獲取粗略缺陷區(qū)域,然后,第1 階段的輸出作為第2 階段FCN 的輸入用于細(xì)化缺陷分割結(jié)果,該方法在公共數(shù)據(jù)集DAGM2007上取得了95.9934%的平均像素準(zhǔn)確率.Dung 等[66]采用基于VGG16 編碼器的FCN 網(wǎng)絡(luò)對(duì)混凝土表面裂縫進(jìn)行分割,其平均像素準(zhǔn)確率達(dá)到90%.b)Unet 方法.Unet 不僅是一種經(jīng)典的FCN 結(jié)構(gòu),同時(shí)也是典型的編碼器—解碼器(Encoder-decoder)結(jié)構(gòu).它的特點(diǎn)在于引入了跳層連接,將編碼階段的特征圖與解碼階段的特征圖進(jìn)行融合,有利于分割細(xì)節(jié)的恢復(fù).Huang 等[67]提出了一個(gè)MCuePush Unet 的模型用于磁瓦表面缺陷的顯著性檢測(cè).其Unet 網(wǎng)絡(luò)的輸入為MCue 模塊生成三通道圖像,包括一個(gè)顯著性圖像和兩個(gè)原始圖像.Li 等[68]提出了一種基于改進(jìn)Unet 網(wǎng)絡(luò)的混凝土結(jié)構(gòu)表面缺陷分割方法.在編碼器采用Dense Block 模塊,同時(shí)跳層連接沒(méi)有采用原始的Concat 操作,而是逐像素求和.該方法在包含2 750 幅圖像(504 × 376 像素)4 種缺陷的混凝土結(jié)構(gòu)數(shù)據(jù)庫(kù)上取得了91.59%的平均像素準(zhǔn)確率和84.53%的平均交并比(Intersection over union,IoU).Liu 等[69]提出了一種基于ResNet 模塊的Unet 分割網(wǎng)絡(luò),用于TFT-LCD (Thin film transistor liquid crystal display)制造過(guò)程中導(dǎo)電顆粒的檢測(cè).c)SegNet 方法.它也是一種經(jīng)典的編碼器—解碼器結(jié)構(gòu).其特點(diǎn)在于解碼器中的上采樣操作利用了編碼器中最大池化操作的索引.Dong 等[70]提出的FL-SegNet 方法將原始的SegNet 網(wǎng)絡(luò)與Focal loss 損失函數(shù)進(jìn)行結(jié)合應(yīng)用于分割隧道襯砌中的多種缺陷.Roberts 等[71]設(shè)計(jì)了一種基于SegNet 的網(wǎng)絡(luò),用于掃描隧道顯微鏡成像下材料晶體缺陷的語(yǔ)義分割.在少量高質(zhì)量的鋼缺陷圖像上三種缺陷的像素分類(lèi)正確率為:位錯(cuò)為91.60±1.77%,沉淀物為93.39±1.00%,空隙為98.85±0.56%.Zou 等[72]在SegNet 的編碼器—解碼器體系結(jié)構(gòu)上構(gòu)建DeepCrack 網(wǎng)絡(luò),用于地面裂紋檢測(cè).在該模型中,將分層卷積階段學(xué)習(xí)的多尺度深度卷積特征融合在一起,以捕獲精細(xì)的裂紋結(jié)構(gòu).Deep-Crack 在三個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上獲得了平均87%以上的F 值.

目前,基于深度學(xué)習(xí)的分割網(wǎng)絡(luò)還在不斷地提出,例如,LinkNet[73]、DeepLabv3[74]、PSPNet[75]等.很多最新模型中的模塊,例如空洞卷積[76-77]和金字塔Pooling[78]也被添加到FCN 框架中,廣泛應(yīng)用于各種場(chǎng)景的缺陷分割.近年來(lái),生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial network,GAN[79])在計(jì)算機(jī)視覺(jué)領(lǐng)域得到廣泛應(yīng)用,常常用來(lái)生成圖像.GAN由生成器和判別器模型構(gòu)成.在結(jié)合GAN 的缺陷分割方法中,生成器往往直接采用FCN 網(wǎng)絡(luò),判別器通過(guò)分類(lèi)模型來(lái)區(qū)分生成器的結(jié)果和Groundtruth,通過(guò)生成器和判別器的不斷博弈,讓生成器的輸出結(jié)果逐漸接近Groundtruth.結(jié)合GAN 的分割方法已經(jīng)用于在手機(jī)蓋板玻璃信號(hào)孔缺陷分割[80]和道路裂紋缺陷分割[81]中.

2)Mask R-CNN 方法

Mask R-CNN 是目前最常用的圖像實(shí)例分割方法之一,可以看作是一種基于檢測(cè)和分割網(wǎng)絡(luò)相結(jié)合的多任務(wù)學(xué)習(xí)方法.當(dāng)多個(gè)同類(lèi)型缺陷存在粘連或重疊時(shí),實(shí)例分割能將單個(gè)缺陷進(jìn)行分離并進(jìn)一步統(tǒng)計(jì)缺陷數(shù)目,然而語(yǔ)義分割往往將多個(gè)同類(lèi)型缺陷當(dāng)作整體進(jìn)行處理.目前大部分文獻(xiàn)都是直接將Mask R-CNN 框架應(yīng)用于缺陷分割,例如路面缺陷分割[82]、工業(yè)制造缺陷[83]、螺栓緊固件缺陷[84]和皮革表面缺陷[85].

相比分類(lèi)和檢測(cè)網(wǎng)絡(luò)方法,分割方法在缺陷信息獲取上有其優(yōu)勢(shì).但與檢測(cè)網(wǎng)絡(luò)一樣,需要大量的標(biāo)注數(shù)據(jù),其標(biāo)注信息是逐像素,因此往往需花費(fèi)大量的標(biāo)注精力和成本.

2.2 度量學(xué)習(xí)

度量學(xué)習(xí)是使用深度學(xué)習(xí)直接學(xué)習(xí)輸入的相似性度量.在缺陷分類(lèi)任務(wù)中,往往采用孿生網(wǎng)絡(luò)(Siamese network)進(jìn)行度量學(xué)習(xí).不同于表征學(xué)習(xí)輸入單幅圖像轉(zhuǎn)化為分類(lèi)任務(wù),孿生網(wǎng)絡(luò)的輸入通常為兩幅或多幅成對(duì)圖像,通過(guò)網(wǎng)絡(luò)學(xué)習(xí)出輸入圖片的相似度,判斷其是否屬于同一類(lèi).孿生網(wǎng)絡(luò)損失函數(shù)的核心思想是讓相似的輸入距離盡可能小,不同類(lèi)別的輸入距離盡可能大.

一般原始孿生網(wǎng)絡(luò)的輸入是兩幅成對(duì)的圖像,網(wǎng)絡(luò)的“連體”是通過(guò)共享權(quán)值來(lái)實(shí)現(xiàn)的.Kim 等[86]設(shè)計(jì)了一個(gè)基于CNN 結(jié)構(gòu)的孿生網(wǎng)絡(luò)對(duì)鋼表面缺陷圖像進(jìn)行分類(lèi),首先將兩幅圖像輸入到共享權(quán)值的CNN 中完成特征提取,然后利用基于相似度函數(shù)的對(duì)比損失計(jì)算兩個(gè)特征之間的差異程度.在NEU 鋼表面缺陷數(shù)據(jù)集[51]上,該方法只通過(guò)5 幅和10 幅少量樣本圖像進(jìn)行網(wǎng)絡(luò)學(xué)習(xí),在9 種缺陷類(lèi)別上網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確度分別為85.1%和86.5%.Wu 等[87]提出了一種基于孿生網(wǎng)絡(luò)的相似度度量方法來(lái)分類(lèi)紐扣缺陷.網(wǎng)絡(luò)設(shè)計(jì)了新的損失函數(shù)用于自動(dòng)特征提取和樣本的相似性度量,所提出的方法在包括凹痕、裂紋、污點(diǎn)、孔洞、凹凸不平等多種缺陷的紐扣數(shù)據(jù)集上進(jìn)行了評(píng)估,達(dá)到的分類(lèi)精度為98%.Liu 等[88]基于改進(jìn)的孿生網(wǎng)絡(luò)對(duì)大型緊固件缺陷進(jìn)行同時(shí)定位和缺陷分類(lèi).其孿生網(wǎng)絡(luò)后接兩個(gè)分支:第1 個(gè)分支利用對(duì)比損失來(lái)實(shí)現(xiàn)緊固件定位;第2 個(gè)分支采用softmax 損失對(duì)緊固件缺陷進(jìn)行分類(lèi).在測(cè)試的數(shù)據(jù)集上,緊固件定位的平均檢測(cè)率達(dá)到99.36%,緊固件分類(lèi)的平均檢測(cè)率達(dá)到92.69%.Staar 等[89]將原始的孿生網(wǎng)絡(luò)擴(kuò)展為T(mén)riplet 網(wǎng)絡(luò),它具有三個(gè)輸入,包括兩個(gè)相同類(lèi)別和一個(gè)不同類(lèi)別,其原理與孿生網(wǎng)絡(luò)一致.除了缺陷分類(lèi),孿生網(wǎng)絡(luò)也能用于缺陷定位與檢測(cè).Tang等[90]提出了一個(gè)基于深度學(xué)習(xí)模型的PCB 缺陷檢測(cè)模型,模型的前端將無(wú)缺陷的正常樣本和有缺陷的圖像對(duì)輸入到孿生網(wǎng)絡(luò)后進(jìn)行特征差分,將差分結(jié)果采用群組金字塔合并模塊進(jìn)行缺陷定位.在DeepPCB 數(shù)據(jù)集上,該方法以62 幀/s 達(dá)到98.6%的mAP.Liu 等[91]將孿生網(wǎng)絡(luò)輸出的特征圖與其他子網(wǎng)絡(luò)輸出的結(jié)果進(jìn)行特征融合來(lái)提高缺陷目標(biāo)的顯著性.

度量學(xué)習(xí)可以近似看作為學(xué)習(xí)樣本在特征空間進(jìn)行聚類(lèi);表征學(xué)習(xí)可以近似看作為學(xué)習(xí)樣本在特征空間的分界面.相比于表征學(xué)習(xí),度量學(xué)習(xí)的方法應(yīng)用在表面缺陷定位中不太多,目前大部分都是應(yīng)用在缺陷分類(lèi)任務(wù)中.在缺陷定位方面,輸入孿生網(wǎng)絡(luò)的圖像對(duì)需要具有統(tǒng)一的內(nèi)容形式,要求比較嚴(yán)格,現(xiàn)階段還無(wú)法適應(yīng)復(fù)雜的工業(yè)環(huán)境.

2.3 正常樣本學(xué)習(xí)

目前,最常用于表面缺陷檢測(cè)的無(wú)監(jiān)督學(xué)習(xí)模型是基于正常樣本學(xué)習(xí)的方法.由于只需要正常無(wú)缺陷樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練,該方法也常稱(chēng)為One-class learning.正常樣本學(xué)習(xí)的網(wǎng)絡(luò)只接受正常(無(wú)缺陷)樣本進(jìn)行訓(xùn)練,使得其具備強(qiáng)大的正常樣本分布的重建和判別能力.因此,當(dāng)網(wǎng)絡(luò)輸入的樣本存在缺陷時(shí),往往會(huì)產(chǎn)生與正常樣本不同的結(jié)果.相比于有監(jiān)督學(xué)習(xí)模型,它能夠檢測(cè)到偏離預(yù)期的模式或沒(méi)有見(jiàn)過(guò)的模式,這些模式都可以稱(chēng)為缺陷或者異常.依據(jù)處理空間的不同,本文將該缺陷檢測(cè)方法分為基于圖像空間和特征空間兩種.通常該方法采用的網(wǎng)絡(luò)模型為自編碼器(Autoencoder,AE)和GAN.

2.3.1 基于圖像空間的方法

基于圖像空間的方法是在圖像空間上對(duì)缺陷進(jìn)行檢測(cè).因此,該方法不僅能實(shí)現(xiàn)圖像級(jí)別的分類(lèi)和識(shí)別,也可以獲取到缺陷的具體位置.該方法常用的手段主要有以下兩種.

1)利用網(wǎng)絡(luò)實(shí)現(xiàn)樣本重建與補(bǔ)全.其原理類(lèi)似去噪編碼器,當(dāng)輸入任意樣本圖像到網(wǎng)絡(luò)中,都可以得到其重建后對(duì)應(yīng)的正常(無(wú)缺陷)樣本,因此,網(wǎng)絡(luò)可以看作具備自動(dòng)修復(fù)或者補(bǔ)全缺陷區(qū)域的能力.用輸入圖像分別減去這些重建或修復(fù)圖像可以獲得殘差圖像,這些殘差圖像也稱(chēng)為重建誤差.它能作為判斷待檢測(cè)樣本是否異常的指標(biāo).當(dāng)重建誤差過(guò)大時(shí),可以認(rèn)為輸入圖像存在缺陷,差異過(guò)大的區(qū)域即為缺陷區(qū)域.當(dāng)重建誤差很小時(shí),即認(rèn)為輸入圖像是正常樣本.Mei 等[92]通過(guò)使用卷積自編碼器網(wǎng)絡(luò)在不同的高斯金字塔等級(jí)上重建圖像子塊,并合成來(lái)自這些不同分辨率通道的重建結(jié)果,其網(wǎng)絡(luò)的重建誤差采用均方誤差(mean-square error,MSE)損失.該方法在多個(gè)數(shù)據(jù)集上取得了相比傳統(tǒng)圖像處理方法好的效果.Haselmann 等[93]設(shè)計(jì)了一個(gè)基于全卷積的自動(dòng)編碼器網(wǎng)絡(luò),基于正樣本圖像補(bǔ)全和重建的誤差實(shí)現(xiàn)裝飾性塑料零件表面缺陷檢測(cè).Kang 等[94]設(shè)計(jì)了一個(gè)深度去噪編碼器,基于其重建誤差來(lái)檢測(cè)絕緣子圖像中的缺陷,其重建損失采用L2 損失.Youkachen 等[95]使用卷積自動(dòng)編碼器(Convolutional autoencoder,CAE)用于圖像重建,通過(guò)銳化處理重建誤差獲取最終的熱軋帶鋼表面缺陷分割結(jié)果,其重建誤差采用MSE.Zhao 等[96]利用GAN和CAE 實(shí)現(xiàn)表面缺陷圖像的重建,該方法將輸入圖像和重建圖像輸入到LBP算法處理后再做差.Bergmann 等[97]首次將傳統(tǒng)圖像處理中的結(jié)構(gòu)相似度(Structural similarity,SSIM)指標(biāo)作為重建損失,引入到基于自動(dòng)編碼器的圖像重建中,實(shí)驗(yàn)結(jié)果表明相比于傳統(tǒng)L2 損失,SSIM損失能大幅提高表面缺陷檢測(cè)的效果.Yang 等[98]提出了一種基于無(wú)監(jiān)督多尺度特征聚類(lèi)的全卷積自動(dòng)編碼器(Multi-scale feature-clustering-based fully convolutional autoencoder,MS-FCAE)方法,

該方法利用處于不同比例等級(jí)的多個(gè)FCAE 子網(wǎng)來(lái)重建若干紋理背景圖像.為了最大程度地提高效率和編碼特征圖的判別能力,每個(gè)FCAE 子網(wǎng)采用全卷積神經(jīng)網(wǎng)絡(luò)和特征聚類(lèi)方法,所提出的MSFCAE 方法在多個(gè)紋理表面檢測(cè)數(shù)據(jù)集上進(jìn)行了評(píng)估,缺陷檢測(cè)精度達(dá)到92.0%.

2)利用網(wǎng)絡(luò)實(shí)現(xiàn)異常區(qū)域分類(lèi).這類(lèi)網(wǎng)絡(luò)通常采用GAN 的判別器.該方法原理是訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)GAN 以生成類(lèi)似于正常表面圖像的偽圖像,這意味著訓(xùn)練好的GAN 可以在潛在特征空間中很好地學(xué)習(xí)正常樣本圖像.因此,GAN 的判別器可以自然地用作分類(lèi)器,用于分類(lèi)缺陷和正常樣本.Zhai 等[99]采用多尺度融合策略融合GAN 鑒別器的三個(gè)卷積層的響應(yīng),然后利用Otsu 方法在融合特征響應(yīng)圖上進(jìn)一步分割出缺陷位置.該方法與文獻(xiàn)[33]的原理類(lèi)似,但是利用了正常樣本進(jìn)行訓(xùn)練,且其網(wǎng)絡(luò)模型是GAN 的判別器.Hu 等[100]提出了一種基于深度卷積生成對(duì)抗網(wǎng)絡(luò)(Deep convolutional GAN,DCGAN)的自動(dòng)檢測(cè)織物缺陷的新型無(wú)監(jiān)督方法.該模型包括兩個(gè)部分:第1 部分利用模型中GAN 的判別器生成一個(gè)缺陷分布似然圖,其中每個(gè)像素值都表示該位置出現(xiàn)缺陷的概率;第2 部分通過(guò)引入編碼器到標(biāo)準(zhǔn)DCGAN,實(shí)現(xiàn)重檢測(cè)圖像的重建.當(dāng)從原始圖像中減去重建圖像時(shí),可以創(chuàng)建殘差圖以突出顯示潛在的缺陷區(qū)域.聯(lián)合殘差圖和似然圖以形成增強(qiáng)的融合圖.在融合圖上采用閾值分割算法進(jìn)一步獲取準(zhǔn)確的缺陷位置,該方法在各種真實(shí)紡織物樣品上進(jìn)行了評(píng)估和驗(yàn)證.

2.3.2 基于特征空間的方法

基于特征空間的方法是在特征空間中,通過(guò)正常樣本與缺陷樣本特征分布之間的差異來(lái)進(jìn)行缺陷檢測(cè).特征之間的差異也稱(chēng)為異常分?jǐn)?shù),當(dāng)異常分?jǐn)?shù)高于某個(gè)值時(shí),即可認(rèn)為出現(xiàn)缺陷.2017 年,Schlegl 等[101]最早提出了深度卷積生成對(duì)抗網(wǎng)絡(luò)AnoGAN,實(shí)現(xiàn)檢測(cè)圖像從圖像空間到潛在空間的映射,其異常分?jǐn)?shù)由圖像空間中的差異和GAN 網(wǎng)絡(luò)中判別器最后一層特征圖之間的差異來(lái)計(jì)算.Lai 等[102]基于上述映射方法,在潛在空間中直接采用Fréchet 距離來(lái)實(shí)現(xiàn)缺陷與正常樣本的區(qū)分,在太陽(yáng)能面板數(shù)據(jù)集上取得了93.75%的分類(lèi)正確率.Soukup 等[103]采用變分自編碼器(Variational autoencoder,VAE)網(wǎng)絡(luò)在潛在空間中實(shí)現(xiàn)缺陷檢測(cè).Liu 等[104]設(shè)計(jì)了一個(gè)基于GAN和單類(lèi)分類(lèi)器(One-class classifier)的表面缺陷分類(lèi)模型,GAN中生成器G 采用編碼解碼器,其編碼得到隱空間的特征輸入到SVM 分類(lèi)器中進(jìn)行缺陷分類(lèi),提出的方法在鋼材表面多缺陷數(shù)據(jù)集上獲得的平均分類(lèi)精度為94%.2019 年,Schlegl 等[105]針對(duì)之前的AnoGAN 工作提出了改進(jìn)f-AnoGAN,其異常分?jǐn)?shù)由引入編碼器模塊實(shí)現(xiàn)的圖像樣本重建損失和GAN 網(wǎng)絡(luò)中判別器最后一層特征圖之間的差異來(lái)計(jì)算.Akcay 等[106]提出了一種GANomaly 用于圖像異常檢測(cè),該模型的創(chuàng)新點(diǎn)在于引入了編碼解碼和再編碼模塊.其異常分?jǐn)?shù)由三個(gè)部分組成:圖像樣本重建差異和GAN 網(wǎng)絡(luò)中判別器最后一層特征圖之間的差異,以及編碼器隱空間的特征與再編碼后的特征之間的差異.雖然文獻(xiàn)[101,105-106]應(yīng)用對(duì)象不是表面缺陷,但是其方法完全適用于表面缺陷檢測(cè).傳統(tǒng)上認(rèn)為基于特征空間的方法往往只能實(shí)現(xiàn)圖像級(jí)別的分類(lèi)或識(shí)別,無(wú)法獲取像素級(jí)別的缺陷位置,實(shí)際上,通過(guò)AE和GAN 模塊也能實(shí)現(xiàn)與圖像空間檢測(cè)方法類(lèi)似的缺陷精確定位.

綜上,目前基于正常樣本學(xué)習(xí)方法常用于簡(jiǎn)單統(tǒng)一的紋理表面缺陷檢測(cè),在復(fù)雜的工業(yè)檢測(cè)環(huán)境下,相比于監(jiān)督學(xué)習(xí)的方法,其檢測(cè)效果還不太理想.

2.4 弱監(jiān)督與半監(jiān)督學(xué)習(xí)

相對(duì)于全監(jiān)督和無(wú)監(jiān)督的方法,目前弱監(jiān)督和半監(jiān)督方法在表面缺陷檢測(cè)中的應(yīng)用相對(duì)較少.

通?；谌醣O(jiān)督的方法是指采用圖像級(jí)別類(lèi)別標(biāo)注(弱標(biāo)簽)來(lái)獲取分割/定位級(jí)別的檢測(cè)效果.Marino 等[107]采用一種基于峰值響應(yīng)圖(Peak response maps,PRM)的弱監(jiān)督學(xué)習(xí)方法[108]來(lái)對(duì)馬鈴薯表面缺陷進(jìn)行分類(lèi)、定位和分割,從而實(shí)現(xiàn)質(zhì)量控制任務(wù)的自動(dòng)化.Mayr 等[109]在原始ResNet-50 分類(lèi)網(wǎng)絡(luò)上,通過(guò)刪除原始全連接層和平均池化層,在網(wǎng)絡(luò)最后添加兩個(gè)1 × 1 卷積來(lái)獲取缺陷響應(yīng)特征圖,實(shí)現(xiàn)只用圖像標(biāo)簽完成太陽(yáng)能板上裂紋缺陷初步檢測(cè).Niu 等[110]提出一種基于GAN 的弱監(jiān)督學(xué)習(xí)缺陷檢測(cè)方法.通過(guò)CycleGAN[111]實(shí)現(xiàn)輸入測(cè)試圖像到其對(duì)應(yīng)無(wú)缺陷圖像的轉(zhuǎn)化,比較輸入圖像和生成的無(wú)缺陷圖像的差異,進(jìn)而實(shí)現(xiàn)表面缺陷檢測(cè).半監(jiān)督學(xué)習(xí)通常會(huì)使用大量的未標(biāo)記數(shù)據(jù)和少部分有標(biāo)簽的數(shù)據(jù)用于表面缺陷檢測(cè)模型的訓(xùn)練.He 等[112]提出一個(gè)基于半監(jiān)督GAN 網(wǎng)絡(luò)的方法[113]應(yīng)用于鋼材表面缺陷分類(lèi),在設(shè)計(jì)的CAEGAN 缺陷檢測(cè)網(wǎng)絡(luò)中,采用一個(gè)基于CAE 的編碼器并饋入softmax 層以形成鑒別器.鑒別器不是直接預(yù)測(cè)輸入圖像的真假二分類(lèi),而是預(yù)測(cè)N +1 類(lèi),其中N 代表缺陷種類(lèi)的數(shù)量,額外的類(lèi)表示輸入圖像是來(lái)自真實(shí)數(shù)據(jù)集還是來(lái)自生成器.該方法在熱軋板圖像分類(lèi)上取得了96.5%正確率.He等[114]提出一種多重訓(xùn)練的半監(jiān)督學(xué)習(xí)方法應(yīng)用于鋼表面缺陷分類(lèi).該方法使用cDCGAN 生成大量未標(biāo)記的樣本.為了利用未標(biāo)記的樣本,該模型提出了利用cDCGAN和ResNet-18 的多訓(xùn)練融合算法用于未標(biāo)記樣本的類(lèi)別標(biāo)簽預(yù)測(cè).將預(yù)測(cè)分配類(lèi)別標(biāo)簽的樣本加入訓(xùn)練集中進(jìn)一步訓(xùn)練.重復(fù)上述操作來(lái)逐步優(yōu)化模型.在NEU-CLS 缺陷數(shù)據(jù)集[51]上的大量實(shí)驗(yàn)表明,即使原始樣本有限,該方法對(duì)于缺陷分類(lèi)也非常有效.Gao 等[115]也提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法來(lái)分類(lèi)鋼表面缺陷,通過(guò)采用偽標(biāo)簽改進(jìn)了分類(lèi)CNN 的性能.在鋼表面缺陷識(shí)別基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,所提出的方法在有限的標(biāo)記數(shù)據(jù)下可以實(shí)現(xiàn)良好的性能,達(dá)到90.7%的精度.目前,基于半監(jiān)督的方法大部分用于解決缺陷分類(lèi)或識(shí)別任務(wù),還沒(méi)有廣泛應(yīng)用到定位與分割任務(wù)中.

3 關(guān)鍵問(wèn)題

3.1 小樣本

目前深度學(xué)習(xí)方法廣泛應(yīng)用于各種計(jì)算機(jī)視覺(jué)任務(wù)中,表面缺陷檢測(cè)一般被看作是其在工業(yè)領(lǐng)域的具體應(yīng)用.在傳統(tǒng)的認(rèn)識(shí)中,深度學(xué)習(xí)方法無(wú)法直接應(yīng)用在表面缺陷檢測(cè)中的原因是在真實(shí)的工業(yè)環(huán)境中,所能提供的工業(yè)缺陷樣本太少.相比于ImageNet 數(shù)據(jù)集中1 400 多萬(wàn)張樣本數(shù)據(jù),表面缺陷檢測(cè)中面臨的最關(guān)鍵的問(wèn)題是小樣本問(wèn)題,在很多真實(shí)的工業(yè)場(chǎng)景下甚至只有幾張或幾十張缺陷圖片.實(shí)際上,針對(duì)工業(yè)表面缺陷檢測(cè)中關(guān)鍵問(wèn)題之一的小樣本問(wèn)題,目前有以下4 種不同的解決方式:

1)數(shù)據(jù)擴(kuò)增、合成與生成.最常用的缺陷圖像擴(kuò)增方法是對(duì)原始缺陷樣本采用鏡像、旋轉(zhuǎn)、平移、扭曲、濾波、對(duì)比度調(diào)整等多種圖像處理操作來(lái)獲取更多的樣本.例如Tao 等[116]、Wei 等[117]和Huang 等[67]采用上述方法將擴(kuò)增缺陷數(shù)據(jù)應(yīng)用到深孔零件銅絲、紡織物表面和磁瓦缺陷檢測(cè)中.另外一種較為常見(jiàn)的方法是數(shù)據(jù)合成,常常將單獨(dú)缺陷融合疊加到正常(無(wú)缺陷)樣本上構(gòu)成缺陷樣本.文獻(xiàn)[48]利用分割網(wǎng)絡(luò)將帶缺陷的絕緣子從自然背景中分割出來(lái),然后通過(guò)圖像融合將其疊加到正常樣本上.Haselmann 等[118]采用骨架和紋理生成的方式得到逼真的缺陷并融合到正常樣本上,形成對(duì)應(yīng)的缺陷圖像.最近,由于GAN 在圖像生成上強(qiáng)大的能力,不少基于GAN 的工作也應(yīng)用于表面缺陷樣本生成上,如Liu 等[119]、Huang 等[120]、Zhang 等[121]和Chou 等[122]的方法.

2)網(wǎng)絡(luò)預(yù)訓(xùn)練或遷移學(xué)習(xí).一般來(lái)說(shuō),由于深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)較多,直接采用小樣本訓(xùn)練網(wǎng)絡(luò)很容易導(dǎo)致過(guò)擬合,但在預(yù)訓(xùn)練模型中存在一些比較共性的特征數(shù)據(jù)與權(quán)重信息.因此,基于預(yù)訓(xùn)練網(wǎng)絡(luò)或遷移學(xué)習(xí)是目前針對(duì)樣本少最常用的方法之一.2018 年,Ren 等[33]最早將遷移學(xué)習(xí)應(yīng)用于表面缺陷檢測(cè),其預(yù)訓(xùn)練模型采用ImageNet 預(yù)訓(xùn)練模型.Yang 等[123]、Zhang 等[124]、Badmos 等[125]和Sun等[126]都采用遷移學(xué)習(xí)方法分別應(yīng)用于液晶面板Mura 缺陷、PCB 板缺陷、鋰電池電極缺陷和金屬零件表面缺陷檢測(cè).Kim等[127]在DAGM 缺陷數(shù)據(jù)集上對(duì)比了基于微調(diào)(Fine-tuning)的遷移學(xué)習(xí)和從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)的效果,證明基于遷移學(xué)習(xí)方法的性能優(yōu)于從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)的性能.

3)合理的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì).通過(guò)設(shè)計(jì)合理的網(wǎng)絡(luò)結(jié)構(gòu)也可以大大減少樣本的需求.例如在文獻(xiàn)[40]中,Tabernik 等設(shè)計(jì)了一個(gè)融合分類(lèi)和分割分支的多任務(wù)缺陷檢測(cè)網(wǎng)絡(luò),兩個(gè)分支共享特征提取的Backbone,在分割網(wǎng)絡(luò)分支,圖像中每個(gè)像素都能被當(dāng)作訓(xùn)練樣本來(lái)訓(xùn)練網(wǎng)絡(luò).因此,該方式大大減少了網(wǎng)絡(luò)對(duì)樣本的需求.整個(gè)網(wǎng)絡(luò)僅采用50 張缺陷樣本訓(xùn)練就能取得很好的效果.Wei 等[117]提出了一種將壓縮感知與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的缺陷檢測(cè)方法,基于壓縮采樣定理來(lái)壓縮和擴(kuò)充小樣本數(shù)據(jù),使用CNN 直接對(duì)壓縮采樣的數(shù)據(jù)特征進(jìn)行分類(lèi).相比于原始的圖像輸入,通過(guò)對(duì)輸入進(jìn)行壓縮采樣能大大降低網(wǎng)絡(luò)對(duì)樣本的需求.此外,基于孿生網(wǎng)絡(luò)的表面缺陷檢測(cè)方法也可以看作是一種特殊的網(wǎng)絡(luò)設(shè)計(jì),能夠大幅減少樣本需求.

4)采用無(wú)監(jiān)督與半監(jiān)督模型方法.這兩種方式都可以減少樣本的需求.在無(wú)監(jiān)督模型中,只利用正常樣本進(jìn)行訓(xùn)練,因此不需要缺陷樣本.半監(jiān)督方法可以利用沒(méi)有標(biāo)注的樣本來(lái)解決小樣本情況下的網(wǎng)絡(luò)訓(xùn)練難題.

3.2 實(shí)時(shí)性

基于深度學(xué)習(xí)的缺陷檢測(cè)方法在工業(yè)應(yīng)用中包括三個(gè)主要環(huán)節(jié):數(shù)據(jù)標(biāo)注、模型訓(xùn)練與模型推斷.在實(shí)際工業(yè)應(yīng)用中的實(shí)時(shí)性更關(guān)注模型推斷這一環(huán)節(jié).目前大多數(shù)缺陷檢測(cè)方法都集中在分類(lèi)或識(shí)別的準(zhǔn)確性上,而很少關(guān)注模型推斷的效率.有不少方法用于加速模型,例如模型權(quán)重量化[128]和模型剪枝[129]等.在文獻(xiàn)[130]的工作中,提出了一種端到端的手機(jī)屏幕表面缺陷檢測(cè)模型.為了提高模型計(jì)算過(guò)程的效率以滿足實(shí)際的工業(yè)需求,在建立低精度版本網(wǎng)絡(luò)而又不損失準(zhǔn)確性的前提下,對(duì)提出的模型中的權(quán)重執(zhí)行權(quán)重量化,其缺陷分析的效率提高了16%.在傳統(tǒng)的基于圖像處理的表面缺陷檢測(cè)方法中,FPGA 并行加速架構(gòu)常用于加速圖像處理算子.Pan 等[131]將FPGA 加速傅里葉重構(gòu)算子用于紋理表面缺陷分割,其FPGA 并行加速架構(gòu)比同類(lèi)服務(wù)器CPU 快三倍,從而將整個(gè)8.5 代LCD 面板的掃描檢測(cè)時(shí)間縮短至8.5 s.文獻(xiàn)[132]開(kāi)發(fā)了一種實(shí)時(shí)熱軋扁鋼雙表面檢測(cè)系統(tǒng),提出的算法在FPGA 上并行實(shí)現(xiàn),其并行圖像處理技術(shù)將軋制速度從5 m/s 提升為20 m/s.雖然現(xiàn)有深度學(xué)習(xí)模型使用GPU 作為通用計(jì)算單元,但隨著技術(shù)發(fā)展,相信FPGA 會(huì)成為一個(gè)具有吸引力的替代方案.

3.3 與傳統(tǒng)基于圖像處理的缺陷檢測(cè)方法對(duì)比

為了更好地說(shuō)明基于深度學(xué)習(xí)的缺陷檢測(cè)方法的特點(diǎn),本小節(jié)將基于深度學(xué)習(xí)的缺陷檢測(cè)方法與傳統(tǒng)基于圖像處理的缺陷檢測(cè)方法進(jìn)行對(duì)比分析,從方法、本質(zhì)、所需條件和適應(yīng)性等四個(gè)方面進(jìn)行比較.其中傳統(tǒng)基于圖像處理的缺陷檢測(cè)的相關(guān)方法參考文獻(xiàn)[133].詳細(xì)對(duì)比結(jié)果如表3 所示.

表3 傳統(tǒng)圖像處理與基于深度學(xué)習(xí)的缺陷檢測(cè)方法的比較Table 3 Comparison between traditional image processing and deep learning-based defect detection methods

4 缺陷檢測(cè)數(shù)據(jù)集

缺陷檢測(cè)數(shù)據(jù)集是開(kāi)展研究工作的基礎(chǔ),相比于計(jì)算機(jī)視覺(jué)任務(wù)中的ImageNet[134]、PASCALVOC2007/2012[135]和COCO[136]等數(shù)據(jù)集,缺陷檢測(cè)并沒(méi)有一個(gè)大量和統(tǒng)一的數(shù)據(jù)集,在不同的檢測(cè)對(duì)象和場(chǎng)景下,研究往往基于不同的缺陷數(shù)據(jù)集.

本節(jié)按照缺陷檢測(cè)方法進(jìn)行分類(lèi),提供了多種表面缺陷檢測(cè)數(shù)據(jù)集的相關(guān)鏈接.如表4 所示,涵蓋多個(gè)工業(yè)應(yīng)用領(lǐng)域,具體包括:金屬表面[40]、太陽(yáng)能板[109]、木材表面[137]、磁瓦表面[67]、鑄件X 射線圖像[138]、鋼材和鋼軌表面[51,139]、建筑物和橋梁表面缺陷[140-141]、PCB 板[90]、兩個(gè)無(wú)監(jiān)督學(xué)習(xí)的缺陷檢測(cè)數(shù)據(jù)集:MVTec AD[142]和NanoTWICE[143],以及DGAM2007 紋理缺陷數(shù)據(jù)集[144].

表4 工業(yè)表面缺陷檢測(cè)常用數(shù)據(jù)集Table 4 Common data sets for industrial surface defect detection

由于目前基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法大多數(shù)是在特定的數(shù)據(jù)集上進(jìn)行應(yīng)用,很多數(shù)據(jù)集沒(méi)有公開(kāi),難以統(tǒng)一比較.為了更好地比較一些典型算法在同一缺陷數(shù)據(jù)上的應(yīng)用效果,我們選取了兩個(gè)非常典型的數(shù)據(jù)集作為示例數(shù)據(jù)集:DAGM和GDXray Casting.

DAGM 為紋理缺陷數(shù)據(jù)集,它包含6 個(gè)類(lèi)別的圖像樣本,大小為512×512 像素.每個(gè)類(lèi)別包括1 000 個(gè)無(wú)缺陷圖像和150 個(gè)有缺陷圖像,常用于缺陷分類(lèi)的應(yīng)用場(chǎng)景中.典型缺陷分類(lèi)方法在DAGM上的效果對(duì)比如表5 所示,表5 按照時(shí)間順序進(jìn)行排序,可以看出滑動(dòng)窗口使用較多,同時(shí)基于CNN的方法在紋理缺陷分類(lèi)上取得很好的性能.基于滑動(dòng)窗口和多類(lèi)別分類(lèi)相結(jié)合的網(wǎng)絡(luò)已經(jīng)達(dá)到了99.8%的分類(lèi)準(zhǔn)確率,也是目前基于深度學(xué)習(xí)的缺陷分類(lèi)方法在該數(shù)據(jù)集上的最高水平.Yu 等[65]采用的兩階段FCN 方法是比較具有代表性的分割方法,其在DAGM 數(shù)據(jù)集上取得了95.334%像素分類(lèi)準(zhǔn)確率.

表5 典型缺陷分類(lèi)方法在DAGM 數(shù)據(jù)集上性能比較Table 5 Effect comparison of defect classification methods on DAGM

GDXray Casting 數(shù)據(jù)集包含2 727 個(gè)X 射線圖像,這些圖像主要來(lái)自汽車(chē)零件,包括鋁制車(chē)輪和轉(zhuǎn)向節(jié).每個(gè)圖像中的鑄件缺陷都用邊界框(Bounding box)標(biāo)記.數(shù)據(jù)集中圖像的大小范圍為256 × 256 像素到768× 572 像素.不同的缺陷定位方法在DAGM 上的效果對(duì)比如表6 所示,其中一階段以VGG-16 為Backbone 的SSD 網(wǎng)絡(luò)在單幅圖像獲得了最快的檢測(cè)速度,達(dá)到了0.025 s/幅(單GPU);而以ResNet-101 為Backbone 的兩階段網(wǎng)絡(luò)Faster R-CNN 則取得了最高的檢測(cè)正確率.

表6 典型缺陷定位方法在GDXray casting數(shù)據(jù)集上性能比較Table 6 Effect comparison of defect location methods on GDXray casting

5 總結(jié)與展望

缺陷檢測(cè)是一個(gè)寬泛的應(yīng)用領(lǐng)域,具體包括缺陷分類(lèi)、缺陷定位和缺陷分割等環(huán)節(jié),相比于傳統(tǒng)圖像處理方法分多個(gè)步驟和環(huán)節(jié)處理缺陷檢測(cè)任務(wù),基于深度學(xué)習(xí)的方法將其統(tǒng)一為端到端的特征提取和分類(lèi).雖然表面缺陷檢測(cè)技術(shù)已經(jīng)不斷地從學(xué)術(shù)研究走向成熟的工業(yè)應(yīng)用,但是依然有一些需要解決的問(wèn)題.

1)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì).第2 節(jié)綜述的方法大部分具有不同的網(wǎng)絡(luò)結(jié)構(gòu),這些網(wǎng)絡(luò)都是人工設(shè)計(jì)的,從模型包含多少層到每一層的詳細(xì)結(jié)構(gòu)都是一個(gè)漫長(zhǎng)設(shè)計(jì)和調(diào)參的過(guò)程.這種網(wǎng)絡(luò)很難說(shuō)是最優(yōu)的,只能說(shuō)這些手工設(shè)計(jì)的網(wǎng)絡(luò)在當(dāng)前缺陷檢測(cè)數(shù)據(jù)集上大致滿足需求.類(lèi)似于傳統(tǒng)手工設(shè)計(jì)的缺陷檢測(cè)特征,例如文獻(xiàn)[16]中提到的三種手工特征(KAZE[17]、SIFT[18]、SURF[19]),相比CNN 網(wǎng)絡(luò)自身學(xué)到的特征,其缺陷分類(lèi)效果遜色不少.因此,隨著自動(dòng)機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)架構(gòu)搜索技術(shù)的興起,相信會(huì)有越來(lái)越多機(jī)器搜尋和自動(dòng)生成的網(wǎng)絡(luò)逐步替代人工設(shè)計(jì)的網(wǎng)絡(luò),這些網(wǎng)絡(luò)不僅能夠大幅度的減少手工設(shè)計(jì)網(wǎng)絡(luò)參數(shù),同時(shí)在檢測(cè)的正確率上也會(huì)領(lǐng)先.

2)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí).人工在進(jìn)行工業(yè)缺陷的目視檢測(cè)時(shí),很難收集到所有缺陷類(lèi)型的樣本,很多時(shí)候只有良品數(shù)據(jù)(正樣本).然而目前大部分基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法是基于大量的缺陷樣本的有監(jiān)督學(xué)習(xí).深度學(xué)習(xí)的網(wǎng)絡(luò)學(xué)習(xí)是一個(gè)“黑匣子”,需要大量標(biāo)注好的訓(xùn)練樣本端到端進(jìn)行學(xué)習(xí),可解釋性差.因此,如何利用類(lèi)腦(受腦啟發(fā)的)計(jì)算與仿人視覺(jué)認(rèn)知模型這些先驗(yàn)知識(shí)來(lái)指導(dǎo)缺陷檢測(cè)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí),也是一個(gè)值得思考的方向.

3)異域數(shù)據(jù)聯(lián)邦學(xué)習(xí).單個(gè)表面缺陷檢測(cè)數(shù)據(jù)集往往都很少,雖然小樣本問(wèn)題可以通過(guò)第3 節(jié)介紹的方法緩解相關(guān)問(wèn)題,但是實(shí)際上不同工業(yè)行業(yè)和領(lǐng)域中,真實(shí)工業(yè)表面缺陷數(shù)據(jù)是非常多的,一些缺陷種類(lèi)也是共同的,例如劃痕廣泛存在于金屬、液晶屏幕、太陽(yáng)能電池板、玻璃等等一系列材質(zhì)表面.同時(shí),人類(lèi)也會(huì)將統(tǒng)一類(lèi)型的缺陷進(jìn)行標(biāo)記,并不會(huì)因?yàn)闄z測(cè)領(lǐng)域的不同而產(chǎn)生差異.但是由于涉及隱私敏感,不同檢測(cè)領(lǐng)域之間數(shù)據(jù)并沒(méi)有有效結(jié)合和利用.如何利用不同工業(yè)領(lǐng)域的缺陷數(shù)據(jù)集來(lái)進(jìn)行網(wǎng)絡(luò)學(xué)習(xí),也是表面缺陷檢測(cè)的一種重要研究方向.因此,基于異域數(shù)據(jù)的聯(lián)邦學(xué)習(xí)將會(huì)成為一個(gè)趨勢(shì),它能夠打破不同應(yīng)用場(chǎng)景之間的壁壘,充分學(xué)習(xí)不同領(lǐng)域之間數(shù)據(jù)來(lái)提升網(wǎng)絡(luò)性能.

隨著人工智能技術(shù)的發(fā)展,目前基于機(jī)器視覺(jué)的表面缺陷檢測(cè)的研究焦點(diǎn)已經(jīng)從經(jīng)典的圖像處理和機(jī)器學(xué)習(xí)方法轉(zhuǎn)移到深度學(xué)習(xí)方法,在很多工業(yè)場(chǎng)景下解決了以往傳統(tǒng)方法無(wú)法解決的難題.本文系統(tǒng)地總結(jié)、對(duì)比和分析了深度學(xué)習(xí)算法在表面缺陷檢測(cè)領(lǐng)域的研究進(jìn)展,同時(shí)對(duì)基于深度學(xué)習(xí)的表面缺陷檢測(cè)的研究趨勢(shì)進(jìn)行了展望,以期為相關(guān)研究人員提供詳實(shí)和有效參考.