趙亞男,吳黎明,陳 琦

(廣東工業(yè)大學(xué) 機電工程學(xué)院,廣州 510006)

0 概述

目標(biāo)檢測是機器視覺領(lǐng)域的核心問題之一,然而物體不同的外觀、形狀和姿態(tài),加上成像時光照、遮擋等干擾因素的影響,對目標(biāo)檢測任務(wù)構(gòu)成極大挑戰(zhàn)。傳統(tǒng)目標(biāo)檢測算法由目標(biāo)候選區(qū)域提取和候選區(qū)域分類兩部分構(gòu)成。根據(jù)目標(biāo)候選區(qū)域提取方式的不同,傳統(tǒng)目標(biāo)檢測算法可以分為基于滑動窗口的目標(biāo)檢測算法和基于紋理的目標(biāo)檢測算法。在候選區(qū)域分類模型中,常用的圖像特征有方向梯度直方圖(Histogram of Oriented Gradient,HOG)[1]、尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)[2]和Haar[3]等,常用的分類算法有支持向量機(Support Vector Machine,SVM)[4]、Adaboost[5]以及各種級聯(lián)分類器[6]。這些特征和分類算法共同組成了各種目標(biāo)檢測算法,但是基于滑動窗口的區(qū)域選擇策略沒有針對性,時間復(fù)雜度較高,窗口冗余且成本高,手工設(shè)計的特征對于多樣性的變化沒有很好的魯棒性。隨著實時性檢測要求的日益提高,上述算法由于效率低下而無法適應(yīng)新的需求,因此迫切需要更高效的算法。

人工智能的快速發(fā)展使得計算機視覺與深度學(xué)習(xí)在醫(yī)學(xué)成像[7]、缺陷檢測[8]、生物識別[9]等領(lǐng)域被廣泛應(yīng)用,自動檢測已成為新的發(fā)展趨勢。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)相關(guān)算法越來越多元化、精細(xì)化,新的目標(biāo)檢測算法大量涌現(xiàn),并且這些算法具有目標(biāo)物識別與檢測定位功能。以R-CNN系列為代表的兩階段算法和以單點多盒探測器(Single Shot multi-box Detector,SSD)系列為代表的一階段算法是其中的典型代表,且一階段算法運行速度更快,可以平衡效率和性能,更適合實踐應(yīng)用。

然而,一階段算法對于小目標(biāo)識別存在目標(biāo)檢測視野范圍小、檢測圖像長寬比單一、檢測精度低等缺點。為解決上述問題,在一階段目標(biāo)檢測算法的基礎(chǔ)上引入Top-Down結(jié)構(gòu),提出DSSD(Deconvolutional Single Shot Detector)[10]、YOLOv3[11]等算法以提高檢測性能。這些改進(jìn)算法雖然對小目標(biāo)的檢測精度有較大提升,但其檢測速度卻大幅下降,而在工業(yè)生產(chǎn)中,機器的實時檢測非常重要,檢測速度會嚴(yán)重影響生產(chǎn)效率。

鑒于以上因素,本文提出多尺度融合SSD算法MFDSSD。設(shè)計3個融合模塊替換DSSD中的Top-Down結(jié)構(gòu),通過高層與低層網(wǎng)絡(luò)的跳躍連接充分利用上下文的語義信息,同時將SSD-VGG16擴展卷積模塊特征圖與其淺層卷積模塊進(jìn)行多尺度融合,以實現(xiàn)多樣化的特征圖分類與回歸。

1 目標(biāo)檢測算法

基于CNN的目標(biāo)檢測算法通常可以分為兩大類。一類是兩階段目標(biāo)檢測算法,典型代表為R-CNN[12]、Fast R-CNN[13]、Faster R-CNN[14]、R-FCN[15]、FPN[16]等,另一類是一階段目標(biāo)檢測算法,典型代表為SSD[17]、YOLO[18]等,其中常用的6種目標(biāo)檢測算法框架如圖1所示。對于小目標(biāo)檢測,兩階段算法主要有FPN等相關(guān)算法,一階段算法主要有DSSD系列、RetinaNet[19]、YOLOv3等算法。其中,一階段的SSD、DSSD等算法由于檢測性能較好、應(yīng)用較成熟,因此常用于小目標(biāo)檢測。

圖1 6種目標(biāo)檢測算法的框架Fig.1 Frameworks of 6 target detection algorithms

1.1 SSD算法模型

SSD是一種單次多目標(biāo)檢測算法,以VGG16作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)并引入先驗框的設(shè)計理念,通過增加級聯(lián)卷積層獲得多尺度特征圖以用于目標(biāo)檢測,其框架結(jié)構(gòu)如圖2所示。SSD算法結(jié)合了YOLO的回歸思想和Faster R-CNN的anchors機制,通過回歸思想簡化神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜度,利用anchors機制提取不同寬高比尺寸的特征。相比于YOLO針對某一位置進(jìn)行全局特征提取的方法,SSD算法的目標(biāo)識別更合理有效。

圖2 SSD算法框架Fig.2 Framework of the SSD algorithm

盡管SSD在不損失精度的前提下提高了實時檢測速度,但對于小尺寸目標(biāo)的識別效果較差。這是因為SSD算法使用Conv4_3(38×38)低層卷積層檢測小目標(biāo),該卷積層雖然分辨率高但語義信息少、感受野較小,小目標(biāo)特征提取不充分。在訓(xùn)練階段,小目標(biāo)特征學(xué)習(xí)由低層到高層進(jìn)行,經(jīng)過層層池化操作后會產(chǎn)生小目標(biāo)特征消失等現(xiàn)象,導(dǎo)致真實目標(biāo)與先驗框難以匹配,無法滿足小目標(biāo)檢測的精度要求。

1.2 DSSD小目標(biāo)檢測算法模型

DSSD是對SSD的改進(jìn),主要是為了解決多尺度融合的問題,因為SSD模型只在不同的特征圖上進(jìn)行預(yù)測,沒有充分考慮上下文信息。DSSD基于Top-Down結(jié)構(gòu)解決小目標(biāo)檢測問題,使用ResNet101網(wǎng)絡(luò)[20]將高層語義信息融入到低層網(wǎng)絡(luò)的特征信息中,使預(yù)測回歸位置框和分類任務(wù)輸入的多尺度特征圖包含更多信息,以此提高檢測精度。

SSD-ResNet101網(wǎng)絡(luò)結(jié)構(gòu)中的Conv3_x層和Conv5_x層為原來ResNet101網(wǎng)絡(luò)中的卷積層,后面5層是擴展卷積層,將這7層的特征圖直接輸入預(yù)測階段來完成目標(biāo)的位置回歸和分類任務(wù)。DSSD把這7層特征圖中的6層輸入到反卷積模型中,輸出修正的特征圖金字塔,并由其形成沙漏結(jié)構(gòu),然后輸入預(yù)測模塊以完成回歸和分類任務(wù)。

DSSD使用ResNet替代VGG,對候選框的回歸和分類任務(wù)進(jìn)行優(yōu)化,改善特征提取能力,通過引入預(yù)測模塊提升準(zhǔn)確度,利用反卷積代替?zhèn)鹘y(tǒng)的雙線性插值上采樣,將網(wǎng)絡(luò)模型的上下層信息進(jìn)行融合,以彌補SSD網(wǎng)絡(luò)模型精度較低的缺點。由于DSSD采用深度較大的ResNet網(wǎng)絡(luò),同時將6層網(wǎng)絡(luò)特征圖進(jìn)行乘法(Eltw Product)融合,可大幅提升DSSD網(wǎng)絡(luò)模型對小目標(biāo)的檢測精度,但其運行速度下降。

2 MFDSSD網(wǎng)絡(luò)模型

針對SSD和DSSD算法在小目標(biāo)檢測方面的不足,提出一種基于SSD和DSSD網(wǎng)絡(luò)結(jié)構(gòu)的MFDSSD網(wǎng)絡(luò)。下文將對該網(wǎng)絡(luò)的構(gòu)建動機、結(jié)構(gòu)及相關(guān)模塊的理論推理進(jìn)行論述,并詳細(xì)介紹模型的訓(xùn)練方法、策略和訓(xùn)練目標(biāo)。

2.1 模型構(gòu)建

DSSD網(wǎng)絡(luò)將反卷積應(yīng)用到SSD頂層網(wǎng)絡(luò)中,通過高層網(wǎng)絡(luò)的上采樣與低層卷積網(wǎng)絡(luò)的特征圖相連,映射新融合的上下文特征信息并進(jìn)行預(yù)測,從而實現(xiàn)自上而下和自下而上的語義融合。盡管DSSD網(wǎng)絡(luò)對于小目標(biāo)檢測取得不錯的效果,但其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、運行時間較長,難以滿足工業(yè)檢測的實時性要求。

MFDSSD網(wǎng)絡(luò)以DSSD網(wǎng)絡(luò)為理論基礎(chǔ),充分融合高層網(wǎng)絡(luò)與低層網(wǎng)絡(luò)間的優(yōu)勢,通過卷積層連接的方式對DSSD-VGG16的反卷積模塊特征圖與其淺層卷積模塊進(jìn)行多尺度融合,將融合后的特征圖與DSSD-VGG16中的擴展卷積特征圖進(jìn)行非極大值抑制(Non-Maximum Suppression,NMS)處理,再由預(yù)測模塊完成回歸和分類任務(wù)。MFDSSD網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示,其以VGG16為基礎(chǔ)網(wǎng)絡(luò),將SSD-VGG16擴展卷積層的后4層進(jìn)行反卷積,得到MFDSSD網(wǎng)絡(luò)的反卷積模塊,分別為Conv12_2、Conv13_2、Conv14_2和Conv15_2。為充分利用上下文語義信息,MFDSSD模型通過3個融合模塊實現(xiàn)高層網(wǎng)絡(luò)與低層網(wǎng)絡(luò)間的跳躍連接,以增強小目標(biāo)預(yù)測的上下文信息,擴展目標(biāo)檢測的視野范圍。

圖3 MFDSSD網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 Structure of the MFDSSD network model

特征融合模塊可以達(dá)到Top-Down的效果,其將低層網(wǎng)絡(luò)Conv3_3、Conv4_3與高層網(wǎng)絡(luò)Conv14_2、Conv15_2進(jìn)行融合,同時將Conv6與Conv13_32融合,以彌補低層網(wǎng)絡(luò)感受視野小以及高層網(wǎng)絡(luò)幾何信息表征能力弱的不足。

為提高模型對小目標(biāo)檢測的性能,模型不僅將融合模塊的特征圖送入預(yù)測模塊進(jìn)行預(yù)測,還將SSD-VGG16的擴展卷積層的7層～11層輸入預(yù)測模塊,從而利用不同卷積層、不同尺度、不同特征的多元信息完成分類與回歸任務(wù)。此外,MFDSSD網(wǎng)絡(luò)通過高層與低層網(wǎng)絡(luò)特征的深度融合,增強網(wǎng)絡(luò)對小物體的檢測精度,實現(xiàn)多尺度、多形狀等多樣化的特征圖分類與回歸,以兼顧SSD網(wǎng)絡(luò)的多尺度特性與低層網(wǎng)絡(luò)的定位準(zhǔn)確性。

將SSD與MFDSSD進(jìn)行對比,可以發(fā)現(xiàn):

1)SSD[17]網(wǎng)絡(luò)采用低層網(wǎng)絡(luò)特征來檢測小目標(biāo),感受野小,導(dǎo)致分類不準(zhǔn)確、檢測物體存在局部缺陷等問題。對于常規(guī)的CNN網(wǎng)絡(luò),其高層網(wǎng)絡(luò)感受野較大、語義信息表征能力強,分辨率低,幾何細(xì)節(jié)信息表征能力弱,而低層網(wǎng)絡(luò)感受野較小,幾何細(xì)節(jié)信息表征能力強,語義信息表征能力弱,下采樣少,但定位較準(zhǔn)確。MFDSSD網(wǎng)絡(luò)通過卷積融合模塊的跳躍網(wǎng)絡(luò),將高層網(wǎng)絡(luò)特征豐富的語義信息融合到低層網(wǎng)絡(luò)特征中,增強其對小目標(biāo)特征的表征能力,以充分利用上下文語義信息和低層網(wǎng)絡(luò)的定位能力。

2)SSD網(wǎng)絡(luò)產(chǎn)生的多尺度特征圖有6個尺寸,而MFDSSD產(chǎn)生的特征圖有7個尺寸,并且其中3個尺寸來自融合模塊,其特征圖更具多樣性。SSD網(wǎng)絡(luò)利用最低網(wǎng)絡(luò)特征圖為Conv4,而MFDSSD卻利用了Conv3,MFDSSD網(wǎng)絡(luò)更多地利用低層網(wǎng)絡(luò)的優(yōu)勢進(jìn)行小目標(biāo)檢測。

2.2 模塊融合

本文MFDSSD網(wǎng)絡(luò)模型有3個融合模塊,為方便表述與理解,本文以融合模塊1,即Conv3_3與Conv15_2跳躍連接的融合模塊為例進(jìn)行說明,其結(jié)構(gòu)如圖4所示。無論各網(wǎng)絡(luò)的輸入特征圖有多大,同一融合模塊輸出的特征圖尺寸與通道數(shù)應(yīng)保持一致,因此,需要對不同大小、具有不同通道數(shù)的特征圖進(jìn)行融合,而這正是融合模塊的功能。DSSD網(wǎng)絡(luò)通過中間網(wǎng)絡(luò)層的編解碼卷積形成一個沙漏結(jié)構(gòu),以增加特征圖的種類,利用跳躍連接彌補低層網(wǎng)絡(luò)上下文語義信息弱的不足。融合模塊受DSSD網(wǎng)絡(luò)跳躍連接的啟發(fā),在DSSD的基礎(chǔ)結(jié)構(gòu)上,將DSSD網(wǎng)絡(luò)的5個跳躍連接簡化為3個。3個跳躍連接融合的高低層網(wǎng)絡(luò)特征直接進(jìn)行網(wǎng)絡(luò)分類與位置回歸,可避免DSSD網(wǎng)絡(luò)后續(xù)的復(fù)雜運算。本文的跳躍連接增加了網(wǎng)絡(luò)的特征圖數(shù)量及種類,并簡化模型的運算復(fù)雜度,為小目標(biāo)的分類及定位提供更準(zhǔn)確的語義信息和幾何信息,并充分利用高低層網(wǎng)絡(luò)上下文的語義信息。

圖4 融合模塊Fig.4 Fusion module

為了將Conv3_3的特征圖與Conv15_2的特征圖進(jìn)行融合,需要對Conv15_2的特征圖進(jìn)行上采樣。在圖4中,模塊Conv15_2首先通過卷積核大小為2×2、通道數(shù)為256的反卷積進(jìn)行上采樣,反卷積的輸出通過卷積核為3×3的卷積層映射至修正激活函數(shù)層(Rectified Linear Unit,ReLU),然后經(jīng)L2正則化層,到達(dá)下一個反卷積層。第2個反卷積層的卷積核為3×3、通道數(shù)為256,特征圖由卷積層輸入至L2正則化層。Conv3_3則直接通過3×3的卷積核輸出至ReLU激活函數(shù)層,再輸入至L2正則化層。將Conv15_2經(jīng)兩個反卷積層的輸出與Conv3_3通過卷積層的輸出進(jìn)行求和操作(Eltw Sum),合并后傳入ReLU層并在其后添加一個3×3的卷積層,以確保檢測的特征具有可分辨性,最后經(jīng)過一個ReLU層之后實現(xiàn)融合。

MFDSSD模型含有3個融合模塊,圖4所示是融合模塊1的結(jié)構(gòu),其他2個融合模塊在模塊1的基礎(chǔ)上稍作改變,融合模塊2的輸出為512通道的38×38特征圖,模塊3的輸出為1 024通道的19×19特征圖。

融合模塊可以在充分利用上下文語義信息的同時,增加模型的復(fù)雜度,其比SSD多3個跳躍連接。跳躍連接使用Eltw Sum加法運算,該過程涉及的特征圖有3個尺度,在一定程度上影響了模型的總體實時性,但相較于SSD網(wǎng)絡(luò),MFDSSD的實時性雖有所下降,但其檢測精度有大幅提升。

2.3 模型訓(xùn)練

本文的訓(xùn)練分兩個階段進(jìn)行,分別為預(yù)訓(xùn)練階段和微調(diào)階段。使用預(yù)訓(xùn)練好的SSD模型得到MFDSSD模型的初始化參數(shù),采用數(shù)據(jù)庫訓(xùn)練集微調(diào)相關(guān)權(quán)重,最后使用數(shù)據(jù)庫中的測試集檢測算法的精度和實時性。

2.3.1 數(shù)據(jù)增強

本文參考最新的SSD數(shù)據(jù)增強方法,對原始圖像進(jìn)行水平翻轉(zhuǎn)、隨機裁剪加顏色扭曲以及隨機采集塊域等操作,以增強模型訓(xùn)練的性能。

2.3.2 先驗框設(shè)置與匹配策略

1)先驗框設(shè)置

為了處理各種圖像所對應(yīng)的不同大小和形狀的目標(biāo),需對網(wǎng)絡(luò)產(chǎn)生的特征圖設(shè)置不同尺度和比例的先驗框。本文根據(jù)SSD設(shè)置先驗框的原則設(shè)計MFDSSD的先驗框,隨著特征圖的減少,先驗框尺度線性增加,相應(yīng)的理論推導(dǎo)如式(1)所示。

(1)

2)匹配原則

先驗框與真實目標(biāo)(Ground Truth,GT)的匹配主要有以下2個原則:

(1)對于圖片中的每個GT,首先找到與其交并比(Intersection Over Union,IOU)最大的先驗框進(jìn)行匹配,保證每個GT一定與某個先驗框匹配。與GT匹配的先驗框,稱為正樣本,反之,若存在先驗框不與任何GT相匹配,即該先驗框只能與背景匹配,則稱為負(fù)樣本。通常一幅圖片中的GT非常少,先驗框卻很多,如果僅按這一原則匹配,很多先驗框會成為負(fù)樣本,正負(fù)樣本極其不平衡,因此,需要使用第2個匹配原則。

(2)對于未匹配的先驗框,若存在GT與某個先驗框的IOU大于某個閾值,那么該先驗框與GT匹配。一個GT可與多個先驗框匹配,但是一個先驗框只能匹配一個GT,如果存在多個GT與某個先驗框的IOU大于閾值,那么先驗框只與IOU最大的那個先驗框匹配。第2個原則在第1個原則之后執(zhí)行,如果某個GT所對應(yīng)的最大IOU小于閾值,并且所匹配的先驗框與另外一個GT的IOU大于閾值,則該先驗框匹配前者。

一個GT可以與多個先驗框匹配,和先驗框相比,GT數(shù)量相對較少,即負(fù)樣本數(shù)量較多,正樣本數(shù)量較少。為保證正負(fù)樣本平衡,采用難例挖掘(hard negative mining)方式對負(fù)樣本進(jìn)行抽樣,并按照置信度誤差降序排列。本文設(shè)置置信度閾值為0.01,NMS算法交并比的閾值為0.55,通過實驗選取誤差較大的Top-250作為訓(xùn)練負(fù)樣本,以保證正負(fù)樣本比例接近1∶3[10,17]。

2.3.3 損失函數(shù)

MFDSSD與SSD的損失函數(shù)基本相似,通過回歸函數(shù)輸出瑕疵位置坐標(biāo),利用Softmax函數(shù)預(yù)測分類置信度。總體損失函數(shù)是Localization Loss(Loc)和Confidence Loss(Conf)的加權(quán)和,計算公式如下:

(2)

(3)

(4)

(5)

(6)

(7)

(8)

其中,(gcx,gcy,gw,gh)表示ground truth box,(dcx,dcy,dw,dh)表示default box,(lcx,lcy,lw,lh)表示預(yù)測框相對于default box的偏移量。N是與GT相匹配的default box數(shù)量,參數(shù)α用于調(diào)整Confidence Loss和Location Loss之間的比例,默認(rèn)α=1。Localization Loss采用smooth L1 Loss,其計算過程如式(9)所示。

(9)

3 實驗結(jié)果與分析

3.1 實驗對象

紡織品的表面瑕疵對成品質(zhì)量有重要影響,是織物質(zhì)量檢測的首要問題。目前,國內(nèi)紡織企業(yè)大多采用自動化紡織機,但缺乏與之配套的檢測設(shè)備,織物瑕疵檢測很大程度依賴人工完成。長時間疲勞工作導(dǎo)致檢測準(zhǔn)確率不足60%,存在漏檢率高、成本高、效率低、檢測結(jié)果易受人為主觀因素影響等問題,難以適應(yīng)智能化生產(chǎn)的需求[21-22]。

織物由經(jīng)紗和緯紗按照設(shè)定的沉浮規(guī)律交織排列組成,其加工方式的特點決定了紋理的周期性、方向性和連續(xù)性。若織物出現(xiàn)瑕疵,既定特性遭到破壞,其表面紋理就會發(fā)生異常。由于瑕疵種類眾多,形態(tài)各異,且在整個織物中所占的面積較小,因此檢測算法的漏檢率和誤檢率較高。本文將MFDSSD網(wǎng)絡(luò)模型應(yīng)用于織物瑕疵小目標(biāo)檢測,以驗證其性能。

3.2 實驗平臺與數(shù)據(jù)集

實驗平臺配置為:Intel i7-7700k CPU,32 GB DDR4內(nèi)存,Nvidia Geforce GTX1080Ti GPU,64位Ubuntu14.04 LTS操作系統(tǒng),實驗框架為TensorFlow開源框架。

由于深度學(xué)習(xí)方法需要大量數(shù)據(jù)來進(jìn)行訓(xùn)練,少量數(shù)據(jù)易造成過擬合,因此本文選用ImageNet數(shù)據(jù)集[23]作為預(yù)訓(xùn)練數(shù)據(jù)集,該數(shù)據(jù)集有1 400多萬幅圖片,涵蓋2萬多個類別和多達(dá)百萬的帶標(biāo)簽數(shù)據(jù),保證預(yù)訓(xùn)練模型具有強大的泛化能力。

為驗證MFDSSD算法的精度、速度和可靠性,將本文算法與SSD、DSSD兩種算法進(jìn)行對比,測試圖片來自TILDA數(shù)據(jù)集[24]。TILDA是德國紡織紋理數(shù)據(jù)庫,數(shù)據(jù)全部為灰度圖像,輸入大小為786像素×512像素,紡織品類別有8種,包含7種瑕疵類別和1種正確類別。對于每種類別,通過紡織品樣品的重新定位和旋轉(zhuǎn)獲得50張圖片。整個紋理紡織數(shù)據(jù)庫由3 200張圖片組成,總大小為1.2 GB。從數(shù)據(jù)集中隨機選取500幅圖像進(jìn)行測試,在輸入模型前,把圖片尺寸調(diào)整為300像素×300像素或其他尺寸。對測試驗證集進(jìn)行隨機分類,將其中的70%作為訓(xùn)練數(shù)據(jù)集,20%作為驗證數(shù)據(jù)集,10%作為測試數(shù)據(jù)集。這些樣本包含破洞、污漬、斷緯、缺經(jīng)以及吊經(jīng)等多種常見瑕疵。

隨著數(shù)據(jù)量減少,將模型的學(xué)習(xí)率從0.01調(diào)至0.001,權(quán)重衰減參數(shù)0.000 5。使用小批量梯度下降算法及動量優(yōu)化算法優(yōu)化參數(shù),其中mini-batch大小為128,迭代次數(shù)50 000,動量因子0.9。

3.3 瑕疵檢測結(jié)果

實驗階段選用小目標(biāo)檢測典型算法SSD、DSSD與本文算法進(jìn)行對比,不同瑕疵的檢測結(jié)果如圖5所示。

圖5 3種算法對不同瑕疵的檢測結(jié)果對比Fig.5 Comparison of detection results between 3 algorithms for different defects

由圖5可以看出,本文的MFDSSD算法在3種算法中表現(xiàn)最好,上下文語義預(yù)測的加入使得織物瑕疵檢測結(jié)果有所改進(jìn)。當(dāng)在某個地方存在幾個相同的小瑕疵時,MFDSSD算法均可檢測出來,其準(zhǔn)確率較高,SSD算法的檢測效果較差,DSSD算法檢測效果比SSD算法好,但其有漏檢和誤檢的可能。MFDSSD算法的檢測結(jié)果呈現(xiàn)出以下3個優(yōu)勢:1)可以檢測出更多種類的瑕疵;2)對于同一種瑕疵類型,該算法的識別置信度更高;3)對于在一張圖片上的多種瑕疵,其分類結(jié)果更準(zhǔn)確。

3.4 瑕疵檢測指標(biāo)

對于織物瑕疵目標(biāo)檢測,首先單獨計算各個類別的平均精度值(Average Precision,AP),這是評估檢測效果的重要指標(biāo)。取各個類別AP的平均值,得到平均精度均值(mean Average Precision,mAP)用于評估目標(biāo)檢測模型的精度,避免某些類別極端化而弱化了其他類別的性能,計算公式如式(10)所示。

(10)

目標(biāo)檢測算法的另外一個重要性能指標(biāo)是檢測速度,其對織物瑕疵檢測實時性要求較高的應(yīng)用場景非常重要。評估速度的常用指標(biāo)是每秒幀率(Frame Per Second,FPS),即每秒可處理的圖片數(shù)量,每秒內(nèi)處理的數(shù)量越多,速度越快。

為了更好地評估MFDSSD算法,在TILDA數(shù)據(jù)集上,將多種一階段、兩階段算法與MFDSSD算法進(jìn)行對比,所有對比實驗在同一硬件條件下進(jìn)行,結(jié)果如表1所示。

表1 不同算法的瑕疵檢測結(jié)果比較Table 1 Comparison of defect detection results between different algorithms

從表1的第4列數(shù)據(jù)可以看出,在TILDA數(shù)據(jù)庫中,MFDSSD算法的檢測速度可達(dá)51 frame/s,與DSSD算法相比有大幅提升,其檢測速度遠(yuǎn)超兩階段算法,且大于多數(shù)一階段算法,其原因可能是DSSD算法在模型簡化后加快了運行速度。

由表1第5列數(shù)據(jù)可以看出,MFDSSD算法的檢測精度達(dá)到78.2%,較SSD300算法提高4.1%,較DSSD提高了0.9%。對于SSD漏檢的小瑕疵,MFDSSD算法能準(zhǔn)確識別,但其對某些瑕疵的識別精度不如DSSD,其原因是DSSD使用Residual-101作為基本框架?？傮w而言,MFDSSD算法的檢測精度高于DSSD算法。

4 結(jié)束語

本文提出一種基于多尺度融合的小目標(biāo)檢測算法MFDSSD。通過設(shè)計融合模塊替代Top-Down結(jié)構(gòu),結(jié)合SSD-VGG16擴展卷積特征圖以提取多尺度特征。實驗結(jié)果表明,與R-CNN系列和SSD系列的其他算法相比,MFDSSD算法的織物瑕疵檢測精度較高,檢測速度較快,其分類結(jié)果更準(zhǔn)確,能滿足現(xiàn)代工業(yè)智能化生產(chǎn)的需求。下一步將擴大數(shù)據(jù)庫范圍,使其涵蓋更多種類的檢測目標(biāo),并將本文算法運用到現(xiàn)實生產(chǎn)中,同時提高其檢測精度和速度。