李 輝，呂祥聰，申貝貝，陶 冶，王俊印

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引 言

傳統(tǒng)的布匹瑕疵檢測(cè)方法使用選擇性搜索進(jìn)行廣泛搜索找到潛在瑕疵，這種方法計(jì)算成本高、檢測(cè)效果差并且方法難以遷移[1]；相比之下，基于深度學(xué)習(xí)的瑕疵目標(biāo)檢測(cè)效果明顯提升，訓(xùn)練與遷移能力較強(qiáng)[2，3]。但目前針對(duì)復(fù)雜花色布匹瑕疵檢測(cè)還存在大量其它問(wèn)題，如在紋理布匹瑕疵圖片背景復(fù)雜，瑕疵檢測(cè)難度高，導(dǎo)致檢測(cè)精度低，并且在單張圖片中存在多個(gè)不同種類(lèi)瑕疵的情況下，大多檢測(cè)方法仍不能準(zhǔn)確進(jìn)行瑕疵缺陷檢測(cè)。此外基于深度學(xué)習(xí)的通用目標(biāo)檢測(cè)方法對(duì)于布匹瑕疵檢測(cè)工作來(lái)說(shuō)，還存在無(wú)法檢測(cè)色調(diào)與背景十分接近的疵點(diǎn)、預(yù)定義的錨框不能滿(mǎn)足極端長(zhǎng)寬比、對(duì)少數(shù)類(lèi)瑕疵樣本檢測(cè)性能較差等問(wèn)題[4-6]。

綜上所述，為了提高復(fù)雜花色背景干擾下瑕疵檢測(cè)準(zhǔn)確率低的問(wèn)題，本文提出一種雙路高分辨率特征提取用于消除花色布匹背景的噪聲干擾，并設(shè)計(jì)了自適應(yīng)錨框生成器，使生成的邊界框更加緊密，最后采用改進(jìn)的聚焦損失降低模型對(duì)少數(shù)類(lèi)瑕疵的不敏感性。

1 相關(guān)工作

自動(dòng)化的布匹瑕疵缺陷檢測(cè)使用檢測(cè)算法來(lái)進(jìn)行瑕疵的特征提取、對(duì)存在的瑕疵進(jìn)行分類(lèi)和定位瑕疵位置3個(gè)任務(wù)[7]。常見(jiàn)的布匹瑕疵檢測(cè)方法有光譜分析法、模型設(shè)計(jì)法、低秩分解法[8]?？臻g統(tǒng)計(jì)方法通過(guò)計(jì)算統(tǒng)計(jì)特征與周?chē)h(huán)境的差異來(lái)檢測(cè)缺陷，包括局部紋理分布、顏色相似性和局部同質(zhì)性。Zhang等[9]采用將布匹疵點(diǎn)圖像的RGB顏色進(jìn)行空間轉(zhuǎn)換，根據(jù)顏色相似度和相似塊之間的位置距離來(lái)度量缺陷值，但這類(lèi)方法不能有效地利用圖像地全局信息，而且經(jīng)常受到噪聲地影響。光譜分析方法是在實(shí)際布匹瑕疵檢測(cè)中使用較多的一類(lèi)方法，常用的主要有小波變換、Gabor濾波[10]、傅里葉變換等[11]。Chen等[12]利用改進(jìn)的混合濾波器對(duì)紋理布匹進(jìn)行降噪處理，提高了邊緣提取的質(zhì)量。Boluki等[13]首先利用優(yōu)化后的Gabor濾波器來(lái)完成對(duì)布匹瑕疵的自動(dòng)檢測(cè)，其次改進(jìn)自適應(yīng)局部二值化方法，提高檢測(cè)算法的性能。然而，這些方法對(duì)復(fù)雜紋理布匹圖像地檢測(cè)性能較差，耗時(shí)較長(zhǎng)。模型設(shè)計(jì)法使用建模和參數(shù)估計(jì)技術(shù)進(jìn)行瑕疵紋理特征提取，并利用測(cè)試圖像與正常紋理模型的相似度來(lái)進(jìn)行瑕疵的確定。模型設(shè)計(jì)法主要分為自回歸模型和馬爾科夫隨機(jī)場(chǎng)模型。Liu等[14]提出利用馬爾科夫隨機(jī)場(chǎng)的領(lǐng)域特性和模糊相似矩陣，根據(jù)圖像塊之間的差異性檢測(cè)瑕疵區(qū)域，這些方法取得了滿(mǎn)意的檢測(cè)性能，但是該方法的計(jì)算復(fù)雜度都很高，不能有效地檢測(cè)出較小尺寸的瑕疵。低秩分解法通過(guò)將一個(gè)特征矩陣分解為代表圖像無(wú)疵點(diǎn)區(qū)域的低秩矩陣和代表疵點(diǎn)區(qū)域的稀疏矩陣來(lái)實(shí)現(xiàn)瑕疵檢測(cè)。JI等[15]提出低秩校正分解模型，通過(guò)交替方向法優(yōu)化求解，利用閾值分割產(chǎn)生的顯著圖完成瑕疵檢測(cè)。存在計(jì)算過(guò)程繁瑣，漏檢率高和檢測(cè)精度低的問(wèn)題。綜上所述，傳統(tǒng)方法存在著噪聲敏感、對(duì)復(fù)雜紋理瑕疵特征提取效果較差、錯(cuò)檢率高等問(wèn)題，隨著深度學(xué)習(xí)方法的不斷發(fā)展，使用深度網(wǎng)絡(luò)能夠更好地解決布匹瑕疵缺陷檢測(cè)問(wèn)題[16]。

深度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)打破了圖像語(yǔ)義表達(dá)的局限，被廣泛應(yīng)用于布匹瑕疵的檢測(cè)和分類(lèi)?，F(xiàn)有的主流的檢測(cè)方法可以分為兩類(lèi)，一類(lèi)是兩階段檢測(cè)方法，主要有Faster RCN、Mask RCNN[17]和Cascade RCNN[18，19]等。Wei等[20]提出了基于快速區(qū)域卷積網(wǎng)絡(luò)方法用于布匹瑕疵檢測(cè)，引入VGG思想提升訓(xùn)練效率，減少了錨點(diǎn)數(shù)量，并使用區(qū)域建議網(wǎng)絡(luò)生成候選瑕疵錨點(diǎn)和邊界框。另一類(lèi)是一階段檢測(cè)方法，主要有YOLO、YOLOv2、YOLOv3、SSD和RetinaNet等。Redmon等[21，22]提出了實(shí)時(shí)目標(biāo)檢測(cè)框架YOLO系列，YOLO將物體檢測(cè)任務(wù)視為一個(gè)回歸問(wèn)題，直接從整個(gè)圖像中預(yù)測(cè)邊界框坐標(biāo)、邊界框中包含目標(biāo)的置信度以及目標(biāo)的概率。整個(gè)檢測(cè)過(guò)程端到端進(jìn)行，雖然此類(lèi)方法在速度上提高了但是檢測(cè)精度較低，He等[23]提出基于特征金字塔的布匹瑕疵檢測(cè)算法，該算法對(duì)于小目標(biāo)瑕疵檢測(cè)精度較低，但訓(xùn)練速度和檢測(cè)速度很快。Lin等[24]提出了使用Focal loss損失函數(shù)的 RetinaNet算法，來(lái)解決類(lèi)別不平衡的問(wèn)題，降低模型對(duì)少數(shù)類(lèi)樣本的不敏感性。這些研究表明深度學(xué)習(xí)方法對(duì)于解決布匹瑕疵缺陷檢測(cè)問(wèn)題具有很好的適用性，但仍需要進(jìn)一步改進(jìn)。

本文所使用的布匹瑕疵數(shù)據(jù)集是從廣東省某紡織車(chē)間現(xiàn)場(chǎng)采集的布匹圖像，在實(shí)際的布匹生產(chǎn)過(guò)程中，布匹瑕疵的特征如下：①布匹花色背景復(fù)雜，瑕疵特征提取困難；②布匹瑕疵較小且類(lèi)別較多，不同瑕疵數(shù)據(jù)類(lèi)別不平衡；③布匹瑕疵尺度不均衡，難以生成緊密的邊界框。已有的目標(biāo)檢測(cè)算法對(duì)于復(fù)雜花色背景、小目標(biāo)瑕疵多、縱橫比懸殊等問(wèn)題不能很好解決，檢測(cè)效果較差，如圖1所示，對(duì)于小目標(biāo)以及復(fù)雜花色背景，存在漏檢以及包圍框不準(zhǔn)確的問(wèn)題。因此，針對(duì)現(xiàn)有花色布匹瑕疵檢測(cè)方法所存在的問(wèn)題，本文提出了一種雙路高分辨率轉(zhuǎn)換網(wǎng)絡(luò)的花色布匹瑕疵檢測(cè)方法，完成對(duì)布匹中的瑕疵目標(biāo)高質(zhì)量檢測(cè)。

圖1 布匹瑕疵檢測(cè)問(wèn)題

2 復(fù)雜花色布匹瑕疵檢測(cè)

本文提出的花色布匹瑕疵缺陷檢測(cè)方法包括以下內(nèi)容：①設(shè)計(jì)雙路高分辨率特征提取網(wǎng)絡(luò)，通過(guò)權(quán)值共享的特征提取網(wǎng)絡(luò)提取缺陷圖和模板圖特征；②在區(qū)域候選網(wǎng)絡(luò)中，設(shè)計(jì)自適應(yīng)邊框生成器，優(yōu)化錨框的生成過(guò)程，提高后續(xù)檢測(cè)與回歸的精度。③在檢測(cè)階段，采用改進(jìn)的聚焦損失函數(shù)，降低模型對(duì)少數(shù)類(lèi)瑕疵樣本的敏感性，從而提升網(wǎng)絡(luò)的預(yù)測(cè)精度和泛化能力。

具體過(guò)程如下：將缺陷圖和模板圖輸入雙路的高分辨網(wǎng)絡(luò)中進(jìn)行特征提取，并合并兩個(gè)特征圖，由于布匹瑕疵中小目標(biāo)占比較多，再接入多尺度特征金字塔轉(zhuǎn)換器，更好融合深層的語(yǔ)義信息與淺層的位置信息，得到最終的特征圖后經(jīng)由自適應(yīng)邊框生成器指導(dǎo)RPN的錨設(shè)計(jì)，利于后續(xù)檢測(cè)框回歸，最后送入級(jí)聯(lián)的檢測(cè)器中對(duì)候選框進(jìn)行分類(lèi)和回歸，逐步提升檢測(cè)模型的回歸精度。網(wǎng)絡(luò)架構(gòu)如圖2所示，其中“Ci”，“Bi”，i=1，2，3分別表示分類(lèi)網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)。

圖2 本文網(wǎng)絡(luò)架構(gòu)

2.1 雙路高分辨率特征提取

在布匹瑕疵檢測(cè)中，由于不同花色背景的影響，很難在多種花色布匹上取得理想的效果，為了消除這種影響，最直接的方法是原圖相減，在差分圖上進(jìn)行瑕疵檢測(cè)，但對(duì)于瑕疵圖片與模板圖片并非嚴(yán)格的像素點(diǎn)對(duì)齊的情況，直接做差不但無(wú)法消除背景，還會(huì)破壞瑕疵原本的形態(tài)。因此，為了減少噪聲的影響，本文提出雙路高分辨率網(wǎng)絡(luò)將提取到的瑕疵特征和模板特征進(jìn)行差分，在特征層將瑕疵與模板特征做差，雖然像素點(diǎn)不對(duì)齊但是區(qū)域特征是相同的，卷積核提取的特征是區(qū)域特征，在特征層上做差不僅可以保證消除同區(qū)域內(nèi)相似的背景特征，而且還可以保留瑕疵的特征。

雙路高分辨率網(wǎng)絡(luò)架構(gòu)如圖3所示。將瑕疵圖片和模板圖作為輸入，其中，模板圖中不包含任何瑕疵信息，在特征提取的過(guò)程中這兩部分是權(quán)值共享的，其提取的特征表達(dá)如式(1)所示

圖3 雙路高分辨率網(wǎng)絡(luò)架構(gòu)

f(xi)=CNNecd(xi，θencoding)

(1)

式中：xi是輸入樣本，θencoding是CNN的編碼參數(shù)，然后將提取的兩個(gè)輸出向量進(jìn)行相減并取絕對(duì)值，如式(2)所示

(2)

式中：xi表示輸入瑕疵樣本，xj表示模板樣本，它們經(jīng)過(guò)全連接層和Sigmod函數(shù)得到輸出結(jié)果，輸出表現(xiàn)如式(3)所示

P(xi，xj)=SigMod(FC(D(f(xi)，f(xj))))

(3)

輸出值歸一化至0～1之間，計(jì)算相似度得分，然后提取出整幅圖像所有相似性較低的圖像塊，通過(guò)這樣的方式可以在一定程度上抵消像素點(diǎn)不對(duì)齊帶來(lái)的影響，屏蔽背景并且保留瑕疵原有特征，從而提升模型對(duì)瑕疵特征的表達(dá)能力。

在布匹瑕疵檢測(cè)中存在背景復(fù)雜的問(wèn)題，使用特征金字塔網(wǎng)絡(luò)能夠有效地融合圖像中各個(gè)維度地特征，而傳統(tǒng)的特征金字塔網(wǎng)絡(luò)未考慮全局特征信息并且以固定尺度構(gòu)建特征金字塔，會(huì)丟失部分不同層級(jí)特征之間的語(yǔ)義差異信息，增大瑕疵檢測(cè)的難度。為了在一定程度上消除布匹的紋理特征在空間分布上的差異，采用了多尺度特征金字塔轉(zhuǎn)換器，使特征圖可以跨空間和跨尺度進(jìn)行非局部交互，融合具有豐富語(yǔ)義信息的深層特征和高分辨率的淺層特征，有效提高了小目標(biāo)瑕疵檢測(cè)精度，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 多尺度特征金字塔轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)

由雙路高分辨率網(wǎng)絡(luò)提取不同尺度的特征圖，然后經(jīng)過(guò)同層之間的交互、自上而下的交互和自下而上的交互分別去計(jì)算對(duì)應(yīng)的融合了上下文信息的特征圖，將多層語(yǔ)義信息進(jìn)行整合，得到跨尺度和跨空間特征交互后的特征金字塔。如上圖所示，多尺度特征金字塔轉(zhuǎn)換器主要分為3步：同層特征圖的交互(Fst)、自上而下的交互(Fgt)、自下而上的交互(Frt)，詳細(xì)過(guò)程如算法1所示。

算法1: 多尺度特征金字塔轉(zhuǎn)換網(wǎng)絡(luò)算法

輸入: C2、C3、 C4、 C5

輸出: P2、 P3、 P4、 P5

說(shuō)明: Ci表示由基礎(chǔ)網(wǎng)絡(luò)提取的第2～5層特征圖; pi表示卷積轉(zhuǎn)換特征圖尺寸后得到的第2～5層特征圖; Pi表示轉(zhuǎn)換后的第2～5層特征圖; Fst():ST操作; Fgt():GT操作; Frt():RT操作

算法過(guò)程:

(1) p5=Fconv(C5) //從C5開(kāi)始,先卷積轉(zhuǎn)換特征圖尺寸

(2) p4=Fconv(C4)

(3) p3=Fconv(C3)

(4) p2=Fconv(C2)

(5) s5=Fconcatenate(Fst(p5), Frt(p4,p5), Frt(p3,p5), Frt(p2,p5), p5, 1) //拼接操作

(6) s4=Fconcatenate(Fst(p4), Frt(p3,p4), Frt(p2,p4), Fgt(p5,p4), p4, 1)

(7) s3=Fconcatenate(Fst(p3), Frt(p2,p3), Fgt(p4,p3), Fgt(p5,p3), p3, 1)

(8) s2=Fconcatenate(Fst(p2), Fgt(p3,p2), Fgt(p4,p2), Fgt(p5,p2), p2, 1)

(9) P5=Fconv(s5) //卷積縮小維度, 降至原本通道數(shù)

(10) P4=Fconv(s4)

(11) P3=Fconv(s3)

(12) P2=Fconv(s2)

(13) return P2、 P3、 P4、 P5//輸出轉(zhuǎn)換后的特征圖

上述操作不會(huì)改變多層級(jí)特征的輸入和輸出的尺寸和通道數(shù)，因此多尺度特征金字塔轉(zhuǎn)換網(wǎng)絡(luò)可以直接嵌入到主干網(wǎng)絡(luò)中，達(dá)到跨尺度和跨空間非局部交互的效果，有助于提高小目標(biāo)瑕疵檢測(cè)的準(zhǔn)確率。

2.2 自適應(yīng)邊框生成器

在布匹瑕疵檢測(cè)任務(wù)中，一般會(huì)預(yù)先設(shè)置一些不同尺度不同位置的固定參考框，根據(jù)預(yù)定義的anchor，網(wǎng)絡(luò)模型可以更好了解先驗(yàn)框偏差的信息，從而得到更好的預(yù)測(cè)結(jié)果。但由于布匹疵點(diǎn)的特殊性，疵點(diǎn)中絕大多數(shù)多為小尺寸、縱橫比懸殊的目標(biāo)，導(dǎo)致檢測(cè)精度較低。因此本文設(shè)計(jì)了自適應(yīng)邊框生成器來(lái)優(yōu)化錨框，優(yōu)化過(guò)程是通過(guò)改進(jìn)K-means聚類(lèi)算法來(lái)進(jìn)行的。

在聚類(lèi)過(guò)程中，遠(yuǎn)離群點(diǎn)的瑕疵類(lèi)對(duì)算法結(jié)果影響較大，所以不能采用一般聚類(lèi)方法的歐式距離，因?yàn)閷?duì)于歐式距離來(lái)說(shuō)，過(guò)大或過(guò)小的包圍框都會(huì)產(chǎn)生太大的損失。因此，引入新的基于IOU的度量方式，如式(4)所示，其中b是真實(shí)標(biāo)注框，c是聚類(lèi)的中心點(diǎn)

d(b，c)=1-IOU(b，c)

(4)

聚類(lèi)的詳細(xì)過(guò)程描述如下：

(1)聚類(lèi)使用布匹瑕疵數(shù)據(jù)集訓(xùn)練集中真實(shí)標(biāo)注框的坐標(biāo)信息作為原始數(shù)據(jù)。

(2)選取初始聚類(lèi)中心點(diǎn)：對(duì)于訓(xùn)練集每個(gè)類(lèi)別的瑕疵，隨機(jī)選取代表一類(lèi)瑕疵集簇的k個(gè)初始聚類(lèi)中心點(diǎn)。

(3)計(jì)算相似度距離：計(jì)算所有瑕疵真實(shí)標(biāo)注框與每個(gè)聚類(lèi)中心的相似度距離，并將各標(biāo)注框樣本歸類(lèi)給相似度最近的聚類(lèi)中心。

(4)重新計(jì)算聚類(lèi)中心點(diǎn)：按照式(5)重新計(jì)算每個(gè)瑕疵類(lèi)聚類(lèi)中心點(diǎn)，以最新歸類(lèi)的標(biāo)注框樣本為基準(zhǔn)點(diǎn)，計(jì)算各聚類(lèi)中心點(diǎn)與基準(zhǔn)點(diǎn)的距離，選取距離最小的聚類(lèi)中心點(diǎn)作為新的聚類(lèi)中心點(diǎn)

(5)

(5)重復(fù)步驟(3)和步驟(4)以得到最優(yōu)的錨定框。具體過(guò)程如下所示。

算法2: 自適應(yīng)邊框生成器算法

輸入: 每類(lèi)待聚類(lèi)瑕疵樣本集真實(shí)邊界框: B={bi, i∈{1,2,…,n}}

初始anchor大小: A={aj, j∈{1,2,…,m}}

輸出: 最優(yōu)初始錨定框A*={aj1, j1∈{1,2,…,m}}

算法過(guò)程:

(1) Repeat

(2) 令Cj=φ, j∈{1,2,…,m}

(3) for i=1,2,…,n do

(4) dij=1-IOU(bi,aj) //計(jì)算真實(shí)邊界框和當(dāng)前anchor的距離

(5) λj=argmini∈{1,2,…,m}dij//距離最近的anchor確定的bi簇標(biāo)記

(6)Cλj=Cλj∪{bi} //將真實(shí)邊界框bi劃入相應(yīng)的簇

(7) end for

(8) A*=φ

(9) for j=1,2,…,m do

(11) A*=A*∪μj//將計(jì)算的anchor大小添加到A*中

(12) end for

(13) Until當(dāng)前anchor大小不再改變或達(dá)到最大迭代次數(shù)

2.3 級(jí)聯(lián)檢測(cè)器與改進(jìn)的聚焦損失

經(jīng)由自適應(yīng)邊框生成器指導(dǎo)RPN的錨設(shè)計(jì)，產(chǎn)生候選區(qū)域后，使用級(jí)聯(lián)的目標(biāo)檢測(cè)器完成分類(lèi)和回歸。如式(6)所示

f(x，b)=fT°fT-1°…°f(x，b)

(6)

式中：T為級(jí)聯(lián)的總數(shù)，級(jí)聯(lián)中的每個(gè)回歸器ft根據(jù)對(duì)應(yīng)階段的樣本分布bt進(jìn)行優(yōu)化，逐級(jí)回歸后，使樣本分布更加精確，同時(shí)，IOU在回歸過(guò)程中被逐級(jí)提升。

本文方法的級(jí)聯(lián)數(shù)設(shè)置為3，在級(jí)聯(lián)回歸過(guò)程中，將上一級(jí)生成的預(yù)測(cè)邊界框輸出作為感興趣區(qū)域輸入下一個(gè)檢測(cè)器，最后經(jīng)過(guò)全連接層完成分類(lèi)和回歸，可以精準(zhǔn)地實(shí)現(xiàn)對(duì)布匹瑕疵的分類(lèi)與定位。級(jí)聯(lián)檢測(cè)器結(jié)構(gòu)如圖5所示。

圖5 級(jí)聯(lián)檢測(cè)器結(jié)構(gòu)

在此階段，訓(xùn)練階段的損失函數(shù)由邊界框回歸損失和分類(lèi)損失組成，損失函數(shù)如式(7)所示

(7)

式中：N為預(yù)測(cè)框的數(shù)量，pt表示對(duì)anchor的預(yù)測(cè)置信度，G′i為預(yù)測(cè)框的位置信息，Gi為目標(biāo)框位置信息，Lreg采用smoothL1作為損失函數(shù)，如式(8)所示，參數(shù)x是預(yù)測(cè)結(jié)果與真實(shí)值的差

(8)

分類(lèi)置信度損失Lcls是預(yù)測(cè)類(lèi)別置信度與目標(biāo)類(lèi)別的誤差，布匹瑕疵數(shù)據(jù)集存在不同瑕疵類(lèi)別的樣本數(shù)量極度不平衡，導(dǎo)致樣本數(shù)較少的類(lèi)別不能得到充分訓(xùn)練，造成檢測(cè)精度較低。采用Focal loss損失函數(shù)作為分類(lèi)損失來(lái)緩解模型中參與訓(xùn)練的正負(fù)樣本不平衡問(wèn)題，如式(9)所示

Lcls(pt)=-αt(1-pt)γlog(pt)

(9)

Lcls(pt)=-δt(1-pt)γlog(pt)

(10)

(11)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文實(shí)驗(yàn)的軟硬件環(huán)境配置見(jiàn)表1。

表1 實(shí)驗(yàn)環(huán)境配置

圖6 布匹瑕疵數(shù)據(jù)集

實(shí)驗(yàn)以MS COCO數(shù)據(jù)集的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行性能評(píng)估。使用隨機(jī)梯度下降方法作為優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.0025，沖量設(shè)置為0.9，batch size設(shè)置為2，權(quán)重衰減設(shè)置為0.0001，訓(xùn)練步數(shù)設(shè)置為18 000。為了獲得理想的訓(xùn)練效果，本文對(duì)原始數(shù)據(jù)集采用了水平和垂直翻轉(zhuǎn)、對(duì)稱(chēng)變化等多種數(shù)據(jù)增強(qiáng)方式進(jìn)行數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)后的樣本分布見(jiàn)表2。

表2 增強(qiáng)前后數(shù)據(jù)集中的樣本分布

3.2 訓(xùn) 練

為了驗(yàn)證本文方法對(duì)于布匹瑕疵缺陷檢測(cè)的有效性和先進(jìn)性，在花色布匹瑕疵數(shù)據(jù)集上進(jìn)行了網(wǎng)絡(luò)訓(xùn)練和結(jié)果分析，圖7為瑕疵圖和模板圖直接相減和由雙路高分辨率特征提取差分后的可視化對(duì)比，上圖為瑕疵圖和模板圖直接相減，下圖為采用雙路高分辨網(wǎng)絡(luò)將提取到的瑕疵特征和模板特征進(jìn)行差分，在特征層將瑕疵特征與模板特征做差的效果圖，通過(guò)對(duì)比發(fā)現(xiàn)，直接做差不但無(wú)法消除背景，還會(huì)破壞瑕疵原本的形態(tài)，而在特征層上做差可以保證同區(qū)域內(nèi)相似的背景特征被消除，并同時(shí)可以保留瑕疵的特征。

圖7 圖片相減與特征差分對(duì)比結(jié)果

圖8是不同網(wǎng)絡(luò)的損失曲線(xiàn)。隨著神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)增加，損失曲線(xiàn)整體呈現(xiàn)下降趨勢(shì)，目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)于花色布匹瑕疵數(shù)據(jù)的判別能力逐漸逼近訓(xùn)練數(shù)據(jù)集。這表明，本文方法能更好地收斂于布匹瑕疵缺陷數(shù)據(jù)集，并且分類(lèi)與回歸任務(wù)的誤差也較低，這是由于采用雙路高分辨率特征提取在特征層差分有效剔除了無(wú)關(guān)背景信息的干擾，利用多尺度特征金字塔轉(zhuǎn)換器，充分學(xué)習(xí)瑕疵目標(biāo)的上下文信息，在RPN階段進(jìn)一步優(yōu)化錨框，利用后續(xù)檢測(cè)和回歸。最后在檢測(cè)階段，引入改進(jìn)的聚焦損失函數(shù)來(lái)緩解訓(xùn)練過(guò)程中瑕疵類(lèi)別不平衡導(dǎo)致的分類(lèi)精度低問(wèn)題，降低模型對(duì)少數(shù)類(lèi)瑕疵樣本的不敏感性，從而提高花色布匹瑕疵目標(biāo)的檢測(cè)性能。

圖8 損失變化曲線(xiàn)對(duì)比結(jié)果

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證提出的檢測(cè)方法中各個(gè)模塊的有效性，在基礎(chǔ)網(wǎng)絡(luò)的基礎(chǔ)上，融合不同改進(jìn)點(diǎn)的消融實(shí)驗(yàn)結(jié)果見(jiàn)表3。

表3 消融實(shí)驗(yàn)

(1)基礎(chǔ)網(wǎng)絡(luò)(BaselineNet)?；A(chǔ)網(wǎng)絡(luò)為未改進(jìn)之前的Cascade RCNN，由于復(fù)雜花色背景、小瑕疵目標(biāo)、尺度變化大、類(lèi)別不平衡等一系列問(wèn)題的影響，導(dǎo)致最終的檢測(cè)性能較差。為了更好地解決這些問(wèn)題，提高花色布匹瑕疵檢測(cè)的準(zhǔn)確率和定位精度，分別針對(duì)上述不同問(wèn)題進(jìn)行改進(jìn)創(chuàng)新，以下所有的改進(jìn)均是在此BaselinNet的基礎(chǔ)上進(jìn)行的。

(2)BN+雙路高分辨率網(wǎng)絡(luò)(DCF)。使用雙路高分辨率網(wǎng)絡(luò)代替BaselineNet中原始的特征提取網(wǎng)絡(luò)，由表可見(jiàn)，相比于基線(xiàn)方法，雙路高分辨率網(wǎng)絡(luò)將基線(xiàn)方法改進(jìn)了1.7個(gè)mAP。這說(shuō)明雙路高分辨率網(wǎng)絡(luò)有效的消除復(fù)雜花色背景的影響，提取更清晰、更具有代表性的瑕疵特征，得到豐富的瑕疵特征的上下文信息，為檢測(cè)模型提供高質(zhì)量特征信息，提高算法對(duì)瑕疵的定位與判斷是否為瑕疵的能力。

(3)BN+DCF+多尺度特征金字塔轉(zhuǎn)換器(FPT)。為了進(jìn)一步提高小目標(biāo)瑕疵的準(zhǔn)確率，在雙路高分辨率網(wǎng)絡(luò)的基礎(chǔ)上添加了FPT，以此獲得更多小目標(biāo)瑕疵特征的細(xì)節(jié)信息。由表可見(jiàn)，相比于基線(xiàn)方法，多尺度特征金字塔轉(zhuǎn)換器給基線(xiàn)方法帶來(lái)了1.0個(gè)mAP，由于多尺度特征金字塔轉(zhuǎn)換器充分捕獲全局信息并且能更好使用高層語(yǔ)義信息對(duì)低層的特征進(jìn)行補(bǔ)充，從而得到語(yǔ)義信息更豐富的特征。

(4)BN+DCF+FPT+自適應(yīng)邊框生成器(ABG)。考慮到布匹瑕疵長(zhǎng)寬比差異大，原RPN中錨點(diǎn)比例設(shè)計(jì)并不能滿(mǎn)足瑕疵長(zhǎng)寬比過(guò)于極端的情況，因此，本文通過(guò)自適應(yīng)邊框生成器計(jì)算最優(yōu)錨定框的設(shè)計(jì)，由表可見(jiàn)，自適應(yīng)邊框生成器給基線(xiàn)方法帶來(lái)1.4個(gè)mAP，這是因?yàn)樽赃m應(yīng)邊框生成器計(jì)算得到了錨定框的尺寸適用于瑕疵極端長(zhǎng)寬比的情況最優(yōu)錨定框，使得瑕疵的初始邊框更精確，因此檢測(cè)性能得到了提升。

(5)BN+DCF+FPT+ABG+MFL(ours)。為應(yīng)對(duì)布匹數(shù)據(jù)集中瑕疵種類(lèi)不平衡對(duì)檢測(cè)結(jié)果的影響，采用改進(jìn)的聚焦損失函數(shù)時(shí)，其mAP的變化幅度1.7%。同時(shí)實(shí)驗(yàn)表明，當(dāng)γ=2、λ=0.5時(shí)，模型可取得最好的性能，這說(shuō)明采用改進(jìn)的聚焦損失可以有效改善瑕疵類(lèi)別不平衡對(duì)模型檢測(cè)性能的影響。

3.4 檢測(cè)性能及對(duì)比分析

提出的布匹瑕疵檢測(cè)方法與目前主流的檢測(cè)方法進(jìn)行實(shí)驗(yàn)對(duì)比，在花色布匹瑕疵數(shù)據(jù)集上的檢測(cè)結(jié)果顯示本文方法檢測(cè)性能優(yōu)于YOLOv3、RetinaNet、EfficientDet等一階段檢測(cè)方法，并且對(duì)不同大小的瑕疵檢測(cè)精度均高于Faster RCNN、Cascade RCNN、IC-RCNN和TC-RCNN等算法，mAP達(dá)到了68.5%，對(duì)比結(jié)果見(jiàn)表4。

表4 各算法在布匹瑕疵數(shù)據(jù)集上的結(jié)果

由表4可知，與兩階段的目標(biāo)檢測(cè)算法Faster RCNN和Cascade RCNN相比，單階段檢測(cè)算法精度方面會(huì)差一些，因此文中選擇了兩階段檢測(cè)方法，本文方法的mAP達(dá)到了68.5%，比目前先進(jìn)的檢測(cè)算法IC-RCNN和TC-RCNN分別提升了3.5%和7.1%，實(shí)現(xiàn)了對(duì)花色背景干擾下布匹瑕疵高質(zhì)量檢測(cè)。

為了更直觀評(píng)估模型分類(lèi)結(jié)果的好壞，圖9為測(cè)試瑕疵分類(lèi)結(jié)果歸一化混淆矩陣，在混淆矩陣中，顏色越深，識(shí)別的準(zhǔn)確性越高，圖中橫坐標(biāo)表示預(yù)測(cè)標(biāo)簽，縱坐標(biāo)表示真實(shí)標(biāo)簽，基于混淆矩陣，可以看出本文模型的總體識(shí)別準(zhǔn)確率較高，但對(duì)于漏印這類(lèi)瑕疵較少的樣本其識(shí)別率還有待提升，其分類(lèi)錯(cuò)誤的主要原因是由于復(fù)雜紋理干擾和瑕疵形狀相似度較高造成的。

圖9 瑕疵樣本分類(lèi)結(jié)果混淆矩陣

隨后，表5記錄了不同方法訓(xùn)練和測(cè)試所需時(shí)間對(duì)比結(jié)果，其中，T1為完成訓(xùn)練集所耗時(shí)間，T2為測(cè)試所有瑕疵樣本所耗時(shí)間，T3為測(cè)試單張瑕疵樣本所耗時(shí)間。從表5中可以看出，由于本文采用了雙路高分辨率特征提取，導(dǎo)致訓(xùn)練模型時(shí)耗時(shí)較長(zhǎng)，比Cascade RCNN增加了196 min，這是由于參數(shù)量增多造成的，在測(cè)試單張瑕疵樣本時(shí)，所需時(shí)間為305.67 ms，雖然耗時(shí)較其它方法有所增加，但在保證高精度的同時(shí)基本可以滿(mǎn)足工廠車(chē)間實(shí)際的生產(chǎn)要求。

表5 各算法訓(xùn)練時(shí)間和測(cè)試時(shí)間對(duì)比

3.5 檢測(cè)結(jié)果呈現(xiàn)

針對(duì)布匹瑕疵數(shù)據(jù)集中的幾類(lèi)問(wèn)題進(jìn)行測(cè)試，例如復(fù)雜花色背景、小目標(biāo)以及縱橫比懸殊等，如圖10所示，本文改進(jìn)的方法在上述場(chǎng)景下取得了較高的檢測(cè)精度，并且能夠生成緊密的邊界框，這說(shuō)明本文所提出的方法針對(duì)布匹瑕疵數(shù)據(jù)進(jìn)行了有效設(shè)計(jì)，達(dá)到了較好的泛化能力，對(duì)于該數(shù)據(jù)集中存在大量復(fù)雜花色背景的瑕疵圖，可以很好消除背景的影響，對(duì)于大量的小目標(biāo)瑕疵可以達(dá)到較好的檢測(cè)成功率，同時(shí)對(duì)于尺度變化大和瑕疵樣本較少的類(lèi)別也能夠生成緊密的包圍框。

圖10 布匹瑕疵檢測(cè)效果

4 結(jié)束語(yǔ)

本文針對(duì)花色布匹瑕疵檢測(cè)存在的問(wèn)題，提出了雙路高分辨率轉(zhuǎn)換網(wǎng)絡(luò)的花色布匹瑕疵檢測(cè)方法，該方法通過(guò)雙路高分辨率特征提取、優(yōu)化自適應(yīng)邊框生成和改進(jìn)聚焦損失，對(duì)花色布匹瑕疵檢測(cè)的精度有了明顯提高，并且優(yōu)于當(dāng)前主流的花色布匹瑕疵檢測(cè)方法，說(shuō)明該方法更適用于布匹瑕疵缺陷檢測(cè)的情況。未來(lái)可以考慮在檢測(cè)模型輕量化上進(jìn)行改進(jìn)。