包曉安,林德守,張 娜

（浙江理工大學(xué) 信息學(xué)院,杭州 310018）

在紡織品的質(zhì)量控制階段,織物疵點(diǎn)檢測是其中的一個(gè)重要環(huán)節(jié)[1].由于織物疵點(diǎn)種類多,形態(tài)變化大,觀察識(shí)別難等,導(dǎo)致織物疵點(diǎn)智能檢測是困擾行業(yè)多年的技術(shù)瓶頸.目前大部分的紡織企業(yè)仍采用人工方法檢測織物瑕疵[2],它易受主觀因素影響,缺乏一致性;且檢測人員在強(qiáng)光下長時(shí)間工作對(duì)視力影響較大; 還存在人工成本較高、漏檢率和誤檢率較高、效率不高等問題.

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展提高,自動(dòng)瑕疵檢測技術(shù)逐漸成為新的研究熱點(diǎn).目前,國內(nèi)外對(duì)織物疵點(diǎn)檢測算法的研究主要是針對(duì)素色織物進(jìn)行的[3].相較于素色織物,色織物由于顏色等特征的加入,導(dǎo)致檢測難度較大,所以目前對(duì)色織物疵點(diǎn)檢測方法的研究較少,且檢測效果都不理想[3].其中,紀(jì)旋等人[4]提出結(jié)合模板校正與低秩分解的紡織品瑕疵檢測方法,解決周期性織物存在拉伸變形問題; 蘭瑜潔等人[5]提出基于頻域?yàn)V波和區(qū)域生長法的瑕疵區(qū)域自適應(yīng)分割方法,提高瑕疵的檢測精度; 張波等人[6]提出基于結(jié)構(gòu)-紋理模型與自適應(yīng)數(shù)學(xué)形態(tài)學(xué)的織物瑕疵加成算法,解決織物紋理多樣性和瑕疵形狀尺寸不確定性造成的檢測效果差的問題.

上述方法主要使用傳統(tǒng)圖像算法,存在檢測算法設(shè)計(jì)只能針對(duì)特定場景,泛化能力弱等問題.隨著深度學(xué)習(xí)算法的不斷改進(jìn),在泛化能力、精度等方面都超越了傳統(tǒng)圖像算法.Wang等人[7]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)檢測算法,在更少先驗(yàn)知識(shí)的情況下,達(dá)到快速,精確的對(duì)織物瑕疵進(jìn)行檢測; Zhao等人[8]提出了基于正樣本訓(xùn)練的缺陷檢測框架,結(jié)合GAN和自動(dòng)編碼進(jìn)行缺陷圖像重建,解決缺陷樣本或陰性樣本少的情況下檢測的問題; Tabernik等人[9]提出了基于語義分割的織物瑕疵區(qū)域的定位方法,可以在少量樣本的訓(xùn)練數(shù)據(jù)中,達(dá)到較好的檢測效果等.

但是,基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)解決方案,還存在著兩個(gè)問題:（1）實(shí)際場景中,存在部分織物花色未在訓(xùn)練數(shù)據(jù)集中出現(xiàn),此類織物檢測效果會(huì)有較大程度退化;（2）織物花色種類繁多,大量無標(biāo)注正?？椢飿颖緵]有得到很好地利用.基于此,本文通過使用特征殘差改進(jìn)Cascade RCNN算法[10],提高對(duì)未知花色織物的檢測能力; 使用瑕疵殘差增強(qiáng)方案,有效利用無標(biāo)注正常織物樣本,提高算法泛化能力.

1 相關(guān)工作

1.1 Cascade RCNN算法概述

Cascade RCNN算法是基于Faster RCNN算法[11]的兩階段目標(biāo)檢測算法.Faster RCNN算法首先在第一階段,通過特征提取網(wǎng)絡(luò)對(duì)圖像提取特征,使用不同比例和大小的預(yù)定義框在特征圖中進(jìn)行滑動(dòng)窗口操作,生成若干anchors,再使用區(qū)域推薦網(wǎng)絡(luò),將這些anchors分為前景和背景,對(duì)前景進(jìn)行回歸,得到邊界框,作為推薦區(qū)域; 第二階段將第一階段生成的推薦區(qū)域進(jìn)行第二次分類,細(xì)分瑕疵類別,并進(jìn)行第二次回歸,得到更加精確的邊界框,作為算法的檢測結(jié)果.由于在第一階段使用區(qū)域推薦網(wǎng)絡(luò)進(jìn)行了前景和背景的分類,雙階段的檢測算法很好地處理了正負(fù)樣本比例失衡問題,算法的檢測精度較高.Cascade RCNN算法在第二階段,級(jí)聯(lián)3個(gè)大小遞增的IOU頭部,每個(gè)頭部對(duì)上一個(gè)頭部得到的結(jié)果再次進(jìn)行回歸和分類,使得到的邊界框更加精確.

1.2 邊框回歸

圖1 邊框回歸

1.3 損失函數(shù)

Cascade RCNN訓(xùn)練損失函數(shù)由目標(biāo)框和預(yù)測框的邊框誤差和分類的置信度誤差加權(quán)求和得到.損失函數(shù)如式（2）所示.

置信度損失Lcls是預(yù)測類別置信度與目標(biāo)類別的誤差,損失函數(shù)采用交叉熵?fù)p失函數(shù),計(jì)算公式如式（4）所示.

2 算法改進(jìn)

2.1 算法整體結(jié)構(gòu)

FR-Cascade RCNN算法對(duì)Cascade RCNN算法進(jìn)行改進(jìn),算法整體結(jié)構(gòu)為,首先使用共享權(quán)值的特征提取網(wǎng)絡(luò)對(duì)模板和瑕疵圖像分別提取特征,將兩個(gè)特征圖相減得到特征殘差圖,并增加一條支路,對(duì)瑕疵特征圖使用ROIAlign[12]將特征圖縮放到7×7大小作為全局特征信息; 通過使用FPN[13]網(wǎng)絡(luò),增加特征的多尺度信息,將FPN網(wǎng)絡(luò)的輸出結(jié)果使用RPN區(qū)域推薦網(wǎng)絡(luò)生成ROI區(qū)域,此時(shí)將7×7大小的全局特征信息疊加到ROI區(qū)域,通過Cascade的級(jí)聯(lián)方式,對(duì)ROI區(qū)域進(jìn)行分類和回歸,得到檢測結(jié)果.算法框架如圖2所示.

圖2 算法整體框架

2.2 數(shù)據(jù)增強(qiáng)方法

常規(guī)數(shù)據(jù)增強(qiáng)操作只能通過對(duì)原有瑕疵樣本進(jìn)行變化得到新的訓(xùn)練樣本,不能將瑕疵特征擴(kuò)展到其他樣本數(shù)據(jù)中,無法有效利用無標(biāo)注的正常樣本,存在較大的局限性.在實(shí)際應(yīng)用中,織物花色的種類較多,存在部分花色未在訓(xùn)練樣本中出現(xiàn),而訓(xùn)練樣本中存在的瑕疵可能只在一些花色中存在,導(dǎo)致使用原始數(shù)據(jù)或常規(guī)數(shù)據(jù)增強(qiáng)得到的數(shù)據(jù)訓(xùn)練得到的模型泛化性能必然較差.針對(duì)此問題,提出一種殘差增強(qiáng)方法,解決瑕疵特征不能擴(kuò)展到其他訓(xùn)練樣本中的問題.該方法通過使用瑕疵樣本和模板樣本逐像素相減求取瑕疵殘差圖,將殘差圖的瑕疵區(qū)域與其他花色的正常無標(biāo)注圖像進(jìn)行融合,得到新的訓(xùn)練樣本.此數(shù)據(jù)增強(qiáng)方式在不破壞新花色背景特征的同時(shí)將不同瑕疵與不同花色織物相互組合,有效的利用了正常無標(biāo)注織物樣本,生成特征豐富的訓(xùn)練數(shù)據(jù).使用瑕疵殘差增強(qiáng)后,mAP指標(biāo)得到了較高的提升.增強(qiáng)計(jì)算方法如式（5）所示.

式中,D為待增強(qiáng)織物圖像,F為瑕疵的織物圖像,T為F的模板圖像,下標(biāo)r為瑕疵區(qū)域編號(hào).圖像增強(qiáng)效果圖如圖3,圖4所示.

圖3 瑕疵樣本和模板樣本逐像素相減得到殘差圖

圖4 正常樣本與殘差圖相加得到目標(biāo)樣本

數(shù)據(jù)增強(qiáng)流程首先從數(shù)據(jù)集中隨機(jī)選擇一張織物圖像,如果織物含有瑕疵,直接將圖像輸入到算法模型進(jìn)行訓(xùn)練; 如果織物不包含瑕疵,隨機(jī)抽取瑕疵圖像,提取瑕疵區(qū)域和該織物進(jìn)行瑕疵殘差增強(qiáng),將生成圖像輸入算法模型進(jìn)行訓(xùn)練,算法中數(shù)據(jù)增強(qiáng)流程如圖5所示.

圖5 殘差增強(qiáng)流程

2.3 特征殘差

針對(duì)實(shí)際場景中,存在未經(jīng)訓(xùn)練的織物花色,此類樣本中存在的瑕疵通過常規(guī)的檢測模型較難被檢出,提出了FR-Cascade RCNN算法,解決此問題.FR-Cascade RCNN模型通過改進(jìn)Cascade RCNN算法,在特征提取層加入特征殘差結(jié)構(gòu),消除樣本背景的干擾,提高模型對(duì)復(fù)雜或未訓(xùn)練花色樣本瑕疵的檢出能力.FR-Cascade RCNN中特征提取網(wǎng)絡(luò)特征輸出函數(shù)如式（6）所示.

其中,O為輸出特征向量,D為瑕疵特征向量,T為模板特征向量,i為特征提取網(wǎng)絡(luò)中的第i階段.FR-Cascade RCNN中特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

圖6中,特征提取網(wǎng)絡(luò)采用ResNext50[14]+DCN[15]模型結(jié)構(gòu),模型結(jié)構(gòu)如表1所示.

表1 特征提取網(wǎng)絡(luò)模型結(jié)構(gòu)

圖6 特征殘差計(jì)算方法

織物瑕疵圖像和模板圖像經(jīng)過共享權(quán)值的特征提取網(wǎng)絡(luò),提取特征后,取特征差值,再通過FPN,增加瑕疵特征的多尺度信息,再通過RPN區(qū)域推薦網(wǎng)絡(luò),得到ROI區(qū)域,最后通過Cascade head,對(duì)ROI區(qū)域進(jìn)行分類和回歸,得到最終瑕疵的區(qū)域和類別.

在實(shí)際場景中需要對(duì)未知花色的圖像進(jìn)行檢測,容易想到消除背景干擾對(duì)檢測結(jié)果會(huì)有較大幫助.可以通過采取瑕疵圖像和模板圖像做差后進(jìn)行檢測,但是由于瑕疵圖像和模板圖像并不是完全對(duì)齊,可能存在幾個(gè)像素至幾十個(gè)像素之間的偏移,所以此種方法并不能提高模型的檢測能力,反而會(huì)降低模型的檢測精度.由于卷積操作本身具備平滑局部特征的能力,所以通過使用共享權(quán)值的特征提取網(wǎng)絡(luò)提取特征后,對(duì)特征差值進(jìn)行檢測,在較大程度上消除了圖像背景的干擾,解決了此問題,較大地提高了對(duì)未知花色的瑕疵檢出能力.

2.4 全局上下文信息

由于上一步的特征殘差網(wǎng)絡(luò)對(duì)背景特征進(jìn)行了極大的過濾,在RPN階段,可以更好地提取得到前景框,但是輸出的候選框失去了目標(biāo)周圍的上下文信息,而在檢測網(wǎng)絡(luò)中,目標(biāo)周圍特征對(duì)于目標(biāo)的定位也有一定幫助,所以網(wǎng)絡(luò)需要一個(gè)全局特征信息去輔助局部瑕疵區(qū)域的分類和定位.把全局特征當(dāng)作一個(gè)ROI疊加到每一個(gè)候選框中去可以為局部瑕疵提供全局特征,網(wǎng)絡(luò)根據(jù)上下文周圍信息進(jìn)行更加精確的定位.在模型中添加全局上下文信息流程圖如圖7所示.

圖7 全局上下文信息添加過程

由于全局特征圖的維度和候選框特征圖的維度不相同,需要將全局特征圖的維度使用ROIAlign的方法降低到和候選框特征圖相同的維度.

3 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)數(shù)據(jù)

3.1 數(shù)據(jù)集介紹

數(shù)據(jù)集由瑕疵樣本和無瑕疵樣本組成,其中瑕疵樣本圖片有4202張,無瑕疵樣本圖片有894張,共68種花色,分辨率為4096×1800.訓(xùn)練集由3523張瑕疵樣本和572張無瑕疵樣本組成,樣本總計(jì)4095張,共63種花色; 測試集由679張瑕疵樣本和321張無瑕疵樣本組成,樣本總計(jì)1000張,共68種花色,其中,未在訓(xùn)練集中出現(xiàn)的花色有5種,共279張.其中包含沾污、錯(cuò)花、水印、花毛、縫頭、縫頭印、蟲粘、破洞、褶子、織疵、漏印、蠟斑、色差、網(wǎng)折和其他等15類瑕疵,共約17 500個(gè)瑕疵區(qū)域.數(shù)據(jù)如表2所示.

表2 數(shù)據(jù)集樣本數(shù)量

瑕疵類別部分樣本中瑕疵區(qū)域如圖8所示.

圖8 瑕疵類別

將測試集分為測試集A和測試集B,其中測試集A中不包含未知花色樣本,共400張圖像,測試集B中包含所有圖像,共679張圖像（測試集B由測試集A和未知花色圖像組成）.實(shí)驗(yàn)數(shù)據(jù)部分織物如圖9所示.

圖9 部分織物數(shù)據(jù)

3.2 實(shí)驗(yàn)設(shè)置與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)基于Ubuntu 16.0.4操作系統(tǒng),使用GPU版PyTorch深度學(xué)習(xí)框架,GPU型號(hào)為Tesla T4,顯存為15 GB.由于數(shù)據(jù)集規(guī)模不大,模型采用經(jīng)過COCO數(shù)據(jù)集預(yù)訓(xùn)練過的參數(shù)進(jìn)行初始化,做遷移學(xué)習(xí).由于圖像較大,batchsize設(shè)置為1.訓(xùn)練時(shí)增加了多尺度訓(xùn)練,增加模型對(duì)不同尺度瑕疵的適應(yīng)能力,訓(xùn)練設(shè)置長邊尺寸為4096,短邊尺寸為1024-1440.由于瑕疵長寬比變化范圍較大,采用K-means方法聚類得到anchor比例為[0.04,0.15,0.5,1.0,2.0,5.0,25.0].學(xué)習(xí)率初始設(shè)置為0.001 25,模型訓(xùn)練初始損失值為0.9514,經(jīng)過12輪訓(xùn)練,損失值收斂到0.1941,此時(shí)降低學(xué)習(xí)率到0.000 125,訓(xùn)練到15輪,最終損失值收斂到0.1423.損失值和mAP收斂曲線如圖10,圖11所示.

圖10 損失值收斂圖

圖11 mAP收斂圖

部分瑕疵檢測實(shí)驗(yàn)效果圖如圖12所示.

圖12 瑕疵檢測效果圖

實(shí)際環(huán)境中,算法模型除了要有較高的瑕疵檢測能力,織物是否含有瑕疵的準(zhǔn)確率也是一個(gè)重要指標(biāo),故評(píng)價(jià)指標(biāo)設(shè)置為score=0.8×mAP+0.2×Acc,使用mAP[16]衡量算法的瑕疵檢測能力,Acc衡量織物是否含有瑕疵的準(zhǔn)確率.mAP和Acc權(quán)值系數(shù)可根據(jù)算法著重點(diǎn)進(jìn)行調(diào)整.

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表3所示,RA為瑕疵殘差增強(qiáng)（Residual Augment）,Cascade+RA指在Cascade RCNN基礎(chǔ)上,加入RA模塊; FR為特征殘差（Feature Residual）,FR-Cascade指在Cascade RCNN基礎(chǔ)上增加了FR模塊; FR+RA指在FR-Cascade基礎(chǔ)上加入RA模塊; GC為全局上下文信息（Global Context）,FR+RA+GC指在Cascade RCNN模塊上同時(shí)加入這3個(gè)模塊; AAcc 為測試集A的 Acc 指標(biāo),B-Acc 為測試集B的 Acc指標(biāo),其他同理.最終各個(gè)瑕疵在測試集B中的檢測結(jié)果如表4所示.

改進(jìn)后的模型實(shí)驗(yàn)結(jié)果如表3所示,其中瑕疵殘差增強(qiáng)相比于增強(qiáng)前,Acc和mAP指標(biāo),都有較大的提高,在測試集A和測試B中分別提高了5.6%和2.4%;改進(jìn)的FR-Cascade RCNN算法,在Acc和mAP指標(biāo)上都得到了較大的提高,Acc在測試集A和測試集B中分別提高了19.2%和20%,mAP分別提高了11.1%和11.8%.在FR-Cascade RCNN基礎(chǔ)上增加RA和GC,得到的最終結(jié)果,在測試集A和測試集B中,Acc分別提高了19.7%和20.5%,mAP分別提高了14.3%和15.2%.實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的FR-Cascade RCNN算法,不僅對(duì)已知花色有較強(qiáng)的檢測能力,在未知花色中,依然保持了較高的精度.

表3 各算法實(shí)驗(yàn)結(jié)果

模型對(duì)不同瑕疵的檢測結(jié)果如表4所示,改進(jìn)后的模型雖然在檢測精度上得到了較高的提升,但是部分類別由于存在大量小目標(biāo)、瑕疵不明顯、極端長寬比、長尾分布等情況,檢測精度還存在一些不足,這些將是算法后序的優(yōu)化方向.

表4 最終實(shí)驗(yàn)結(jié)果

4 結(jié)束語

基于織物含有模板的前提下,通過特征殘差改進(jìn)的FR-Cascade RCNN算法,降低模型對(duì)織物背景花色的敏感度,不僅提高了對(duì)已知花色織物瑕疵的檢測能力,同時(shí),較大程度上解決了對(duì)未知花色織物檢測困難的問題.在此基礎(chǔ)上,通過對(duì)ROI區(qū)域添加全局上下信息,提高瑕疵的定位能力,對(duì)最終的檢測結(jié)果也有一定的提升.同時(shí)提出了瑕疵殘差數(shù)據(jù)增強(qiáng)方案,有效利用正常無標(biāo)注樣本,使模型的泛化能力得到一定的提升.但是,算法對(duì)小瑕疵、不明顯瑕疵等的檢測上依然存在一些不足,這將是算法后序的優(yōu)化方向.