徐 健，胡道杰，劉秀平，韓 琳，閆煥營

(1.西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048；2.深圳羅博泰爾機(jī)器人技術(shù)有限公司，廣東 深圳 518109)

棉花是紡織工業(yè)的主要原料，棉紗、棉布也是出口創(chuàng)匯的重要商品。目前，棉花的采摘方式主要是機(jī)器采摘，這種方式效率高，缺點(diǎn)是棉花含雜量大，導(dǎo)致生產(chǎn)過程中處理難度大。隨著棉花含雜率的提高，紡織品的缺陷率也大大上升，這將造成嚴(yán)重的紡織品浪費(fèi)。同時(shí)人工除雜耗時(shí)耗力，生產(chǎn)效率低且排雜不徹底[1-2]。機(jī)器視覺采用非接觸式檢測，對于工業(yè)自動(dòng)化生產(chǎn)檢測領(lǐng)域來說，不僅提高了系統(tǒng)的可靠性，而且有較高的制造效益和智能化程度，因此，基于機(jī)器視覺的檢測識(shí)別具有重要的研究價(jià)值[3]。通過改進(jìn)算法對棉雜的檢測識(shí)別，可為棉花含雜率的測量提供基本技術(shù)支持[4]。

基于視覺的棉雜檢測算法主要有基于顏色特征提取的方法、閾值法和基于深度學(xué)習(xí)的方法等?；陬伾卣魈崛〉姆椒ㄖ饕菍D像進(jìn)行處理后，利用提取棉花纖維和變異性化纖的RGB色彩模型空間的各成分?jǐn)?shù)據(jù)，可實(shí)現(xiàn)數(shù)值聚類分析。利用RGB彩色圖像閾值聚類數(shù)據(jù)分析的技術(shù)將得到的圖像數(shù)據(jù)細(xì)分為3級，依次是棉纖維、RGB分布均勻與不均勻的異性纖維，進(jìn)而確定有無異性纖維，在對圖像進(jìn)行形態(tài)學(xué)等預(yù)處理后，獲得棉花異性纖維特征，該方法可提升準(zhǔn)確度，但檢測速度并未有改善[5]。閾值法是通過選擇線性插值法處理非極大值抑制實(shí)現(xiàn)高低閾值的迭代優(yōu)化，完成閾值自動(dòng)優(yōu)化以及偽邊緣抑制進(jìn)而檢測棉雜，但該方法有較大誤差[6]。基于深度學(xué)習(xí)的方法是使用了改進(jìn)MobileNetV2模型對棉花表面雜質(zhì)進(jìn)行精準(zhǔn)檢測與分類，但存在網(wǎng)絡(luò)判斷誤差，該方法在識(shí)別能力與速度方面還有待提高[7]。

在總結(jié)上述各種棉雜檢測方法中準(zhǔn)確率與速度的限制因素的基礎(chǔ)上，本文采用改進(jìn)型RFB-MobileNetV3(RFB-MNV3)為主體的檢測網(wǎng)絡(luò)框架作為檢測器，通過減少原來模型的冗余網(wǎng)絡(luò)層數(shù)，在不改變原模型準(zhǔn)確率的前提下，優(yōu)化算法從而提高檢測速度。同時(shí)結(jié)合改進(jìn)型RFB模塊部署到模型池化層中，提升檢測準(zhǔn)確率與速度，滿足嵌入式設(shè)備實(shí)時(shí)在線檢測的需求。最后在同等情況下，將本文檢測算法與其它檢測算法進(jìn)行分析比較，為棉雜的在線檢測提供技術(shù)理論參考。

1 MobileNetV3檢測算法流程

1.1 MobileNetV3模型結(jié)構(gòu)

自深度學(xué)習(xí)開展以來，研究在樹莓派、手機(jī)等資源受限的嵌入式設(shè)備上部署輕量級網(wǎng)絡(luò)架構(gòu)已成為趨勢。MobileNetV3(MNV3)作為輕量級神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法，其主要部分可作為YOLOv4中的CSPdarknet53來進(jìn)行特征提取，如圖1所示。MNV3模型不但采用了深度可分離卷積方法，將空間濾波和特征形成機(jī)制分開，進(jìn)而合理地分解傳統(tǒng)卷積結(jié)構(gòu)，而且具有線性瓶頸的倒殘差機(jī)制，從而通過問題的低秩性質(zhì)使得斷層結(jié)構(gòu)變得更加合理。

圖1 MNV3 block結(jié)構(gòu)圖

倒殘差結(jié)構(gòu)中包括了1×1的深度卷積層和1×1投影層，當(dāng)且僅當(dāng)輸入與輸出之間存在著相同的通道后，才用剩余信號通道去連接殘差結(jié)構(gòu)，該結(jié)構(gòu)保持輸入與輸出緊湊連接，同時(shí)內(nèi)部擴(kuò)展到高維特征空間，以提高非線性通道變換的表達(dá)能力。MNV3模型增添了獨(dú)特的Bneck網(wǎng)絡(luò)結(jié)構(gòu)，在結(jié)構(gòu)中將H-Swish激活函數(shù)與ReLU激活函數(shù)互搭使用，以減少運(yùn)算量，提高算法的推理性能。此外，為調(diào)整各通道的權(quán)重，在各通道上都添加了基于擠壓激勵(lì)結(jié)構(gòu)的輕量級注意力模型。通過專家驗(yàn)證，確認(rèn)其在ImageNet中的分類準(zhǔn)確率比MobileNetV2高3.2%，同時(shí)也將模型的冗余計(jì)算減少15%，檢測速度提高25%[8]。目前，將棉雜檢測分類的實(shí)際問題應(yīng)用在工業(yè)純棉生產(chǎn)車間中，MNV3模型結(jié)構(gòu)對準(zhǔn)確率的提高有極大的促進(jìn)作用，其信號通道自定義作用方式如下：

式中：α為輸入特征矩陣；H-Swish為代替原來Swish的激活函數(shù)；ReLU6為普通ReLU激活函數(shù)，限制最大輸出值為6，可在低精度時(shí)有很好的數(shù)值分辨率。ReLU6(α+3)/6近似替代Sigmoid函數(shù)[9]進(jìn)行特征矩陣運(yùn)算，得出輸出特征矩陣與α相乘，使網(wǎng)絡(luò)推理優(yōu)化以加快檢測速度。

1.2 檢測算法流程

將本文所提出的改進(jìn)型RFB-MNV3方法運(yùn)用在棉雜圖像檢測中，以準(zhǔn)確迅速地檢測棉雜。首先，利用工業(yè)相機(jī)收集棉雜圖像，選取適用圖像作數(shù)據(jù)集，同時(shí)建立改進(jìn)型RFB-MNV3模型環(huán)境，將原圖像進(jìn)行預(yù)處理[10],使用卷積神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練，得到模型訓(xùn)練的最優(yōu)權(quán)重，從而獲得雜質(zhì)檢測識(shí)別效果的分析情況；隨后使用輕量化主干網(wǎng)絡(luò)進(jìn)行特征提取，無論在速度上還是準(zhǔn)確度上都能得到顯著提高，其具體檢測流程如圖2所示。

圖2 檢測流程

2 改進(jìn)的MNV3網(wǎng)絡(luò)結(jié)構(gòu)

一些經(jīng)典的深度學(xué)習(xí)模型網(wǎng)絡(luò)可以達(dá)到較高的目標(biāo)識(shí)別準(zhǔn)確率，但存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、參數(shù)量多、內(nèi)存要求高、預(yù)測速度慢等缺點(diǎn)。MNV3的互補(bǔ)搜索技術(shù)具有參數(shù)量少、性能高、速度快等特點(diǎn)，是一種輕量級且高效的網(wǎng)絡(luò)結(jié)構(gòu)。在MNV3網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，調(diào)整參數(shù)層和通道數(shù)，縮減參數(shù)量，可提高檢測速度，更適合雜質(zhì)圖像的檢測識(shí)別。對收集到的棉雜數(shù)據(jù)集進(jìn)行分析發(fā)現(xiàn)，樣品中的雜質(zhì)呈細(xì)小而雜亂的分布。利用工業(yè)相機(jī)定焦鏡頭拍攝，再經(jīng)灰度化預(yù)處理，得到尺寸為640像素×480像素的棉花圖像，將雜質(zhì)圖像進(jìn)行人工標(biāo)注，棉花里的大部分雜質(zhì)會(huì)被其它因素影響，因此，對之前使用的模型結(jié)構(gòu)進(jìn)行改進(jìn)，改進(jìn)后的MNV3結(jié)構(gòu)如表1所示。

表1 改進(jìn)后的MNV3結(jié)構(gòu)

由表1可看出，本文研究通過刪除MNV3中一些冗余的網(wǎng)絡(luò)層結(jié)構(gòu)，輸出通道數(shù)從1 280個(gè)改為240個(gè)，網(wǎng)絡(luò)層數(shù)從5個(gè)改為2個(gè)，但重要的模塊則被保留。減少卷積層和通道數(shù)的主要目的是提高算法的檢測速度，但同時(shí)會(huì)使模型的擬合度降低，因此，本文將除輸出層外其它所有層的激活函數(shù)都規(guī)定為Hard-Swish。因?yàn)镸NV3部分激活函數(shù)是ReLU，其非線性比Hard-Swish要差，因此，使用Hard-Swish可確保擬合度不會(huì)下降。改進(jìn)后的MNV3模型是在原MNV3模型訓(xùn)練效果不變的條件下，減少了參數(shù)和網(wǎng)絡(luò)層，使改進(jìn)后的MNV3模型更具輕量化，可使檢測速度提升更快。本文MNV3均采用改進(jìn)后的模型。

3 改進(jìn)型RFB模塊

由于僅改進(jìn)模型的網(wǎng)絡(luò)層數(shù)，不能更好地優(yōu)化嵌入式設(shè)備中的在線檢測，因此要解決精度和速度的再優(yōu)化問題，本文選擇感受野(RFB)模塊[11]，其由不同卷積內(nèi)核擴(kuò)展速度的卷積層組成，可在淺層特征圖中獲得更多的容量信息，并增強(qiáng)檢測網(wǎng)絡(luò)的特征表示。原始RFB模塊實(shí)時(shí)算法特征表達(dá)能力不強(qiáng)，且特征提取器要求不能太深，導(dǎo)致各方面檢測效果不佳。本文提出的改進(jìn)型RFB模塊結(jié)構(gòu)圖如圖3所示。

圖3 改進(jìn)型RFB模塊結(jié)構(gòu)圖

棉雜圖像數(shù)據(jù)傳輸信號由上采樣層傳輸進(jìn)入，通過用3×3卷積層取代5×5卷積層，用1×3+3×1卷積層取代3×3卷積層，模型被壓縮，使參數(shù)減少了約1/9，然后用1×1卷積激活ReLU函數(shù)。與原來的RFB模塊相比，其優(yōu)勢突出表現(xiàn)在2個(gè)方面：1)采用單獨(dú)的下采樣，RFB不需要考慮模塊輸入和輸出間通道不一致的問題，可采取直接連接的方法而不是快捷方式，壓縮結(jié)構(gòu)將參數(shù)減少了25%，使信息傳輸過程更加暢通，即可增加RFB模塊的信息多樣性；2)改進(jìn)RFB模塊將5×5卷積替換成1×3+3×1+3×3結(jié)構(gòu)，在MNV3網(wǎng)絡(luò)結(jié)構(gòu)中加入改進(jìn)的RFB模型，池化層做連接處理，形成本文改進(jìn)型RFB-MNV3網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)通過信息擴(kuò)大緩存加速算法的識(shí)別能力，使檢測準(zhǔn)確率與速度進(jìn)一步提升。

4 實(shí)驗(yàn)過程及結(jié)果與分析

實(shí)驗(yàn)環(huán)境以Windows 10為操作系統(tǒng)，處理器(CPU)為i7-7800X，顯卡(GPU)為NVIDIA GTX2080Ti，64 G內(nèi)存。訓(xùn)練環(huán)境是基于Keras：2.1.5，Tensorflow-GPU：1.13.1的深度學(xué)習(xí)框架，GPU加速庫為Cuda10.0、Cudnn7.4.1.5，編程語言采用Python3.6。

4.1 數(shù)據(jù)集

目標(biāo)檢測模型的精度在一定程度上受數(shù)據(jù)集質(zhì)量的影響。由于目前并沒有棉雜圖像的公開數(shù)據(jù)集，以機(jī)器視覺為主要判別方式的前提下，本文搭建了基于改進(jìn)型RFB-MNV3模型的棉雜圖像采集系統(tǒng)，主要組成部分包括LED光照系統(tǒng)、工業(yè)相機(jī)、鏡頭、計(jì)算機(jī)、實(shí)驗(yàn)架平臺(tái)。

依據(jù)實(shí)際工業(yè)生產(chǎn)情況，考慮到原棉中雜質(zhì)較多，在實(shí)驗(yàn)中隨機(jī)挑選10個(gè)500 g的棉雜樣品鋪平分散進(jìn)行圖像采集。利用工業(yè)相機(jī)拍攝棉花中不同數(shù)量的棉殼、棉稈、頭發(fā)和棉葉雜質(zhì)圖像，共收集到4 850張棉雜圖像。選取4種常見棉雜進(jìn)行數(shù)據(jù)集制作，分別為棉殼(seed)、棉稈(stalk)、頭發(fā)(hair)和棉葉(leaf)。使用LabelImg工具標(biāo)注所收集到的棉雜圖像(見圖4)，標(biāo)注完成后就會(huì)生成相應(yīng)的XML文件進(jìn)行存儲(chǔ)。迭代訓(xùn)練中的棉雜數(shù)據(jù)集會(huì)經(jīng)過在線數(shù)據(jù)增強(qiáng)處理，防止出現(xiàn)過擬合，最終根據(jù)實(shí)際情況判斷選擇訓(xùn)練集和測試集數(shù)量以8:2的比例劃分。

圖4 棉雜標(biāo)注圖

4.2 訓(xùn)練過程

卷積神經(jīng)網(wǎng)絡(luò)的淺層學(xué)習(xí)特征具備通用性，故結(jié)合自建棉雜數(shù)據(jù)集與遷移學(xué)習(xí)思想，將這些通用特征學(xué)習(xí)從部分已訓(xùn)練完善的網(wǎng)絡(luò)中遷移過來，以節(jié)省訓(xùn)練時(shí)間。本文模型訓(xùn)練主要有預(yù)訓(xùn)練和微調(diào)2個(gè)部分。首先，通過改進(jìn)型RFB-MNV3模型在公開檢測數(shù)據(jù)集上預(yù)訓(xùn)練得到初始權(quán)重系數(shù)；其次，將得到的初始權(quán)重賦值給棉雜數(shù)據(jù)集訓(xùn)練微調(diào)網(wǎng)絡(luò)；最后，為保護(hù)模型的穩(wěn)定性，設(shè)置早停機(jī)制，若網(wǎng)絡(luò)性能沒有提升則訓(xùn)練過程就會(huì)停止，保存訓(xùn)練得到的權(quán)重信息。

為進(jìn)一步確認(rèn)棉雜識(shí)別和鑒定方法的效果，采用AdamOptimizer優(yōu)化器進(jìn)行參數(shù)優(yōu)化，因?yàn)槠淇煽刂茖W(xué)習(xí)速度，經(jīng)過偏置校正后，每次迭代學(xué)習(xí)率都有一個(gè)確定范圍，使得參數(shù)比較平穩(wěn)。初始學(xué)習(xí)率默認(rèn)為0.000 1。每個(gè)歸一化處理(Batch size)數(shù)據(jù)輸入后，采用梯度下降法對權(quán)重參數(shù)進(jìn)行更新，初始訓(xùn)練為200個(gè)訓(xùn)練次數(shù)(Epoch)，且在不斷優(yōu)化權(quán)重下增加Epoch，這樣可增強(qiáng)改進(jìn)型RFB-MNV3模型特征提取的優(yōu)化功能，實(shí)時(shí)對棉雜圖像進(jìn)行檢測，進(jìn)一步檢驗(yàn)其模型穩(wěn)定性。棉雜特征圖中某處數(shù)值的大小表示為當(dāng)前位置對當(dāng)前特征強(qiáng)弱的反應(yīng)。假如在第1個(gè)卷積層用了64張3×3的卷積核，那么在卷積結(jié)束后就有64張通道可以進(jìn)行計(jì)算，也就是說在這層共產(chǎn)生了64張單通道的特征圖。主干特征提取網(wǎng)絡(luò)的可視化特征圖如圖5所示。

圖5 可視化特征圖

第1個(gè)卷積層操作完成后，且把同層的特征圖重疊在同一圖像的張量上，通道依據(jù)順序并排疊加，所有卷積層都可得到不同的特征。當(dāng)卷積神經(jīng)網(wǎng)絡(luò)不斷加深層數(shù)，從深層獲得的特征圖會(huì)不斷抽象化，使人眼難以識(shí)別目標(biāo)的紋理和邊緣等特征，但改進(jìn)后的RFB-MNV3模型網(wǎng)絡(luò)以其特立的跨層接入，可以使深層特征圖中的高層輸出特征圖與低層輸出特征圖進(jìn)行互補(bǔ)和增強(qiáng)，這樣在多跳連接的過程中可以更好地描述目標(biāo)特征信息，使整個(gè)網(wǎng)絡(luò)在不同層次上被提取為更豐富的特征。

4.3 性能檢測

為證明本文模型的有效性，分別對單類棉雜目標(biāo)和多類棉雜目標(biāo)進(jìn)行檢測。圖6(a)、7(a)示出改進(jìn)前模型對單類及多類棉雜目標(biāo)的檢測結(jié)果，圖6(b)、7(b)示出改進(jìn)后模型對單類及多類棉雜目標(biāo)的檢測結(jié)果。對比可知，改進(jìn)型RFB-MNV3模型檢測效果更好，定位準(zhǔn)確且沒有漏檢。

圖6 改進(jìn)前后模型對單類棉雜檢測結(jié)果

圖7 改進(jìn)前后模型對多類棉雜檢測結(jié)果

為突出本文算法的優(yōu)越性，采用不同光照變化和變換相機(jī)位姿等條件下攝取的棉雜圖像進(jìn)行驗(yàn)證，圖8示出不同相機(jī)位姿的檢測結(jié)果?？梢姡趶?fù)雜變化條件下，本文改進(jìn)模型可準(zhǔn)確地對棉雜目標(biāo)進(jìn)行檢測，檢測準(zhǔn)確率顯著提高。不同光照情況下的檢測結(jié)果如圖9所示，分別對應(yīng)為光照較強(qiáng)、正常和較弱3種情況。對比可知，在不同光照條件下，本文改進(jìn)模型可準(zhǔn)確檢測棉雜，且無誤檢、漏檢情況。

圖8 不同相機(jī)位姿的檢測結(jié)果

圖9 不同光照條件下的檢測結(jié)果

4.4 評估指標(biāo)

目標(biāo)檢測領(lǐng)域一般利用平均準(zhǔn)確率(AP)和平均準(zhǔn)確率均值(mAP)作為模型性能效果的評價(jià)指標(biāo)[12]。計(jì)算公式如下：

式中：fpre表示模型檢測出正確的目標(biāo)數(shù)占總目標(biāo)數(shù)的比例；frec表示模型已檢測出的目標(biāo)數(shù)占總目標(biāo)數(shù)的比例；TP為模型預(yù)測正確的正確樣本數(shù)；FP為模型預(yù)測錯(cuò)誤的正確樣本數(shù)；FN為模型預(yù)測錯(cuò)誤的錯(cuò)誤樣本數(shù)；AP為召回率和準(zhǔn)確率曲線下的面積；mAP為所有的類別的AP均值；k為檢測的總次數(shù);R為召回率，%；P為準(zhǔn)確率，%。由于準(zhǔn)確率與召回率受置信度的影響，即實(shí)驗(yàn)中引入mAP值來表現(xiàn)模型的評價(jià)和性能效果。

改進(jìn)型RFB-MNV3模型下棉雜分類的平均準(zhǔn)確率如圖10、11所示。由各類別檢測結(jié)果的AP值看出，檢測平均準(zhǔn)確率在83%～96%之間，其中識(shí)別棉殼的效果最好(平均準(zhǔn)確率為96%)。改進(jìn)型RFB-MNV3算法使各類別平均準(zhǔn)確率均值可達(dá)到88.15%，即該模型能較好地將棉雜進(jìn)行檢測識(shí)別，可基本滿足實(shí)際工業(yè)生產(chǎn)需求[13]。

圖10 棉雜分類平均準(zhǔn)確率

圖11 改進(jìn)型RFB-MNV3分類檢測效果

4.5 對比分析

為客觀證明本文改進(jìn)方法的優(yōu)越性與可行性[14]，在自制棉雜數(shù)據(jù)集上，分別與其它經(jīng)典算法進(jìn)行對比，結(jié)果如表2所示。

表2 不同模型下的檢測效果對比

分析表2可得，改進(jìn)型RFB-MNV3模型的參數(shù)量所占空間是MNV3的6.38%，與其它網(wǎng)絡(luò)模型相比為0.46%～3.42%。改進(jìn)型RFB-MNV3模型檢測速度可達(dá)到0.02 s，檢測時(shí)間比MNV3快175 s，比其它網(wǎng)絡(luò)模型平均快213 s。網(wǎng)絡(luò)模型的檢測時(shí)間受不同因素影響，如卷積運(yùn)算、激活函數(shù)等，雖然與參數(shù)量不是線性相關(guān)，但參數(shù)量下降后檢測時(shí)間也顯然會(huì)縮短，這有利于實(shí)時(shí)檢測。改進(jìn)型RFB-MNV3模型的平均準(zhǔn)確率為89.05%，比MNV3高6.83%，比其它網(wǎng)絡(luò)模型高8.48%～17.32%。平均準(zhǔn)確率均值將平均精確率和召回率結(jié)合，可評價(jià)圖像分類的綜合性能。改進(jìn)型RFB-MNV3模型的平均準(zhǔn)確率均值比MNV3高6.31%，比其它網(wǎng)絡(luò)高8.76%～17.72%。綜上可知，對于棉雜圖像的分類識(shí)別，改進(jìn)型RFB-MNV3模型的各項(xiàng)檢測指標(biāo)均優(yōu)于其它網(wǎng)絡(luò)模型。

為驗(yàn)證改進(jìn)型RFB-MNV3模型的檢測效果，本文利用不同目標(biāo)檢測模型算法在同一實(shí)驗(yàn)平臺(tái)上進(jìn)行訓(xùn)練和測試，驗(yàn)證結(jié)果如圖12所示?？梢钥闯觯倪M(jìn)型RFB-MNV3可顯著提升準(zhǔn)確率。改進(jìn)后算法在棉雜檢測方面具有高準(zhǔn)確率且無漏檢，表明其在棉雜檢測分類中具有很大的應(yīng)用可能性，本文算法可滿足棉花生產(chǎn)過程中所要求的基本應(yīng)用[15]。

圖12 各類算法檢測結(jié)果對比

5 結(jié) 論

本文提出基于RFB-MNV3的棉雜檢測方法，根據(jù)棉雜的具體特征進(jìn)行研究，通過對原始MNV3的改進(jìn)以及引入改進(jìn)型RFB模塊，提高模型的速度與精度，從而實(shí)現(xiàn)棉雜的有效檢測。本文提出的移動(dòng)端部署輕量化網(wǎng)絡(luò)模型，目的是開發(fā)最優(yōu)化高效率輕量化網(wǎng)絡(luò)模型，以優(yōu)化嵌入式設(shè)備上的精確延遲交換，這將是今后棉雜檢測研究發(fā)展的趨勢。本文算法在網(wǎng)絡(luò)結(jié)構(gòu)與檢測分析方面進(jìn)行了改進(jìn)，其在原棉檢測中可有效地用于棉雜識(shí)別，但還需要開發(fā)一種更優(yōu)化的算法，以計(jì)算棉花圖像中的含雜率，這將是今后進(jìn)一步研究的內(nèi)容。