顧海洋, 蔣雪松, 沈 飛, 郁鑫智, 周宏平

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院1,南京 210000)

(南京財(cái)經(jīng)大學(xué)食品科學(xué)與工程學(xué)院2,南京 210000)

水稻經(jīng)過(guò)礱谷加工、碾米和拋光過(guò)程,會(huì)產(chǎn)生不同程度的破損,影響了大米的產(chǎn)量和外觀品質(zhì)。另外,大米在加工和儲(chǔ)存過(guò)程中很可能出現(xiàn)破損和發(fā)霉的現(xiàn)象,而表型缺陷是種子品質(zhì)評(píng)價(jià)的重要指標(biāo)。在大米貿(mào)易流通中,外觀品質(zhì)是影響大米價(jià)格的重要因素之一,因此提高大米分選質(zhì)量具有重要意義[1]。

隨著深度學(xué)習(xí)在目標(biāo)檢測(cè)中的不斷發(fā)展,研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到農(nóng)產(chǎn)品檢測(cè)當(dāng)中,取得了較好的效果,可以為大米品質(zhì)檢測(cè)提供參考。

基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別技術(shù),大致可以分為2類,一類是一階段目標(biāo)檢測(cè)算法(one-stage),包括YOLO[2]、SSD[3]、EfficientNet、Retina Net[4]等;另一類是二階段(two-stage)目標(biāo)檢測(cè)算法,包括R-CNN[5]、Fast R-CNN[6]、PVANet、SPPNet[7]和Mask R-CNN等。

目標(biāo)檢測(cè)網(wǎng)絡(luò)在農(nóng)作物品質(zhì)檢測(cè)中應(yīng)用也越來(lái)越廣泛[8-11]。王巧華等[12]提出了基于YOLOv5s[13]網(wǎng)絡(luò)的改進(jìn)識(shí)別網(wǎng)絡(luò),用來(lái)檢測(cè)棉花種子破損,檢測(cè)準(zhǔn)確率為95.4%。范曉飛等[14]利用以MobileNetV1為骨架的YOLOv5s網(wǎng)絡(luò)對(duì)玉米種子進(jìn)行識(shí)別,其對(duì)玉米種子檢測(cè)精度為93%。顧偉等[15]利用Resnet50網(wǎng)絡(luò)代替SSD算法中的VGG網(wǎng)絡(luò),該網(wǎng)絡(luò)對(duì)群體脫絨棉籽中的破損棉籽的檢測(cè)精度達(dá)到96.1%。

YOLOv5s模型是在YOLO4基礎(chǔ)上改進(jìn)而來(lái),具有檢測(cè)速度快、精度高和泛化能力強(qiáng)等優(yōu)點(diǎn)。為進(jìn)一步提高大米目標(biāo)的識(shí)別精度,本研究對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行改進(jìn),添加小目標(biāo)檢測(cè)層以提高小目標(biāo)識(shí)別率,為使模型輕量化,用Ghost模塊代替YOLOv5s的骨干網(wǎng)絡(luò),再添加CBAM注意力機(jī)制加強(qiáng)對(duì)大米目標(biāo)重要特征提取。利用改進(jìn)后的YOLOv5s網(wǎng)絡(luò)對(duì)大米進(jìn)行識(shí)別,以提高大米識(shí)別率。

1 基于CG-YOLOv5的大米檢測(cè)模型

1.1 YOLOv5s檢測(cè)模型

YOLOv5算法是在2020年提出的,有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x共4個(gè)模型。YOLOv5s網(wǎng)絡(luò)輸入圖片大小為640(像素)×640(像素),經(jīng)過(guò)一系列卷積相關(guān)操作得到32倍下采樣的20×20特征圖、16倍下采樣的40×40特征圖、8倍下采樣的80×80特征圖。20×20、40×40、80×80的特征圖對(duì)應(yīng)檢測(cè)大、中、小目標(biāo)。

1.2 模型的改進(jìn)

1.2.1 小目標(biāo)檢測(cè)層的添加

YOLOv5s原始模型只有3個(gè)檢測(cè)層,負(fù)責(zé)檢測(cè)小目標(biāo)的是80×80的特征圖,該層特征圖包含的語(yǔ)義信息相對(duì)較小,易出現(xiàn)小目標(biāo)漏檢現(xiàn)象。為加強(qiáng)對(duì)小目標(biāo)的識(shí)別率和準(zhǔn)確率,增加一個(gè)小目標(biāo)檢測(cè)層[16],即160×160的特征圖。同時(shí)采用多尺度特征圖相融合的方式,將淺層特征圖與深層特征圖融合,來(lái)保留更多小目標(biāo)語(yǔ)義信息。圖1是添加檢測(cè)層的網(wǎng)絡(luò)結(jié)構(gòu)圖。修改的小目標(biāo)檢測(cè)層有2個(gè)方面。

圖1 添加檢測(cè)層的網(wǎng)絡(luò)結(jié)構(gòu)圖

原80×80的特征圖經(jīng)過(guò)上采樣與骨干網(wǎng)絡(luò)中的第一個(gè)CSP1_1的特征圖相融合,再通過(guò)CSP2_1模塊和卷積操作得到160×160的特征圖,即小目標(biāo)檢測(cè)層尺度。

160×160的特征圖經(jīng)過(guò)卷積模塊與原80×80的特征圖相融合,再經(jīng)過(guò)CSP2_1模塊和卷積操作得到新的80×80的特征圖。

1.2.2 Ghost模塊

使用Ghost模塊替換YOLOv5s骨干網(wǎng)絡(luò)中的CSP1_模塊,Ghost模塊卷機(jī)原理如圖2所示。第1個(gè)普通卷積用來(lái)降低通道數(shù)量,減少網(wǎng)絡(luò)參數(shù)量,第2個(gè)卷積是采用深度可分離卷積中的深度卷積,后將2個(gè)卷積進(jìn)行拼接操作。當(dāng)輸入向量為H(行數(shù))×W(列數(shù))×N(通道數(shù))時(shí),輸出向量為H×W×M(M為偶數(shù))時(shí),輸入向量經(jīng)過(guò)M/2個(gè)1×1×N的卷積核將其壓縮為H×W×M/2的向量。后經(jīng)過(guò)深度卷積,深度卷積對(duì)輸入向量的每1個(gè)通道進(jìn)行1個(gè)不同的k×k×1的卷積運(yùn)算,經(jīng)過(guò)M/2個(gè)深度卷積得到M/2個(gè)H×W的向量。

圖2 Ghost模塊卷積原理圖

Ghost模塊可以有效減少參數(shù)量。例如,對(duì)于1個(gè)N通道的輸入向量,先經(jīng)過(guò)M/2個(gè)1×1×N的普通卷積核,后經(jīng)過(guò)M/2個(gè)3×3×M/2的普通卷積核,這個(gè)過(guò)程所需要的計(jì)算量為:

(1)

如果經(jīng)過(guò)1個(gè)Ghost模塊完成相同的工作,需要的參數(shù)量為:

(2)

在Ghost模塊運(yùn)行時(shí),因?yàn)檩斎胪ǖ篮洼敵鐾ǖ罃?shù)相同,即N=M,所以2種情況下的比值為:

(3)

由此可知,當(dāng)輸入向量通道數(shù)很大時(shí),2種方法的卷積方式參數(shù)量的比值為0.18。

1.2.3 CBAM特征增強(qiáng)模塊

CBAM注意力機(jī)制是一種結(jié)合空間和通道的注意力機(jī)制的模塊[17],包含通道注意力機(jī)制和空間注意力機(jī)制。CBAM注意力機(jī)制結(jié)構(gòu)如圖3所示,特征圖先經(jīng)過(guò)通道注意力機(jī)制模塊,后傳入空間注意力機(jī)制模塊,完成特征的提取。

圖3 CBAM注意力機(jī)制結(jié)構(gòu)

輸入特征圖,先經(jīng)過(guò)通道注意力機(jī)制,分別進(jìn)行自適應(yīng)平均池化和自適應(yīng)最大池化,得到2個(gè)1×1通道權(quán)重矩陣,在經(jīng)過(guò)類似瓶頸層的結(jié)構(gòu)減少參數(shù)量,2個(gè)特征在向量相加后經(jīng)過(guò)sigmoid激活函數(shù),生成單通道特征圖。單通道特征圖與輸入特征進(jìn)行乘法運(yùn)算,生成中間特征圖。經(jīng)過(guò)空間注意力機(jī)制,通過(guò)最大池化和平均池化操作得到2個(gè)二維向量拼接,經(jīng)過(guò)一個(gè)卷積層和sigmoid激活函數(shù)后與中間特征圖相乘得到輸出特征圖。

1.3 CG-YOLOv5的大米檢測(cè)模型

為提高大米識(shí)別的精度,提出了CG-YOLOv5大米檢測(cè)模型,網(wǎng)絡(luò)結(jié)構(gòu)圖如表1所示。對(duì)模型的改進(jìn)為:添加一個(gè)小目標(biāo)檢測(cè)層來(lái)提升大米檢測(cè)精度;在特征提取中,將CBAM注意力機(jī)制和CSP1_模塊進(jìn)行融合,組成新的模塊CBAMC3,從而加強(qiáng)對(duì)大米的特征提取;將YOLOv5s骨干網(wǎng)絡(luò)中的CSP1_模塊替換成Ghost模塊,能有效減少參數(shù)量,提高檢測(cè)速度。

表1 網(wǎng)絡(luò)結(jié)構(gòu)表

2 數(shù)據(jù)集的制作和模型訓(xùn)練

2.1 數(shù)據(jù)集的獲取

為了識(shí)別大米,需要采集相關(guān)圖像建立圖像數(shù)據(jù)集。以江蘇興華大米為研究對(duì)象,圖像采集裝置為USB工業(yè)高清相機(jī),型號(hào)為MS500D,采集圖片的格式為jpg。

實(shí)驗(yàn)在傳送帶上實(shí)時(shí)采集樣本圖片。將大米分為3類,分別為正常米、堊白米和碎米。各類大米圖像如圖4所示。訓(xùn)練模型采用VOC數(shù)據(jù)格式,用Labelimg進(jìn)行文件標(biāo)注,將外觀良好的大米標(biāo)注為Normal,將白色不透明和有缺陷的大米標(biāo)注為Chalky,將斷裂的大米標(biāo)注為Broken。

圖4 大米分類圖片

實(shí)驗(yàn)共采集大米圖片2 000張,通過(guò)豐富數(shù)據(jù)集的數(shù)量,可以有效解決因數(shù)據(jù)集不足導(dǎo)致網(wǎng)絡(luò)擬合較差的問(wèn)題,從而提高網(wǎng)絡(luò)的泛化能力。數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí),將訓(xùn)練和驗(yàn)證、測(cè)試集的比例設(shè)為8∶1∶1。經(jīng)統(tǒng)計(jì),訓(xùn)練集中正常米10 702粒,堊白米9 312粒,碎米7 283粒。測(cè)試集中用于評(píng)估模型性能的正常米447粒,堊白米663粒,碎米334粒。

2.2 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

實(shí)驗(yàn)均由單計(jì)算機(jī)完成,計(jì)算機(jī)配置GPU型號(hào)為GeForce GTX 1650 Ti,16G運(yùn)行內(nèi)存,操作系統(tǒng)為64位Windows10,深度學(xué)習(xí)框架為Pytorch 1.10.1、Torchvision 0.11.2,Python3.8編程語(yǔ)言。

訓(xùn)練過(guò)程中的批量尺寸設(shè)置為8,圖片輸入尺寸為640×640,總訓(xùn)練輪數(shù)設(shè)置為200,多線程設(shè)置為3,學(xué)習(xí)速率值為0.001,動(dòng)量參數(shù)值為0.9,權(quán)重衰減系數(shù)值為0.000 5,置信度閾值為0.6。

2.3 評(píng)價(jià)指標(biāo)

對(duì)大米分類識(shí)別檢測(cè)任務(wù)采用準(zhǔn)確率P(Precision)、召回率R(Recall)、F1值(F1 score)、平均精度和平均精度均值作為模型的評(píng)價(jià)指標(biāo)。準(zhǔn)確率P、召回率R、F1值、平均精度和平均精度均值計(jì)算如式(4)～式(8)所示。

(4)

(5)

(6)

(7)

(8)

式中:TP為被正確劃分到正樣本的數(shù)量;FP 為被錯(cuò)誤劃分到正樣本的數(shù)量;FN為被錯(cuò)誤劃分到負(fù)樣本的數(shù)量;N為類別總數(shù)。

AP衡量模型在每個(gè)類別上的識(shí)別精度,mAP衡量模型在所有類別上的平均識(shí)別精度[19]。實(shí)驗(yàn)中用IOU閾值為0.5時(shí)的AP和mAP來(lái)衡量模型效果[20]。檢測(cè)時(shí)間以網(wǎng)絡(luò)檢測(cè)單張圖片所消耗的平均時(shí)間為標(biāo)準(zhǔn)。

3 實(shí)驗(yàn)結(jié)果

3.1 CG-YOLOv5網(wǎng)絡(luò)的檢測(cè)結(jié)果

由于改進(jìn)網(wǎng)絡(luò)CG-YOLOv5是基于YOLOv5s網(wǎng)絡(luò),同時(shí)添加小目標(biāo)檢測(cè)層和CBAM注意力機(jī)制和Ghost模塊進(jìn)行改進(jìn)的,為證明其有效性,對(duì)改進(jìn)前后目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比分析。分別在光照較暗、光照較強(qiáng)、密集情況等室內(nèi)環(huán)境下,利用YOLOv5s和CG-YOLOv5對(duì)大米圖像進(jìn)行識(shí)別,結(jié)果如圖5所示。在光照較暗和光照較強(qiáng)情況下,YOLOv5s和CG-YOLOv5網(wǎng)絡(luò)能對(duì)大米實(shí)現(xiàn)正確的識(shí)別,但當(dāng)大米密集情況下,YOLOv5s網(wǎng)絡(luò)誤將2粒米識(shí)別成1粒,而CG-YOLOv5能準(zhǔn)確地識(shí)別出來(lái)。檢測(cè)大米目標(biāo)的各類型準(zhǔn)確率、召回率、F1值、平均精度、平均精度均值如表2所示。

表2 改進(jìn)模型前后對(duì)比實(shí)驗(yàn)結(jié)果

圖5 改進(jìn)模型前后識(shí)別效果圖

由表2可知,在檢測(cè)時(shí)間相同的情況下研究提出的CG-YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)在碎米的AP上比改進(jìn)前的YOLOv5s網(wǎng)絡(luò)高3.7%,在準(zhǔn)確率上提高9.7%,這說(shuō)明小目標(biāo)檢測(cè)層對(duì)碎米檢測(cè)有很好的效果。CG-YOLOv5相較于YOLOv5s網(wǎng)絡(luò)在平均F1精度提升2.6個(gè)百分點(diǎn),mAP提升4.3個(gè)百分點(diǎn),所有性能提升比較明顯。CG-YOLOv5在3類大米的檢測(cè)中對(duì)碎米的檢測(cè)效果較差,原因是碎米面積小,在圖片中所占像素點(diǎn)較少,因此算法對(duì)碎米檢測(cè)效果不佳。CG-YOLOv5在3類大米的檢測(cè)中對(duì)正常米的檢測(cè)效果最好,原因是正常米特征單一且在圖片所占像素點(diǎn)較多,因此網(wǎng)絡(luò)對(duì)正常米有很好的檢測(cè)效果。

3.2 不同注意力機(jī)制的性能對(duì)比

在基于CG-YOLOv5網(wǎng)絡(luò)的基礎(chǔ)上,采用了不同注意力機(jī)制進(jìn)行實(shí)驗(yàn)。將訓(xùn)練完成后的模型對(duì)大米圖像測(cè)試集進(jìn)行驗(yàn)證,結(jié)果如表3所示。

表3 不同注意力機(jī)制的檢測(cè)結(jié)果

從表3可以看出,有CBAM注意力機(jī)制的模型平均F1值和mAP都是最高的,性能要優(yōu)于CA、SE、SAM注意力機(jī)制的模型,相較于CA注意力機(jī)制模型平均F1值和mAP分別提升3%,所以本文選擇添加CBAM注意力機(jī)制。在平均F1值和mAP上,CBAM注意力機(jī)制比SAM分別提高2.8%和2%,這得益于通道注意力模塊。

3.3 特征可視化

為了直觀CBAM注意力機(jī)制的效果,本研究對(duì)27層結(jié)構(gòu)(如表1所示)的特征圖進(jìn)行可視化,如圖6所示,使用CBAM注意力機(jī)制后獲取的特征圖中大米目標(biāo)輪廓信息更明顯,說(shuō)明CBAM增強(qiáng)了對(duì)大米目標(biāo)信息的提取,忽略其他無(wú)關(guān)特征。

圖6 測(cè)試圖像和加入CBAM機(jī)制前后特征圖可視化

3.4 模型檢測(cè)效果對(duì)比實(shí)驗(yàn)

利用相同數(shù)據(jù)集對(duì)另外8種目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,得到最優(yōu)權(quán)重文件后,在測(cè)試集上進(jìn)行測(cè)試,9種網(wǎng)絡(luò)的AP、mAP、平均檢測(cè)時(shí)間如表4所示。在檢測(cè)精度上,該方法的mAP為96.5%,均高于其他8種目標(biāo)檢測(cè)網(wǎng)絡(luò),比Faster R-CNN的mAP高40.9個(gè)百分點(diǎn),比SSD高2.8個(gè)百分點(diǎn);特別是對(duì)正常米的識(shí)別精度明顯優(yōu)于其他網(wǎng)絡(luò),并且,其他的8種目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)正常米的檢測(cè)精度要高于碎米的平均精度。在檢測(cè)時(shí)間上,該方法的平均檢測(cè)時(shí)間為41 ms,均快于其他目標(biāo)檢測(cè)網(wǎng)絡(luò),比YOLOv3[21]快119 ms,比YOLOv4-tiny[22]快35 ms。綜合比較各個(gè)類別的AP、mAP和平均檢測(cè)時(shí)間,本研究改進(jìn)的網(wǎng)絡(luò)具有更好的性能,能夠?qū)崟r(shí)檢測(cè)大米,滿足大米品質(zhì)檢測(cè)時(shí)的實(shí)時(shí)性要求。

表4 檢測(cè)網(wǎng)絡(luò)性能指標(biāo)對(duì)比

3.5 消融實(shí)驗(yàn)

為探究不同模塊對(duì)網(wǎng)絡(luò)性能的影響,做了消融實(shí)驗(yàn),性能指標(biāo)如表5所示。模型的復(fù)雜度可以用參數(shù)量來(lái)衡量,參數(shù)量越小,說(shuō)明模型復(fù)雜度越低。采用Ghost模塊的網(wǎng)絡(luò),在網(wǎng)絡(luò)參數(shù)量上明顯低于未使用Ghost模塊的網(wǎng)絡(luò),說(shuō)明Ghost模塊具有輕量化的作用,可有效地提高模型的檢測(cè)速度。加入CBAM注意力機(jī)制的網(wǎng)絡(luò)在檢測(cè)mAP上比YOLOv5s網(wǎng)絡(luò)高2.9%,說(shuō)明CBAM注意力機(jī)制能增強(qiáng)網(wǎng)絡(luò)對(duì)大米的特征提取。將檢測(cè)層增加為4個(gè)檢測(cè)層,雖然降低了檢測(cè)效率,但有效地提高了檢測(cè)精度,mAP值提高了3%。引入Ghost模塊的網(wǎng)絡(luò)有效地減少了模型的參數(shù)量和檢測(cè)時(shí)間,mAP提升了1.8%,充分說(shuō)明了Ghost模塊不僅能減少參數(shù)量,而且能提升模型的性能。實(shí)驗(yàn)結(jié)果表明,本文所提出的改進(jìn)對(duì)網(wǎng)絡(luò)性能均有促進(jìn)作用,CG-YOLOv5與YOLOv5s網(wǎng)絡(luò)相比mAP提高了4.3%,正常米、堊白米、碎米的AP分別提高了7.0%、2.2%、3.7%。

表5 消融實(shí)驗(yàn)結(jié)果

4 結(jié)論

研究提出了一種基于改進(jìn)YOLOv5s網(wǎng)絡(luò)的大米外觀品質(zhì)識(shí)別模型(CG-YOLOv5),用于檢測(cè)大米的外觀品質(zhì)識(shí)別。在YOLOv5s目標(biāo)檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上,添加了小目標(biāo)檢測(cè)層和使用Ghost輕量化模塊、融合CBAM注意力機(jī)制,提高了網(wǎng)絡(luò)結(jié)構(gòu)識(shí)別精度。

在相同數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的YOLOv5s模型的平均F1值為92.6%,mAP為96.5%,比YOLOv5s網(wǎng)絡(luò)分別提升了2.6%和4.3%。通過(guò)實(shí)驗(yàn)研究不同注意力機(jī)制對(duì)網(wǎng)絡(luò)性能的影響,表明CBAM注意力機(jī)制對(duì)網(wǎng)絡(luò)性能更有促進(jìn)作用。為證明CBAM注意力機(jī)制的有效性,進(jìn)行了特征圖可視化,說(shuō)明CBAM增強(qiáng)了對(duì)大米目標(biāo)信息的提取。然后與主流的8種網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比,本研究改進(jìn)的網(wǎng)絡(luò)平均檢測(cè)精度最高,效果最好,可以用于大米品質(zhì)檢測(cè)中。