杜鵬程, 蔣篤忠, 向 陽(yáng), 敬禮恒, 伍守貴, 駱君華

(1.湖南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院,湖南長(zhǎng)沙 410128; 2.湖南省煙草公司永州市公司,湖南永州 425099)

不同成熟度的新鮮煙葉中,色素含量、組織結(jié)構(gòu)與生化成分等都有顯著差異[1]。針對(duì)不同成熟度的新鮮煙葉,采用不同烘烤工藝等手段,可以顯著提升煙葉的總含糖量、外觀質(zhì)量、中性致香物質(zhì)含量[2],從而提高煙葉的經(jīng)濟(jì)效益。因此,對(duì)新鮮煙葉進(jìn)行成熟度分選,可有效提高煙葉利用率與價(jià)值。目前,我國(guó)對(duì)煙葉成熟度的鑒別主要依靠煙農(nóng)與技術(shù)人員的經(jīng)驗(yàn),通過(guò)辨別煙葉的葉面顏色、茸毛脫落狀態(tài)以及采摘斷面情況等來(lái)分選煙葉的成熟度[3]。對(duì)個(gè)人經(jīng)驗(yàn)的依賴(lài),使得對(duì)煙葉成熟度的鑒別結(jié)果存在不穩(wěn)定性與差異性,不同的人甚至同一人的不同次鑒別,結(jié)果均可能存在差異。

為了保證煙葉成熟度分選的準(zhǔn)確性與穩(wěn)定性,已有學(xué)者做了大量相關(guān)研究。李佛琳等通過(guò)計(jì)量不同成熟度煙葉的葉綠素含量,構(gòu)建TMDSPADV分類(lèi)模型,實(shí)現(xiàn)對(duì)煙葉成熟度的分選[4]。李佛琳等利用ASD Fieldspec FR2500光譜儀,收集5種新鮮煙葉的不同反射特征光譜,實(shí)現(xiàn)對(duì)不同煙葉成熟度的量化判斷[5]。韓龍洋等對(duì)4種不同成熟度煙葉進(jìn)行高光譜分析,利用最小二乘法(PLS)建立煙葉成熟度判別模型,實(shí)現(xiàn)對(duì)煙葉成熟度的定性鑒別[6]。刁航等分析5種成熟度煙葉的可見(jiàn)光反射光譜,采用支持向量機(jī)的方法,建立煙葉成熟度田間原地分析模型[7]。王承偉等利用近紅外光譜結(jié)合隨機(jī)森林算法(RF)建立新鮮煙葉成熟度判別模型,對(duì)上、中、下部成熟度煙葉的預(yù)測(cè)準(zhǔn)確率均在90%以上[8]。楊睿等提出近紅外光譜與圖像識(shí)別相結(jié)合方式,建立新鮮煙葉成熟度識(shí)別模型,針對(duì)3種烤煙品種煙葉成熟度的識(shí)別準(zhǔn)確率分別為94.08%、94.78%、92.96%[9]。Chen等利用近紅外(NIR)光譜與卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合,構(gòu)建不同成熟度的新鮮煙葉識(shí)別模型,針對(duì)上、中、下部煙葉進(jìn)行成熟度識(shí)別,準(zhǔn)確率分別為96.18%、95.20%、97.31%[10]。Li等基于MobileNetV2建立輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型,對(duì)新鮮煙葉的3種不同部位、不同成熟度進(jìn)行識(shí)別訓(xùn)練,準(zhǔn)確率為95%[11]?，F(xiàn)有煙葉成熟度鑒別技術(shù)中,基于近紅外光譜的檢測(cè)方式均取得較好的效果,可實(shí)現(xiàn)對(duì)煙葉成熟度的智能分選。但近紅外光譜儀造價(jià)昂貴,操作復(fù)雜,對(duì)于普通煙農(nóng)或者中小企業(yè)而言,接受程度不高,實(shí)用性不強(qiáng),難以運(yùn)用到日常生產(chǎn)過(guò)程中。

近年來(lái),基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在農(nóng)產(chǎn)品圖像識(shí)別與分析領(lǐng)域顯現(xiàn)出巨大的優(yōu)越性,已在烤煙分級(jí)中得到應(yīng)用。曾祥云將深度學(xué)習(xí)應(yīng)用于烤煙分級(jí)中,運(yùn)用軟件工程方法設(shè)計(jì)試驗(yàn)系統(tǒng)并通過(guò)功能測(cè)試與集成測(cè)試,驗(yàn)證該系統(tǒng)滿(mǎn)足烤煙日常生產(chǎn)需求[12]。王士鑫基于卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)烤煙質(zhì)量的分級(jí),對(duì)烤煙煙葉分級(jí)的識(shí)別準(zhǔn)確率高達(dá)97.21%[13]。謝濱瑤等采用機(jī)器學(xué)習(xí)方法,利用BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)對(duì)新鮮煙葉的下部葉成熟度進(jìn)行鑒別,其準(zhǔn)確率分別為93.83%、97.53%[14]。

本研究將YOLO v5s目標(biāo)檢測(cè)算法應(yīng)用于新鮮煙葉的成熟度識(shí)別,進(jìn)一步探究深度學(xué)習(xí)在煙葉成熟度識(shí)別領(lǐng)域中的可行性。

1 材料與方法

1.1 圖像采集與煙葉數(shù)據(jù)集構(gòu)建

試驗(yàn)煙葉品種為云煙87,采集于湖南省永州市江華縣白芒營(yíng)鎮(zhèn)上崗村、永州市藍(lán)山縣土市鎮(zhèn)三廣村。在煙葉種植田塊中,隨機(jī)選取長(zhǎng)勢(shì)一致的植株,分別采集上、中、下部煙葉。將采集得到的煙葉樣本平展于白色幕布上,用OPPO R15手機(jī)對(duì)樣本進(jìn)行拍照,照片圖像尺寸為1 080像素×1 440 像素,保存格式為JPG。依據(jù)煙葉成熟度分級(jí)標(biāo)準(zhǔn)和專(zhuān)家意見(jiàn),將不同部位的煙葉圖像劃分成欠成熟、成熟、過(guò)成熟。數(shù)據(jù)集部分樣本圖像如圖1所示。共采集1 500份新鮮煙葉樣本,并通過(guò)左右翻轉(zhuǎn)、上下翻轉(zhuǎn)、增加圖像對(duì)比度等方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充,以提升檢測(cè)模型的泛化能力和魯棒性,最終獲得2 460份訓(xùn)練樣本,不同部位各成熟度樣本種類(lèi)與數(shù)量詳見(jiàn)表1。

表1 煙葉樣本種類(lèi)及其數(shù)量

將數(shù)據(jù)樣本按照上部葉、中部葉、下部葉劃分為3類(lèi)數(shù)據(jù)集,采用LabelImg標(biāo)注工具對(duì)訓(xùn)練集、驗(yàn)證集照片進(jìn)行標(biāo)注,標(biāo)注界面如圖2所示。訓(xùn)練集、驗(yàn)證集、測(cè)試集的數(shù)量比為7 ∶2 ∶1。因原始圖像尺寸太大,為提高YOLO v5s目標(biāo)檢測(cè)算法的訓(xùn)練速度,將標(biāo)注好的圖像尺寸重新設(shè)置為640像素×640像素大小。

1.2 YOLO v5s模型建立

深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域中得到了廣泛的應(yīng)用。常見(jiàn)的目標(biāo)檢測(cè)算法有R-CNN[15]、Fast R-CNN[16]、YOLO[17]、SSD[18]等,其中YOLO目標(biāo)檢測(cè)算法具有極快的檢測(cè)速度與較高的精準(zhǔn)度。本研究使用于2020年6月推出的YOLO v5目標(biāo)檢測(cè)算法,對(duì)新鮮煙葉成熟度進(jìn)行識(shí)別。該算法依據(jù)特征提取模塊與卷積核數(shù)量的不同,網(wǎng)絡(luò)結(jié)構(gòu)從簡(jiǎn)單到復(fù)雜可以分為YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x,且基本框架大致相同。網(wǎng)絡(luò)結(jié)構(gòu)越復(fù)雜,模型檢測(cè)精度越高,速度越慢。從實(shí)際生產(chǎn)出發(fā),綜合考慮模型檢測(cè)精度與速度的關(guān)系,本研究采用YOLO v5s目標(biāo)檢測(cè)算法進(jìn)行試驗(yàn)。 YOLO v5s目標(biāo)檢測(cè)算法的網(wǎng)絡(luò)結(jié)構(gòu)分為輸入層(Input)、骨干網(wǎng)(Backbone)、頸部(Neck)、輸出層(Output)4個(gè)部分[19],其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

輸入層上采用Mosaic增強(qiáng)方法,在原有數(shù)據(jù)集的基礎(chǔ)上,隨機(jī)選取4幅圖像,進(jìn)行隨機(jī)裁剪、縮放、分布,使得原有數(shù)據(jù)集更加豐富,減少模型過(guò)擬合的風(fēng)險(xiǎn)。

骨干網(wǎng)主要包括了Focus、BottleneckCSP與SPP,作用為對(duì)輸入層處理后的數(shù)據(jù)集進(jìn)行特征提取。Focus模塊如圖4所示,將1幅640×640×3的圖像經(jīng)過(guò)4次切片與32次卷積操作,最終會(huì)得到320×320×12的特征圖,提高了模型的運(yùn)算速度。BottleneckCSP模塊由Conv與X個(gè)Resnet模塊組成,能在降低模型參數(shù)與內(nèi)存成本的同時(shí),保證準(zhǔn)確率。SPP模塊將提取出的特征進(jìn)行融合,通過(guò)3種尺度的池化,解決輸入圖像大小固定化的問(wèn)題。

為加強(qiáng)骨干網(wǎng)提取特征的聚合能力,頸部通過(guò)多個(gè)CBL與CSP2_1構(gòu)成FPN與PAN結(jié)構(gòu),如圖5所示。FPN結(jié)構(gòu)采取自上而下的方式,將高層特征與Backbone中對(duì)應(yīng)層CSP模塊輸出特征進(jìn)行聚合,再由PAN結(jié)構(gòu)自下而上與FPN對(duì)應(yīng)層聚合淺層特征,使高層特征與淺層特征完成聚合,減少特征丟失,提高檢測(cè)準(zhǔn)確度。

輸出層采用GIOU_LOSS(廣義交叉聯(lián)合)作為Boundingbox(邊框回歸)的損失函數(shù),確定最佳邊界框,并輸出3種大小不同的特征圖,對(duì)應(yīng)3種圖像區(qū)域。針對(duì)目標(biāo)框的篩選,采用NMS非極大值抑制操作。

1.3 模型評(píng)價(jià)

為保證本試驗(yàn)提出模型的有效性與可用性,采用召回率(R)、精準(zhǔn)度(P)、平均精準(zhǔn)度(mAP)、單幅圖像檢測(cè)耗時(shí)這4個(gè)指標(biāo)來(lái)評(píng)價(jià)YOLO v5s目標(biāo)檢測(cè)算法訓(xùn)練出的模型,相關(guān)指標(biāo)的計(jì)算公式如下所示。

(1)

(2)

(3)

式中：TP表示真正樣本數(shù)量;FP表示假正樣本數(shù)量;FN表示假負(fù)樣本數(shù)量;N表示樣本中種類(lèi)數(shù)量;AP表示單個(gè)樣本的平均精準(zhǔn)度,n為樣本總數(shù)。

1.4 模型訓(xùn)練試驗(yàn)平臺(tái)

2022年9月,在湖南農(nóng)業(yè)大學(xué)蟻工團(tuán)隊(duì)實(shí)驗(yàn)室服務(wù)器上完成試驗(yàn)。試驗(yàn)采用的計(jì)算機(jī)型號(hào)為DELL T5820,搭載CPU 為XEON W2155,內(nèi)存32G,顯卡為NVIDIA RTX3080 8G。軟件操作系統(tǒng)為Windows 10,使用的編程語(yǔ)言為Python3.9,深度學(xué)習(xí)的框架為Pytorch 1.8。

針對(duì)不同部位新鮮煙葉的訓(xùn)練參數(shù)具體如下：總迭代周期設(shè)為300,權(quán)重衰減系數(shù)設(shè)為0.000 5,迭代批次大小設(shè)為8,初始化學(xué)習(xí)效率設(shè)為0.01,采用余弦退火的衰減方式,其衰退率為0.01,置信度閾值設(shè)為0.5。

2 結(jié)果與分析

2.1 模型訓(xùn)練結(jié)果

采用YOLO v5s目標(biāo)檢測(cè)算法,分別對(duì)新鮮煙葉的上、中、下部葉數(shù)據(jù)集進(jìn)行訓(xùn)練,不同部位新鮮煙葉的成熟度模型訓(xùn)練過(guò)程的mAP值與損失函數(shù)值隨迭代周期變化的結(jié)果如圖6至圖8所示。mAP值與損失函數(shù)值均在前50次迭代周期內(nèi)迅速變化,訓(xùn)練在180次迭代周期后模型逐漸穩(wěn)定。

2.2 模型效果評(píng)估

各模型精確度(P)、召回率(R)、平均精準(zhǔn)度(mAP)、單幅圖檢測(cè)耗時(shí)如表2所示。不同部位新鮮煙葉測(cè)試集的檢測(cè)效果如圖9至圖11所示。

表2 各模型測(cè)試效果

由測(cè)試結(jié)果可知,中部葉模型對(duì)欠熟、成熟的檢測(cè)精準(zhǔn)度分別只有91.8%、93.8%,這是因?yàn)樾迈r中部煙葉欠熟與成熟煙葉的表面顏色特征比較接近,對(duì)識(shí)別造成干擾,使得檢測(cè)結(jié)果偏低。但不同部位新鮮煙葉的成熟度模型在各自測(cè)試集上的總體mAP值均在97%及以上,且單幅圖的測(cè)量時(shí)間為29～30 ms,滿(mǎn)足在高精準(zhǔn)度水平的條件下穩(wěn)定檢測(cè)圖片的高速度。

2.3 與常見(jiàn)檢測(cè)模型的對(duì)比

本試驗(yàn)在相同的訓(xùn)練環(huán)境與訓(xùn)練參數(shù)下,利用目前常見(jiàn)的目標(biāo)檢測(cè)模型,對(duì)新鮮煙葉各部分?jǐn)?shù)據(jù)集分別進(jìn)行訓(xùn)練。各模型測(cè)試結(jié)果如表3所示。

表3 各檢測(cè)模型測(cè)試效果

從YOLO v5s、Mask-RCNN、Faster-RCNN這3種模型的對(duì)比試驗(yàn)中可以看出,Mask-RCNN、Faster-RCNN模型的mAP值均低于YOLO v5s模型,單幅圖像檢測(cè)平均時(shí)間均遠(yuǎn)高于YOLO v5s模型,說(shuō)明通過(guò)YOLO v5s訓(xùn)練的不同部位新鮮煙葉的檢測(cè)模型,在mAP值、單幅圖像平均檢測(cè)時(shí)間方面,均明顯優(yōu)于另外2種常見(jiàn)的目標(biāo)檢測(cè)模型(表3)。圖像的標(biāo)注方式影響模型的訓(xùn)練結(jié)果,Faster-RCNN、YOLO v5s的圖像標(biāo)注方式一致,兩者的測(cè)試結(jié)果基本一致,均是以上部葉測(cè)試結(jié)果為最佳。

3 結(jié)論

本試驗(yàn)針對(duì)新鮮煙葉成熟度實(shí)時(shí)檢測(cè)要求,研究基于YOLO v5s目標(biāo)檢測(cè)算法對(duì)不同部位新鮮煙葉成熟度的檢測(cè)方法。依據(jù)煙葉所在位置將新鮮煙葉分為上、中、下部葉,經(jīng)過(guò)訓(xùn)練得到3種測(cè)試集,且在3種測(cè)試集上的總體mAP值均在97%及以上,單幅圖的測(cè)量時(shí)間在29～30 ms之間,滿(mǎn)足對(duì)不同部位新鮮煙葉檢測(cè)實(shí)際要求。試驗(yàn)對(duì)比了3種常見(jiàn)的目標(biāo)檢測(cè)模型——YOLO v5s、Mask-RCNN、Faster-RCNN,其中通過(guò)YOLO v5s訓(xùn)練的不同部位的新鮮煙葉的檢測(cè)模型均優(yōu)于其余2種。