郭新東,鄧玄齡,孫 瑜

(山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院,山西晉中 030800)

紅棗具有優(yōu)良營(yíng)養(yǎng)價(jià)值、藥用價(jià)值和經(jīng)濟(jì)價(jià)值,目前種植面積接近蘋(píng)果和柑橘的果樹(shù),但是棗的采收期短且較為集中,僅發(fā)育20 d左右,棗的機(jī)械化采摘可以解決人工采摘效率低、勞動(dòng)強(qiáng)度大的問(wèn)題[1-2]。機(jī)器視覺(jué)系統(tǒng)是農(nóng)業(yè)采摘機(jī)器人的重要組成部分,包括目標(biāo)圖像的采集、定位、檢測(cè)等。傳統(tǒng)的圖像檢測(cè)算法主要基于顏色、形狀、紋理等能夠突出目標(biāo)種類和成熟度的特征[3-4],但是特征描述局限于自然環(huán)境條件和人的主觀判斷等因素,算法識(shí)別魯棒性和泛化性不強(qiáng)。紅外光譜和高光譜成像技術(shù)[5]由于成本較高使其無(wú)法在紅棗檢測(cè)等農(nóng)業(yè)領(lǐng)域得到應(yīng)用。深度學(xué)習(xí)在作物圖像分類[6-7]、圖像分割[8-10]、圖像檢測(cè)[11-12]等相關(guān)領(lǐng)域已獲得廣泛的應(yīng)用?；趫D像的目標(biāo)檢測(cè)算法應(yīng)用中,王昱潭等[13]提出基于雙損失函數(shù)的Faster R-CNN模型對(duì)靈武長(zhǎng)棗圖像進(jìn)行檢驗(yàn)測(cè)試;劉天真等[14]提出YOLOv3-SE模型進(jìn)行自然場(chǎng)景下的冬棗檢測(cè);王昱潭等[15]在不加載預(yù)訓(xùn)練模型的情況下,提出一種改進(jìn)SSD模型實(shí)現(xiàn)靈武長(zhǎng)棗圖像的目標(biāo)檢測(cè)任務(wù)。

以上基于深度學(xué)習(xí)的紅棗研究多是棗類表面缺陷檢測(cè),或是某單一種類(靈武長(zhǎng)棗/冬棗等)研究,并且訓(xùn)練過(guò)程中極端的前景-背景類不平衡,令YOLO等模型在多尺度小目標(biāo)檢測(cè)上準(zhǔn)確率不高。姚青等[16]改進(jìn) RetinaNet的水稻冠層害蟲(chóng)為害狀自動(dòng)檢測(cè),模型平均精度均值達(dá)到 93.76%;研究人員開(kāi)展了基于改進(jìn) RetinaNet的果園復(fù)雜環(huán)境下蘋(píng)果檢測(cè)。鑒于此,筆者以復(fù)雜自然環(huán)境拍攝紅棗圖像為研究對(duì)象,按照紅棗成熟度將紅棗分為4類,基于RetinaNet網(wǎng)絡(luò)訓(xùn)練紅棗成熟度分類模型,訓(xùn)練和測(cè)試模型性能,為紅棗智能化采摘機(jī)器的視覺(jué)檢測(cè)提供理論基礎(chǔ)和技術(shù)保證。

1 材料與方法

1.1 數(shù)據(jù)集制作

1.1.1數(shù)據(jù)集采集。該研究中,互聯(lián)網(wǎng)上收集不同成熟度、不同分辨率、果實(shí)重疊、葉片遮擋等自然生長(zhǎng)環(huán)境下拍攝的紅棗數(shù)字圖像,以增加研究樣本的多樣性。原始的紅棗數(shù)據(jù)集總共包含100張圖像,部分圖像數(shù)據(jù)集如圖1所示。

圖1 不同自然環(huán)境下紅棗圖像Fig.1 The images of the jujube dataset in natural environments

1.1.2圖像預(yù)處理。將紅棗圖像尺寸歸一化為600×600像素用于模型的訓(xùn)練和測(cè)試。對(duì)數(shù)據(jù)集使用圖像增強(qiáng)方法,如垂直或水平翻轉(zhuǎn)、隨機(jī)裁剪、亮度調(diào)整、對(duì)比度調(diào)整和飽和度調(diào)整等來(lái)增加數(shù)據(jù)集數(shù)量,減少因圖像數(shù)量不足可能引起的過(guò)擬合,提高模型的魯棒性和泛化能力,擴(kuò)充后數(shù)據(jù)集有502張圖像。

1.1.3數(shù)據(jù)集制作。使用數(shù)據(jù)集標(biāo)注工具LabelImg進(jìn)行手動(dòng)標(biāo)注[17],標(biāo)注紅棗類別為脆熟期(ripe)、著色期(near-ripe)、白熟期(near-raw)、幼果期(raw)4類。使用標(biāo)注工具在圖像中繪制每個(gè)紅棗邊界框,紅棗數(shù)據(jù)集采用的是VOC2007格式,LabelImg輸出的XML文件包含標(biāo)注紅棗像素標(biāo)注框坐標(biāo)和標(biāo)簽信息并存儲(chǔ)在Annotations文件夾下。紅棗圖像數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證集和測(cè)試集3組,訓(xùn)練集∶驗(yàn)證集∶測(cè)試集=8∶1∶1。訓(xùn)練集和驗(yàn)證集分別包含412和44張圖像,46張圖像作為測(cè)試集。

1.2 RetinaNet模型構(gòu)建RetinaNet以殘差網(wǎng)絡(luò)ResNet50和特征金字塔網(wǎng)絡(luò)Feature Pyramid Networks(FPN)為骨干網(wǎng)絡(luò),使用結(jié)構(gòu)相同、參數(shù)不共享的2個(gè)子網(wǎng)絡(luò),實(shí)現(xiàn)目標(biāo)框分類和回歸邊界塊分割。ResNet網(wǎng)絡(luò)[18]在結(jié)構(gòu)中增加直連通道實(shí)現(xiàn)隔層線性傳遞,主要包括卷積殘差塊和恒等殘差塊,分別實(shí)現(xiàn)網(wǎng)絡(luò)維度轉(zhuǎn)換和網(wǎng)絡(luò)深度增加。該研究使用的RetinaNet模型以ResNet 50為骨干網(wǎng)絡(luò)進(jìn)行圖片特征提取。FPN對(duì)ResNet生成的多尺度特征進(jìn)行了增強(qiáng),并計(jì)算卷積特征圖[19],自ResNet網(wǎng)絡(luò)結(jié)構(gòu)頂層特征上采樣之后和低層特征進(jìn)行一個(gè)從上向下的連接,每一層都可用來(lái)探測(cè)不同尺度的目標(biāo)。從單一分辨率的完整紅棗圖像中有效提取出豐富、多尺度的特征金字塔。RetinaNet網(wǎng)絡(luò)訓(xùn)練時(shí)單個(gè)圖像產(chǎn)生大量候選框,用Focal Loss損失函數(shù)來(lái)均衡極端的前景-背景類不平衡[20],減小易分類樣本的權(quán)重,提高難分類樣本的權(quán)重,從而增加模型檢測(cè)精度。RetinaNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 RetinaNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The structure of RetinaNet

H和W表示特征圖的高和寬,C1 ～ C5表示殘差網(wǎng)絡(luò)ResNet的輸出特征層,P3 ～ P7表示5個(gè)特征金字塔輸出層特征圖。RetinaNet使用特征金字塔級(jí)別P3 ～ P7,其中P3 ～ P5是從對(duì)應(yīng)ResNet殘差階段C3 ～ C5使用自上而下和橫向連接的輸出計(jì)算出來(lái)的,P3由C3、C4和C5卷積運(yùn)算求和得來(lái),P4由C5下采樣后和C4相加所得,P5是由C5經(jīng)過(guò)3×3 步長(zhǎng)為2卷積得來(lái),P6是通過(guò)跨步卷積計(jì)算在C5上的3×3 步長(zhǎng)2卷積獲得,P7是通過(guò)P6上使用3×3步長(zhǎng)為2卷積計(jì)算出來(lái)的,提高大目標(biāo)檢測(cè)精度。P3、P4、P5、P6、P7大小分別為75×75×256、38×38×256、19×19×256、10×10×256、5×5×256,將他們傳送給目標(biāo)框回歸和分類回歸。分類回歸子網(wǎng)絡(luò)主要進(jìn)行4次256通道卷積操作和1次anchors數(shù)×4 (紅棗目標(biāo)分類數(shù))的卷積操作,存放所有基于anchors的檢測(cè)框的分類信息。目標(biāo)框回歸子網(wǎng)絡(luò)主要進(jìn)行4次256通道的卷積操作和1次anchors數(shù)×4的卷積操作。RetinaNet解碼過(guò)程即將先驗(yàn)框與分類超過(guò)置信度閾值的分?jǐn)?shù)羅列出來(lái),再對(duì)框的位置和分類得分進(jìn)行非極大抑制篩選,得到最終預(yù)測(cè)框信息。

1.3 評(píng)價(jià)指標(biāo)平均精度(average-precision, AP)、平均精度均值(mean average-precision, mAP)、F1 Score、Loss用于評(píng)價(jià)基于RetinaNet的紅棗檢測(cè)模型的有效性[21]。

平均精度(AP)表示P-R曲線與坐標(biāo)軸組成的封閉曲線下的面積,分類器的性能和AP值呈正相關(guān)。

(1)

(2)

(3)

式中:P(precision)為準(zhǔn)確率,表示預(yù)測(cè)框中檢測(cè)正確數(shù);R(Recall)為召回率,表示正確檢測(cè)出的正樣本在所有正樣本中比例;TP (true positive)是預(yù)測(cè)為正樣本且實(shí)際也為正樣本;FP (false positive)是預(yù)測(cè)為正樣本但實(shí)際為負(fù)樣本;FN (false negative)表示預(yù)測(cè)為負(fù)樣本但實(shí)際為正樣本。P-R曲線是以P為縱坐標(biāo),R為橫坐標(biāo)組成的曲線。當(dāng)R越大同時(shí)P也能保持較高水準(zhǔn)時(shí),模型的計(jì)算結(jié)果比較好。

平均精度均值(mAP)表示在同一RetinaNet模型下紅棗4種分類AP的平均值。

(4)

式中:A表示紅棗4種類別數(shù);AP(a)為第a類目標(biāo)的AP值。mAP值越大,模型分類效果越好。

F1 Score是指精確率與召回率的調(diào)和平均數(shù),取值范圍從0到1,取值越大代表模型結(jié)果越好。計(jì)算公式如下:

(5)

Loss損失值的大小用于判斷是否收斂。

1.4 試驗(yàn)平臺(tái)及參數(shù)network initialization試驗(yàn)采用Pytorch搭建了深度學(xué)習(xí)框架,編譯環(huán)境為Python3.7。其中計(jì)算機(jī)處理器為Intel(R)Core(M)i7-8750H,主頻2.20 GHz,內(nèi)存8 GB,顯卡為NVIDIA GeForce 1050Ti,顯存為4 G來(lái)進(jìn)行加速訓(xùn)練。

1.5 模型訓(xùn)練ResNet-50-FPN主干網(wǎng)和600像素的圖像進(jìn)行訓(xùn)練,模型訓(xùn)練先初始化網(wǎng)絡(luò),然后利用Adam為優(yōu)化器來(lái)優(yōu)化參數(shù)。由于數(shù)據(jù)集較小,模型訓(xùn)練使用遷移學(xué)習(xí),將訓(xùn)練分為凍結(jié)階段和解凍階段[22]。考慮到電腦硬件的有限,學(xué)習(xí)率設(shè)置為0.000 1,權(quán)重衰減設(shè)置為0,用于計(jì)算梯度的平均和平方系數(shù)betas=(0.9,0.999)。利用ResNet50網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重參與訓(xùn)練,凍結(jié)階段訓(xùn)練50期,批處理尺寸設(shè)置為4,解凍階段訓(xùn)練150期,批處理尺寸設(shè)置為2?？傆?xùn)練時(shí)長(zhǎng)約為8 h。

默認(rèn)置信度為0.5,非極大抑制(intersection over union, IoU)值為0.3,只有置信度大于0.5且IoU小于0.3的對(duì)象框才會(huì)保存下來(lái)。RetinaNet的Focal Loss損失機(jī)制通過(guò)不斷的迭代訓(xùn)練,快速降低損失值得到穩(wěn)定的檢測(cè)結(jié)果。由訓(xùn)練日志中的損失值數(shù)據(jù)繪制出損失值曲線,由圖3可知,驗(yàn)證損失(val loss)低于訓(xùn)練損失(train loss),訓(xùn)練集損失和驗(yàn)證集損失有收斂的趨勢(shì),損失值波動(dòng)較大,對(duì)其進(jìn)行平滑處理。驗(yàn)證集損失在訓(xùn)練160期后基本上保持在0.220左右不改變,說(shuō)明模型基本上收斂。

圖3 訓(xùn)練集和驗(yàn)證集損失函數(shù)收斂曲線Fig.3 Convergent curve of train loss function and val loss function

2 結(jié)果與分析

使用RerinaNet和紅棗數(shù)據(jù)集測(cè)試模型的有效性,紅棗果實(shí)成熟度分類檢驗(yàn)測(cè)試結(jié)果如表1所示。紅棗脆熟期、著色期、白熟期、幼果期果實(shí)檢測(cè)平均精度AP分別為84.19%、68.76%、67.55%、76.44%。模型平均精度均值mAP為74.235%。著色期、白熟期、幼果期預(yù)測(cè)結(jié)果差的原因一是由于果實(shí)主要顏色綠色部分,樹(shù)葉的重合或遮擋影響模型對(duì)成熟度的判定,二是在標(biāo)注數(shù)據(jù)集時(shí)3個(gè)時(shí)期紅棗的標(biāo)注可能由于人的主觀模糊性引起分類不準(zhǔn)確,后續(xù)進(jìn)行數(shù)據(jù)集的更新以取得更好的檢測(cè)效果。

將訓(xùn)練好的模型在紅棗測(cè)試集上進(jìn)行測(cè)試,部分檢測(cè)結(jié)果如圖4所示。從圖4可以看出,對(duì)于復(fù)雜自然環(huán)境下,如有遮擋和陰影、重疊和暗光、多目標(biāo)和重疊、光照和陰影、模糊和遮擋、模糊和暗光等自然生長(zhǎng)環(huán)境下采集的紅棗圖片,基于RetinaNet的檢測(cè)模型基本可以測(cè)出紅棗目標(biāo)并按照類對(duì)紅棗進(jìn)行檢測(cè)分類,基本滿足農(nóng)業(yè)采摘機(jī)器人的應(yīng)用要求。但對(duì)于紅棗尺寸本身較小且在復(fù)雜生長(zhǎng)環(huán)境下水果局部遮擋、果實(shí)重疊等果實(shí)在檢測(cè)時(shí),由于可檢測(cè)部分尺寸較小出現(xiàn)了漏檢或錯(cuò)檢,需要進(jìn)一步優(yōu)化模型,增加模型多尺度檢測(cè)能力。

圖4 不同環(huán)境中檢測(cè)結(jié)果Fig.4 Detection results of fruits under different environments

3 結(jié)論

該研究針對(duì)不同成熟度紅棗圖像中多尺度紅棗目標(biāo)檢測(cè)問(wèn)題,以自然場(chǎng)景下獲取的紅棗圖像為研究對(duì)象,提出了一種基于RetianNet的檢測(cè)模型。該研究使用復(fù)雜自然環(huán)境包含多種遮擋、重疊等類型的紅棗圖像作為數(shù)據(jù)集,對(duì)RetinaNet進(jìn)行訓(xùn)練和測(cè)試。試驗(yàn)結(jié)果表明,該研究提出的RetinaNet對(duì)自然環(huán)境下的紅棗果實(shí)能夠?qū)崿F(xiàn)較好檢測(cè)結(jié)果,對(duì)脆熟期 (ripe)、著色期 (near-ripe) 和幼果期 (raw)檢測(cè)平均精度值分別為84.19%、68.76%、67.55%、76.44%,平均精度均值達(dá)到74.235%,基本滿足農(nóng)業(yè)應(yīng)用中采摘機(jī)器人的精度要求。因此,可進(jìn)一步擴(kuò)充數(shù)據(jù)集樣本數(shù),在制作數(shù)據(jù)集標(biāo)簽時(shí),分類更加精確,對(duì)RetinaNet做一定的優(yōu)化改進(jìn)提高模型識(shí)別率。