李頎　楊軍

摘要：針對(duì)葡萄特征提取不夠充分且果粒排列密集相互遮擋難以準(zhǔn)確檢測(cè)的問(wèn)題，以陜西省鄠邑區(qū)戶太8號(hào)葡萄為研究對(duì)象，提出一種基于特征金字塔網(wǎng)絡(luò)（FPN）特征融合的Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)模型完成復(fù)雜背景情況下葡萄果粒的檢測(cè)與識(shí)別。以ResNet50為主干網(wǎng)絡(luò)，引入金字塔結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)模型對(duì)葡萄果粒不同分辨率特征的提取能力，同時(shí)加入GA-RPN網(wǎng)絡(luò)生成自適應(yīng)錨框，引入遮擋補(bǔ)償機(jī)制，以解決密集葡萄果粒存在的遮擋問(wèn)題。模型驗(yàn)證結(jié)果表明，本研究提出的模型精度均值（AP）在候選框與原標(biāo)記框的重疊率（IOU）閾值為50時(shí)可達(dá)95.9%，對(duì)葡萄果粒、果穗的檢測(cè)準(zhǔn)確率分別為95.8%、96.1%，相比于原始Faster R-CNN模型識(shí)別性能更優(yōu)。利用雙目視覺(jué)算法對(duì)葡萄果粒進(jìn)行尺寸測(cè)量，在最佳測(cè)量距離（0.6～1.4 m）其相對(duì)誤差可控制在2%以內(nèi)。

關(guān)鍵詞：葡萄無(wú)損檢測(cè);多分辨率特征融合;遮擋補(bǔ)償;機(jī)器視覺(jué)

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1000-4440（2022）02-0394-09

Grape size detection based on multi-resolution feature fusion

LI Qi YANG Jun

Abstract：In view of the insufficient feature extraction of grapes and the difficulty in accurate detection of dense occlusion of grape grains， a Faster R-CNN convolutional neural network model based on feature pyramid network（FPN）feature fusion was proposed to detect and identify grape grains under complex background in Huyi District of Shaanxi Province. The ResNet50 was used as the main network， and the pyramid structure was introduced to enhance the extraction ability of the network model for different resolution characteristics of grape fruit. At the same time， the GA-RPN network was added to generate the adaptive anchor frame， and the occlusion compensation mechanism was introduced to solve the occlusion problem of dense grape fruit. The model verification results showed that the average precision （AP） of the proposed model could reach 95.9% when the threshold of overlap rate between candidate box and original marked box （IOU） was 50， and the detection accuracy of grapes and strings was 95.8% and 96.1%， respectively， which was better than that of the original Faster R-CNN model. Using binocular vision algorithm to measure the size of grape seeds， the relative error can be controlled within 2% at the optimal measurement distance （0.6-1.4 m）.

Key words：nondestructive testing of grapes;multi-resolution feature fusion;occlusion compensation;machine vision

農(nóng)產(chǎn)品信息快速無(wú)損檢測(cè)是現(xiàn)代農(nóng)作物精細(xì)管理的關(guān)鍵技術(shù)之一[1-4]。傳統(tǒng)的小規(guī)模種植主要通過(guò)農(nóng)戶肉眼觀察田間作物信息以及經(jīng)驗(yàn)來(lái)判斷作物的生長(zhǎng)狀況，難以適應(yīng)現(xiàn)代化大規(guī)模的作物種植。計(jì)算機(jī)與圖像處理技術(shù)在國(guó)內(nèi)快速發(fā)展[5-7]，被廣泛應(yīng)用于售賣階段的農(nóng)產(chǎn)品檢測(cè)和分級(jí)，但在生長(zhǎng)狀況的實(shí)時(shí)監(jiān)測(cè)方面應(yīng)用較少。2016年葉浩等[8]利用圖像數(shù)據(jù)擬合和像素轉(zhuǎn)換得到實(shí)際葡萄果粒尺寸，實(shí)現(xiàn)對(duì)成穗葡萄等級(jí)的自動(dòng)分類檢測(cè)，但沒(méi)有對(duì)葡萄果穗進(jìn)行識(shí)別測(cè)量。2017年羅陸鋒等[9]建立分界線幾何求解與計(jì)算模型，完成貼疊葡萄果穗目標(biāo)的提取，但沒(méi)有進(jìn)行葡萄果粒的重疊分割。2019年劉智杭[10]提出基于改進(jìn)的圖像分割算法和隨機(jī)變換橢圓檢測(cè)算法的果粒尺寸檢測(cè)方法，使用了顏色特征權(quán)向量?jī)?yōu)化k-means算法，實(shí)現(xiàn)了復(fù)雜背景下葡萄果穗圖像的分割，但在果粒嚴(yán)重遮擋時(shí)的檢測(cè)結(jié)果誤差較大。2020年劉平等[11]通過(guò)提取貼疊葡萄果穗圖像輪廓的有效屬性點(diǎn)信息進(jìn)行位置判斷，區(qū)分出重疊輪廓，完成葡萄果穗的識(shí)別和分割，但沒(méi)有對(duì)重疊葡萄果粒進(jìn)行研究。

目前多數(shù)基于機(jī)器視覺(jué)的作物特征提取主要集中應(yīng)用于瓜果缺陷等亞健康外觀狀態(tài)以及尺寸檢測(cè)[12-15]，但在葡萄尺寸檢測(cè)方面的應(yīng)用研究還比較少，檢測(cè)模型容易受到葡萄自然生長(zhǎng)條件下諸如復(fù)雜背景變化、葡萄果粒尺寸不一、隨機(jī)遮擋、顏色相似等問(wèn)題的影響。針對(duì)上述問(wèn)題，本研究使用機(jī)器視覺(jué)技術(shù)對(duì)葡萄的本體特征進(jìn)行提取，通過(guò)對(duì)Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)，實(shí)現(xiàn)葡萄果粒、果穗的準(zhǔn)確定位與識(shí)別，結(jié)合雙目視覺(jué)算法實(shí)現(xiàn)葡萄果粒尺寸特征的非接觸無(wú)損微變檢測(cè)。

1材料與方法

1.1數(shù)據(jù)采集

試驗(yàn)樣本采集于西安市鄠邑區(qū)南部石井鎮(zhèn)的戶太8號(hào)葡萄種植基地，采集時(shí)間為2020年4月下旬至2021年4月中旬，采集對(duì)象為溫室大棚內(nèi)生長(zhǎng)的葡萄果穗。拍攝包含不同角度、距離及光照下的圖片，各采集1 000張，使用圖像標(biāo)注工具LabelImg對(duì)其進(jìn)行標(biāo)注，然后通過(guò)數(shù)據(jù)增強(qiáng)對(duì)圖片進(jìn)行放大、縮小、旋轉(zhuǎn)、翻轉(zhuǎn)處理，共獲得21 600張圖片及對(duì)應(yīng)的標(biāo)注文件，分別隨機(jī)選擇訓(xùn)練集10 500張，測(cè)試集300張。

1.2目標(biāo)檢測(cè)網(wǎng)絡(luò)選擇

現(xiàn)有目標(biāo)檢測(cè)算法分2大類[16-18]：一類是基于候選區(qū)域建議的二階段檢測(cè)算法，如Faster R-CNN[19]、SPP-Net等，首先通過(guò)區(qū)域建議算法生成含有目標(biāo)的候選區(qū)域，再通過(guò)后續(xù)網(wǎng)絡(luò)進(jìn)行目標(biāo)分類和位置回歸;另一類是基于回歸的檢測(cè)算法，如YOLOv3[20]、SSD等，這類算法不需要生成候選區(qū)域，而是直接將預(yù)設(shè)的滑動(dòng)窗口映射到生成的特征圖上，通過(guò)深度特征回歸出窗口的類別和位置偏移量，最終完成目標(biāo)的檢測(cè)定位。

Faster R-CNN算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，候選區(qū)域生成環(huán)節(jié)以犧牲時(shí)間為代價(jià)，F(xiàn)aster R-CNN雖然沒(méi)有YOLOv3速度快，但是網(wǎng)絡(luò)的整合度較高，極大提高了檢測(cè)精度和效率。由于葡萄果粒較小，且生長(zhǎng)過(guò)程中其本體特征的變化比較遲緩，且對(duì)檢測(cè)的實(shí)時(shí)性要求不高。因此選擇Faster R-CNN算法進(jìn)行葡萄本體特征的檢測(cè)。

1×1、3×3分別代表卷積核大小，fc指全連接層，softmax指歸一化指數(shù)函數(shù)。

1.3主干網(wǎng)絡(luò)改進(jìn)與多層特征融合

Faster R-CNN主干網(wǎng)絡(luò)使用VGG16，其最大的特點(diǎn)是使用了3×3的卷積核以及2×2的池化核，每個(gè)池化層都將圖像縮小為原來(lái)的1/2。殘差網(wǎng)絡(luò)ResNet50結(jié)構(gòu)如圖2所示，可以解決因卷積層數(shù)增多帶來(lái)的梯度耗散或者爆炸的問(wèn)題[21]，其中conv block表示添加尺度的殘差塊，卷積conv2～conv5中的identity block 2×、3×、5×代表的是2個(gè)、3個(gè)、5個(gè)不改變尺寸的殘差塊。加入激活函數(shù)R（Relu）和批量正則化處理BN（Batch Norm）共同解決反向傳播的梯度問(wèn)題，使得網(wǎng)絡(luò)在具有較好識(shí)別精度的同時(shí)還具有優(yōu)秀的實(shí)時(shí)性[22]。

conv1～conv5表示卷積塊1～卷積塊5，conv1×1表示卷積核大小，其余同理。2×、3×、5×表示模塊數(shù)，BN（Batch Norm）表示批量正則化處理，R（Relu）表示激活函數(shù)，S表示sigmoid函數(shù)。

對(duì)于大棚環(huán)境中葡萄的檢測(cè)，存在不同圖像之間、甚至同一張圖像里需要被檢測(cè)出的目標(biāo)大小相對(duì)于整張圖像的比例差異較大的問(wèn)題，圖片中葡萄果粒圖像的平均占比小于0.043，葡萄果穗的平均占比大于0.257。這種尺度差異帶來(lái)的挑戰(zhàn)性，嚴(yán)重限制檢測(cè)器的整體表現(xiàn)。網(wǎng)絡(luò)層數(shù)越深，表達(dá)抽象特征的能力也就越強(qiáng)，但淺層的空間信息也相應(yīng)丟失。這就導(dǎo)致深層特征圖無(wú)法提供細(xì)粒度的空間信息對(duì)目標(biāo)進(jìn)行精確定位。同時(shí)，小尺寸目標(biāo)的語(yǔ)義信息也在下采樣的過(guò)程中逐漸丟失。特征金字塔網(wǎng)絡(luò)FPN（Feature pyramid network）綜合利用高分辨率的位置信息和高級(jí)抽象語(yǔ)義信息，在所有特征上輸出預(yù)測(cè)結(jié)果。FPN網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示，隨著層級(jí)越來(lái)越高，語(yǔ)義信息越來(lái)越豐富，紅色邊界更寬。

1×1conv表示卷積核大小，2×up表示2倍上采樣。

1.4錨框自適應(yīng)調(diào)整

在RPN網(wǎng)絡(luò)中需要事先根據(jù)檢測(cè)目標(biāo)的大小設(shè)置多種固定大小和形狀的anchor，然后利用滑動(dòng)窗口對(duì)特征圖進(jìn)行掃描，根據(jù)掃描結(jié)果對(duì)目標(biāo)進(jìn)行檢測(cè)和分類。但這種方法只適用于檢測(cè)一般形狀和大小的目標(biāo)，對(duì)于長(zhǎng)寬比懸殊的目標(biāo)不一定能準(zhǔn)確檢測(cè)，影響模型的檢測(cè)性能，降低算法的魯棒性。

GA-RPN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，在特征圖后面增加2條支路用于生成anchor，與傳統(tǒng)滑窗方式不同，一條用于定位目標(biāo)區(qū)域中心點(diǎn)，另外一條用于預(yù)測(cè)符合目標(biāo)形狀的檢測(cè)框的最佳長(zhǎng)寬比。同時(shí)在形狀預(yù)測(cè)分支后面還增加了特征自適應(yīng)模塊，將anchor形狀信息通過(guò)1×1的卷積操作融入到特征圖中，以解決不同形狀大小與特征圖不匹配的問(wèn)題。

FPN提取Resnet50網(wǎng)絡(luò)每個(gè)階段最后的特征層作為一個(gè)特征層級(jí)進(jìn)行多分辨率特征的融合，分辨率的增加可以獲得更多小尺寸葡萄果粒的信息，同時(shí)引入GA-RPN網(wǎng)絡(luò)完成自適應(yīng)anchor的生成，改進(jìn)的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

Resnet50表示殘差網(wǎng)絡(luò)，F(xiàn)PN表示金字塔結(jié)構(gòu)，GA-RPNS表示自適應(yīng)錨框生成網(wǎng)絡(luò)，conv1～conv5表示卷積塊，1×1、3×3表示卷積核大小，2×表示2倍上采樣，M2-5、P2-5分別表示對(duì)應(yīng)層的特征圖，softmax指歸一化指數(shù)函數(shù)。

1.5密集葡萄果粒遮擋檢測(cè)

自然生長(zhǎng)條件下的葡萄果粒、果穗難免存在相互遮擋、重疊的關(guān)系。葡萄果粒的遮擋情況通?？梢苑譃?種：類外遮擋，即其他物體對(duì)葡萄果穗的遮擋，如葉片、樹枝等遮擋;類內(nèi)遮擋，目標(biāo)葡萄果穗上的果粒被其他葡萄果穗遮擋;類間遮擋，目標(biāo)葡萄果穗上果粒之間的互相遮擋，也稱為密集遮擋。其中，葡萄果粒之間的密集遮擋在所有遮擋問(wèn)題中最常見且占比最大，葡萄果粒密集遮擋示例如圖6所示。

采用遮擋標(biāo)記和遮擋補(bǔ)償來(lái)共同解決這一問(wèn)題，在標(biāo)注的過(guò)程中對(duì)于被遮擋的目標(biāo)也進(jìn)行完整標(biāo)注，同時(shí)加入遮擋標(biāo)記，提高模型的通用性。對(duì)存在遮擋情況的標(biāo)注框計(jì)算遮擋補(bǔ)償系數(shù)，融入損失函數(shù)里進(jìn)行訓(xùn)練，增強(qiáng)模型對(duì)被遮擋葡萄果粒的敏感性，提高模型檢測(cè)精度。

添加遮擋標(biāo)記，當(dāng)葡萄果粒之間存在遮擋情況時(shí)，向被遮擋果粒添加標(biāo)記信息occ_mutual（i），將遮擋共分為3個(gè)等級(jí)，當(dāng)果粒被遮擋區(qū)域的占比不超過(guò)25%時(shí)，i=3;占比25%～75%時(shí)，i=2;占比超過(guò)75%時(shí)，i=1。計(jì)算遮擋補(bǔ)償系數(shù)occ_m（s）如式（1）～式（4）所示，s為第s個(gè)標(biāo)注框。

in（s）代表標(biāo)記信息對(duì)應(yīng)的i，GTs代表第s個(gè)真實(shí)標(biāo)注框，union_area（s）表示第s個(gè)標(biāo)注框與所有標(biāo)注框的相交面積和，union_area表示當(dāng)前圖片所有標(biāo)注框的相并面積和，leave（s）為第s個(gè)標(biāo)注框?qū)?yīng)的被遮擋等級(jí)，n為當(dāng)前圖片中真實(shí)標(biāo)注總數(shù)。將遮擋補(bǔ)償信息融入在損失函數(shù)里來(lái)補(bǔ)償因遮擋造成的目標(biāo)特征缺失問(wèn)題，損失函數(shù)定義如式（5）所示。

損失如式（6）、式（7）所示，Ci—是預(yù)測(cè)的有無(wú)果粒的置信度，Ci—是真實(shí)檢測(cè)的置信度，有果粒為1，無(wú)果粒為0;λno是IOU誤差的權(quán)重，取值同上;η（i）為遮擋補(bǔ)償系數(shù)。

REP損失包含3個(gè)目標(biāo)：1個(gè)吸引項(xiàng)和2個(gè)排斥項(xiàng)，吸引項(xiàng)的要求是預(yù)測(cè)框靠近其目標(biāo)，而排斥項(xiàng)是需要預(yù)測(cè)框遠(yuǎn)離周圍其他的標(biāo)注框和預(yù)測(cè)框，如式（8）～式（11）所示。attr為吸引項(xiàng)，SmoothL1作為其回歸損失函數(shù)，讓預(yù)測(cè)框更接近葡萄果粒。repgt的目標(biāo)是讓預(yù)測(cè)框最大程度遠(yuǎn)離附近其他果粒的真實(shí)標(biāo)注框，然后對(duì)IOG進(jìn)行SmoothLn損失，防止預(yù)測(cè)框向其他臨近的真實(shí)果粒偏移。repbox的目標(biāo)是讓預(yù)測(cè)框最大程度遠(yuǎn)離附近其他果粒的預(yù)測(cè)框，降低檢測(cè)器對(duì)非極大值抑制（NMS）的敏感度，提高在密集場(chǎng)景下的魯棒性。

其中，IOU=area（P∩G）/area（P∪G），IOU=area（P∩G）/area（G），area（P∩G），表示預(yù)測(cè)框P與真實(shí)標(biāo)注G交集的面積，area（P∪G）表示P與G并集的面積，GPattr為與預(yù)測(cè)框匹配的真實(shí)標(biāo)注，GPrep為除與預(yù)測(cè)框匹配后的剩余IOU最大的真實(shí)標(biāo)注，P+=P1∩P2∩…∩P|K|，是所有正樣本的集合，σ取值范圍為0～1，Smooth回歸函數(shù)如式（12）、式（13）所示。

1.6雙目視覺(jué)測(cè)量

單目系統(tǒng)常用于固定位置、特定距離下的目標(biāo)測(cè)量，優(yōu)勢(shì)在于成本較低，對(duì)計(jì)算資源的要求不高，系統(tǒng)結(jié)構(gòu)相對(duì)簡(jiǎn)單，但是無(wú)法對(duì)非標(biāo)準(zhǔn)障礙物進(jìn)行判斷，實(shí)際中的測(cè)量需要真正的空間三維坐標(biāo)[23-25]。圖7所示為一般情況下的雙目視覺(jué)成像原理圖。

以左相機(jī)坐標(biāo)系o_xyz為原點(diǎn)建立世界坐標(biāo)系，其中，ol_XlYl表示圖像坐標(biāo)系，ol為投影點(diǎn)，有效焦距為fl，右相機(jī)同理，建立相機(jī)透視變換模型如式（14）、式（15）。

兩個(gè)坐標(biāo)系o_xyz與or_xryrzr之間的相對(duì)關(guān)系如式（16）所示，由推導(dǎo)可得，空間點(diǎn)的三維坐標(biāo)可以表示為式（17）所示。

已知雙目相機(jī)基線距離，左右相機(jī)焦距fl、fr和點(diǎn)P在左、右相機(jī)中的圖像坐標(biāo)已知，再通過(guò)相機(jī)標(biāo)定求出的R和T就可以得到點(diǎn)P相對(duì)于相機(jī)的三維坐標(biāo)，實(shí)現(xiàn)視野范圍內(nèi)任意大小的葡萄特征的測(cè)量。

如圖8所示，圖像拍攝設(shè)備為KS4A418-D雙目攝像頭，3.6 mm定焦鏡頭，分辨率為2 592×1 944，圖像格式為MJPG。左右相機(jī)空間位置標(biāo)定結(jié)果如表1所示，旋轉(zhuǎn)矩陣的標(biāo)定結(jié)果近似于單位矩陣，說(shuō)明左、右相機(jī)之間的旋轉(zhuǎn)角度很小，光軸接近平行。平移向量表明兩個(gè)相機(jī)的光軸在x軸方向上相距59.842 25 mm，接近實(shí)際基線距離60 mm，而在y和z方向上僅存在微小的偏移。

2結(jié)果與分析

2.1模型訓(xùn)練效果

試驗(yàn)平臺(tái)的運(yùn)行環(huán)境配置：操作系統(tǒng)Ubuntu16.04，顯卡NVIDIA GeForce RTX 2080 Ti，算力7.5，運(yùn)行內(nèi)存128 GB，使用Python語(yǔ)言編程，選擇TensorFlow作為深度學(xué)習(xí)框架。采用近似聯(lián)合訓(xùn)練方法進(jìn)行端到端訓(xùn)練，在保證訓(xùn)練精度的同時(shí)提高訓(xùn)練速度。模型訓(xùn)練參數(shù)設(shè)置如表2所示，訓(xùn)練結(jié)果Loss變化如圖9所示。從圖9中可以看出，網(wǎng)絡(luò)在前4 000次迭代中迅速擬合，之后趨于穩(wěn)定，平均損失在0.15左右浮動(dòng)。模型訓(xùn)練效果良好，最后收斂到穩(wěn)定值，達(dá)到了預(yù)期的訓(xùn)練效果。

2.2遮擋補(bǔ)償試驗(yàn)結(jié)果對(duì)比

分別使用原始Faster R-CNN模型與引入遮擋補(bǔ)償機(jī)制后的Faster R-CNN模型對(duì)葡萄果粒進(jìn)行檢測(cè)，結(jié)果（圖10）表明，改進(jìn)后的模型檢測(cè)精度高于原始Faster R-CNN模型，其中對(duì)于葡萄果穗中間被遮擋的果粒檢測(cè)效果的提升最明顯，邊緣被遮擋果粒的檢測(cè)效果也有很大的提升，可以準(zhǔn)確識(shí)別遮擋面積不超過(guò)75%的果粒。果粒檢測(cè)結(jié)果對(duì)比示例如圖10所示，可以看出，引入遮擋補(bǔ)償機(jī)制后葡萄果穗邊緣果粒的漏檢情況有明顯改善，且中間被漏檢的果粒也可以準(zhǔn)確識(shí)別出來(lái)。拍攝多組葡萄果穗圖片進(jìn)行檢測(cè)，與人眼能觀察到的實(shí)際果粒數(shù)量進(jìn)行對(duì)比分析，結(jié)果如表3所示。

2.3模型檢測(cè)結(jié)果分析

溫室大棚場(chǎng)景內(nèi)葡萄果粒、果穗的檢測(cè)結(jié)果如圖11所示，相機(jī)距離葡萄0.6～1.4 m。本研究模型可以有效地檢測(cè)出葡萄果粒、果穗兩類目標(biāo)，尺寸較小的葡萄果粒也能被精確地檢測(cè)出。在出現(xiàn)輕微遮擋的情況下，比如樹枝、葉片遮擋葡萄果穗，也可以檢測(cè)出目標(biāo)，如圖11（b）左側(cè)第1個(gè)葡萄果穗檢測(cè)框。

分別將5種模型YOLOv3、Faster R-CNN、Faster R-CNN+ResNet50、Faster R-CNN+FPN以及本研究改進(jìn)模型在葡萄果粒、果穗數(shù)據(jù)集上進(jìn)行試驗(yàn)評(píng)估，并進(jìn)行結(jié)果分析。在多分類任務(wù)中，常通過(guò)使用混淆矩陣來(lái)進(jìn)行指標(biāo)評(píng)價(jià)。本研究中識(shí)別種類較少，使用P-R（Precision-Recall）曲線來(lái)進(jìn)行指標(biāo)評(píng)價(jià)，直接顯示分類結(jié)果的優(yōu)劣。

圖12所示為P-R曲線，為了評(píng)估算法有效性，計(jì)算各個(gè)類別在檢測(cè)閾值（IOU）為50時(shí)的平均精度值（AP）、不同閾值下的mAP和檢測(cè)速度（FPS）。AP是衡量單一類別檢測(cè)效果的重要指標(biāo)，可以通過(guò)計(jì)算準(zhǔn)確率（Precision）與召回率（Recall）曲線所包圍的面積得到，如式（18）～式（20）所示。mAP是所有類別的精度均值，如式（21）所示。其中，Tp表示真的正樣本;Fp表示假的正樣本，負(fù)樣本被錯(cuò)誤地預(yù)測(cè)為正樣本;Fn表示假的負(fù)樣本，正樣本被錯(cuò)誤地預(yù)測(cè)為負(fù)樣本。表4為5種模型的精度均值比較結(jié)果。

2.4葡萄果粒測(cè)量結(jié)果分析

對(duì)模型檢測(cè)出的葡萄果粒圖像進(jìn)行遍歷，找出可以定義果粒橫徑和縱徑的特征點(diǎn)。首先從左往右、從上到下找到的第1個(gè)點(diǎn)記為a點(diǎn)，然后從右往左、從上到下找到的第1個(gè)點(diǎn)記為b點(diǎn)，即找到葡萄果粒的最左側(cè)點(diǎn)和最右側(cè)點(diǎn)?？紤]到左右兩點(diǎn)可能不在同一水平線上，所以橫徑大小通過(guò)計(jì)算a、b兩點(diǎn)投影在x軸方向上的距離得到。同理，再分別從上往下和從下往上找到最上方點(diǎn)c和最下方點(diǎn)d，縱徑大小通過(guò)計(jì)算c、d兩點(diǎn)投影在y軸方向上的距離得到。橫、縱徑特征點(diǎn)示意圖如圖13所示。根據(jù)公式（8）計(jì)算得出a、b、c、d 4點(diǎn)的空間三維坐標(biāo)。設(shè)特征點(diǎn)坐標(biāo)為a（Xa，Ya，Za），b（Xb，Yb，Zb），c（Xc，Yc，Zc），d（Xd，Yd，Zd），則果粒橫徑、縱徑的計(jì)算如式（22）、式（23）所示，其中L為橫徑，T為縱徑。

為驗(yàn)證遮擋補(bǔ)償效果，根據(jù)果粒圖像被遮擋的面積大小占比不同，進(jìn)行遮擋補(bǔ)償試驗(yàn)。分別選取遮擋程度為小于25%、25%～50%、50%～75%、大于75%的果粒進(jìn)行試驗(yàn)，使用游標(biāo)卡尺測(cè)量出葡萄果粒橫徑的實(shí)際值，結(jié)果如表5所示。為驗(yàn)證本研究模型的實(shí)際效果，選取3個(gè)葡萄果穗分別在不同拍攝距離下進(jìn)行試驗(yàn)，以葡萄果穗為單位計(jì)算橫徑平均值，果粒測(cè)量結(jié)果如表6所示。

由表5可知，引入遮擋補(bǔ)償機(jī)制后，檢測(cè)誤差明顯降低，更接近果粒實(shí)際大小。當(dāng)遮擋程度超過(guò)75%時(shí)，2個(gè)果粒被漏檢，只有尺寸較大的果粒被檢測(cè)出且誤差高于遮擋程度小于75%的果粒。由表6可知，在相機(jī)有效拍攝范圍內(nèi)實(shí)際檢測(cè)結(jié)果最大誤差不超過(guò)4%，當(dāng)測(cè)量距離在0.6～1.4 m時(shí)誤差更小且不超過(guò)2%。因此，本研究提出的模型在最佳測(cè)量距離0.6～1.4 m對(duì)于葡萄果粒尺寸特征的自動(dòng)測(cè)量具有較好的實(shí)用性。

3結(jié)論與討論

本研究提出了一種結(jié)合深度學(xué)習(xí)和視覺(jué)測(cè)量的葡萄果粒、果穗特征的自動(dòng)檢測(cè)模型。通過(guò)雙目相機(jī)拍攝獲取數(shù)據(jù)集，然后利用改進(jìn)的Faster R-CNN算法進(jìn)行檢測(cè)，得到目標(biāo)位置和類別信息。以ResNet50為主干網(wǎng)絡(luò)并引入金字塔結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)模型在不同分辨率下葡萄果實(shí)特征的提取能力，對(duì)候選區(qū)域生成網(wǎng)絡(luò)RPN進(jìn)行改進(jìn)，加入了自適應(yīng)錨框，同時(shí)引入遮擋補(bǔ)償機(jī)制，以解決密集葡萄果粒由于遮擋而被漏檢的情況。利用標(biāo)定結(jié)果求出特征點(diǎn)的三維坐標(biāo)，實(shí)現(xiàn)果粒尺寸自動(dòng)測(cè)量。試驗(yàn)結(jié)果表明，本研究提出的模型在相機(jī)最佳測(cè)量距離內(nèi)對(duì)葡萄果粒尺寸的自動(dòng)測(cè)量具有較高的準(zhǔn)確率，能滿足葡萄表型參量特征精準(zhǔn)測(cè)量的需要，也可為其他種類作物的表型參量三維測(cè)量提供參考與借鑒，有較好的實(shí)用性。在后續(xù)的研究中，會(huì)對(duì)檢測(cè)模型進(jìn)壓縮優(yōu)化，進(jìn)一步提高檢測(cè)的實(shí)時(shí)性和準(zhǔn)確率，同時(shí)加入更多葡萄表型參量的測(cè)量，以更好地分析作物的生長(zhǎng)狀態(tài)。

參考文獻(xiàn)：

[1]張帥亮. 作物生長(zhǎng)過(guò)程檢測(cè)技術(shù)研究與實(shí)現(xiàn)[D].新鄉(xiāng)：河南科技學(xué)院，2018.

[2]楊濤，李曉曉. 機(jī)器視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)生產(chǎn)中的研究進(jìn)展[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2021，42（3）：171-181.

[3]ZHAO Y S，GONG L，HUANG Y X，et al. A review of key techniques of vision-based control for harvesting robot[J]. Computers and Electronics in Agriculture， 2016，127（6）：312-321.

[4]XIONG J T，LIN R，LIU Z，et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment[J]. Biosystems Engineering， 2018，166（8）：44-57.

[5]李詩(shī)禹. 溫棚環(huán)境及植物生長(zhǎng)信息管理分析系統(tǒng)研究與實(shí)現(xiàn)[D].銀川：寧夏大學(xué)，2018.

[6]趙獻(xiàn)立，王志明. 機(jī)器學(xué)習(xí)算法在農(nóng)業(yè)機(jī)器視覺(jué)系統(tǒng)中的應(yīng)用[J].江蘇農(nóng)業(yè)科學(xué)，2020，48（12）：226-231.

[7]翁楊，曾睿，吳陳銘，等. 基于深度學(xué)習(xí)的農(nóng)業(yè)植物表型研究綜述[J].中國(guó)科學(xué)：生命科學(xué)，2019，49（6）：698-716.

[8]葉浩，詹國(guó)敏，吳亮，等. 基于圖像分割的葡萄果粒粒徑快速測(cè)量技術(shù)[J].新技術(shù)新工藝，2016（5）：84-87.

[9]羅陸鋒，鄒湘軍，王成琳，等. 基于輪廓分析的雙串疊貼葡萄目標(biāo)識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（6）：15-22.

[10]劉智杭. 基于圖像的巨峰葡萄果粒尺寸檢測(cè)方[D].哈爾濱：東北林業(yè)大學(xué)，2019.

[11]劉平，朱衍俊，張同勛，等. 自然環(huán)境下貼疊葡萄串的識(shí)別與圖像分割算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（6）：161-169.

[12]李睿. 基于機(jī)器視覺(jué)的蘋果尺寸測(cè)量與分類研究[D].唐山：華北理工大學(xué)，2020.

[13]徐慶. 圖像處理技術(shù)在現(xiàn)代農(nóng)業(yè)中的應(yīng)用[J].農(nóng)村經(jīng)濟(jì)與科技，2020，31（1）：66-67.

[14]QURESHI W S，PAYNE A，WALSH K B，et al. Machine vision for counting fruit on mango tree canopies[J]. Precision Agriculture， 2017，18（2）：224-244.

[15]TANG Y C，CHEN M Y，WANG C L， et al. Recognition and localization methods for vision-based fruit picking robots： A review[J]. Frontiers in Plant Science，2020，5：1-17.

[16]李偉山，衛(wèi)晨，王琳. 改進(jìn)的Faster R-CNN煤礦井下行人檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（4）：200-207.

[17]張守東，楊明，胡太. 基于多特征融合的顯著性目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)科學(xué)與探索，2019，13（5）：834-845.

[18]呂曉琪，吳涼，谷宇等. 基于三維卷積神經(jīng)網(wǎng)絡(luò)的低劑量肺結(jié)節(jié)檢測(cè)[J].光學(xué)精密工程，2018，26（5）：1211-1218.

[19]REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137-1149.

[20]SOHAIB A， MAHEDI H， SHEIKH M S I. YOLO-based three-stage network for Bangla license plate recognition in Dhaka Metropolitan City[J]. International Conference on Bangla Speech and Language Processing （ICBSLP）， 2018，33（15）：21-22.

[21]毋立芳，汪敏貴，付亨等. 深度目標(biāo)檢測(cè)與圖像分類相結(jié)合的棉花發(fā)育期自動(dòng)識(shí)別方法[J].中國(guó)科技論文，2018，13（20）：2309-2316.

[22]張怡，趙珠蒙，王校常，等. 基于ResNet卷積神經(jīng)網(wǎng)絡(luò)的綠茶種類識(shí)別模型構(gòu)建[J].茶葉科學(xué)，2021，41（2）：261-271.

[23]王珂，王亮亮，李瑞峰，等. 基于折光魚眼全景相機(jī)的雙目立體視覺(jué)標(biāo)定[J].中國(guó)科技論文，2016，11（8）：913-919.

[24]盧艷軍，王詩(shī)宇，張?zhí)珜?，? 針對(duì)目標(biāo)跟蹤過(guò)程的雙目視覺(jué)測(cè)距方法研究[J].電光與控制，2020，27（1）：60-63，101.

[25]MANSOOR A， MUHAMMAD S A， MUHAMMAD R， et al. Real-time machine-learning based Cropand weed detection and classification for variable-rate spraying in precision agriculture[J]. International Conference on Electrical and Electronics Engineering（ICEEE），2020，10（19）：273-280.

（責(zé)任編輯：張震林）

收稿日期：2021-07-06

基金項(xiàng)目：陜西省農(nóng)業(yè)科技創(chuàng)新工程資助項(xiàng)目[201806117YF05NC13（1）];陜西省科技廳農(nóng)業(yè)科技攻關(guān)項(xiàng)目（2015NY028）;陜西科技大學(xué)博士科研啟動(dòng)基金資助項(xiàng)目（BJ13-15）

作者簡(jiǎn)介：李頎（1973-），女，陜西西安人，博士，教授，主要研究方向?yàn)檗r(nóng)業(yè)智能化信息化、深度學(xué)習(xí)。（E-mail）liqidq@sust.edu.cn

通訊作者：楊軍，（E-mail）1414831375@qq.com