張先潔，汪小旵,2，孫國(guó)祥，施印炎，魏天翔，陳 昊

(1 南京農(nóng)業(yè)大學(xué) 工學(xué)院，江蘇 南京 210031； 2 江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實(shí)驗(yàn)室，江蘇 南京 210031)

對(duì)番茄植株不同成熟階段的番茄果實(shí)數(shù)量準(zhǔn)確測(cè)定不僅有助于精細(xì)化調(diào)整番茄種植過(guò)程中的施肥量，而且有助于提前制定番茄果實(shí)收獲、倉(cāng)儲(chǔ)以及銷(xiāo)售等計(jì)劃[1-3]。番茄植株的生長(zhǎng)形態(tài)不同，尚未完全成熟的番茄果實(shí)的顏色與葉片顏色相近，番茄果實(shí)容易出現(xiàn)重疊、被遮擋現(xiàn)象，復(fù)雜的環(huán)境背景導(dǎo)致番茄果實(shí)識(shí)別困難[4-5]。在復(fù)雜的環(huán)境背景下準(zhǔn)確識(shí)別番茄果實(shí)是測(cè)定不同成熟階段番茄果實(shí)數(shù)量的關(guān)鍵。

針對(duì)農(nóng)作物的果實(shí)識(shí)別，國(guó)內(nèi)外學(xué)者進(jìn)行了廣泛的研究[6-9]。目前大多數(shù)農(nóng)作物的果實(shí)識(shí)別是通過(guò)深度學(xué)習(xí)和圖像處理等方法處理二維RGB圖像數(shù)據(jù)實(shí)現(xiàn)的[10-13]。這些方法識(shí)別果實(shí)的成功率較高，但是通過(guò)二維RGB圖像數(shù)據(jù)識(shí)別果實(shí)無(wú)法獲得果實(shí)的距離信息，因而無(wú)法分辨被識(shí)別果實(shí)是否屬于當(dāng)前被統(tǒng)計(jì)植株，被識(shí)別果實(shí)的歸屬不明確導(dǎo)致果實(shí)數(shù)量評(píng)估的不準(zhǔn)確[14-15]。也有部分學(xué)者采用其他數(shù)據(jù)進(jìn)行農(nóng)作物果實(shí)識(shí)別[16-18]。Mehta等[19]通過(guò)多個(gè)視角的二維RGB圖像數(shù)據(jù)合成偽立體視覺(jué)，在立體視覺(jué)的基礎(chǔ)上識(shí)別果實(shí)，但該方法多個(gè)視角的相機(jī)布置降低了方法的可操作性。李寒等[20]在二維RGB圖像中確定番茄果實(shí)輪廓，結(jié)合深度信息獲取番茄果實(shí)點(diǎn)云數(shù)據(jù)，利用改進(jìn)的SOM-K-means聚類(lèi)算法實(shí)現(xiàn)番茄果實(shí)的識(shí)別，但該方法僅適用于識(shí)別成熟的紅色番茄果實(shí)。目前針對(duì)農(nóng)作物的果實(shí)識(shí)別已經(jīng)有了較多的研究，但針對(duì)指定距離內(nèi)不同成熟階段的番茄果實(shí)數(shù)量識(shí)別的方法研究較少。

為準(zhǔn)確測(cè)定近距離內(nèi)不同成熟階段的番茄果實(shí)數(shù)量，本文提出一種基于彩色點(diǎn)云圖像的番茄數(shù)量測(cè)定方法。首先通過(guò)點(diǎn)云深度信息篩選出近距離內(nèi)的番茄植株點(diǎn)云，去除遠(yuǎn)距離番茄果實(shí)對(duì)果實(shí)數(shù)量準(zhǔn)確評(píng)估的干擾，然后合成2個(gè)視角的點(diǎn)云增加番茄果實(shí)的特征信息，提高番茄果實(shí)識(shí)別的準(zhǔn)確率，再使用深度學(xué)習(xí)方法PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別合成點(diǎn)云中的番茄果實(shí)，最后利用支持向量機(jī)(Support vector machine,SVM)分類(lèi)器對(duì)已識(shí)別出來(lái)的果實(shí)進(jìn)行分類(lèi)，得到不同成熟階段番茄果實(shí)的數(shù)量。

1 材料與方法

1.1 試驗(yàn)材料

番茄植株圖像數(shù)據(jù)采集于江蘇省農(nóng)業(yè)科學(xué)院信息所番茄種植溫室，番茄品種為‘奇美’與‘桃太粉’，番茄植株采用吊蔓式種植，高度為145～165 cm，株距為40 cm，行間距為120 cm，試驗(yàn)現(xiàn)場(chǎng)如圖1所示。

圖1 番茄種植溫室試驗(yàn)現(xiàn)場(chǎng)Fig.1 Test site in the greenhouse for tomato plant

圖像采集時(shí)間為2020年12月17日14時(shí)至17時(shí)和2020年12月23日14時(shí)30分至17時(shí)，在不同光照條件下共采集252組番茄植株圖像數(shù)據(jù)。將微軟公司的RGB-D相機(jī)KinectV2.0搭載在深圳玩智商科技有限公司研發(fā)的ROS機(jī)器人移動(dòng)平臺(tái)DashGo B1上，設(shè)定移動(dòng)平臺(tái)定點(diǎn)停靠并采集番茄植株的彩色圖像和深度圖像。KinectV2.0的彩色相機(jī)的分辨率為1 920像素×1 080像素，深度相機(jī)的分辨率為512像素×424像素，采集圖像如圖2所示，深度圖像中由綠到黃表示目標(biāo)距離相機(jī)由近到遠(yuǎn)。

圖2 番茄植株圖像Fig.2 Image of tomato plant

1.2 番茄果實(shí)數(shù)量識(shí)別與成熟階段分類(lèi)流程

首先將番茄植株RGB圖像和深度圖像合成番茄植株點(diǎn)云，然后將番茄植株不同視角下的2個(gè)點(diǎn)云配準(zhǔn)合成1個(gè)番茄植株點(diǎn)云，再采用PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)番茄植株點(diǎn)云進(jìn)行番茄果實(shí)目標(biāo)檢測(cè)，輸出番茄果實(shí)識(shí)別框，最后利用訓(xùn)練好的SVM分類(lèi)器對(duì)PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)的檢測(cè)結(jié)果進(jìn)行成熟階段分類(lèi)。

1.3 番茄植株點(diǎn)云獲取與預(yù)處理

1.3.1 番茄植株點(diǎn)云獲取 KinectV2.0 通過(guò)不同的相機(jī)采集得到RGB圖像與深度圖像，相機(jī)精度不同與位置不同導(dǎo)致同一目標(biāo)點(diǎn)在RGB圖像與深度圖像坐標(biāo)不同，因此需要通過(guò)標(biāo)定獲取相機(jī)內(nèi)置參數(shù)，進(jìn)而得到RGB圖像與深度圖像的坐標(biāo)映射關(guān)系，根據(jù)映射關(guān)系生成同時(shí)包含RGB信息和深度信息的RGB-D圖像。

根據(jù)RGB-D圖像的坐標(biāo)與坐標(biāo)對(duì)應(yīng)的深度值可以轉(zhuǎn)換生成三維空間坐標(biāo)。本文使用Python語(yǔ)言調(diào)用Open3D庫(kù)中的庫(kù)函數(shù)，根據(jù)標(biāo)定獲得的相機(jī)參數(shù)，將RGB-D圖像轉(zhuǎn)換生成具備RGB信息的三維點(diǎn)云。

1.3.2 點(diǎn)云預(yù)處理 點(diǎn)云坐標(biāo)中的Z軸坐標(biāo)反映點(diǎn)到相機(jī)的距離，根據(jù)實(shí)際距離情況選取合適的閾值z(mì)分割點(diǎn)云得到距離相機(jī)近排的番茄植株點(diǎn)云，以便準(zhǔn)確檢測(cè)近排番茄植株上的番茄果實(shí)。

受到溫室環(huán)境以及深度相機(jī)本身精度等因素影響，KinectV2.0獲取的點(diǎn)云數(shù)據(jù)中存在部分離群點(diǎn)噪聲，離群點(diǎn)會(huì)影響后期點(diǎn)云配準(zhǔn)的精度，需要通過(guò)濾波移除離群點(diǎn)。離群點(diǎn)的特點(diǎn)是相同距離內(nèi)點(diǎn)的數(shù)量較小，因此，采用統(tǒng)計(jì)濾波法將指定半徑內(nèi)臨近點(diǎn)的數(shù)量小于指定數(shù)量的點(diǎn)記為離群點(diǎn)并移除。

1.4 番茄植株點(diǎn)云配準(zhǔn)

從單視角采集到的番茄植株點(diǎn)云數(shù)據(jù)中，存在多處不同程度的番茄果實(shí)遮擋、重疊現(xiàn)象。本文提出將具有一定距離的2個(gè)視角采集到的點(diǎn)云數(shù)據(jù)配準(zhǔn)融合，獲取更全面的番茄植株三維信息，減少因重疊、被遮擋等現(xiàn)象導(dǎo)致的番茄果實(shí)檢測(cè)錯(cuò)誤。

點(diǎn)云配準(zhǔn)是指將2個(gè)具有一定數(shù)量對(duì)應(yīng)點(diǎn)的點(diǎn)云轉(zhuǎn)換到同一個(gè)坐標(biāo)系下，融合成1個(gè)點(diǎn)云，如圖3所示。點(diǎn)云配準(zhǔn)分為粗配準(zhǔn)與精配準(zhǔn)2個(gè)部分。

圖3 番茄植株點(diǎn)云配準(zhǔn)Fig.3 Point cloud registration of tomato plant

點(diǎn)云粗配準(zhǔn)是在未指定2個(gè)點(diǎn)云的初始相對(duì)位姿情況下，將2個(gè)點(diǎn)云進(jìn)行配準(zhǔn)，為精配準(zhǔn)提供一個(gè)較優(yōu)的平移矩陣和旋轉(zhuǎn)矩陣初始值。粗配準(zhǔn)的主要方法包括基于特征匹配的配準(zhǔn)方法和基于隨機(jī)采樣一致性的配準(zhǔn)方法。本文選用基于隨機(jī)采樣一致性的配準(zhǔn)方法對(duì)番茄植株點(diǎn)云粗配準(zhǔn)。

點(diǎn)云精配準(zhǔn)是在粗配準(zhǔn)提供的平移矩陣和旋轉(zhuǎn)矩陣初始值的基礎(chǔ)上，通過(guò)不斷迭代改進(jìn)平移矩陣和旋轉(zhuǎn)矩陣的參數(shù)來(lái)完成配準(zhǔn)。精配準(zhǔn)的主要方法是迭代最近點(diǎn) (Iterative closest point，ICP)算法以及各種改進(jìn)的ICP配準(zhǔn)方法。本文選用基于pointto-plane的改進(jìn)ICP配準(zhǔn)方法[21]對(duì)粗配準(zhǔn)后的番茄植株點(diǎn)云精配準(zhǔn)。

調(diào)用Open3D庫(kù)中的全局配準(zhǔn)函數(shù)選擇隨機(jī)采樣一致性參數(shù)，設(shè)定體素采樣為0.02，距離閾值為0.03，進(jìn)行點(diǎn)云的粗配準(zhǔn)；調(diào)用ICP精配準(zhǔn)函數(shù)選擇point-to-plane方法參數(shù)，設(shè)定距離閾值為0.001，進(jìn)行點(diǎn)云的精配準(zhǔn)。

1.5 PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別番茄果實(shí)

基于點(diǎn)云的目標(biāo)檢測(cè)網(wǎng)絡(luò)主要分為2類(lèi)，一類(lèi)是一階段的目標(biāo)檢測(cè)網(wǎng)絡(luò)，另一類(lèi)是二階段的目標(biāo)檢測(cè)網(wǎng)絡(luò)。二階段的目標(biāo)檢測(cè)網(wǎng)絡(luò)是在一階段目標(biāo)檢測(cè)結(jié)果的基礎(chǔ)上進(jìn)行修正檢測(cè)，因此一般二階段目標(biāo)檢測(cè)網(wǎng)絡(luò)的準(zhǔn)確率要高于一階段目標(biāo)檢測(cè)網(wǎng)絡(luò)。本文選用二階段檢測(cè)網(wǎng)絡(luò)PointRCNN[22]在番茄植株點(diǎn)云中檢測(cè)識(shí)別番茄果實(shí)。

PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)的第一階段通過(guò)PointNet++網(wǎng)絡(luò)提取點(diǎn)云特征，對(duì)點(diǎn)云進(jìn)行自底向上的搜索，選出3D候選區(qū)域。第二階段檢測(cè)網(wǎng)絡(luò)在第一階段提取的點(diǎn)云特征和3D候選區(qū)域的基礎(chǔ)上，對(duì)3D候選區(qū)域的評(píng)分進(jìn)行修正，得到檢測(cè)結(jié)果。PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)的框架如圖4所示。

圖4 PointRCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 PointRCNN network structure

PointRCNN采用PointNet++網(wǎng)絡(luò)提取點(diǎn)云特征輸入到前景點(diǎn)分割網(wǎng)絡(luò)，前景點(diǎn)分割網(wǎng)絡(luò)在前景點(diǎn)分割中采用Focal Loss函數(shù)解決類(lèi)別不平衡問(wèn)題，同時(shí)通過(guò)加入邊框回歸頭對(duì)前景點(diǎn)進(jìn)行3D邊框回歸產(chǎn)生3D候選區(qū)域。在獲得3D候選區(qū)域后，PointRCNN在點(diǎn)云區(qū)域池化的基礎(chǔ)上結(jié)合之前產(chǎn)生的前景點(diǎn)特征獲得新的局部區(qū)域特征和全局特征。PointRCNN二階段網(wǎng)絡(luò)融合局部區(qū)域特征和全局特征后對(duì)3D候選區(qū)域和置信度進(jìn)行修正，得到最終的預(yù)測(cè)結(jié)果框。

算法基于 Pytorch(v1.3.1) + OpenPCDet(v0.3.0)框架實(shí)現(xiàn)，硬件配置為處理器Intel(R) Gold 6226，內(nèi)存 256 GB，顯卡 NVIDIA GeForce RTX 2080Ti，操作系統(tǒng) Ubuntu 18.04。使用標(biāo)注工具CloudCompare對(duì)點(diǎn)云進(jìn)行人工標(biāo)注得到番茄果實(shí)標(biāo)簽，通過(guò)腳本轉(zhuǎn)換標(biāo)注文件為Kitti數(shù)據(jù)集格式。在本試驗(yàn)中點(diǎn)云標(biāo)簽類(lèi)別為番茄和其他2類(lèi)，按照4∶1的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集。

采用遷移學(xué)習(xí)的方法對(duì)本試驗(yàn)的點(diǎn)云數(shù)據(jù)進(jìn)行處理，主要設(shè)定參數(shù)包括：epochs為20 000，batch_size_per_gpu為 3，GPU 為 2，Learn_rate為0.01，div_factor為 10，optimizer為 adam_onecycle。其中，參數(shù)epochs是指訓(xùn)練的回合數(shù)，1回合是指把所有的訓(xùn)練樣本全部處理1次；參數(shù)batch_size_per_gpu是指每個(gè)GPU每次處理樣本的個(gè)數(shù)；參數(shù)GPU是指GPU的個(gè)數(shù)；參數(shù)Learn_rate為最高學(xué)習(xí)率；參數(shù)Learn_rate除以參數(shù)div_factor得到初始學(xué)習(xí)率；參數(shù)optimizer為優(yōu)化器的選擇。PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)的損失函數(shù)如下：其中，Npos為 前景點(diǎn)的數(shù)量，與為正確標(biāo)注的bin分配和殘差，為前景點(diǎn)p的被預(yù)測(cè)的bin分配和殘差，F(xiàn)reg為回歸損失函數(shù)，F(xiàn)cls為分類(lèi)損失函數(shù)。

將數(shù)據(jù)集投入PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)中訓(xùn)練，損失函數(shù)隨迭代次數(shù)的變化趨勢(shì)如圖5所示縱坐標(biāo)為損失函數(shù)值，橫坐標(biāo)為訓(xùn)練回合數(shù)。損失值在迭代前期快速下降至0.5附近，在迭代中期略有上升后重新下降，在迭代后期降至0.3附近。

圖5 網(wǎng)絡(luò)損失值的變化曲線(xiàn)Fig.5 Change curve of the loss value of the network

1.6 番茄果實(shí)成熟階段分類(lèi)

對(duì)番茄果實(shí)成熟階段分類(lèi)，首先，按照番茄果實(shí)內(nèi)部的成熟情況對(duì)番茄果實(shí)的成熟階段分類(lèi)，然后分析番茄果實(shí)不同成熟階段顏色特征的差異，選取合適的顏色特征組成特征矩陣訓(xùn)練SVM分類(lèi)器，最后利用訓(xùn)練好的SVM分類(lèi)器[23]對(duì)PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出的番茄果實(shí)進(jìn)行成熟階段判定。

將番茄果實(shí)切開(kāi)后，通過(guò)肉眼觀(guān)察番茄果實(shí)內(nèi)部果肉顏色情況將番茄果實(shí)分為4種成熟階段。如圖6所示，果肉部分呈綠色(約90%以上)為綠熟；果肉部分出現(xiàn)微紅(約占10%～40%)為微熟；果肉部分呈紅色(約占40%～90%)為成熟；果肉部分完全為紅色(約占90%以上)為完熟。

圖6 番茄果實(shí)的成熟階段Fig.6 Ripening stage of tomato fruit

選取番茄果實(shí)4個(gè)成熟階段的RGB圖像各80張，總計(jì)320張RGB圖像作為樣本數(shù)據(jù)。使用閾值法去除樣本圖像中背景像素，僅保留番茄果實(shí)像素，并分別獲取番茄果實(shí)R、G、B 3個(gè)通道的像素值；將RGB圖像數(shù)據(jù)轉(zhuǎn)換為HSV圖像數(shù)據(jù)，分別獲取番茄果實(shí)S、V 2個(gè)通道的像素值，其中，HSV顏色模型中V分量為亮度分量，不做分析考慮。選取平均值 (μ)、方差 (σ) 2 個(gè)數(shù)字特征表征數(shù)據(jù)的分布情況，分別計(jì)算番茄果實(shí)5個(gè)通道(R、G、B、S、V)像素值的3個(gè)數(shù)字特征作為番茄果實(shí)的10個(gè)顏色特征(μR、μG、 μB、 μS、 μV、 σR、σG、 σB、σS、 σV)。統(tǒng)計(jì)計(jì)算得到番茄果實(shí)4個(gè)成熟階段的10個(gè)顏色特征，并將4個(gè)成熟階段的同一顏色特征數(shù)據(jù)歸為一組計(jì)算變異系數(shù)，如表1所示。

表1 不同成熟階段的番茄果實(shí)顏色特征Table 1 Color characteristics of tomato fruits at different ripening stages

分析表1可知，在5個(gè)顏色分量(R、G、B、S、V)的平均值顏色特征中，顏色特征 μG在各成熟階段的均值相差較為明顯，變異系數(shù)最大，表明顏色特征μG分布較為離散，適宜作為區(qū)分各成熟階段的特征之一；同理，選取方差顏色特征中 σS作為選定特征之一。將剩余8個(gè)顏色特征依次與 μG、 σS2個(gè)顏色特征組合成特征矩陣進(jìn)行SVM分類(lèi)訓(xùn)練，選取預(yù)測(cè)結(jié)果最優(yōu)的特征矩陣[μG,σS,μV]作為最終選定的特征矩陣。

從320個(gè)樣本數(shù)據(jù)中隨機(jī)選擇60%的數(shù)據(jù)作為訓(xùn)練集，40%的數(shù)據(jù)作為測(cè)試集。將訓(xùn)練集數(shù)據(jù)的特征矩陣投入SVM分類(lèi)器訓(xùn)練，使用訓(xùn)練好的SVM分類(lèi)器進(jìn)行預(yù)測(cè)，訓(xùn)練集的預(yù)測(cè)準(zhǔn)確率為94.27%，測(cè)試集的預(yù)測(cè)準(zhǔn)確率為96.09%。

1.7 PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別番茄果實(shí)性能

通過(guò)2個(gè)方面對(duì)PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別方法的性能進(jìn)行評(píng)價(jià)。一方面是識(shí)別結(jié)果的數(shù)量比較，即比較PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出的番茄果實(shí)的數(shù)量與點(diǎn)云中番茄果實(shí)數(shù)量；另一方面是識(shí)別結(jié)果的位置比較，即比較PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出的番茄果實(shí)中心位置與點(diǎn)云中番茄果實(shí)中心位置。

針對(duì)識(shí)別結(jié)果的數(shù)量比較，將識(shí)別結(jié)果分為正檢、錯(cuò)檢和漏檢3類(lèi)，如圖7所示。PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出的番茄果實(shí)總數(shù)量記為檢出數(shù)(ND)，識(shí)別正確的番茄果實(shí)數(shù)量記為正檢數(shù)(NC)，識(shí)別錯(cuò)誤的番茄果實(shí)數(shù)量記為錯(cuò)檢數(shù)(NF)，未被識(shí)別出的番茄果實(shí)數(shù)量記為漏檢數(shù)(NM)，點(diǎn)云中番茄果實(shí)總數(shù)量記為參考數(shù)(NR)。通過(guò)計(jì)算精確率(AD)，召回率(AR)對(duì)識(shí)別結(jié)果的數(shù)量方面進(jìn)行性能評(píng)價(jià)。

圖7 番茄果實(shí)識(shí)別結(jié)果分類(lèi)示意圖Fig.7 Classification diagram of tomato fruit recognition results

番茄果實(shí)數(shù)量識(shí)別的AD計(jì)算公式為：

番茄果實(shí)數(shù)量識(shí)別的AR計(jì)算公式為：

針對(duì)識(shí)別結(jié)果的位置比較，將PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別結(jié)果3D框與人工標(biāo)注3D框做對(duì)比統(tǒng)計(jì)，引入平均中心相對(duì)誤差(CR)作為PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別結(jié)果位置方面的評(píng)價(jià)指標(biāo)。

CR的計(jì)算公式為：

式中，Di為中心距離，即第i個(gè)番茄果實(shí)的人工標(biāo)注3D框中心與識(shí)別結(jié)果3D框中心的距離；Ri為標(biāo)注框邊長(zhǎng)均值，即第i個(gè)番茄果實(shí)的人工標(biāo)注3D框的長(zhǎng)、寬、高均值。

2 結(jié)果與分析

2.1 番茄果實(shí)數(shù)量與位置識(shí)別結(jié)果

根據(jù)標(biāo)定得到的相機(jī)參數(shù)將采集到的252組番茄植株圖像數(shù)據(jù)轉(zhuǎn)化生成252個(gè)番茄植株點(diǎn)云，通過(guò)點(diǎn)云配準(zhǔn)技術(shù)合成獲得246個(gè)合成的番茄植株點(diǎn)云。使用標(biāo)注工具CloudCompare對(duì)合成的番茄植株點(diǎn)云中番茄果實(shí)進(jìn)行標(biāo)注，隨機(jī)選取196個(gè)的番茄植株點(diǎn)云標(biāo)注結(jié)果投入到PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)中訓(xùn)練。利用訓(xùn)練好的模型對(duì)剩余的50個(gè)合成的番茄植株點(diǎn)云進(jìn)行預(yù)測(cè)識(shí)別，并將預(yù)測(cè)結(jié)果與人工標(biāo)注結(jié)果做統(tǒng)計(jì)對(duì)比。

將PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)50個(gè)番茄植株點(diǎn)云的預(yù)測(cè)識(shí)別結(jié)果可視化，并統(tǒng)計(jì)PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出的番茄果實(shí)總數(shù)、識(shí)別正確的番茄果實(shí)數(shù)、識(shí)別錯(cuò)誤的番茄果實(shí)數(shù)、未被識(shí)別出的番茄果實(shí)數(shù)、點(diǎn)云中番茄果實(shí)總數(shù)。如圖8所示，圖8a中番茄果實(shí)數(shù)為6，PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出的番茄果實(shí)數(shù)為5，識(shí)別錯(cuò)誤的番茄果實(shí)數(shù)為0，未被識(shí)別出的番茄果實(shí)數(shù)為1。

圖8 番茄果實(shí)識(shí)別結(jié)果Fig.8 Recognition results of tomato fruit

根據(jù)“1.7”針對(duì)番茄果實(shí)數(shù)量識(shí)別的評(píng)價(jià)指標(biāo)，對(duì)50個(gè)番茄植株點(diǎn)云的預(yù)測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)，計(jì)算精確率和召回率，PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別番茄果實(shí)數(shù)量的參考數(shù)、檢出數(shù)、正檢數(shù)、錯(cuò)檢數(shù)、漏檢數(shù)分別為 277、268、231、37、46，精確率為86.19%，召回率為83.39%。

根據(jù)“1.7”針對(duì)番茄果實(shí)位置識(shí)別的評(píng)價(jià)指標(biāo)，從50個(gè)番茄植株點(diǎn)云的預(yù)測(cè)結(jié)果中隨機(jī)選擇50個(gè)番茄果實(shí)預(yù)測(cè)框與人工標(biāo)注框做對(duì)比統(tǒng)計(jì)，計(jì)算平均中心相對(duì)誤差，如表2所示，平均中心相對(duì)誤差為36.83%。

表2 PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別番茄果實(shí)位置的精度評(píng)價(jià)Table 2 Accuracy evaluation of tomato fruit position recognition based on PointRCNN object detection network

2.2 番茄果實(shí)成熟階段分類(lèi)結(jié)果

遍歷獲取PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)50個(gè)番茄植株點(diǎn)云的預(yù)測(cè)結(jié)果框中的點(diǎn)云，獲取對(duì)應(yīng)的RGB信息，計(jì)算得到結(jié)果框內(nèi)點(diǎn)云的特征矩陣，使用訓(xùn)練好的SVM分類(lèi)器對(duì)點(diǎn)云的特征矩陣進(jìn)行成熟階段分類(lèi)預(yù)測(cè)。分類(lèi)結(jié)果顯示，綠熟果實(shí)112個(gè)，微熟果實(shí)72個(gè)，成熟果實(shí)55個(gè)，完熟果實(shí)29個(gè)。

2.3 番茄果實(shí)成熟數(shù)量測(cè)定結(jié)果

設(shè)定移動(dòng)平臺(tái)DashGo B1采取定點(diǎn)?？康男凶卟呗?，利用DashGo B1搭載的KinectV2.0采集溫室內(nèi)4行番茄植株的圖像數(shù)據(jù)，使用基于彩色點(diǎn)云圖像的番茄成熟數(shù)量測(cè)定方法進(jìn)行數(shù)量測(cè)定，結(jié)果顯示，綠熟果實(shí)448個(gè)，微熟果實(shí)393個(gè)，成熟果實(shí)294個(gè)，完熟果實(shí)281個(gè)，共計(jì)1 416個(gè)。

3 結(jié)論

1)本文提出了一種基于彩色點(diǎn)云圖像的番茄果實(shí)數(shù)量測(cè)定方法。為消除遠(yuǎn)距離番茄果實(shí)的干擾，減輕番茄果實(shí)遮擋、重疊等的影響，準(zhǔn)確評(píng)估不同成熟階段的番茄果實(shí)數(shù)量，以二視角合成后的彩色點(diǎn)云作為數(shù)據(jù)處理對(duì)象，通過(guò)深度信息截取近距離點(diǎn)云，利用PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)獲取番茄果實(shí)識(shí)別框,使用SVM分類(lèi)器對(duì)番茄果實(shí)識(shí)別框進(jìn)行成熟階段預(yù)測(cè)。

2)針對(duì)番茄果實(shí)成熟階段分類(lèi)識(shí)別，選取番茄果實(shí)顏色特征組成特征矩陣訓(xùn)練SVM分類(lèi)器，SVM分類(lèi)器對(duì)訓(xùn)練集預(yù)測(cè)準(zhǔn)確率為94.27%，對(duì)測(cè)試集的預(yù)測(cè)準(zhǔn)確率為96.09%。

3)選取精確率和召回率2個(gè)指標(biāo)評(píng)價(jià)番茄果實(shí)數(shù)量識(shí)別的精度；選取平均中心相對(duì)誤差指標(biāo)評(píng)價(jià)番茄果實(shí)位置識(shí)別的精度。PointRCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)的番茄果實(shí)識(shí)別方法的精確率為86.19%，召回率為83.39%，平均中心相對(duì)誤差為36.83%。