荊偉斌，李存軍，競(jìng) 霞，趙 葉，程 成

（1. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京100097；2. 西安科技大學(xué)測(cè)繪科學(xué)與技術(shù)學(xué)院，陜西西安710054）

0 引言

我國(guó)是世界上蘋果種植面積最大、產(chǎn)量最高的國(guó)家。2014—2019年，我國(guó)蘋果年總產(chǎn)量均達(dá)到3 700萬(wàn)t以上，位于世界蘋果總產(chǎn)量之首；同時(shí)，我國(guó)也是蘋果消費(fèi)大國(guó)［1-2］。在果實(shí)采摘、保鮮儲(chǔ)藏、銷售等工作中，由于無(wú)法及時(shí)預(yù)估蘋果產(chǎn)量，導(dǎo)致儲(chǔ)藏成本分配不合理、人工投入比例不合理、銷售訂單量與果園實(shí)際產(chǎn)量無(wú)法匹配以及進(jìn)出口量分配不合理等問(wèn)題。快速準(zhǔn)確地識(shí)別樹(shù)上果實(shí)的數(shù)量，對(duì)果實(shí)采收、進(jìn)出口管理以及儲(chǔ)藏成本控制等具有重要意義。

果實(shí)識(shí)別方法通常是基于顏色信息和輪廓信息進(jìn)行?；陬伾畔⒌淖R(shí)別算法有分水嶺算法［3］、構(gòu)建顏色網(wǎng)絡(luò)的識(shí)別分類器［4］等，其在果實(shí)近景識(shí)別以及簡(jiǎn)單環(huán)境中的識(shí)別精度較高，但在廣域復(fù)雜背景下，由于光照、遮擋等因素影響導(dǎo)致果實(shí)識(shí)別精度較低，難以有效地分割果實(shí)與背景環(huán)境?；谳喞畔⒌淖R(shí)別算法主要有Sobel邊緣提取［5］、K-means多目標(biāo)提?。?］等，其在果實(shí)遮擋面積小、輪廓信息完整的條件下識(shí)別精度較高，但是在有遮擋條件下識(shí)別精度較低，并且需要根據(jù)不同的目標(biāo)物調(diào)整相應(yīng)的閾值，導(dǎo)致漏判、誤判現(xiàn)象較為嚴(yán)重。

為解決廣域復(fù)雜環(huán)境下多目標(biāo)識(shí)別精度低的問(wèn)題，提高模型的泛化能力，國(guó)內(nèi)外相關(guān)學(xué)者采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行果實(shí)多目標(biāo)識(shí)別方法研究。在深度卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別領(lǐng)域，出現(xiàn)了Faster-RCNN、YOLO、Mask-RCNN等快速高效的網(wǎng)絡(luò)模型，并被廣泛應(yīng)用于人臉檢測(cè)［7］、駕駛員手機(jī)使用檢測(cè)［8］、汽車識(shí)別檢測(cè)［9］中。JordiGené-Mola［10］、Anand Koirala［11］、Yunong Tian［12］等基于深度卷積神經(jīng)網(wǎng)絡(luò)，采用多目標(biāo)檢測(cè)的方法對(duì)復(fù)雜場(chǎng)景下的樹(shù)上果實(shí)進(jìn)行識(shí)別，在果實(shí)近景識(shí)別中均取得較好成果，但在廣域復(fù)雜場(chǎng)景下的研究相對(duì)較少。相關(guān)學(xué)者研究發(fā)現(xiàn)［13］，F(xiàn)aster-RCNN［14］更適用于小而密集的中小目標(biāo)物的檢測(cè)識(shí)別，識(shí)別效率比其他模型更好。通過(guò)對(duì)果園實(shí)地調(diào)查發(fā)現(xiàn)，蘋果樹(shù)上果實(shí)存在小而密集特點(diǎn)，遮擋情況較為復(fù)雜，因此，文章通過(guò)Faster-RCNN模型對(duì)廣域復(fù)雜場(chǎng)景下的蘋果樹(shù)上果實(shí)進(jìn)行識(shí)別，并對(duì)模型的適用性進(jìn)行分析。

1 材料與方法

1.1 影像采集

為進(jìn)行蘋果樹(shù)上果實(shí)識(shí)別研究，該文在北京市昌平區(qū)某蘋果果園使用佳能EOS1500D數(shù)碼相機(jī)采集的側(cè)視圖，采集時(shí)間為2019年9月17日和2019年9月23日，影像為RGB格式。該蘋果園共有果樹(shù)40棵，果樹(shù)高度為3～5 m，果樹(shù)行間距為4 m（圖1）。該果園蘋果以富士為主，果實(shí)與枝葉間、果實(shí)之間存在互相遮擋等情況，如圖1c～圖1d，受天氣、樹(shù)蔭等影響，果實(shí)表面顏色分布不均勻。該果園具有通常果園都存在的果實(shí)輪廓信息不清、顏色多樣、生長(zhǎng)環(huán)境復(fù)雜等特點(diǎn)，是進(jìn)行廣域復(fù)雜場(chǎng)景樹(shù)上果實(shí)識(shí)別的合理實(shí)驗(yàn)場(chǎng)地。

圖1 北京市昌平區(qū)某蘋果園Fig.1 Orchard located on Changping district，Beijing

實(shí)驗(yàn)中，根據(jù)實(shí)際果樹(shù)分布狀況，采用人為定點(diǎn)拍攝的方式進(jìn)行影像采集（圖2）。由于相鄰兩列果樹(shù)行間的距離之間差值較小，而且行間距方向非標(biāo)準(zhǔn)垂直向下結(jié)構(gòu)，所以在影像采集時(shí)，采集路線非標(biāo)準(zhǔn)的垂直前進(jìn)路線。在采集影像時(shí)，統(tǒng)一面向果樹(shù)側(cè)面，并在果樹(shù)中點(diǎn)位置進(jìn)行影像采集，即橫向處于同一水平線兩棵果樹(shù)的中點(diǎn)位置。同一個(gè)影像采集點(diǎn)采集4次影像，分別涵蓋不同曝光程度下（全自動(dòng)模式、光圈優(yōu)先模式、快門優(yōu)先模式）的果樹(shù)影像，用于模擬廣域復(fù)雜環(huán)境下不同光照對(duì)相機(jī)采集影像的影響，增強(qiáng)數(shù)據(jù)庫(kù)的豐富性和多樣性，提高模型學(xué)習(xí)的泛化能力。

圖2 蘋果樹(shù)側(cè)面影像數(shù)據(jù)集部分展示Fig.2 Part of apple tree side image data

在模型樣本庫(kù)建立時(shí)，共采集該果園160張影像，影像大小為375×500像素（圖3），采用labelme軟件進(jìn)行果樹(shù)側(cè)面蘋果標(biāo)注。為驗(yàn)證模型的泛化能力，選用30棵果樹(shù)的側(cè)面影像120張用于模型訓(xùn)練數(shù)據(jù)集，其余10棵果樹(shù)的40張影像作為模型測(cè)試數(shù)據(jù)集。

1.2 側(cè)視圖蘋果識(shí)別方法

1.2.1 Faster-RCNN模型結(jié)構(gòu)

該文采用Faster-RCNN對(duì)蘋果樹(shù)側(cè)面圖進(jìn)行果實(shí)目標(biāo)識(shí)別。Faster-RCNN是由Shaoqing Ren提出的一種用于目標(biāo)檢測(cè)的深度學(xué)習(xí)模型［14］，是基于RCNN和Fast-RCNN模型改進(jìn)的一種目標(biāo)檢測(cè)模型，舍棄了通過(guò)選擇性搜索（Selective Search）提取候選框方法，采用區(qū)域候選網(wǎng)絡(luò)（Region Proposal Networks，RPN）法生成目標(biāo)檢測(cè)的候選區(qū)域。Faster-RCNN模型共由三大模塊構(gòu)成，分別是影像特征提取層、前景候選區(qū)域生成網(wǎng)絡(luò)、分類層（圖3）。其中，RPN是在卷積神經(jīng)網(wǎng)絡(luò)提取的特征圖層（Feature maps）上進(jìn)行操作，獲取目標(biāo)物特征圖像中的地面位置，并在每張圖上生成300個(gè)候選框，映射到卷積神經(jīng)網(wǎng)絡(luò)最后一層輸出的Feature maps上，其生成的建候選框質(zhì)量高、數(shù)量少，并且借助GPU強(qiáng)大的計(jì)算能力，能極大地提高目標(biāo)檢測(cè)的速度。

圖3 Faster-RCNN對(duì)蘋果側(cè)視圖進(jìn)行果實(shí)識(shí)別的工作流程Fig.3 Faster-RCNN workflow

深度學(xué)習(xí)模型泛化能力取決于影像特征提取的豐富性與多樣性，不同的特征提取網(wǎng)絡(luò)對(duì)模型的魯棒性以及學(xué)習(xí)能力均有影響。該文分別選用VGG16［15］和ResNet50［16］作為蘋果樹(shù)側(cè)面圖蘋果特征提取網(wǎng)絡(luò)模型。VGG16是由13層卷積層、13層ReLU激活函數(shù)和4層池化層組成的深度網(wǎng)絡(luò)，其網(wǎng)絡(luò)的深度決定了它能夠?qū)W習(xí)圖中的多種深層次信息。ResNet50由8個(gè)部分構(gòu)成，涵蓋了卷積層、最大池化層、4個(gè)殘差網(wǎng)絡(luò)模塊、平均池化層和全連接層。深度卷積網(wǎng)絡(luò)模型訓(xùn)練誤差升高的原因是網(wǎng)絡(luò)越深，梯度消失的現(xiàn)象就越明顯，所以在后向傳播的時(shí)候，無(wú)法有效把梯度更新到前面的網(wǎng)絡(luò)層，靠前的網(wǎng)絡(luò)層參數(shù)無(wú)法更新，導(dǎo)致訓(xùn)練和測(cè)試效果變差［16］。因此，為解決深層網(wǎng)絡(luò)的梯度消失問(wèn)題，ResNet的4個(gè)殘差網(wǎng)絡(luò)模塊中增加了1個(gè)恒等映射（Identity Mapping），即把當(dāng)前輸出直接傳輸給下一層網(wǎng)絡(luò)，同時(shí)在后向傳播過(guò)程中，也是將下一層網(wǎng)絡(luò)的梯度直接傳遞給上一層網(wǎng)絡(luò)。2個(gè)特征提取網(wǎng)絡(luò)具體參數(shù)如表1所示。

表1 深度學(xué)習(xí)特征提取網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)Table 1 Deep learning feature extraction network model structure parameters

續(xù)表1

1.2.2 模型運(yùn)行環(huán)境

該文基于GPU強(qiáng)大的圖像運(yùn)算能力進(jìn)行深度學(xué)習(xí)模型運(yùn)行環(huán)境搭建，GPU顯卡為NVIDIA2080Ti，處理器為Inter core i7-9800x，主頻為3.8Ghz，128GB內(nèi)存，華碩x299主板，在ubuntu18.04系統(tǒng)環(huán)境下進(jìn)行TensorFlow框架搭建，并安裝GPU顯卡深度學(xué)習(xí)所需運(yùn)算插件cuda9.2。

1.2.3 模型訓(xùn)練

通過(guò)調(diào)整模型運(yùn)行學(xué)習(xí)率、權(quán)重衰減項(xiàng)、迭代次數(shù)等參數(shù)，對(duì)模型進(jìn)行優(yōu)化訓(xùn)練并進(jìn)行測(cè)試試驗(yàn)。具體訓(xùn)練過(guò)程中，將初始學(xué)習(xí)率（Learning rate）設(shè)置為0.001，權(quán)重衰減項(xiàng)（Weight decay）設(shè)置為0.000 1，最大迭代次數(shù)設(shè)置為4萬(wàn)次?；赩GG16和ResNet50特征提取網(wǎng)絡(luò)，F(xiàn)aster-RCNN最終輸出為側(cè)面蘋果的識(shí)別結(jié)果，為提高蘋果的識(shí)別精度，僅輸出置信度大于0.8的目標(biāo)。

1.3 精度評(píng)價(jià)指標(biāo)

該文采用準(zhǔn)確率P（perecision）、召回率R（recall）以及OA（averall accuracy）等指標(biāo)對(duì)Faster-RCNN模型計(jì)算結(jié)果進(jìn)行精度評(píng)價(jià)［17］，各指標(biāo)計(jì)算公式為：

式（1）～（4）中，N為測(cè)試樣本的個(gè)數(shù)，TP為模型正確識(shí)別側(cè)面圖的蘋果個(gè)數(shù)，F(xiàn)P為將背景誤識(shí)別為蘋果的個(gè)數(shù)，F(xiàn)N為未識(shí)別的蘋果個(gè)數(shù)，P為模型識(shí)別蘋果的準(zhǔn)確率，R為模型識(shí)別蘋果的召回率，F(xiàn)為模型未識(shí)別為蘋果的漏判率，OA為準(zhǔn)確率P和召回率R的均值，用于評(píng)判模型的識(shí)別精度。

2 結(jié)果與分析

2.1 側(cè)視圖蘋果識(shí)別

該文對(duì)樣本庫(kù)中30棵果樹(shù)的影像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)行目標(biāo)標(biāo)注，利用VGG16和ResNet50進(jìn)行影像特征提取，RPN生成候選區(qū)域，softmax進(jìn)行模型輸出，構(gòu)建基于Faster-RCNN的蘋果樹(shù)側(cè)視圖果實(shí)識(shí)別模型，并利用剩余10棵樹(shù)的樣本數(shù)據(jù)進(jìn)行模型精度評(píng)價(jià)。如圖4為Fater-RCNN對(duì)其中2棵樣本果樹(shù)進(jìn)行側(cè)視圖果實(shí)識(shí)別結(jié)果。

圖4 Fater-RCNN對(duì)蘋果樹(shù)側(cè)視圖的果實(shí)識(shí)別結(jié)果：a.樣本樹(shù)1原圖；b.樣本1的ResNet50識(shí)別結(jié)果；c.樣本1的VGG16識(shí)別結(jié)果；d.樣本樹(shù)2原圖；e.樣本2的ResNet50識(shí)別結(jié)果；f.樣本2的VGG16識(shí)別結(jié)果蘋果識(shí)別結(jié)果展示Fig.4 Side apple recognition results

比較ResNet50和VGG15的識(shí)別結(jié)果可知，2個(gè)模型在識(shí)別結(jié)果中具有一定的相似性，對(duì)于遮擋較小、顏色飽滿的蘋果，模型的識(shí)別精度高，果實(shí)識(shí)別的置信度也相對(duì)較高；在遮擋比較嚴(yán)重即果實(shí)輪廓信息不豐富區(qū)域，以及果實(shí)顏色與地面蘋果袋子顏色接近區(qū)域，模型的識(shí)別精度較低，誤判率較高，置信度也相對(duì)較低；在果樹(shù)下方出現(xiàn)的蘋果袋子對(duì)模型識(shí)別結(jié)果具有一定的影響，經(jīng)過(guò)統(tǒng)計(jì)模型誤判為蘋果的影響因素全部源于地面蘋果袋子。

將訓(xùn)練后的模型用于測(cè)試樣本的果實(shí)識(shí)別中，識(shí)別精度評(píng)價(jià)結(jié)果如表2所示。比較發(fā)現(xiàn)，相同的學(xué)習(xí)參數(shù)下，VGG16作為特征網(wǎng)絡(luò)的目標(biāo)檢測(cè)網(wǎng)絡(luò)各個(gè)指標(biāo)表現(xiàn)優(yōu)于ResNet50。2個(gè)模型的漏判率相差較小，其中ResNet50的識(shí)別誤差主要源于召回率，即模型未識(shí)別的蘋果個(gè)數(shù)多于VGG16網(wǎng)絡(luò)。

表2 廣域復(fù)雜場(chǎng)景下側(cè)視圖蘋果識(shí)別精度評(píng)價(jià)Table 2 Apple recognition accuracy evaluation of side view in wide complex scene

2.2 遮擋情況下的蘋果識(shí)別

該文重點(diǎn)針對(duì)廣域復(fù)雜場(chǎng)景下的果實(shí)遮擋情況進(jìn)行討論，并利用VGG16作為特征提取網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型對(duì)測(cè)試樣本中存在遮擋的影像進(jìn)行識(shí)別驗(yàn)證。對(duì)識(shí)別結(jié)果分析可知，遮擋情況主要有枝葉遮擋和果實(shí)間的相互遮擋，遮擋因素導(dǎo)致果實(shí)的輪廓信息不完整，對(duì)模型的識(shí)別精度影響較大。在蘋果樹(shù)樣本影像中，部分蘋果生長(zhǎng)呈現(xiàn)單個(gè)或稀疏少量分布，影像中前景目標(biāo)突出，易于檢測(cè)識(shí)別（圖5），而也有部分蘋果存在簇生密集生長(zhǎng)，使得獲取到的影像中前景目標(biāo)多而密集，易導(dǎo)致多目標(biāo)果實(shí)的識(shí)別精度降低的情況。采用VGG16和ResNet50作為特征提取的目標(biāo)檢測(cè)模型對(duì)部分測(cè)試樣本中存在遮擋現(xiàn)象較為嚴(yán)重的區(qū)域進(jìn)行果實(shí)識(shí)別，該文選用同一張影像中不同區(qū)域的識(shí)別結(jié)果進(jìn)行分析，確保兩個(gè)模型均在相同的光照以及背景環(huán)境下進(jìn)行識(shí)別任務(wù)。識(shí)別結(jié)果表明，基于VGG16特征提取網(wǎng)絡(luò)的Faster-RCNN模型在遮擋嚴(yán)重區(qū)域的識(shí)別結(jié)果相對(duì)較好（圖5a-V），但亦存在因果實(shí)間相互遮擋以及枝葉遮擋而導(dǎo)致的果實(shí)漏識(shí)別情況發(fā)生（圖5b-V、圖5c-V），相應(yīng)的ResNet50的識(shí)別結(jié)果如圖5d-R、圖5e-R、圖5f-R所示。

圖5 不同遮擋情況下模型的識(shí)別結(jié)果（紅框代表識(shí)別出的蘋果，黃框代表未識(shí)別出的蘋果）Fig.5 Identification results of models in different masking situations

3 結(jié)論

該文針對(duì)蘋果園產(chǎn)量預(yù)估，提出一種基于不同特征提取網(wǎng)絡(luò)的廣域復(fù)雜場(chǎng)景下蘋果樹(shù)側(cè)面果實(shí)多目標(biāo)識(shí)別方法，實(shí)驗(yàn)證明基于VGG16特征提取網(wǎng)絡(luò)的Faster-RCNN模型在遮擋情況下的識(shí)別結(jié)果優(yōu)于ResNet50特征提取網(wǎng)絡(luò)，識(shí)別精度達(dá)到91%；基于深度學(xué)習(xí)的果樹(shù)側(cè)視圖果實(shí)識(shí)別任務(wù)中，單幅圖像識(shí)別時(shí)間約為1.4 s，識(shí)別效率高，基于深度學(xué)習(xí)在廣域復(fù)雜場(chǎng)景下多目標(biāo)識(shí)別精度及效率高的特點(diǎn)，該方法為果園產(chǎn)量估算提供了有效的技術(shù)支持。但是模型受限于系統(tǒng)環(huán)境以及GPU的硬件環(huán)境，攜帶不便，在后期研究中考慮將優(yōu)化訓(xùn)練后的模型移植于便攜式樹(shù)莓派平臺(tái)中，并搭載相機(jī)，進(jìn)行果園果樹(shù)側(cè)面果實(shí)計(jì)數(shù)；此外該文中采用的模型訓(xùn)練樣本庫(kù)數(shù)量較少且僅限一個(gè)果園，在后續(xù)研究中將加入多個(gè)果園以及不同品種的蘋果樹(shù)樣本影像進(jìn)行特征學(xué)習(xí)，提高模型對(duì)不同品種果實(shí)識(shí)別的泛化能力。