李竹 牟昌紅 嵇康軒 王波

摘要 ?藍莓果實成熟度的人工分級技術(shù)效率低、準確性有限，不能滿足市場需求。為了提高藍莓成熟度檢測的準確性，提出了一種基于深度學習的藍莓成熟度預測方法，從而預測出不同成熟階段的藍莓果實。針對7個不同成熟階段的藍莓果實，利用VGG 16神經(jīng)網(wǎng)絡，提取果皮顏色特征建立模型。結(jié)果表明，該方法對不同成熟階段藍莓果實的預測準確率分別達到了97.65%、93.94%、97.02%、100%、80.56%、83.62%、95.21%。該方法建立的模型對藍莓成熟度的預測較為精細，覆蓋了從盛花期50 d開始至完全成熟全過程，充分利用深度學習網(wǎng)絡的分類能力，提高了對藍莓果實成熟度的預測，為實現(xiàn)藍莓果實無損檢測技術(shù)提供理論依據(jù)。

關(guān)鍵詞 ?藍莓；成熟度檢測；深度學習；VGG 16

中圖分類號 ?S 126 ??文獻標識碼 ?A ??文章編號 ?0517-6611（2023）05-0232-05

doi： 10.3969/j.issn.0517-6611.2023.05.053

開放科學（資源服務）標識碼（OSID）：

Prediction of Blueberry Maturity Based on Deep Learning

LI Zhu1，MOU Chang-hong2，JI Kang-xuan1 et al

（1.College of Architecture，Soochow University，Suzhou，Jiangsu 215000;2.Chinese Academy of Forestry Sciences，Beijing ?100000）

Abstract ?The artificial grading technology of blueberry fruit maturity is low in efficiency and limited in accuracy，which can not meet the market demand.In order to improve the accuracy of blueberry maturity detection，a blueberry maturity prediction method based on deep learning was proposed，which could predict blueberry fruits at different ripening stages.VGG 16 neural network was used to extract peel color characteristics of 7 blueberry fruits at different ripening stages to establish models.The results showed that the prediction accuracy of blueberry fruits in different ripening stages reached 97.65%，93.94%，97.02%，100%，80.56%，83.62% and 95.21%，respectively.The model established had a relatively fine prediction of blueberry maturity，covering the whole process from 50 d of flowering to full maturity.The classification ability of deep learning network was fully utilized to improve the prediction of blueberry fruit maturity，providing theoretical basis for the realization of non-destructive testing technology of blueberry fruit.

Key words ?Blueberries;Maturity detection;Deep learning;VGG 16

藍莓為杜鵑花科越橘屬植物，果實中含有大量的花青素和類黃酮等物質(zhì)，具有增強人體免疫力、防止心血管疾病、延緩衰老等功效。隨著生活水平的提高，人們對藍莓消費需求不斷增加，如何快速識別藍莓成熟度，以適應運輸、保鮮、口感等要求成為亟須解決的問題。藍莓果實小，個體差異小，人工采摘難度大且效率較低，難以對不同成熟階段的藍莓進行準確分級［1］。因此，開發(fā)高效、無損、經(jīng)濟的成熟度檢測方法，不僅能夠提高對藍莓果實的分級，滿足藍莓生產(chǎn)的需要，也為藍莓采摘機器人的研制提供了理論依據(jù)。

果皮顏色是衡量果實成熟度的重要指標之一。在藍莓成熟過程中，果實內(nèi)源激素和可溶性糖含量增加，葉綠素分解速度加快，合成受阻，葉綠素和類胡蘿卜素含量降低，花青素不斷積累，顏色會相應地發(fā)生變化，從最初的綠色，逐步轉(zhuǎn)變?yōu)榧t色，最后呈藍色［2］。因此，根據(jù)果皮顏色預測藍莓成熟度是一種可行的方式。目前，通過果皮顏色預測果實成熟度主要借助光特性無損檢測技術(shù)和計算機視覺無損檢測技術(shù)。光特性無損檢測技術(shù)包括高光譜圖像檢測技術(shù)、近紅外光譜技術(shù)等。例如，李麗麗等［3］利用高光譜圖像信息對未熟、半熟、成熟和過熟的李果實進行分析，比較不同彩色圖像模型中的顏色特征值，建立了RGB-HSV-PLS 成熟度預測模型。張靜等［4］通過近紅外光譜技術(shù)，對葡萄成熟度和果實品 質(zhì)進行預測。計算機視覺無損檢測技術(shù)主要利用典型視覺技術(shù)、機器學習技術(shù)、深度神經(jīng)網(wǎng)絡等，如岳有軍等［5］改進級聯(lián)卷積神經(jīng)網(wǎng)絡，成功將番茄成熟度預測率提高2百分點；賀付亮等［6］建立視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡，改善成熟桑葚識別困難的問題。在針對藍莓成熟度檢測方面，國外起步較早，對預測模型的研究較為深入，如Tan等［7］應用HOG特征與顏色特征對同一區(qū)域內(nèi)不同成熟度藍莓進行識別與計數(shù)，對成熟果實預測率達到96.0%；Ni等［8］使用計算機圖像分割方法對藍莓圖像進行處理，提高藍莓預測過程中目標檢測的準確率。這些研究側(cè)重于對小體積實驗對象的目標檢測上，即如何更好地改善識別模型。國內(nèi)這一領(lǐng)域的相關(guān)研究尚未形成完整的框架，對藍莓成熟度的研究多局限于未熟、半熟、成熟3種成熟狀態(tài)，不能對整個成熟過程進行全面把控。馬淏等［9］利用高光譜成像技術(shù)對成熟、近成熟、未成熟藍莓進行識別，正確率分別達到了96.1%、94.7%、 91.2%。王立舒等［10］建立YOLOv4-Tiny模型，結(jié)合卷積注意力模塊，對成熟藍莓的預測準確率高達97.3%。但也有研究表明，從果皮顏色判斷果實成熟度雖然可行，但在成熟后期，果皮顏色變化不明顯，成熟程度更多體現(xiàn)在果實個體大小上，因此不能僅從果皮顏色判斷果實成熟度。

近5年的研究顯示，深度學習在果實成熟度檢測中的應用越來越多。深度學習是一種特殊的機器學習，能夠通過學習在輸入的數(shù)據(jù)中尋找規(guī)律，對未知數(shù)據(jù)進行預測。這一技術(shù)在圖像識別、風險預測、自然語言處理等領(lǐng)域取得了很多成果，常用的模型有VGGNet、GoogleNet、Xception、MobileNet、ShuffleNet、GhostNet、AsymmNet等。其中，VGGNet作為卷積神經(jīng)網(wǎng)絡中經(jīng)典的圖像分類模型，在圖像識別領(lǐng)域具有很大潛力。通過深度學習，可以有效減少主觀因素對果實分級的影響，這在百香果［11］、刺梨［12］、枸杞［13］、番茄［14］等果實上都已被證明。但目前，針對藍莓的深度學習案例較少。因此，為了更高效地識別藍莓成熟度，筆者基于深度學習，利用VGG 16神經(jīng)網(wǎng)絡將藍莓的成熟階段進一步細分為7個階段，從盛花期50 d開始，每10 d采樣1次，直至果實完全成熟，共采樣7次，檢測藍莓果實在7個不同成熟階段的表皮顏色，建立藍莓成熟度預測模型，測量和分析各階段果實的縱橫比與鮮重，旨在解決藍莓果實成熟度難以人眼識別的問題，提高藍莓分級的準確性。

1 材料與方法

1.1 樣本采集

供試品種為梯夫藍，由蘇州御湖園農(nóng)業(yè)科技有限公司提供。隨機挑選長勢一致且健康的5年生藍莓植株，于盛花期50 d后開始采樣，依據(jù)成熟度依次分為7個階段，直至果實完全成熟。每10 d采樣1次，分東、南、西、北4個方向隨機采集，每次采樣150顆，共采樣7次。圖1為7種成熟階段的藍莓樣本圖像。

1.2 外部指標測定 ???將采摘后的藍莓果實冷藏保存并迅速運回實驗室進行相關(guān)指標的測定。果實鮮重用千分之一天平稱量，果實縱徑和橫徑用游標卡尺進行測量，并計算果形指數(shù)（縱徑/橫徑）。

1.3 數(shù)據(jù)采集

藍莓圖像采集在自然光照條件下，用EOS 550D相機在藍莓果實1 m左右拍攝，圖像分辨率為5 481×3 456，以.jpeg格式保存。為增加數(shù)據(jù)集豐富度，使網(wǎng)絡能夠適應更多的場景，數(shù)據(jù)集包含不同遮擋程度和光照條件下的藍莓圖像，同時對藍莓圖像進行旋轉(zhuǎn)、縮放、鏡像等多角度處理。圖像樣本共3 000幅，其中輕微遮擋圖像樣本1 800幅，重度遮擋圖像樣本450幅，逆光圖像樣本750幅。按8 ∶ 2比例隨機分為訓練集和測試集，數(shù)據(jù)分布如表1所示。

1.4 圖像預處理與藍莓識別

預處理的主要目的是讓計算機更快、更精準地識別出圖像中的藍莓主體，便于后續(xù)的神經(jīng)網(wǎng)絡訓練。如圖2所示，從上到下分別代表不同成熟度，從左到右分別代表原始圖、藍莓位置的掩碼圖像、藍莓樣本區(qū)域圖、最終樣本圖。

觀察和初步識別結(jié)果顯示，在藍莓的7個成熟階段中，第1階段藍莓果實偏綠，與背景色較為相近，在計算機識別過程中，通常會和背景樹枝、樹葉一同被識別，準確率較低。因此，在圖像預處理時，將7個成熟階段分為2部分，階段1為一部分，階段2～7為一部分，分別進行檢測。

首先將顏色空間從RGB轉(zhuǎn)換到HSV，通過色度（Hue）更快地將藍莓果實區(qū)域識別出來。同時在HSV顏色空間下，可以減少光照對圖片的影響，有利于排除干擾因素對識別準確率的影響。 通過色度選出除了綠色之外的所有顏色，即將成熟階段2～7的藍莓篩選出來，因為只有第1階段的藍莓呈現(xiàn)出綠色，而這一特征也可以被神經(jīng)網(wǎng)絡學習到，因此可以將階段1的藍莓圖像篩選出來。選出藍莓主體后，通過模糊圖像，對圖像進行降噪處理，得到藍莓位置的掩碼圖像。

通過觀察藍莓位置掩碼圖片，可以發(fā)現(xiàn)圖中殘留一些葉片或枝干的邊緣，藍莓的中心區(qū)域不太完整，為了彌補上述缺陷，分別進行圖像的腐蝕與膨脹操作。圖像腐蝕可以消除細小的邊緣地帶，如樹葉邊緣，圖像膨脹可以將部分小區(qū)域填充完整，從而得到一個較為完整的藍莓區(qū)域，經(jīng)過這一步處理后，得到藍莓樣本區(qū)域圖。最后使用邊緣識別算法，選出其中面積最大的區(qū)域作為目標藍莓區(qū)域，將這部分裁剪下來作為后續(xù)的神經(jīng)網(wǎng)絡輸入。

1.5 VGG 16網(wǎng)絡

VGG 16共有16層，包括13個卷積層，5個池化層，3個全連接層，不包括激活層。對輸入圖像的默認大小是224×224×3，其網(wǎng)絡結(jié)構(gòu)如圖3所示。

由圖3可知，conv為卷積層，使用3×3的卷積核、長度為1的卷積步長進行局部特征提取，公式如下：

y=z（W*Matrix+Bias）

式中，y為卷積層輸出結(jié)果，W為卷積核，Matrix為灰度圖矩陣，*為卷積運算，Bias為偏置值。

maxpooling為最大池化層，大小為2×2，對卷積操作后提取的特征信息進一步提取，進行降維處理，降低計算難度，公式如下：

fpooling=MAX（Xm，n，Xm+1，n，Xm，n+1，Xm+1，n+1）（0≤n≤N，0≤m≤M）

式中，M為輸入圖像二維向量的長，N為輸入圖像二維向量的寬。

FC為完全連接層，對數(shù)據(jù)集進行分類。使用交叉熵損失作為損失函數(shù)，公式如下：

L=-［ylogy′+（1-y）log（1-y′）］

式中，y為真實標簽值（正類值為1，負類值為0），y’是預測的概率值（y∈（0，1））。

模型的使用過程為：經(jīng)64個卷積核的卷積處理2次，后進入池化層pooling；再經(jīng)128個卷積核的卷積處理2次，后進入池化層pooling；再經(jīng)256個卷積核的卷積處理3次，后進入池化層pooling；再經(jīng)512個卷積核的卷積處理3次，后進池化層pooling，該過程重復2次。完成后，連接3層全連接層。

2 結(jié)果與分析

2.1 藍莓果實外部指標比較

2.1.1 ???不同成熟階段果形指數(shù)。由圖4可知，藍莓果實的果形指數(shù)整體上呈初期波動大、中后期平緩的趨勢。階段1～4期間波動較大，從0.825下降至0.688，后上升至0.803，最后下降，縱橫比最高達到0.825，最低為0.667，最高值約為最低值的1.2倍。階段4～7期間，縱橫比趨于穩(wěn)定，縱橫比平均值約為0.700，最低值0.667，最高值0.733，均在平均值附近波動。

2.1.2 ???各成熟階段果實鮮重。由圖5可知，隨著藍莓果實成熟度不斷增加，果實鮮重不斷增加，各階段間差異顯著。在成熟階段1時鮮重最低，為0.506 g。階段2～4果實鮮重增速最快，果實鮮重由0.644 g增加至1.017 g，后增速放緩。階段5～6增速最低，果實鮮重由1.129 g增加至1.222 g。至階段7完全成熟時果實鮮重達到1.376 g，約為階段1的2.7倍。

2.2 不同成熟階段藍莓果實識別準確率比較

使用預訓練好的VGG-16網(wǎng)絡作為基本結(jié)構(gòu)。修改其中的分類層，根據(jù)成熟度分級需求，分為1～7共7個類別，使用交叉熵誤差函數(shù)進行訓練。在圖像預處理步驟中得到的3 000張藍莓圖像，根據(jù)8 ∶ 2的比例劃分出訓練集和測試集，在Google Colab提供的計算平臺上進行訓練，迭代次數(shù)為100。得到7個成熟階段藍莓果實預測準確率。

從表2可以看出，成熟階段1正確識別個數(shù)166個，誤識別個數(shù)4個，識別準確率為97.65%，比平均準確率高約4百分點，準確率較高，該階段果實顏色為綠色。成熟階段2正確識別個數(shù)155個，誤識別個數(shù)10個，識別準確率為93.94%，在各成熟階段識別準確率中屬于平均水平，該階段果實顏色由綠色向白色轉(zhuǎn)變。成熟階段3正確識別個數(shù)163個，誤識別個數(shù)5個，識別準確率為97.02%，準確率較高，略低于成熟階段1，該階段果實顏色呈淡粉色。成熟階段4正確識別個數(shù)173個，誤識別個數(shù)0，識別準確率高達100%，是預測準確率最高的一個成熟階段，該階段果實顏色較為均勻，為紅色。成熟階段5正確識別個數(shù)145個，誤識別個數(shù)35個，識別準確率僅為80.56%，是識別準確率最低的一個階段，該階段果實開始變紫。成熟階段6正確識別個數(shù)148個，誤識別個數(shù)29個，識別準確率為83.62%，識別準確率較低，果實顏色由紫色向藍色轉(zhuǎn)變。成熟階段7正確識別個數(shù)159個，誤識別個數(shù)8個，識別準確率為95.21%，預測準確率較高。成熟階段7即為完全成熟階段，果實轉(zhuǎn)變?yōu)樗{色，且逐步加深形成深藍色。

3 討論

在該研究中，成熟階段1的識別準確率達到97.65%，這主要是因為在目標檢測階段將階段1和階段2～7分開識別的原因。類似研究中，Liu等［15］利用Cr-Cb顏色空間識別柚子成熟度，其中未成熟綠果的識別效果明顯低于其他果實識別效果。對綠果識別準確率低主要因為綠果與環(huán)境顏色相似，計算機在識別過程中，常會出現(xiàn)將背景物體一同識別為藍莓的現(xiàn)象，甚至有時會直接將環(huán)境中其他因素識別為果實，而沒有檢測到果實的真實位置。當果實被遮擋后，識別難度加大，效果更加不理想。Tan等［7］建立的模型能夠很好地對果實進行識別與計數(shù)，但該方法對被遮擋果實無法有效識別，識別速度較慢。因此，如何降低環(huán)境的干擾，增加綠果的檢測精度是建立完善的藍莓果實成熟度預測體系的一大難題。尤其是在果實成熟階段果皮顏色會多次呈現(xiàn)綠色時，如何更好地將各綠果階段區(qū)分開、將綠果與背景區(qū)分開還需要進一步探討。

成熟階段4的測試藍莓共173個，正確識別個數(shù)173個，識別準確為100%。在該研究的多次試驗中，成熟階段4的預測準確率均為100%，較為穩(wěn)定。但在類似文章中鮮少出現(xiàn)100%的預測率，如李麗麗等［3］對李果實成熟度的研究，其預測準確率在同類文章中屬于較高水平，為98.4%，未達到100%。100%準確率意味著該模型可以精準預測該成熟階段藍莓果實。綜合各成熟階段藍莓圖像特征和識別精度，可以看出系統(tǒng)對該成熟階段預測準確率較高的原因可能有以下2個原因：一是該成熟階段的藍莓果實色澤均勻，呈現(xiàn)為紅色，系統(tǒng)對果實的識別沒有其他顏色的干擾，因此目標檢測精度高、機器學習的效果較好；二是該階段果實和其他成熟階段果實顏色差距較明顯，因此能夠準確將該分類下的藍莓果實定位到相應的組別中。

成熟階段5和6的識別準確率相近，分別為80.56%和83.62%，均沒有超過85.00%，識別準確率較低。這說明機器在學習過程中，對這2個階段藍莓果實的特征把握有待提高。這可能存在以下2個原因：①成熟階段5和6的藍莓果實顏色較為接近，沒有特別明顯的差異特征，因此2個階段的識別準確率均偏低。②成熟階段5～6期間，隨著藍莓果實的不斷成熟，果實縱橫比有所下降，由0.707降至0.683，果實出現(xiàn)膨大，這與邵姁等［16］研究中布吉里特藍莓的縱橫比變化趨勢類似，在果實即將完全成熟時，縱橫比會出現(xiàn)略微下降的現(xiàn)象，最終上升達到穩(wěn)定。階段5和6間的果實鮮重有顯著差異，增加了0.093 g，說明該時期內(nèi)，果實外觀差異逐步由顏色間的差異轉(zhuǎn)變?yōu)楣麑崅€體體量間的差異。果實顏色變化幅度減小，鮮重增加，縱橫比下降，果實形狀更加飽滿。

4 結(jié)論

通過計算機深度學習技術(shù)，基于藍莓果實顏色特征，對果實成熟度進行預測，不僅將果實成熟階段細分為7個階段，覆蓋了盛花期后果實顏色變化的全過程，同時輔以果實外部形態(tài)變化及鮮重加以分析。在圖像預處理階段，為了提高計算機對綠色果實的識別準確率，將整個成熟階段分為兩部分提取顏色特征。結(jié)果表明，該模型對各階段藍莓果實成熟度預測準確率達到97.65%、93.94%、97.02%、100%、80.56%、83.62%、95.21%。該結(jié)果較為滿意，尤其對成熟階段1、3、4、7的預測準確率較高，基本能夠滿足生產(chǎn)需求。

參考文獻

［1］ ?MU C H，YUAN Z B，OUYANG X Q，et al.Non-destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning［J］.Journal of the science of food and agriculture，2021，101（8）：3165-3175.

［2］ 劉娟，周長富，龔碧涯，等.8個藍莓品種果實成熟規(guī)律和品質(zhì)研究［J］.湖南農(nóng)業(yè)科學，2021（1）：15-19.

［3］ 李麗麗，王斌，張學豪，等.基于高光譜圖像信息的李果實成熟度判別［J］.現(xiàn)代食品科技，2017，33（12）：228-232，144.

［4］ 張靜，徐陽，姜彥武，等.近紅外光譜技術(shù)在葡萄及其制品品質(zhì)檢測中的應用研究進展［J］.光譜學與光譜分析，2021，41（12）：3653-3659.

［5］ 岳有軍，孫碧玉，王紅君，等.基于級聯(lián)卷積神經(jīng)網(wǎng)絡的番茄果實目標檢測［J］.科學技術(shù)與工程，2021，21（6）：2387-2391.

［6］ 賀付亮，郭永彩，高潮，等.基于視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡的成熟桑葚圖像分割［J］.農(nóng)業(yè)工程學報，2017，33（6）：148-155.

［7］ TAN K Z，LEE W S，GAN H，et al.Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes［J］.Biosystems engineering，2018，176：59-72.

［8］ NI X P，LI C Y，JIANG H Y，et al.Deep learning image segmentation and extraction of blueberry fruit traits associated with harvestability and yield［J］.Horticulture research，2020，7（1）：1399-1412.

［9］ 馬淏，張開，金鑫，等.基于高光譜成像技術(shù)的藍莓果實成熟度識別研究［J］.中國農(nóng)業(yè)科技導報，2020，22（2）：80-90.

［10］ ?王立舒，秦銘霞，雷潔雅，等.基于改進YOLOv4-Tiny的藍莓成熟度識別方法［J］.農(nóng)業(yè)工程學報，2021，37（18）：170-178.

［11］ 唐熔釵，伍錫如.基于改進YOLO-V3網(wǎng)絡的百香果實時檢測［J］.廣西師范大學學報（自然科學版），2020，38（6）：32-39.

［12］ 閆建偉，趙源，張樂偉，等.改進Faster-RCNN自然環(huán)境下識別刺梨果實［J］.農(nóng)業(yè)工程學報，2019，35（18）：143-150.

［13］ 朱永寧，周望，楊洋，等.基于Faster R-CNN的枸杞開花期與果實成熟期識別技術(shù)［J］.中國農(nóng)業(yè)氣象，2020，41（10）：668-677.

［14］ 劉芳，劉玉坤，林森，等.基于改進型YOLO的復雜環(huán)境下番茄果實快速識別方法［J］.農(nóng)業(yè)機械學報，2020，51（6）：229-237.

［15］ LIU T H，EHSANI R，TOUDESHKI A，et al.Identifying immature and mature pomelo fruits in trees by elliptical model fitting in the Cr-Cb color space［J］.Precision agriculture，2019，20（1）：138-156.

［16］ 邵姁，李永強，張真真，等.基于色度分析的藍莓果實采收標準研究［J］.浙江師范大學學報（自然科學版），2016，39（1）：65-69.