張 立，周文靜

（新疆科技學(xué)院，新疆庫爾勒 841000）

0 引言

紅提葡萄，又名“紅地球”，新疆晝夜溫差較大，產(chǎn)出的紅提葡萄果粒飽滿甘甜[1]，葡萄的種植采收主要依靠人工，尤其在判別紅提葡萄成熟度的過程中，采用的方法一是果農(nóng)感官評(píng)定，該方法主觀性強(qiáng)，缺乏客觀評(píng)價(jià)標(biāo)準(zhǔn)；二是化學(xué)成分分析，盡管依據(jù)化學(xué)成分指標(biāo)進(jìn)行鑒別，準(zhǔn)確率較高，但步驟繁瑣，難以推廣[2]。這使得在實(shí)現(xiàn)農(nóng)業(yè)自動(dòng)化的道路上，快速、準(zhǔn)確的判別紅提葡萄成熟度并推進(jìn)紅提葡萄商品化成為重要研究點(diǎn)。因此需要尋求一種能夠快速、準(zhǔn)確的辨別紅提葡萄成熟度的方法。

2016年，Pothen和Nuske采用了根據(jù)紋理特征描述并綜合隨機(jī)森林算法完成了對(duì)葡萄果穗的判別任務(wù)[3]；2018年，Luo等采用K均值算法實(shí)現(xiàn)對(duì)田間成熟葡萄果穗的判別任務(wù)[4]。上述研究采用的都是淺層機(jī)器學(xué)習(xí)算法進(jìn)行葡萄果穗的判別，需要人為提取分類特征，其準(zhǔn)確率很大程度上受所提取特征的制約。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)技術(shù)解決現(xiàn)實(shí)中的分類判別問題成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)[5]，特別是卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過建立層級(jí)特征自動(dòng)提取模型得到更準(zhǔn)確且接近圖像高級(jí)語義的特征[6]。

然而在一些嵌入式平臺(tái)上，例如自動(dòng)采摘機(jī)器人[7]，對(duì)硬件資源的要求十分苛刻，需要一種輕量級(jí)、低延遲（精度尚可接受）的網(wǎng)絡(luò)模型[7]。此時(shí)，具有這些優(yōu)點(diǎn)的MobileNet V2將更適用于自動(dòng)化識(shí)別。MobileNet V2是一個(gè)用于移動(dòng)和嵌入式視覺應(yīng)用的高效模型與CNN的其他模型相比表現(xiàn)出很強(qiáng)的性能，對(duì)硬件要求較低，可廣泛用于各種嵌入式設(shè)備中[8]。

綜上所述，本研究將采用適合紅提葡萄成熟度判別問題的深層MobileNet V2神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)紅提葡萄成熟度的判別。

1 MobileNet V2概述

MobileNet V2的基本單元是深度可分離卷積[10]。可分離卷積主要有兩種類型：簡單空間可分離卷積和深度可分離卷積，簡單空間可分離卷積的基本過程如圖1，空間可分離卷積將卷積核劃分為兩個(gè)較小的卷積核，本文即將3×3的卷積核劃分為3×1和1×3的卷積核。

圖1 簡單空間可分離卷積

深度可分離卷積可以分解為深度卷積和逐點(diǎn)卷積[11]。深度卷積針對(duì)每個(gè)輸入通道采用不同的卷積核，即一個(gè)卷積核對(duì)應(yīng)一個(gè)輸入通道。逐點(diǎn)則采用1×1的卷積核，本文使用的MobileNet V2的基本單元如圖2。

圖2 MobileNetV2基本單元

2 材料與方法

2.1 試驗(yàn)設(shè)備

試驗(yàn)電腦采用64位Windows 11操作系統(tǒng)。處理器為Intel(R)Core(TM)i5-1155G7@2.50GHz，內(nèi)存為16GB，顯示適配器為NVIDIA GeForce GTX 1060；軟件環(huán)境：使用Anaconda搭建了基于Python 3.7的虛擬環(huán)境。試驗(yàn)使用手持色差計(jì)為上海精密便捷式專業(yè)精密色差計(jì)CM-205系列。

試驗(yàn)所需圖像樣本均采樣自新疆巴音郭楞蒙古自治州庫爾勒阿瓦提鄉(xiāng)的葡萄園，2021年8月23日至8月27日，在采收期采集田間自然生長條件下紅提葡萄圖像。圖像采集設(shè)備采用2種不同圖像處理策略的智能手機(jī)，即vivo IQOO Z5和Redmi Note8 Pro分別拍攝紅提葡萄果穗的高清圖像以保證樣本的多樣性，分辨率均固定為4 624×2 601（16：9）。圖像采集時(shí)，采用隨機(jī)方式在不同角度位置拍攝不同成熟度的紅提葡萄，圖像以采集日期命名，共得到380張紅提葡萄圖像[12]，采集過程中隨機(jī)選取其中20串果穗保存并帶回。

2.2 成熟度指標(biāo)

使用手持色差計(jì)測定帶回的葡萄果穗果實(shí)赤道部位的光澤明亮度L*、取值范圍為[1，100]，L*越大，表示果面亮度越高，反之越低；a*和b*表示顏色組分取值范圍[-60，+60]，+a*為紅色，-a*為綠色；+b*為黃色，-b*為藍(lán)色，其絕對(duì)值越大，顏色越深[13]。利用a*和b*計(jì)算果皮的色澤飽和度C*，果皮色調(diào)角h°用于表示色彩，通過它可以得到色彩的分區(qū)，色彩分區(qū)與色調(diào)角h°的對(duì)應(yīng)關(guān)系見表1。

表1 顏色分區(qū)與色調(diào)角對(duì)應(yīng)關(guān)系圖

根據(jù)上述公式計(jì)算葡萄果實(shí)顏色指數(shù)CIRG，并依據(jù)CIRG構(gòu)建數(shù)據(jù)集中果皮著色度的分類標(biāo)準(zhǔn)[14]。數(shù)據(jù)集中按葡萄果皮整體的著色度不同進(jìn)行等級(jí)分類，不同成熟度等級(jí)的紅提葡萄果穗圖像數(shù)分別為：L級(jí)38穗、XL級(jí)40穗、2XL級(jí)105穗、3XL級(jí)114穗、4XL級(jí)55穗、5XL級(jí)28穗。經(jīng)過分類處理的不同成熟度等級(jí)的紅提葡萄果穗表皮的CIRG范圍值見下表。

2.3 數(shù)據(jù)集構(gòu)建及預(yù)處理

實(shí)地拍攝的380張不同著色度的紅提葡萄圖像依據(jù)表2指標(biāo)劃分葡萄成熟度的不同等級(jí)，用于構(gòu)建試驗(yàn)所需數(shù)據(jù)集。

表2 不同成熟度等級(jí)紅提葡萄指數(shù)

為提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率、模型的泛化能力及抗干擾性。首先對(duì)數(shù)據(jù)集中380張紅提葡萄圖像進(jìn)行預(yù)處理：為兼顧計(jì)算速度與圖像質(zhì)量，將原始圖像中的葡萄果實(shí)區(qū)域裁剪為224 px×224 px大小，并將數(shù)據(jù)集中的圖像隨機(jī)進(jìn)行水平、垂直、壓縮、扭曲圖像操作，以消除特征之間量綱不同造成的影響。數(shù)據(jù)集進(jìn)行預(yù)處理后得到1 520張圖像，未經(jīng)處理與進(jìn)行預(yù)處理后的紅提葡萄圖像如圖3。

圖3 紅提葡萄圖像的預(yù)處理

通過運(yùn)行data_split.py程序進(jìn)行葡萄圖像數(shù)據(jù)集的劃分，試驗(yàn)將數(shù)據(jù)集中的紅提葡萄圖像按7:2:1分為訓(xùn)練集（1 064張）、驗(yàn)證集（304張）、測試集（152張）[15]，之后采用訓(xùn)練集和驗(yàn)證集對(duì)MobileNet V2模型進(jìn)行訓(xùn)練。

3 試驗(yàn)結(jié)果與分析

采用本文數(shù)據(jù)集訓(xùn)練模型后，模型訓(xùn)練的準(zhǔn)確率及交叉熵如圖4。

圖4 模型訓(xùn)練的準(zhǔn)確率及交叉熵?fù)p失量

從圖4a可以明顯的觀察到，隨著訓(xùn)練迭代次數(shù)的增加，模型訓(xùn)練的準(zhǔn)確率快速提高，驗(yàn)證準(zhǔn)確率也在逐漸升高，在第30次訓(xùn)練時(shí)正確率達(dá)到100%，此時(shí)，驗(yàn)證準(zhǔn)確率也最終穩(wěn)定在83%左右，表明模型訓(xùn)練效果較好。圖4b可以明顯的觀察到隨著訓(xùn)練迭代次數(shù)的增加，模型訓(xùn)練的交叉熵?fù)p失量在減小，表示真實(shí)概率分布與預(yù)測概率分布之間的差異在不斷減小，即模型訓(xùn)練過程中預(yù)測分類結(jié)果和真實(shí)分類情況越接近，表明模型預(yù)測效果就越好。

在此過程中，驗(yàn)證損失量隨著迭代次數(shù)的增加，其交叉熵?fù)p失量首先呈現(xiàn)下降趨勢，隨后驗(yàn)證損失量略有增加。該曲線表明模型經(jīng)過不斷優(yōu)化后，產(chǎn)生了輕微的過擬合，但增加時(shí)仍然能保持比較平穩(wěn)的狀態(tài)。表明模型的預(yù)測結(jié)果較為穩(wěn)定。

分析以上兩圖可得，本文的實(shí)驗(yàn)對(duì)MobileNet V2模型訓(xùn)練過程較好，根據(jù)驗(yàn)證曲線可知該模型能夠較為準(zhǔn)確地完成葡萄果穗不同等級(jí)的分類任務(wù)。

本研究訓(xùn)練得到的模型判別的平均時(shí)間為2.5 s。從測試集中隨機(jī)選取100張圖像上傳進(jìn)行測試，測試數(shù)據(jù)集結(jié)果的混淆矩陣已做歸一化的處理，其預(yù)測結(jié)果均以概率展示，通過圖5可以直觀的觀察到對(duì)于葡萄成熟度判別任務(wù)的5個(gè)分類，經(jīng)計(jì)算訓(xùn)練出來的MobileNet V2模型的平均正確率為87%。該模型的最高正確率可達(dá)97%，其中模型判別XL等級(jí)的正確率最低，為72%，分析其誤判的原因主要為訓(xùn)練所用的圖像劃分不夠精確，非模型自身因素。由此可見，該模型能夠較準(zhǔn)確地判別葡萄果穗的成熟度等級(jí)。

圖5 MobileNetV2的混淆矩陣

圖6 系統(tǒng)界面與判別結(jié)果

最后，本文采用QT語言[16]制作了可視化的頁面，如圖6 ，系統(tǒng)正常運(yùn)行后，點(diǎn)擊“上傳”選擇要上傳的樣本，從測試集中隨機(jī)選取圖像上傳系統(tǒng)，點(diǎn)擊“開始判別”即可實(shí)現(xiàn)葡萄果穗成熟度等級(jí)的判別。圖中所示葡萄果皮整體呈現(xiàn)為綠色葡萄，成熟度級(jí)別被判別為L，與表1中劃分的范圍一致。

4 結(jié)論

為提高采摘機(jī)器人對(duì)采摘對(duì)象的精準(zhǔn)分類和定位結(jié)合自然環(huán)境下葡萄成熟度檢測面臨的實(shí)際問題[17]，利用深度學(xué)習(xí)與圖像處理相關(guān)技術(shù)進(jìn)行葡萄成熟度實(shí)時(shí)檢測研究并設(shè)計(jì)了葡萄成熟度判別系統(tǒng)。進(jìn)行了葡萄數(shù)據(jù)集的采集、圖像預(yù)處理以及數(shù)據(jù)集的制作。通過對(duì)MobileNet V2模型的訓(xùn)練，實(shí)現(xiàn)了葡萄成熟度的實(shí)時(shí)檢測，得出以下結(jié)論：

（1）葡萄成熟度辨別系統(tǒng)在測試集的預(yù)測中模型的平均準(zhǔn)確率達(dá)到了87%。

（2）采用QT語言制作的可視化的軟件界面，能夠通過簡單的點(diǎn)擊操作實(shí)現(xiàn)葡萄果穗成熟度等級(jí)的判斷。

（3）試驗(yàn)結(jié)果表明，基于輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)MobileNet V2判別葡萄成熟度的方法具有較高的穩(wěn)定性、操作簡單且使用便捷，具有實(shí)際應(yīng)用價(jià)值，可為進(jìn)一步研究葡萄自動(dòng)采摘機(jī)器人提供參考。