向 陽(yáng)，林潔雯，李亞軍，胡正方，熊 瑛

芒果雙面成熟度在線檢測(cè)分級(jí)系統(tǒng)

向 陽(yáng)，林潔雯，李亞軍，胡正方，熊 瑛

（湖南農(nóng)業(yè)大學(xué)工學(xué)院，長(zhǎng)沙 410128）

芒果屬于后熟水果，芒果成熟度分級(jí)可為芒果后熟、加工、包裝、運(yùn)輸?shù)裙ぷ魈峁┍憷麠l件。針對(duì)芒果形狀不規(guī)則，難以對(duì)整個(gè)外觀進(jìn)行檢測(cè)的問題，該文提出了一種基于遷移學(xué)習(xí)的芒果雙面成熟度在線檢測(cè)分級(jí)系統(tǒng)。通過上、下層輸送帶將芒果運(yùn)輸?shù)綀D像采集區(qū)域，分別獲取正、反面圖像；2層輸送帶之間利用柔性翻面機(jī)構(gòu)實(shí)現(xiàn)芒果無損翻面，通過壓縮試驗(yàn)及ANSYS軟件建模分析芒果承受擠壓力范圍。合并正、反2張圖像并進(jìn)行預(yù)處理，將數(shù)據(jù)以8:1.5:1.5的比例拆分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，并用遷移學(xué)習(xí)方法在卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行芒果成熟度分級(jí)。使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)芒果成熟度分級(jí)平均準(zhǔn)確率達(dá)到96.72%，系統(tǒng)測(cè)定單個(gè)樣品的平均耗時(shí)為0.16 s，研究結(jié)果為芒果成熟度在線分級(jí)提供參考。

機(jī)器視覺；分級(jí)；模型；芒果；雙面檢測(cè)；翻面機(jī)構(gòu)；卷積神經(jīng)網(wǎng)絡(luò)；成熟度

0 引 言

中國(guó)是芒果產(chǎn)量第二大國(guó)，面對(duì)巨大的芒果產(chǎn)量，現(xiàn)階段中國(guó)普遍采用人工或者人機(jī)結(jié)合進(jìn)行芒果分級(jí)[1]，且現(xiàn)有分級(jí)裝置多針對(duì)芒果尺寸、質(zhì)量進(jìn)行分級(jí)，難以實(shí)現(xiàn)芒果成熟度自動(dòng)分級(jí)。將機(jī)器視覺技術(shù)應(yīng)用于水果分級(jí)可有效避免水果損傷，更可以減輕勞動(dòng)力，提高分級(jí)效率[2-4]。國(guó)內(nèi)外應(yīng)用機(jī)器視覺對(duì)球狀水果[5-9]的檢測(cè)及分級(jí)已經(jīng)取得了較大的進(jìn)展。趙娟等[10]通過帶有滾子輸送帶的裝置對(duì)蘋果多面圖像進(jìn)行采集并輸送，挑選出含有缺陷的蘋果。王麗麗[11]使用不同大小網(wǎng)孔的分級(jí)機(jī)與機(jī)器視覺相結(jié)合，實(shí)現(xiàn)大棗的尺寸、紋理、品質(zhì)等綜合信息的檢測(cè)。在芒果分級(jí)研究中，Nand等[12]通過高斯混合模型檢測(cè)芒果成熟度，并使用模糊邏輯技術(shù)對(duì)芒果大小、成熟度進(jìn)行自動(dòng)分級(jí)，5個(gè)品種芒果的不同等級(jí)分級(jí)成功率接近90%。Saad等[13]使用芒果分級(jí)裝置上的視覺系統(tǒng)獲取芒果圖像，并用圓柱近似分析方法估測(cè)芒果的質(zhì)量及體積，該方法分級(jí)精度達(dá)到95%。Mohd等[14]使用傅里葉描述子和尺寸形狀參數(shù)描述芒果形狀，使用disk法估計(jì)芒果的質(zhì)量，該試驗(yàn)成功率為94%。國(guó)內(nèi)也進(jìn)行了一系列的理論研究，孫樹亮[15]使用C-均值法、最近鄰法、線性函數(shù)法分別對(duì)芒果顏色、大小進(jìn)行分類，通過試驗(yàn)對(duì)比，線性函數(shù)法在樣本數(shù)量較多時(shí)分類效果較好，準(zhǔn)確率為95.31%。李國(guó)進(jìn)等[16]提出了一種基于計(jì)算機(jī)視覺和極限學(xué)習(xí)機(jī)神經(jīng)網(wǎng)絡(luò)模型的理論，對(duì)15個(gè)芒果進(jìn)行了測(cè)試，準(zhǔn)確率為100%，為芒果分級(jí)提供了一種新的方法。綜上所述，相對(duì)于球形水果，芒果形狀似橢球狀，質(zhì)地較軟，現(xiàn)有的研究均通過提取芒果單面圖像實(shí)現(xiàn)檢測(cè)并分級(jí)，而芒果成熟度需要獲取芒果全面圖像才能反映。目前沒有針對(duì)芒果雙面信息進(jìn)行分級(jí)的相關(guān)研究。

本文提出一種基于遷移學(xué)習(xí)的芒果雙面成熟度在線檢測(cè)分級(jí)系統(tǒng)，通過柔性翻面機(jī)構(gòu)實(shí)現(xiàn)芒果雙面圖像采集。相機(jī)可以獲取最大橢圓截面視野的二維圖像，拍攝芒果正、反面圖像可充分表達(dá)芒果表皮信息。卷積神經(jīng)網(wǎng)絡(luò)在遷移學(xué)習(xí)中的應(yīng)用可有效解決農(nóng)業(yè)領(lǐng)域問題[17-19]，不需要人工提取特征，自動(dòng)對(duì)樣本圖像進(jìn)行分類[20-21]。本文運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)模型自動(dòng)提取芒果雙面表皮特征，將特征放入分類器中進(jìn)行訓(xùn)練與分級(jí)，有效解決芒果成熟度自動(dòng)化分級(jí)問題。

1 芒果分級(jí)方法

本文參照芒果分級(jí)標(biāo)準(zhǔn)NY/T492-2002[22]與NY/ T3011-2016[23]的分級(jí)要求與感官檢驗(yàn)規(guī)定，以芒果成熟度為首要特征[24]，劃分芒果等級(jí)，如表1所示。

每級(jí)選用50個(gè)芒果樣品，進(jìn)行去皮處理，采用GY-3水果硬度計(jì)（溫州一鼎儀器制造有限公司）分別對(duì)每個(gè)芒果正面、反面各取4個(gè)點(diǎn)進(jìn)行硬度試驗(yàn)，將同一芒果的正反面共8個(gè)點(diǎn)，取平均值作為該芒果的硬度值如圖1所示。由于芒果成熟度分布不規(guī)律，各級(jí)硬度值出現(xiàn)數(shù)據(jù)交叉現(xiàn)象，但同一芒果8個(gè)點(diǎn)求均值后，各級(jí)芒果具有明顯的硬度區(qū)間。采用p分位數(shù)法[25]劃分1級(jí)與2級(jí)、2級(jí)與3級(jí)的硬度值分別為8.77 kg/cm2、3.32 kg/cm2，因此，確定1級(jí)果肉硬度：>8.77 kg/cm2；2級(jí)果肉硬度：3.32～8.77 kg/cm2；3級(jí)果肉硬度：<3.32 kg/cm2，硬度試驗(yàn)結(jié)果與感官檢驗(yàn)相符。

表1 芒果等級(jí)劃分

圖1 芒果硬度試驗(yàn)結(jié)果

2 檢測(cè)系統(tǒng)結(jié)構(gòu)

2.1 總體結(jié)構(gòu)

基于遷移學(xué)習(xí)的芒果雙面成熟度在線檢測(cè)分級(jí)裝置示意圖如圖2a所示，裝置實(shí)物圖如圖2b所示。芒果從上層輸送帶上的入料斗喂入，通過人字擋板排列依次進(jìn)入圖像采集區(qū)域。為實(shí)現(xiàn)雙面圖像獲取，在上層輸送帶結(jié)束端設(shè)置柔性翻面機(jī)構(gòu)，保證芒果柔性翻面并只翻面一次。芒果經(jīng)過柔性翻面機(jī)構(gòu)進(jìn)入下層輸送帶并完成反面圖像采集。系統(tǒng)結(jié)合芒果雙面圖像進(jìn)行成熟度分析，并控制分級(jí)推板根據(jù)分級(jí)結(jié)果對(duì)芒果進(jìn)行分級(jí)輸出。

2.2 柔性翻面機(jī)構(gòu)設(shè)計(jì)

2.2.1 柔性翻面機(jī)構(gòu)原理

為了能夠?qū)崿F(xiàn)雙面圖像獲取，設(shè)計(jì)一種柔性翻面機(jī)構(gòu)如圖3所示，動(dòng)力滾筒A帶動(dòng)輸送帶a順時(shí)針轉(zhuǎn)動(dòng)，動(dòng)力滾筒B帶動(dòng)輸送帶b逆時(shí)針轉(zhuǎn)動(dòng)。輸送帶為PVC材料，a、b的周長(zhǎng)分別為895、1 436 mm，寬100 mm，厚2 mm。動(dòng)力滾筒為不銹鋼材料，A與B的轉(zhuǎn)速相同，轉(zhuǎn)速在0～167.5 r/min范圍可調(diào)，相應(yīng)輸送帶速度可調(diào)范圍為0～0.5 m/s。芒果在運(yùn)動(dòng)方向相反的兩輸送帶的夾持下進(jìn)入柔性翻面機(jī)構(gòu)，輸送過程中保持相對(duì)靜止?fàn)顟B(tài)，與輸送帶間沒有相對(duì)運(yùn)動(dòng)，實(shí)現(xiàn)只翻面一次。隨著芒果輸送位置的改變，外側(cè)輸送帶對(duì)芒果的夾持力先增大后減小，為使芒果不受擠壓，在裝置尾部設(shè)置彈簧調(diào)整滾筒C的位置，保持翻面運(yùn)動(dòng)過程中對(duì)芒果合適的夾持力。如圖3b所示，1、2為不同輸送狀態(tài)下的彈簧長(zhǎng)度，芒果輸送過程中，彈簧不斷伸縮從而調(diào)整滾筒C的橫向位移，實(shí)現(xiàn)無損翻面。

1. 入料斗2.上層輸送帶3.擋板4.上層輸送帶相機(jī)5.上層光源6. 柔性翻面機(jī)構(gòu)7. 彈簧8. 滾筒9. 下層輸送帶10. 下層輸送帶相機(jī)11. 下層光源12. 控制系統(tǒng)13.分級(jí)推板

2.2.2 芒果擠壓力測(cè)試及彈簧選型

如圖4所示，芒果位于豎直狀態(tài)時(shí)，承受垂直兩側(cè)輸送帶法線方向的擠壓力，此時(shí)彈簧壓縮量最大，故確定合適的擠壓力并選擇合適的彈簧可有效避免芒果輸送損傷。柔性翻面機(jī)構(gòu)穩(wěn)定輸送芒果的最小擠壓力為：

F ≥（1）

2（2）

式中是輸送帶與芒果的摩擦系數(shù)，為0.4；表示芒果承受的擠壓力，N；是芒果與輸送帶的摩擦力，N；表示芒果重力，N。芒果質(zhì)量范圍為70～120 g，則輸送帶該處提供芒果的最小夾持力為0.86～1.47 N。

芒果果肉相較于果皮更易損壞[26]，為保證輸送過程中果肉不受損傷，需確定芒果果肉能夠承受的擠壓力范圍。采用英國(guó)SMS公司TA.XT Plus質(zhì)構(gòu)儀測(cè)試芒果力學(xué)參數(shù)。質(zhì)構(gòu)儀感應(yīng)元件大小300 N，試驗(yàn)選用壓頭型號(hào)P0.5，最小起始量20 g，分別設(shè)定試驗(yàn)檢測(cè)速度與壓模下壓深度為1 mm/s、10 mm。選取10個(gè)質(zhì)量相近的芒果進(jìn)行去皮處理，然后依次置于壓頭下方測(cè)定果肉破壞力，通過式（3）、（4）計(jì)算芒果果肉的破壞應(yīng)力及彈性模量。

注：a、b分別表示柔性翻面機(jī)構(gòu)內(nèi)、外側(cè)輸送帶；A、B分別表示柔性翻面機(jī)構(gòu)內(nèi)、外側(cè)輸送動(dòng)力滾筒；C表示隨彈簧伸縮移動(dòng)的滾筒；L1表示柔性翻面機(jī)構(gòu)無芒果通過時(shí)彈簧總長(zhǎng)，mm；L2表示柔性翻面機(jī)構(gòu)有芒果通過時(shí)彈簧總長(zhǎng)，mm。

注：F表示芒果承受的擠壓力，N；G表示芒果重力，N。

運(yùn)用ANSYS Workbench 有限元分析軟件測(cè)試芒果果肉承受的擠壓力。芒果平均長(zhǎng)80 mm，寬56 mm，厚43 mm，水平放置時(shí)與平面接觸形成最小橢圓，其平均長(zhǎng)軸為20 mm，短軸為14 mm。為還原芒果豎直位置的受力情況，本文以芒果平均尺寸構(gòu)建橢球體作為輸入模型，以最小橢圓為芒果與內(nèi)側(cè)輸送帶的接觸面積，對(duì)模型施加沿橢球面的擠壓力。

采用四面體網(wǎng)格的Patch Conforming劃分法，并設(shè)置單元邊長(zhǎng)為2 mm。當(dāng)施加5、10、15、20 N的擠壓力時(shí)受到的最大應(yīng)力分別為0.04、0.08、1.22、1.63 MPa，當(dāng)擠壓力為20 N時(shí)最大應(yīng)力超過芒果果肉的破壞應(yīng)力。因此，芒果能夠承受的擠壓力的范圍約為1.47～15 N，選用10 N作為芒果在豎直位置受到的擠壓力，其應(yīng)力分布如圖5所示。

圖5 加載力10 N的芒果等效應(yīng)力圖

2.3 圖像采集裝置

上層及下層輸送帶設(shè)置兩套完全相同的圖像采集裝置，分別采集芒果正、反面圖像。圖像采集裝置主要由工業(yè)相機(jī)、鏡頭及光源組成。根據(jù)芒果尺寸，將圖像采集視野大小設(shè)置為200 mm×150 mm。工業(yè)相機(jī)采用映美精DFK 41BU02彩色相機(jī)，外觀尺寸50.6 mm×50.6 mm×56 mm，CCD靶面尺寸為寬6.4 mm，高4.8 mm。鏡頭采用computar 8.5 mm工業(yè)鏡頭，相應(yīng)的物距為266 mm。光源采用4根呈正方形排布的LED條形光源，并采用低角度照明方式。圖像處理及訓(xùn)練硬件環(huán)境：Intel Core i7 8750H CPU，Nvidia GPU，16GB內(nèi)存。

2.4 控制系統(tǒng)

控制系統(tǒng)原理如圖6a所示，系統(tǒng)工作流程如圖6b所示，上層、下層、分級(jí)傳感器均工作在中斷模式。系統(tǒng)通過上層、下層傳感器對(duì)芒果計(jì)數(shù)并觸發(fā)相機(jī)采集圖像，系統(tǒng)結(jié)合雙面圖像分析得到分級(jí)結(jié)果，并通過3塊電磁鐵控制分級(jí)推板實(shí)現(xiàn)芒果分級(jí)。裝置全程通過電機(jī)帶動(dòng)輸送帶實(shí)現(xiàn)芒果輸送，3個(gè)分級(jí)推板與下層輸送帶相機(jī)的距離分別為0.196、0.346、0.497 m，定時(shí)器1、2、3的時(shí)間隨速度變化相應(yīng)調(diào)整。

圖6 控制系統(tǒng)

3 芒果圖像分析

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種適用于深度學(xué)習(xí)的圖像處理方法，能夠輸入具有三維特征的圖像數(shù)據(jù)，自動(dòng)學(xué)習(xí)含有標(biāo)簽的圖像特征從而實(shí)現(xiàn)分類[29]。卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、卷積層、激活層、池化層、全連接層及輸出層，結(jié)構(gòu)上由卷積層、激活層、池化層交替出現(xiàn)，最后為全連接層。

卷積層的輸入為前一層網(wǎng)絡(luò)的多個(gè)二維特征圖，卷積層將它們與多個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積，將卷積結(jié)果通過神經(jīng)元計(jì)算節(jié)點(diǎn)得到卷積層的輸出二維特征圖，卷積層原理[30]為

卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)必須使用非線性函數(shù)，常用激活函數(shù)為sigmoid函數(shù)、ReLU函數(shù)，本文使用ReLU函數(shù)如下式：

池化是縮小長(zhǎng)、高方向上的空間運(yùn)算，池化層只是從目標(biāo)區(qū)域中取最大值或平均值，與上一層連接的所有權(quán)重都為固定值，在網(wǎng)絡(luò)訓(xùn)練過程中不再改變，池化層[31]可以描述為

全連接層可對(duì)特征進(jìn)行進(jìn)一步降維。最后一層為輸出層，輸出層采用softmax函數(shù)，具體方法如下式：

3.2 基于遷移學(xué)習(xí)的芒果雙面成熟度在線檢測(cè)分類模型

基于遷移學(xué)習(xí)的芒果雙面成熟度在線檢測(cè)分類模型如圖7所示，本文使用的是hdevelop預(yù)訓(xùn)練的pretrained_dl_classifier_compact.hdl模型，卷積神經(jīng)網(wǎng)絡(luò)以RGB圖像作為輸入層，輸入圖像尺寸為224′224像素。

注：CNN為卷積神經(jīng)網(wǎng)絡(luò)模型。

為實(shí)現(xiàn)芒果雙面成熟度分級(jí)，將裝置上、下層輸送帶相機(jī)獲取的每只芒果的正、反面圖像進(jìn)行合并操作，合并結(jié)果如圖8a所示。使用預(yù)訓(xùn)練的分類模型需輸入統(tǒng)一大小、灰度范圍的三通道圖像，因此將合并圖像進(jìn)行如下預(yù)處理：1）對(duì)圖像進(jìn)行縮放操作，將圖像大小為640′960像素的三通道圖像縮放至224′224 像素。2）對(duì)縮放圖像進(jìn)行灰度拉伸操作，提高圖像對(duì)比度，使單通道的灰度范圍為0～255。由于分類器中單通道的灰度范圍需滿足-127～128，因此，將灰度拉伸操作后的圖像進(jìn)行灰度轉(zhuǎn)換，具體方法如下式：

式中為輸出圖像；為最大灰度值，值為128；為最小灰度值，值為-127；為輸入圖像；x、 y分別表示圖像寬、高，像素，圖像預(yù)處理效果如圖8b所示。

3.3 超參數(shù)設(shè)置

卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是找到使損失函數(shù)的值盡可能小的參數(shù)，本文采用含動(dòng)量的小批量隨機(jī)梯度下降算法[32]，損失函數(shù)為交叉熵誤差與正則化項(xiàng)相結(jié)合的多項(xiàng)式，如下所示：

根據(jù)隨機(jī)梯度下降法原理設(shè)定卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)，為避免過擬合，設(shè)定正則化參數(shù)為0.000 5，將每小批量樣本數(shù)量設(shè)定為64。

4 試驗(yàn)與結(jié)果分析

4.1 試驗(yàn)與結(jié)果

為檢驗(yàn)算法可行性，選用1 100個(gè)不同成熟度芒果作為試驗(yàn)樣品。隨機(jī)分配訓(xùn)練樣品數(shù)為800個(gè)，驗(yàn)證樣品數(shù)為150個(gè)，測(cè)試樣品數(shù)為150個(gè)。試驗(yàn)前，將800個(gè)訓(xùn)練樣品和150個(gè)驗(yàn)證樣品放入裝置中獲取正、反面合并圖像，結(jié)合本文芒果等級(jí)劃分，測(cè)量芒果的正反面共8個(gè)點(diǎn)硬度值的平均值，標(biāo)定芒果成熟度等級(jí)，并對(duì)圖像進(jìn)行標(biāo)簽，用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器，訓(xùn)練時(shí)間為143 s，平均每個(gè)芒果訓(xùn)練時(shí)間為0.15 s。

Top1err是評(píng)價(jià)CNN訓(xùn)練的常用指標(biāo)，可輸出測(cè)試圖像不屬于CNN識(shí)別結(jié)果可能性最高類別的錯(cuò)誤率[33]。學(xué)習(xí)率和動(dòng)量是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的重要參數(shù)。本文以學(xué)習(xí)率0.010、0.005、0.001為備選值，以動(dòng)量0.4、0.5、0.8、0.9為備選值，選擇分類器最優(yōu)參數(shù)。迭代次數(shù)為460次時(shí)，訓(xùn)練集與驗(yàn)證集的誤差如表2所示。當(dāng)初始學(xué)習(xí)率設(shè)定為0.010與0.005時(shí)，訓(xùn)練集與驗(yàn)證集均有較大的錯(cuò)誤率。初始學(xué)習(xí)率為0.001對(duì)于分類器的訓(xùn)練精度有較好的體現(xiàn)，且隨著動(dòng)量的增加，訓(xùn)練集與驗(yàn)證集的誤差先減小后增大，動(dòng)量為0.5時(shí)，訓(xùn)練集與驗(yàn)證集的誤差最小。最終確定初始學(xué)習(xí)速率為0.001，每3個(gè)時(shí)期將學(xué)習(xí)率降低1/10，動(dòng)量為0.5。

表2 不同參數(shù)對(duì)訓(xùn)練集與驗(yàn)證集的影響

表3為驗(yàn)證集150個(gè)樣品的混淆矩陣，誤判級(jí)別主要分布在第2級(jí)與第3級(jí)，總體訓(xùn)練結(jié)果較為理想。

表3 驗(yàn)證集混淆矩陣

將150個(gè)測(cè)試樣品放入分級(jí)裝置，通過預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)分類器分級(jí)，并將芒果輸送至不同果箱中，系統(tǒng)測(cè)定單個(gè)樣品的平均耗時(shí)0.16 s。分別測(cè)量芒果硬度，獲得芒果成熟度等級(jí)，將自動(dòng)分級(jí)結(jié)果與芒果成熟度等級(jí)對(duì)比，如表4所示。

表4 芒果分級(jí)結(jié)果

4.2 結(jié)果分析與討論

通過對(duì)試驗(yàn)數(shù)據(jù)的分析，造成誤判的原因在于：當(dāng)芒果處于第2級(jí)與第1、3級(jí)臨界處容易造成分級(jí)出錯(cuò)。

現(xiàn)有芒果成熟度分級(jí)方法通常使用閾值分割法[34]、支持向量機(jī)[35]、BP神經(jīng)網(wǎng)絡(luò)[16,36]、最近鄰法[15]、線性函數(shù)法[15]等，但使用此類方法需要對(duì)圖像進(jìn)行復(fù)雜的預(yù)處理并不斷優(yōu)化參數(shù)，從而實(shí)現(xiàn)分級(jí)。本文使用的卷積神經(jīng)網(wǎng)絡(luò)只需對(duì)圖像進(jìn)行合并與縮放操作，將二維圖像輸入分類器中進(jìn)行分級(jí)，避免了復(fù)雜的圖像預(yù)處理過程。本文算法相比支持向量機(jī)[35]分級(jí)準(zhǔn)確率96%提高0.72%。李國(guó)進(jìn)等[16]使用SVM、BP神經(jīng)網(wǎng)絡(luò)、PSOELM對(duì)芒果特征參數(shù)測(cè)試的平均耗時(shí)分別為0.084、0.098、0.120 s，本文分類測(cè)試平均耗時(shí)0.028 s。同時(shí)，辛華健[36]使用的BP神經(jīng)網(wǎng)絡(luò)方法獲取芒果圖像并測(cè)定單個(gè)樣品平均耗時(shí)0.8 s，本文方法低于該方法0.64 s。此外，現(xiàn)有芒果圖像采集裝置[12-14]僅能夠獲取芒果單面信息，對(duì)芒果表皮信息采集不全面。本文提出的柔性翻面機(jī)構(gòu)實(shí)現(xiàn)芒果無損翻面，然后合并正、反面芒果圖像后進(jìn)行成熟度分級(jí)，更適合實(shí)際生產(chǎn)中的分級(jí)要求。

5 結(jié) 論

1）本文設(shè)計(jì)了一種芒果雙面成熟度在線檢測(cè)裝置，通過上下兩層輸送帶和上下兩臺(tái)相機(jī)，配合兩層之間的柔性翻面機(jī)構(gòu)，實(shí)現(xiàn)芒果正反兩面圖像的采集和雙面綜合成熟度檢測(cè)。

2）在對(duì)正、反兩面圖像合并的基礎(chǔ)上，將圖像進(jìn)行縮放及灰度拉伸操作，運(yùn)用遷移學(xué)習(xí)方法在卷積神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行訓(xùn)練，每個(gè)芒果的訓(xùn)練時(shí)間為0.15 s，訓(xùn)練效果較好。

3）以芒果果肉硬度為分級(jí)依據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)算法分級(jí)的平均準(zhǔn)確率為96.72%，系統(tǒng)測(cè)定單個(gè)樣品的平均耗時(shí)為0.16 s，可代替人工分級(jí)，滿足實(shí)際應(yīng)用的要求。

芒果表面存在的輕微瑕疵點(diǎn)或色斑，對(duì)芒果等級(jí)判別具有一定影響。降低瑕疵點(diǎn)及色斑對(duì)于芒果成熟度分級(jí)的影響是該算法中有待優(yōu)化的部分。另外，后期還需進(jìn)一步增加訓(xùn)練樣本以提升系統(tǒng)應(yīng)用價(jià)值。分類器訓(xùn)練速度及芒果分級(jí)速度也需要進(jìn)一步提高。

[1] 李日旺，黃國(guó)弟，蘇美花，等. 我國(guó)芒果產(chǎn)業(yè)現(xiàn)狀與發(fā)展策略[J]. 南方農(nóng)業(yè)學(xué)報(bào)，2013，44(5)：875－878. Li Riwang, Huang Guodi, Su Meihua, et al. Status and developmental strategies of mango industry in China[J]. Journal of Southern Agriculture, 2013, 44(5): 875－878. (in Chinese with English abstract)

[2] 黃辰，費(fèi)繼友. 基于圖像特征融合的蘋果在線分級(jí)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33(1)：285－291. Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285－291. (in Chinese with English abstract)

[3] 張慶怡，顧寶興，姬長(zhǎng)英，等. 蘋果在線分級(jí)系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2017，38(4)：117－124. Zhang Qingyi, Gu Baoxing, Ji Changying, et al. Design and experiment of an online grading system for apple[J]. Journal of South China Agricultural University, 2017, 38(4): 117－124. (in Chinese with English abstract)

[4] Cuber S, Aleixos N, Moltó E, et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food and Bioprocess Technology, 2011, 4(4): 487－504.

[5] 蔣煥煜，應(yīng)義斌，王劍平，等. 水果品質(zhì)智能化實(shí)時(shí)檢測(cè)分級(jí)生產(chǎn)線的研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2002，18(6)：158－160. Jiang Huanyu, Ying Yibin, Wang Jianping, et al. Real time intelligent inspecting and grading line of fruits[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(6): 158－160. (in Chinese with English abstract)

[6] 溫芝元，曹樂平. 基于補(bǔ)償模糊神經(jīng)網(wǎng)絡(luò)的臍橙不同病蟲害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(11)：152－157. Wen Zhiyuan, Cao Leping.Image recognition of navel orange diseases and insect pests based on compensatory fuzzy neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(11): 152－157. (in Chinese with English abstract)

[7] 黃文倩，李江波，張馳，等. 基于類球形亮度變換的水果表面缺陷提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(12)：187－191. Huang Wenqian, Li Jiangbo, Zhang Chi, et al. Detection of surface defects on fruits using spherical intensity transformation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(12): 187－191. (in Chinese with English abstract)

[8] 李江波，彭彥昆，黃文倩，等. 桃子表面缺陷分水嶺分割方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(8)：288－293. Li Jiangbo, Peng Yankun, Huang Wenqian, et al. Watershed segmentation method for segmenting defects on peach fruit surface[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(8): 288－293. (in Chinese with English abstract)

[9] 葉晉濤，王運(yùn)祥，楊杰，等. 哈密瓜顏色特征提取及成熟度分級(jí)的研究[J]. 石河子大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，34(1)：106－111. Ye Jintao, Wang Yunxiang, Yang Jie, et al. Research on maturity and classification of Hami melon based on color space feature extraction[J]. Journal of Shihezi University: Natural Science, 2016, 34(1): 106－111. (in Chinese with English abstract)

[10] 趙娟，彭彥昆，Sagar Dhakal，等. 基于機(jī)器視覺的蘋果外觀缺陷在線檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(1)，260－263. Zhao Juan, Peng Yankun, Sagar Dhakal, et al. On-line detection of apple surface defect based on image processing method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(1): 260－263. (in Chinese with English abstract)

[11] 王麗麗. 基于計(jì)算機(jī)視覺的哈密大棗無損檢測(cè)分級(jí)技術(shù)及分級(jí)裝置研究[D]. 石河子：石河子大學(xué)，2013. Wang Lili. Research of Non-destructive Grading Technology and Detection Equipment for Hami Big Jujubes Based on Computer Vision[D]. Shhezi: Shihezi University, 2013. (in Chinese with English abstract)

[12] Nand C S, Tudu B, Koley C. Machine vision based techniques for automatic mango fruit sorting and grading based on maturity level and size[M]. Springer International publishing, 2014.

[13] Saad F S A, Ibrahim M F, Shakaff A Y Md, et al. Shape and weight grading of mangoes using visible imaging[J]. Computers and Electronics in Agriculture, 2015, 5(6): 51－56.

[14] Mohd I, Ahmad Sa’ad Fathinut, Ammar Z. In-line sorting of harumanis mango based on external quality using visible imaging [J]. Sensors, 2016, 16(11): 1753. doi:10.3390/S161-11-753.

[15] 孫樹亮. 基于計(jì)算機(jī)視覺的芒果分類[D]. 南寧：廣西大學(xué)，2006.Sun Shuliang. Mango Classification Based on Computer Vision [D]. Nanning: Guangxi University, 2006. (in Chinese with English abstract)

[16] 李國(guó)進(jìn)，董第永，陳雙. 基于計(jì)算機(jī)視覺的芒果檢測(cè)與的分級(jí)研究[J]. 農(nóng)機(jī)化研究，2015，10(10)：13－18，23. Li Guojin, Dong Diyong, Chen Shuang. Research on mango detection and classification by computer vision[J]. Agricultural Mechanization Research, 2015, 10(10): 13－18,23. (in Chinese with English abstract)

[17] 熊俊濤，劉振，湯林越，等. 自然環(huán)境下綠色柑橘視覺檢測(cè)技術(shù)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(4)：45－52. Xiong Juntao, Liu Zhen, Tang Linyue, et al. Visual detection technology of green citrus under natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(4): 45－52. (in Chinese with English abstract)

[18] 鄭一力，張露. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)植物葉片圖像識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(S1)：354－359. Zheng Yili, Zhang Lu. Plant leaf image recognition method based on transfer learning with convolutional neural networks[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(S1): 354-359. (in Chinese with English abstract)

[19] 龍滿生，歐陽(yáng)春娟，劉歡，等. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：194－201.Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transac-tions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194－201. (in Chinese with English abstract)

[20] 馬浚誠(chéng)，杜克明，鄭飛翔，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：186－192.Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186－192. (in Chinese with English abstract)

[21] 周云成，許童羽，鄭偉，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(15)：219－226.Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219－226. (in Chinese with English abstract)

[22] NY/T492-2002，中華人民共和國(guó)農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)-芒果[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2002.

[23] NY/T3011-2016，中華人民共和國(guó)農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)-芒果等級(jí)規(guī)格[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2016.

[24] 楊志偉，覃倢，李秋庭. 計(jì)算機(jī)視覺在芒果品質(zhì)評(píng)價(jià)中的應(yīng)用[J]. 食品科技，2009，34(7)：232－236. Yang Zhiwei, Qin Jie, Li Qiuting. Application of computer vision in the quality evaluation for mango[J].Food Science and Technology, 2009, 34(7): 232－236. (in Chinese with English abstract)

[25] 盛驟，謝式千，潘承毅，等. 概率論與數(shù)理統(tǒng)計(jì)（第四版）[M]. 北京：高等教育出版社，2001.

[26] 姬偉，李俊樂，楊俊，等. 機(jī)器手采摘蘋果抓取損傷機(jī)理有限元分析及驗(yàn)證[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：17－22. Ji Wei, Li Junle, Yang Jun, et al. Analysis and validation for mechanical damage of apple by gripper in harvesting robot based on finite element method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 17－22. (in Chinese with English abstract)

[27] 周祖鍔. 農(nóng)業(yè)物料學(xué)[M]. 北京：農(nóng)業(yè)出版社，1994.

[28] 邱宣懷. 機(jī)械設(shè)計(jì)[M]. 北京：高等教育出版社，1997.

[29] 李彥冬，郝宗波，雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016，36(9)：2508－2515，2565. Li Yandong, Hao Zongbo, Lei Hang. Survey of convolutional neural network[J]. Journal of Computer Applications, 2016, 36(9): 2508－2515,2565. (in Chinese with English abstract)

[30] Zhong Zhuoyao，Jin Lianwen，Xie Zecheng．High perfor-mance offline handwritten Chinese character recognition using googlenet and directional feature maps[C]//Tunisia 13th Interna-tional Conference on Document Analysis and Recognition ( ICDAR), 2015: 846－850．

[31] 謝劍斌. 視覺機(jī)器學(xué)習(xí)20講[M]. 北京：清華大學(xué)出版社，2015.

[32] Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[33] Krizhevsky A, Sutskever I, Hinton G E. Image net classification with deep convolutional neural networks [C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012.

[34] Yoshio Makino, Kenjiro Goto, Seiichi Oshita, et al. A grading method for mangoes on the basis of peel color measurement using a computer vision system[J]. Agricultural Sciences. 2016, 7(6), 327－334.

[35] Chandra Sekhar Nandi. Computer vision based mango fruit grading system[C]// International Conference on Innovative Engineering Technologies (ICIET’2014, Thailand), 2014.

[36] 辛華健. 計(jì)算機(jī)視覺在芒果品質(zhì)檢測(cè)中的應(yīng)用研究[J]. 農(nóng)機(jī)化研究，2019，41(9)：190－193.Xin Huajia. Application of computer vision in mango quality testing[J]. Agricultural Mechanization Research, 2019, 41(9): 190－193. (in Chinese with English abstract)

Mango double-sided maturity online detection and classification system

Xiang Yang, Lin Jiewen, Li Yajun, Hu Zhengfang, Xiong Ying

(,410128,)

Mangoes are ripe fruits. The maturity classification of mangoes can provide convenience for mango ripening, processing, packaging and transportation. Compared with spherical fruit, mango is special shape and soft texture, and its multi-side images are difficult to acquire. Aiming at the irregular shape of mango and the difficulty of detecting the entire appearance, a mango double-sided maturity online detection and classification system based on transfer learning was proposed. The system is mainly composed of conveying device, flexible turning-over mechanism, image acquisition device, grading device and control system. According to the maturity grading standard, the mango is divided into three levels: green ripe, mature and overripe. Then, the mangoes are transported to the image acquisition area through the upper and lower conveyor belts, and image acquisition device obtain images from opposite sides. The control system combines the two-sided image of mango for maturity analysis, and the control grading device classifies mango according to the grading results. A flexible turning-over mechanism is arranged between the two conveyor belts, and the mango is clamped by two flexible belts with the same moving speed and opposite direction, which can ensure that a mango is only turned over once. The mechanical parameters of mango were measured by texture analyzer, and the maximum extrusion force of mango was 1.47-15N through ANSYS analysis. Then, the spring is adaptively adjusted to maintain the proper clamping force for the mango.The whole process of the device is carried out by the motor to drive the conveyor belt to achieve mango transportation. Conveying speed can be adjusted from 0 to 0.5m/s.The upper conveyor belt camera and the lower conveyor belt camera of the device respectively acquire the front and back images of each mango into one image, and the combined image size is 640′960pixels. The image is preprocessed, and the size of the image is scaled to 224′224pixels. At the same time, the gray value of each channel is determined in the range of-127-128. In order to acquire the mango classification results, we use the pretrained_dl_classifier_ compact.hdl model pre-trained by hdevelop. 1100 mango samples were used to test. The data were divided into training set, validation set and test set in the ratio of 8:1.5:1.5. SGD method was used to train and validate convolutional neural network. Making tuning of hyper-parameters and setting the appropriate learning rate to 0.001, batch processing to 64, momentum to 0.5. TOP1 error was used as the evaluation standard. When the number of iterations is 460, the Top1 error value of the training set is 3.6%, and the Top1 error value of the validation set is 2.0%. The training model is ideal. The trained convolution neural network model was used to classify 150 mango test sets. The average time consumed for systematic determination of single sample was 0.16 s. The average accuracy of mango maturity classification using convolution neural network model was 96.72%, Among them, the grading effect of maturity of green ripe mango was better, and its accuracy was 97.67%. The accuracy rates of mature and over-ripening were 96.00% and 96.49% respectively. This paper presents an on-line double-sided mango maturity detection and classification device based on transfer learning, and trains the model, which can provide reference for mango maturity automatic classification.

computer vision; classification; models; mango; double-sided detection; turning-over mechanism; convolutional neural network; maturity

10.11975/j.issn.1002-6819.2019.10.033

TP391.41; S24

A

1002-6819(2019)-10-0259-08

2019-01-31

2019-05-01

湖南省重點(diǎn)研發(fā)計(jì)劃（2017NK2131）

向 陽(yáng)，博士，副教授，主要從事農(nóng)業(yè)自動(dòng)化及智能農(nóng)業(yè)裝備研究。Email：xy1608@126.com

向 陽(yáng)，林潔雯，李亞軍，胡正方，熊 瑛. 芒果雙面成熟度在線檢測(cè)分級(jí)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(10)：259－266. doi：10.11975/j.issn.1002-6819.2019.10.033 http://www.tcsae.org

Xiang Yang, Lin Jiewen, Li Yajun, Hu Zhengfang, Xiong Ying.Mango double-sided maturity online detection and classification system [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(10): 259－266. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.10.033 http://www.tcsae.org