王麗娟 陳浩然 季石軍 劉志剛

(南通科技職業(yè)學院機電與交通工程學院，江蘇 南通 226007)

引言

隨著我國社會經(jīng)濟的快速發(fā)展以及人民消費水平的不斷提高，人們對水果制品的需求和品質(zhì)都提出了更高的要求，這種現(xiàn)象在我國近年果制品市場不斷擴大的趨勢上有所體現(xiàn)。根據(jù)聯(lián)合國及農(nóng)業(yè)組織數(shù)據(jù)，自2019年起我國的水果產(chǎn)量及種植面積位居世界第1，遠遠超過第2名，同時我國的水果消費量也位居第1，但我國的人均水果消費量卻很低。根據(jù)大量的市場調(diào)研后發(fā)現(xiàn)，水果的產(chǎn)值是由產(chǎn)后處理以及產(chǎn)后加工創(chuàng)造而來。如何對水果進行快速以及準確的分揀在水果的加工過程中尤為重要。事實上，我國大部分的果制品加工廠往往通過人工分揀來進行水果好壞的分揀以及成熟度的分級，在實踐過程中面臨以下問題：人力檢測費時費力，效率低下，無法滿足規(guī)模化的流水線生產(chǎn)需求；工人的拿捏觸碰容易損傷水果導致?lián)p耗；工人的主觀性判斷和測量方法差異難以保證檢測結(jié)果的一致性和準確性，分揀的品質(zhì)參差不齊，也難以保障后續(xù)產(chǎn)品的品質(zhì)。

本文所研究的基于機器視覺成熟度檢測的蘋果色選分揀機，在無損狀態(tài)下快速準確識別水果成熟度的同時，能夠利用傳輸裝置與分揀裝置完成水果的一次分揀，切實解決水果經(jīng)營企業(yè)、水果后處理企業(yè)在水果成熟度檢測過程中所面臨的成熟度檢測正確率低、人工費時費力、水果易磕碰損傷等難題。促進我國的水果采后處理技術的進步，加速我國農(nóng)業(yè)實現(xiàn)現(xiàn)代化和智能化。

1 國內(nèi)外研究現(xiàn)狀

目前果品內(nèi)在品質(zhì)無損檢測的方法主要有以下幾大類：基于光學特性的分析法、基于電化學特性的分析法、基于聲學特性的分析法、基于力學特性的分析法、基于機器視覺的分析法和其它成熟度無損檢測法[1]。在光譜特性分析方面，Sofu[2]等利用近紅外光譜法分析檢測鱷梨的成熟度，通過偏最小二乘回歸模型預測鱷梨果肉含油率、干物質(zhì)和水分含量，相對分析誤差分別為2.00和2.13。在聲學檢測方面，Mizrach[3]利用聲學脈沖響應評估蘋果質(zhì)量，建立PLS模型，波長數(shù)據(jù)與蘋果硬度相關系數(shù)為0.83，研究結(jié)果顯示,西瓜成熟度與聲波傳播頻率為二階函數(shù)關系。在水果的電學特性上，Murat[4]通過電學特性法測定球狀水果密度分布，用電容來衡量水果體積，天平稱量其質(zhì)量，計算出密度，實驗結(jié)果表明，密度為0.94～0.97g·cm-3西瓜成熟度很高而且內(nèi)部沒有空洞。Tong[5]使用配套有頂空采樣系統(tǒng)的電子鼻檢測富士蘋果不同時間采摘的含糖量，證明電子鼻技術結(jié)合人工神經(jīng)網(wǎng)絡和多元分析算法能夠?qū)崿F(xiàn)對蘋果成熟度的有效判別。

國內(nèi)對水果的成熟度智能檢測設備的研究同樣不在少數(shù)。如，張索非[6]提出了一種根據(jù)檢測蘋果受到敲擊后所發(fā)出聲音的頻譜特性對果品品質(zhì)評價和分類的無損檢測方法。實驗結(jié)果表明，長時間存放的蘋果受敲擊發(fā)聲的頻譜峰值逐漸減小，質(zhì)量小的蘋果受敲擊發(fā)聲的發(fā)聲基頻更低。姚永波[7]測量甜瓜的介電特性，采用主成分分析法提取特征向量(介電參數(shù)和介電損耗)，建立甜瓜糖度遺傳優(yōu)化BP神經(jīng)網(wǎng)絡預測模型，模型預測均方根誤差為0.873，能夠滿足甜瓜樣本內(nèi)部糖度數(shù)據(jù)的預測。徐賽[8]等提出了一種基于電子鼻技術的果園荔枝成熟階段檢測方法，用電子鼻采集樣品數(shù)據(jù)，建立與果實可溶性固形物的預測模型，訓練集的回判正確率均為100%。韓東海等用560nm左右波長的紫外線照射柑橘，發(fā)現(xiàn)柑橘最成熟部位熒光強度達到峰值。饒秀勤、應義斌[10]提出了一種利用HSI模型判斷水果表面顏色的分級方法，該方法在HSI顏色空間提取H分量面積加權(quán)直方圖的前2個分量進行分析，對臍橙進行分級處理處理的結(jié)果表明，總的分級誤差僅為1.18%。周水琴等[11]采用核磁共振成像設備掃描得到新疆庫爾勒香梨中部冠狀面圖像，使用MATLAB軟件完成圖像分割和中值濾波，以提取香梨褐變特征。王敏[12]以三星公司的S3C2440作為數(shù)據(jù)處理器，Linux作為操作系統(tǒng)，完成蘋果硬度的便攜式近紅外光譜儀開發(fā)。應義斌[13]從3種不同視角下采集橄欖內(nèi)果皮圖像，使用判別分析和神經(jīng)網(wǎng)絡2種分類技術分別進行分類測試，均獲得良好的分類效果。

成熟度智能檢測設備具有將人工智能與現(xiàn)代信息處理技術相結(jié)合的優(yōu)點，功能多、信息量大，是今后水果成熟度檢測和內(nèi)在品質(zhì)檢測的重要檢測手段，但也存在亟待解決的問題。系統(tǒng)造價高，結(jié)構(gòu)復雜，難以做到性能與成本的平衡；識別準確率的問題，在查閱的文獻中發(fā)現(xiàn)，目前的研究文獻中均未給出明確的目標識別準確率的定義，且不同文獻中準確率數(shù)據(jù)也不盡相同，所以試驗的可重復性有待商榷；我國果農(nóng)多為個體經(jīng)營戶，針對復雜的監(jiān)測設備接受程度不高，普遍適用性問題也不可忽視。

2 設計介紹與工作原理

2.1 總體設計介紹

基于機器視覺成熟度檢測的蘋果色選分揀機如圖1所示，由裝置主體和傳輸裝置、分揀設備及機器視覺檢測系統(tǒng)組成。裝置主體和傳輸裝置由支撐立柱、傳輸帶及可前后活動的推板結(jié)構(gòu)所構(gòu)成。分揀設備為分揀槽、分揀口、存儲箱、活動板所構(gòu)成。機器視覺檢測系統(tǒng)包括計算機和相機，相機與計算機通信連接。

圖1 色選分揀機結(jié)構(gòu)示意圖注：1.裝置主體；2.分揀設備；3.主體前支撐立柱；4.相機;5.主體后支撐立柱；6.推板結(jié)構(gòu)；7.傳輸帶；8.傳輸裝置支撐立柱。

基于機器視覺成熟度檢測的蘋果色選分揀機的傳輸與檢測步驟：工作人員在使用裝置時，可先通過傳輸帶輸送水果；裝置主體頂部的高清攝像頭對傳輸帶上的水果進行拍照，識別成熟度；推動電機啟動，帶動伸縮桿進行延伸，同時也帶動正面推動板進行活動，將判定為成熟的水果推出傳輸帶外，使水果掉落至分揀機構(gòu)的分揀槽；分揀槽呈傾斜狀，不同大小的水果通過不同大小的分揀口，掉落下方分揀設備內(nèi)部的存儲箱內(nèi)，較為便捷地依據(jù)成熟度等級及果型大小對水果進行分揀。

本裝置通過相機拍照，對色度進行檢測，進而判別成熟度等級，并通過傳輸帶和自動分揀機構(gòu)達到自動化的效果，提高水果成熟度檢測的準確性、一致性、高效性及實現(xiàn)流水線生產(chǎn)需求。

2.2 裝置主體及傳輸裝置的設計

裝置主體提供相機支撐、傳輸通道與推板結(jié)構(gòu)功能。由左右支撐立柱、頂板及推板結(jié)構(gòu)所組成，兩立柱間為傳輸通道，供傳輸帶通過。傳輸裝置由左右支撐立柱與傳輸帶構(gòu)成，為水果流水線傳輸提供解決途徑。

關鍵部件推板結(jié)構(gòu)如圖2所示，推板結(jié)構(gòu)經(jīng)由連接板固定在裝置主體的前支撐立柱上，連接板的右側(cè)固定連接推動電機，推動電機固定連接伸縮桿，伸縮桿固定連接支撐板，電機與計算機通信相連。當水果被判定為成熟后，啟動推動電機，帶動伸縮桿進行延伸，同時也帶動正面推動板進行活動，將成熟的水果推出傳輸帶外，進而掉落分揀設備內(nèi)。

圖2 推板結(jié)構(gòu)示意圖注：1.連接板；2.推動電機；3.伸縮桿；4.推動板。

2.3 機器視覺檢測系統(tǒng)

2.3.1 結(jié)構(gòu)設計

機器視覺檢測系統(tǒng)包括計算機與相機，相機與計算機通信連接。相機安裝固定在裝置主體頂端，對準水果設置，計算機為DELL OPTIPLEX 3020，內(nèi)存為4GB，1TB硬盤。相機選擇Openmv h7 Ca智能攝像頭，500萬高清像素。

因研究進度，目前僅制作機器視覺檢測系統(tǒng)樣機，如圖3所示。

圖3 機器視覺檢測系統(tǒng)示意圖

2.3.2 顏色特征的提取

通過檢測相機的拍照，對水果成熟度進行色度檢測，采用的顏色模型即為RGB顏色模型，以蘋果為例。

確定紅色為蘋果樣本的主色。讀取蘋果樣本的一次照片作為實驗圖像，如圖4(fig.1)；讀取背景照片作為背景圖像，如圖4(fig.2)；刪除實驗圖像中的背景圖像，得到處理圖像如圖4(fig.3)；將處理圖像二值化得到圖4(fig.4)，二值化閾值在0.04～0.15，本研究中二值化閾值以0.1為例；為減小二值化圖像的背景噪音和光干擾，采用中值濾波，以減少干擾，并增強二值化的圖像；采用imfill函數(shù)填補取反后的二值化圖像圖4(fig.4)；采用bwboundaries函數(shù)尋找二值化圖像的圖形邊界；從圖形邊界中取出圖像的內(nèi)部邊界，并保存當前的圖像，如圖4(fig.5)所示；將實驗圖像圖4(fig.1)按照RGB模型，提取出所有R通道的顏色信息，保存當前圖像為實驗圖像R通道圖像，如圖4(fig.6)；采用find函數(shù)，選擇內(nèi)部邊界圖像圖4(fig.5)的所有背景區(qū)域的像素位置，然后將尋得的地址映射到實驗圖像R通道圖像圖4(fig.6)中，并將其背景填充為黑色；采用reshape函數(shù)重構(gòu)圖內(nèi)部邊界圖像圖4(fig.5)的顏色信息，分別提取出R、G、B通道的顏色強度序列，分別計算顏色強度均值Rm1、Gm1、Bm1(其中，顏色強度均值Rm1、Gm1、Bm1通過mean函數(shù)獲得。

圖4 圖像處理過程圖

獲取顏色強度均值Rm、Gm、Bm后，根據(jù)公式計算蘋果的平均紅色強度占比，計算公式：

Ra=Rm/(Rm+Gm+Bm)

(1)

2.3.3 成熟度預測模型

基于機器視覺的蘋果成熟度無損檢測技術本質(zhì)上就是利用其表面的顏色信息與蘋果成熟度的相關性，本文通過描述蘋果果實的表面顏色信息，預測可溶性固形物T。根據(jù)GB/T 10651-2008，如果T>11%，則說明該蘋果是成熟的，否則判定為不成熟。

根據(jù)上述的機器視覺設備，提取水果的紅色強度均值Rm，作為輸入集；根據(jù)國家的農(nóng)業(yè)標準GB/T10651-2008，測定蘋果的可溶性固形物含量，作為輸出集；采用自適應的神經(jīng)網(wǎng)絡智能算法，訓練合適的預測模型。

根據(jù)紅色強度占比，對成熟的蘋果進行分級，標準:Ra<0.45不成熟；0.45≤Ra≤0.5三級成熟；0.5

2.4 分揀裝置的設計

分揀裝置結(jié)構(gòu)示意圖如圖5所示，由分揀槽、分揀口、存儲箱、活動板及擋板構(gòu)成，其中分揀槽、分揀口及存儲箱均設置有柔性保護墊包裹保護。工作人員在使用裝置時，經(jīng)傳輸和檢測機構(gòu)后被判定為成熟的水果由推板結(jié)構(gòu)推至分揀裝置，進而使水果掉落分揀槽內(nèi)部的分揀口，分揀槽呈傾斜狀，不同大小的水果通過不同大小的分揀口掉落至下方的存儲箱內(nèi)，較為便捷地對不同大小的水果進行分揀。優(yōu)選的，工作人員也可通過活動板將包裝箱放置于存儲箱內(nèi)，節(jié)約打包時間，提高生產(chǎn)效率。

圖5 分揀裝置示意圖注：1.分揀槽；2.分揀口；3.儲存箱；4.活動板；5.活動鉸鏈；6.分揀擋板。

3 實驗結(jié)果與分析

本文共收集了250個蘋果作為實驗樣本，并利用PHS-3C數(shù)顯臺式酸度計與陸恒生物CNT數(shù)顯糖度計測定了所有樣本的固酸比，即實驗得可溶性固溶物含量，用于驗證本研究所涉及的基于機器視覺的成熟度檢測方法的正確性，實驗裝置如圖6、圖7所示。

圖6 PHS-3C數(shù)顯臺式酸度計試驗設備及實驗圖

圖7 陸恒生物CNT數(shù)顯糖度計試驗設備及實驗圖

任選250個蘋果樣本中的10組圖像作為校驗樣本，其余240個實驗樣本作為訓練樣本，選擇隨機，具有足夠的代表性。對10個校驗樣本利用前文所創(chuàng)建的成熟度監(jiān)測模型進行成熟度判斷，成熟度預測模型處理結(jié)果如表1所示。由表1可知，設計的自適應神經(jīng)網(wǎng)絡成熟度預測模型具有相當高的準確性，誤差范圍可控制在±0.2%以內(nèi)。

表1 成熟度預測模型處理結(jié)果

4 結(jié)論

本文所設計的基于機器視覺成熟度檢測的蘋果色選分揀機通過傳送帶進行輸送達到自動化的效果，體積小，操作簡單，實用性強；保護水果，提升品質(zhì)；價格低廉，易于推廣。

蘋果的成熟度與外表皮顏色信息具有一定的關聯(lián)性，可利用機器視覺測定蘋果果實的表皮顏色信息來進行成熟度判定，提高水果成熟度檢測的一致性、準確性與正確率。這種方法不僅可用于蘋果后處理中的分級，也可用于蘋果采收期的成熟度預判，防止誤采。

利用機器視覺與自適應神經(jīng)網(wǎng)絡來訓練成熟度判定模型，通過描述蘋果果實的表面顏色信息，預測可溶性固形物T，從而進行成熟度判定。判定準確率較高，由檢測樣本顯示，誤差范圍可控制在±0.2%以內(nèi)。根據(jù)蘋果紅色強度占比，對成熟的蘋果進行分級，Ra<0.45不成熟；0.45≤Ra≤0.5三級成熟；0.5

5 長遠構(gòu)思及待開發(fā)功能

目前僅制作了機器視覺檢測系統(tǒng)樣機，后期將對主體裝置、傳輸裝置及分揀裝置進行打樣，以期驗證流水化作業(yè)需求。