倪云峰 葉健 樊嬌嬌

摘要：為了解決人工水果分揀的缺點，探討了一種基于圖像識別的水果分揀系統(tǒng)。通過硬件采集系統(tǒng)采集各類不同水果的圖像數(shù)據(jù)，應(yīng)用圖像處理技術(shù)，設(shè)定水果分類的顏色、大小特征的閾值標(biāo)準(zhǔn)，根據(jù)閾值標(biāo)準(zhǔn)對水果進(jìn)行腐爛檢測，區(qū)分出腐爛和完好水果;再對完好水果進(jìn)行種類識別，并在相同種類下進(jìn)行水果的大小等級識別和顏色狀態(tài)判定。結(jié)合水果的大小及顏色，將水果分揀為特等果、優(yōu)等果、次等果、劣等果四大類，以判別水果的外部和內(nèi)部品質(zhì)，最終實現(xiàn)水果的分揀。在分揀過程中實時統(tǒng)計已分揀水果的數(shù)量，將已識別的水果圖像進(jìn)行實時刪除操作，減少系統(tǒng)內(nèi)存，設(shè)置同步模塊，使圖像處理與自動化設(shè)備達(dá)到同步。測試結(jié)果顯示，該水果分揀系統(tǒng)效率高、成本低，對水果供應(yīng)鏈中的水果分揀應(yīng)用具有較大意義。

關(guān)鍵詞：圖像識別;特征選擇;實時統(tǒng)計;水果分揀

中圖分類號： S126;TP391.41 ?文獻(xiàn)標(biāo)志碼： A ?文章編號：1002-1302（2021）10-0170-06

傳統(tǒng)水果分揀主要采用人工分揀，而人工分揀效率低、易造成水果損壞、準(zhǔn)確率低、人力物力消耗較大，極大增加了分揀成本。為了降低水果分揀成本，亟需探索出一種分揀效率高、準(zhǔn)確率高、人力物力消耗小的自動化系統(tǒng)。

關(guān)于農(nóng)產(chǎn)品的品質(zhì)鑒定和分級研究，主要涉及農(nóng)產(chǎn)品的大小、形狀、顏色、表面損傷與缺陷檢測等[1-5]。國外對農(nóng)產(chǎn)品分級檢測的研究開始較早。Tao等采用多變識別技術(shù)實現(xiàn)對蘋果和馬鈴薯的顏色識別，識別準(zhǔn)確率高但效率較低[6]。Blanc等設(shè)計的分級系統(tǒng)，對葡萄等串狀水果的分級效率有較為明顯的提高[7]。Baigvand等設(shè)計了完整的分級系統(tǒng)，實現(xiàn)了對無花果干的等級劃分[8]。國內(nèi)研究人員對農(nóng)副產(chǎn)品的品質(zhì)鑒定和分級檢測也做了很多研究。葉晉濤等提出了基于 SVM 神經(jīng)網(wǎng)絡(luò)與哈密瓜圖像特征的哈密瓜分級方法，對哈密瓜的分級提出了切實可靠的方法[9]。魏康麗等利用機(jī)器視覺，實現(xiàn)了對蘋果脆片的外觀品質(zhì)鑒定[10]。應(yīng)義斌等采用表面色澤和固酸比作為柑橘成熟度指標(biāo)，實現(xiàn)了對柑橘的成熟度檢測[11]。

針對一般分類系統(tǒng)存在準(zhǔn)確率低、分辨水果種類單一、系統(tǒng)無法對分類結(jié)果實時計數(shù)、已經(jīng)分類的圖片無法實時刪除導(dǎo)致占用系統(tǒng)內(nèi)存、設(shè)備昂貴、系統(tǒng)處理時間與自動化設(shè)備處理時間匹配魯棒性低等問題，本研究研發(fā)出一套可對多種水果進(jìn)行圖像分辨、實時計數(shù)分類結(jié)果、實時刪除已分類圖像、設(shè)備成本較低、系統(tǒng)與自動化設(shè)備同步性高、魯棒性強(qiáng)的水果分類系統(tǒng)，具有一定的應(yīng)用推廣價值。

1 基于圖像識別的水果分揀系統(tǒng)

本水果分揀系統(tǒng)基于圖像識別，可以實現(xiàn)各種不同水果的分類。這里以較為常見的蘋果和梨作為研究對象，實現(xiàn)了水果大小分類、腐爛水果檢測、水果顏色檢測、水果計數(shù)、腐爛水果發(fā)出警告、圖片文件夾提取、檢測后刪除等功能。方案設(shè)計流程如圖1所示。

2 水果圖像的采集

水果圖像采集是基于一定的設(shè)備，采集水果完整的圖像，并將其存儲在計算機(jī)中。圖像采集系統(tǒng)模擬實現(xiàn)如圖2所示，包括1臺電腦，1個拍攝設(shè)備（相機(jī)），1塊幕布或光照箱，1個光源保證獲取足夠清晰的水果圖像，以便圖像的后續(xù)處理操作。

關(guān)于圖像的提取，首先需要在電腦平臺上批量讀取要進(jìn)行系統(tǒng)操作的所有采集到的水果圖像，具體操作如下：找到水果圖像的文件夾路徑;找到該文件下相同格式（本研究為.jpg格式）的圖像文件，這個圖像文件是一個結(jié)構(gòu)體，有data、name等成員;定時提取這些水果圖像以備后續(xù)操作。圖像提取工作完成后，進(jìn)入水果圖像處理和實現(xiàn)分揀的具體功能，即對流程所述的其他模塊逐一進(jìn)行操作。

3 水果分揀系統(tǒng)原理介紹

3.1 水果腐爛檢測

在進(jìn)行水果分揀時，第一個實際步驟是水果的腐爛檢測。水果的缺陷和腐爛是人們在購買水果時的第一關(guān)注點。在采摘和運輸過程中，腐爛變質(zhì)的水果會降低或破壞整批水果的質(zhì)量。設(shè)計系統(tǒng)時，如果開始判定了某水果屬于腐爛水果，則系統(tǒng)將會對操作人員發(fā)出警報，跳到水果分揀模塊將其歸為腐爛水果，通過移動機(jī)床將其歸入腐爛水果收集筐，并進(jìn)行后續(xù)計數(shù)、刪除圖片等操作;如果判定了此水果非腐爛水果，則進(jìn)行接下來的種類識別等一系列操作。

本系統(tǒng)利用RGB值轉(zhuǎn)換為HIS模式，得到色度直方圖，通過顏色特征來進(jìn)行評定。其中蘋果和梨的顏色有較大差異，蘋果以黃、紅色為主，梨以黃色為主，梨及蘋果的腐爛部分以棕色為主。公式如下：

其中，x、y分別為方形區(qū)域中心位置的橫縱坐標(biāo)。T（x，y）為圖像二值化的閾值，m（x，y）為方形區(qū)域計算出的均值，s（x，y） 為計方形區(qū)域計算出的標(biāo)準(zhǔn)方差;k為修正系數(shù)。通過上述公式可以將像素值置為0或者255。

3.2.5 圖像的孔洞填充 由于光線問題，拍攝的圖像可能存在一定的反光或者模糊的情況，為避免輪廓提取等后續(xù)步驟產(chǎn)生誤差，需要對圖像做孔洞填充。一般采用的方法為先掃描將要填充的像素點（x，y）為中心的3×3的塊，用計數(shù)器記錄這9個點中灰度值為255的點的個數(shù)N。若N≥5，則將點（x，y）的灰度值賦值為255，即像素點（x，y）被認(rèn)為是前景;否則認(rèn)為是背景，將點（x，y）賦值為0。

3.2.6 圖像的邊緣提取 每種水果都有其特定的形狀特征，因此可以通過提取水果的邊緣輪廓對水果的種類進(jìn)行判斷。邊緣提取的主要思想是利用邊緣增強(qiáng)算子，突出圖像的邊緣，并設(shè)置合適的閾值將邊緣提取出來。但是由于噪聲等因素常使邊緣變寬或者中斷，因此還需要剔除部分變寬的區(qū)域并將間斷點連接。從信號處理的角度來說，邊緣提取就是提取灰度變換最劇烈的位置，因此也可以按照微分的角度對信號做邊緣提取。

3.2.7 圖像的特征提取 每種水果都具有其獨特的特征，選取合適的特征參數(shù)來表征水果的種類至關(guān)重要。Eccentricity函數(shù)是特征提取的一種方法。Eccentricity指的是與區(qū)域具有相同標(biāo)準(zhǔn)二階中心距的橢圓的離心率，通過計算研究對象所在區(qū)域的具有相同標(biāo)準(zhǔn)的二階中心距的大小，可以表征一種圖像的形狀特點。但是由于水果的形狀較為接近，單純的Eccentricity可能無法準(zhǔn)確地將水果進(jìn)行分類。本研究采取顏色與Eccentricity函數(shù)相結(jié)合的方式，大大提高了水果分類的準(zhǔn)確性。

3.3 水果的分揀

經(jīng)過了前述關(guān)于蘋果一些基本特征的判定，對水果進(jìn)行分揀的流程如圖4所示。分揀功能和前面流程對應(yīng)主要完成以下方面：第1級，腐爛水果（水果表面出現(xiàn)腐爛）和完好水果的分揀;第2級，在完好水果的前提下，對采集的所有水果進(jìn)行分類，比如梨、蘋果、香蕉等其他所有采集到的水果;第3級，在對應(yīng)種類水果的基礎(chǔ)上，依據(jù)上述的大小等級判別和顏色判定，對其進(jìn)行分揀，分出特等水果、優(yōu)等水果、次等蘋果、劣等水果。本研究實行的水果分揀都是基于各水果的相同品種，否則在使用顏色判斷品質(zhì)時會不成立。

其中，以蘋果和梨為例，將其大小和顏色各分為3個等級。最后再對分揀出的水果數(shù)量做統(tǒng)計，統(tǒng)計出腐爛水果、特等水果、優(yōu)等水果、次等水果、劣等水果以及已分揀水果的數(shù)量。

3.4 圖像的刪除

進(jìn)行完前面的步驟，最后要對所有進(jìn)行識別的圖片完成刪除功能，以發(fā)揮持續(xù)檢測并節(jié)省電腦內(nèi)存的作用。本研究利用delete函數(shù)，直接在時間函數(shù)下對已經(jīng)識別統(tǒng)計完的圖像進(jìn)行刪除操作。

3.5 同步模塊

由于圖像采集、處理速度與自動化設(shè)備在運行時間上的不同步，可能會出現(xiàn)圖像處理結(jié)果和自動化設(shè)備分揀出的結(jié)果不匹配，系統(tǒng)長時間空轉(zhuǎn)造成設(shè)備故障等問題。因此本系統(tǒng)在圖像處理過程之前設(shè)置了時間模塊，通過設(shè)置合適的時間，使所有圖像處理的時間與自動化設(shè)備的時間匹配，大大提高了系統(tǒng)的魯棒性。

3.6 圖像采集完成的判別

上述操作完成后，需要去判斷采集系統(tǒng)對水果圖像的采集是否結(jié)束：若否，則重新從第2步開始對圖像進(jìn)行操作處理，完成一系列水果的分揀;若是，則直接結(jié)束操作。

4 系統(tǒng)測試

4.1 水果的圖像識別

圖5為蘋果的Matlab圖像處理過程，包括了原始圖像、增強(qiáng)對比圖像、二值化圖像、孔洞填充圖像、邊緣提取圖像和特征提取圖像。

4.2 水果的腐爛檢測

對輸入的水果圖像進(jìn)行腐爛檢測時，主要依據(jù)其表面顏色特征來進(jìn)行評定。梨、蘋果腐爛部分的顏色以棕色為主。當(dāng)蘋果腐爛時，蘋果紅色區(qū)域面積會降低，棕色面積變大。同理，當(dāng)梨腐爛時會由嫩黃變?yōu)樽厣?。圖6展示了腐爛水果的HIS模式圖和色度直方圖，直方圖的橫坐標(biāo)為像素點H分量的角度值，縱坐標(biāo)為像素點的數(shù)量。

4.3 水果種類的識別

本研究只以蘋果和梨為例對水果進(jìn)行了種類識別。前面軟件設(shè)計中提到了利用 RGB 值轉(zhuǎn)換為 HIS 模式，得到色度的直方圖，通過顏色特征來進(jìn)行評定，其中蘋果和梨的顏色有較大差異，蘋果以黃、紅色為主，梨以黃色為主。圖7、圖8分別展示了水果的HIS模式圖和色度直方圖，直方圖的橫坐標(biāo)為像素點H分量的角度值，縱坐標(biāo)為像素點的數(shù)量。結(jié)合色度直方圖和上述的特征提取方法，可以很容易地辨別出蘋果和梨。

4.4 水果的大小等級判定

對大小不同的蘋果或梨做具體判定。不同大小的水果圖像在整體圖像中的像素點數(shù)量也不同，因此本系統(tǒng)以水果像素點的數(shù)量作為判決標(biāo)準(zhǔn)。圖9展示2種大小不同的蘋果，其像素點顯示分別為86 377和65 370，根據(jù)判決參數(shù)，>30 000判斷為大果，25 000～30 000為中果，<25 000為小果，可以較為準(zhǔn)確地對水果大小進(jìn)行判斷。

4.5 水果的顏色判定

以蘋果為例，對2種色度不同的蘋果進(jìn)行分析，利用RGB值轉(zhuǎn)換為HIS模式，得到色度的直方圖，通過顏色特征來進(jìn)行評定。圖10展示了顏色較黃蘋果的HIS模式圖和色度直方圖，通過色度直方圖上像素點與有色區(qū)域像素點的比例，設(shè)置合適的閾值，可以實現(xiàn)顏色的準(zhǔn)確識別，與圖7、圖8中的蘋果作比較，實現(xiàn)顏色的判定。

4.6 水果的分揀顯示

采集到梨、蘋果以及腐爛水果的若干圖像，然后依據(jù)系統(tǒng)設(shè)計方案和軟件設(shè)計流程依次實現(xiàn)水果的分揀，具體見圖11（只選取了部分）。圖11-a左為水果圖像，右為分揀后的評價，顯示窗口出現(xiàn)：完好的蘋果，顏色全紅，屬于大果，最終分揀為“這是特等水果”;統(tǒng)計數(shù)量依次顯示在窗口。圖11-b左為水果圖像，顯示窗口出現(xiàn)：完好的梨，顏色黃中帶綠， 屬于大果，最終分揀為“這是優(yōu)等水果”;統(tǒng)計數(shù)量依次顯示在窗口。圖11-c為腐爛的水果，顯示發(fā)出：警告！這是個壞果請?zhí)幚怼?/p>

4.7 誤差分析

在上述所設(shè)計系統(tǒng)進(jìn)行水果分揀時，發(fā)現(xiàn)其中有1個腐爛程度十分小的蘋果在腐爛檢測模塊沒有判別出來（圖12）。圖12中的蘋果是腐爛水果，但是顯示窗口出現(xiàn)“完好的蘋果”字樣。而其他不同腐爛程度的水果均獲得正確的識別，并且能夠?qū)崿F(xiàn)水果的種類識別、顏色判定、大小等級判別及完成水果的分揀。

5 結(jié)論

本研究探討了一種基于圖像識別的水果分揀系統(tǒng)。通過硬件采集系統(tǒng)采集的各類不同水果的圖像數(shù)據(jù)，利用Matlab仿真技術(shù)實現(xiàn)了對水果的腐爛檢測、等級分揀、實時計數(shù)、實時清空內(nèi)存等功能。通過測試結(jié)果來看，實現(xiàn)效果較好，解決了現(xiàn)實生活中的水果分揀困難的一些問題。但是由于所采用的一些方法較為簡單，所以存在一定的精確度問題。如對腐爛檢測中，只能識別腐爛程度較高的水果，腐爛程度較低可能會出現(xiàn)誤差。在后續(xù)的研究中可以考慮從多角度圖像采集、優(yōu)化特征提取方法、優(yōu)化缺陷檢測方法等角度出發(fā)，以提高系統(tǒng)的同步性和準(zhǔn)確性。

參考文獻(xiàn)：

[1]Kawamura S，Natsuga M，Takekura K，et al. Development of automatic rice-quality inspection system[J]. Computers and Electronics in Agriculture，2003，40（1/2/3）：115-126.

[2]趙茂程，侯文軍. 我國基于機(jī)器視覺的水果自動分級技術(shù)及研究進(jìn)展[J]. 包裝與食品機(jī)械，2007，25（5）：5-8.

[3]Zhao M C，Hou W J. Researches of machine vision on fruit automatic grading technology and its prospect in China[J]. Packaging and Food Machinery，2007，25（5）：5-8.

[4]Yud-Ren C，Chao K L，Moon S K. Machine vision technology for agricultural applications[J]. Computers and Electronics in Agriculture，2002，36（2/3）：173-191.

[5]費琦琪，施 杰，夏敏，等. 基于CNN的冰糖橙分級系統(tǒng)[J]. 江蘇農(nóng)業(yè)學(xué)報，2020，36（2）：513-519.

[6]Tao Y，Heinemann P H，Varqhese Z. Machine vision color inspection of potatoes and apples[J]. Transactions of the ASAE，1995，38（5）：1555-1561.

[7]Blanc P. Unit for sorting and packaging products capable of being hung on a hooking member for the purpose of their conveyance，such as bunches of fruits，in particular table grapes or truss tomatoes：US，US6957940[P]. 2005.

[8]Baigvand M，Banakar A，Minaei S，et al. Machine vision system for grading of driedfigs[J]. Computers & Electro nics in Agriculture，2015，119（C）：158-165.

[9]葉晉濤，王運祥，楊 杰，等. 馬本學(xué).哈密瓜顏色特征提取及成熟度分級的研究[J]. 石河子大學(xué)學(xué)報（自然科學(xué)版），2016，34（1）：106-111.

[10]魏康麗，王振杰，孫 柯，等. 基于計算機(jī)視覺對蘋果脆片外觀品質(zhì)分級[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報，2017，40（3）：547-555.

[11]應(yīng)義斌，饒秀勤，馬俊福. 柑橘成熟度機(jī)器視覺無損檢測方法研究[J]. 農(nóng)業(yè)工程學(xué)報，2004，20（2）：144-147.