李頎 王俊 高一星 楊柳 趙潔

摘要：針對目前果蔬分揀中果蔬互相摻雜問題，設(shè)計了一種基于圖像處理的果蔬分揀系統(tǒng)。以實際分揀中容易相互摻雜的土豆、玉米和紅薯為實驗對象，土豆作為主果蔬，玉米和紅薯為摻雜的副果蔬進行實驗。對果蔬圖片進行圖像處理，提取果蔬特征，采用基于BP神經(jīng)網(wǎng)絡(luò)的KNN最鄰近分類算法對果蔬進行分類，并在上位機界面中顯示果蔬分類結(jié)果和果蔬摻雜率，將摻雜果蔬的位置信息結(jié)合形態(tài)信息發(fā)送給六自由度機械臂，實現(xiàn)對摻雜果蔬的分揀操作。實例驗證：分類正確率達到98%左右，計算坐標與實際坐標在X、Y坐標上的誤差在1mm內(nèi)，可以實現(xiàn)對摻雜果蔬快速識別和分揀的目的。

關(guān)鍵詞：圖像處理;果蔬;BP神經(jīng)網(wǎng)絡(luò);KNN分類;六自由度機械臂;特征提取;分揀

中圖分類號：TN文獻標識碼：ADOI：10.19754/j.nyyjs.20190215001

引言

在果蔬物流分揀行業(yè)中，往往會出現(xiàn)互相摻雜的現(xiàn)象，同時大部分分揀工作都由人工完成，依靠人眼對水果和蔬菜進行分類識別，耗費大量勞動力，且工作效率低，嚴重影響了果蔬商品化的發(fā)展速度。

劉振宇等針對以往工業(yè)生產(chǎn)線分揀工件時存在的問題，提出了多目標分塊處理算法和Hough變換與鏈碼相結(jié)合的Hough-鏈碼識別算法，但只適用于規(guī)則幾何工件的識別和分揀[1]。李明等提出利用黃瓜果實圖片的形狀參數(shù)對黃瓜進行自動分級，平均精度為96.7%，實現(xiàn)了黃瓜的精確分級[2]。任磊等人研究的脫囊衣橘片自動分揀機器視覺算法實現(xiàn)了對橘片缺陷的自動分級[3]。Kheiralipour等提出利用圖像處理技術(shù)和人工神經(jīng)網(wǎng)絡(luò)結(jié)合的方法對黃瓜果實的形狀進行了分類，準確率較高[4]。Cui jinshi等提出利用機器視覺和熱成像技術(shù)對番茄的形狀和大小做了評估[5]。Irwin R等采用神經(jīng)網(wǎng)絡(luò)對蘆筍段進行分類實驗，準確性達到了90.2%[6]。

目前國內(nèi)外在識別和分揀方面，分揀對象大多幾何形狀規(guī)則，而對幾何形狀不規(guī)則和大小不一的果蔬而言并不適用，并且果蔬的研究種類比較單一，大多用于某種果蔬的分級和分揀，而對于一種果蔬中摻雜多種其它果蔬的多分類和分揀情況而言沒有出現(xiàn)類似的研究。針對該問題，本文以土豆、玉米和紅薯3種果蔬為對象，設(shè)計了一種果蔬分揀系統(tǒng)，解決果蔬分揀中互相摻雜的問題。

1系統(tǒng)整體方案設(shè)計

本系統(tǒng)應(yīng)用于果蔬物流公司的分揀流水線上，在流水線上設(shè)置40cm×40cm的圖像采集區(qū)和40cm×40cm的果蔬分揀區(qū)，在圖像采集區(qū)正上方50cm處放置工業(yè)相機，果蔬分揀區(qū)設(shè)有六自由度機械手臂。系統(tǒng)的總體結(jié)構(gòu)如圖1所示。

工業(yè)相機對其正下方的果蔬進行圖像采集，然后將采集的果蔬圖像傳給PC機，在PC機上對果蔬圖像進行處理、識別和分類，當識別出主果蔬中摻雜的副果蔬時，將副果蔬的質(zhì)心坐標轉(zhuǎn)換為實際空間坐標，并結(jié)合副果蔬的形態(tài)信息發(fā)送給機械手臂控制柜，當圖像采集區(qū)的副果蔬被傳送到果蔬分揀區(qū)域時，控制機械手臂將其分揀出來，實現(xiàn)對摻雜果蔬的自動分揀。

因此本系統(tǒng)主要包括圖像采集模塊、果蔬特征提取模塊、果蔬分類模塊和上位機平臺4個部分。

2果蔬圖像預(yù)處理

在果蔬圖像采集的時候，圖像中往往會包含流水線皮帶以外的場景，由于相機被固定在流水線上方距離保持一定，通過設(shè)定感興趣區(qū)域Region of Interest（ROI）將流水線皮帶以外的場景去除掉。相機在采集圖像時，受環(huán)境干擾導(dǎo)致果蔬圖像包含高斯噪聲。因此需要對果蔬圖像進行去噪處理。為了方便提取單個果蔬的特征，需要進行圖像預(yù)處理等操作。圖像預(yù)處理的流程圖如圖2所示。

3果蔬圖像特征提取

3.1果蔬顏色特征提取

由于本系統(tǒng)工作環(huán)境為室內(nèi)，圖像采集時往往會產(chǎn)生果蔬影子，但HSV模型相對于RGB模型來說受影子的影響較小，所以選擇HSV顏色空間，作為果蔬圖像的顏色提取。

利用顏色通道分離算法對HSV顏色空間中H（色調(diào)）、S（飽和度）和V（明度）3個通道分離分析，其中色調(diào)H與果蔬種類之間存在明顯的相關(guān)關(guān)系。

因此，本文選取色調(diào)H均值和方差作為果蔬識別分類的顏色特征。

3.2果蔬形狀特征和大小特征的提取

果蔬在圖像中呈現(xiàn)的姿態(tài)各異，同一個果蔬不同姿態(tài)會影響特征提取結(jié)果，實際應(yīng)用中只有第二Hu不變矩具有旋轉(zhuǎn)、平移、尺度等不變的特性，可以很好的表征果蔬在不同姿態(tài)下的形狀特征[8]。因此選用第二Hu不變矩來表征果蔬圖像的形狀特征。

果蔬的大小特征用果蔬圖像輪廓所圍面積來表征。利用opencv圖像處理庫中的面積函數(shù)contourArea，提取果蔬圖像輪廓所圍面積。

3.3果蔬定位和姿態(tài)檢測

果蔬圖像特征提取完后，需要對圖像中的摻雜果蔬進行分揀，為了準確抓取摻雜果蔬，需要獲取摻雜果蔬的位置信息和姿態(tài)信息，在果蔬形狀特征提取中利用標準矩可以求取每個果蔬在圖像上的質(zhì)心坐標。

通過在流水線上40cm×40cm的果蔬放置區(qū)域內(nèi)，檢測出摻雜果蔬的偏轉(zhuǎn)角度θ，來表示摻雜果蔬的形態(tài)信息。果蔬的偏轉(zhuǎn)角度θ表示如圖4所示。

以傳送帶果蔬圖像采集區(qū)左上角為坐標原點，傳送帶向右運行，（x0，y0）代表果蔬的質(zhì)心點坐標，偏轉(zhuǎn)角度θ為果蔬長軸與x坐標正方向上的夾角，其范圍為0°～180°。（xj，yj）和（xk，yk）分別表示長軸兩端點的像素坐標，計算偏轉(zhuǎn)角θ角如式3所示：θ=arctanyj-y0xj-x0（1）由于果蔬形狀不規(guī)則，無法人工準確獲取其實際質(zhì)心，因此用橢圓柱和長方體積木模擬果蔬，進行定位實驗。結(jié)果如表1所示。

由仿真結(jié)果可知，本系統(tǒng)的果蔬定位算法得到的坐標與實際的坐標在X、Y坐標上的誤差在1mm內(nèi)。

4果蔬識別分類

目前用于果蔬識別分類研究中的分類器主要有BP神經(jīng)網(wǎng)絡(luò)、SVM（支持向量機）和KNN（k-Nearest Neighbor，k最近鄰）[9-10]。對于本系統(tǒng)果蔬種類多、數(shù)量大而言，需要對果蔬識別有較高的正確率。KNN分類器相比其它2種分類器而言，當出現(xiàn)分類錯誤時，可以靈活的進行添加調(diào)整，具有容錯性和可擴容性。因此本系統(tǒng)選用KNN分類器進行果蔬的識別分類。

4.1基于BP神經(jīng)網(wǎng)絡(luò)的KNN分類器設(shè)計

常用的KNN分類算法有直接分類法和距離加權(quán)分類法。相比直接分類法，距離加權(quán)法可以克服大容量類的樣本占多數(shù)而導(dǎo)致誤分類的問題。

圖5基于BP神經(jīng)網(wǎng)絡(luò)的KNN分類器原理圖

但距離加權(quán)系數(shù)往往由人為主觀確定，并不能得到較優(yōu)的距離加權(quán)值，為了得到較優(yōu)的距離加權(quán)值，本系統(tǒng)采用BP神經(jīng)網(wǎng)絡(luò)代替KNN算法中的距離加權(quán)網(wǎng)絡(luò)，能夠自適應(yīng)地調(diào)節(jié)距離加權(quán)系數(shù)。其分類原理如圖5所示。

x表示測試樣本;N1、N2和N3分別表示土豆、玉米和紅薯的樣本數(shù);

di（1），di（2），…，di（k） i=1，2，3表示測試樣本在土豆、玉米和紅薯樣本中經(jīng)過KNN分類器后得到的k個最近距離且按升序排列，k可取3～5，綜合分揀系統(tǒng)快速性和準確性考慮，選取k=4。k個最近距離經(jīng)過BP神經(jīng)網(wǎng)絡(luò)得到距離加權(quán)值，3種果蔬可得到3個距離加權(quán)值，最終選擇最大的距離加權(quán)值所對應(yīng)的種類索引，即為測試樣本x的最終分類結(jié)果。

4.2BP神經(jīng)網(wǎng)絡(luò)的設(shè)計

4.2.1BP神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點數(shù)m與輸出層節(jié)點數(shù)n的確定

網(wǎng)絡(luò)的輸入為k個最近距離，k取4，所以輸入層節(jié)點數(shù)為m=k=4。輸出層為k個最近距離的加權(quán)和，即輸出層節(jié)點數(shù)n=1。

4.2.2隱含層層數(shù)和節(jié)點數(shù)的確定

隱含層層數(shù)選擇3層，足以完成輸入到輸出的任意映射。隱含層的節(jié)點數(shù)可通過式（4）經(jīng)驗公式確定：h=m+n+a（2）h為隱含層節(jié)點數(shù)，m為輸入層節(jié)點數(shù)4，n為輸出層節(jié)點數(shù)1，a為1～10的調(diào)節(jié)常數(shù)。因此，隱含層節(jié)點數(shù)h的取值在3～12范圍內(nèi)進行實驗，選取使預(yù)測誤差最小的值。

4.2.3激勵函數(shù)的確定

隱含層的激勵函數(shù)選擇較常用的Sigmoid函數(shù)f（x）=11+e-x;輸出層的激勵函數(shù)選擇線性函數(shù)f（x）=x;設(shè)定目標誤差為0.05。

4.3分類實驗仿真與分析

4.3.1實驗數(shù)據(jù)

采集土豆、玉米和紅薯圖片各100張和兩兩果蔬混合圖片分別100張，共600張果蔬圖片，土豆824個，玉米686個，紅薯752個，在PC機上采用python+opencv對其進行圖像預(yù)處理和特征提取，H色調(diào)的均值與方差、第2個Hu不變矩和果蔬面積4種特征來表示1個四維特征點，建立土豆、玉米和紅薯3種果蔬的特征點庫。

4.3.2實驗仿真

取每種果蔬的特征點庫的70%作為訓(xùn)練樣本集，30%作為測試樣本集。

分別采用非加權(quán)KNN算法、距離加權(quán)WK-NNC算法和本系統(tǒng)的基于BP神經(jīng)網(wǎng)絡(luò)的KNN算法進行對比實驗，結(jié)果如表2所示。

本文設(shè)計的基于圖像處理的果蔬分揀系統(tǒng)，實驗證明本系統(tǒng)果蔬識別正確率高、定位準確，可以解決傳統(tǒng)人工分揀效率低、人工成本高的問題。文設(shè)計的基于圖像處理的果蔬分揀系統(tǒng)，實驗證明本系統(tǒng)果蔬識別正確率高、定位準確，可以解決傳統(tǒng)人工分揀效率低、人工成本高的問題。

參考文獻

[1] 劉振宇，李中生，趙雪，等.基于機器視覺的工業(yè)機器人分揀技術(shù)研究[J].制造業(yè)自動化，2013，35（17）：25-30.

[2] 李明，房俊龍，喬翊博，等.基于機器視覺黃瓜果實自動分級方法[J].農(nóng)機化研究，2016，38（11）：229-233.

[3] 任磊，張俊，陸勝民.脫囊衣橘片自動分揀機器視覺算法研究[J].浙江農(nóng)業(yè)學(xué)報，2015，27（12）：2212-2217.

[4] Kheiralipour， Kamran;Pormah，Abbas.Introducing new shape features for classification of cucumber fruit based on image processing technique and artificial neural networks[J]. Journal of Food Process Engineering，2017， 40（6），506-523.

[5] Cui，Jinshi;Yang，Myongkyoon;Son，Daesik;Cho，Seong-In.Machine vision and thermographic imaging for determining of grading oftomato on postharvest[C].ASABE Annual International Meeting，2017，7.16-7.19.

[6] Irwin R. Donis-González，Daniel E.Guyer. Classification of processing asparagus sections using color images[J].Computers and Electronics in Agriculture，2016，6（1）：236-241.

[7] 陳澤寧，張學(xué)習(xí)，彭澤榮，等.基于機器視覺的工件定位和識別[J].電子科技，2016，29（04）：99-103.

[8] 刁彥華，孟子鈺，王曉君.基于Hu不變矩的圖像形狀特征提取研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（10）：46-47.

[9] 曾勇，舒歡，胡江平等.基于BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)偽最近鄰分類[J].電子與信息學(xué)報，2016，38（11）：2774-2779.

[10] 張帆，李紹明，劉哲，等.基于機器視覺的玉米異常果穗篩分方法[J].農(nóng)業(yè)機械學(xué)報，2015，46（S1）：45-49.