王風(fēng)云，封文杰，鄭紀(jì)業(yè)，孫家波，牛魯燕，陳振學(xué)，張學(xué)濤，王 磊※

?

基于機(jī)器視覺的雙孢蘑菇在線自動分級系統(tǒng)設(shè)計與試驗

王風(fēng)云1，封文杰1，鄭紀(jì)業(yè)1，孫家波1，牛魯燕1，陳振學(xué)2，張學(xué)濤2，王 磊1※

（1. 山東省農(nóng)業(yè)科學(xué)院科技信息研究所，濟(jì)南 250100； 2. 山東大學(xué)控制科學(xué)與工程學(xué)院，濟(jì)南 250061）

針對雙孢蘑菇工廠化生產(chǎn)中人工分級勞動量大、生產(chǎn)效率低、標(biāo)準(zhǔn)不統(tǒng)一等問題，該文研究設(shè)計了一套基于機(jī)器視覺的雙孢蘑菇精選分級系統(tǒng)，提出基于分水嶺、Canny算子、閉運(yùn)算等處理的雙孢蘑菇圖像大小分級算法，設(shè)計了基于傳送速度、距離、觸發(fā)時間與算法處理時間的精確控制策略，開發(fā)了基于OpenCV 2.4.10 和visual studio 2010的系統(tǒng)分析與控制軟件，在最大限度減少破損情況下，實現(xiàn)雙孢蘑菇實時在線精選分級。基于研發(fā)的雙孢蘑菇自動精選分級系統(tǒng)樣機(jī)，對新鮮雙孢蘑菇進(jìn)行了分級性能及分級效果的測試。試驗結(jié)果表明，在輸送速度12.7 m/min、相機(jī)行頻1 900 Hz下，自動分級系統(tǒng)的平均分級速度是102.41個/min、平均準(zhǔn)確率97.42%、破損率0.05%、漏檢率0.96%，相對于人工分級效率提高38.86%，準(zhǔn)確率提高6.84%，破損率降低0.13%，可以連續(xù)穩(wěn)定工作。對于長時間分級，由于人容易疲勞，自動分級的優(yōu)勢更加明顯。

圖像處理；菌；算法；雙孢蘑菇；自動分級

0 引 言

分揀次品或不合格產(chǎn)品是工業(yè)化生產(chǎn)流水線的一個重要環(huán)節(jié)，由于工業(yè)產(chǎn)品的規(guī)則性、一致性，其產(chǎn)品分級或不合格產(chǎn)品的分揀比較容易[1-2]。對于農(nóng)產(chǎn)品，品種繁多、數(shù)量龐大，同一種農(nóng)產(chǎn)品由于生長環(huán)境、營養(yǎng)等因素，也會導(dǎo)致個體差異非常大，實現(xiàn)自動精選分級成為鮮食農(nóng)產(chǎn)品的一大難題[3-6]。

雙孢蘑菇由于含有多種氨基酸、核苷酸、維生素B1、維生素B2、維生素C、維生素PP、維生素D原等，特別是它含有的酪氨酶、多糖的醌類化合物具有明顯的降低血壓、抑制腫瘤細(xì)胞活性的作用，從而備受人們喜愛[7]。從菌蓋直徑達(dá)2 cm開始，直到將近成熟、菌幕破裂前均適于采收，用于罐頭制品的菇體為較小的幼菇，以直徑2～3.5 cm為宜，供人們食用的蘑菇由于其大小不同而價格不同。基于儲藏與人們的食用需求，需要對雙孢蘑菇根據(jù)直徑大小精選分級[8]。由于鮮雙孢蘑菇的易損、不規(guī)則性，目前雙孢蘑菇工廠化生產(chǎn)中的分級主要是依靠人工進(jìn)行，是雙孢蘑菇工廠化生產(chǎn)中勞動力成本最大的一個環(huán)節(jié)，存在人工分級勞動量大、生產(chǎn)效率低、標(biāo)準(zhǔn)不統(tǒng)一等問題，嚴(yán)重制約著雙孢蘑菇產(chǎn)后加工的發(fā)展。

近年來，隨著智能控制和機(jī)器視覺技術(shù)的發(fā)展，國內(nèi)外學(xué)者做了大量的農(nóng)產(chǎn)品分級方法研究[9-12]，并研究設(shè)計了一些智能分級系統(tǒng)[13-15]。在蘑菇圖像分析方面，Tillett等[16]通過圖像算法識別蘑菇基床上單個蘑菇的尺寸和位置，基于蘑菇形狀知識庫來提取蘑菇灰度圖像的輪廓。Vooren等[17]利用圖像分析方法通過蘑菇圖像的面積、偏心率、菇面形狀系數(shù)和菇柄形狀系統(tǒng)來識別蘑菇品種，試驗識別率達(dá)到了80%。V??zhányó等[18]利用簡單的聚類分析對蘑菇衰老、損壞以及細(xì)菌感染導(dǎo)致的顏色變化來識別患病蘑菇。Van等[19]對蘑菇柄部進(jìn)行圖像分析，利用菇柄灰度值來判斷蘑菇的生長發(fā)育階段。在蘑菇分級系統(tǒng)方面，Chen等[20]設(shè)計了基于機(jī)器視覺技術(shù)的香菇大小分級及異色香菇、破損香菇的識別和剔除系統(tǒng)，分級時間長，效率低。葛亮[21]設(shè)計了香菇實時分級生產(chǎn)線，對干蘑菇進(jìn)行了試驗，能夠?qū)崿F(xiàn)自動化，具有較強(qiáng)的適應(yīng)性。

綜上，國內(nèi)外學(xué)者基于機(jī)器視覺技術(shù)對農(nóng)產(chǎn)品的精選分級進(jìn)行了大量的研究，有學(xué)者對香菇的分級進(jìn)行了研究，分級時間長，效率低，在對新鮮雙孢蘑菇的精選分級方面沒有相關(guān)研究。本文利用機(jī)械電子、機(jī)器視覺、智能控制等技術(shù)，研究設(shè)計一套雙孢蘑菇自動精選分級系統(tǒng)，提出基于分水嶺、Canny算子、閉運(yùn)算等處理的雙孢蘑菇圖像大小分級算法，設(shè)計了基于傳送速度、距離、觸發(fā)時間與算法處理時間的精確控制策略，開發(fā)了基于OpenCV 2.4.10 和visual studio 2010的系統(tǒng)分析與控制軟件，在最大限度減少破損情況下，實現(xiàn)在線實時自動精選分級。基于研發(fā)的雙孢蘑菇自動精選分級系統(tǒng)樣機(jī)，對新鮮雙孢蘑菇進(jìn)行了分級性能及效果的測試。

1 硬件系統(tǒng)設(shè)計

1.1 整機(jī)結(jié)構(gòu)及參數(shù)

雙孢蘑菇自動精選分級系統(tǒng)硬件主要由輸送機(jī)構(gòu)、圖像采集系統(tǒng)、控制部分和執(zhí)行機(jī)構(gòu)4部分組成。其中輸送機(jī)構(gòu)由機(jī)架、輸送帶、電機(jī)和變頻器等組成，圖像采集系統(tǒng)由觸發(fā)器、光源、工業(yè)相機(jī)、光源控制器以及圖像采集卡組成，控制部分由繼電器啟動裝置、電磁閥和工控機(jī)組成，執(zhí)行機(jī)構(gòu)由空氣壓縮機(jī)、二聯(lián)件、接頭、消聲器、氣缸以及氣路等組成。整體結(jié)構(gòu)如圖1所示，其中1、2、21和22組成了輸送機(jī)構(gòu)的主體，3～16和23～28組成了執(zhí)行機(jī)構(gòu)的主體，17～20組成了圖像采集系統(tǒng)的主體。

1. 固定支架 2. 傳送帶 3. 第二側(cè)板 4. 第二執(zhí)行機(jī)構(gòu) 5. 第四導(dǎo)向桿6. 第二滑塊 7. 第二連接件 8. 第二撥動片 9. 第二擋板 10. 第一側(cè)板 11. 第一級執(zhí)行機(jī)構(gòu) 12. 第三導(dǎo)向桿 13. 第一滑塊 14. 第一連接件 15. 第一撥動片 16. 第一擋板 17. 光電傳感器 18. 光源 19. 工業(yè)相機(jī) 20. 圖像采集支架 21. 第二導(dǎo)向板 22. 第一導(dǎo)向板 23. 第一副擋板 24. 第一副出料板 25. 第一副側(cè)板 26. 第二副擋板 27. 第二副出料板 28. 第二副側(cè)板

1.2 輸送機(jī)構(gòu)

輸送機(jī)構(gòu)包括輸送帶、托輥、驅(qū)動裝置、拉緊裝置、清掃器和機(jī)架。輸送帶為聚氨酯材料，周長3 200 mm，寬200 mm，厚1.8 mm，托輥直徑80 mm。驅(qū)動裝置為德力電機(jī)，0.18 kW減速電機(jī)，使用施耐德ATV12H037M2變頻器調(diào)速，0.1～30 m/min可調(diào)，設(shè)計有急停按鈕。

1.3 圖像采集系統(tǒng)

選用MV-LC2K40高速線陣相機(jī)（分辨率2048í1），AFT-LCL50鏡頭（焦距50 mm），光電傳感器，AFT-LL86232W線性光源，AFT-ALP24150-01光源控制器，LIC-2KB02圖像采集卡和F口近攝接圈組成圖像采集系統(tǒng)，對連續(xù)運(yùn)動的雙孢蘑菇進(jìn)行持續(xù)地圖像采集。

1.4 控制系統(tǒng)

控制系統(tǒng)由工控機(jī)MV-VS810、基于USB總線的USB-4761繼電器啟動裝置和4V220-06五口兩位電磁閥組成。USB-4761繼電器啟動裝置配有LED指示燈，顯示繼電器的開/關(guān)狀態(tài)，電磁閥的最高頻率可達(dá)5次/s。

1.5 執(zhí)行機(jī)構(gòu)

執(zhí)行機(jī)構(gòu)包括完全相同的2套裝置，由OLF-2524/7空氣壓縮機(jī)、GFC200-08二聯(lián)件、BSLM01消聲器、RMTL10X200A氣缸、接頭、氣路、擋板、撥動片等組成。

1.6 系統(tǒng)工作流程

雙孢蘑菇精選分級系統(tǒng)工作流程如圖2所示。系統(tǒng)工作時，調(diào)整光源控制器，使圖像清晰穩(wěn)定，給空氣壓縮機(jī)送電，加壓至額定值0.3 MPa。啟動傳送帶電機(jī)，調(diào)整傳送帶速度，人工上料，雙孢蘑菇等間距單排單列依次進(jìn)入傳送帶的導(dǎo)向板，并跟隨傳送帶運(yùn)動，當(dāng)其進(jìn)入線陣相機(jī)的圖像采集區(qū)域時，光電觸發(fā)器產(chǎn)生觸發(fā)脈沖，觸發(fā)工業(yè)相機(jī)對運(yùn)動的蘑菇進(jìn)行拍攝，工控機(jī)通過圖像采集卡采集圖像信息，并對采集到的圖像數(shù)據(jù)進(jìn)行分析處理，將分級結(jié)果變成指令信息輸送給相應(yīng)的繼電器啟動裝置，通過控制電磁閥的開閉來控制氣缸，帶動相應(yīng)的撥動片將蘑菇送至相應(yīng)的容器內(nèi)，完成在線自動分級。

圖2 系統(tǒng)工作流程

1.7 系統(tǒng)工作參數(shù)

工控機(jī)處理器3.40 GHz，內(nèi)存4.00 GB，win7操作系統(tǒng)；輸送機(jī)構(gòu)工作電壓220 V AC，功率0.18 kW，運(yùn)動速度0.1～30 m/min，運(yùn)動范圍3 200 mm，運(yùn)動寬度200 mm，中心最大負(fù)載3 kg，分級產(chǎn)品直徑最大10 cm；圖像采集系統(tǒng)工作電壓12 V DC，工作功率<6 W，行頻1 000～2 000 Hz；執(zhí)行機(jī)構(gòu)工作電壓220 V，額定大氣壓力0.3 MPa，電磁閥最高頻率5次/s。

2 圖像處理

系統(tǒng)根據(jù)雙孢蘑菇行業(yè)標(biāo)準(zhǔn)[22]，選用雙孢蘑菇菌蓋直徑作為精選分級的特征參數(shù)，分為“大、中、小”3級[23]。在進(jìn)行圖像分析時，發(fā)現(xiàn)圖像陰影的存在和雙孢蘑菇柄部是影響測量最大直徑的重要因素，為此先結(jié)合全局閾值分割法與尋找最大熵閾值分割法進(jìn)行第1次分水嶺算法去除陰影部分[24]，然后使用Canny算子、閉運(yùn)算等進(jìn)行第2次分水嶺方法去除柄部干擾，最后采用最小外接矩形法求得雙孢蘑菇菌蓋的直徑。

2.1 基本全局閾值法獲取閾值T1

在進(jìn)行基本全局閾值法之前，先對采集到的原始圖像image進(jìn)行感興趣區(qū)域提取，去除無關(guān)干擾元素后，得到ROI_image，再使用基本全局閾值法進(jìn)行分割[25]，方法如下：

（1）為全局閾值選擇一個初始估計值（圖像的平均灰度）。

（2）用分割圖像。產(chǎn)生2組像素：1由灰度值大于的像素組成，2由小于等于的像素組成。

（3）計算1和2像素的平均灰度值1和2；

（5）重復(fù)步驟（2）和（4），直到連續(xù)迭代中的值間的差為0。

最后得到的就是需要的閾值1。對圖像進(jìn)行二值化處理首先需要將圖像轉(zhuǎn)換為灰度圖，然后對灰度值大于閾值1的像素點(diǎn)賦值255，表現(xiàn)為白色，對灰度值小于1的像素點(diǎn)賦值為0，表現(xiàn)為黑色。這樣整幅圖像就轉(zhuǎn)換為了灰度值只有0和255的二值圖像，表現(xiàn)為非黑即白，得到圖像image1。

2.2 最大熵法獲取閾值T2

所謂“熵”，就是指隨機(jī)變量的不確定性，熵最大的時候也就是隨機(jī)變量最隨機(jī)最不確定的情況。最大熵原理就是在已知某些確定的信息的前提下，對未知的信息不做任何的假設(shè)保持其最隨機(jī)最不確定的狀態(tài)是最合理的推斷[26]。在一幅圖像中，在前景與背景交界處信息量最大，也就是熵最大。這里使用KSW熵算法尋找使熵最大的閾值[27]。

設(shè)分割閾值為,圖像有個灰度級，有

則這2個概率密度相關(guān)的熵()和()分別為：

定義熵函數(shù)為：

當(dāng)熵函數(shù)()取得最大值時，對應(yīng)的灰度級就是所求的最佳閾值2。在進(jìn)行二值化處理前先將待處理圖像轉(zhuǎn)化為灰度圖，然后對灰度值大于閾值2的像素點(diǎn)賦值128，表現(xiàn)為灰色，對灰度值小于閾值2的像素點(diǎn)賦值為0，表現(xiàn)為黑色，得到圖像image2。

2.3 第1次分水嶺法

以image1的前景作為標(biāo)記圖像marker1的前景，標(biāo)記為灰度值為255的白色；以image2的背景作為marker1的背景，標(biāo)記為灰度值為128的灰色；其他像素點(diǎn)標(biāo)記為灰度值為0的黑色。設(shè)置marker1為分水嶺的標(biāo)記圖像，標(biāo)記出確定的前景區(qū)域，確定的背景區(qū)域和不確定區(qū)域，然后使用分水嶺算法結(jié)合已知的前景與背景特征對圖像進(jìn)行處理，得到第1次分水嶺結(jié)果圖watershed1。

2.4 輪廓提取

Canny算子是一種用于進(jìn)行邊緣檢測的算子[28]，高低閾值分別使用前面獲得的閾值1和2。在低閾值邊緣分布圖上只保留具有連接路徑的邊緣點(diǎn)，同時把那些邊緣點(diǎn)連接到屬于高閾值邊緣分布圖的邊緣上[6]，獲得第1輪廓圖contours1，這就使得高閾值分布圖上的所有邊緣點(diǎn)都被保留下來而低閾值分布圖上邊緣點(diǎn)的孤立鏈全部被移除。

2.5 或運(yùn)算和閉運(yùn)算

將watershed1的前景（即雙孢蘑菇部分）轉(zhuǎn)換為黑色（灰度值為0），背景轉(zhuǎn)換為白色（灰度值為255）；將contours1的前景（由Canny算子獲得的雙孢蘑菇輪廓）設(shè)置為白色（灰度值為255），背景設(shè)置為黑色（灰度值為0），這2個圖像進(jìn)行邏輯或運(yùn)算，若一個為1，則為1，只有同為0才為0，得到result1圖像，這樣有效去掉contours1中非雙孢蘑菇的邊緣，同時只保留了雙孢蘑菇內(nèi)部（比如雙孢蘑菇與柄的連接部分）邊緣。再對result1圖像進(jìn)行閉運(yùn)算（先膨脹后腐蝕），多次試驗表明進(jìn)行8次閉運(yùn)算處理結(jié)果較好。閉運(yùn)算后得到這一步的處理結(jié)果圖image_closed。

2.6 第2次分水嶺

將image_closed中的雙孢蘑菇部分作為標(biāo)記圖像marker2的前景，標(biāo)記為灰度值為255的白色；以watershed1的背景作為標(biāo)記圖像marker2的背景，標(biāo)記為灰度值為128的灰色，其他像素點(diǎn)標(biāo)記為灰色，得到標(biāo)記圖像marker2，作為第2次分水嶺的標(biāo)記圖像進(jìn)行處理，得到第2次分水嶺結(jié)果圖watershed2。

2.7 最小外接矩形

對watershed2進(jìn)行輪廓提取，并進(jìn)行過大和過小輪廓的剔除[29]，獲得第2輪廓圖contours2，對圖像先使用格雷厄姆法求解目標(biāo)圖像的凸殼，再使用等間隔旋轉(zhuǎn)搜索的方法，求解面積最小外接矩形[30]，獲得結(jié)果圖result2，具體實現(xiàn)如下：

（1）先找到目標(biāo)輪廓的一個外接矩形1，并計算它的面積1，令MIN=1，MIN=1，設(shè)置此時的位置角度==0；

（2）將目標(biāo)輪廓順時針旋轉(zhuǎn)一個角度（視精確度而定），再尋找它的一個外接矩形2，計算其面積2，設(shè)置此時的位置角度=+；

（3）比較MIN與2的大小，若2MIN，則令MIN2,=，MIN=2；

最小外接矩形的2條鄰邊中較長的那條邊即為要求的雙孢蘑菇菌蓋最大直徑。由于菌蓋是圓形對稱的，雖然不同菇柄長度會導(dǎo)致雙孢蘑菇傾斜程度不同，其投影圖像最小外接矩形的短邊會減小，但長邊無變化，不會影響菌蓋最大直徑。

2.8 圖像標(biāo)定

由于提取特征值后得到的直徑值是像素坐標(biāo)下的值，需要對像素坐標(biāo)和實際坐標(biāo)進(jìn)行轉(zhuǎn)換。具體方法為：用水平放置的刻度尺作為參考，在刻度尺的兩處做好標(biāo)記，記錄2標(biāo)記點(diǎn)間的實際坐標(biāo)差；然后多次檢測2標(biāo)記點(diǎn)間的像素坐標(biāo)差，利用公式（7）求得像素坐標(biāo)和實際坐標(biāo)間的比例：

其中為單位長度內(nèi)的像素數(shù)，1表示左標(biāo)記點(diǎn)的像素坐標(biāo)，2表示右標(biāo)記點(diǎn)的像素坐標(biāo)，表示刻度尺上2個標(biāo)記點(diǎn)間的實際距離。利用已獲得的像素坐標(biāo)下的直徑值除以即可得到雙孢蘑菇的實際直徑值。

圖像處理算法流程如圖3。

圖3 算法流程

3 系統(tǒng)控制原理與控制策略

當(dāng)傳感器檢測到蘑菇到來時，立即觸發(fā)工業(yè)相機(jī)進(jìn)行行掃描，工控機(jī)獲得圖像進(jìn)行算法處理，得出蘑菇的分級結(jié)論，通過相應(yīng)的時間延遲后，對應(yīng)的電磁閥動作，將蘑菇送至相應(yīng)容器。

傳送帶的速度決定著線陣相機(jī)的行頻和執(zhí)行機(jī)構(gòu)動作的準(zhǔn)確性。線陣相機(jī)要掃描到清晰的圖片，需要相機(jī)行頻和蘑菇運(yùn)動速度匹配，蘑菇運(yùn)動速度越快，需要行頻越大，執(zhí)行機(jī)構(gòu)動作就越頻繁。

在設(shè)計時，對應(yīng)于蘑菇量最大的級別設(shè)置為容器3（離光電觸發(fā)器最遠(yuǎn)的容器），這樣電磁閥都不動作，直接通過傳送帶送至容器，對應(yīng)于蘑菇量第二大的級別設(shè)置為容器2（離光電觸發(fā)器較遠(yuǎn)的容器），給予較長的延遲時間，對應(yīng)于蘑菇量最小的級別設(shè)置為容器1（離光電觸發(fā)器最近的容器），這樣離觸發(fā)器比較近的電磁閥動作頻率最少，使得執(zhí)行機(jī)構(gòu)的執(zhí)行效率達(dá)到最優(yōu)。

傳送帶速度與行頻有對應(yīng)關(guān)系，若速度發(fā)生變化，而不改變行頻，則圖像便會扭曲，試驗中測定的速度與行頻對應(yīng)關(guān)系如表1。

表1 速度與行頻對應(yīng)關(guān)系

電磁閥由工控機(jī)基于USB總線直接控制，使用8路繼電器輸出模塊USB-4761，每個繼電器都帶有1個顯示其開/關(guān)狀態(tài)的綠色LED指示燈，其中2個端口輸出控制1個撥動片，本系統(tǒng)有2個電磁閥，使用低位的4個端口D0～D3，上升沿觸發(fā)。所以初始化時，低4位全部置0，將每個撥動片對應(yīng)的低端口置1，放入雙孢蘑菇檢測，需要撥動片動作時，對應(yīng)撥動片的端口電位取反。

4 軟件系統(tǒng)

基于OpenCV 2.4.10 和visual studio 2010設(shè)計開發(fā)了雙孢蘑菇自動精選分級的圖像分析處理與控制軟件，如圖4所示。圖像分析處理軟件通過圖像采集卡與工業(yè)相機(jī)通訊，實時采集圖像，實時分析處理，分類結(jié)果通過USB端口給執(zhí)行機(jī)構(gòu)發(fā)送命令，實現(xiàn)雙孢蘑菇實時在線分級，以及相機(jī)參數(shù)（端口、行頻、曝光）、控制參數(shù)（傳送速度、一級擋板距離、二級擋板距離、標(biāo)定系統(tǒng)）和分級參數(shù)（一、二、三級直徑）等參數(shù)的可視化編輯，實時顯示雙孢蘑菇圖像及分級結(jié)果。

圖4 系統(tǒng)軟件界面

5 試驗與結(jié)果分析

為驗證系統(tǒng)的適用性和可靠性，對樣機(jī)進(jìn)行了試驗，樣機(jī)如圖5所示。試驗根據(jù)行業(yè)標(biāo)準(zhǔn)NY/T 1790-2009，將雙孢蘑菇按菌蓋直徑大小分為3級：直徑>45 mm為一級，25 mm≤直徑≤45 mm為二級，直徑<25 mm為三級[22]。自2017年6月平臺搭建起開始進(jìn)行了大量的試驗與系統(tǒng)完善。試驗初期以調(diào)試為主，樣品量比較少，直接從濟(jì)南歷下大潤發(fā)超市購買，但超市購買到的樣品大小差異性不大。系統(tǒng)穩(wěn)定運(yùn)行后進(jìn)行了10次大批量樣品試驗，直接從濟(jì)陽縣垛石鎮(zhèn)富財食用菌基地獲取樣品，品種W2000，每次樣品500個以上。試驗主要進(jìn)行分級效率、準(zhǔn)確率、破損率以及漏檢率測試。

以2017年10月18號的試驗為例進(jìn)行分析，早8點(diǎn)45分左右從基地采摘樣品1 160個，采后直接運(yùn)至實驗室，在樣機(jī)輸送速度12.7 m/min、相機(jī)行頻1 900 Hz條件下進(jìn)行試驗，數(shù)據(jù)如表2。每組試驗結(jié)束后進(jìn)行人工統(tǒng)計，計算自動分級的漏檢率（人工分級不存在漏檢率），并使用游標(biāo)卡尺測量雙孢蘑菇按菌蓋直徑，驗證自動分級和人工分級的準(zhǔn)確性。

圖5 試驗樣機(jī)

表2中序號1～10每組100個樣品左右，時間在1 min左右，序號11是512個樣品一次性分級測試，以測試長時間運(yùn)行效果。設(shè)每次試驗時間M（min），一級、二級、三級自動分級計數(shù)分別為G1、G2和G3，人工統(tǒng)計一級、二級、三級個數(shù)分別為H1、H2和H3，卡尺測量一級、二級、三級個數(shù)分別為C1、C2和C3，一級、二級、三級破損個數(shù)分別為D1、D2和D3，則分級效率E、準(zhǔn)確率A、破損率D、漏檢率L計算如下：

表2 雙孢蘑菇自動分級與人工分級試驗數(shù)據(jù)

注：雙孢蘑菇按菌蓋直徑大小分為一級（>45 mm）、二級（25～45 mm）、三級（<25 mm）。

Note: Agaricus bisporus is divided to Grade I (>45 mm), Grade II (25～45 mm), Grade III (<25 mm) by the cap diameter.

人工分級的效率、準(zhǔn)確率和破損率計算方法相同。根據(jù)式（8）～（11）分別計算出自動分級與人工分級的效率，準(zhǔn)確率、破損率以及漏檢率，對序號1～10的數(shù)據(jù)進(jìn)行平均，得出平均效率、準(zhǔn)確率、破損率和漏檢率，如表3。

表3 雙孢蘑菇自動分級與人工分級結(jié)果分析

通過表3可以看出，輸送速度12.7 m/min、相機(jī)行頻1 900 Hz條件下系統(tǒng)自動分級的平均速度是102.41個/min，平均準(zhǔn)確率97.42%，破損率0.05%，漏檢率0.96%，相對于人工分級效率提高38.86%，準(zhǔn)確率提高6.84%，破損率降低0.13%，可以連續(xù)穩(wěn)定工作。對于長時間分級（500多個樣品），由于人容易疲勞，自動分級的優(yōu)勢明顯。實際生產(chǎn)中工人每天（8 h）分揀60～100 kg，機(jī)器102.41個/min，合計約1.29 kg/min，8 h自動分揀619.31 kg，相對于人工每天最高100 kg的效率，提高5倍多。

6 討 論

（1）理論上，每個電磁閥動作最高頻率為5次/s，每分鐘處理300個雙孢蘑菇，2個電磁閥間歇工作達(dá)600個/min；工控機(jī)程序運(yùn)行1個周期，獲取圖像15 ms左右，圖像處理90 ms左右，界面刷新15 ms左右，每分鐘處理500個左右的雙孢蘑菇；傳送帶速度0.1～30 m/min可調(diào)，試驗測得相鄰蘑菇最小間距0.07 m，對應(yīng)于12.7 m/min的傳送速度，每分鐘可以處理181個雙孢蘑菇，而試驗的平均分級速度是102.41個/min，遠(yuǎn)遠(yuǎn)低于理論值，主要是由于上料方式所限。系統(tǒng)中雙孢蘑菇單個等間隔排列依次沿導(dǎo)向板進(jìn)入輸送帶，設(shè)計過程中使用振動盤上料，易粘連或重疊，而且破損比較大，試驗時改為人工上料，是制約本系統(tǒng)商用化的一個關(guān)鍵因素，影響著整個系統(tǒng)的分級效率，也是課題后續(xù)研究的重點(diǎn)。

（2）圖像處理算法處理了影響最大直徑的2個重要因素—柄部與陰影的干擾，當(dāng)樣品上有褐色斑點(diǎn)或損傷導(dǎo)致圖像內(nèi)部存在大塊連通區(qū)域時，本算法會存在一定的誤差，影響了分級準(zhǔn)確性。執(zhí)行機(jī)構(gòu)使用同一個氣源，設(shè)定值為0.3 MPa，對于過大或過小的蘑菇，由于壓力不夠或壓力過大，存在打不出蘑菇或?qū)⒛⒐酱蛑疗渌萜鞯膫€別現(xiàn)象，影響了分級準(zhǔn)確性。

（3）蘑菇運(yùn)動速度越快，相機(jī)行頻越大，對于設(shè)定的傳送帶速度，相機(jī)行頻固定，可識別的相鄰蘑菇之間有個最小間距，當(dāng)進(jìn)入傳送帶的相鄰2個蘑菇之間的距離小于最小間距時，就會存在識別遺漏現(xiàn)象，導(dǎo)致漏檢，同時也影響著分級的準(zhǔn)確性。

（4）試驗中蘑菇破損是由于執(zhí)行機(jī)構(gòu)氣壓小，沒有被打至適當(dāng)容器，擠在擋板處導(dǎo)致，調(diào)整壓力后，破損很少發(fā)生。試驗結(jié)果顯示人工分級的破損率高于系統(tǒng)自動分級的破損率，主要是由于人的主觀因素，急于與系統(tǒng)自動分級對比速度，不自然地加大抓取力度，加之不抬頭的向相應(yīng)容器里扔蘑菇導(dǎo)致，而系統(tǒng)自動分級很好地解決了人工分級主觀性問題。

7 結(jié) 論

1）針對雙孢蘑菇工廠化生產(chǎn)中自動分級需求，首先設(shè)計了由工控機(jī)、輸送機(jī)構(gòu)、圖像采集裝置、控制模塊和執(zhí)行機(jī)構(gòu)組成的硬件系統(tǒng)。

2）提出了基于2次分水嶺算法的圖像分析處理方法，第1次分水嶺算法結(jié)合全局閾值分割法與尋找最大熵閾值分割法去除陰影部分，第2次分水嶺算法使用Canny算子、或運(yùn)算和閉運(yùn)算去除柄部干擾，而后采用最小外接矩形法求得雙孢蘑菇菌蓋的直徑。

3）設(shè)計了基于傳送速度、距離、觸發(fā)時間與算法處理時間的精確控制策略，數(shù)量最多的等級直接通過傳送帶送至容器，對應(yīng)于數(shù)量第二的等級由離觸發(fā)器較遠(yuǎn)的執(zhí)行機(jī)構(gòu)動作，給予較長的延遲時間，離觸發(fā)器比較近的執(zhí)行機(jī)構(gòu)動作頻率最少，使得執(zhí)行機(jī)構(gòu)的執(zhí)行效率達(dá)到最優(yōu)。

4）開發(fā)了相應(yīng)的圖像分析處理與控制軟件，并在試驗樣機(jī)上進(jìn)行了試驗。本文提出的雙孢蘑菇自動分級系統(tǒng)，在輸送速度12.7 m/min、相機(jī)行頻1 900 Hz下的分級效率可達(dá)102.41個/min，分級準(zhǔn)確率可達(dá)97.42%，8 h工作效率提高5倍多。自動分級系統(tǒng)的效率和準(zhǔn)確率都高于人工分級，破損率低于人工分級，對于長時間分級，自動分級的優(yōu)勢更加明顯。

[1] 何澤強(qiáng). 基于機(jī)器視覺的工業(yè)機(jī)器人分揀系統(tǒng)設(shè)計[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016. He Zeqiang. Design of Industrial Robot Sorting System Based on Machine Vision [D]. Harbin: Harbin Institute of Technology, 2016. (in Chinese with English abstract)

[2] Jyoti Jhawar. Orange Sorting by Applying Pattern Recognition on Colour Image[J]. Procedia Computer Science, 2016, 78: 691－697.

[3] 林歡，許林云. 中國農(nóng)業(yè)機(jī)器人發(fā)展及應(yīng)用現(xiàn)狀[J]. 浙江農(nóng)業(yè)學(xué)報，2015，27(5)：865－871. Lin Huan, Xu Linyun. The development and prospect of agricultural robots in China[J]. Acta Agriculturae Zhejiangensis, 2015, 27(5): 865－871. (in Chinese with English abstract)

[4] Kondo N. Automation on fruit and vegetable grading system and food traceability [J]. Trends in Food Science & Technology, 2010, 21(3): 145－152．

[5] 高新浩，劉斌. 基于機(jī)器視覺的鮮食玉米品質(zhì)檢測分類器設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(1)：298－303. Gao Xinjie, Liu Bin. Design and experiment of fresh corn quality detection classifier based on machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 298－303. (in Chinese with English abstract)

[6] 張志強(qiáng)，牛智有，趙思明，等. 基于機(jī)器視覺技術(shù)的淡水魚質(zhì)量分級[J]. 農(nóng)業(yè)工程學(xué)報，2011，27(2)：350－354. Zhang Zhiqiang, Niu Zhiyou, Zhao Siming, et al. Weight grading of freshwater fish based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(2): 350－354. (in Chinese with English abstract)

[7] 陳青君，魏金康. 雙孢蘑菇設(shè)施栽培實用技術(shù)[M]. 北京：中國農(nóng)業(yè)大學(xué)出版社，2015.

[8] 劉戰(zhàn)麗，王相友. 雙孢蘑菇貯藏品質(zhì)評價方法及適收期研究[J]. 食品科技，2015，40(6)：42－46. Liu Zhanli, Wang Xiangyou. Quality evaluation and suitable harvest date of mushroom (Agaricus bisporus)[J]. Food Science and Technology, 2015, 40(6): 42－46. (in Chinese with English abstract)

[9] 周竹，黃懿，李小昱，等. 基于機(jī)器視覺的馬鈴薯自動分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(7)：178－183. Zhou Zhu, Huang Yi, Li Xiaoyu, et al. Automatic detecting and grading method of potatoes based on machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(7): 178－183. (in Chinese with English abstract)

[10] 董春旺，朱宏凱，周小芬，等. 基于機(jī)器視覺和工藝參數(shù)的針芽形綠茶外形品質(zhì)評價[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2017，48(9)：38－45. Dong Chunwang, Zhu Hongkai, Zhou Xiaofen, et al. Quality evaluation for appearance of needle green tea based on machine vision and process parameter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(9): 38－45. (in Chinese with English abstract)

[11] 王慧慧，孫永海，張貴林，等. 基于壓力和圖像的鮮玉米果穗成熟度分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(7)：369－373. Wang Huihui, Sun Yonghai, Zhang Guilin, et al. Grading method of fresh corn ear maturity based on pressure and image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(7): 369－373. (in Chinese with English abstract)

[12] 王紅軍，熊俊濤，黎鄒鄒，等. 基于機(jī)器視覺圖像特征參數(shù)的馬鈴薯質(zhì)量和形狀分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(8)：272－277. Wang Hongjun, Xiong Juntao, Li Zouzou, et al. Potato grading method of weight and shape based on imaging characteristics parameters in machine vision system [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 272－277. (in Chinese with English abstract)

[13] 李明智，張光發(fā)，于功志，等. 扇貝苗分級計數(shù)裝置的設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(21)：93－101. Li Mingzhi, Zhang Guangfa, Yu Gongzhi, et al. Design and experiment of grading and counting device for scallop seedling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 93－101. (in Chinese with English abstract)

[14] 展慧，李小昱，王為，等. 基于機(jī)器視覺的板栗分級檢測方法[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(4)：327－331. Zhan Hui, Li Xiaoyu, Wang Wei, et al. Determination of chestnuts grading based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 26(4): 327－331. (in Chinese with English abstract)

[15] 王樹才，文友先，劉儉英. 基于機(jī)器人的禽蛋自動檢測與分級系統(tǒng)集成開發(fā)[J]. 農(nóng)業(yè)工程學(xué)報，2008，(4)：186－189. Wang Shucai, Wen Youxian, Liu Jianying. Integrated development of the system of robot for detecting and grading eggs[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(4): 186－189. (in Chinese with English abstract)

[16] Tillett RD, Batchelor BJ. An algorithm for locating mushrooms in a growing bed [J]. Computers and Electronics in Agriculture, 1991,6(3): 191－200.

[17] Vooren JG, Polder G, Heijden GWAM. Application of image analysis for variety testing of mushroom[J]. Euphytica, 1991, 57(3): 245－250.

[18] V??zhányó T, Felf?ldi J. Enhancing colour differences in images of diseased mushrooms[J]. Computers and Electronics in Agriculture, 2000 (26): 187－198.

[19] Van Loon PCC. Het bepalen van het ontwikkelingsstadium bij de champignon met computer beeldanalyse.[J]. Champignoncultuur, 1996, 40(9): 347－353.

[20] Chen Ho-Hsien, Ting Ching-Hua. The development of a machine vision system for shiitake grading [J]. Journal of Food Quality, 2004, 27(5): 352－365.

[21] 葛亮. 香菇實時分級生產(chǎn)線的研究[D]. 武漢：華中農(nóng)業(yè)大學(xué)，2012. Ge Liang. The Research of The Real Time Grading Line of Mushrooms[D]. Wuhan: Huazhong Agricultural University, 2012. (in Chinese with English abstract)

[22] NY/T 1790-2009，雙孢蘑菇等級規(guī)格 [S]. NY/T 1790-2009, Grades and specification of Agaricus bisporus.

[23] 陳艷軍，張俊雄，李偉，等. 基于機(jī)器視覺的蘋果最大橫切面直徑分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(2)：284－288. ChenYanjun, Zhang Junxiong, Li Wei, et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(2): 284－288. (in Chinese with English abstract)

[24] 杜建軍，郭新宇，王傳宇，等. 基于分級閾值和多級篩分的玉米果穗穗粒分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(15)：140－146. Du Jianjun, GuoXinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[25] C Durastanti. Adaptive global thresholding on the sphere [J]. Journal of Multivariate Analysis, 2016, 151: 110－132.

[26] 師韻，王震，王旭啟，等. 基于改進(jìn)遺傳算法的最大熵作物病害葉片圖像分割算法[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43(9)：453－455. Shi Yun, Wang Zhen, Wang Xuqi, et al. Texture image segmentation method with crop disease based on genetic algorithm and maximum entropy[J] Jiangsu Agricultural Sciences, 2015, 43(9): 453－455. (in Chinese with English abstract)

[27] 夏華. 基于自然路標(biāo)的室內(nèi)機(jī)器人雙目視覺定位系統(tǒng)的研究[D]. 長春：吉林大學(xué)，2017. Xia Hua. Research on Binocular Vision Localization System for Indoor Robot Based on Natural Landmarks[D]. Changchun: Jilin University, 2017. (in Chinese with English abstract)

[28] 拓小明，李云紅，劉旭，等. 基于Canny算子與閾值分割的邊緣檢測算法[J]. 西安工程大學(xué)學(xué)報，2014，28(6)：745－749. Tuo Xiaoming, Li Yunhong, Liu Xu, et al. The edge detection algorithm based on Canny operator and threshold segmentation[J]. Journal of Xi’an Polytechnic University, 2014, 28(6):745－749. (in Chinese with English abstract)

[29] 李愷，楊艷麗，劉凱，等. 基于機(jī)器視覺的紅掌檢測分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(24)：196－203. Li Kai, Yang Yanli, Liu Kai, et al. Determination and grading ofbased on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 196－203. (in Chinese with English abstract)

[30] 楊意，初麒，楊艷麗，等. 基于機(jī)器視覺的白掌組培苗在線分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(8)：33－40. Yang Yi, Chu Qi, Yang Yanli, et al. Online grading method for tissue culture seedlings of Spathiphyllum floribundum based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 33－40. (in Chinese with English abstract)

Design and experiment of automatic sorting and grading system based on machine vision for white

Wang Fengyun1, Feng Wenjie1, Zheng Jiye1, Sun Jiabo1, Niu Luyan1, Chen Zhenxue2, Zhang Xuetao2, Wang Lei1※

(1.250100,; 2.250061,)

Whiteis an excellent source of the B vitamins, riboflavin, niacin, and pantothenic acid and also a good source of the dietary mineral phosphorus. It is one of the most commonly and widely consumed mushrooms in the world. The production of whitehas been industrialized in China. However, during the last production chain, it needs a lot of labors to sort and grade the white. The manual sorting and grading mode has many disadvantages such as larger error, low productivity, non-uniform standard, and so on. With the development of machine vision technology, it has been successfully used for automatic inspection and sorting, especially in agricultural industry due to its nondestructive characteristic. An automatic sorting and grading system based on machine vision was designed in this paper. Firstly, an automatic sorting and grading hardware system was designed. It included conveying mechanism, image acquiring system, control module and actuator. The conveying mechanism consists of the fixed support, conveyor, roller, driving unit, tension unit, cleaner and guide plate. The image acquiring system consists of a line scan camera, lens, light source and its controller. The control module consists of photoelectric sensor controlling the camera, electromagnetic valve and relay starter controlling the actuator. The actuator consists of the air compressor, duplex pieces, muffler, air cylinder, joints, gas channel, guide rod, slider, connector, flap, baffle,and so on. Secondly, it put forward an image algorithm based on the watershed method, Canny operator, OR operation and closed operation to determine the diameter of white. The first watershed algorithm combining the global threshold segmentation method and maximum entropy threshold segmentation method is used to remove the shadow of image. The second watershed algorithm based on Canny operator, OR operator and closed operation is used to remove the disturbance of petiole. The minimum enclosing rectangle method is used to get the diameter of white button mushroom. Thirdly, a precise control strategy based on the conveyor speed, distance between trigger and flap piece, trigger time and algorithm processing time was designed. Finally, the software based on OpenCV 2.4.10 and Visual Studio 2010 was developed in this paper to acquire, analyze and process the image and output the control instruction to control the valve by USB-4761 module. It also has the visual parameter configuration function for camera, control module and grading standard. When the whole system starts at the first time, the light source of image acquiring system is adjusted by the light controller to make the image clear and stable. The air compressor is powered on and pressurized to the rated pressure of 0.3 MPa. The motor of conveyor is started and the speed of the conveyor belt is adjusted according to the actual production requirement. The whitegoes into the guide bar with the conveyor belt. When the whitegoes into the region of image acquiring, it triggers the industrial camera to scan. The image data are transmitted to the industrial computer by image capture card. The software analyzes the image on line. The analyzed result is sent to the related solenoid valve through the digital control module. When the whitearrives near the container of related grade, it is sorted into the container by the related flap piece driven by the solenoid valve. In order to validate the applicability and reliability, the test of grading performance and effect was carried out with the prototype of sorting and grading system at 12.7 m/min conveying speed and 1900 Hz line frequency. The results showed that the average maximum grading speed was 102.41 pieces/min, the accuracy of grading was 97.42%, the damage rate was 0.05% and the undetected rate was 0.96%. The grading speed improved by 38.86%, the accuracy improved by 6.84% and the damage rate reduced by 0.13% compared to the manual grading. The system can stably and continuously operate. For long time grading, the advantage of intelligent system is more obvious due to the fatigue of labor. The whole system realizes the on-line automatically sorting and grading for fresh whitewith the minimum destruction.

image processing; bacteria; algorithms; agaricus bisporus; automatic grading

王風(fēng)云，封文杰，鄭紀(jì)業(yè)，孫家波，牛魯燕，陳振學(xué)，張學(xué)濤，王 磊. 基于機(jī)器視覺的雙孢蘑菇在線自動分級系統(tǒng)設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(7)：256－263. doi：10.11975/j.issn.1002-6819.2018.07.033 http://www.tcsae.org

Wang Fengyun, Feng Wenjie, Zheng Jiye, Sun Jiabo, Niu Luyan, Chen Zhenxue, ZhangXuetao, Wang Lei. Design and experiment of automatic sorting and grading system based on machine vision for white[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 256－263. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.07.033 http://www.tcsae.org

2017-11-02

2018-01-22

山東省重點(diǎn)研發(fā)計劃（2016GNC110008）；山東省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)科技創(chuàng)新工程（CXGC2017B04）；山東省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)科技創(chuàng)新工程（CXGC2016A12）

王風(fēng)云，副研究員，主要從事智慧農(nóng)業(yè)等研究。Email：wfylily@163.com

王 磊，副研究員，主要從事農(nóng)業(yè)信息化研究。Email：nkywl@126.com

10.11975/j.issn.1002-6819.2018.07.033

S24

A

1002-6819(2018)-07-0256-08