趙 博 王 燁 董 鑫 李亞碩 姜含露 呂程序

(中國農(nóng)業(yè)機(jī)械化科學(xué)研究院土壤植物機(jī)器系統(tǒng)技術(shù)國家重點(diǎn)實(shí)驗(yàn)室， 北京 100083)

0 引言

蘇葉不僅具有一定的藥用價(jià)值，還具有較高的食用價(jià)值[1]。近些年，國內(nèi)對諸如烤肉、壽司等料理的消費(fèi)逐年增大，作為重要輔料的蘇葉逐漸為人所知，市場不僅對蘇葉的需求量快速增長，而且對其尺寸、形狀、新鮮度等質(zhì)量要求也越來越高。

依據(jù)不同尺寸規(guī)格制定蘇葉價(jià)格，分等銷售、分級(jí)貯存，滿足不同食用需求，提高蘇葉產(chǎn)品價(jià)值及競爭力，這是目前市場重點(diǎn)關(guān)注且急需解決的問題。然而，目前國內(nèi)尚未見相應(yīng)的蘇葉分選系統(tǒng)，主要依靠人工來完成，耗時(shí)耗力，效率極低。

機(jī)器視覺是一種快速、經(jīng)濟(jì)、一致、客觀、無損的檢測技術(shù)，已被國內(nèi)外學(xué)者廣泛應(yīng)用于蔬菜、水果等分選系統(tǒng)中[2-15]。SOFU等[16]利用機(jī)器視覺技術(shù)實(shí)現(xiàn)了對蘋果尺寸、顏色、質(zhì)量、缺陷的檢測與分級(jí)。JARIMOPAS等[17]利用機(jī)器視覺系統(tǒng)對羅望子形狀、尺寸、外部缺陷進(jìn)行檢測與分級(jí)。ABBASGOLIPOUR等[18]采用圖像處理技術(shù)實(shí)現(xiàn)了對葡萄干純度等的檢測與分級(jí)。BLASCO等[19]采用多光譜機(jī)器視覺技術(shù)顯著提高了常規(guī)機(jī)器視覺系統(tǒng)對柑橘外部缺陷檢測的準(zhǔn)確率。杜永忠等[20]利用機(jī)器視覺技術(shù)實(shí)現(xiàn)了對圣女果表面缺陷的檢測與分選。文獻(xiàn)[21-24]利用機(jī)器視覺與圖像分析實(shí)現(xiàn)農(nóng)產(chǎn)品分選。

本文應(yīng)用機(jī)器視覺技術(shù)設(shè)計(jì)蘇葉在線分選系統(tǒng)，以蘇葉葉片最大長度為分選依據(jù)，利用蘇葉葉片形態(tài)特征，設(shè)計(jì)基于最小圓的蘇葉長度測量算法，以實(shí)現(xiàn)蘇葉自動(dòng)測量與分選。

1 硬件系統(tǒng)設(shè)計(jì)

1.1 總體結(jié)構(gòu)設(shè)計(jì)

蘇葉在線分選系統(tǒng)硬件部分主要由上料單元、檢測單元、傳輸單元、分選單元、下料單元、供氣系統(tǒng)以及控制系統(tǒng)組成。整機(jī)結(jié)構(gòu)如圖1所示，其中，1、2構(gòu)成了上料單元主體，4～6構(gòu)成了供氣系統(tǒng)主體，7～9構(gòu)成了檢測單元主體，10～13構(gòu)成了分選單元主體。

圖3 控制系統(tǒng)工作原理圖Fig.3 Schematic of system operation

圖1 蘇葉分選系統(tǒng)整機(jī)結(jié)構(gòu)圖Fig.1 Whole structure of sorting system for perilla1.第1執(zhí)行機(jī)構(gòu) 2.上料輸送皮帶機(jī) 3.控制系統(tǒng) 4.無油空氣壓縮機(jī) 5.過濾減壓閥 6.精密減壓閥 7.LED燈帶 8.CCD相機(jī) 9.暗箱 10.第2執(zhí)行機(jī)構(gòu) 11.第3執(zhí)行機(jī)構(gòu) 12.第4執(zhí)行機(jī)構(gòu) 13.第5執(zhí)行機(jī)構(gòu) 14.傳輸單元 15.下料單元

1.2 關(guān)鍵部件設(shè)計(jì)

1.2.1上料單元

上料單元用于將待檢測蘇葉移送至檢測單元。上料單元包括機(jī)架、上料電機(jī)、電機(jī)調(diào)速器、傳動(dòng)裝置、輥?zhàn)印⑸狭陷斔蛶?、?執(zhí)行機(jī)構(gòu)。其中，第1執(zhí)行機(jī)構(gòu)如圖2所示，可一次吸附4片蘇葉，包括安裝架、連接支架、無桿氣缸、雙桿氣缸、真空吸盤。每個(gè)無桿氣缸和雙桿氣缸上設(shè)有兩個(gè)行程開關(guān)用于氣缸動(dòng)作控制。

圖2 第1執(zhí)行機(jī)構(gòu)結(jié)構(gòu)圖Fig.2 Structure of the first actuator1.安裝架 2.無桿氣缸 3.連接支架 4.雙桿氣缸 5.真空吸盤

1.2.2控制系統(tǒng)

控制系統(tǒng)用于控制蘇葉上料、檢測、輸送、分選、下料，控制系統(tǒng)包括工控機(jī)、控制器、輸出擴(kuò)展模塊、繼電器?？刂葡到y(tǒng)的工作原理如圖3所示，蘇葉被擺放到上料輸送帶上，用于上料的執(zhí)行機(jī)構(gòu)將蘇葉自動(dòng)移送至檢測單元；工控機(jī)利用檢測單元結(jié)合軟件系統(tǒng)接收信號(hào)，對圖像進(jìn)行采集、分析、處理并給出分選信號(hào)；S7-200分析處理信號(hào)，通過輸出擴(kuò)展模塊、繼電器控制分選單元和下料單元實(shí)現(xiàn)蘇葉的分選和下料。

其他硬件系統(tǒng)功能和組成如表1所示。

1.3 系統(tǒng)工作流程

系統(tǒng)工作流程圖如圖4所示，具體流程如下：①開機(jī)。②調(diào)節(jié)無油空氣壓縮機(jī)至0.5 MPa，調(diào)節(jié)相機(jī)光圈和焦距至能獲得清晰圖像，激活各驅(qū)動(dòng)電機(jī)，調(diào)節(jié)至合適速度。③人工上料至上料輸送帶，第1執(zhí)行機(jī)構(gòu)上料。④相機(jī)采集圖像，工控機(jī)處理并輸出分級(jí)結(jié)果。 ⑤控制器接收處理分選結(jié)果并控制不同分級(jí)閥組和真空發(fā)生器實(shí)現(xiàn)蘇葉分級(jí)，即控制器首先判斷分選信號(hào)中是否存在1級(jí)信號(hào)，若存在，則激活第2級(jí)執(zhí)行機(jī)構(gòu)對應(yīng)閥組和真空發(fā)生器狀態(tài)進(jìn)而控制第2級(jí)執(zhí)行機(jī)構(gòu)將蘇葉移送至下料輸送帶，若不存在，則直接將信號(hào)移位至下一級(jí)，依此類推，最后，若檢測的蘇葉不屬于任何級(jí)別，則視為無效目標(biāo)。⑥下料。

表1 部分硬件系統(tǒng)功能與組成Tab.1 Function and component of part of hardware system

圖4 系統(tǒng)工作流程圖Fig.4 Working flow chart of system

2 軟件系統(tǒng)設(shè)計(jì)

2.1 蘇葉長度測量算法

圖5 蘇葉測量長度示意圖Fig.5 Schematic of length of measuring perilla

由于國內(nèi)在蘇葉分選上尚未有相應(yīng)的分選標(biāo)準(zhǔn)，因此，本文參考國外蘇葉分選標(biāo)準(zhǔn)，以蘇葉葉片最大長度作為蘇葉尺寸分選的唯一依據(jù)。圖5所示蘇葉是本文分選的目標(biāo)，觀察其外形可以看出，其葉片最大長度實(shí)際為葉尖PA和葉片與葉梗分離點(diǎn)PB的距離Lu。因此，本文對原始圖像(圖6a)依次進(jìn)行灰度化、大津法閾值分割處理，獲得二值圖(圖6b)，并對圖像取反(圖6c)，結(jié)合

圖6 目標(biāo)提取及最小外接圓獲取Fig.6 Target extracting and minimum circumscribed circle searching

(1)

式中j′(x,y)——圖6d中點(diǎn)(x，y)處的像素值

j(x,y)——圖6c中點(diǎn)(x，y)處的像素值

Rmin、Rmax——行上、下閾值

對取反圖像進(jìn)行降噪處理(圖6d)，去除背景干擾。但從降噪圖像可以看出，部分葉片葉梗相連，這使得PB坐標(biāo)難以獲取，因此，對降噪圖像進(jìn)行形態(tài)學(xué)操作以完全分離葉片與葉梗。經(jīng)試驗(yàn)發(fā)現(xiàn)，對降噪圖像依次進(jìn)行1次閉運(yùn)算、2次腐蝕、2次膨脹處理的效果最好(圖6e)。對降噪圖像進(jìn)行形態(tài)學(xué)操作后，分離的葉梗雖然成了噪聲，但可以看出，該類噪聲面積遠(yuǎn)小于目標(biāo)輪廓所包圍區(qū)域面積且數(shù)量較少，因此，一種有效的方法是通過區(qū)域面積進(jìn)行篩選，在濾除噪聲的同時(shí)對目標(biāo)進(jìn)行提取(圖6f)，篩選公式為

(2)

式中Ce,i——圖6e中第i個(gè)區(qū)域輪廓判定結(jié)果

Ai——第i個(gè)輪廓所包圍區(qū)域面積

Ad——面積下限

Au——面積上限

N——檢測出的輪廓數(shù)量

其中，判定結(jié)果為1表明該輪廓為蘇葉輪廓，為0表明該輪廓為非蘇葉輪廓。由于蘇葉姿態(tài)的不確定性，使得PA、PB兩點(diǎn)的坐標(biāo)隨著蘇葉姿態(tài)改變而改變，這使得依靠PA、PB坐標(biāo)進(jìn)行測量比較困難。對此，本文采用一種簡單有效的方法，即通過獲取蘇葉輪廓最小外接圓(圖6g)，進(jìn)而獲取其直徑D，并作為Lu的系統(tǒng)測量值。后續(xù)通過試驗(yàn)也證明了這是一種簡單、快速、有效的方法。由于通過該方法得到的系統(tǒng)測量值是以像素為單位的長度，對此，本文先通過計(jì)算獲得了轉(zhuǎn)換系數(shù)k，將得到的系統(tǒng)測量值乘以該系數(shù)k得到待測量長度Lu的系統(tǒng)測量結(jié)果Lu,s，其中k的計(jì)算公式為

(3)

式中Li——蘇葉葉片最大長度人工測量值，cm

Di——蘇葉葉片最大長度系統(tǒng)測量值，像素

M——蘇葉數(shù)量

整個(gè)算法流程如圖7所示。

圖7 蘇葉長度測量算法Fig.7 Algorithm for measuring length of perilla

經(jīng)試驗(yàn)得出，Rmin、Rmax分別取200、545像素時(shí)降噪效果最佳，如圖6d所示。當(dāng)Ad取6 000像素，Au取30 000像素時(shí)判別結(jié)果最佳，如圖6f所示，紅線表示蘇葉輪廓。

2.2 測量結(jié)果排序

由于實(shí)際獲取的蘇葉輪廓(圖8a)無規(guī)則排列，使得根據(jù)蘇葉輪廓獲取的最小外接圓無規(guī)則排列(圖8b)，導(dǎo)致蘇葉系統(tǒng)測量長度輸出順序較亂，使得軟件系統(tǒng)根據(jù)蘇葉系統(tǒng)測量長度給出的分選信號(hào)排列不規(guī)則，給后續(xù)分選控制帶來一定的困難。因此，為使后續(xù)蘇葉分選控制方便，在獲取蘇葉輪廓最小外接圓之前，對蘇葉輪廓進(jìn)行再排列以輸出規(guī)則排列分選信號(hào)(統(tǒng)一采用從左到右排列順序)。結(jié)合所識(shí)別蘇葉的最大數(shù)量將整幅圖分為4個(gè)區(qū)域，標(biāo)識(shí)為1、2、3、4號(hào)，對蘇葉輪廓進(jìn)行再排列的公式為

(4)

式中Cz,i——第i片蘇葉區(qū)域輪廓判定結(jié)果

cx,i——第i片蘇葉區(qū)域輪廓中心點(diǎn)x坐標(biāo)值

db——邊界初始距離

dg——區(qū)間間隔

經(jīng)試驗(yàn)可得，db取30像素，dg取330像素時(shí)，所得效果較好，如圖8c所示。

圖8 蘇葉輪廓及最小外接圓(圖中數(shù)字僅代表排列順序)Fig.8 Contour and minimum circumscribed circle of perilla (numbers in map only represented sequence)

2.3 軟件系統(tǒng)開發(fā)

基于上述算法，在Windows框架下，采用MFC和OpenCV3.4.0作為開發(fā)工具，設(shè)計(jì)了蘇葉在線分選軟件系統(tǒng)，主要包括控制面板、圖像采集顯示模塊、結(jié)果展示模塊、統(tǒng)計(jì)結(jié)果顯示模塊、日志生成控制模塊與工作信息顯示模塊，軟件系統(tǒng)界面如圖9所示。

圖9 軟件系統(tǒng)界面Fig.9 Software system interface1.控制面板 2.圖像采集顯示模塊 3.結(jié)果展示模塊 4.統(tǒng)計(jì)結(jié)果顯示模塊 5.日志生成控制模塊 6.工作信息顯示模塊

3 試驗(yàn)與結(jié)果分析

3.1 分選依據(jù)與樣機(jī)

蘇葉分選參考日本堀田生態(tài)農(nóng)場股份有限公司相關(guān)標(biāo)準(zhǔn)，如圖10所示，依據(jù)蘇葉葉片最大長度Lu將蘇葉分為4級(jí)，7～8.5 cm為1級(jí)，記為M規(guī)格；8.5～9.5 cm為2級(jí)，記為L(小)規(guī)格；9.5～10.5 cm記為3級(jí)，記為L(大)規(guī)格；10.5～12 cm為4級(jí)，記為2L規(guī)格。

圖10 蘇葉分選依據(jù)圖Fig.10 Pursuant picture of perilla sorting

樣機(jī)如圖11所示，整機(jī)尺寸為5 000 mm×1 500 mm×1 500 mm，分選速度約為4片/s。

圖11 蘇葉分選樣機(jī)Fig.11 Perilla sorting machine

3.2 圖像標(biāo)定

如2.1節(jié)所述，在蘇葉長度測量算法中，所提取的直徑是像素坐標(biāo)下的值，因此，需要通過轉(zhuǎn)換系數(shù)k將該像素直徑轉(zhuǎn)換為實(shí)際值。為此，選取蘇葉120片，其中100片用于驗(yàn)證蘇葉分選系統(tǒng)測量精度和分選效果，其余20片用于計(jì)算k。由于使用的相機(jī)基本無畸變，k計(jì)算步驟為：①初始時(shí)，設(shè)置軟件系統(tǒng)中k為1。②采用游標(biāo)卡尺對蘇葉葉片最大長度進(jìn)行測量，得到人工測量值Li。③將蘇葉放入系統(tǒng)檢測單元結(jié)合軟件系統(tǒng)對蘇葉葉片最大長度進(jìn)行再測量，得到系統(tǒng)測量值Di。④利用步驟②、③所得測量信息結(jié)合式(3)重新計(jì)算k，得到結(jié)果為0.053 013 cm/像素。

3.3 長度精度試驗(yàn)

修改軟件系統(tǒng)中k為0.053 013 cm/像素，k一經(jīng)確定在裝置不改變的情況下不需要再次修改。采用人工方式測量剩余100片蘇葉最大長度并利用系統(tǒng)測量對應(yīng)長度，所得測量結(jié)果和測量誤差分別如圖12、13所示，總體來看，測量誤差較小，能夠滿足實(shí)際分選蘇葉測量精度要求。

圖12 蘇葉測量結(jié)果對比Fig.12 Comparative diagram of measurement results of perilla

圖13 誤差曲線Fig.13 Diagram of error

3.4 分選試驗(yàn)

將人工測量后的蘇葉擺放在上料輸送帶上，通過系統(tǒng)上料、檢測、輸送、分級(jí)、下料，進(jìn)行蘇葉分選試驗(yàn)，所得分選結(jié)果如圖14所示，其中分選準(zhǔn)確率的計(jì)算公式為

(5)

式中Pc——分選準(zhǔn)確率Nc——分級(jí)正確數(shù)量

Nt——當(dāng)前檢測數(shù)量

圖14 蘇葉分選結(jié)果Fig.14 Sorting result of perilla

3.5 結(jié)果分析

經(jīng)試驗(yàn)，蘇葉分選系統(tǒng)單幅圖像處理時(shí)間約為0.18 s，規(guī)格為M、L(小)、L(大)、2L的蘇葉對應(yīng)系統(tǒng)測量絕對誤差最小值均為0 cm，最大值分別為

0.450、0.510、0.400、0.400 cm，平均絕對誤差分別為0.145、0.148、0.186、0.162 cm，總體平均絕對誤差為0.157 cm，對應(yīng)分選準(zhǔn)確率分別為93.10%、89.47%、77.78%、100%，總體分選準(zhǔn)確率為90.09%，如表2所示。

表2 蘇葉分選統(tǒng)計(jì)結(jié)果Tab.2 Sorting results of perilla

從表2可以看出，蘇葉系統(tǒng)測量長度總體平均絕對誤差較小，但每個(gè)規(guī)格蘇葉對應(yīng)系統(tǒng)測量絕對誤差較大。主要原因是，在蘇葉長度測量算法中，為有效分離葉片葉梗，對降噪后圖像進(jìn)行了多次形態(tài)學(xué)操作，使得葉尖以及葉片與葉梗連接點(diǎn)被腐蝕，導(dǎo)致系統(tǒng)測量的圖像距離偏小，但由于即使使用相同的方式對不同蘇葉進(jìn)行形態(tài)學(xué)操作，其處理效果也不盡相同，使得在系統(tǒng)標(biāo)定過程中，通過人工測量的蘇葉葉片最大長度與其對應(yīng)圖像距離近似為比例關(guān)系，由此，使得后續(xù)測試系統(tǒng)性能時(shí)得到的測量結(jié)果存在一定程度上的誤差?？偟膩碚f，本文所述分選設(shè)備結(jié)合本文所述蘇葉長度測量方法，能夠?qū)崿F(xiàn)蘇葉長度較為準(zhǔn)確的測量和不同規(guī)格蘇葉的快速分選，分選準(zhǔn)確率較高。

4 結(jié)論

(1)設(shè)計(jì)了蘇葉在線分選系統(tǒng)，包括上料單元、檢測單元、傳輸單元、分選單元、下料單元、供氣系統(tǒng)以及控制系統(tǒng)，實(shí)現(xiàn)了蘇葉上料、檢測、輸送、分選、下料的全流程自動(dòng)化。

(2)提出了蘇葉長度測量算法，設(shè)計(jì)了蘇葉測量結(jié)果信號(hào)反饋排序策略和蘇葉在線分選軟件系統(tǒng)，實(shí)現(xiàn)了蘇葉長度在線快速測量及結(jié)果實(shí)時(shí)顯示、統(tǒng)計(jì)以及軟硬模塊實(shí)時(shí)通信。

(3)以100片蘇葉驗(yàn)證所設(shè)計(jì)的蘇葉分選系統(tǒng)性能，試驗(yàn)結(jié)果表明，單幅圖像處理時(shí)間約為0.18 s，分選速度約為4片/s，在蘇葉長度測量和分選情況上，規(guī)格為M、L(小)、L(大)、2L的蘇葉對應(yīng)系統(tǒng)測量總體平均絕對誤差為0.157 cm，總體分選準(zhǔn)確率為90.09%。