魏文松,邢瑤瑤,李永玉,彭彥昆,張文平
中式菜肴主要由原料、配料搭配而成,其中原料質(zhì)量安全是中式菜肴食用品質(zhì)安全的關(guān)鍵。葉菜作為中式菜肴的重要原料之一,其葉表面積大、組織脆軟、含水量高[1]。葉菜采后經(jīng)過貯藏運(yùn)輸,在中小型餐廳場合和家庭作為中式菜肴原料食用時,往往需要將整株葉菜分成單片菜葉,在存放時間過長、儲存條件不適宜等條件下,極易失去光澤的外表以及飽滿彈性的質(zhì)地,出現(xiàn)黃化腐爛現(xiàn)象[1]。黃化腐爛的葉菜堆積在一起會加快周圍其他葉菜變質(zhì)的速度,且隨著葉菜的失水、變黃、萎蔫、腐爛等一系列變化,葉菜中的葉綠素開始轉(zhuǎn)變?yōu)槿~黃素,營養(yǎng)物質(zhì)也開始流失,甚至?xí)a(chǎn)生對人體有害的亞硝酸鹽等致癌物質(zhì)[2]。而蟲眼過多、過大的葉菜作為中式菜肴的原料會直接影響食用。
為了保證葉菜的品質(zhì)與食用價值,葉菜投入烹飪之前,需要對葉菜的品質(zhì)進(jìn)行一次篩選,將黃化、腐爛與帶有蟲眼的葉菜剔除。由于目前中式菜肴工業(yè)化程度低,大多為家庭手工作坊形式[3]。葉菜品質(zhì)的篩選主要依靠人體感官進(jìn)行判斷及分選,不僅費(fèi)時費(fèi)力,且人為因素干擾也會產(chǎn)生誤判。機(jī)器視覺技術(shù)[4-7]具有無損、實(shí)時、精度高等特點(diǎn),被國內(nèi)外學(xué)者廣泛應(yīng)用于農(nóng)產(chǎn)品檢測研究[8-15]。在國內(nèi),田芳等[16]利用透射光源系統(tǒng),并結(jié)合機(jī)器視覺技術(shù)對馬鈴薯內(nèi)部黑心病進(jìn)行檢測,對馬鈴薯黑心病判別率達(dá) 96%以上。趙娟等[17]設(shè)計了一套基于機(jī)器視覺技術(shù)檢測水果外觀缺陷的系統(tǒng),對蘋果缺陷的分級正確率達(dá)到92.5%。杜宏偉等[18]利用機(jī)器視覺技術(shù)研制了胡蘿卜外觀品質(zhì)分選線,分選速度可達(dá)到20個等級/s,分級精度達(dá)到93.5%。何東健等[19]通過機(jī)器視覺采集彩色圖像,獲取蘋果果實(shí)表面顏色和著色面積等信息并通過圖像處理,將顏色空間由RGB轉(zhuǎn)換為HLS, 用合適色相值下累計著色面積百分比進(jìn)行顏色分級的方法。分級試驗(yàn)結(jié)果表明,通過機(jī)器視覺技術(shù)分級與人工分級一致度達(dá) 88%以上??讖埖萚20]利用馬鈴薯的面積和周長為參數(shù),結(jié)合機(jī)器視覺技術(shù)完成對馬鈴薯外觀尺寸、形狀與質(zhì)量的分級。李明等[21]以機(jī)器視覺為基礎(chǔ),利用圖像處理方法對黃瓜果實(shí)圖像的瓜長、把長、橫徑差、弓形高度進(jìn)行了提取和計算。分級試驗(yàn)表明平均分級精度為96.7%,但分級速度不快。黃星奕等[22]利用正常秀珍菇與缺陷秀珍菇在圖像上的區(qū)別特征,結(jié)合機(jī)器視覺技術(shù)與支持向量機(jī)建模方法對畸形秀珍菇建模,正確率達(dá)到96.67%。在國外,Megha等[23]利用機(jī)器視覺技術(shù),開發(fā)了在線的西紅柿分級系統(tǒng),結(jié)合神經(jīng)網(wǎng)絡(luò)分級模型,對成熟與否,損壞與否 2個參數(shù)進(jìn)行了分級,分級正確率分別為100%和96.47%。Payman等[24]利用機(jī)器視覺技術(shù),對蘋果外部特征進(jìn)行了分級,分別采用SVM算法與KNN算法對缺陷蘋果進(jìn)行了分級,分級正確率最高達(dá)到92.5%。Hosein等[25]利用機(jī)器視覺技術(shù)開發(fā)了從開心果殼篩選出優(yōu)良開心果核的在線檢測系統(tǒng),并結(jié)合支持向量機(jī)方法完成了對開心果核的預(yù)測建模,準(zhǔn)確率達(dá)到94.33%,分級速度可達(dá)到22.74 kg/h。Ayoub等[9]采用機(jī)器視覺系統(tǒng),針對洋蔥樣品對其機(jī)械性能進(jìn)行了測定,包括應(yīng)力應(yīng)變、彈性模量與泊松比等,并將測量結(jié)果與傳統(tǒng)方法進(jìn)行了對比,結(jié)果發(fā)現(xiàn)機(jī)器視覺方法與傳統(tǒng)方法測量無明顯差別,吻合率達(dá)到 99%。Mehrdad等[26]利用機(jī)器視覺技術(shù)對投入市場之前的無花果進(jìn)行了分級,并開發(fā)了在線檢測系統(tǒng),分級精度達(dá)到95.2%,分級速度可到90 kg/h。Elena等[10]利用近紅外機(jī)器視覺系統(tǒng),對橄欖果進(jìn)行分級測試,分別從健康果、輕微損傷、小面積損傷、中等損傷、大面積損傷這 5個等級進(jìn)行了檢測,其中健康果與大面積損傷正確率100%,其余正確率大于70%。以上針對果蔬的檢測以及圖像處理的研究,主要是針對塊形、圓形、扁形等形狀類果蔬的識別。與葉菜類蔬菜相比,這些果蔬質(zhì)地較硬、不易損傷、容易提取特征信息。機(jī)器視覺在檢測葉菜品質(zhì)方面研究較少,如徐海霞等[27]利用機(jī)器視覺技術(shù)對菠菜的品質(zhì)進(jìn)行檢測,結(jié)合顏色變量提取方法,對菠菜新鮮度的判斷準(zhǔn)確率超過85%,但此研究為靜態(tài)檢測,且樣品在檢測時候,需要逐個放置,檢測效率低。除此缺點(diǎn)外,機(jī)器視覺在葉菜品質(zhì)檢測領(lǐng)域的在線裝置也匱乏,極大了限制了機(jī)器視覺在葉菜品質(zhì)無損檢測的發(fā)展。
針對機(jī)器視覺技術(shù)和圖像處理技術(shù)在葉菜類蔬菜分選的存在的上述問題,為有效控制中式菜肴原料品質(zhì)安全,本文自主研發(fā)了葉菜外部品質(zhì)在線檢測與分選系統(tǒng),包括硬件結(jié)構(gòu)和軟件部分。并利用圖像處理算法完成葉菜外部品質(zhì)中葉菜品質(zhì)中黃化葉,爛葉與蟲眼葉的檢測與分級,為中小型餐廳場合和部分家庭分選中式菜肴原料提供技術(shù)支撐,也為葉菜品質(zhì)分選裝置的產(chǎn)業(yè)化研發(fā)提供了技術(shù)參考。
本研究針對中式菜肴中食用葉菜類蔬菜,需要對葉菜外部品質(zhì)進(jìn)行檢測篩選的需求,利用機(jī)器視覺技術(shù)對葉菜類蔬菜外部品質(zhì)在線檢測與分級。實(shí)際生活中,消費(fèi)者食用的往往是單個分離的成片葉菜,在使用本系統(tǒng)檢測之前需要將葉菜從葉柄處單個分離成單菜葉,然后在線傳輸至圖像檢測單元逐個進(jìn)行檢測,并針對正常葉菜中的黃化葉、爛葉與蟲眼葉特征參數(shù),進(jìn)行圖像和數(shù)據(jù)的處理與分析,最后根據(jù)分析結(jié)果完成正常葉菜中不同外部品質(zhì)葉菜的檢測與分級。本文所研制的在線檢測與分級裝置包括用于分離葉菜、傳輸葉菜、檢測葉菜與分級葉菜的硬件部分,以及對葉菜特征進(jìn)行圖像采集、數(shù)據(jù)處理與分級判別的軟件部分。其工作原理為:在系統(tǒng)軟硬件共同作用下,葉菜樣品被逐個分離后,經(jīng)傳輸單元傳至圖像采集單元過程中,若被檢測傳感單元感應(yīng)到并傳至與其相連的單片機(jī)時,單片機(jī)將信號傳至計算機(jī),計算機(jī)軟件控制圖像采集單元完成葉菜樣品的圖像數(shù)據(jù)采集、傳輸、處理、結(jié)果存儲及顯示;隨著葉菜樣品繼續(xù)傳輸,被分級傳感單元感應(yīng)并傳至與其相連的單片機(jī)時,單片機(jī)將信號傳至計算機(jī),計算機(jī)軟件根據(jù)之前圖像數(shù)據(jù)分析的結(jié)果等級及單片機(jī)傳至計算機(jī)的信號決定分級單元是否對葉菜樣品剔除分級,若圖像處理等級為正常葉,則在傳輸單元結(jié)束端保留此樣品,分級單元不執(zhí)行剔除動作,若圖像處理為非正常葉菜樣品,計算機(jī)控制分級單元工作,完成對樣品的剔除分級。系統(tǒng)的工作原理如圖1所示。
圖1 葉菜在線檢測與分級系統(tǒng)原理框圖Fig.1 Schematic diagram of online detection and classification system of leaf vegetables
系統(tǒng)的工作過程如圖 2所示,首先打開控制單元總開關(guān),啟動計算機(jī)控制軟件,控制單元啟動用于圖像采集的光源單元,預(yù)熱30 min,然后啟動控制傳輸單元、葉菜分離單元開始運(yùn)轉(zhuǎn)。待光源與葉菜分離單元與傳輸單元穩(wěn)定后,將成片葉菜樣品放入葉菜分離單元中,待葉菜逐個分離后,經(jīng)傳輸單元傳至圖像采集單元。當(dāng)檢測傳感單元檢測到葉菜到達(dá)最佳采集位置時,檢測傳感單元將此信號經(jīng)由單片機(jī)傳輸至計算機(jī)并保存,計算機(jī)內(nèi)軟件控制圖像采集單元自動完成葉菜圖像采集,同時利用顏色空間變換、二值化、形態(tài)學(xué)變換、圖像增強(qiáng)與平滑等圖像處理算法完成對黃化葉、爛葉以及蟲眼葉的圖像算法處理,并將結(jié)果保存至計算機(jī)。隨著傳輸單元繼續(xù)傳輸,到達(dá)分級單元時,分級傳感單元檢測到葉菜樣品,并將感應(yīng)信號傳輸至計算機(jī)。在計算機(jī)內(nèi)部,檢測傳感單元信號a、計算機(jī)對葉菜樣品圖像處理的結(jié)果b、以及分級傳感單元信號c,這3種信號進(jìn)行相與運(yùn)算后若滿足剔除條件,則觸發(fā)分級單元完成所檢測葉菜樣品中黃化葉、腐爛與蟲眼葉的剔除,若不滿足則葉菜為正常葉菜,需保留,不需剔除。
為了得到高質(zhì)量、無失真的葉菜樣品圖像信息,進(jìn)而分析得到客觀準(zhǔn)確的檢測與分級結(jié)果。在硬件設(shè)計過程中需要對設(shè)備的選擇、機(jī)械裝置的設(shè)計以及各個參數(shù)的確定進(jìn)行研究,從而保證整個系統(tǒng)的正常工作。檢測與分級裝置硬件部分主要由葉菜樣品分離單元、驅(qū)動傳輸單元、光源單元、圖像采集單元、傳感單元、分級單元以及計算機(jī)等組成,如圖3所示。
圖3 葉菜在線檢測與分級系統(tǒng)硬件結(jié)構(gòu)示意圖Fig.3 Schematic diagram of hardware structure of online detection and classification system of leaf vegetables
實(shí)際生活中,中式菜肴食用的基本是單個的成片葉菜,在使用本系統(tǒng)檢測之前首先需要將葉菜單個分離,并在線傳輸至圖像檢測單元逐個葉片進(jìn)行檢測,葉菜樣品分離單元結(jié)構(gòu)如圖 4所示,主要由帶吸附孔的負(fù)壓滾筒、步進(jìn)電機(jī)、驅(qū)動器、上料振動器、帶傳輸板的樣品料槽以及負(fù)壓泵等組成。
圖4 葉菜分離單元裝置圖Fig.4 Unit diagram of leaf vegetable separation unit
其工作過程為:成片的葉菜樣品放置于樣品料槽內(nèi),料槽下端布置有與水平面呈一定角度的傳輸板,樣品在上料振動器的作用下,在傳輸板內(nèi)沿拋物線向前上方拋射,在空中進(jìn)行微量跳躍后,向滾筒表面方向移動。經(jīng)過不斷振動,葉菜樣品傳輸至滾筒表面。滾筒內(nèi)部一部分中空,與負(fù)壓泵相連,且表面布有吸附孔;一部分實(shí)心填充,無氣流通過,在負(fù)壓泵的作用下,滾筒內(nèi)中空部分在吸附孔處形成高強(qiáng)度的吸附氣流,保證葉菜貼合在滾筒表面,隨著滾筒旋轉(zhuǎn)至實(shí)心部分,滾筒內(nèi)吸附氣流消失,葉菜在自身重力作用下,脫離滾筒落至傳送帶,完成葉菜的分離。
滾筒內(nèi)部中空部分與實(shí)心部分如圖4b所示,A、B、C、D為滾筒表面吸附孔位置,EOFD為實(shí)心腔部分,EBF為負(fù)壓腔部分,滾筒從負(fù)壓腔部分旋轉(zhuǎn)至實(shí)心腔部分時,氣流消失,葉菜會在EDF弧面落至傳送帶,繼續(xù)傳輸。
在本研究中,成片葉菜分離裝置與后續(xù)的輸送線是2個單獨(dú)的控制系統(tǒng)和速度,也就是說,當(dāng)輸送線高速運(yùn)行時,并不會影響到葉菜分離裝置的速度,葉菜分離裝置分離葉菜的速度由裝置內(nèi)的驅(qū)動電機(jī)速度決定,本文中電機(jī)型號57HBP80AL4 步距角1.8°,轉(zhuǎn)矩2 Nm,電流3 A,轉(zhuǎn)速60 r/min。葉菜分離單元的負(fù)壓滾筒直徑30 cm,橫向?qū)?1 cm,單片葉菜長度10~15 cm(帶梗),寬度5~8 cm,在滾筒表面的負(fù)壓吸附孔以90°間隔均勻分布在滾筒四周,此時2個相鄰負(fù)壓孔之間的弧長公式為
式中N為相鄰2個負(fù)壓吸附孔之間的圓周角度,文中N為90°,R為滾筒半徑,R為14 cm,相鄰吸附孔之間弧長L為21.98 cm,長度大于單片葉菜的長度(10~15 cm)。在葉菜分離裝置開始工作后,滾筒每轉(zhuǎn) 1周,理想狀態(tài)下會分離 4片葉片,由于最后菜葉要經(jīng)過無負(fù)壓的實(shí)心區(qū)域,滾筒每轉(zhuǎn)1周相當(dāng)于分離3片菜葉,在60 r/min的情況下,分離速度F為180片/min,相當(dāng)于3片/s,且由于滾筒上負(fù)壓吸附孔之間距離是一定的,當(dāng)輸送線傳輸速度一定時,葉菜分離裝置分離的葉片在輸送線上的分布間距是固定的,2片葉菜之間在傳輸方向上的最小距離是15 cm,由于葉菜分離速度為3片/s,此時葉菜分離單元的速度相當(dāng)于傳輸速度45 cm/s。若要實(shí)現(xiàn)更加高速的分離,可調(diào)高驅(qū)動速度,或者增加分離滾筒的直徑大小與滾筒表面負(fù)壓吸附孔的個數(shù),保證在 1個圓周上的葉菜樣品多于增加前,則可以增加單位時間內(nèi)的葉菜分離個數(shù),從而保證單位時間內(nèi)到達(dá)輸送線上的葉菜樣品。
驅(qū)動傳輸單元主要實(shí)現(xiàn)檢測過程中樣品的傳輸,保證葉菜樣品從樣品分離單元傳輸至圖像采集單元與分級單元。本系統(tǒng)的驅(qū)動傳輸單元主要包括傳送帶、調(diào)速器、驅(qū)動電機(jī)、鏈條、鏈輪等。傳送帶有效寬度為300 mm,長度為2 000 mm,傳輸帶顏色為亮白色。調(diào)速器可以改變驅(qū)動電機(jī)轉(zhuǎn)速,進(jìn)而改變傳送帶的運(yùn)行速度,其調(diào)速范圍為0~100 cm/s。在葉菜樣品傳輸過程中,從樣品分離單元到圖像采集單元的距離是一定的,若樣品傳輸過快,而計算機(jī)采集速度慢,則采集的圖像會失真與拖影,若樣品傳輸過慢,則會影響檢測速度與效率,因此傳輸速度對系統(tǒng)的檢測分級至關(guān)重要。為確定最佳的樣品傳輸速度,取速度區(qū)間為30~60 cm/s,依次選擇7個不同速度,重復(fù)100個樣品,進(jìn)行速度測試。通過數(shù)據(jù)記錄,整理不同速度條件對單個樣品檢測時間與采集圖像失真數(shù)量的影響,圖5所示。
圖5 不同傳送帶速度對樣品分選的影響Fig.5 Effect of different conveyor belts speed on sample sorting
從圖 5可以看出,隨著速度的提高,單個樣品檢測所用的時間逐漸減少,且速度在30~45 cm/s時,相機(jī)采集的圖像并不發(fā)生失真,但當(dāng)傳輸速度超過45 cm/s時,圖像發(fā)生失真,且隨著速度的提高,失真樣品數(shù)量急速增加。綜合以上分析,選擇驅(qū)動傳輸單元速度為45 cm/s,此速度下,圖像采集單元采集樣品圖像不發(fā)生失真,而且樣品檢測速度快。
光源單元的主要功能是為圖像采集單元提供一個完整的、均勻的、強(qiáng)度足夠大以及范圍足夠廣的照射范圍,保證樣品在檢測區(qū)域無死角、無暗影。本文在線檢測與分級系統(tǒng)的光源單元主要由光照暗箱、LED光源、開關(guān)電源以及光源固定裝置組成。光照暗箱的尺寸為長度540 mm,寬度350 mm以及高度800 mm的黑色暗箱,能夠避免外界光線的影響。本試驗(yàn)針對葉菜外部品質(zhì)中的黃化葉、爛葉以及蟲眼葉的檢測與分級,在可見光范圍內(nèi)就能實(shí)現(xiàn)對這些外部特征的檢測與判斷,因此采用若干白色的、有效波長范圍430~760 nm的貼片LED光源帶,總功率24 W,壽命可達(dá)10×104h以上。為LED光源供電的開關(guān)電源為12 V 5 A。由于傳輸帶的寬度為300 mm,為了保證在足夠大的范圍內(nèi)照射樣品,需要在光照暗箱的側(cè)壁上安裝4條LED光源帶,如圖3所示。
圖像采集單元是葉菜外部品質(zhì)檢測與分級的核心部件,其性能參數(shù)直接影響系統(tǒng)的功能與檢測結(jié)果。本系統(tǒng)的圖像采集單元主要包括CCD相機(jī)(MV-EM200C/M彩色相機(jī),微視圖像,北京)、鏡頭(H0514-MP2,computar,Japan)、光源單元(LED貼片帶)與檢測傳感單元。CCD相機(jī)的分辨率為1 600×1 200像素,像素尺寸4.4×4.4 (μm),幀率20 fps,鏡頭焦距5 mm,最小物距0.1 m,視場角76.7°×65.5°×51.4°(D×H×V),最小物距視場范圍12.9 cm×9.6 cm(H×V))。由于傳輸帶的寬度300 mm,葉菜樣品有可能在傳輸帶的不同位置,為了保證光源照射范圍內(nèi)的樣品都能被采集到,需要根據(jù)光源照射的范圍以及相機(jī)的視場角確定鏡頭到被檢測樣品的距離,同時光源單元的安裝位置要保證在鏡頭下方,避免光源直接入射至鏡頭,本設(shè)備中鏡頭物距180 mm,光源單元距樣品的垂直距離100 mm,此時所能照射的樣品檢測范圍長15 cm,寬30 cm。
為實(shí)現(xiàn)圖像采集單元對樣品的圖像采集與采集后的分級,在檢測位置附近與分級位置附近安裝有傳感單元,實(shí)現(xiàn)樣品位置和信號有無的判斷。其中檢測位置傳感單元安裝固定于CCD相機(jī)前端,分級位置傳感單元安裝在分級單元內(nèi),所用的傳感單元為E18-F10NK型紅光色標(biāo)傳感器,在樣品顏色與背景顏色有著細(xì)微的差別的情況下也可以檢測到,且設(shè)備中樣品顏色為綠色或黃色,背景顏色為白色。該型號傳感器的發(fā)射端與接收端在同一側(cè),在檢測位置附近,當(dāng)無樣品經(jīng)過時,傳感器輸出到計算機(jī)信號為0,接收端信號發(fā)藍(lán)光,當(dāng)有樣品經(jīng)過時,傳感器輸出到計算機(jī)信號為1,接收端發(fā)紅光,此時計算機(jī)軟件開始采集樣品圖像信息,在分級位置附近,傳感單元的輸出與檢測位置一致,且當(dāng)下 1個樣品通過時,重復(fù)以上過程。
分選單元是整個葉菜外部品質(zhì)在線檢測與分選裝置的重要組成部分,在圖像采集單元采集完葉菜樣品后,根據(jù)圖像處理結(jié)果,若為正常葉菜則計算機(jī)的判別信號為0,若為黃化葉、爛葉或蟲眼葉中的一種則計算機(jī)的判別信號為1,同時與檢測傳感單元信號與分級傳感單元信號相與計算,計算機(jī)向分級單元發(fā)送分級命令,考慮到葉菜易損傷,采用氣吹方式將黃化葉、爛葉以及蟲眼葉吹至剔除箱內(nèi)。分選單元主要由氣源、氣管、繼電器、分級罩體、吹氣嘴、電磁閥、分級傳感單元、開關(guān)電源與控制電路等組成,氣源由空氣壓縮機(jī)提供,分級罩體為矩形,在驅(qū)動傳輸方向下端開有進(jìn)出樣品孔,在垂直傳輸方向一端封閉一端敞開,封閉一端連接氣管,要剔除的樣品通過敞開的一端被吹氣嘴吹至剔除箱內(nèi)。圖 6a為分選單元實(shí)物圖。當(dāng)樣品到達(dá)罩體內(nèi)時,分級傳感單元能夠感受到樣品信號,并且將信號發(fā)送給計算機(jī),計算機(jī)向控制電路發(fā)送信號,通過繼電器與電磁閥操縱氣源的開啟與關(guān)閉,控制噴氣嘴完成對葉菜樣品的分選,吹氣嘴設(shè)計成扁平狀,吹出的空氣呈散狀分布,能夠均勻地覆蓋整個葉菜表面。吹氣嘴太大易使相鄰合格葉菜也被剔除,反之,氣嘴太小則又很難將葉菜吹離傳送帶。結(jié)合葉菜面積,經(jīng)大量氣吹試驗(yàn),吹氣嘴尺寸長度 l2=30 mm、寬度l3=1 mm的矩形吹氣嘴分選效果最好。
對缺陷葉菜的分選由控制電路驅(qū)動分級單元來完成??刂齐娐酚蓡纹瑱C(jī)輸入信號、555定時器、VQ21A1-5GZ-C8型電磁閥、D0061A型固態(tài)繼電器與E18-F10NK型紅光色標(biāo)傳感器等組成。電路原理如圖 6c所示。U1為定時器(NE555,ST意法半導(dǎo)體,Swiss),P1為繼電器(DO061B,Crydom,F(xiàn)rance)連接端口,P2為電磁閥(VQ21A1-5G-C8,SMC,Japan)控制端連接端口。當(dāng)計算機(jī)通過單片機(jī)向分級控制電路發(fā)送信號時,傳輸至555定時器的TRIG端口,經(jīng)過內(nèi)部定時器振蕩電路的脈沖細(xì)分在輸入端OUT輸出頻率一定的脈沖信號,脈沖信號最高振幅4 V,最低0 V,繼電器的開啟電壓3.2 V,在脈沖信號的作用下繼電器開啟,進(jìn)而控制電磁閥開啟氣源吹氣,完成樣品的分級。
圖6 分選單元結(jié)構(gòu)和控制電路Fig.6 Sorting unit structure and control circuit
葉菜外部品質(zhì)在線檢測與分級裝置的硬件離不開軟件的支持,軟件應(yīng)該滿足功能完整、美觀以及操作簡單等要求,本文開發(fā)的軟件以PC為硬件平臺,開發(fā)環(huán)境為Windows 7系統(tǒng)。軟件程序利用OpenCv和Visual C++作為開發(fā)平臺。軟件結(jié)構(gòu)設(shè)計如圖7a所示。裝置參數(shù)設(shè)置模塊用于對檢測系統(tǒng)中圖像采集單元的CCD相機(jī)的初始化參數(shù)進(jìn)行設(shè)置,包括串口號的選擇、相機(jī)的曝光時間、光源單元的開啟與葉菜分離機(jī)構(gòu)中負(fù)壓滾筒的速度設(shè)置;驅(qū)動傳輸模塊用于對在線檢測傳輸速度的設(shè)置、選擇與調(diào)節(jié);傳感信號傳輸模塊主要用于將檢測位置的傳感單元信號與分級位置處的傳感單元信號傳至計算機(jī),進(jìn)而控制圖像采集模塊與分級模塊的工作;樣品圖像采集模塊用于對在檢測區(qū)域內(nèi)的葉菜樣品進(jìn)行圖像采集,與采集的樣品圖像的實(shí)時界面顯示;圖像數(shù)據(jù)處理模塊用于對采集的圖像進(jìn)行顏色空間變換、灰度化、二值化及形態(tài)學(xué)消噪等處理;結(jié)果實(shí)時顯示模塊包括圖像處理結(jié)果與分級結(jié)果的顯示;檢測結(jié)果保存模塊用于保存原始樣品圖像、處理結(jié)果與分級結(jié)果的保存;傳感信號匹配模塊用于將檢測位置傳感信號、圖像采集結(jié)果與分級位置傳感信號三者進(jìn)行匹配、計算與傳輸;分級模塊用于根據(jù)傳感信號匹配模塊的計算結(jié)果,計算機(jī)發(fā)出分級信號,驅(qū)動分級單元完成對黃化葉、爛葉與蟲眼葉的剔除。軟件的操作界面如圖7b所示,軟件操作界面主要分為4個區(qū),分別為設(shè)備初始化設(shè)置區(qū)、圖像實(shí)時顯示區(qū)、缺陷特征區(qū)和檢測結(jié)果顯示區(qū)。能夠?qū)崿F(xiàn):1)參數(shù)設(shè)置、圖像信息采集以及圖像實(shí)時顯示;2)自動處理采集的圖像信息;3)實(shí)時計算各缺陷參數(shù)值,并將分選結(jié)果實(shí)時顯示;4)結(jié)果保存。
圖7 在線檢測與分級裝置軟件模塊和操作界面Fig.7 Online detection and sorting software module operation interface
為了驗(yàn)證在線檢測與分級裝置的性能,選用中式菜肴常用的圓葉菠菜進(jìn)行試驗(yàn)。試驗(yàn)地點(diǎn)在北京朝陽區(qū)御香苑餐廳,試驗(yàn)時間為2017年10月15日、16日,試驗(yàn)所用系統(tǒng)實(shí)物圖如圖8所示。
圖8 葉菜外部品質(zhì)在線檢測與分級系統(tǒng)實(shí)物圖Fig.8 Prototype diagram of online detection and classification system of leaf vegetables
試驗(yàn)樣品為從北京市美廉美超市購買的山東壽光圓葉菠菜。菠菜株高30~40 cm、單葉面積30~50 cm2,每株菠菜上葉菜3~5片,共70株。為了與實(shí)際中式菜肴食用葉菜時需要將葉菜一片片分離的情況一致,首先將每株菠菜上菜葉一片片分離,并將每個葉面上的塵土清潔后放置于密封袋內(nèi),并儲存于 6 ℃的冰箱內(nèi)。試驗(yàn)之前從密封袋內(nèi)選出 320片菠菜葉片,并按照黃化葉、腐爛葉、蟲眼葉以及正常葉分為4組,各數(shù)分別為91、75、90和63片,以供在線檢測與分級用。
試驗(yàn)樣機(jī)尺寸為180×35×90(長×寬×高,cm)。試驗(yàn)之前設(shè)定輸送線傳輸速度為45 cm/s,視覺系統(tǒng)采集速率為20幀/s。
基于自主研發(fā)的在線檢測系統(tǒng)采集的菠菜樣品圖像如圖9a所示。系統(tǒng)獲取的圖像是RGB格式,因RGB各分量相關(guān)性高,圖像經(jīng)灰度化處理(圖 9b)后,其灰度值(圖 9c)分散,很難確定識別目標(biāo)的閾值范圍[15]。本研究首先將系統(tǒng)獲取的RGB格式圖像進(jìn)行空間轉(zhuǎn)換,使其轉(zhuǎn)變成HSV(H色調(diào),S飽和度,V亮度)格式圖像,轉(zhuǎn)換關(guān)系如式(2)~(4)所示[13-14]。
圖9 菠菜黃化葉識別結(jié)果Fig.9 Feature extraction results of yellow spinach leaves
設(shè)置H、S分量閾值來提取圖像中的黃色信息。通過50個黃葉樣品特征信息提取試驗(yàn),確定了判別黃葉的H值與S值的取值范圍分別H∈(60°, 130°), S∈(0, 0.17)。實(shí)際黃葉識別結(jié)果如圖10所示。
圖10 菠菜爛葉特征提取結(jié)果Fig.10 Feature extraction of spinach rotten leaves
由于葉菜腐爛時腐爛區(qū)域會產(chǎn)生黑色斑點(diǎn),可以將識別葉菜中的黑色區(qū)域作為識別爛葉的條件,設(shè)定判別爛葉的V值取值范圍為V∈(0, 0.23),實(shí)際爛葉識別結(jié)果如圖10所示。
對蟲眼葉菜原始圖像(圖11a)經(jīng)過全局二值化(圖11b),設(shè)定一個全局的閾值T,將大于T的像素群的像素值設(shè)定為白色,小于T像素群的像素值設(shè)定為黑色。通過形態(tài)學(xué)濾波的開運(yùn)算,消除圖像上的噪點(diǎn),并利用形態(tài)學(xué)濾波的閉運(yùn)算,先膨脹圖像(圖 11c),然后經(jīng)腐蝕處理,去除葉柄,保證葉菜與背景完全分離,輪廓界限明確。圖 11d為形態(tài)學(xué)濾波之后得到的去柄圖像,然后將此圖像逆向二值化有利于進(jìn)一步提取蟲眼葉的特征信息(圖11e)。
圖11 蟲眼葉菠菜圖像預(yù)處理Fig.11 Image preprocessing of spinach bug leafs
在實(shí)際條件下,蟲眼的面積與個數(shù)直接決定了消費(fèi)者的食欲,參考國家標(biāo)準(zhǔn)[26]查詢菠菜等級、蔬菜質(zhì)量驗(yàn)收標(biāo)準(zhǔn)以及超市挑選蟲眼的標(biāo)準(zhǔn)。對于蟲眼輪廓個數(shù)≥3的葉菜直接剔除,而蟲眼輪廓個數(shù)<3則需根據(jù)最大蟲眼輪廓面積進(jìn)行判斷。圖像處理無法利用實(shí)際蟲眼面積來直接衡量,但可以將蟲眼面積轉(zhuǎn)換為像素數(shù)大小來確定蟲眼的大小。本研究取蟲眼輪廓最大長度0.2cm(其輪廓大小接近普通綠豆粒大?。┳鳛橄x眼衡量標(biāo)準(zhǔn)。實(shí)際蟲眼面積轉(zhuǎn)換為蟲眼像素數(shù)的公式如下:
式中B為每個蟲眼所占像素數(shù);b為實(shí)際蟲眼面積,cm2;q為相機(jī)分辨率;k為相機(jī)拍攝區(qū)域面積,cm2
據(jù)公式(5)確定的每個蟲眼所占像素數(shù)B=348。若提取的葉菜最大蟲眼輪廓像素數(shù)>348,則認(rèn)為蟲眼面積大,需要剔除。反之,則認(rèn)為蟲眼面積小,保留,可供食用。
利用在線檢測與分級系統(tǒng)完成 320個樣品圖像采集與分級,記錄下結(jié)果,然后對樣品進(jìn)行人工分選。為避免人工分選的偶然性,挑選 5名對葉菜分選嫻熟的工人依次對樣品進(jìn)行分選。5名工人對每片葉菜的平均分選時間1.43 s。對比在線檢測與分級系統(tǒng)的結(jié)果與人工分選結(jié)果,如表1所示。
分選對比試驗(yàn)結(jié)果表明:使用葉菜外部品質(zhì)在線檢測與分級系統(tǒng)對菠菜品質(zhì)分選黃化葉與人工分選黃化葉的吻合度(即在線檢測與分級系統(tǒng)分選的特征個數(shù)與人工分選的特征一致的個數(shù)的比值)達(dá)96.70%。對腐爛葉菜的吻合度達(dá)93.75%,對蟲眼葉菜分選吻合度達(dá)85.56%,在對 320個樣本分選中,系統(tǒng)分選與人工分選整體吻合度達(dá)到94.69%,上述結(jié)果表明該系統(tǒng)可用于黃化葉、腐爛葉以及蟲眼葉菜的分選。從結(jié)果可以看出,系統(tǒng)對蟲眼葉菠菜的分選低于黃化葉與腐爛葉,在以后的研究中,可在蟲眼葉的算法處理上繼續(xù)研究,例如可用分水嶺算法對圖像繼續(xù)進(jìn)一步處理,同時在葉菜分離過程中,精確調(diào)節(jié)負(fù)壓滾筒的氣壓,可以保證葉菜在檢測區(qū)域完全展開,避免有相互遮擋現(xiàn)象,以保證檢測結(jié)果更加的準(zhǔn)確。
表1 在線檢測與分級結(jié)果與人工分選結(jié)果對比Table 1 Comparison between results of on-line detection and classification system and artificial separation
本研究中的檢測速度主要由以下幾個因素來決定,葉菜分離單元的分離速度F、輸送線傳輸速度C、檢測位置傳感單元信號傳輸時間J,視覺系統(tǒng)采集速度S,圖像數(shù)據(jù)處理平均時間T,分級位置傳感單元信號傳輸時間Q,分級機(jī)構(gòu)執(zhí)行時間Z。當(dāng)輸送線傳輸速度達(dá)到最高45 cm/s時,對于葉菜分離裝置,要保證最大效率的分離葉菜,葉菜樣品分離速度F應(yīng)為3片/s,傳輸線上相鄰2個葉菜之間的距離為15 cm,滿足葉菜的尺寸范圍(長15 cm,寬10 cm)。同時在保證樣品采集圖像不失真的條件下,視覺采集系統(tǒng)采集速度越快,則輸送線的速度可以越高,在本研究中的視覺系統(tǒng)采集速率為20 幀/s,檢測位置傳感單元信號傳輸時間J為50 ms,圖像數(shù)據(jù)處理平均時間T為180 ms,分級位置傳感單元信號傳輸時間Q為50 ms,分級機(jī)構(gòu)執(zhí)行平均時間Z為207 ms。因此當(dāng)視覺系統(tǒng)采集1副圖像用時50 ms時,從葉菜樣品到達(dá)視覺系統(tǒng)再到分級完成,所需要的時間范圍為330(分級機(jī)構(gòu)不執(zhí)行工作時)~507 ms(分級機(jī)構(gòu)需要工作時),在45 cm傳輸線速度的情況下,葉菜在檢測時間內(nèi)所運(yùn)行的距離約為13.5~23 cm。由于視覺系統(tǒng)的鏡頭物距180 mm,光源單元距樣品的垂直距離100 mm,此條件下的視場角范圍約為長度15 cm,寬度30 cm,在此采集速度下,由于葉菜之間的最小間隔為15 cm,葉菜在此檢測時間內(nèi)完全可以實(shí)現(xiàn)完成圖像采集與后期的分級,不會發(fā)生葉菜在同 1副圖像重疊現(xiàn)象,1個樣品的分選時間為0.84 s。具體黃化葉、腐爛葉與蟲眼葉的檢測時間與速度如表 2所示。從表 2可以看出缺陷葉菜在檢測單元與分級單元所需的處理時間更長,這是因?yàn)槿毕萑~菜需要算法處理的時間更長,且在分級單元還要完成葉菜剔除的動作。由于本文重點(diǎn)研究的是利用葉菜在線檢測系統(tǒng)對中式菜肴的外部品質(zhì)的檢測與分級的可行性,因此在后期若要實(shí)現(xiàn)更加高速的采集,需要提高視覺系統(tǒng)的采集速率S和圖像數(shù)據(jù)處理速度T,可以考慮更換采集速率更快,圖像處理速度更快的相機(jī)系統(tǒng)。
表2 不同品質(zhì)葉菜樣品在線檢測速度分析Table 2 Online detection speed analysis of different quality leaf vegetables samples
1)針對中式菜肴中檢測黃化葉、爛葉與蟲眼葉的問題,本研究基于機(jī)器視覺方法,自主研發(fā)了葉菜外部品質(zhì)在線檢測與分級裝置,包括葉菜分離單元、驅(qū)動傳輸單元、圖像采集單元、傳感單元與分級單元。保證葉菜逐個到達(dá)圖像采集單元進(jìn)行檢測,且不重疊。并提出了利用RGB到HSV的顏色空間變換并分別設(shè)定H、S、V的各分量值來實(shí)現(xiàn)了菠菜爛葉、黃葉的檢測分選菠菜外部品質(zhì)(爛葉、黃化葉、蟲眼葉)特征信息提取及檢測的方法。
2)編寫了葉菜外部品質(zhì)無損快速檢測系統(tǒng)軟件,實(shí)現(xiàn)了葉菜外部品質(zhì)無損在線檢測分選,分選裝置充分考慮到葉菜質(zhì)地脆嫩、易損傷的特點(diǎn)設(shè)計扁平狀的吹氣嘴使吹出的氣體呈散狀分布,能夠覆蓋整個葉菜表面,將缺陷葉菜吹出的同時,又不損傷葉菜。
3)本文所設(shè)計的外部品質(zhì)在線檢測與分級裝置主要針對中小型餐廳、家庭場合使用,成本低,體積小,已經(jīng)進(jìn)行了推廣與試用。通過 320個葉菜樣品進(jìn)行裝置性能驗(yàn)證,黃化葉與人工分選黃化葉的吻合度達(dá)96.70%。對腐爛葉菜的吻合度達(dá)93.75%,對蟲眼葉菜分選吻合度達(dá)85.56%。系統(tǒng)分選與人工分選整體吻合度達(dá)到94.69%,與人工分選相比,系統(tǒng)的檢測速度達(dá) 1個樣品分選時間為0.84s。表明該系統(tǒng)可用于黃化葉、腐爛葉以及蟲眼葉菜的在線檢測與分選。
[1] 林旭東,凌建剛,康孟利,等. 鮮切葉菜貯藏保鮮技術(shù)研究進(jìn)展[J]. 農(nóng)產(chǎn)品加工·學(xué)刊,2014,14(7):68-70.Lin Xuding, Ling Jiangang, Kang Mengli, et al. Research progress on the preservation of fresh-cut leafy vegetables[J].Academic periodical of farm products processing, 2014,14(7): 68-70. (in Chinese with English abstract)
[2] 趙靜,王娜,馮敘橋,等. 蔬菜中硝酸鹽和亞硝酸鹽檢測方法的研究進(jìn)展[J]. 食品科學(xué),2014,35(8):42-49.Zhao Jing, Wang Na, Feng Xuqiao, et al. Advances in detection methods for nitrate and nitrite in vegetables [J]. Food Science,2014, 35(8): 42-49. (in Chinese with English abstract)
[3] 王靜,孫寶國. 中國主要傳統(tǒng)食品和菜肴的工業(yè)化生產(chǎn)及其關(guān)鍵科學(xué)問題[J]. 中國食品學(xué)報,2011,11(9):1-7.Wang Jing, Sun Baoguo.Industrialization of Chinese traditional food and dishes and the scientific problems [J]. Journal of Chinese Institute of Food Science and Technology, 2011,11(9): 1-7. (in Chinese with English abstract)
[4] 趙娜,趙平,高軼軍. 機(jī)器視覺技術(shù)在我國現(xiàn)代農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J]. 天津農(nóng)學(xué)院學(xué)報,2015,22(2):55-58.Zhao Na, Zhao Ping, Gao Yijun. Study on application of machine vision technology to modern agricultural in China[J]. Journal of TianJin Agricultural University, 2015, 22(2):55-58. (in Chinese with English abstract)
[5] 馮斌,汪懋華. 基于顏色分形的水果計算機(jī)視覺分級技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報,2002,18(2):141-144.Feng Bin, Wang Maohua. Computer vision classification of fruit based on fractal color[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2002, 18(2): 141-144. (in Chinese with English abstract)
[6] 應(yīng)義斌,饒秀勤,趙勻,等. 機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動識別中的應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報,2000,16(3):4-8.Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Application of machine vision technique to automatic quality identification of agricultural products [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(3): 4-8. (in Chinese with English abstract)
[7] 成芳,應(yīng)義斌. 機(jī)器視覺技術(shù)在農(nóng)作物種子質(zhì)量檢驗(yàn)中的應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報,2001,17(6):175-179.Cheng Fang, Ying Yibin.Application of machine vision to quality evaluation of agricultural seed resources[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2001, 17(6): 175-179. (in Chinese with English abstract)
[8] Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision [J]. Computers and Electronics in Agriculture, 2016, 127(C): 395-405.
[9] Ayoub J, Malekabadi M, Khojastehpour B, et al.Development of a machine vision system for determination of mechanical properties of onions[J]. Computers and Electronics in Agriculture, 2017, 141: 131-139.
[10] Elena G, Vincent B, Juan A, et al. Infrared machine vision system for the automatic detection of olive fruit quality [J].Talanta, 2013, 116(22): 894-898.
[11] Vithu P, Moses J. Machine vision system for food grain quality evaluation: A review [J]. Trends in Food Science &Technology, 2016, 56: 13-20.
[12] Zhang Baohua, Huang Wenqian, Li Jiangbo, et al. Principles,developments and applications of computer vision for external quality inspection of fruits and vegetables: A review[J]. Food Research International, 2014, 62(62): 326-343.
[13] 陳兵旗,孫明. 實(shí)用數(shù)字圖像處理與分析[M]. 北京:中國農(nóng)業(yè)大學(xué)出版社,清華大學(xué)出版社,2007.
[14] 何東健,楊青. 實(shí)用圖像處理技術(shù)[M]. 西安:陜西科技出版社,1998:54-56.
[15] 毛星云,冷雪飛,王碧輝,等. OpenCv3編程入門[M]. 北京:電子工業(yè)出版社,2015.
[16] 田芳,彭彥昆,魏文松,等. 基于機(jī)器視覺的馬鈴薯黑心病檢測機(jī)構(gòu)設(shè)計與試驗(yàn)[J], 農(nóng)業(yè)工程學(xué)報,2017,33(5):287-294.Tian Fang, Peng Yankun, Wei Wensong, et al. Design and experiment of detection mechanism for potato blackheart based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,33(5): 287-294. (in Chinese with English abstract)
[17] 趙娟,彭彥昆,Sagar Dhakal,等. 基于機(jī)器視覺的蘋果外觀缺陷在線檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2013,44(增刊 1):260-263.Zhao Juan, Peng Yankun, Sagar Dhakal, et al. On-line detection of apple surface defect based on image processing method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(Supp1): 260-263. (in Chinese with English abstract)
[18] 杜宏偉,鄧立苗,熊凱,等. 基于計算機(jī)視覺的胡蘿卜外觀品質(zhì)分級系統(tǒng)與裝備[J]. 農(nóng)機(jī)化研究,2015,37(1):196-200.Du Hongwei, Dong Limiao, Xiong Kai, et al. Quality grading systerm and equipment of carrot based on computer vision [J].Journal of Agricultural Mechnization Research. 2015, 37(1):196-200. (in Chinese with English abstract)
[19] 何東健,楊青,薛少平,等. 果實(shí)表面顏色計算機(jī)視覺分級技術(shù)研究[J]. 農(nóng)業(yè)工程學(xué)報,1998, 14(3): 202-205.He Dongjian, Yang Qing, Xue Shaoping, et al. Computer vision for color sorting of fresh fruits[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 1998, 14(3): 202-205. (in Chinese with English abstract)
[20] 孔彥龍,高曉陽,李紅玲,等. 基于機(jī)器視覺的馬鈴薯質(zhì)量和形狀分選方法[J]. 農(nóng)業(yè)工程學(xué)報,2012,28(17):143-148.Kong Yanlong, Gao Xiaoyang, Li Hongling, et al. Potato grading method of mass and shapes based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(17): 143-148. (in Chinese with English abstract)
[21] 李 明,房俊龍,喬翊博,等. 基于機(jī)器視覺黃瓜果實(shí)自動分級方法[J]. 農(nóng)機(jī)化研究,2016,38(11):229-233.Li Ming, Fang Junlong, Qiao Yubo, et al. Automatic grading method of cucumber fruits based on machine vision[J].Journal of Agricultural Mechnization Research. 2016, 38(11):229-233. (in Chinese with English abstract)
[22] 黃星奕,姜 爽,陳全勝,等. 基于機(jī)器視覺技術(shù)的畸形秀珍菇識別[J]. 農(nóng)業(yè)工程學(xué)報,2010,26(10):350-354.Huang Xingyi, Jiang Shuang, Chen Quansheng, et al.Identification of defect pleurotus Geesteranus based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 350-354. (in Chinese with English abstract)
[23] Megha P A, Lakshmana. Computer vision based fruit grading system for quality evaluation of tomato in agriculture industry[C]. 7th International Conference on Communication,Computing and Virtualization 2016: Procedia Computer Science,2016, 79: 426-433.
[24] Payman M, Alireza S, Hossein P. Computer vision-based apple grading for golden delicious apples based on surface features[J]. Information Processing In Agricultural, 2017, 4(1): 33-40.
[25] Hosein N A, Mahmoud O, Saeid S M, et al. Design,development and evaluation of an online grading system for peeled pistachios equipped with machine vision technology and support vector machine [J]. Information Processing in Agriculture, 2017, 4(4): 333-341.
[26] Mehrdad B, Ahmad B, Saeed M, et al. Machine vision system for grading of dried figs [J]. Computers and Electronics in Agriculture, 2015, 119(C): 158-165.
[27] 徐海霞. 基于機(jī)器視覺和電子鼻技術(shù)的菠菜新鮮度無損檢測研究[D]. 鎮(zhèn)江:江蘇大學(xué),2016.Liu Haixia. Study on Nondestructive Detection of Freshness of Post-harvest Spinach Based on Machine Vision and Electronic Nose[D]. Zhenjiang: Jiangsu University, 2016. (in Chinese with English abstract)
[28] NY/T 1985-2001《中華人民共和國農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)-菠菜等級規(guī)格》[S]. 2001.