李　明，房俊龍，喬翊博，劉　超，張伶鳦，趙朝陽，欒吉玲

(東北農(nóng)業(yè)大學(xué) 電氣與信息學(xué)院，哈爾濱　150030)

?

基于機器視覺黃瓜果實自動分級方法

李明，房俊龍，喬翊博，劉超，張伶鳦，趙朝陽，欒吉玲

(東北農(nóng)業(yè)大學(xué) 電氣與信息學(xué)院，哈爾濱150030)

摘要：為實現(xiàn)黃瓜果實快速準確分級，以攝像頭為視頻采集模塊、DSP核心處理器為主控制模塊、機械手為執(zhí)行模塊，并借助質(zhì)量控制、電機傳送等輔助單元，構(gòu)建了自動化分級平臺。參照國家標準NY/T1587-2008，利用圖像處理方法對黃瓜果實圖像的瓜長、把長、橫徑差、弓形高度進行了提取和計算。選取長春密刺、龍雜黃七號、露秋一號3個品種240根黃瓜果實作為試驗樣本，抽取每個品種的20個樣本作為圖像提取數(shù)據(jù)分析，其余60個樣本作為自動分級平臺測試。測試結(jié)果顯示：該平臺的平均分級精度為96.7%，每分鐘約檢測35根果實，相較人工分級具有快速、無損、準確、客觀的特點，為機器視覺技術(shù)應(yīng)用于橢長形果實自動化分級提供了重要依據(jù)。

關(guān)鍵詞：機器視覺；圖像處理；黃瓜；果實；分級；機械手

0引言

黃瓜是廣大消費者所喜愛的蔬菜之一，尤其在炎炎夏日，超市黃瓜的日銷量巨大，然而黃瓜的分級主要依靠人工方式，勞動強度大、效率低。因此，黃瓜果實的自動化分級平臺的研究對提高黃瓜產(chǎn)銷的經(jīng)濟效益具有重大意義。

國外自20世紀70年代末開始利用機器視覺對果蔬等農(nóng)產(chǎn)品質(zhì)量檢測和分類，但分類精度與速度低，涉及的果實品種較少[1-3]；80年代起，隨著科學(xué)技術(shù)的不斷進步和生產(chǎn)需求的提高，智能無損檢測分級技術(shù)的研發(fā)得到廣大農(nóng)業(yè)科研專家的重視[4]。Rigney制作黃瓜分選線，黃瓜依據(jù)形狀與大小被分成3類、5個等級，然而當時硬件性能低，導(dǎo)致分選準確率很低，達到62%[5]。20世紀90年代，荷蘭農(nóng)業(yè)環(huán)境工程研究所研制出一種多功能黃瓜收獲機器人，能夠檢測作業(yè)區(qū)域的黃瓜，還可以進行果實成熟度評估，并實現(xiàn)定位。采用機器視覺技術(shù)為平臺的果蔬分級裝置在歐美國家得到日益廣泛的應(yīng)用。

我國在機器視覺與自動化結(jié)合進行農(nóng)產(chǎn)品分級方面起步較晚，從20世紀90年代中后期開始，廣大專家學(xué)者逐漸重視自動化分級技術(shù)的研究[6-9]，但分級的對象主要集中在外觀呈現(xiàn)球形的果蔬上，對黃瓜、胡蘿卜、香蕉等外觀特異的非球形果蔬研究較少。為此，本文以黃瓜果實為研究對象，將機器視覺技術(shù)與自動化硬件控制相結(jié)合，構(gòu)建影響黃瓜分級的外觀特征參數(shù)模型，搭建黃瓜果實自動化在線分級平臺。

1材料與方法

1.1　試驗材料

試驗樣本培育在東北農(nóng)業(yè)大學(xué)農(nóng)學(xué)院試驗田內(nèi)，根據(jù)《新鮮水果和蔬菜的取樣方法》(GB/T8855-2008)號標準對黃瓜進行取樣[10-11]。依照標準，取樣量為3kg，在盛果期果實達到商品采摘標準時，選擇植株第6~17節(jié)位的果實進行采摘，每個品種形狀各異的黃瓜果實分別采集80根作為試驗樣本。

1.2　試驗裝置

黃瓜果實分級平臺模型由14個主要部件組成，各部件協(xié)調(diào)工作，其中攝像頭、核心處理器、機械手是平臺的核心，如圖1所示。

1.攝像頭　2.核心處理器　3.機械手　4.單相傳送帶　5.步進電機

1)攝像頭：選用德國Vision Components公司生產(chǎn)的VC4012 nano & VC4012 nano/C智能工業(yè)數(shù)字攝像機作為分級平臺視頻采集設(shè)備。該攝像機體積小、抗震動、抗沖擊能力強，工作頻率為400MHz，運算速度可達3 200MIPS，分辨率為2 592×1 944，幀率為11.6fps。試驗平臺選擇該款攝像頭保證了分級平臺的擴展性開放前景，在完成黃瓜果實分級目標的基礎(chǔ)上能夠進一步研發(fā)各類多元化農(nóng)產(chǎn)品的分級。

2)核心處理器：核心處理器選用專門用于視頻應(yīng)用開發(fā)的EL_DM6437開發(fā)板，具有高性能、低成本的優(yōu)點，能夠?qū)崿F(xiàn)視頻應(yīng)用程序脫機運行。

3)機械手：采用搖臂式自動取料機械手，其運動由X、Y兩個相互垂直方向的直線運動與一個擺動運動組合而成，具有靈活度高、體積小的特點。

1.3　試驗總體思路

黃瓜果實分級平臺由進料單元、視頻分析單元及機械分級單元3個主要部分組成。實現(xiàn)分級的總體路線如圖2所示。

圖2　分級總體路線

1)進料單元：黃瓜果實需人工成批放入料斗，通過料斗震動，由料斗下口漏出單根果實到電子秤上。如果電子稱稱量的果實質(zhì)量超過規(guī)定范圍，說明該果實不符合分級要求或者有多根果實同時漏下，由電機控制雙向傳送帶逆向傳到回收箱中；質(zhì)量滿足的果實由雙向傳送帶正向傳到單相傳送帶上，此時是單根黃瓜果實。

2)視頻分析單元：傳送帶由同步電機控制，速度約為40cm/s。攝像頭每秒鐘拍攝50幀圖像，視頻采集過程在暗箱中完成，從而保證圖像序列在相同照度光線下獲得。核心處理器對采集的視頻信息進行分解，以單幀圖像為基礎(chǔ)，采用幀差分法結(jié)合邊緣像素存在法判斷當前幀圖像是否為完整果實圖像；采用圖像預(yù)處理、特征提取算法對完整果實圖像進行處理，得出分級參數(shù)和位置參數(shù)(包括果實等級、果實中心橫徑坐標位置)，把結(jié)果參數(shù)傳到機械手控制模塊。由于機械手完成1次動作需約2s，遠低于核心處理器分析單幀圖像的速度，核心處理器針對2s內(nèi)拍攝的視頻圖像序列隨機抽取10幀，進行圖像處理得出分級參數(shù)，并判斷10幀的分級結(jié)論是否匹配，如出現(xiàn)差異，返回上一層重新判斷是否為完整果實圖像。

3)機械分級單元：機械手控制模塊發(fā)出指令控制機械手臂動作，根據(jù)位置參數(shù)機械手自身旋轉(zhuǎn)到果實中心位置進行抓取，根據(jù)分級參數(shù)機械手臂左右移動到不同分級箱內(nèi)。

2圖像處理提取特征

2.1　運動目標檢測

通常運動目標檢測有光流法、幀差法及背景減除法，本文采用鄰域幀差法[11-13]進行果實目標檢測。該算法原理簡單，計算量小。其原理為：當監(jiān)控場景中出現(xiàn)異常物體運動時，幀與幀之間會出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對值，判斷它是否大于閾值來分析視頻或圖像序列的運動特性，確定圖像序列中有無物體運動。圖像序列逐幀的差分，相當于對圖像序列進行了時域下的高通濾波。公式為

(1)

(2)

其中，IDL是相鄰幀差圖；IL(x,y,i)與IL(x,y,i-1)分別是第i幀和第i-1幀的亮度分量；i表示幀數(shù)(i=1,…,N)；N為序列總幀數(shù)；T為閾值。

幀差法可以檢測出黃瓜果實部分進入攝像區(qū)域，但并不能判斷區(qū)域內(nèi)果實的完整性。因此，在幀差法的基礎(chǔ)上，需對當前幀圖像四周邊界5個像素寬度進行顏色判斷，如果為背景色則證明果實已經(jīng)完整進入拍攝區(qū)域，否則當前幀圖像不可用。

2.2　圖像預(yù)處理

高效準確的圖像處理過程能夠保證硬件部分的分級精度和時效性，本文經(jīng)過對多種圖像預(yù)處理算法進行比較分析，選擇耗時最短、效果最佳的一組處理方案。

試驗中采集到的黃瓜果實樣本形狀各異，本文選擇龍雜黃七號代表性的圖像進行分析[14-15]。

1)攝像頭獲取的單幀彩色數(shù)字圖像，采用RGB圖像灰度化以減小像素運算量，黃瓜果實灰度圖像如圖3所示；

2)高斯濾波算法去除干擾噪聲像素；

3)Sobel邊緣檢測算法提取果實的邊緣像素，邊緣提取圖像如圖4所示；

4)分水嶺分割算法分離目標與背景區(qū)域；

5)區(qū)域標記算法標識目標區(qū)域。

圖3　黃瓜果實灰度圖

圖4　邊緣提取圖像

2.3　特征提取

為計算圖像像素與實際標尺之間的關(guān)系，本文采用參照物標定法，將5cm×5cm固定尺寸的硬紙板置于分級平臺攝像頭下方傳送帶上，獲取圖像后經(jīng)過背景分割算法，提取參照物區(qū)域像素值，進而計算出像素與厘米之間的轉(zhuǎn)換關(guān)系。為檢測特征提取算法精度，通過人工測量獲取黃瓜果實的實際尺寸作為誤差分析的基礎(chǔ)。

本文參照中華人民共和國農(nóng)業(yè)行業(yè)標準NY/T 1587-2008[16]，影響黃瓜果實等級的因素包括3個主要指標[17-18]：弓形高度R、瓜身橫徑差、把長比。

2.3.1把長比

把長比定義為瓜把長占瓜總長的比例A，則

(3)

其中，H為瓜長(瓜蒂至瓜頂?shù)拈L度)；h為瓜把長(將瓜沿中線縱向切開，種子腔底部至瓜把頂端的距離)。

本文在傳統(tǒng)的骨架提取算法基礎(chǔ)上，加入了毛刺骨架剔除計算，從而將像素聯(lián)通較短的區(qū)域去除掉，獲取到最長骨架像素值，提取瓜長數(shù)據(jù)，如表1所示。

通過Moravec角點檢測法與瓜橫徑畸變處搜尋計算結(jié)合提取瓜把長，進而計算出把長占瓜長的比例。Moravec角點檢測法思想是在圖像中設(shè)計一個局部檢測窗口，當該窗口沿各個方向作微小移動時，考查窗口的平均能量變化，當該能量變化值超過設(shè)定的閾值時，就將窗口的中心像素點提取為角點。

表1　骨架相關(guān)數(shù)據(jù)

2.3.2瓜橫徑差參數(shù)提取

瓜橫徑差Q計算公式為

(4)

其中，D為瓜長1/2處瓜橫截面直徑；d1為距瓜把端3cm處瓜橫徑；d2為距瓜頂3cm處瓜橫徑。

利用Hough變換[19]，把圖像空間中的檢測問題轉(zhuǎn)換到參數(shù)空間。通過累加統(tǒng)計尋找峰值檢測直線，進而提取橫徑圖像，如圖5所示。

計算得出的橫徑數(shù)據(jù)如表2所示。

2.3.3弓形高度提取

基于運算的骨架圖像，采用Newton-Raphson method計算出每10cm骨架的弓形高度R，以其最大值作為整個果實分級的參數(shù)。

計算得出弓形高度數(shù)據(jù)如表3所示。

圖5　橫徑提取圖像

樣本d1/cmD/cmd2/cmQ計算/cmQ實測/cm誤差/%13.783.923.590.330.342.9423.623.163.220.460.444.5532.453.083.120.630.613.2842.23.222.971.021.002.00

表3　弓形高度相關(guān)數(shù)據(jù)

3分級結(jié)果分析

按照國標的分級標準，各參數(shù)限定范圍如表4所示。

表4　黃瓜果實分級標準

設(shè)定R、Q、A3個參數(shù)均在表4分級標準特級的數(shù)值范圍內(nèi)時，定為特級果實。如果一個參數(shù)不滿足條件，就分到一級進行判斷，仍不滿足轉(zhuǎn)到二級判斷，3個級別都不滿足或者長度和重量超出規(guī)定范圍的定為超標果實。如表4中樣本1的R、Q、A均滿足特級要求；樣本2的A為特級、Q為特級、R為一級因此定為一級果實；同理樣本3和4為二級果實。

試驗對每個黃瓜品種分別抽取20根，進行誤差分析，剩余的60根黃瓜樣本對分級平臺進行測試。平臺運行前，需在核心處理器中設(shè)置好該品種果實的單根最大質(zhì)量和長度兩個參數(shù)；將3個品種黃瓜分批次放入料斗中，每次放30根，平臺終端機械手將果實分為特級、一級、二級、超標四類，分級結(jié)果如表5所示。

采用人工尺測的方式耗時68min，人工目測耗時11min，分級平臺耗時5.2min。本文以人工尺測的結(jié)果為參照標準，表5中數(shù)據(jù)顯示對180根黃瓜果實進行分級，分級平臺的準確率達到96.7%，而人工目測的準確率只有82.2%。通過選取更多的樣本，經(jīng)過多次試驗發(fā)現(xiàn)，分級平臺的準確率與黃瓜的品種有關(guān)：品種1的果實瓜把明顯，瓜條較直，圖像提取的準確度高，平臺分級準確率達到99%以上；品種2瓜條彎曲，果實飽滿，平臺分級精度約97%；品種3的果實呈桶形，瓜把較粗，圖像提取的把長精度低，平臺分級準確率約為92%。

表5　人工與平臺分級結(jié)果

4結(jié)論

1)參照國家標準，基于圖像處理方法對黃瓜果實圖像的形態(tài)特征進行了提取，通過骨架提取算法得到瓜長、角點檢測算法求取把長、Hough變換計算橫徑、牛頓迭代法實現(xiàn)弓形高度計算。通過對人工實測數(shù)據(jù)與圖像提取數(shù)據(jù)進行誤差分析，各參數(shù)的相對誤差均低于5%，能夠滿足檢測要求。

2)利用機器視覺技術(shù)、自動控制方法與機械設(shè)計原理的相互融合，搭建了脫離PC機的黃瓜果實自動分級平臺。該平臺以攝像頭為視頻采集模塊、DSP核心處理器為控制主模塊、機械手為分級執(zhí)行模塊，并借助質(zhì)量控制、電機傳送等輔助單元，實現(xiàn)了黃瓜自動分級。

3)通過對人工尺測、人工目測、分級平臺的分級結(jié)果進行分析，平臺分級準確率達到96.7%，且耗時較少，數(shù)據(jù)客觀可靠，為橢長形果實檢測和分級提供了重要依據(jù)。

參考文獻：

[1]Wan Y N. Kernel handling performance of an automatic grain quality inspection system[J].Transactions of the ASAE, 2002,45 (2) : 369-377.

[2]Urena R, Rodr guez F, BerenguelM. A machine vison system for seeds germination quality evaluation using fuzzy logic[J].Computers and Electronics in Agiculture, 2001, 32 (1) : 1-20.

[3]WangN, ZhangN, Dowell F E, et al. Determining virtuousness of durum wheat using transmitted and reflected images[J].Transactions of the ASAE, 2005, 48(1): 219-222.

[4]RIGNEY K．Applying digital image processing in agriculture[J]．Agricultural Engineering，1978，58：11-17．

[5]周增產(chǎn)，BONTSEMA J，VANKOLLENBURG-CRISAN L．荷蘭黃瓜收獲機器人的研究開發(fā)[J]．農(nóng)業(yè)工程學(xué)報，2001(6)：77-80．

[6]王紅永，曹其新，劉文秀，等．基于神經(jīng)網(wǎng)絡(luò)的黃瓜等級判別[J]．農(nóng)業(yè)機械學(xué)報，1999(6)：83-87．

[7]趙杰文，劉少鵬，鄒小波，等．基于支持向量機的缺陷紅棗機器視覺識別[J]．農(nóng)業(yè)機械學(xué)報，2008，39(3)：113-115．

[8]展慧，李小昱，王為，等．基于機器視覺的板栗分級檢測方法[J]．農(nóng)業(yè)工程學(xué)報，2010，26(4)：327-331．

[9]郝敏，麻碩士，郝小冬.基于Zernike矩的馬鈴薯薯形檢測[J].農(nóng)業(yè)工程學(xué)報，2010，26(2)：347-350.

[10]GBT 8855-2008 新鮮水果和蔬菜 取樣方法[S]．

[11]中華人民共和國商務(wù)部．GBT 8855-2008 新鮮水果和蔬菜 取樣方法[S]．

[12]王小平，張麗杰，常佶．基于單高斯背景模型運動目標檢測方法的改進[J]．計算機工程與應(yīng)用，2009(21)：118-120．

[13]劉亞，艾海舟，徐光佑．一種基于背景模型的運動目標檢測與跟蹤算法[J]．信息與控制，2002(4):315-319,328．

[14]饒秀勤，應(yīng)義斌．基于機器視覺的水果尺寸檢測誤差分析[J]．農(nóng)業(yè)工程學(xué)報，2003(1)：121-123．

[15]于正林，江長青．邊緣檢測技術(shù)在角鋼沖孔在線檢測中的應(yīng)用[J]．長春理工大學(xué)學(xué)報(自然科學(xué)版)，2012，35(1)：65-67．

[16]任華中，張振賢，高麗紅，等．NYT 1587-2008 黃瓜等級規(guī)格[S]．

[17]葛長軍，秦智偉，周秀艷．黃瓜果實曲直性評價方法及相關(guān)性分析[J]．中國蔬菜，2009(8)：28-31．

[18]鄭淑芳，林源，王福東．果類蔬菜商品化分級標準制定和應(yīng)用[J]．中國蔬菜，2011(Z1)：130-132．

[19]楊四海，陳鍛生，謝維波．Hough變換的特性分析：一種全局觀點[J]．計算機輔助設(shè)計與圖形學(xué)學(xué)報，2006(8)：1197-1204．

Automatic Grading Method of Cucumber Fruits Based on Machine Vision

Li Ming，F(xiàn)ang Junlong，Qiao Yibo，Liu Chao，Zhang Lingyi，Zhao Zhaoyang，Luan Jiling

(Electrical and Information College, Northeast Agricultural University, Harbin 150030,China)

Abstract：To achieve the realization of grading cucumber fruit fast and accurately, we build an automation sub-base platform with the help of a camera as video acquisition module, DSP core processor as the main control module, as well as other auxiliary units like weight control and motor transport part. With reference to the national standard NY/T1587-2008, we adopt the image processing method to extract and compute the melon length, pedicel length, diameter difference, arcuate height of our cucumber fruit images, thus picking up 3 varieties 240 cucumber fruit as our test sample which contains 'Changchun Mici', 'Longzahuang VII' and ‘Luqiu I’. After, extract 20 samples of every variety as the image extracting data analysis and take the other 60 samples into the automation sub-base platform testing. Based on the test result, it shows: the average grade precision of the platform is 96.7% while it can process 35 fruits per minute. Compared with the traditional manual classification, our platform has a characteristic of fast-processing, NDT, accurate and objective, which provides an important basis on applying machine vision technology into the automated classification of elliptical elongated fruit.

Key words：machine vision; image processing; cucumber; the fruit; classification; manipulator

中圖分類號：TP391.41；S126

文獻標識碼：A

文章編號：1003-188X(2016)11-0229-05

作者簡介：李明(1984-)，女，黑龍江北安人，講師，碩士，(E-mail)601939971@qq.com。通訊作者：房俊龍(1971-)，男，黑龍江延壽人，教授，博士生導(dǎo)師， (E-mail)junlongfang@126.com。

基金項目：黑龍江省博士后科研啟動基金項目(LBH-Q13022)；黑龍江省教育廳科學(xué)技術(shù)研究項目(12531004)

收稿日期：2015-10-14