邢作常,田素博,劉思瑤,白雪衛(wèi),張祖立
(沈陽農(nóng)業(yè)大學(xué) 工程學(xué)院,沈陽 110161)
?
基于機器視覺的種薯自動切塊機設(shè)計
邢作常,田素博,劉思瑤,白雪衛(wèi),張祖立
(沈陽農(nóng)業(yè)大學(xué) 工程學(xué)院,沈陽110161)
摘要:現(xiàn)階段中國市場沒有成熟的種薯切塊機,薯農(nóng)主要依靠手工切塊。其主要原因是種薯切削需要控制切削位置以保留薯芽的頂端優(yōu)勢,普通機器不能識別薯芽,并控制切刀切削方位。為此,使用數(shù)字圖像處理技術(shù),實現(xiàn)了薯芽及其位姿的實時識別,開發(fā)了相應(yīng)的控制系統(tǒng),設(shè)計了基于機器視覺的薯種自動切塊機。試驗表明:薯芽識別正確率達(dá)100%,位姿識別正確率達(dá)98.5%,耗時107.431ms,滿足使用要求。
關(guān)鍵詞:種薯切塊機;機器視覺;位姿判斷;薯芽識別
0引言
我國是世界馬鈴薯第一生產(chǎn)大國,根據(jù)FAOSTA的統(tǒng)計數(shù)據(jù),2013年我國馬鈴薯的種植面積為577. 20萬hm2,占全球種植面積的20%以上[1-2]。在我國所有的糧食作物中,馬鈴薯的產(chǎn)量僅次于玉米、水稻和小麥,排名第4。
種薯投入是馬鈴薯種植最大生產(chǎn)成本之一,每667m2種薯用量為150~200kg(種薯價格為普通馬鈴薯價格的2~4倍)。為降低成本,薯農(nóng)往往采用切塊種植(根據(jù)種薯大小和薯芽多少可切為2~3塊不等)。 現(xiàn)階段,我國市場上沒有種薯切塊機,薯農(nóng)只能采用手工切削,同時進(jìn)行人工選種、人工消毒(切塊和刀具)、人工拌種,效率低、質(zhì)量差、人工成本昂貴。
本文采用機器視覺技術(shù),利用CCD攝像機實時采集種薯圖像,通過圖像處理技術(shù)首先識別并剔除各種壞薯(包括機械損傷、病斑、腐爛、無芽種薯等);然后識別薯芽,判斷切削位置,實現(xiàn)種薯的自動切塊。
1整體系統(tǒng)設(shè)計
根據(jù)使用要求,本種薯切塊機設(shè)計了2個工位:第1個工位是種薯圖像采集工位,目的是是判斷種薯質(zhì)量,剔除壞薯,并識別薯芽,求取薯芽質(zhì)心和方位,以確定刀具切削位置;第2個工位即切削工位,在這個工位,切刀根據(jù)薯芽方向,通過旋轉(zhuǎn)裝置調(diào)整自身方位,完成切削。種薯切塊機系統(tǒng)如圖1所示。種薯由皮帶輸送機輸送,每個工位上都有觸停開關(guān),檢測薯種位置;切削工位下面有墊板,用以承受切削力。
1.皮帶輸送機 2.種薯 3.環(huán)形光源
本文設(shè)計的圖像采集系統(tǒng)主要由CCD攝像機、照明系統(tǒng)、圖像采集卡、計算機及圖像處理軟件組成。皮帶輸送機上設(shè)置有觸停開關(guān),薯種到達(dá)規(guī)定位置后,給圖像采集卡發(fā)出信號,圖像采集卡采集1幅圖像并輸入計算機;通過圖像處理識別種薯的各種特征,作為其它機構(gòu)動作的依據(jù)。由于種薯大多為扁橢球形狀,薯芽大部分聚集在種薯頂端,只需采集種薯的正面圖像即可,因此在種薯正上方安裝1臺CCD攝像機,視場為普通種薯大小的3~4倍。
通過試驗,鏡頭采用上海普赫廣電科技有限公司生產(chǎn)的M2514-MP2 Computar(手動變焦鏡頭,焦距f=25mm;光圈F1.4-C);相機采用丹麥JAI公司生產(chǎn)的CV-M77彩色工業(yè)CCD攝像機;采集卡選用加拿大生產(chǎn)的Matrox Meteor/PPB/RGB采集卡。
為獲取清晰的種薯圖像,減少外界光線干擾,本系統(tǒng)使用照明系統(tǒng)。由于攝像機從頂部攝像,所以光源也設(shè)置在頂部,配置在攝像機下方。通過試驗,確定選用LED環(huán)形光進(jìn)行低角度雙側(cè)面照明,型號為VLHXA3DD100R ,功率為5W,電壓24V。其照明高度略高于種薯,光照均勻,圖片質(zhì)量較好。
由于視覺系統(tǒng)僅僅用于定向判斷,所以無需標(biāo)定。試驗用薯種購買于沈陽當(dāng)?shù)夭耸袌觯?個以上品種,試驗時薯芽長度為1~3cm。
圖像處理部分是整個控制系統(tǒng)的核心,主要完成兩個任務(wù):一是判斷薯種是否是次品。薯種切塊機設(shè)計有壞薯剔除裝置,可以根據(jù)薯種判斷結(jié)果將壞薯移出皮帶輸送機。二是判斷薯芽位姿,并將結(jié)果傳送給下位機。下位機控制執(zhí)行單元,將刀具轉(zhuǎn)到薯芽方向,進(jìn)行切削。整個流程如圖2所示。圖像處理軟件使用德國MVtec公司開發(fā)的halcon11.0。Halcon是著名的圖像處理和機器視覺軟件,可以提供豐富的算子和庫函數(shù),具有良好的接口及強大的圖像處理能力,執(zhí)行速度快,開發(fā)效率高,在工業(yè)領(lǐng)域有著很廣泛的應(yīng)用。
圖2 系統(tǒng)軟件流程
種薯品質(zhì)檢測算法,可以直接參考普通馬鈴薯品質(zhì)檢測算法。對這一命題,國內(nèi)外研究很多。例如,湯全武、郁志宏、汪成龍、李錦衛(wèi)等對機械損傷和表面缺陷的機器視覺檢測算法進(jìn)行了研究[3-6];周竹、李小昱等對馬鈴薯痂瘡病、黑心病的無損檢測方法進(jìn)行了探討[7-8]。這些算法大都非常成熟,利用halcon軟件也非常容易實現(xiàn),在此不再贅述。本文重點研究薯芽及其位姿的識別算法。
通過機器視覺識別薯芽及其位姿后,即可采用控制器和伺服電機控制切刀切削方位,使刀具在規(guī)定方位切削。切削部件采用繼電器、電磁閥和液壓系統(tǒng)完成切削任務(wù);刀具轉(zhuǎn)動由繼電器和伺服電機完成。其中,繼電器用于擴(kuò)大功率,電磁閥用于控制液壓系統(tǒng)方向。整個控制和執(zhí)行單元硬件組成如圖3所示。
圖3 控制單元硬件組成
控制器選用OpenJumper開發(fā)的Arduino Mega2560,用于接受PC機的角度信號,控制伺服電機完成相應(yīng)動作,如圖4所示。
Arduino介于硬件和軟件之間,是一個開放源代碼的軟、硬件項目開發(fā)平臺,具有較多的I/O功能、完整的程序開發(fā)軟件環(huán)境和豐富的庫函數(shù),可以開發(fā)與PC相連的外圍設(shè)備,能在運作時與PC上軟件進(jìn)行通信。本系統(tǒng)控制程序主要使用servo類函數(shù)。具體如下:
attach()//連接舵機;
write()//控制舵機轉(zhuǎn)動角度;
writeMicroseconds()//控制舵機轉(zhuǎn)動速度;
read()//讀上一次舵機轉(zhuǎn)動角度;
attached()//檢測舵機是否指定了引腳;
detach()//斷開舵機連接。
圖4 控制器及伺服電機
2薯芽位姿識別算法
薯芽方位識別算法是種薯切塊機設(shè)計的核心。第1步要進(jìn)行圖像預(yù)處理,目的是提高背景和目標(biāo)的區(qū)分度。背景分割的目的就是目標(biāo)提取,即將土豆從背景中提取出來,一般采用閾值或動態(tài)閾值。薯芽的位姿定義為薯芽質(zhì)心和薯種質(zhì)心連線。一個薯種往往有很多薯芽,并且分布在不同位置。這里所要求的薯芽質(zhì)心指的是最大的那個薯芽的質(zhì)心(它往往位于種薯頂端,稱為頂端優(yōu)勢)。薯牙方位識別軟件流程如圖5所示。
圖5 薯芽方位識別軟件流程
目標(biāo)提取或背景分割一般采用閾值化。閾值化
的效果依賴于目標(biāo)和背景的區(qū)分度,提高區(qū)分度的主要手段是預(yù)處理。預(yù)處理的方法根據(jù)圖像特點和目的各不相同。本文預(yù)處理主要是圖像平滑處理及色彩空間的選擇,具體如下:
decompose3(Image,r,g,b)
mean_image(r,ImageMean, 13, 13)
因為背景為純黑色(輸送機皮帶為黑色),所以目標(biāo)提取(見圖6)很簡單,先閾值化,然后選其中面積最大的region即可。具體如下:
threshold (ImageMean, Regions,50, 255)
connection(Regions, ConnectedRegions)
select_shape_std(ConnectedRegions
SelectedRegions, 'max_area', 70)
質(zhì)心的求取算法很簡單,公式為
(1)
其中,x、y為目標(biāo)圖像的質(zhì)心坐標(biāo);g(i,j)為目標(biāo)像素(i,j)處的灰度值;i、j分別為目標(biāo)像素的行和列;n、m分別為圖像每行或每列的像素數(shù)量。
圖6 目標(biāo)提取
薯芽的提取是本系統(tǒng)設(shè)計的難點。因為薯種的顏色、外形各不相同,薯芽的位置、大小、顏色、形狀各不相同,要想將絕大部分的薯芽都提取出來,需要復(fù)雜的算法(包括預(yù)處理),并且需要大量的試驗。本例的另一個特點是需要將相鄰的(相接觸的)薯芽聯(lián)為一體。具體算法如下:
threshold (ImageMean1, Regions1, 110, 255)
connection(Regions1, ConnectedRegions2)
select shape(ConnectedRegions2
SelectedRegions2, 'area', 'and', 1500, 999999)
union1(SelectedRegions2, RegionUnion)
dilation_ circle(RegionUnion, RegionDilation1, 35)
connection(RegionDilation1, ConnectedRegions3)
select_shape_std(ConnectedRegions3, SelectedRegions3, 'max_area', 70)
預(yù)處理使用了色彩空間的轉(zhuǎn)換、開運算、腐蝕、求減、求反、合成、平滑處理等各種算法:
trans_from_rgb(r,g,b,h,s,v,'hsv')
closing_circle(SelectedRegions, RegionClosing,3.5)
fill_up(RegionClosing, RegionFillUp)
erosion_circle(RegionFillUp, RegionErosion, 25)
reduce_domain(ImageMean,RegionErosion,Image Reduced)
reduce_domain(h, RegionErosion, ImageReduced1)
reduce_domain(s,RegionErosion, ImageReduced2)
invert_image(ImageReduced,ImageInvert)
add_image(ImageInvert,ImageReduced1, Image Result, 0.5, 0)
mean_image(ImageResult, ImageMean1, 15, 15)
位姿求取結(jié)果如圖7所示。
圖7 薯芽提取
薯芽質(zhì)心和薯種質(zhì)心連線即為薯芽方位或位姿,代表薯種切削方向。設(shè)α為薯芽方位角,dx、dy為薯芽質(zhì)心相對于薯種質(zhì)心在x軸方向和y軸方向的坐標(biāo)差。那么,則有
(2)
使用上述算法對1組馬鈴薯進(jìn)行位姿識別,結(jié)果如圖8所示。其正確率100%,滿足使用要求。
圖8 位姿求取結(jié)果
3結(jié)束語
1)針對馬鈴薯種植中的種薯切塊問題,采用機器視覺技術(shù),解決了薯芽及其位姿識別問題,并設(shè)計了種薯自動切塊機代替人工切塊。
2)圖像處理程序在itel(R)core(TM)i7-5500U CPU @2.40GHz上運行,耗時107.431ms,完全能夠滿足實時檢測要求。試驗表明:薯芽識別正確率達(dá)100%,位姿識別正確率達(dá)98.5%。
3) 控制器選擇了Arduino,具有完善的程序開發(fā)軟件環(huán)境和豐富的庫函數(shù)和I/O接口,使用c++風(fēng)格的類函數(shù)編程,開發(fā)效率極高。
參考文獻(xiàn):
[1]呂金慶,田忠恩,楊穎,等.馬鈴薯機械發(fā)展現(xiàn)狀 、存在問題及發(fā)展趨勢[J]. 農(nóng)機化研究,2015,37(12):258-263.
[2]楊 帥,閔凡祥,高云飛,等.新世紀(jì)中國馬鈴薯產(chǎn)業(yè)發(fā)展現(xiàn)狀及存在問題[J].中國馬鈴薯,2014,28(5):311-316.
[3]湯全武,史崇升,湯哲君.基于H IT的馬鈴薯外部缺陷的提取[J].東北農(nóng)業(yè)大學(xué)學(xué)報,2014,45(6):114-121
[4]郁志宏,王福香,張寶超.基于Hough 變換的馬鈴薯機械損傷檢測研究[J].農(nóng)機化研究,2015,37(10):185-188.
[5]汪成龍,李小昱,武振中,等.基于流形學(xué)習(xí)算法的馬鈴薯機械損傷機器視覺檢測方法[J].農(nóng)業(yè)工程學(xué)報, 2014,30(1):245-252.
[6]李錦衛(wèi),廖桂平,金晶,等.基于灰度截留分割與十色模型的馬鈴薯表面缺陷檢測方法[J].農(nóng)業(yè)工程學(xué)報,2010,26(10):236-242.
[7]李小昱,陶海龍 ,高海龍,等.基于多源信息融合技術(shù)的馬鈴薯痂瘡病無損檢測方法[J].農(nóng)業(yè)工程學(xué)報,2013,29(19):277-282.
[8]周竹,李小昱,高海龍,等. 漫反射和透射光譜檢測馬鈴薯黑心病的比較[J].農(nóng)業(yè)工程學(xué)報,2012,28(11):237-242.
[9]陳章蘭,高向東,陳永平,等.焊接視覺圖像質(zhì)心算法及其特性[J].焊接學(xué)報,2006,27(4):17-20.
Design of Automatic Cutter for Potato Used as Seeds Based on Machine Vision
Xing Zuochang, Tian Subo, Liu Siyao, Bai Xuewei, Zhang Zuli
(College of Engineering, Shenyang Agricultural University, Shenyang 110161, China)
Abstract:There is not mature cutter for potato used as seeds in Chinese market at the present .Potato farmers rely mainly on manual cutting. The main reason is that potato cutting used as a seed need to control the cutting position to keep potato bud advantage, ordinary machine cannot identify potato bud, and controls the cutter cutting position. Using image processing technology, the potato bud and its posture real-time identification is realized , the corresponding control system is developed, and the automatic cutting machine is designed based on machine vision. Tests show that potato bud recognition accuracy reaches 100%, posture recognition accuracy reaches 98.5%, takes 107.431 ms .it meets the requirement.
Key words:potato cutter; machine vision; posture judgment ; potato bud identification
中圖分類號:S233.1;TP391.41
文獻(xiàn)標(biāo)識碼:A
文章編號:1003-188X(2016)10-0069-05
作者簡介:邢作常(1971-),男,河南新鄉(xiāng)人,博士研究生,(E-mail)xingzuochang@163.com。通訊作者:張祖立(1952-),男,沈陽人,教授,博士生導(dǎo)師,(E-mail)syauzhangzuli@163.com。
基金項目:國家自然科學(xué)基金項目(51405311)
收稿日期:2015-09-28