陳 強(qiáng),武建新,張 涵,邱毅清
(內(nèi)蒙古工業(yè)大學(xué)機(jī)械學(xué)院,內(nèi)蒙古呼和浩特 010051)
目前我國國內(nèi)對于畜牧業(yè)奶牛的智能檢測應(yīng)用基本還停留在奶牛的個(gè)體體征檢測,對于機(jī)器視覺擠奶機(jī)的研究與應(yīng)用尚未成熟,還需人工輔助完成工廠擠奶作業(yè);為了實(shí)現(xiàn)全自動(dòng)擠奶技術(shù),引入機(jī)器視覺技術(shù)來改善國內(nèi)現(xiàn)狀[1-2]。
機(jī)器視覺的應(yīng)用一般分為五個(gè)部分:檢測、測量、定位、識別和安防交通。而在畜牧業(yè)奶牛的擠奶應(yīng)用中也將用到這五個(gè)部分,在擠奶車間將這五個(gè)部分交互使用,充分實(shí)現(xiàn)視覺在牛場中的應(yīng)用[3]。通過HALCON視覺應(yīng)用技術(shù),運(yùn)用HDevelop圖像處理軟件進(jìn)行檢驗(yàn)測試,可知HALCON具有強(qiáng)大的圖像處理算子和計(jì)算分析能力,能實(shí)現(xiàn)機(jī)器視覺在牛場中應(yīng)用的理想效果[4-5]。
圖1 機(jī)器視覺應(yīng)用分類
整個(gè)設(shè)備工作系統(tǒng)由三大主要系統(tǒng)構(gòu)成:機(jī)器視覺識別系統(tǒng)、機(jī)器智能控制系統(tǒng)和機(jī)械臂驅(qū)動(dòng)操作系統(tǒng)[6]。文章主要研究機(jī)器視覺系統(tǒng)的構(gòu)成與應(yīng)用,在機(jī)器視覺系統(tǒng)中將檢測、測量、定位、識別和安防交通五大應(yīng)用結(jié)合使用,充分引入視覺系統(tǒng)提升智能效果。
機(jī)器視覺系統(tǒng)通過圖像獲取裝置攝像機(jī)將被測目標(biāo)轉(zhuǎn)換為圖像信號,目標(biāo)即為奶牛;再將圖像信號傳送到圖像處理系統(tǒng),在圖像處理系統(tǒng)中根據(jù)像素分布、亮度、顏色和奶牛編號等情況信息,轉(zhuǎn)變?yōu)閿?shù)字信號;由數(shù)字信號將奶牛的個(gè)體參數(shù)測量值輸入到數(shù)據(jù)庫,在數(shù)據(jù)庫中調(diào)取對應(yīng)個(gè)體奶牛,根據(jù)不同奶牛個(gè)體的狀況進(jìn)行后續(xù)工作[7]。
其中機(jī)器視覺系統(tǒng)最基本的特點(diǎn)就是提高生產(chǎn)的靈活性和自動(dòng)化程度。
經(jīng)過機(jī)器視覺系統(tǒng)的應(yīng)用分析,可以清楚的了解到擠奶作業(yè)流程,視覺系統(tǒng)中圖像系統(tǒng)通過對某些信號進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征,進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動(dòng)作。事實(shí)上,機(jī)器視覺就是用機(jī)器代替人眼來做檢測和判斷,從而實(shí)現(xiàn)智能擠奶作業(yè)。
具體應(yīng)用實(shí)施方法見圖2,首先將提前設(shè)置好編碼的奶牛趕制擠奶車間入口,攝像機(jī)通過圖像采集,圖像分析檢測到個(gè)體奶牛的編號;從數(shù)據(jù)庫調(diào)取個(gè)體奶牛特征,判斷估計(jì)是否達(dá)到擠奶要求和擠奶次數(shù);當(dāng)滿足同時(shí)兩者要求,則效仿安防交通的規(guī)則,將奶牛送入擠奶工作制定區(qū)域以供擠奶,當(dāng)檢測出不滿足擠奶要求時(shí)(如患病,乳房炎等),則送入牛棚觀察室以待觀察治療,當(dāng)檢測出擠奶次數(shù)大于3次,則送入牛棚休息室。進(jìn)入擠奶區(qū)域后檢測是否滿足擠奶量,滿足則送入機(jī)器智能控制系統(tǒng)和機(jī)械臂驅(qū)動(dòng)操作系統(tǒng)環(huán)節(jié)中,識別、定位進(jìn)行乳部清洗、套杯、擠奶、脫杯,消毒。最后整個(gè)擠奶作業(yè)過程結(jié)束,送入牛舍。
圖2 應(yīng)用實(shí)施過程
機(jī)器視覺中,在運(yùn)用HDevelop圖像的處理過程中圖像的預(yù)處理很重要,是研究檢驗(yàn)的前提,對于后續(xù)檢驗(yàn)的結(jié)果影響很大,所以圖像在處理之前要先了解圖像的特性,這樣可提高圖像處理的精度,提高檢測物品的質(zhì)量。
正如圖3所示,圖像可根據(jù)灰度、色彩、運(yùn)動(dòng)、時(shí)空分布,形式或產(chǎn)生方法分為5種類別,每一種分類中又可以分為多種圖像,有單色、彩色、靜態(tài)、動(dòng)態(tài)、二維、三維等各種類別,每種不同的圖像類別將運(yùn)用不同的方法進(jìn)行處理。
圖3 圖像的分類
圖像處理過程中,首先如圖4選用攝像機(jī)進(jìn)行圖像獲取,傳入系統(tǒng)軟件進(jìn)行預(yù)處理,將圖像背景去除、平滑、濾波、去噪等處理,再將圖像二值化閾值處理進(jìn)行分割,提取出ROI特征區(qū)域?qū)D像進(jìn)行提取和匹配,最終實(shí)現(xiàn)目標(biāo)定位。
圖4 圖像處理流程圖
機(jī)器視覺HALCON的圖像處理軟件HDevel?op,由多個(gè)圖像處理算子和交互式開發(fā)工具組成,有強(qiáng)大的計(jì)算分析能力,對于牛場中奶牛擠奶的檢測、測量、定位、識別和安防交通應(yīng)用都能得到很好的結(jié)果。圖像經(jīng)攝像頭端口連接配置,將圖像傳送到HDevelop圖像處理軟件中,讀寫圖像后進(jìn)行三通道色彩去除,如圖5中(a)、(b)通過輪廓線和灰度直方圖調(diào)制閾值,使處理圖像易分割色階,進(jìn)行下一步運(yùn)作。
圖5 圖像的參數(shù)調(diào)制
將圖像進(jìn)行分割處理,按照Row=1,Column=1,Tolerance=1,Minsize=150參數(shù)進(jìn)行設(shè)置,處理為圖6所示,又通過ROI區(qū)域選定圖中三處奶牛乳部,圖6中橢圓形區(qū)域即為ROI選定區(qū)域。設(shè)定乳部為ROI_0,設(shè)置三種顏色以便區(qū)分,將區(qū)域連通,設(shè)置Region為填充模式。
圖6 圖像分割,ROI圖像
圖像檢測處理結(jié)果如圖7所示,三個(gè)綠色橢圓即為檢測目標(biāo),當(dāng)檢測出操作目標(biāo)則機(jī)器視覺控制系統(tǒng)控制驅(qū)動(dòng)系統(tǒng)機(jī)械臂去進(jìn)行清洗、套杯、脫杯和消毒等操作,實(shí)現(xiàn)對于乳部的機(jī)器視覺識別定位功能。
圖7 圖像目標(biāo)識別定位圖像
部分代碼為:
dev_update_window('off')
read_image(breast,'D:/Desktop/breast.jpg')
get_image_size(breast,Width,Height)
dev_close_window()
dev_open_window(0,0,Width/2,Height/2,'black',WindowID)
dev_display(breast)
stop()
decompose3 (breast, breast1, breast2,breast3)
rgb1_to_gray(breast,breastbreast1)
regiongrowing(breast1, Regions, 1, 1, 1,150)
gen_ellipse (ROI_0, 401.5, 371.866,rad(-102.541),55.3198,27.6102)
dev_set_colored(3)
gen_ellipse(TMP_Region, 465.5, 544.034,rad(-103.508),51.4226,27.0963)
union2(ROI_0,TMP_Region,ROI_0)
gen_ellipse(TMP_Region, 433.5, 726.212,rad(-96.3463),36.222,22.8328)
union2(ROI_0,TMP_Region,ROI_0)
connection(ROI_0,Single)
select_shape(Single, Selected, 'area', 'and',5000,10000)
dev_set_draw('fill')
dev_display(Selected)
disp_continue_message (WindowID,'black','true')
stop()
dev_display(breast)
dev_set_color('green')
stop()
在科學(xué)技術(shù)不斷升級的今天,對于一些不適合人工作業(yè)的危險(xiǎn)環(huán)境或者人工視覺難以滿足要求的場合,常用機(jī)器視覺來替代人工視覺來完成作業(yè)。同時(shí),在大批量周期性工業(yè)生產(chǎn)加工過程中,用機(jī)器視覺檢測方法可以大大提高生產(chǎn)的效率和自動(dòng)化程度。為了使各大行業(yè)更加智能化,人性化,因此加入機(jī)器視覺技術(shù)HALCON來提高產(chǎn)業(yè)效益,在生產(chǎn)工藝中運(yùn)用機(jī)器視覺系統(tǒng)來檢測目標(biāo),去提升整個(gè)生產(chǎn)工藝的效率。
參考文獻(xiàn):
[1]范祥,盧道華,王佳.機(jī)器視覺在工業(yè)領(lǐng)域中的研究應(yīng)用[J].現(xiàn)代制造工程,2007(6):129-133.
[2]童季剛,廖菲,羅良傳.一種機(jī)器視覺的瓶罐缺陷檢測系統(tǒng)設(shè)計(jì)[J].機(jī)電工程技術(shù),2016(8):28-31.
[3]楊圣虎.擠奶機(jī)器人裝備結(jié)構(gòu)設(shè)計(jì)研究[D].哈爾濱:哈爾濱工程大學(xué),2015.
[4]王海勇.HALCON學(xué)習(xí)教程(第四版)[Z].黑土數(shù)字圖像處理系列教材,2015.
[5](德) 斯蒂格 (Ulrich)機(jī)器視覺算法與應(yīng)用[M].北京:清華大學(xué)出版社,2008.
[6] Fabienne Lathuiliere, Jean-Yves Herve.Visual hand posture tracking in a gripper guiding application[C].Proceedings of the 2000 IEEE International Conference on Robotics&Automation San Francisco, CA, April 2000.
[7]王紅君,施楠,趙輝,等.基于視覺定位的牧場奶牛自動(dòng)跟蹤定位系統(tǒng)研究[J].黑龍江畜牧獸醫(yī),2015(11):43-47,287.