李 楊,郭浩澤
(臨汾職業(yè)技術(shù)學(xué)院,山西臨汾 041000)
隨著科技的迅猛發(fā)展,制造業(yè)的規(guī)模不斷攀升,工業(yè)機(jī)器人作為制造業(yè)升級(jí)的關(guān)鍵因素,因其具有減少勞動(dòng)力、降低生產(chǎn)成本、提高生產(chǎn)效率的優(yōu)點(diǎn)而被廣泛應(yīng)用在制造業(yè)中[1-2]。工業(yè)機(jī)器人的抓取動(dòng)作是制造生產(chǎn)領(lǐng)域較為常見的動(dòng)作,搬運(yùn)、碼垛、裝配等都需要抓取這一動(dòng)作。但是,如今在自動(dòng)化生產(chǎn)線中,傳統(tǒng)的抓取方式仍然以示教再現(xiàn)方式為主,這種方式存在很大的局限性,機(jī)器人的起始位姿和終止位姿均被嚴(yán)格限定,只能完成點(diǎn)對(duì)點(diǎn)的特定動(dòng)作,無法完成目標(biāo)點(diǎn)不斷變化的操作任務(wù)[3]。當(dāng)目標(biāo)工件的位姿或外界環(huán)境發(fā)生變化時(shí),機(jī)器人任務(wù)將被迫中斷或直接失敗。為提高工業(yè)機(jī)器人的自適應(yīng)性和智能化程度,保證工業(yè)機(jī)器人在制造生產(chǎn)中的高效性,拓寬工業(yè)機(jī)器人的應(yīng)用范圍,機(jī)器視覺被迅速應(yīng)用到工業(yè)生產(chǎn)的實(shí)踐中。裝備具有視覺感知功能的工業(yè)機(jī)器人,利用視覺檢測(cè)和圖像處理的方法,即可迅速、準(zhǔn)確地獲取目標(biāo)工件的類別及位置信息,實(shí)現(xiàn)機(jī)器人對(duì)目標(biāo)物的定位和抓取。本文基于機(jī)器視覺技術(shù),對(duì)工業(yè)機(jī)器人抓取系統(tǒng)進(jìn)行研究。
抓取系統(tǒng)由工業(yè)機(jī)器人、視覺系統(tǒng)和數(shù)據(jù)處理單元(PC)等組成,如圖1所示。
圖1 工業(yè)機(jī)器人抓取系統(tǒng)的組成
1.1.1 工業(yè)機(jī)器人選型
工業(yè)機(jī)器人選用FANUC 工業(yè)機(jī)器人,具體技術(shù)參數(shù)如表1所示。
表1 機(jī)器人技術(shù)參數(shù)
1.1.2 視覺系統(tǒng)選型
視覺系統(tǒng)主要由工業(yè)相機(jī)、鏡頭、光源等組成。
(1)工業(yè)相機(jī)采用??低暪I(yè)相機(jī),如圖2 所示,其性能參數(shù)如表2 所示。工業(yè)相機(jī)通過USB 3.0 接口與PC 連接,用于目標(biāo)工件的實(shí)時(shí)拍攝,通過相機(jī)內(nèi)部的感光芯片將鏡頭產(chǎn)生的光學(xué)圖像轉(zhuǎn)換為對(duì)應(yīng)的模擬信號(hào),并通過A∕D 轉(zhuǎn)換將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào),進(jìn)而對(duì)數(shù)字信號(hào)進(jìn)行處理,最后這些信息將通過工業(yè)相機(jī)與計(jì)算機(jī)間的接口傳送到計(jì)算機(jī)主機(jī)[2]。
圖3 海康威視鏡頭
圖2 ??低暪I(yè)相機(jī)
表2 相機(jī)性能參數(shù)
(2)鏡頭選用??低曠R頭,如圖3 所示,其性能參數(shù)如表3 所示。鏡頭主要用于實(shí)現(xiàn)光束的轉(zhuǎn)變,在機(jī)器視覺應(yīng)用系統(tǒng)中,鏡頭的作用相當(dāng)于人眼的晶狀體,主要是將目標(biāo)物成像到圖像傳感器的光敏面上。光學(xué)鏡頭直接影響成像質(zhì)量的優(yōu)劣,影響算法的實(shí)現(xiàn)和效果,進(jìn)而影響到機(jī)器視覺抓取系統(tǒng)的整體性能。因此,合理地選擇并放置鏡頭,是機(jī)器視覺系統(tǒng)設(shè)計(jì)的重要環(huán)節(jié)。
表3 鏡頭性能參數(shù)
(3) 光源采用??低暛h(huán)形光源,如圖4 所示,其性能參數(shù)如表4 所示。在目前的機(jī)器視覺應(yīng)用系統(tǒng)中,好的光源往往是整個(gè)系統(tǒng)成敗的關(guān)鍵,并不是簡(jiǎn)單地照明而已[4]。適當(dāng)?shù)墓庠凑彰髟O(shè)計(jì),可以使圖像的目標(biāo)信息與背景中的無用信息得到最優(yōu)的分離,可以有效降低圖像處理算法分割與識(shí)別的難度,同時(shí)提高系統(tǒng)的定位精度及檢測(cè)精度,進(jìn)而提高系統(tǒng)的可靠程度和綜合性能。因此,光源及光學(xué)系統(tǒng)的設(shè)計(jì)是決定系統(tǒng)成敗的關(guān)鍵因素[5]。
圖4 ??低暪庠?/p>
表4 光源性能參數(shù)
工業(yè)相機(jī)采用固定式安裝,通過固定支架安裝在工件臺(tái)目標(biāo)工件上方,負(fù)責(zé)采集目標(biāo)工件的視覺信息(如形狀、位置、角度等),工業(yè)相機(jī)對(duì)工作環(huán)境進(jìn)行掃描檢測(cè),檢測(cè)到工件到位,拍照并將拍攝到的圖像傳遞給PC;PC主要負(fù)責(zé)對(duì)工件圖像進(jìn)行提取與運(yùn)算,接收到圖像后,利用已經(jīng)開發(fā)好的程序進(jìn)行圖像預(yù)處理,然后通過模板匹配識(shí)別出欲抓取的目標(biāo)工件,并計(jì)算出其在圖像中的位置和姿態(tài),進(jìn)一步地通過相機(jī)標(biāo)定,將目標(biāo)工件的位姿信息轉(zhuǎn)化成工業(yè)機(jī)器人基坐標(biāo)下的位姿信息,實(shí)現(xiàn)對(duì)目標(biāo)工件的識(shí)別與定位功能[6-9];得到目標(biāo)工件相對(duì)于工業(yè)機(jī)器人基坐標(biāo)的位姿信息后,工業(yè)機(jī)器人轉(zhuǎn)動(dòng)各關(guān)節(jié)軸,使機(jī)器人的末端執(zhí)行器以最優(yōu)的姿態(tài)到達(dá)目標(biāo)點(diǎn),實(shí)現(xiàn)對(duì)目標(biāo)工件的抓取,并完成后續(xù)動(dòng)作。
2.1.1 視覺相機(jī)標(biāo)定的作用
相機(jī)拍攝的圖像是基于圖像坐標(biāo)系,而機(jī)器人操作是基于基坐標(biāo)系,相機(jī)標(biāo)定就是建立相機(jī)圖像坐標(biāo)系和機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系,將圖像中的目標(biāo)工件的圖像坐標(biāo)位置轉(zhuǎn)換為基坐標(biāo)系中的位置,保證機(jī)器人進(jìn)行抓取操作的參數(shù)環(huán)境一致。相機(jī)參數(shù)的標(biāo)定在機(jī)器視覺應(yīng)用中是非常重要的環(huán)節(jié),其標(biāo)定結(jié)果的精度及算法的穩(wěn)定程度直接影響視覺識(shí)別結(jié)果的準(zhǔn)確程度。
2.1.2 視覺相機(jī)標(biāo)定的方法
(1)傳統(tǒng)相機(jī)標(biāo)定法
傳統(tǒng)相機(jī)標(biāo)定法需要利用已知結(jié)構(gòu)信息的標(biāo)定物,通過在標(biāo)定物上坐標(biāo)已知的點(diǎn)和其圖像點(diǎn)之間建立相應(yīng)關(guān)系,并利用算法獲得相機(jī)模型的相關(guān)參數(shù)。其中標(biāo)定物可分為平面標(biāo)定物和三維標(biāo)定物。制作平面標(biāo)定物較簡(jiǎn)單,精度要求容易實(shí)現(xiàn),但標(biāo)定過程必須使用兩幅或兩幅以上的圖像。高精密三維標(biāo)定物加工和維護(hù)較難,標(biāo)定精度相對(duì)較高,且標(biāo)定時(shí)可只是用單幅圖像。傳統(tǒng)相機(jī)標(biāo)定法的缺點(diǎn)是在標(biāo)定過程需要使用標(biāo)定物,且標(biāo)定結(jié)果依賴于標(biāo)定物的加工精度。同時(shí),如果操作臺(tái)不適合放置標(biāo)定物,將不能使用傳統(tǒng)相機(jī)標(biāo)定法。
(2)相機(jī)自標(biāo)定法
相機(jī)自標(biāo)定法是基于場(chǎng)景約束的自標(biāo)定,利用場(chǎng)景中的一些平行或者正交的信息。相機(jī)自標(biāo)定法的優(yōu)點(diǎn)是僅利用圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系或約束關(guān)系而不需要標(biāo)定物,具有較強(qiáng)靈活性,潛在應(yīng)用范圍廣,可對(duì)相機(jī)進(jìn)行在線定標(biāo)。但由于它是非線性標(biāo)定,基于絕對(duì)二次曲線或曲面,因此其算法魯棒性不高。
(3)基于主動(dòng)視覺的相機(jī)標(biāo)定法
基于主動(dòng)視覺的相機(jī)標(biāo)定法是通過控制相機(jī)做某些特定運(yùn)動(dòng),并拍攝多組圖像,依據(jù)圖像信息和已知位移變化對(duì)相機(jī)進(jìn)行標(biāo)定。該方法不需要標(biāo)定物,算法簡(jiǎn)單,通常可以線性求解,魯棒性較高;但系統(tǒng)的成本較高,需要配備精準(zhǔn)的控制平臺(tái),試驗(yàn)條件要求苛刻,對(duì)一些相機(jī)運(yùn)動(dòng)參數(shù)未知或運(yùn)動(dòng)無法控制的場(chǎng)景不適用[10]。
本文采用9 點(diǎn)法進(jìn)行視覺相機(jī)標(biāo)定,標(biāo)定紙板如圖5所示。
準(zhǔn)確從系統(tǒng)相機(jī)得到的圖像中識(shí)別出目標(biāo)并對(duì)其進(jìn)行定位是工業(yè)機(jī)器人成功抓取目標(biāo)工件的關(guān)鍵,其結(jié)果將直接影響機(jī)器人的抓取效果,所以工件的識(shí)別與定位是抓取系統(tǒng)的關(guān)鍵。
2.2.1 圖像預(yù)處理
當(dāng)觸發(fā)工業(yè)相機(jī)獲取到一張圖像后,一般都要進(jìn)行圖像預(yù)處理。因?yàn)樵讷@取圖像或圖像傳輸過程中,可能會(huì)產(chǎn)生一些隨機(jī)干擾,圖像中可能混入一些無效信息,進(jìn)而影響后續(xù)的工件處理結(jié)果。
(1)灰度化處理
彩色圖像由三原色紅、綠、藍(lán)組成,且每種顏色都有256 種灰度值。對(duì)圖像進(jìn)行灰度化處理就是將彩色圖像進(jìn)行處理,使之成為只有黑白之間各個(gè)灰度級(jí)的灰度圖像。將彩色圖像轉(zhuǎn)化為灰度圖像,不僅會(huì)保留和彩色圖像相同的數(shù)據(jù)信息,還能大大地減少圖像處理的計(jì)算量,提高處理效率。灰度圖像雖與黑白圖像看似差不多,但實(shí)際上大有不同。黑白圖像只包含黑、白兩種顏色深度,而灰度圖像除了黑和白外,還有其他級(jí)的顏色深度。正是因?yàn)檫@些不同級(jí)別的顏色深度,使灰度圖像與黑白圖像相比,有更強(qiáng)的圖像特征描述能力,幾乎等同于與彩色圖像的描述能力,可以描述出圖像整體和局部的相關(guān)特征。
圖5 視覺相機(jī)標(biāo)定紙
由于系統(tǒng)相機(jī)獲取的圖像為彩色圖像,而彩色圖像色彩豐富,其中含有大量信息,圖像處理速度將大大降低,但抓取系統(tǒng)對(duì)定位識(shí)別效率有一定的要求,對(duì)工件的定位沒有必要使用彩色圖像,所以對(duì)彩色圖像進(jìn)行灰度化處理是必不可少的。
(2)圖像二值化
圖像二值化就是將圖像上的像素點(diǎn)的灰度值僅設(shè)置為0或255,使整個(gè)圖像呈現(xiàn)黑白效果,即將灰度圖像轉(zhuǎn)換成黑白圖像,但對(duì)圖像的整體特征和局部特征仍進(jìn)行保留。圖像二值化處理將使圖像變得更為簡(jiǎn)單,更加能突顯出目標(biāo)工件的輪廓,還能大大減少數(shù)據(jù)處理量[3]。
2.2.2 識(shí)別工件
工件識(shí)別就是對(duì)圖像進(jìn)行辨認(rèn)。一般情況下,對(duì)目標(biāo)工件進(jìn)行圖像錄取,經(jīng)過圖像處理后將目標(biāo)工件與背景分離,得到處理完成后的圖像,并與已錄入的模板圖像進(jìn)行圖像匹配,對(duì)比其相似的形狀與特征,完成圖像的識(shí)別工作[11-12]。本系統(tǒng)主要是針對(duì)形狀規(guī)則的幾何體物件,如三角形、矩形、圓形,故通過形狀來識(shí)別不同的工件。
2.2.3 工件定位
通過工件識(shí)別,僅能識(shí)別出工件的形狀,而且根據(jù)識(shí)別出的工件形狀,只能確定其放置的位置,想要確定工件的準(zhǔn)確抓取位置,還需要進(jìn)行工件定位。定位過程一般包括對(duì)工件的位置定位和姿態(tài)定位[13-14]。由于本系統(tǒng)只完成對(duì)目標(biāo)工件進(jìn)行抓取和放置操作,不要求對(duì)其抓取或放置時(shí)的姿態(tài),所以只需對(duì)進(jìn)行目標(biāo)工件的位置定位,無需進(jìn)行目標(biāo)工件的姿態(tài)定位。在工業(yè)抓取操作中,為使抓取過程更平穩(wěn),一般用工件的質(zhì)心位置作為目標(biāo)工件的抓取位置。
在自然光及一般照明條件下,在相機(jī)拍攝區(qū)內(nèi)的工作臺(tái)上任意放置幾個(gè)形狀不同的工件,實(shí)驗(yàn)裝置實(shí)物如圖6 所示。具體實(shí)驗(yàn)流程如下。
(1)初始狀態(tài)。機(jī)器人處于原點(diǎn)位置。
(2)拍攝與識(shí)別。相機(jī)拍攝圖像,對(duì)圖像進(jìn)行預(yù)處理,進(jìn)行模板匹配,經(jīng)位姿計(jì)算將圖像坐標(biāo)值轉(zhuǎn)換為機(jī)器人運(yùn)動(dòng)控制的基坐標(biāo)值。
圖6 實(shí)驗(yàn)裝置實(shí)物
(3)機(jī)器人搬運(yùn)。機(jī)器人根據(jù)識(shí)別到的目標(biāo)工件位置,依次完成工件的抓取和放置,最后恢復(fù)到初始狀態(tài),以此循環(huán)。
根據(jù)獲取的數(shù)據(jù)信息,機(jī)器人完成了對(duì)目標(biāo)工件的抓取,達(dá)到了預(yù)期試驗(yàn)?zāi)繕?biāo)。
為了驗(yàn)證該系統(tǒng)的精度,分別對(duì)6個(gè)目標(biāo)工件重復(fù)進(jìn)行10次抓取實(shí)驗(yàn),且在抓取每個(gè)工件的同時(shí),記錄機(jī)器人在抓取時(shí)刻的機(jī)器人末端執(zhí)行器的坐標(biāo)(該坐標(biāo)可在機(jī)器人示教器上直接讀出),將示教器讀出的實(shí)際抓取點(diǎn)坐標(biāo)與系統(tǒng)計(jì)算出的理論抓取點(diǎn)坐標(biāo)的平均值相比較,如表5所示(由于使用單目視覺結(jié)構(gòu),不考慮Z坐標(biāo)的值)。
表5 系統(tǒng)視覺定位與實(shí)際結(jié)果對(duì)比表
結(jié)果表明,實(shí)際抓取點(diǎn)與理論抓取點(diǎn)誤差平均值0.77 mm,在誤差范圍允許之內(nèi),滿足工業(yè)機(jī)器人執(zhí)行抓取操作時(shí)的精度要求,具有良好的應(yīng)用價(jià)值。
智能制造已是未來發(fā)展趨勢(shì),本文將單目視覺的Eye-to-Hand 系統(tǒng)應(yīng)用于工業(yè)機(jī)器人抓取系統(tǒng)設(shè)計(jì)中,通過對(duì)目標(biāo)工件的輪廓提取、模板匹配、位姿計(jì)算,可以使系統(tǒng)準(zhǔn)確地對(duì)目標(biāo)工件進(jìn)行識(shí)別和定位,具有系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、實(shí)時(shí)性高、成本低等特點(diǎn)。經(jīng)實(shí)驗(yàn)得出的結(jié)果均在誤差范圍內(nèi),表明了該系統(tǒng)的可行性,且實(shí)現(xiàn)了實(shí)時(shí)準(zhǔn)確抓取目標(biāo)工件的預(yù)期目的,這對(duì)提高工業(yè)機(jī)器人的適應(yīng)性和智能化水平、節(jié)約勞動(dòng)力、降低生產(chǎn)成本、提高生產(chǎn)效率具有重要價(jià)值。