亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于機器視覺的非特定物體的智能抓取系統(tǒng)的研究

        2021-06-02 02:53:10
        計算機測量與控制 2021年5期
        關(guān)鍵詞:機械深度模型

        (青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,山東 青島 266061)

        0 引言

        近年來,作為人工智能技術(shù)的熱門分支之一,機器視覺發(fā)展突飛猛進(jìn),逐漸滲透到人們的生產(chǎn)生活中[1]。目前,基于深度相機與傳統(tǒng)機械臂構(gòu)建手眼系統(tǒng),使機械臂能夠完成智能自主的抓取,是機械臂的主流發(fā)展趨勢[2]。通常來說,機械臂必然是要和物理世界進(jìn)行交互,對于未見過的物體,人類幾乎本能地知道如何抓取;但是,機械臂抓取檢測的表現(xiàn)遠(yuǎn)不如人類。因此,本系統(tǒng)致力于從給定的深度圖像中得到一個非特定物體的可靠抓取位置,以便于機械臂實施進(jìn)一步的抓取。

        本系統(tǒng)以將六軸機械臂與深度相機相結(jié)合,以機器人操作系統(tǒng)(Robot Operating System,ROS)為軟件平臺,對機械臂手眼標(biāo)定、目標(biāo)檢測、運動規(guī)劃等方面進(jìn)行了研究探索。針對機械臂無法確定非特定物體的可靠抓取位置的痛點,采用了深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)確定目標(biāo)物體的抓取位置信息,提高了機械臂的自主抓取能力。

        1 系統(tǒng)總體設(shè)計

        對于該機械臂智能抓取系統(tǒng)的組成,包括深度相機、機械臂以及計算機三部分,分別對應(yīng)于圖像采集、目標(biāo)抓取和圖像信息處理。硬件結(jié)構(gòu)組成如圖1所示。

        圖1 系統(tǒng)硬件圖

        深度相機中額外的深度信息對于與三維空間交互的機械臂來說至關(guān)重要[3],系統(tǒng)采用奧比中光的Astra深度相機,有效探測深度范圍為0.6 m到8 m之間;機械臂采用的是高斯機械臂,該機械臂具有6個關(guān)節(jié)自由度,最大延伸半徑可達(dá)437 mm,重復(fù)定位精度在2 mm左右;計算機為搭載了酷睿i5的筆記本電腦,具備運行神經(jīng)網(wǎng)絡(luò)模型和處理深度圖像的能力。

        系統(tǒng)正常工作流程為,系統(tǒng)將對深度相機捕獲到的視頻幀進(jìn)行預(yù)處理,并將該幀圖像輸入神經(jīng)網(wǎng)絡(luò),得到的輸出為圖像中目標(biāo)物體的抓取位置信息,系統(tǒng)將該信息發(fā)送給機械臂,機械臂根據(jù)該信息在機械臂的工作空間內(nèi)進(jìn)行抓取操作。

        2 相機標(biāo)定與手眼標(biāo)定

        該機械臂智能抓取系統(tǒng)正常運行的一個前提是需要確定深度相機、機械臂與目標(biāo)物體三者的三維空間關(guān)系[4]。相機標(biāo)定的目的是為了建立相機成像的幾何模型,獲取相機內(nèi)參矩陣并矯正相機由于透鏡產(chǎn)生的畸變;手眼標(biāo)定的目的是獲取機械臂坐標(biāo)系和相機坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系,將相機下的目標(biāo)物體的位置信息變換到機械臂坐標(biāo)系,機械臂根據(jù)變換后的位置信息抓取目標(biāo)物體。

        2.1 相機標(biāo)定

        相機的成像模型如圖2所示。設(shè)O-x-y-z是相機坐標(biāo)系,現(xiàn)實空間點P的成像落在物理成像平面O′-x′-y′上,成像點記為P′。而像素平面固定在物理成像平面上,在像素坐標(biāo)系o′-u-v中,o′位于圖像的左上角,u軸、v軸分別與x軸、y軸平行,故記P′的像素坐標(biāo)為(u,v)。設(shè)被拍攝物體在圖像坐標(biāo)系的坐標(biāo)為(x′,y′),由此可用如下矩陣來表示像素坐標(biāo)系與圖像坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系:

        圖2 相機成像模型圖

        目標(biāo)物體存在于世界坐標(biāo)系中,為了獲得相機與目標(biāo)物體的轉(zhuǎn)換關(guān)系,還需要建立相機坐標(biāo)系到世界坐標(biāo)系的聯(lián)系。設(shè)目標(biāo)物體在相機坐標(biāo)系下的坐標(biāo)為(x,y,z),f為焦距,根據(jù)圖像坐標(biāo)系與相機坐標(biāo)系的轉(zhuǎn)換關(guān)系可得:

        由于相機是在世界坐標(biāo)系下的剛體,結(jié)合三維空間的剛體運動相關(guān)知識,可以得到像素坐標(biāo)系與世界坐標(biāo)系的聯(lián)系,數(shù)學(xué)公式表示如下:

        張正友標(biāo)定法由于精度高、操作簡單、無需輔助設(shè)備等優(yōu)點[5],已成為目前主流的相機標(biāo)定方法之一。在打印出標(biāo)定所必須的棋盤格之后,系統(tǒng)采用張正友標(biāo)定法對深度相機進(jìn)行標(biāo)定操作。

        2.2 手眼標(biāo)定

        手眼標(biāo)定有兩種模式,即“眼在手上”和“眼在手外”?!把墼谑稚稀笔侵赶鄼C以某種方式固定在機械臂末端,與機械臂末端保持相對靜止;“眼在手外”與“眼在手上”相反,相機與機械臂并不是一體的,而是與目標(biāo)物體保持相對靜止??紤]到圖像的穩(wěn)定性、清晰度等對目標(biāo)檢測的影響,系統(tǒng)采用“眼在手外”的模式。

        無論是哪種手眼標(biāo)定模式,其核心是求解AX=XB[6]中的X,該式中的X就是手(機械臂末端)與眼(深度相機)之間的坐標(biāo)變換矩陣。

        在“眼在手外”這種模式中,標(biāo)定板固定在機械臂末端,如圖3所示。系統(tǒng)需要求的機械臂基座與深度相機之間的變換矩陣,即X=TBC。在這情況下,相機與機械臂基座的坐標(biāo)轉(zhuǎn)換(TBC)不變;標(biāo)定板與機械臂末端的坐標(biāo)轉(zhuǎn)換(TEO)不變。

        圖3 “眼在手外”模型圖

        機械臂末端夾著標(biāo)定板任意移動兩個位置,由于機械臂末端和標(biāo)定板在兩次運動中位姿關(guān)系保持不變,故有如下數(shù)學(xué)變換:

        TE1BTBCTCO1=TE2BTBCTCO2

        根據(jù)上述的手眼標(biāo)定的核心公式可得:

        X=TBC,

        系統(tǒng)采用了基于ROS的easy_handeye標(biāo)定包,該標(biāo)定程序降低了手眼標(biāo)定流程的復(fù)雜度,在提高了標(biāo)定效率的基礎(chǔ)上,也兼顧了標(biāo)定精度。

        3 目標(biāo)物體抓取位置的檢測與標(biāo)記

        在生產(chǎn)生活中,抓取物體是機械臂的基本操作,結(jié)合機器視覺的機械臂抓取任務(wù)是一個多領(lǐng)域交叉的長期的、富有挑戰(zhàn)性問題。傳統(tǒng)抓取方法一般需要事先知道目標(biāo)物體的三維掃描模型,對深度圖像進(jìn)行點云配準(zhǔn),確定幾何約束,提高抓取成功率[7]。目前,機械臂的研究已經(jīng)逐步將深度學(xué)習(xí)應(yīng)用于機械臂的抓取問題中,且較之傳統(tǒng)方法,抓取成功率明顯提升。

        本設(shè)計采用了Joseph Redmon等人于2015年提出的一種針對深度圖像中目標(biāo)物體的抓取問題“量身打造”的卷積神經(jīng)網(wǎng)絡(luò)模型[8]。與傳統(tǒng)方法相比,該抓取模型可以很好地推廣到新物體上,而且只需要單一視圖,而非完整的3D模型。該卷積神經(jīng)網(wǎng)絡(luò)模型的主要思想是將單個神經(jīng)網(wǎng)絡(luò)應(yīng)用于整個圖像,預(yù)測抓取坐標(biāo),由于避免了在圖像的小塊區(qū)域上多次運行規(guī)模較小的分類器的計算開銷,轉(zhuǎn)而對一個物體的完整圖像進(jìn)行全局抓取預(yù)測,所以網(wǎng)絡(luò)性能表現(xiàn)相當(dāng)優(yōu)異。

        對于目標(biāo)物體的抓取問題,業(yè)內(nèi)一般采用Lenz等人提出的針對機器人抓取的五維表示法[9]。一次抓取表示為一個矩形,涵蓋了位置、大小與方向:

        g=(x,y,θ,h,w)

        (x,y)表示矩形的中心,θ表示矩形相對于水平方向的偏轉(zhuǎn)角,h和w分別表示矩形高度和寬度,如圖5所示。使用五維表示法的目標(biāo)抓取問題與計算機視覺中的目標(biāo)檢測問題類似,僅僅是多了抓取方向這一項。

        圖4 五維表示法說明圖

        該神經(jīng)網(wǎng)絡(luò)在Krizhevsky等人提出的AlexNet的基礎(chǔ)上,結(jié)合實際抓取問題,做出了一些相應(yīng)的改變。該網(wǎng)絡(luò)有5個卷積層,再之后是3個全連接層,在卷積層之間穿插著若干池化層。全連接層之后是輸出層,輸出層有5個輸出神經(jīng)元,與抓取的坐標(biāo)相對應(yīng),其中4個神經(jīng)元對應(yīng)于抓取矩形的中心位置、高度和寬度,剩余的一個神經(jīng)元對應(yīng)于偏轉(zhuǎn)角的正切。該網(wǎng)絡(luò)模型如圖5所示。

        圖5 神經(jīng)網(wǎng)絡(luò)模型

        該模型基于康奈爾抓取數(shù)據(jù)集進(jìn)行訓(xùn)練,該數(shù)據(jù)及包含240種不同的物體,885張圖片。每一張圖片都被標(biāo)記了真實的抓取標(biāo)記。值得一提的是,通過在ImageNet進(jìn)行預(yù)訓(xùn)練,該模型在不犧牲抓取預(yù)測準(zhǔn)確度的情況下,還可進(jìn)行目標(biāo)識別與分類。實驗結(jié)果表明,該模型的抓取預(yù)測的準(zhǔn)確度最高可達(dá)88%左右,每幀圖像的處理速度在穩(wěn)定在76 ms,兼具了準(zhǔn)確性與實時性。

        4 機械臂運動規(guī)劃

        運動規(guī)劃是指機械臂在任務(wù)空間內(nèi),在給定目標(biāo)物體的位置坐標(biāo)和障礙物信息前提下,找到一條能夠到達(dá)目標(biāo)物體且不與障礙物發(fā)生碰撞的安全路徑。相對于移動機器人,機械臂規(guī)劃的空間維度更高,難度更大,國內(nèi)外學(xué)者提出了很多運動規(guī)劃算法,其中包括人工勢場法、拓?fù)浞?、柵格法、蟻群算法、遺傳算法等[10]。

        該系統(tǒng)采用了改進(jìn)的快速擴(kuò)展隨機樹(RRT-connect)算法,該在傳統(tǒng)RRT算法基礎(chǔ)上改進(jìn)為兩棵樹的雙向擴(kuò)展,節(jié)省了搜索時間,在一定程度上提高了擴(kuò)展樹在任務(wù)空間內(nèi)搜索性能。

        4.1 RRT算法

        RRT的基本思想是在機械臂的任務(wù)空間內(nèi),在不與空間內(nèi)障礙物發(fā)生碰撞的情況下,以樹的形式擴(kuò)展,直到該樹擴(kuò)展至目標(biāo)物體附近[11]。算法步驟總結(jié)如下:

        (1)確定規(guī)劃的起點。將機械臂末端夾爪的三維坐標(biāo)作為樹的根節(jié)點,以此節(jié)點向外擴(kuò)展。

        (2)隨機擴(kuò)展采樣。在機械臂的三維解空間中,隨機生成一個點XR。

        (3)生長點的選擇與碰撞檢測。找到該樹上與XR最近的節(jié)點XN。連接XR與XN,判斷連線是否與空間障礙物發(fā)生碰撞。如果發(fā)生碰撞,摒棄XR;否則將XR加到樹上,記為Xnew。

        (4)是否終止擴(kuò)展。如果Xnew與目標(biāo)點的距離小于某個閾值,即該樹擴(kuò)展至目標(biāo)節(jié)點附近,終止擴(kuò)展。否則,重復(fù)(2)(3)(4)過程。

        RRT算法也存在一些不足。RRT算法雖然適用性較高,適用于二維與三維空間,但是當(dāng)規(guī)劃范圍較大且環(huán)境中障礙物較多時,RRT算法會盲目擴(kuò)展,效率變得低下。

        4.2 改進(jìn)的RRT算法

        針對RRT算法的缺點,該設(shè)計采用了一種改進(jìn)的RRT算法,即RRT-Connect算法。算法基本思想是從初始節(jié)點和目標(biāo)節(jié)點同時生長兩棵快速擴(kuò)展隨機樹來搜索規(guī)劃空間,減少無用搜索,提高搜索效率[12]。該算法步驟總結(jié)如下:

        (1)確定規(guī)劃起點和終點。將起點和終點分別作為兩棵搜索樹的根節(jié)點,分別命名為T1和T2。

        (2)T1隨機擴(kuò)展與碰撞檢測。在機械臂的三維解空間中,以T2最新節(jié)點為目標(biāo)點隨機生成一個點XR1。設(shè)該樹上與XR1最近的節(jié)點為XN1,若XN1與XR1的連線未與空間障礙物發(fā)生碰撞,將XR1加入T1,記為Xnew1;否則摒棄XR1,重復(fù)(2)直到找到一個新的節(jié)點。

        (3)T2隨機擴(kuò)展采樣。T2以Xnew1為目標(biāo)點擴(kuò)展,在三維空間中隨機生成一個點XR2。設(shè)T2上與XR2最近的點為XN2。若XR2與XN2的連線未與空間障礙物未發(fā)生碰撞,則將XR2加入T2樹中,記為Xnew2。

        (4)是否終止擴(kuò)展T2。如果XR2與XN2的連線在空間中與障礙物發(fā)生碰撞或XR2與Xnew1的距離小于某個閾值,則終止擴(kuò)展T2。否則,重復(fù)(3)(4)。

        (5)終止條件。如果T1與T2最新生長出來的兩個點之間的距離小于某個閾值,兩棵樹終止擴(kuò)展,算法結(jié)束。否則選擇節(jié)點數(shù)較少的樹進(jìn)行隨機擴(kuò)展直至發(fā)生碰撞或滿足終止條件。

        該系統(tǒng)的機械臂運動規(guī)劃是基于ROS的MoveIt!軟件包實現(xiàn)的,開源運動規(guī)劃庫(The Open Motion Planning Library,OMPL)包含各種運動規(guī)劃算法,也是MoveIt!默認(rèn)的運動規(guī)劃包。系統(tǒng)給定機械臂坐標(biāo)系下的位置坐標(biāo)后,系統(tǒng)通過MoveIt!中的相關(guān)運動規(guī)劃算法來驅(qū)動機械臂末端到達(dá)指定位置,抓取物體。

        5 實驗結(jié)果與分析

        5.1 實驗步驟

        該系統(tǒng)設(shè)計最核心的部分是以深度相機和機械臂構(gòu)成的“手眼系統(tǒng)”,深度相機負(fù)責(zé)采集視野內(nèi)的目標(biāo)物體,用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測的抓取位置在圖像中的目標(biāo)物體上以矩形框的形式表現(xiàn)出來,在圖6中展示了系統(tǒng)對9種目標(biāo)物體可靠抓取位置的預(yù)測。除此之外,對網(wǎng)絡(luò)模型的輸出值和機械臂是否抓取成功的結(jié)果進(jìn)行分析也是非常必要的。在像素坐標(biāo)系下,網(wǎng)絡(luò)模型對抓取位置以五維表示法輸出后,系統(tǒng)進(jìn)一步將該結(jié)果轉(zhuǎn)換到機械臂坐標(biāo)系下,結(jié)合深度相機的深度信息,機械臂對目標(biāo)物體實施抓取。

        圖6 目標(biāo)抓取位置預(yù)測圖

        神經(jīng)網(wǎng)絡(luò)預(yù)判出目標(biāo)物體的可靠抓取位置,再之后將該位置信息發(fā)送給機械臂,機械臂在通過運動規(guī)劃算法進(jìn)行合理的運動規(guī)劃后,驅(qū)動各個關(guān)節(jié)使末端夾爪到達(dá)指定抓取位置,進(jìn)行抓取操作。

        系統(tǒng)測試實驗結(jié)果主要包括兩部分,一部分是網(wǎng)絡(luò)模型的輸出結(jié)果,另一部分是根據(jù)神經(jīng)網(wǎng)絡(luò)模型輸出機械臂是否能夠成功抓取目標(biāo)物體。所以實驗數(shù)據(jù)的分析包括兩部分,一部分是卷積神經(jīng)網(wǎng)絡(luò)模型的抓取位置標(biāo)記表示,另一部分是神經(jīng)網(wǎng)絡(luò)模型的輸出值以及機械臂是否抓取成功統(tǒng)一展示,然后進(jìn)一步對實驗結(jié)果進(jìn)行分析。

        5.2 實驗數(shù)據(jù)

        根據(jù)實際情況,在此系統(tǒng)只對部分實驗數(shù)據(jù)結(jié)果進(jìn)行展示。

        圖6展示了神經(jīng)網(wǎng)絡(luò)模型對9種非特定物體抓取位置的預(yù)測,并進(jìn)一步以矩形框的形式標(biāo)記出來。表1中展示了網(wǎng)絡(luò)模型的對9種目標(biāo)物體預(yù)測抓取位置信息以及后續(xù)機械臂是否能夠抓取成功。

        表1 網(wǎng)絡(luò)模型輸出結(jié)果及機械臂是否抓取成功

        5.3 實驗結(jié)果分析

        實驗結(jié)果表明,該系統(tǒng)相對于傳統(tǒng)機械臂,其自主抓取能力表現(xiàn)亮眼。上述實驗數(shù)據(jù)包含正確的預(yù)測和不正確的預(yù)測,比如圖6第九張圖片中,碗的抓取位置預(yù)測是絕對不是一個可靠的抓取。該系統(tǒng)針對20種目標(biāo)物體的不同位姿進(jìn)行抓取位置預(yù)測,機械臂進(jìn)一步實施抓取。系統(tǒng)共進(jìn)行了360次抓取實驗,其中抓取位置預(yù)測準(zhǔn)確率達(dá)到了85%左右。由于抓取目標(biāo)體積、厚度、光線等因素,機械臂抓取成功次數(shù)為297次,綜合抓取成功率為82.5%。

        6 結(jié)束語

        系統(tǒng)是以深度相機與機械臂為基礎(chǔ)構(gòu)建“手眼系統(tǒng)”,深度圖像處理采用了Joseph Redmon提出的一種卷積神經(jīng)網(wǎng)絡(luò)預(yù)測相機視野內(nèi)目標(biāo)物體的可靠抓取位置作為機械臂抓取的重要依據(jù),在機械臂運動規(guī)劃方面,使用改進(jìn)的RRT(RRT-Connect)方法抓取目標(biāo)物體,提高抓取效率。雖然系統(tǒng)在實驗環(huán)境下有諸多限制,但系統(tǒng)還是表現(xiàn)出了相當(dāng)優(yōu)異的性能。此外,系統(tǒng)采用ROS,代碼可移植性高,擴(kuò)展性良好,對二次開發(fā)友好,便于根據(jù)具體的工業(yè)環(huán)境需求進(jìn)行相應(yīng)的變更,滿足工業(yè)生產(chǎn)需求。該系統(tǒng)針對傳統(tǒng)機械臂的弊端進(jìn)行優(yōu)化改進(jìn),致力于機械臂的智能抓取,對工業(yè)智能化、自動化具有重要意義。

        猜你喜歡
        機械深度模型
        一半模型
        深度理解一元一次方程
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
        調(diào)試機械臂
        深度觀察
        深度觀察
        深度觀察
        簡單機械
        3D打印中的模型分割與打包
        黄片国产一区二区三区| 亚洲高清精品50路| 内射少妇36p九色| 夜爽8888视频在线观看| 欧美成人一级视频| 中文字幕一区二区三区四区在线| av手机在线天堂网| 日本一区二区三区一级免费| 久久精品天堂一区二区| 亚洲精品久久蜜桃av| 国产精品久久久天天影视| 在线播放免费人成毛片乱码| 久精品国产欧美亚洲色aⅴ大片| 两个人看的www高清视频中文| 久久久久人妻精品一区5555| 国产夫妻精品自拍视频| 玩弄人妻少妇精品视频| 精品一区二区三区在线观看| 在线精品日韩一区二区三区| 人妖与人妖免费黄色片| 午夜男女靠比视频免费| 亚洲av日韩综合一区二区三区| 国产男女猛烈视频在线观看| 日本一本久道| 级毛片无码av| 国产影片免费一级内射| 极品av一区二区三区| 国产精品videossex国产高清| 真人作爱免费视频| 国产黄色免费网站| 在线a人片免费观看高清| 老女人下面毛茸茸的视频| 热99re久久精品这里都是精品免费| 男女后进式猛烈xx00动态图片| 少妇厨房愉情理伦片免费| 国产夫妻av| 日韩在线手机专区av| 人日本中文字幕免费精品| 成人免费无遮挡在线播放| 无码人妻精品一区二区三区下载| 国产一区二区三区在线观看精品|