劉海豐,陳 鵬

(1.武漢工程大學(xué) 智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室, 湖北 武漢430205; 2.武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 湖北武漢430205)

?

基于RGB-D圖像的機(jī)械臂關(guān)節(jié)角度檢測(cè)的研究

劉海豐1,2,陳 鵬2

(1.武漢工程大學(xué) 智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室, 湖北 武漢430205; 2.武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 湖北武漢430205)

針對(duì)機(jī)械臂各個(gè)關(guān)節(jié)的角度值，提出了一種利用RGB-D圖像的計(jì)算方法。首先通過(guò)Kinect獲取彩色圖像和深度圖像并做對(duì)齊處理；接著利用閾值分割的方法提取機(jī)械臂目標(biāo)，用細(xì)化算法提取出機(jī)械臂輪廓骨架；然后結(jié)合機(jī)械臂各剛體部件的位置關(guān)系對(duì)其關(guān)節(jié)點(diǎn)定位；最后利用向量的性質(zhì)計(jì)算機(jī)械臂關(guān)節(jié)角度。該方法能夠有效地計(jì)算出機(jī)械臂各關(guān)節(jié)角度，具有較高的準(zhǔn)確性和較強(qiáng)的魯棒性。

機(jī)械臂；深度圖像；細(xì)化算法；關(guān)節(jié)點(diǎn)定位；關(guān)節(jié)角度

隨著機(jī)器人技術(shù)的高速發(fā)展和社會(huì)工業(yè)化進(jìn)程的加速，機(jī)器人逐漸參與到人類(lèi)的活動(dòng)中來(lái)，并日益成為人類(lèi)的好幫手。機(jī)械臂也是一種重要的機(jī)器人技術(shù)，由于它能完成多種多樣的任務(wù)(如裝配、搬運(yùn)、焊接等)，能代替人類(lèi)在一些危險(xiǎn)的、惡劣的工作環(huán)境中完成既定的任務(wù)，因此，被廣泛用于工業(yè)制造、空間探索、國(guó)防科技等領(lǐng)域[1]。

由于工業(yè)機(jī)器人系統(tǒng)是多輸入、多輸出、強(qiáng)非線(xiàn)性、強(qiáng)耦合的高度復(fù)雜系統(tǒng)[2]，在長(zhǎng)時(shí)間高速運(yùn)動(dòng)的情況下，機(jī)器人的非線(xiàn)性動(dòng)力學(xué)特性十分顯著，并且在實(shí)際工作中存在各種不確定性因素，嚴(yán)重影響著機(jī)器人的控制性能，甚至有可能出現(xiàn)故障，破壞物體和傷及工人，變?yōu)闄C(jī)器殺手[3]。如何保證工業(yè)機(jī)器人在運(yùn)行過(guò)程中的穩(wěn)定性、可靠性、和安全性，已成為研究的熱點(diǎn)問(wèn)題[4]。

本文通過(guò)Kinect對(duì)機(jī)械臂實(shí)時(shí)識(shí)別定位跟蹤定位關(guān)節(jié)點(diǎn)，再根據(jù)定位的關(guān)節(jié)點(diǎn)計(jì)算機(jī)械臂關(guān)節(jié)角度，以第三視角對(duì)機(jī)械臂進(jìn)行關(guān)節(jié)角度檢測(cè)。對(duì)機(jī)械臂的故障檢測(cè)、精準(zhǔn)度提高和安全保障具有一定的研究?jī)r(jià)值。

1 基于RGB-D圖像的機(jī)械臂關(guān)節(jié)角度檢測(cè)算法

1.1 RGB-D圖像的采集與對(duì)齊

本文使用微軟公司產(chǎn)品Kinect設(shè)備對(duì)RGB-D圖像進(jìn)行采集，Kinect設(shè)備包括一個(gè)彩色攝像頭，一個(gè)紅外發(fā)射攝像頭和一個(gè)紅外接收攝像頭，通過(guò)開(kāi)發(fā)包Kinect SDK可以獲取彩色圖像數(shù)據(jù)和深度圖像數(shù)據(jù)[5]。彩色圖像[6]屬于多通道圖像，不同通道有著不同的物理意義，對(duì)某一通道信息進(jìn)行圖像分析處理可以達(dá)到不同的目的。深度圖像與彩色圖像不同，深度圖像[7]的像素值與物體距離有關(guān)，不會(huì)受光線(xiàn)、陰影、環(huán)境變化等外界因素的干擾[8]，能夠很好的彌補(bǔ)彩色圖像的缺點(diǎn)，在圖像處理中彩色圖像與深度圖像可以互相補(bǔ)充，達(dá)到所需要的目的。本文使用Kinect SDK采集彩色圖像，分辨率為640×480，如圖(a)，采集的深度圖像分辨率為320×240，如圖(b)。由于彩色圖像與深度圖像的空間坐標(biāo)系不同，用Kinect SDK獲取的彩色圖像與深度圖像是不對(duì)齊的[9]，本文通過(guò)映射圖保存深度圖像與彩色圖像的坐標(biāo)對(duì)應(yīng)關(guān)系，如圖(c)，通過(guò)映射圖中的彩色圖與深度圖的映射坐標(biāo)關(guān)系，可以得到對(duì)齊后的彩色圖像，如圖(d)。

(a)彩色圖像，(b)深度圖像,(c)映射圖,(d)對(duì)齊圖

1.2 機(jī)械臂目標(biāo)提取

Kinect中深度值最大為4096 mm，本文采集的深度圖像的像素值可通過(guò)距離值歸一化計(jì)算：

f(x,y)=d(x,y)×255÷4096

如果機(jī)械臂周?chē)衅渌矬w，單純的通過(guò)深度圖像進(jìn)行閾值分割[10]，就無(wú)法提取機(jī)械臂目標(biāo)；又由于機(jī)械臂附近的物體與機(jī)械臂深度值相同時(shí)，無(wú)法通過(guò)深度圖像閾值區(qū)別判斷，所以本文將彩色圖像中的顏色信息作為深度圖像的輔助信息，把機(jī)械臂從深度圖像中分離出來(lái)。首先利用深度圖像設(shè)定一個(gè)合理的閾值區(qū)間，當(dāng)前像素值在此閾值區(qū)間時(shí)，則為機(jī)械臂目標(biāo)區(qū)間。此時(shí)，通過(guò)深度圖像閾值分離的圖像有可能含有機(jī)械臂以外的物體，本文結(jié)合彩色圖像的顏色信息將機(jī)械臂以外的其他物體分離出來(lái)，為了忽略光照強(qiáng)度的影響，將彩色圖像轉(zhuǎn)換為YCbCr圖像，選取機(jī)械臂區(qū)域Cb，Cr通道的平均值，將其設(shè)為輔助閾值，然后將分割后的深度圖像遍歷，通過(guò)彩色圖與深度圖像的坐標(biāo)映射關(guān)系檢索深度圖像每個(gè)像素坐標(biāo)對(duì)應(yīng)彩色圖像的像素值，如果對(duì)應(yīng)彩色圖像的Cb，Cr通道值在閾值范圍內(nèi)，則是機(jī)械臂目標(biāo)，如果不在閾值范圍內(nèi)則是機(jī)械臂以外物體，將其分割掉，最后得到機(jī)械臂輪廓，如圖3所示。

圖2 算法流程圖

圖3 閾值分割后的機(jī)械臂輪廓

1.3 機(jī)械臂輪廓圖像預(yù)處理

本文閾值分割算法能夠得到機(jī)械臂輪廓，但由于機(jī)械臂自身線(xiàn)纜、商標(biāo)的遮擋機(jī)械臂輪廓會(huì)有些空洞，輪廓圖像不完整，需先經(jīng)過(guò)膨脹腐蝕[11]操作將空洞填充，然后經(jīng)過(guò)中值濾波[12]得到完整的平滑的輪廓圖像，如圖4所示。

圖4 預(yù)處理后的機(jī)械臂輪廓

1.4 機(jī)械臂輪廓圖像的細(xì)化

細(xì)化就是在保持原來(lái)形狀的基礎(chǔ)上,經(jīng)過(guò)一層層的剝離，去掉原圖的一些點(diǎn)，最終得到圖像的中心線(xiàn)。好的細(xì)化算法要求：

1)收斂性；

2)連通性；

3)保持原圖的基本形狀；

4)減少筆畫(huà)相交處的畸變；

5)細(xì)化結(jié)果是原圖像的中心線(xiàn)；

6)細(xì)化的快速性和迭代次數(shù)少。

本文采用Zhang快速并行細(xì)化算法[13]，能較好地滿(mǎn)足以上條件，得到的圖像見(jiàn)圖5，目標(biāo)圖像像素值為1，背景像素值為0。它能較好地保持機(jī)械臂的基本形狀，連通性較好。

圖5 機(jī)械臂輪廓的細(xì)化

1.5 機(jī)械臂關(guān)節(jié)點(diǎn)的定位

每種機(jī)械臂都會(huì)有它的產(chǎn)品說(shuō)明書(shū)和產(chǎn)品技術(shù)規(guī)格書(shū)，本文實(shí)驗(yàn)采用的是安川首鋼公司的長(zhǎng)臂型機(jī)械臂MOTOMAN-MA2010，它的產(chǎn)品技術(shù)規(guī)格如圖6所示，機(jī)械臂各個(gè)關(guān)節(jié)的結(jié)構(gòu)尺寸都有標(biāo)注，各部分的關(guān)節(jié)比例關(guān)系為后面關(guān)節(jié)點(diǎn)定位提供有效的信息。

圖6 機(jī)械臂結(jié)構(gòu)尺寸圖

遍歷整幅機(jī)械臂骨架圖，細(xì)化后的機(jī)械臂骨架線(xiàn)機(jī)械臂骨架部分像素值為1，背景部分為0，機(jī)械臂骨架為單位像素寬，找出像素值為1的八鄰域只有一個(gè)像素值為1的所有像素點(diǎn)，根據(jù)機(jī)械臂關(guān)節(jié)位置關(guān)系，像素坐標(biāo)點(diǎn)縱坐標(biāo)y最大的像素點(diǎn)為機(jī)械臂底座關(guān)節(jié)點(diǎn)位置，像素點(diǎn)橫坐標(biāo)x最小的為機(jī)械臂末端執(zhí)行器的關(guān)節(jié)點(diǎn)位置。再?gòu)臋C(jī)械臂末端執(zhí)行器關(guān)節(jié)點(diǎn)的像素位置開(kāi)始沿骨架線(xiàn)遍歷，直到遍歷到機(jī)械臂底座關(guān)節(jié)點(diǎn)位置截止，路徑的像素點(diǎn)總個(gè)數(shù)為機(jī)械臂骨架線(xiàn)長(zhǎng)度，再通過(guò)機(jī)械臂產(chǎn)品規(guī)格圖，可以得到各個(gè)關(guān)節(jié)的比例，其他關(guān)節(jié)點(diǎn)按照計(jì)算的骨架線(xiàn)長(zhǎng)度和各個(gè)關(guān)節(jié)的比例關(guān)系就可以定位出來(lái)，定位出的關(guān)節(jié)點(diǎn)如圖7所示。

圖7 機(jī)械臂關(guān)節(jié)點(diǎn)定位

2 機(jī)械臂關(guān)節(jié)角度的計(jì)算

機(jī)械臂由一系列關(guān)節(jié)連接起來(lái)的連桿組構(gòu)成，如圖8所示。給每一個(gè)連桿在關(guān)節(jié)處建立一個(gè)連桿坐標(biāo)系，該連桿坐標(biāo)系隨關(guān)節(jié)運(yùn)動(dòng)而運(yùn)動(dòng)。用A矩陣描述連桿坐標(biāo)系間相對(duì)平移和旋轉(zhuǎn)的齊次變換。A1表示第一連桿對(duì)基坐標(biāo)的位姿，A2表示第二連桿對(duì)第一連桿的位姿......第二連桿對(duì)基坐標(biāo)位姿為T(mén)2=A1A2，則機(jī)械臂末端相對(duì)于基座的位姿T6=A1A2A3A4A5A6，稱(chēng)為機(jī)器人運(yùn)動(dòng)學(xué)方程。機(jī)器人逆運(yùn)動(dòng)學(xué)就是已知直角坐標(biāo)空間的位姿T6，求解各關(guān)節(jié)相鄰兩連桿的夾角和距離。首先根據(jù)機(jī)械臂末端關(guān)節(jié)坐標(biāo)設(shè)置An，

T6=A1A2A3A4A5A6

(1)

再分別用An(n=1，2，...，5)的逆左乘式(1)，有：

(2)

(3)

(4)

(5)

根據(jù)上述5個(gè)矩陣方程對(duì)應(yīng)元素相等，可得到若干個(gè)可解的代數(shù)方程，便可求出各關(guān)節(jié)相鄰兩桿的夾角和距離。

由于機(jī)械臂各關(guān)節(jié)變量相互耦合，逆運(yùn)動(dòng)方程的解也不是唯一的解，需根據(jù)機(jī)械臂的組合形態(tài)和各關(guān)節(jié)的運(yùn)動(dòng)范圍經(jīng)過(guò)多次反復(fù)計(jì)算，選擇一組合理的解。通過(guò)逆運(yùn)動(dòng)學(xué)求解機(jī)械臂各關(guān)節(jié)角度十分復(fù)雜，本文以Kinect相機(jī)建立空間坐標(biāo)系，如圖9所示，定位出的關(guān)節(jié)點(diǎn)由二維坐標(biāo)圖像轉(zhuǎn)換為三維坐標(biāo)的，再將機(jī)械臂關(guān)節(jié)角度的計(jì)算簡(jiǎn)化為對(duì)空間向量夾角的計(jì)算，該方法簡(jiǎn)單有效。

深度圖像到空間三維坐標(biāo)的轉(zhuǎn)換[14]可由如下表達(dá)式求得：

(7)

式中，(i，j)為圖像坐標(biāo)，(x，y)為空間坐標(biāo)，(δx，δy)為Kinect的鏡頭畸變，(cx，cy)為圖像中心點(diǎn)，(fx，fy)為比例參數(shù)，d是距離值。根據(jù)定位出的關(guān)節(jié)點(diǎn)像素的二維圖像坐標(biāo)和深度值，按公式(7)即可算出每個(gè)關(guān)節(jié)點(diǎn)的空間坐標(biāo)。

對(duì)于Kinect坐標(biāo)系中任意兩個(gè)不重合的坐標(biāo)點(diǎn)A(x1，y1，z1)，B(x2，y2，z2)，可轉(zhuǎn)化到傳統(tǒng)空間坐標(biāo)系中組成向量AB。轉(zhuǎn)化公式為：

(8)

根據(jù)以上性質(zhì)，機(jī)械臂關(guān)節(jié)角度的計(jì)算可以簡(jiǎn)化為空間向量夾角的計(jì)算，如定位出的關(guān)節(jié)點(diǎn)A、B、C之間關(guān)節(jié)角度，可以直接通過(guò)計(jì)算空間向量BA和BC的夾角得出，公式如下：

(9)

(10)

(11)

圖8 機(jī)械臂連桿坐標(biāo)系

圖9 機(jī)械臂關(guān)節(jié)點(diǎn)空間向量表示

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)平臺(tái)是Win7 x86 + VS2012 + Kinect for Windows SDK v1.6 + OpenCV3.0，圖像采集設(shè)備是Kinect，機(jī)械臂是安川首鋼公司的長(zhǎng)臂型機(jī)械臂MOTOMAN-MA2010。實(shí)驗(yàn)主要分為數(shù)據(jù)的采集，機(jī)械臂輪廓的提取，機(jī)械臂輪廓填充、平滑處理，機(jī)械臂輪廓的細(xì)化，機(jī)械臂關(guān)節(jié)點(diǎn)的定位以及關(guān)節(jié)角度的計(jì)算，關(guān)節(jié)角度的計(jì)算是按定位出的5個(gè)關(guān)節(jié)點(diǎn)依次按順序取3個(gè)關(guān)節(jié)點(diǎn)計(jì)算而來(lái)。

表1 機(jī)械臂關(guān)節(jié)角度

從實(shí)驗(yàn)結(jié)果可以看出，本文以深度圖像為主、彩色圖像為輔提取機(jī)械臂輪廓圖像，通過(guò)膨脹、腐蝕、中值濾波預(yù)處理輪廓圖像，再對(duì)輪廓圖像細(xì)化算得到機(jī)械臂骨架，細(xì)化后的機(jī)械臂骨架為單位像素寬，該方法可以魯棒地實(shí)現(xiàn)機(jī)械臂關(guān)節(jié)點(diǎn)的定位和關(guān)節(jié)角度的計(jì)算。另外，本文所使用的方法只需一次手工設(shè)定閾值，能夠自動(dòng)地定位機(jī)械臂關(guān)節(jié)點(diǎn)，并計(jì)算出關(guān)節(jié)角度。

4 結(jié)束語(yǔ)

本文提出了一種提取機(jī)械臂目標(biāo)輪廓的方法，首先結(jié)合深度圖像和彩色圖像，利用膨脹腐蝕方法填充機(jī)械臂輪廓中的空洞，用中值濾波對(duì)機(jī)械臂輪廓進(jìn)行平滑處理后；用細(xì)化法對(duì)機(jī)械臂輪廓進(jìn)行細(xì)化處理，得到的機(jī)械臂骨架為單位像素寬；其次，結(jié)合機(jī)械臂各關(guān)節(jié)的位置關(guān)系和各關(guān)節(jié)部件的比例關(guān)系，定位出機(jī)械臂關(guān)節(jié)點(diǎn)；最后，用空間向量法計(jì)算關(guān)節(jié)角度。該方法保證了機(jī)械臂關(guān)節(jié)點(diǎn)定位的準(zhǔn)確性，并為深度相機(jī)仿真機(jī)械臂檢測(cè)和機(jī)械臂奠定了基礎(chǔ)。由于該機(jī)械臂工作空間小，不會(huì)出現(xiàn)遮擋情況，本文未對(duì)遮擋情況進(jìn)行處理。另外，由于Kinect對(duì)物體距離的測(cè)量本身存在一定誤差，圖像處理也有部分誤差，所以機(jī)械臂關(guān)節(jié)角度的計(jì)算存在一定的誤差，今后將進(jìn)一步研究提高計(jì)算的準(zhǔn)確性。

[1] 王田苗,陶永.我國(guó)工業(yè)機(jī)器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J].機(jī)械工程學(xué)報(bào),2014,50(9):1-13.

[2] 劉海濤.工業(yè)機(jī)器人的高速高精度控制方法研究[D].廣州：華南理工大學(xué),2012.

[3] 蔡自興,郭璠.中國(guó)工業(yè)機(jī)器人發(fā)展的若干問(wèn)題[J].機(jī)器人技術(shù)與應(yīng)用,2013,03:9-12.

[4] 劉磊.工業(yè)機(jī)器人遠(yuǎn)程監(jiān)控診斷服務(wù)系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)[D].大連：大連理工大學(xué),2014.

[5] 周致富. 基于Kinect傳感器的三維點(diǎn)云模型重建研究[D].武漢：武漢科技大學(xué),2015.

[6] Deng J, Hu J, Wu J. A study of color space transformation method using nonuniform segmentation of color space source[J].Journal of Computers,2011,6(2):288-296.

[7] Yang L, Ren Y, Zhang W. 3D depth image analysis for indoor fall detection of elderly people[J].Digital Communications and Networks,2016，2(1)：24-34.

[8] 周穎.深度圖像的獲取及其處理[D].西安：西安電子科技大學(xué),2008.

[9] 趙旭. Kinect深度圖像修復(fù)技術(shù)研究[D].大連：大連理工大學(xué),2013.

[10] 周楊. 深度圖像分割算法的研究與仿真實(shí)現(xiàn)[D].哈爾濱：哈爾濱理工大學(xué),2008.

[11] 陸宗騏,朱煜. 數(shù)學(xué)形態(tài)學(xué)腐蝕膨脹運(yùn)算的快速算法[C]//中國(guó)圖象圖形學(xué)學(xué)會(huì).第十三屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集.中國(guó)圖象圖形學(xué)學(xué)會(huì),2006.

[12] Wu J. Wavelet domain denoising method based on multistage median filtering[J].The Journal of China Universities of Posts and Telecommunications,2013,20(2)2:113-119.

[13] 吳選忠.Zhang快速并行細(xì)化算法的擴(kuò)展[J].福建工程學(xué)院學(xué)報(bào),2006,4(1)1:89-92.

[14] Wang S, Li C,Kong D, et al. Extracting hand articulations from monocular depth images using curvature scale space descriptors[J].Frontiers of Information Technology & Electronic Engineering,2016,17(1)1:41-54.

(責(zé)任編輯：熊文濤)

Research on the Detection of Manipulator Arm Joint Angle Based on RGB-D Image

Liu Haifeng1,2， Chen Peng2

(1.HubeiKeyLaboratoryofintelligentrobot,WuhanInstituteofTechnology,Wuhan,Hubei430205,China2.SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

For the angle value of each joint of manipulator arm, a calculation method is proposed, using RGB-D image. Firstly, the RGB color and depth image are obtained, using Kinect and alignedto segment the manipulator arm from the depth image by the threshold segmentation. Secondly, the manipulator arm outline frames are extracted according to the thinning algorithm. By combining the position relation of the rigid body parts of the manipulator arm, the joint points are located and the joint angle of the manipulator is calculated based on the properties of the vector. The method can locate joint point and calculate the joint angle of the manipulator with high accuracy and robustness.

manipulator arm;depth image; thinning algorithm; joint point calibrated; joint angle

2016-05-18

湖北省教育廳青年人才項(xiàng)目(Q20111504)；武漢工程大學(xué)科學(xué)研究基金項(xiàng)目(12116021)；武漢工程大學(xué)研究生教育創(chuàng)新基金項(xiàng)目(CX201274)

劉海豐(1989- )，男，湖北宜昌人，武漢工程大學(xué)智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室碩士研究生。

陳 鵬(1990- )，男，湖北宜昌人，武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院碩士研究生。

TP311

A

2095-4824(2016)06-0097-05