朱　銳，吳旻駿，金弘晟，湯勇明*

(1.東南大學(xué)信息科學(xué)與工程學(xué)院，南京210096; 2.東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096)

?

基于紅外和彩色圖像傳感器的機(jī)械手臂控制系統(tǒng)

朱銳1，吳旻駿2，金弘晟2，湯勇明2*

(1.東南大學(xué)信息科學(xué)與工程學(xué)院，南京210096; 2.東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096)

摘要:提出了一種機(jī)械手臂控制系統(tǒng)。硬件系統(tǒng)主要由包含紅外和彩色圖像傳感器的Kinect、Atom平臺(tái)上位機(jī)、舵機(jī)控制器和機(jī)械手臂組成。使用圖像分割識(shí)別、SVM、線性濾波、人機(jī)關(guān)節(jié)映射等算法實(shí)現(xiàn)了機(jī)械手臂在多種模式下的實(shí)時(shí)人體追蹤和模仿功能。開(kāi)發(fā)了基于C#的圖形用戶界面和基于Java3D的三維仿真平臺(tái)，增強(qiáng)用戶開(kāi)發(fā)和使用體驗(yàn)。本系統(tǒng)精度高，延遲小，對(duì)環(huán)境有較強(qiáng)的魯棒性，具有較強(qiáng)的應(yīng)用前景。

關(guān)鍵詞:傳感器;控制系統(tǒng);模型;紅外;機(jī)械手臂;識(shí)別; GUI

仿真機(jī)械手臂是人體工程學(xué)和機(jī)器人領(lǐng)域的熱點(diǎn)研究方向之一［1］。目前，大型仿真機(jī)械臂使用的傳感器結(jié)構(gòu)復(fù)雜造價(jià)昂貴，而民用的機(jī)械臂由大多通過(guò)設(shè)定的指令或操縱桿或者攝像頭進(jìn)行控制［2］。文獻(xiàn)［3］提出了一種基于彩色圖像特征提取和Hausdorff距離分類的手勢(shì)識(shí)別。文獻(xiàn)［4］提出了一種結(jié)合了運(yùn)動(dòng)信息和基于KL變換的膚色模型的模式識(shí)別方法，增強(qiáng)了圖像背景比較復(fù)雜的情況下的識(shí)別魯棒性。Kinect是Microsoft公司推出的體感傳感器，配備有紅外測(cè)距攝像頭(以下簡(jiǎn)稱紅外攝像頭)和彩色攝像頭，其中提供了物體的空間信息，對(duì)于機(jī)械臂控制有很大的幫助。在利用Kinect傳感器控制機(jī)械臂方面，文獻(xiàn)［5］利用Kinect SDK建立了骨骼模型，文獻(xiàn)［6］優(yōu)化了機(jī)械臂運(yùn)動(dòng)的路徑規(guī)劃，文獻(xiàn)［7］優(yōu)化了復(fù)雜背景下的紅外目標(biāo)特征提取，文獻(xiàn)［8］提取了Kinect傳感器深度圖像的區(qū)間分布特征并直接使用機(jī)器學(xué)習(xí)的方法進(jìn)行訓(xùn)練，實(shí)現(xiàn)了對(duì)于5個(gè)簡(jiǎn)單手勢(shì)的識(shí)別。

本文結(jié)合并改進(jìn)了現(xiàn)有的一些技術(shù)方案，實(shí)現(xiàn)了一套完善的軟硬件結(jié)合的機(jī)械手臂控制系統(tǒng)。本方案利用Kinect傳感器套件的紅外攝像頭和彩色攝像頭對(duì)人體手部和上肢進(jìn)行數(shù)據(jù)采集，使用OpenNI開(kāi)源項(xiàng)目接口獲取Kinect的600×400分辨率紅外和彩色攝像頭源數(shù)據(jù)并進(jìn)行分析處理，并實(shí)時(shí)控制機(jī)械手和機(jī)械臂的運(yùn)動(dòng)。主要功能包括實(shí)現(xiàn)機(jī)械手實(shí)時(shí)模擬人體手指動(dòng)作，機(jī)械手臂實(shí)時(shí)追蹤人體手臂運(yùn)動(dòng)和手勢(shì)控制機(jī)械手臂運(yùn)動(dòng)和抓物等。

1　系統(tǒng)硬件設(shè)計(jì)

系統(tǒng)由Kinect傳感器，基于Windows Embedded 的Atom平臺(tái)工控主板，無(wú)線通信模塊，基于Atmel單片機(jī)的舵機(jī)控制器以及4關(guān)節(jié)6自由度機(jī)械臂和五指仿真機(jī)械手組成。部分組件的參數(shù)信息如表1所示。

表1　各組件詳細(xì)參數(shù)信息

表1中，舵機(jī)MG996R重量為55.0 g，扭力為13.0 kg/cm，轉(zhuǎn)動(dòng)角度為左右各150°。舵機(jī)GS9025重量為14.7 g，扭矩為2.5 kg/cm，轉(zhuǎn)動(dòng)角度為左右各90°。機(jī)械臂使用公版U梁、軸承、多功能支架等搭建而成，實(shí)現(xiàn)60 cm×60 cm×60 cm空間內(nèi)的末端運(yùn)動(dòng)覆蓋，自由度為6個(gè)，可以縮小比例模擬人體上肢的基本運(yùn)動(dòng)。機(jī)械手使用公版鋁制關(guān)節(jié)和定制的手掌支架結(jié)構(gòu)組成，仿真人體結(jié)構(gòu)。指尖通過(guò)拉線固定到舵機(jī)盤(pán)，控制舵機(jī)盤(pán)的轉(zhuǎn)動(dòng)來(lái)實(shí)現(xiàn)手指的屈伸。

系統(tǒng)工作流程如下:Kinect傳感器的紅外和彩色攝像頭捕捉操作者手臂和手指的動(dòng)作，數(shù)據(jù)交由嵌入式平臺(tái)上的上位機(jī)處理，進(jìn)行建模并計(jì)算出每個(gè)關(guān)節(jié)舵機(jī)的角度，通過(guò)無(wú)線模塊與舵機(jī)控制器實(shí)時(shí)通訊，舵機(jī)控制器上的單片機(jī)和控制電路根據(jù)命令輸出不同占空比的PWM方波到機(jī)械手和機(jī)械臂的舵機(jī)以實(shí)現(xiàn)角度調(diào)整，模擬人體動(dòng)作。

2　系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件結(jié)構(gòu)如圖1所示，主要由嵌入式平臺(tái)上的上位機(jī)軟件、通訊模塊程序和舵機(jī)控制板上的下位機(jī)軟件組成。

2.1圖像源數(shù)據(jù)的采集

本方案利用OpenNI提供的接口可以獲得RGB圖像矩陣(600×400像素，每個(gè)像素含有R、G、B三值彩色數(shù)據(jù))和紅外線深度圖像(600×400像素，每個(gè)像素含有物體距離傳感器的像素距離)。值得注意的是，需要把接口返回的以像素為單位的深度數(shù)據(jù)ddraw轉(zhuǎn)換成以實(shí)際距離為單位的距離數(shù)據(jù)d。轉(zhuǎn)換關(guān)系如下:

圖1　系統(tǒng)軟件結(jié)構(gòu)框圖

式中，K=0.1236 m，O=0.037 m。

2.2關(guān)鍵點(diǎn)的提取和手勢(shì)識(shí)別

2.2.1基于閾值分割和聚類算法獲取手部圖像

圖2　左上和右上圖:紅外圖像和截取的手臂像素;左下和右下圖:彩色圖像和截取的手臂像素

對(duì)紅外深度圖像的像素按照物體距離傳感器的像素距離數(shù)據(jù)進(jìn)行聚類。平均距離最近的一類認(rèn)為大部分是手臂的數(shù)據(jù)。在聚類中心附近取一個(gè)距離閾值，在該聚類內(nèi)部運(yùn)用該閾值截取出手臂的準(zhǔn)確像素集合。此時(shí)可以實(shí)現(xiàn)將手臂和背景的分離。再利用截取的這些紅外像素作為遮罩，從彩色圖像像素中截取手臂部分的像素，如圖2所示。這樣可以獲得兩份手部的數(shù)據(jù)源。其中彩色圖像的數(shù)據(jù)可以使用目前成熟的圖像識(shí)別的方法［3，10］進(jìn)行后續(xù)處理和決策，以輔助紅外圖像的數(shù)據(jù)進(jìn)行處理后進(jìn)行的決策，提高決策可靠性。下文介紹利用紅外數(shù)據(jù)進(jìn)行處理和決策。此種方法相較于傳統(tǒng)的基于彩色圖像數(shù)據(jù)的圖像識(shí)別方法的優(yōu)勢(shì)在于不受膚色、背景情況、光照條件以及操作者是否戴手套等制約。

在分割完畢手臂數(shù)據(jù)的基礎(chǔ)上，利用K均值算法［11］區(qū)分雙手和排除障礙物。K均值算法是一種基于函數(shù)收斂的N類聚類算法。訓(xùn)練和調(diào)節(jié)K均值算法的聚類中心閾值參數(shù)，可以得到比較理想的聚類效果。如圖3所示，在雙手同時(shí)被檢測(cè)到的情況下，K均值算法可以得到兩個(gè)聚類，根據(jù)需要選取其中一只手的數(shù)據(jù)。

圖3　生成左右手聚類和障礙物排除

一個(gè)聚類的總重，正相關(guān)于該聚類的像素?cái)?shù)目。如果像素?cái)?shù)目低于或者高于一定的閾值則可判別為非人手從而拋棄，起到在部分情況下排除障礙物的效果。圖3中，右側(cè)為和手靠近的小塊障礙物，聚為一類，可以通過(guò)設(shè)定的閾值排除。

2.2.2基于Graham掃描算法和角點(diǎn)檢測(cè)確定指尖和指蹼

圖4　關(guān)鍵點(diǎn)的確定示意圖

一個(gè)包含平面上所有點(diǎn)的最小的凸多邊形叫做凸包。手部凸包定義為手臂圖像中的端點(diǎn)，比如指尖和手臂外緣點(diǎn)的連線形成的多邊形，參見(jiàn)圖4的多邊形外框。利用Graham掃描算法確定手部的凸包找到手型外部的凸包。Graham掃描算法簡(jiǎn)單描述如下［12］:

(1)在二維平面上標(biāo)記點(diǎn)A1，A2，A3，…，An，并建立笛卡爾坐標(biāo)系;

(2)從橫坐標(biāo)最小的一點(diǎn)(不妨設(shè)為A1)開(kāi)始搜尋。計(jì)算A1跟其他點(diǎn)的連線與x軸的角度，取角度最小的一點(diǎn)(不妨設(shè)為A2)作為凸包上下一點(diǎn);

(3)考慮對(duì)于A2而言角度最小的點(diǎn)A3.若A2到A3的路徑相對(duì)于A1到A2的路徑是向右轉(zhuǎn)的，則A3不可能是凸包上下一點(diǎn)。再考慮A4作為A2的下一點(diǎn)是否可行。如此往復(fù)直到回到A1.此時(shí)依此規(guī)則找到的所有點(diǎn)依次相連形成的多邊形即為凸包。

對(duì)手臂的像素點(diǎn)利用Graham掃描算法可以獲得手部凸包，如圖4中的外圍多邊形。手部凸包與手臂數(shù)據(jù)的輪廓的共同點(diǎn)即為指尖(點(diǎn)F1～F5)和手臂下端的位置(取中點(diǎn)得到手臂中心點(diǎn)A)。

2.2.3基于閾值分割和SVM的手勢(shì)檢測(cè)

至此，本方案已經(jīng)初步實(shí)現(xiàn)了手臂運(yùn)動(dòng)狀態(tài)的檢測(cè)和針對(duì)單個(gè)手指的位置檢測(cè)，從而可以根據(jù)手部的狀態(tài)判斷出操作者的手勢(shì)(例如，食指自然伸直而其他手指彎曲，可判斷操作者試圖做出“一”的手勢(shì))。但是，由于源數(shù)據(jù)精度不足、對(duì)空間遮擋和手腕運(yùn)動(dòng)的魯棒性不足等問(wèn)題，識(shí)別準(zhǔn)確度會(huì)下降。本方案以SVM(支持向量機(jī))來(lái)提高手勢(shì)識(shí)別的精度。

圖5　五指的閾值分割

SVM是機(jī)器學(xué)習(xí)理論中一種常見(jiàn)的分類器，可以根據(jù)訓(xùn)練樣本進(jìn)行手勢(shì)的分類和學(xué)習(xí)，從而對(duì)測(cè)試樣本進(jìn)行類別的預(yù)測(cè)。本文對(duì)常見(jiàn)的“一”到“九”的單手手勢(shì)進(jìn)行各30個(gè)樣本的采集，樣本中伴隨著手腕運(yùn)動(dòng)、測(cè)試者距離等因素帶來(lái)的干擾。提取樣本的Harr-like特征子［16］作為SVM的輸入對(duì)SVM進(jìn)行訓(xùn)練，建立手部的SVM模型?；陂撝捣指畹氖謩?shì)和基于SVM的手勢(shì)識(shí)別在測(cè)試集上準(zhǔn)確度如表2所示。

表2　基于閾值分割和基于SVM的手勢(shì)識(shí)別準(zhǔn)確度

測(cè)試表明，對(duì)于復(fù)雜或者易混淆的手勢(shì)，基于機(jī)器學(xué)習(xí)的SVM手勢(shì)識(shí)別在準(zhǔn)確度上有一定優(yōu)勢(shì)，但是受到運(yùn)算效率限制，幀數(shù)較低。在實(shí)際方案中可以考慮優(yōu)先使用基于閾值分割的識(shí)別法，在置信度較低時(shí)使用基于SVM的方法進(jìn)行輔助決策。

2.3數(shù)據(jù)濾波和模型映射

2.3.1數(shù)據(jù)的穩(wěn)定和濾波

Kinect傳感器每秒捕獲約30幀數(shù)據(jù)［17］，幀數(shù)大大超過(guò)了控制舵機(jī)需要的幀數(shù)，同時(shí)由于傳感器誤差、環(huán)境干擾和算法不穩(wěn)定等因素會(huì)產(chǎn)生大量的異常數(shù)據(jù)點(diǎn)，必須剔除這些數(shù)據(jù)點(diǎn)并完成采樣。濾波的主要算法有閾值控制、分組采樣和線性擬合、延遲輸出等。

首先通過(guò)最基本的閾值判斷剔除明顯存在錯(cuò)誤的角度點(diǎn)，然后采用分組抽樣的策略，積累10幀數(shù)據(jù)為一組，進(jìn)行線性擬合。同時(shí)，為了避免數(shù)據(jù)意外跳變(比如采樣點(diǎn)突然消失，算法缺陷等情況)，制定如下的延遲輸出規(guī)則:

(1)跳變后繼續(xù)維持2個(gè)采樣時(shí)間才被認(rèn)為是手部執(zhí)行了大角度變化動(dòng)作;

(2)意外跳變點(diǎn)用最近一次有效數(shù)據(jù)填充。

如圖6所示。延遲輸出有效地濾除了短時(shí)間意外跳變，同時(shí)帶來(lái)了約3個(gè)采樣點(diǎn)的輸出延遲，但是延遲仍然控制在可接受范圍內(nèi)。

圖6　延遲輸出示意圖

經(jīng)過(guò)數(shù)據(jù)點(diǎn)采樣和多種濾波，既將數(shù)據(jù)幀率降到了可以接受的3幀/s，保證了舵機(jī)的穩(wěn)定運(yùn)行。

圖7是濾波前后的五指角度數(shù)據(jù)，可以看出，濾波算法起到了很好的穩(wěn)定作用，也是基于閾值分割的手指識(shí)別成為了可能。

2.3.2關(guān)節(jié)角度映射

如圖8所示，利用已經(jīng)獲得的手掌位置B，手指根部位置A以及指尖位置C可以在三維坐標(biāo)系OXYZ內(nèi)建立向量和.利用下列公式可以計(jì)算某根手指和手掌的夾角θ。

圖7　五指角度數(shù)據(jù)濾波前(左)五指角度數(shù)據(jù)濾波后(右)

機(jī)械手的構(gòu)造如圖9所示。固定在手掌上的5只舵機(jī)分別控制五根手指。舵機(jī)通過(guò)調(diào)整自身的旋轉(zhuǎn)角度α來(lái)轉(zhuǎn)動(dòng)舵盤(pán)，舵盤(pán)帶動(dòng)用螺絲與其連接的拉線，舵盤(pán)的轉(zhuǎn)動(dòng)從而帶動(dòng)拉線的伸展和收緊，從而帶動(dòng)手指的屈伸角度θ.反復(fù)測(cè)試建立θ和α角度之間的映射關(guān)系。

圖8　利用位置數(shù)據(jù)建立手指模型計(jì)算關(guān)節(jié)角度數(shù)據(jù)

以上完成了手指動(dòng)作的捕捉和映射，實(shí)現(xiàn)了機(jī)械手對(duì)人體手指動(dòng)作的同步跟隨。同樣的原理可以實(shí)現(xiàn)機(jī)械臂對(duì)人體手臂動(dòng)作的跟隨。

本方案的另外一個(gè)功能是實(shí)現(xiàn)機(jī)械臂頂端位置即機(jī)械手位置對(duì)人手或者人頭位置的同步跟隨，即人手或者頭部移動(dòng)時(shí)機(jī)械臂的各個(gè)關(guān)節(jié)進(jìn)行自動(dòng)調(diào)整，使得機(jī)械臂頂端始終跟人手或者人頭保持在一定的距離內(nèi)，從而實(shí)現(xiàn)遞送話筒或者攝像頭的效果。

圖9　機(jī)械手的構(gòu)造(上)機(jī)械臂的構(gòu)造(下)

圖9展示了機(jī)械臂的構(gòu)造。機(jī)械臂上有4個(gè)舵機(jī)，其中K1對(duì)應(yīng)手腕，K2和K3控制機(jī)械臂的前傾角度，K4使得上部的機(jī)械臂部分實(shí)現(xiàn)環(huán)繞底座180°的旋轉(zhuǎn)。為了實(shí)現(xiàn)機(jī)械臂頂端即K1的位置和人手或者頭部的跟隨，在三維空間中建立如圖10的模型。

圖10　三維空間中的機(jī)械臂跟蹤人手部模型

Z1為傳感器指對(duì)方向的平面即機(jī)械臂下方的旋轉(zhuǎn)舵機(jī)K4的默認(rèn)位置的朝向。當(dāng)手中心坐標(biāo)在Z1平面內(nèi)，K4舵機(jī)角度維持0°不變，調(diào)節(jié)K1～K3舵機(jī)即可實(shí)現(xiàn)人手追蹤，此時(shí)所有舵機(jī)、機(jī)械臂和人手中心坐標(biāo)都在默認(rèn)的Z1平面內(nèi)。當(dāng)人手坐標(biāo)移出Z1平面內(nèi)時(shí)，傳感器捕捉人手中心坐標(biāo)，計(jì)算出偏離角度β，根據(jù)β結(jié)合幾何方法和實(shí)測(cè)數(shù)據(jù)計(jì)算出舵機(jī)K4的旋轉(zhuǎn)角度，控制舵機(jī)K4旋轉(zhuǎn)機(jī)械臂上部和人手重新回到同一個(gè)平面Z2內(nèi)，即可實(shí)現(xiàn)跟隨功能。

2.4圖形界面和通信模塊

2.4.1圖形用戶界面和三維仿真平臺(tái)

如圖11所示，基于C# GUI編寫(xiě)了上位機(jī)的圖形用戶界面，展示了實(shí)時(shí)的二維抽象手臂模型和必要的參數(shù)?；贘ava3D三維圖形庫(kù)［18］開(kāi)發(fā)了跟實(shí)際模型參數(shù)相同的三維仿真平臺(tái)，為測(cè)試模型數(shù)據(jù)提供了方便。

2.4.2基于C#的串口通訊模塊

圖11　上位機(jī)圖形用戶界面(左)和基于Java3D的三維仿真模塊(右)

上位機(jī)和下位機(jī)之間通過(guò)字符串轉(zhuǎn)字節(jié)流的形式傳輸每個(gè)舵機(jī)的編號(hào)、轉(zhuǎn)動(dòng)角度、移動(dòng)速率、轉(zhuǎn)動(dòng)到該角度所需的動(dòng)作時(shí)間等參數(shù)。根據(jù)預(yù)訂的協(xié)議將所有的角度數(shù)據(jù)編碼成字符串，交由基于RS232串口通訊協(xié)議開(kāi)發(fā)的C#通訊程序傳輸至舵機(jī)控制器，經(jīng)由無(wú)線局域網(wǎng)的無(wú)線通訊模塊傳輸至舵機(jī)控制器。在下位機(jī)上從SCI緩存區(qū)中接收指令字符串并在單片機(jī)平臺(tái)的C語(yǔ)言程序中進(jìn)行解釋，生成每個(gè)舵機(jī)的PWM方波控制信號(hào)，經(jīng)由舵機(jī)控制板的外圍電路傳送給各個(gè)舵機(jī)實(shí)現(xiàn)實(shí)時(shí)控制。

3　系統(tǒng)實(shí)現(xiàn)效果

該系統(tǒng)實(shí)現(xiàn)機(jī)械手臂在3種模式下的人體追蹤和模仿:模式1:捕捉分析人手指和手臂動(dòng)作并實(shí)現(xiàn)機(jī)械手實(shí)時(shí)模擬人體手指動(dòng)作，模式2:機(jī)械手臂實(shí)時(shí)跟隨人體手臂運(yùn)動(dòng)而運(yùn)動(dòng)(即實(shí)時(shí)追蹤)，模式3:手勢(shì)控制機(jī)械臂運(yùn)動(dòng)和抓物等功能。具體指標(biāo)為:在任何光照條件下在距離傳感器50 cm的一個(gè)50 cm見(jiàn)方的空間內(nèi)實(shí)現(xiàn)對(duì)五指、手掌和手臂的捕捉和建模，識(shí)別精度為1 cm，跟隨移動(dòng)時(shí)間延遲在0.5 s以內(nèi)。機(jī)械臂實(shí)現(xiàn)在60 cm見(jiàn)方的空間內(nèi)全自由度運(yùn)動(dòng)，運(yùn)動(dòng)敏捷穩(wěn)定。

3.1模式1

如圖12所示，該模式下能夠分別識(shí)別五根手指的動(dòng)作并在機(jī)械手上做出同步的模擬，能識(shí)別基本的手勢(shì)，其中上圖是對(duì)手勢(shì)“一”的識(shí)別。

圖12　模式1操作圖

3.2模式2

如圖13所示，該模式下機(jī)械臂頂端載物平臺(tái)放置攝像頭，人手運(yùn)動(dòng)時(shí)系統(tǒng)能夠自動(dòng)調(diào)節(jié)機(jī)械臂各關(guān)節(jié)和載物平臺(tái)的角度使得人手始終在攝像頭畫(huà)面內(nèi)。該模式可推廣至追蹤人頭部運(yùn)動(dòng)的麥克風(fēng)等場(chǎng)合。圖13中，手在最左最右最上最下最近最遠(yuǎn)約50 cm見(jiàn)方空間內(nèi)大幅度移動(dòng)時(shí)能始終保持在攝像頭畫(huà)面(中下部框中圖像)內(nèi)，表明機(jī)械臂頂端攝像頭能很好的跟蹤手部運(yùn)動(dòng)。

圖13　模式2現(xiàn)場(chǎng)操作圖

3.3模式3

該模式下GUI上顯示上、下、左、右4個(gè)虛擬按鍵，手掌置于這4個(gè)虛擬按鍵區(qū)域時(shí)可以控制機(jī)械臂的機(jī)械手執(zhí)行垂直上下和水平屈伸的運(yùn)動(dòng)，從而控制機(jī)械手到達(dá)待抓物體處。操作者再做出抓取的動(dòng)作，從而控制機(jī)械手臂抓取物體。

4　總結(jié)與展望

本文提出了一種基于Kinect紅外和彩色傳感器的機(jī)械手臂控制系統(tǒng)，并測(cè)試了相關(guān)的性能指標(biāo)，精度和延遲特性均表現(xiàn)良好。與現(xiàn)有的民用方案相比，本方案實(shí)現(xiàn)了全手勢(shì)控制，可以取代傳統(tǒng)的手柄和撥碼盤(pán)的控制方案;由于使用了紅外傳感器距離信息的圖像作為主數(shù)據(jù)源，使得剝離背景、手指識(shí)別和追蹤更加準(zhǔn)確，同時(shí)對(duì)環(huán)境的魯棒性大大增強(qiáng)。機(jī)械手臂實(shí)現(xiàn)在60 cm見(jiàn)方的空間內(nèi)全自由度運(yùn)動(dòng)，操作穩(wěn)定延遲小。圖形用戶界面和模擬平臺(tái)使得系統(tǒng)對(duì)開(kāi)發(fā)者和用戶更加友好。同時(shí)，本系統(tǒng)可以在3種模式下進(jìn)行手臂追蹤模擬，對(duì)應(yīng)于不同的場(chǎng)景和需求。具有較強(qiáng)的實(shí)用性。

本方案的不足之處在于，基于紅外和彩色傳感器的數(shù)據(jù)采集仍然存在遮擋的情況，同時(shí)系統(tǒng)集成度不高，可以在后續(xù)工作中進(jìn)行改進(jìn)。

參考文獻(xiàn):

［1］Ummul Azki，Musa.Humanoid Robot Development［D］.Durian Tunggal:Universiti Teknikal Malaysia Melaka，2009.

［2］韓崢，劉華平，黃文炳，等.基于Kinect的機(jī)械臂目標(biāo)抓?。跩］.智能系統(tǒng)學(xué)報(bào)，2013(4):149－155.

［3］張良國(guó)，吳江琴，高文，等.基于Hausdorff距離的手勢(shì)識(shí)別［J］.中國(guó)圖像圖形學(xué)報(bào)(A輯)，2002，7(11):1144－1150.

［4］劉寅，滕曉龍，劉重慶.復(fù)雜背景下基于傅立葉描述子的手勢(shì)識(shí)別［J］.計(jì)算機(jī)仿真，2005，22(12):158－161.

［5］林海波，梅為林，張毅，等.基于Kinect骨骼信息的機(jī)械臂體感交互系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30(2):157－160.

［6］秦勇，臧希喆，王曉宇，等.基于MEMS慣性傳感器的機(jī)器人姿態(tài)檢測(cè)系統(tǒng)的研究［J］.傳感技術(shù)學(xué)報(bào)，2007，20(2):298－301.

［7］王江安，朱向前，宗思光，等.紅外目標(biāo)特征分析及融合特征提?。跩］.傳感技術(shù)學(xué)報(bào)，2005，18(2):289－291.

［8］關(guān)然，徐向民，羅雅愉，等.基于計(jì)算機(jī)視覺(jué)的手勢(shì)檢測(cè)識(shí)別技術(shù)［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30(1):155－164.

［9］鄭斌玨，趙遼英，王毅軒.基于Kinect深度信息的手指檢測(cè)與手勢(shì)識(shí)別［J］.計(jì)算機(jī)科學(xué)與技術(shù)匯刊:中英文版，2014，3(1):9－14.

［10］陳一民，張?jiān)迫A.基于手勢(shì)識(shí)別的機(jī)器人人機(jī)交互技術(shù)研究［J］.機(jī)器人，2009，31(4):351－356.

［11］李光，王朝英，侯志強(qiáng).基于K均值聚類與區(qū)域合并的彩色圖像分割算法［J］.計(jì)算機(jī)應(yīng)用，2010，30(2):354－358.

［12］Andrew，Alex M.Another Efficient Algorithm for Convex Hulls in Two Dimensions［C］//Information Processing Letters 9.5，1979:216－219.

［13］陳白帆，蔡自興.基于尺度空間理論的Harris角點(diǎn)檢測(cè)［J］.中南大學(xué)學(xué)報(bào):自然科學(xué)版，2005，36(5):751－754.

［14］楊莉，張弘，李玉山.一種快速自適應(yīng)RSUSAN角點(diǎn)檢測(cè)算法［J］.計(jì)算機(jī)科學(xué)，2004，31(5):198－200.

［15］Shotton J，Sharp T，Kipman A，et al.Real-Time Human Pose Recognition in Parts from Single Depth Images［J］.Communications of the ACM，2013，56(1):116－124.

［16］Lienhart R，Maydt J.An Extended Set of Haar-Like Features for Rapid Object Detection［C］//Image Processing.2002.Proceedings.2002 International Conference on.IEEE，2002，Vol. 1:900－903.

［17］Jarrett Webb，James Ashley.Beginning Kinect Programming with the Microsoft Kinect SDK［M］.United State:Apress，2012:87－88，298－299.

［18］李凱里.機(jī)械臂虛擬控制中的Java3D設(shè)計(jì)技術(shù)［J］.系統(tǒng)仿真學(xué)報(bào)，2008(z1):117－119.

朱　銳(1993－)，男，漢族，江蘇省淮安市人，東南大學(xué)信息科學(xué)與工程學(xué)院本科在讀，信息工程專業(yè)，jerrypiglet@gmail.com;

吳旻駿(1993－)，男，漢族，安徽省蚌埠市人，東南大學(xué)電子科學(xué)與工程學(xué)院本科在讀，電子科學(xué)與技術(shù)專業(yè)，higsyuhing@126.com;

金弘晟(1993－)，男，漢族，江蘇省蘇州市人，東南大學(xué)電子科學(xué)與工程學(xué)院本科在讀，電子科學(xué)與技術(shù)專業(yè)，574189383@qq.com;

湯勇明(1973－)，男，漢族，博士，研究員，江蘇省江都市人，東南大學(xué)電子科學(xué)與工程學(xué)院，研究方向?yàn)轱@示電子學(xué)、光電測(cè)試與評(píng)估，tym@seu.edu.cn。

Design of LVDS Image Data Cache System Based on USB3.0*

MENG Lingjun*，ZHOU Zhili，WEN Bo，LI Jiachao，ZHAO Panpan
(Key Labratory of Instrumentation Science and Dynamic Measurement North Univercity of China，Ministry of Education，National Key Laboratory For Electronic Measurement Technology North Univercity of China，Taiyuan 030051，China)

Abstract:Due to the limitation of USB2.0 in image data transmission，a design was proposed to achieve storage system of LVDS high speed image data based on USB3.0.The core of the design was FPGA logic control，the design actualizes data stream cache through double DDR2 SDRAM，and image data memory according to the Interleave Two plane Page Program of FLASH.Finally，the high speed data communication between the LVDS image memory system and PC machine realizes through the USB3.0 interface.The results show，the system can realize high speed memory of LVDS image data by 30 Mbyte/s，the rate of memory is increased by double compared with routine program method; upload the image data of the FLASH memorizer to PC machine，and has the advantage of，with the simple interfaces of input and output，a small size，good stability and reliability.

Key words:FPGA; USB3.0; LVDS; interleave two plane page program; DDR2 cache

doi:EEACC:722010.3969/j.issn.1005－9490.2015.04.019

收稿日期:2014－09－10修改日期:2014－09－24

中圖分類號(hào):TP212; TP273

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1005－9490(2015)04－0805－07