丁美昆，徐昱琳，蔣財軍，冉鵬

（上海大學機電工程與自動化學院，上海 200072）

基于Kinect的機器人臂手系統(tǒng)的目標抓取

丁美昆，徐昱琳，蔣財軍，冉鵬

（上海大學機電工程與自動化學院，上海 200072）

為了實現(xiàn)機器人臂手系統(tǒng)的目標抓取,采用Kinect對目標信息進行實時檢測.首先,采用張正友棋盤標定法完成對Kinect內(nèi)外參數(shù)的標定.其次,利用深度信息進行深度分割,濾除大部分干擾背景,再通過顏色與形狀特征實現(xiàn)目標的識別與定位.將識別對象的3維坐標通過以太網(wǎng)發(fā)送至機械臂控制臺,隨后機械臂移動至目標位置.最后采用變積分PID算法控制靈巧手接觸力,保證響應的快速性及精密性,實現(xiàn)靈巧手的精細抓取.通過設計一套完整的實驗系統(tǒng)驗證了該方法的有效性.

Kinect標定；深度分割；變積分PID；靈巧手

隨著機器視覺與機器人技術(shù)的發(fā)展，服務機器人越來越智能化，如日本本田公司生產(chǎn)的仿人機器人ASIMO已能夠完成接待客人、準備早餐等任務［1］.智能服務機器人的核心技術(shù)包括目標抓取、定位、導航、人機交互、環(huán)境感知等.在家庭、辦公、醫(yī)護等環(huán)境中，智能服務機器人通常需要完成一些自主抓取任務，如傳遞物品、清理桌面等.這需要機器人能夠快速準確地完成對環(huán)境中物體的定位與識別，以及實現(xiàn)對目標物體的精細抓取.然而，環(huán)境的復雜性與物體的多樣性給機器人自主實現(xiàn)物體定位與識別帶來了很大的挑戰(zhàn)，使得非結(jié)構(gòu)環(huán)境下的物體定位與識別成為機器人研究領域的熱點之一［2］.

文獻［3］采用雙目立體視覺實現(xiàn)目標識別與定位.該雙目立體視覺系統(tǒng)主要包括攝像機標定、圖像分割、立體匹配和3維測距4個模塊，其中立體匹配是雙目視覺定位的最關(guān)鍵的一步，實現(xiàn)目標區(qū)域的準確立體匹配較難，而立體匹配的不準確將直接導致所獲取的深度信息產(chǎn)生偏差［4］，同時其實時性是雙目和多目定位視覺系統(tǒng)面臨的最大挑戰(zhàn).文獻［5］采用雙目立體視覺實現(xiàn)目標的抓取，即在識別物體時，采用顏色分割法將RGB顏色空間轉(zhuǎn)換至HSV顏色空間，并通過選取閾值來分割圖像，分割后的圖像受背景干擾較大且噪點較多.文獻［6］利用Kinect實現(xiàn)目標識別與定位，其定位前采用張正友棋盤標定法標定攝像頭內(nèi)外參數(shù).在識別物體時采用基于深度信息的背景相減法，該方法只適用于物體變動檢測.文獻［7］利用Kinect采集的RGB與深度信息，生成點云，并利用點云分割來實現(xiàn)目標物體識別.該方法的實時性較差，且對算法優(yōu)化要求較高［8］.

本系統(tǒng)利用Kinect能夠提供深度信息以及RGB信息的特性，簡化識別過程，實現(xiàn)對目標物體的3維定位，并且具有較好的實時性.在定位前，系統(tǒng)采用操作簡便的張正友棋盤標定法完成Kinect內(nèi)外參數(shù)的標定.識別時，先利用Kinect采集的深度信息進行深度分割，濾除大部分背景干擾，降低后期運算識別的復雜性，然后對深度分割后的圖像進行顏色分割，最后利用形狀特征濾除干擾物，實現(xiàn)對目標物體的識別.

1 系統(tǒng)組成

本系統(tǒng)的機器人臂手系統(tǒng)是由視覺傳感器Kinect、UR5機械臂、靈巧手及主控制計算機組成（見圖1）.

圖1 系統(tǒng)構(gòu)成圖Fig.1 Structure of system

1.1 Kinect

Kinect最初是為室外體感游戲服務，但其實質(zhì)上是一個3D視覺傳感器.它是由一個紅外線（infrared radiation，IR）投射器、一個紅外攝像頭和一個RGB攝像頭組成.IR投射器和IR攝像頭負責生成深度圖像，而RGB攝像頭負責采集RGB彩色圖像，其分辨率可以達到640×480［9-10］.在本系統(tǒng)中，Kinect主要負責采集深度信息和RGB圖像信息.

1.2 模塊化機械臂

系統(tǒng)中的模塊化機械臂是由丹麥Universal Robot公司生產(chǎn)的UR5機械臂，共有6個自由度，機械臂末端的最大負荷為5 kg.

1.3 SHU-Ⅱ靈巧手

SHU-Ⅱ靈巧手安裝于機械臂的末端，能實現(xiàn)物體的抓取功能.靈巧手是由上海大學自行研發(fā)的SHU-Ⅱ靈巧手（見圖1）.該靈巧手共有5個手指，每個手指的運動通過電機拉動與手指連接的牽引線來實現(xiàn)，由于其手指關(guān)節(jié)嵌入彈簧片，故控制手指的抓取只需精確控制電機的方向和轉(zhuǎn)速；另外，拇指除了彎曲自由度外還有一個向左向右的自由度.通過與電機相連接的磁編碼器精確測量手指的位置，這是因為在每個手指的3個關(guān)節(jié)處安裝了靈敏度很高的壓力傳感器.因此，該靈巧手在抓取時能根據(jù)目標物體的形狀、大小和硬度實現(xiàn)自適應控制.

1.4 主控制計算機

主控制計算機為一臺普通PC機，其主要功能是處理Kinect采集的深度與RGB圖像數(shù)據(jù)，計算出目標物體的3維坐標信息.通過TCP/IP網(wǎng)絡與機械臂控制臺進行通信，實現(xiàn)機械臂控制；并通過串口通信發(fā)送指令控制靈巧手，實施抓取動作.

開發(fā)平臺Visual Studio 2010，配置OpenNI采集Kinect獲取的深度信息和RGB信息，并配置OpenCV處理獲取的深度信息和RGB信息，實現(xiàn)對目標物體的識別與定位.

2 目標識別與定位

2.1 Kinect標定

為了實現(xiàn)對目標物體的精確定位，首先需要對Kinect進行標定.目前，Kinect標定主要包括攝像頭標定，以及深度圖像與RGB圖像重合.采用OpenNI自帶的函數(shù)已經(jīng)可以很好地解決深度與RGB圖像的校正，故Kinect標定問題為攝像頭標定問題.

目前攝像頭標定方法很多，本系統(tǒng)采用了張正友棋盤標定法［11-12］，該方法標定過程簡單，操作方便［6］.在標定時，攝像頭模型采用針孔模型，其定義如下：

即

式中，（XW，YW，ZW）為世界坐標系下某點坐標；（u，v）為（XW，YW，ZW）點投影在圖像平面的坐標；A為攝像頭內(nèi)參數(shù)矩陣；［R t］為外參數(shù)矩陣，R為旋轉(zhuǎn)矩陣，t為平移矩陣；M為世界坐標系下某點齊次坐標；fx,fy分別為攝像頭在x,y軸上的焦距；Cx,Cy分別為攝像頭焦點與成像平面中心點偏移值.

內(nèi)參數(shù)矩陣是描述攝像機坐標系與圖像坐標系之間的關(guān)系，利用內(nèi)參數(shù)可以計算出圖像坐標系的某點對應于攝像機坐標系的點，其計算如下：

式中，（XC，YC）為RGB圖像中某點在攝像機坐標系的坐標，ZC為對應于該點深度圖像中的深度值.

利用式（3）和（4）可以實現(xiàn)求取圖像平面任意一點攝像機坐標系下3維坐標.為了實現(xiàn)機械手對物體的抓取，往往需要將攝像機坐標系下的3維坐標轉(zhuǎn)換到機械臂基坐標系，因此需要計算出攝像機坐標系與機械臂基坐標系（式（2）中的世界坐標系）的關(guān)系，即外參數(shù)矩陣

攝像機坐標系的點轉(zhuǎn)換到機械臂基坐標系時表示為

在標定時，將棋盤放置在機械臂末端上，利用式（5）中機械末端坐標系與機械臂基坐標系之間的轉(zhuǎn)換關(guān)系計算并記錄下在不同視角下各個角點對應機械臂基坐標系下的坐標，并利用OpenCV中的cvCalibrateCamera2函數(shù)計算出內(nèi)外參數(shù).

在實際標定過程中，為了得到高質(zhì)量的結(jié)果，至少需要選取10幅7×8或者更大棋盤的圖像［13］.圖2為標定過程中的選取的不同視角的部分棋盤圖像.

圖2 標定過程不同視角棋盤圖Fig.2 Different perspective chessboards of calibration

2.2 目標識別

本系統(tǒng)選用大小、形狀不同的果蔬作為抓取目標，這些果蔬主要有蘋果、梨、青椒、西紅柿、香蕉、橙子等.這些果蔬的顏色特征和形狀特征較為明顯，故在識別過程中先通過顏色分割再利用果蔬的形狀特征，最終實現(xiàn)果蔬的識別.在顏色分割前，考慮到存在背景干擾，故利用深度信息濾除背景.

2.2.1 深度分割

深度分割是指利用深度信息，將不在深度范圍內(nèi)的彩色圖像信息濾除（見式（7）），從而減小識別區(qū)域，降低后期識別運算的復雜性［14-15］.

式中，PRGB為圖像中某點的RGB值，dmax為最大的深度值，dmin為最小的深度值.

本系統(tǒng)為了實現(xiàn)深度分割，將機械臂操作臺固定在距離Kinect 0.9～1.5 m位置（操作臺寬約0.6 m），將操作臺深度信息以外的背景彩色圖像信息濾除（全部變?yōu)楹谏?

在深度分割后，將操作臺面內(nèi)彩色信息提取出來，從而大大降低外部環(huán)境對果蔬識別的影響，提高后期識別計算速度，其效果如圖3（b）所示.

圖3 果蔬識別過程Fig.3 Process of fruit recognition

2.2.2 顏色與形狀識別

彩色圖像的分割往往需要選取合適的顏色空間進行分割，而RGB顏色模型是主要面向硬件的模型，應用于彩色視頻攝像機和彩色監(jiān)視器［16］.RGB顏色空間受光源的種類、光照的強度等因素影響，且3個分量互相關(guān)聯(lián)變化，很難確定識別RGB的閾值范圍.而HSV（色調(diào)、飽和度、亮度）模型更符合描述和解釋顏色的方式，其中色調(diào)H（hue）反映了該顏色最接近何種可見光譜波長，即某一種顏色；飽和度S（saturation）表示一種顏色相對于其純色的比例，即純潔性，可用來區(qū)別顏色明暗的程度；V（value）表示色彩的明亮程度.RGB轉(zhuǎn)換到HSV的轉(zhuǎn)換形式為

故本系統(tǒng)采用HSV顏色空間的顏色分割，由于某些果蔬顏色比較相近（如梨和香蕉），往往僅通過顏色分割不能很好地識別，因此在完成顏色分割后，需要結(jié)合果蔬的形狀特征實現(xiàn)果蔬的識別.采用果蔬的圓形度R，可以精確地區(qū)分顏色相近的不同種類的果蔬，其計算公式為

式中，S為果蔬的輪廓面積，L為果蔬輪廓周長.

具體識別步驟如下.

步驟1 進行深度信息分割后的RGB圖像往往存在噪點，故采用平滑濾波濾除噪點.

步驟2 將濾波后的彩色圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，V通道受光線影響較大，故在H、S通道選取合適的閾值進行二值化，其具體閾值如表1所示.將二值化后的圖像進行形態(tài)學處理，排除孤立噪聲并對目標的缺損進行適當修補.

步驟3 在顏色分割后，利用果蔬的形狀特征圓形度R（具體范圍見表1）最終確定待識別果蔬的輪廓，其具體過程如圖3所示.求出輪廓中心點，利用標定時計算出的內(nèi)外參數(shù)矩陣，通過式（3）、（4）和（6）求出目標物體的3D坐標.

表1 果蔬顏色與形狀特征Table 1 Color and shape features of fruits

圖3為果蔬識別過程圖，其主要包括未經(jīng)處理的原圖、深度分割后的圖像、HSV顏色空間二值化圖及經(jīng)過形狀特征識別后的輪廓圖.

3 靈巧手抓取

通過測量靈巧手的尺寸，將定位的目標3維坐標減去靈巧手位移量求得機械臂末端3維坐標，然后將該3維坐標發(fā)送至機械臂控制臺，控制臺通過逆運動學求解最優(yōu)解，最終機械臂移動至目標位置.

考慮到果蔬的大小、形狀以及硬度的不同，為了實現(xiàn)果蔬的精細抓取，需要實現(xiàn)抓取手指指節(jié)接觸力的控制.

本系統(tǒng)的壓力傳感器安裝在手指指節(jié)處，采用了Interlink Electronics公司生產(chǎn)的408傳感器，它廣泛應用于自動控制設備的仿真人觸摸控制、醫(yī)學系統(tǒng)以及工業(yè)機器人.壓力傳感器的F-U（電壓歸一化后范圍值為0～255 mV）特性曲線如圖4所示.由圖4可見，壓力值越大壓力傳感器的阻值越小，因而經(jīng)過放大電路后的電壓值越小.

圖4 壓力傳感器的F-U特性曲線Fig.4 F-U characteristics curves of pressure sensor

經(jīng)過多組接觸力測試，并對數(shù)值求取平均值，不同果蔬在與手指各指節(jié)接觸時的壓力值如圖5所示.

圖5 各指節(jié)壓力值Fig.5 Knuckles pressure value

根據(jù)分析抓取各個手指指節(jié)壓力值發(fā)現(xiàn)：

（1）大拇指、食指、中指以及無名指為主要受力手指，小拇指僅與目標物體有接觸但壓力值很小或無接觸；

（2）主要受力指節(jié)位于指尖，通常指根與目標物體的接觸壓力值很小或無接觸.

因此，在實際抓取過程中只需實現(xiàn)對大拇指、食指、中指和無名指指尖指節(jié)的接觸力控制.

在手指指節(jié)接觸力控制實驗中發(fā)現(xiàn)，手指在空載運動時線驅(qū)動的結(jié)構(gòu)使得手指運動角度越大，電機承受的負載越大.而在傳統(tǒng)的PID控制中，當PID參數(shù)整定后各個參數(shù)都是確定值，很難減少壓力的靜差，因此積分參數(shù)很難整定.在手指空載情況下當手指角度較小時需要小的積分參數(shù)，而在手指角度較大時需要大的積分參數(shù)，故本系統(tǒng)采用對手指指節(jié)接觸力進行變積分PID控制.

變積分PID是在不同角度范圍內(nèi)改變積分系數(shù)，使抓取的壓力值快速響應，PID積分項表達式為

式中，kI為傳統(tǒng)的PID積分參數(shù)，kA為與角度相關(guān)的變積分系數(shù)，e（k）為設定值和輸出值的偏差值，則變積分PID算法為

式中，kp為PID的比例參數(shù)，kD為PID的微分參數(shù).

通過不斷調(diào)試，選取合適的PID參數(shù)以及變積分系數(shù)kA，實現(xiàn)對接觸力的精確控制.

4 實驗

為驗證上述研究內(nèi)容的可行性以及系統(tǒng)的穩(wěn)定性，本系統(tǒng)采用如圖1所示的系統(tǒng)，并進行多次果蔬分揀實驗.

4.1 實驗流程

實驗前，通過張正友棋盤標定法計算攝像頭的內(nèi)外參數(shù)得

完成標定后，對標定的精確性以及目標識別的準確性與實時性進行驗證.表2列出了各階段的處理用時，其數(shù)據(jù)表明本系統(tǒng)采用的物體識別方法具有較好的實時性；同時對比分析表明，在顏色分割前利用深度分割濾除了大部分背景干擾，可有效減小目標識別區(qū)域，減少顏色分割用時.

表3為各目標的定位坐標值、實際測量坐標值以及實際誤差.上述數(shù)據(jù)表明，果蔬識別的3維坐標平均誤差為（6.8，13.3，5.2），優(yōu)于文獻［5］雙目定位在X軸20.25的平均誤差.該誤差主要出現(xiàn)在Y軸方向，根據(jù)Kinect外參數(shù)可知，Y軸方向在坐標轉(zhuǎn)換前主要對應于Kinect深度信息ZC，而Kinect采集物體表面的深度信息不夠準確［14］，在距離1 m時深度誤差在10mm左右，導致了Y軸方向產(chǎn)生誤差.X、Z軸轉(zhuǎn)換前分別主要對應于XC、YC軸，XC、YC坐標值相對于ZC值較小，即因而XC、YC軸的誤差值較小，也即物體坐標X、Z軸誤差小于Y軸.本系統(tǒng)采取在每次定位后加上一個Y軸方向的偏移量（如10 mm）來減小誤差量.果蔬平均尺寸為高6.5 cm，長6 cm，寬7 cm，只要實驗誤差在允許的誤差范圍內(nèi)，機械臂就能夠保證臂手系統(tǒng)很好地完成目標抓取任務.

表2 各階段處理用時Table 2 Computation time of individual process stagesms

表3 定位實驗數(shù)據(jù)Table 3 Location experimental datamm

臂手系統(tǒng)的工作流程圖如圖6所示，主要包括①利用深度分割、顏色與形狀特征分割實現(xiàn)目標的識別與定位；②通過TCP/IP通信發(fā)送3維坐標，實現(xiàn)對機械臂的控制；③利用變積分PID控制實現(xiàn)靈巧手的精細抓取.

4.2 實驗結(jié)果

圖7為本系統(tǒng)進行實驗驗證的相關(guān)過程.以圖7（a）為例，從上至下分別為機械臂初始狀態(tài)、機械臂移動至目標果蔬位置、靈巧手抓取、機械臂抓持果蔬至釋放位置、靈巧手釋放果蔬等.至此機械臂完成了一次果蔬抓放過程，然后機械臂再移動至下一果蔬目標位置，繼續(xù)實施果蔬分揀.

實驗表明，當在操作平臺存在待識別果蔬時，基于Kinect的臂手系統(tǒng)可以快速獲取目標位置信息，平穩(wěn)完成目標抓取.

5 結(jié)束語

通過構(gòu)建一套實驗系統(tǒng)對本系統(tǒng)的研究內(nèi)容進行驗證，結(jié)果表明基于Kinect的機器人臂手系統(tǒng)可以較理想地完成自主抓取任務.首先在定位前利用張正友棋盤法對Kinect標定，該方法操作簡單，能夠達到目標抓取所要求的定位精度；然后在彩色圖像處理中進行深度分割，有效濾除大部分背景干擾，簡化了目標識別過程.本系統(tǒng)基于變積分PID控制的接觸力目標抓取，主要針對果蔬平置狀態(tài)下的抓取.下一步的工作重點是將目標物體由果蔬擴大至其他類別物體，針對不同姿態(tài)下目標抓取接觸力建模，實現(xiàn)對不同姿態(tài)下目標物體的抓取.

圖6 系統(tǒng)流程Fig.6 System process

圖7 果蔬分揀過程Fig.7 Process of fruit sorting

［1］SAKAGAMI Y，WATANABE R，AOYAMA C，et al.The intelligent ASIMO：system overview and integration［C］//Proceeding of the 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems.2002：2478-2483.

［2］ST¨UCKLER J，STEFFENS R，HOLZ D,et al.Efficient 3D object perception and grasp planning for mobile manipulation in domestic environments［J］.Robotics&Autonomous Systems,2012, 61（10）：1106-1115.

［3］尚倩,阮秋琦,李小利.雙目立體視覺的目標識別與定位［J］.智能系統(tǒng)學報,2011,6（4）：303-311.

［4］項榮.開放環(huán)境中番茄的雙目立體視覺識別與定位［D］.杭州：浙江大學,2013：216.

［5］徐昱琳,楊永煥,李昕,等.基于雙目視覺的服務機器人仿人機械臂控制［J］.上海大學學報（自然科學版）,2012,18（5）：506-512.

［6］韓崢,劉華平,黃文炳,等.基于Kinect的機械臂目標抓?。跩］.智能系統(tǒng)學報,2013,8（2）：149-155.

［7］HUANG Z Y，HUANG J T，HSU C M.A case study of object identification using a Kinect sensor［C］//2013 IEEE International Conference on Systems,Man,and Cybernetics（SMC）. 2013：1743-1747.

［8］孫小凱.基于RGB-D信息的物體定位與識別［D］.杭州：浙江大學,2014：87.

［9］PARKER M，DANIEL H C，ECHTLER F，et al.Hacking the Kinect［M］.New York：Apress,2012：10-25.

［10］李格格,沈建強.基于Kinect的目標跟蹤與避障［J］.江南大學學報（自然科學版）,2014,13（4）：427-432.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22（11）：1330-1334.

［12］ZHANG Z Y.Flexible camera calibration by viewing a plane from unknown orientations［C］// The Proceedings of the Seventh IEEE International Conference on Computer Vision.1999：666-673.

［13］于仕琪,劉瑞禎.學習OpenCV［M］.北京：清華大學出版社,2009：406-429.

［14］JIANG L，KOCH A，SCHERER S A，et al.Multi-class fruit classification using RGB-D data for indoor robots［C］//2013 IEEE International Conference on Robotics and Biomimetics（ROBIO）. 2013：587-592.

［15］LAI K，BO L，REN X，et al.A large-scale hierarchical multi-view RGB-D object dataset［C］// 2011 IEEE International Conference on Robotics and Automation（ICRA）.2011：1817-1824.

［16］阮秋琦.數(shù)字圖像處理學［M］.3版.北京：電子工業(yè)出版社,2007：254-257.

本文彩色版可登陸本刊網(wǎng)站查詢：http：//www.journal.shu.edu.cn

Kinect-based object grasping by robot arm hand system

DING Meikun，XU Yulin，JIANG Caijun，RAN Peng
（School of Mechatronics Engineering and Automation，Shanghai University，Shanghai 200072，China）

To realize automatic object grasping by a robot arm hand system,Kinect is used for real-time detection of the object.The Zhang Zhenyou chessboard method is applied to calibrate the intrinsic and external parameters of the Kinect.Depth segmentation is done to filter out most of the background interference,and identification and location of object are achieved based on the color and shape features.The object's 3D coordinates is sent to the manipulator console to locate the target position through TCP/IP communication. A changing integration PID algorithm is applied to achieve fast and accurate grasp by controlling pressure on the dexterous hand.An experiment system is developed to verify effectiveness of the proposed methods.

Kinect calibration；depth segmentation；changing integration PID；dexterous hand

TP 242

A

1007-2861（2016）04-0421-11

10.3969/j.issn.1007-2861.2016.04.008

2015-03-25

上海市產(chǎn)學研合作項目（CXY-2013-28）

徐昱琳（1964—），女，副教授，博士，研究方向為機器人、智能控制.E-mail：xuyulin@shu.edu.cn