郭圓輝　王旭彬　韓毅

摘 要：隨著現(xiàn)代工業(yè)化、自動化進程的加快，機器人在現(xiàn)代工業(yè)領(lǐng)域的應用愈發(fā)重要。智能機器人可以高效地完成搬運、移動等工作，而建立相機與機械臂坐標系之間的關(guān)系是實現(xiàn)以上任務的基礎(chǔ)。通過DOBOT Magician與Intel realsense d435i建立了基于RGB-D相機的機械臂抓取系統(tǒng)。首先采用張正友標定法求出RGB-D相機的內(nèi)參矩陣信息;然后通過實際場景的機械臂位置信息建立外參矩陣，通過矩陣逆求解得到外參矩陣信息;最后通過內(nèi)外參矩陣信息得到相機坐標點對世界坐標點的轉(zhuǎn)換關(guān)系，并控制機械臂完成對目標的抓取。經(jīng)測試，該系統(tǒng)平均成功率為87.5%.

關(guān)鍵詞：計算機視覺;RGB-D相機;機械臂;相機標定

中圖分類號：TP241.2 文獻標識碼：A 文章編號：1003-5168（2021）29-0011-04

Design of Robot Grasping System Based on RGB-D Camera

GUO Yuanhui WANG Xubin HAN Yi

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： With the modern industrialization， the automation process is accelerating， the robots are more important in modern industrial sectors. Intelligent robots can efficiently complete handling， move， etc. How to establish a relationship between the camera and the mechanical arm coordinate system is the basis for implementing the above tasks. This article establishes a robot-based robotic arm grabbing system based on DOBT Magician and Intel realsense d435i. First， Zhang Zhengyou calibration method is used to obtain an internal reference matrix information of the camera to the camera; then establish a foreign reference matrix by the actual scene of the robot arm position information， and the outer parameter matrix information is obtained by the matrix reverse; finally through the internal and external reference matrix information is obtained from the camera coordinate point to the world coordinate point conversion relationship， and controls the cracking of the robot to the target.

Keywords： computer vision;RGB-D camera;robotic arm;camera calibration

在人工智能飛速發(fā)展的現(xiàn)代，智能機器人在工業(yè)領(lǐng)域的應用愈發(fā)重要。近年來，在制造行業(yè)中，使用機器人替代人工成為一種較為普遍的現(xiàn)象[1]，但如何確保機器人對抓取目標定位的準確性，提高設(shè)計方案的魯棒性，降低產(chǎn)品的維護成本依然是十分艱巨的任務。在目前大部分工業(yè)制造中，對機器人抓取目標的定位仍然采取固定工件位置，設(shè)定固定的機械臂移動路線和抓取位置的方式實施工作，此類方案在工業(yè)實施過程中的魯棒性和自適應性較差[2];或者使用模板匹配方案[3]，將預定好的目標與待抓取的物體進行匹配，但此方案更換目標困難。筆者將相機成像原理、張正友標定法[4]應用于機械臂抓取中，建立點對點坐標轉(zhuǎn)換模型，并以此為基礎(chǔ)，使用卷積神經(jīng)網(wǎng)絡(luò)[5]實現(xiàn)對目標物體的抓取，旨在解決機械臂抓取在工業(yè)應用中魯棒性和自適應性較差的問題。

1 圖像坐標系轉(zhuǎn)換相機坐標系

在工業(yè)機械臂目標抓取過程中，從RGB-D相機得到的圖像信息中目標的坐標是由物體的世界坐標投影到相機坐標系，再經(jīng)過仿射變換到圖像坐標系，然后進行平移變換，最終得到像素坐標信息。因此，該目標位置信息不能直接作為抓取的位置。由相機拍攝得到的世界坐標系下的物體位置信息的轉(zhuǎn)換關(guān)系如圖1所示，其中（x，y，z）表示相機坐標系，O表示相機坐標原點。（x，y）表示圖像坐標系，O表示相機圖像坐標原點，f表示相機焦距，P與P′分別表示相機坐標系某一點的坐標與圖像坐標系下的某一點的坐標。

相機坐標系轉(zhuǎn)換為圖像坐標系，實際上是利用了仿射變換，將相機坐標系的坐標投影到圖像坐標系，其中兩者的轉(zhuǎn)換關(guān)系是以焦距f為變換量，根據(jù)相似三角形原理可以得到（x，y）與（x，y）的關(guān)系：

而在計算機視覺中，圖像坐標系并不是實際計算機中的坐標系，這主要是因為像素坐標系與圖像坐標系存在單位量與坐標軸的變換關(guān)系。具體變換關(guān)系如圖2所示，其中O表示圖像坐標系，O'表示像素坐標系。

根據(jù)圖像坐標系與像素坐標的關(guān)系，設(shè)在坐標軸的x，y方向下每個毫米單位下有p個像素。同時，定義相機坐標系與圖像坐標系中的（x，y）平移距離為（u，v），可得（x，y）與（u，v）的關(guān)系：

結(jié)合式（2）與式（4）可得，由圖像坐標系到像素坐標系的轉(zhuǎn)換關(guān)系如下：

2 相機坐標系轉(zhuǎn)換機械臂坐標系

在機器臂抓取的實際應用中，相機坐標系與機械臂坐標系存在一定的旋轉(zhuǎn)和平移關(guān)系。因此，需要建立相機坐標系與機械臂坐標系的轉(zhuǎn)換矩陣，根據(jù)當前轉(zhuǎn)換需求，將機械臂坐標系視為世界坐標系。其變換關(guān)系如圖3所示。

其中，O表示相機坐標系原點，O表示世界坐標系原點。由于兩個坐標系之間存在平移與旋轉(zhuǎn)的關(guān)系，因此存在3個自由度的旋轉(zhuǎn)矩陣與平移矩陣，設(shè)r為旋轉(zhuǎn)向量，t為平移向量，可得O與O的變換關(guān)系：

3 基于RGB-D相機的機械臂抓取試驗

本試驗中硬件部分分別由四軸機械臂DOBOT Magician、Intel realsense d435i深度相機與計算機3部分組成。DOBOT Magician是越疆科技自主研發(fā)的多功能輕量型智能機械臂，采用一體化設(shè)計，體積精巧，重復定位精度為0.2 mm，負載為0.25 kg，運動范圍為340 mm，性能優(yōu)秀，其外觀如圖4所示。

Intel realsence d435i深度攝像頭外形小巧，功耗低，旨在提供現(xiàn)成可用的追蹤性能，具有跨平臺、開發(fā)人員友好的同步定位與建圖功能，可滿足機器人、無人機和增強現(xiàn)實等快速原型制作需求。其外觀如圖5所示。

3.1 RGB-D相機標定試驗

相機標定試驗即通過求出機械臂坐標系與圖像坐標系中的一系列參數(shù)，得到由圖像坐標系到機械臂坐標系的轉(zhuǎn)換關(guān)系，其中包括相機的內(nèi)參矩陣、機械臂坐標系與相機坐標系的位置關(guān)系下的外參矩陣。

利用張正友標定法進行標定，采用標準的7X9的標定板進行標定，為了保證標定數(shù)據(jù)的精確性，共采集了30張不同角度的圖像用于標定。首先通過OpenCV提取標定板的角特征信息，得到標定板的每個角點的位置信息，隨后通過一系列逆向求解過程，得到相機的內(nèi)參矩陣信息，部分標定板拍攝圖像如圖6所示。

通過張正友標定法，求得相機的標定結(jié)果，得到相機的內(nèi)參矩陣M，其數(shù)值如下：

3.2 RGB-D相機-機械臂坐標系轉(zhuǎn)換試驗

根據(jù)以上得到的相機的內(nèi)參數(shù)據(jù)，以及上文中相機坐標系與機械臂坐標系轉(zhuǎn)換關(guān)系，求解即可得到相機與機械臂的轉(zhuǎn)換關(guān)系。選取4個坐標點進行矩陣方程的求解，即選取4個機械臂的坐標位置與4個像素坐標系下的對應位置，隨后根據(jù)相機的內(nèi)參信息，求解相機的外參矩陣。4個坐標數(shù)據(jù)如表1所示（R表示機械臂坐標，M表示像素坐標）。

根據(jù)機械臂坐標信息與圖像坐標信息，依照4個點的坐標對應關(guān)系及內(nèi)參矩陣M，即可求得外參矩陣：

隨機在棋盤坐標系上選取6個點，選取歐氏距離的絕對值作為評價指標，經(jīng)過測試，預測坐標位置與實際坐標位置如表2所示。

通過表2中的數(shù)據(jù)計算可得，定位坐標與實際坐標的誤差平均值為1.105，精度基本滿足機械臂的抓取要求。

根據(jù)坐標系轉(zhuǎn)換的數(shù)據(jù)信息，使用OpenCV，在棋盤格上繪制出其坐標系示意圖，如圖7所示。

3.3 機械臂物體抓取試驗

試驗抓取系統(tǒng)由3部分組成，即攝像頭、機械臂和PC端。其中，攝像頭位于工作場景上方，負責采集數(shù)據(jù)，機械臂位于相機右方負責抓取物體，PC端負責處理和控制機械臂。機械臂抓取平臺如圖8所示。

試驗抓取系統(tǒng)坐標關(guān)系來自相機標定得到的圖像坐標系與機械臂坐標系的關(guān)系，通過使用YOLO_v3卷積神經(jīng)網(wǎng)絡(luò)識別出物體坐標，然后通過坐標系轉(zhuǎn)換得到機械臂的坐標，最后對機械臂發(fā)出指令完成對目標的抓取和搬運。其中，每個目標物體進行20次抓取測試，共計抓取120次，抓取結(jié)果如表3所示。在試驗中，機械臂基本能抓到目標物體，其中g(shù)reen cube抓取成功率達到了95%。平均成功率為87.5%，基本滿足機械臂的抓取操作。

4 結(jié)語

設(shè)計了一種基于RGB-D相機的機械臂抓取系統(tǒng)，利用計算機成像原理與坐標轉(zhuǎn)換技術(shù)完成目標物體在三維空間中的定位，再將目標傳遞給機械臂控制系統(tǒng)，從而完成對目標的抓取任務。經(jīng)過試驗分析，系統(tǒng)定位誤差小，基本滿足機械臂抓取目標的需要。該系統(tǒng)有效改善了傳統(tǒng)方法中魯棒性與自適應性較差的狀況，對現(xiàn)代工業(yè)化機械臂抓取、物體分類抓取等具有重要意義。

參考文獻：

[1]謝邦晉.基于機器視覺的工業(yè)機器人定位抓取技術(shù)[J].內(nèi)燃機與配件，2018（21）：216-218.

[2]朱良，林滸，吳文江.基于機器視覺的工業(yè)機器人工件定位[J].小型微型計算機系統(tǒng)，2016（8）：1873-1877.

[3]戴健春.基于RGB-D相機的工業(yè)機器人定位抓取技術(shù)與系統(tǒng)集成研究[D].重慶：重慶郵電大學，2018：18.

[4]ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000（11）：1330-1334.

[5]REDMON J，F(xiàn)ARHADI A.YOLO_v3： An incremental improvement[J].arXiv Preprint，2018（4）：33-35.