劉瑩 祝學云 徐佳文

DOI：10.19850/j.cnki.2096-4706.2021.08.044

摘? 要：為適應工程教育和課程教學改革的需要，依托視覺機器人平臺對自動抓取機械手控制進行了研究。系統(tǒng)硬件主要包括實驗平臺、相機、光源和機械臂等組件。在圖像處理與目標識別中，顏色的分類識別采用的是基于混合高斯模型（GMM）的分類器，形狀的識別采用的是MPL多神經(jīng)網(wǎng)絡分類器。最后介紹了機械手的運動建模和抓取流程并進行了實驗，實驗效果良好。

關鍵詞：視覺機器人;機械手;實驗教學改革

中圖分類號：TP241.2? ? ? ?文獻標識碼：A 文章編號：2096-4706（2021）08-0156-04

Research on Automatic Grabing Manipulator Control Based on Vision Robot

LIU Ying，ZHU Xueyun，XU Jiawen

（School of Instrument Science and Engineering，Southeast University，Nanjing? 210096，China）

Abstract：In order to meet the needs of engineering education and curriculum teaching reform，the control of automatic grabing manipulator is studied based on the vision robot platform. The system hardware mainly includes the experimental platform，camera，light source，mechanical arm and other components. In image processing and target recognition，uses the classifier based on Gaussian mixture model（GMM）for color classification and recognition，uses MPL multi neural network classifier for shape recognition. Finally，the motion modeling and grabing process of the manipulator are introduced and experiment is carried out，and the experimental results are good.

Keywords：vision robot;manipulator;experimental teaching reform

0? 引? 言

機器人作為測控技術、機械自動化、計算機科學、控制理論、人工智能等多學科交叉的高新技術，在制造業(yè)、服務業(yè)、醫(yī)療保健、國防等各領域得到廣泛應用。機器人傳感與控制技術是儀器科學與工程學院重要的研究方向，涉及測控技術與儀器專業(yè)本科生的多門主干課程：傳感器技術、檢測技術、智能儀器設計、單片機技術、自動控制原理、機械原理等。

目前我院本科生的實驗教學以各門課程的課程配套實驗為主，缺乏大型的綜合型設計型實驗。在視覺機器人的基礎上，設計測控一體化的研究型實驗，能夠讓學生充分了解學科知識之間的關聯(lián)性和融合性，鍛煉和提高學生的工程實踐能力和創(chuàng)新實踐能力，對課程的建設、專業(yè)的發(fā)展、創(chuàng)新型人才的培養(yǎng)具有重要意義。

視覺機器人就是通過圖像攝取裝置將被攝取的目標轉(zhuǎn)換成圖像信號，傳送給圖像處理系統(tǒng)，圖像處理系統(tǒng)對這些信號進行運算來抽取目標的特征，進而來控制設備動作，所以說視覺機器人是一項綜合技術，包括傳感器技術、圖像處理、機械工程技術、自動控制等，十分適合作為我院高年級本科生的綜合實驗平臺使用。結合本科生教學及學科發(fā)展的需要，依托視覺機器人平臺設計自動抓取機械手控制實驗^[1-5]。為了讓學生熟悉視覺機器人平臺和為自動抓取機械手控制實驗做知識儲備，設置六個基礎實驗：視覺算法基礎實驗、顏色識別實驗、形狀識別實驗、標定實驗、二維測量實驗、機械手控制實驗，然后針對不同顏色不同形狀的抓取目標學生自主設計完成自動抓取機械手控制實驗。

1? 系統(tǒng)硬件介紹

基于視覺機器人的自動抓取系統(tǒng)主要包括實驗平臺、面陣攝像機、鏡頭、可調(diào)節(jié)光源和機械臂等組件。其中實驗平臺由光源安裝、相機安裝、輸出等模塊組成，輸出模塊可以輸出5 V、24 V直流電壓，調(diào)節(jié)底部光源亮度以及開關上方光源。面陣攝像機采用的是緊湊型數(shù)字攝像機，通過GigE接口傳輸圖像數(shù)據(jù)，具有高分辨率、高精度、低噪聲等特點。鏡頭采用的是Computar工業(yè)鏡頭M1214-MP2百萬像素12 mm定焦鏡頭。機械臂采用的是DobotMagician機械臂，該機械臂是一個高精度四軸桌面操作型機械臂，由底座、旋轉(zhuǎn)主體、大臂、小臂、執(zhí)行末端等部分組成，末端執(zhí)行器有氣動手爪套件、吸盤套件等，最大負載500 g，最大伸展距離320 mm。

在機器視覺系統(tǒng)中，通常分為手眼相機模式和固定相機模式兩種，本實驗系統(tǒng)采用固定相機模式，攝像機安裝在實驗平臺的支架上。在固定相機模式下，相機不受機械臂抖動影響，視野固定，定位精度高。系統(tǒng)硬件結構如圖1所示。

2? 機器視覺

2.1? 圖像處理與目標識別

機器視覺通過采集相機和鏡頭信息獲得目標圖像，再利用圖像處理系統(tǒng)進行處理分析。這里我們采用Halcon軟件進行圖像處理和目標識別^[6，7]。Halcon是德國MVtec公司開發(fā)的圖像處理軟件，包含完善的綜合標準軟件庫，并且架構靈活。

本實驗中需要識別目標的顏色和形狀。Halcon中常見的有四類分類器：MLP（多層神經(jīng)網(wǎng)絡neural Nets）、SVM（支持向量機）、K-NN（K-最鄰近）、GMM（高斯混合類型）。MLP分類器識別率較高且分類速度較快，對于巨大量的訓練集，訓練速度慢于SVM分類器。SVM分類器在識別率和訓練速度方面略優(yōu)于MLP分類器，但是分類速度沒有MLP分類器快，并且不能自動獲取一個拒絕類。k-NN分類器參數(shù)很少且直觀，可以用很少的訓練樣本工作，甚至每一類僅一個樣本就可以工作，訓練速度是所有分類器中最快的，缺點是分類速度相對較慢，且分類結果不如MLP和SVM分類器好，因此k-NN分類器適用于自動特征選擇和快速評估。GMM是高斯混合模型分類器，按貝葉斯決策規(guī)則進行工作，僅對低維的特征向量有效，適用于對一般特征進行分類和圖像分割。

經(jīng)過對比選擇，顏色的分類識別采用的是基于混合高斯模型（GMM）的分類器，首先進行顏色分類訓練，將采集到的顏色樣本放入高斯分類器中進行樣本訓練，生成顏色分類的訓練器;然后進行顏色分類，創(chuàng)建LUT混合高斯分類器，利用訓練后的顏色分類器進行顏色分類識別。形狀的識別采用的是MPL多神經(jīng)網(wǎng)絡分類器，首先進行形狀分類訓練，創(chuàng)建多層神經(jīng)網(wǎng)絡分類器，讀取各種類型的形狀樣本圖像，提取形狀特征并加載到訓練數(shù)據(jù)中，進行形狀訓練，保存訓練結果;然后進行形狀分類，讀取需要分類的圖像，分割提取形狀，根據(jù)訓練好的形狀分類器進行形狀分類識別。顏色分類和形狀分類的流程圖如圖2所示。

2.2? 目標物的定位

為了確定圖像中的像素點與現(xiàn)實三維空間位置之間的對應關系，我們需要建立相機成像的幾何模型，這個過程被稱為相機標定^[8]。相機標定包括相機內(nèi)參標定和相機外參標定。內(nèi)部參數(shù)主要用來表示像素坐標系與相機坐標系之間的關系，外部參數(shù)主要用來表示相機坐標系與世界坐標系之間的關系。利用相機內(nèi)外參完成目標物成像坐標系到世界坐標系的轉(zhuǎn)換，從而實現(xiàn)對目標物體三維空間的定位，即可以通過相機采集客觀世界中物體的圖像，通過獲取物體在圖像中的位置信息，然后通過坐標變換，可獲得目標物體在客觀世界中的位置坐標。

3? 自動抓取機械手控制

3.1? 機械手運動建模

機械臂可以抽象為一系列關節(jié)和連桿的順序組合，關節(jié)處產(chǎn)生旋轉(zhuǎn)或滑動使得機械臂末端到達指定位置，對機械臂進行運動學建模就是描述機械臂各個連桿之間的相對位置和方向關系，因此需要根據(jù)關節(jié)的結構在機械臂每個連桿上固定一個坐標系，用齊次變換矩陣來描述相鄰兩個連桿空間上的關系。

D-H建模是一種對機器人運動學進行建模的標準方法。在機械臂每個連桿上建立一個坐標系，通過確定每一關節(jié)與下一關節(jié)之間的所有齊次坐標變換，求得機械臂末端與底座的姿態(tài)關系。齊次坐標系用n+1維向量表示n維向量，將旋轉(zhuǎn)變換和平移變換統(tǒng)一成了4×4矩陣運算。齊次變換矩陣表示如式（1）所示：

其中表示旋轉(zhuǎn)，右邊一列表示平移。

D-H建模過程中主要涉及四個參數(shù)：a為公垂線長度，α為相鄰兩z軸之間的扭角，d為z軸相鄰公垂線之間的距離，θ為關節(jié)旋轉(zhuǎn)角。機械臂的D-H參數(shù)表如表1所示。

D-H參數(shù)表的每一行對應每一步的齊次變換矩陣，將這些變換矩陣右乘可以建立基座與機械臂末端的坐標關系如使（2）所示，求解出關節(jié)變量，就可以實現(xiàn)對機械臂的控制。

在自動抓取系統(tǒng)中，我們事實上是在已知目標位置的情況下控制機械臂到達指定位置，即我們需要根據(jù)位置信息求解全部關節(jié)變量的值，這就是求解其逆運動學方程。

3.2? 機械手抓取流程

下面具體介紹基于視覺機器人的自動抓取機械手控制實現(xiàn)流程，首先用Halcon圖像處理軟件，處理所拍攝到的圖片，完成目標物的顏色識別和形狀識別并定位，并得到標定點。然后將識別的目標物的位置信息發(fā)送給機械臂的處理器，后面我們通過標定點的位置和目標點的位置坐標差，進行處理，來實現(xiàn)機械臂移動到目標點并抓取，使機械手完成目標物的抓取和分組放置。流程圖如圖3所示。

其具體步驟為：

（1）讀取樣本，完成顏色分類訓練和形狀分類訓練。循環(huán)讀取不同光照下的樣本圖片，進行顏色分類訓練，顏色包括紅、黃、綠、藍四種。形狀樣本這里采用的不同的零件，讀取各種類別的零件圖像，從圖像中分割提取形狀特征并加載到訓練數(shù)據(jù)中去，進行形狀分類訓練。

（2）獲取目標物的圖像，進行圖像處理。讀取圖像，利用步驟（1）獲得的顏色分類器進行顏色分類識別;提取分割形狀，獲取形狀特征，利用步驟（1）獲得的形狀分類器進行形狀分類識別。

（3）獲取目標物坐標。根據(jù)相機的內(nèi)外參數(shù)，將目標物的像素坐標轉(zhuǎn)換到世界坐標

（4）控制機械臂抓取目標物，并按照顏色和形狀進行分組碼垛。機械臂逐個抓取目標物，按照目標物的顏色和形狀將目標物碼垛到指定位置。

3.3? 實驗驗證

將不同顏色不同形狀的物體放置于Z=0的平面，如圖4所示。首先對目標物進行識別標定，記錄其位置為理論位置。調(diào)整機械臂至初始狀態(tài)，啟動系統(tǒng)進行抓取測試。當機械臂運行至抓取位置，啟動抓取操作時，記錄下機械手當前的抓取位置為實際位置。

將理論位置和實際位置之間的距離記為誤差，具體見表2。經(jīng)計算14個實驗樣本的平均誤差為1.96 mm。

實驗結果表明，目標識別結果準確，抓取的定位誤差較小，可以滿足機械手的順利抓取要求。

4? 結? 論

為適應工程教育改革，培養(yǎng)創(chuàng)新型實踐型人才，在視覺機器人的基礎上，設計了基于視覺機器人的自動抓取機械手控制測控一體化的研究型實驗。利用基于混合高斯模型（GMM）和MPL多神經(jīng)網(wǎng)絡的分類器分別實現(xiàn)了顏色和形狀的分類識別，利用D-H模型建立了機械臂的運動學模型，求解逆運動學方程，得到全部關節(jié)變量的值，從而實現(xiàn)對機械臂的控制。通過基于視覺機器人的自動抓取機械手控制，學生能夠充分了解學科知識之間的關聯(lián)性和融合性，鍛煉和提高工程實踐能力和創(chuàng)新實踐能力，對課程的建設、專業(yè)的發(fā)展、人才的培養(yǎng)具有重要意義。同時實驗具有很高的實用性和趣味性，能夠充分調(diào)動學生的興趣，發(fā)揮其主觀能動性，實驗教學資源也得到了充分的利用。

參考文獻：

[1] 王勇，陳薈西.基于機器視覺與單片機結合的機械臂抓取系統(tǒng) [J].自動化技術與應用，2021，40（1）：78-84.

[2] 楊學文，王楠.視覺驅(qū)動機械臂自主作業(yè)技術綜述 [J].南京信息工程大學學報（自然科學版），2021，13（3）：281-290.

[3] 溫劍鋒.基于人工智能的視覺目標定位系統(tǒng)設計 [J].現(xiàn)代計算機，2020（35）：65-69.

[4] 房國棟，高軍偉，朱晨曦，等.基于機器視覺的機械臂智能分揀系統(tǒng) [J].儀表技術與傳感器，2020（12）：72-76+81.

[5] 姚啟才，汪地，廖茂生.基于機器視覺的機械臂智能抓取系統(tǒng)設計 [J].計量與測試技術，2020，47（10）：28-33.

[6] 廖秉旺，林文煜.基于Halcon的工件視覺分揀系統(tǒng) [J].現(xiàn)代信息科技，2021，5（1）：156-158.

[7] 楊偉姣，楊先海，薛鵬，等.基于Halcon的固定視點手眼標定方法 [J].機床與液壓，2021，49（8）：35-37+71.

[8] 祁若龍，張珂，趙吉賓，等.基于高斯模型和視覺測量的機械臂在線自標定方法研究 [J].機械工程學報，2021，57（5）：63-71.

作者簡介：劉瑩（1987—），女，漢族，江蘇徐州人，工程師，碩士，主要研究方向：測控系統(tǒng)與智能儀器。

收稿日期：2021-04-28

基金項目：東南大學教學改革研究項目（2019- 119）