田錦秀

(西安城市建設(shè)職業(yè)學(xué)院 機(jī)電信息學(xué)院，西安 710114)

0 引言

移動(dòng)機(jī)器人是指能夠在空間中自主移動(dòng)的機(jī)械設(shè)備，主要通過(guò)機(jī)械或電子控制系統(tǒng)實(shí)現(xiàn)移動(dòng)和導(dǎo)航，可以根據(jù)任務(wù)需求裝配不同的功能模塊[1]。移動(dòng)機(jī)器人廣泛應(yīng)用于工業(yè)、醫(yī)療、家庭服務(wù)、安保等領(lǐng)域，可以自主執(zhí)行任務(wù)，提高效率和安全性。隨著人工智能和機(jī)器人技術(shù)的不斷發(fā)展，移動(dòng)機(jī)器人的應(yīng)用范圍和任務(wù)也越來(lái)越廣泛，但是在復(fù)雜和不確定的環(huán)境中，移動(dòng)機(jī)器人的運(yùn)動(dòng)控制和路徑規(guī)劃仍是一個(gè)難以解決的問(wèn)題。視覺(jué)伺服控制可以通過(guò)機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)移動(dòng)機(jī)器人姿態(tài)和位置的實(shí)時(shí)檢測(cè)和估計(jì)，從而實(shí)現(xiàn)移動(dòng)機(jī)器人的精確控制和路徑規(guī)劃。除此之外，視覺(jué)伺服控制還可以幫助機(jī)器人克服環(huán)境中的障礙物，在特定的環(huán)境中進(jìn)行定位和導(dǎo)航，提高移動(dòng)機(jī)器人的工作效率和精確度。為此，研究移動(dòng)機(jī)器人視覺(jué)伺服控制具有重要意義。

目前相關(guān)領(lǐng)域?qū)W者針對(duì)機(jī)器人視覺(jué)伺服控制系統(tǒng)進(jìn)行研究，文獻(xiàn)[2]設(shè)計(jì)了工業(yè)機(jī)器人手眼視覺(jué)伺服控制系統(tǒng)。采用Kalman濾波器對(duì)復(fù)合圖像雅克比矩陣進(jìn)行在線(xiàn)估計(jì)，利用Lyapunov原理，構(gòu)建視覺(jué)伺服控制器，從而有效跟蹤圖像運(yùn)動(dòng)目標(biāo)，并通過(guò)平面二連桿機(jī)器人仿真實(shí)驗(yàn)分析驗(yàn)證了該系統(tǒng)的可行性。文獻(xiàn)[3]設(shè)計(jì)了基于雅克比矩陣的高壓帶電作業(yè)機(jī)器人視覺(jué)伺服控制系統(tǒng)。采用雅可比矩陣，計(jì)算作業(yè)機(jī)器人執(zhí)行器操作空間和關(guān)節(jié)速度間的關(guān)系，以及執(zhí)行速度和視覺(jué)圖像特征變化間的關(guān)系，將其結(jié)合得到復(fù)合雅克比矩陣，再利用PID控制器，構(gòu)建機(jī)器人視覺(jué)伺服控制系統(tǒng)，實(shí)現(xiàn)參數(shù)自適應(yīng)調(diào)整，該系統(tǒng)具有較好的控制性能。但上述兩種系統(tǒng)仍存在控制效果較差、控制精度低的問(wèn)題。

虛擬現(xiàn)實(shí)技術(shù)是一種通過(guò)計(jì)算機(jī)生成的模擬環(huán)境，使用戶(hù)能夠與虛擬環(huán)境進(jìn)行交互和沉浸式體驗(yàn)的技術(shù)，其核心目標(biāo)是提供一種逼真的、交互性強(qiáng)的虛擬體驗(yàn)，虛擬現(xiàn)實(shí)技術(shù)在許多領(lǐng)域都有廣泛的應(yīng)用，如游戲和娛樂(lè)、教育和培訓(xùn)、醫(yī)療保健、建筑和設(shè)計(jì)、航空航天、軍事仿真等。為此，設(shè)計(jì)一種基于虛擬現(xiàn)實(shí)技術(shù)的移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)，以期能夠提升系統(tǒng)的視覺(jué)伺服控制精度。

1 移動(dòng)機(jī)器人視覺(jué)伺服控制硬件系統(tǒng)設(shè)計(jì)

1.1 虛擬環(huán)境的I/O設(shè)備

虛擬現(xiàn)實(shí)技術(shù)的運(yùn)行需要以真實(shí)環(huán)境作為參考樣本，并利用輸入設(shè)備將真實(shí)環(huán)境中的圖像信號(hào)和姿態(tài)信號(hào)輸入到虛擬環(huán)境中，并通過(guò)輸出設(shè)備輸出虛擬成像結(jié)果。虛擬現(xiàn)實(shí)技術(shù)選擇三維視覺(jué)傳感器作為虛擬環(huán)境的輸入設(shè)備，該設(shè)備由成像芯片和鏡頭等部分組成，其中成像芯片選用的是CMOS芯片，設(shè)置三維視覺(jué)傳感器的運(yùn)行速度與圖像刷新的速度一致。利用三維跟蹤器，可以使虛擬現(xiàn)實(shí)用戶(hù)的運(yùn)動(dòng)與視覺(jué)系統(tǒng)進(jìn)行再匹配與追蹤。將虛擬環(huán)境的輸入設(shè)備與移動(dòng)機(jī)器人相連接，虛擬環(huán)境輸入設(shè)備的連接電路如圖1所示。

圖1顯示了虛擬現(xiàn)實(shí)技術(shù)中所使用的三維視覺(jué)傳感器的連接方式，系統(tǒng)中設(shè)置的虛擬環(huán)境輸入設(shè)備共兩個(gè)，用來(lái)模擬移動(dòng)機(jī)器人的雙目視覺(jué)。虛擬現(xiàn)實(shí)環(huán)境的輸出設(shè)備選擇立體顯示器和音響設(shè)備，用兩個(gè)顯示器分別顯示圖像，這兩塊屏幕上的影像是由計(jì)算機(jī)控制，屏幕上的影像有細(xì)微的差異。移動(dòng)機(jī)器人合成兩幅影像，從而得到更好地沉浸式視覺(jué)效果。

1.2 位姿傳感器

位姿傳感器用來(lái)對(duì)控制移動(dòng)機(jī)器人實(shí)時(shí)運(yùn)動(dòng)狀態(tài)進(jìn)行檢測(cè)，為控制量的計(jì)算提供初始數(shù)據(jù)。為保證傳感器能夠?qū)崿F(xiàn)對(duì)多維度姿態(tài)數(shù)據(jù)的采集，采用多傳感器組合的方式形成位姿傳感器，其結(jié)構(gòu)如圖2所示。

設(shè)計(jì)系統(tǒng)使用的傳感器包括三軸加速度傳感器、三軸角速度傳感器和三軸磁力計(jì)三個(gè)部分，將傳感器采集的原始數(shù)據(jù)傳送至嵌入式板上，然后對(duì)其進(jìn)行姿態(tài)分析，從而獲得當(dāng)前模塊的俯仰角、橫滾角、航向角、氣壓、高度和溫度等數(shù)據(jù)，系統(tǒng)位姿傳感器通常都會(huì)保留一個(gè)通信接口，它可以將分析到的數(shù)據(jù)信息發(fā)送到PC、單片機(jī)等設(shè)備中[4]。為了滿(mǎn)足系統(tǒng)的功能需求，在機(jī)器人移動(dòng)時(shí)，必須要對(duì)其進(jìn)行實(shí)時(shí)的偏航角信息進(jìn)行檢測(cè)，以4～7 V為電源，工作電流大約40 mA，同時(shí)還保留了2個(gè)UART接口，數(shù)據(jù)傳輸率為115 200 bps，可以用USB轉(zhuǎn)TTL模塊將數(shù)據(jù)發(fā)送至PC機(jī)上[5]。通過(guò)選取合適的傳感器，可以獲得被測(cè)機(jī)器人的位姿數(shù)據(jù)，然后再由位姿資料處理裝置STM32F103T8進(jìn)行位姿數(shù)據(jù)的處理，從而獲得可用的位姿數(shù)據(jù)。

1.3 視覺(jué)圖像處理器

在移動(dòng)機(jī)器人視覺(jué)伺服控制過(guò)程中，需要采集大量的視覺(jué)圖像，為視覺(jué)圖像處理工作提供硬件支持。首先需要確定采集的圖像類(lèi)型、分辨率、幀率以及采集頻率等參數(shù)，然后采用Sony IMX219圖像傳感器采集圖像信號(hào)，最后選擇一臺(tái)工業(yè)控制計(jì)算機(jī)，對(duì)圖像序列進(jìn)行處理和分析，其使用Inteli3處理器，最高主頻1.6 GHz，8 GB的內(nèi)存，確保了圖像處理的速度，并且保留2個(gè)網(wǎng)口，2個(gè)USB3.0接口，4個(gè)COM接口，4個(gè)COM接口，這使工業(yè)控制計(jì)算機(jī)能夠與大量的外設(shè)進(jìn)行連接。

1.4 伺服控制器

伺服控制器是移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)控制功能的執(zhí)行元件，控制器由驅(qū)動(dòng)設(shè)備、處理器等部分組成。由于虛擬現(xiàn)實(shí)環(huán)境的構(gòu)建，使得移動(dòng)機(jī)器人的運(yùn)動(dòng)不受空間環(huán)境的限制，擴(kuò)大了移動(dòng)機(jī)器人的活動(dòng)范圍[6]。選用直流電機(jī)作為移動(dòng)機(jī)器人的動(dòng)力執(zhí)行機(jī)構(gòu)，機(jī)器人對(duì)運(yùn)動(dòng)速度的控制處于開(kāi)環(huán)狀態(tài)，需要根據(jù)姿態(tài)傳感器反饋的機(jī)器人實(shí)時(shí)運(yùn)動(dòng)速度，完成機(jī)器人運(yùn)動(dòng)速度的閉環(huán)控制。在載荷作用下，能夠維持恒定的速度，從而實(shí)現(xiàn)了對(duì)機(jī)械臂相對(duì)高精度的運(yùn)動(dòng)控制。伺服驅(qū)動(dòng)電機(jī)具備完備的電流保護(hù)，可有效防止因過(guò)流或過(guò)溫而導(dǎo)致的硬體損壞。伺服控制器內(nèi)部的處理器選擇AT91SAM7S256芯片，該芯片使用32位RISC架構(gòu)，可快速實(shí)現(xiàn)比較復(fù)雜的控制算法。芯片具有256 kB的片上FLASH和64 kB的RAM存儲(chǔ)器空間，具備運(yùn)行嵌入式實(shí)時(shí)操作系統(tǒng)μc/OS-II的能力[7]。芯片中有大量的周邊元件，如USART、SPI、TWI等，同時(shí)還提供了多種可編程的時(shí)鐘，便于對(duì)回路進(jìn)行定時(shí)操作?？刂菩酒捎肔QFP封裝，僅有64個(gè)管腳，許多管腳用作供電和信號(hào)線(xiàn)，可用于一般I/0接口較少[8]。針對(duì)這一缺陷，采用可編程邏輯器件EPM570T144I5來(lái)進(jìn)行輸入輸出擴(kuò)展。ARM7通過(guò)串行的接口，能夠控制CPLD上的一組通用I/O接口，并且能夠?qū)⒚總€(gè)端口與內(nèi)部的脈沖發(fā)生器連接，使其發(fā)出設(shè)定寬度和相應(yīng)的脈沖，來(lái)控制伺服驅(qū)動(dòng)電機(jī)的運(yùn)作。伺服控制器元件連接如圖3所示。

圖3 伺服控制器元件連接示意圖

另外，在實(shí)際控制過(guò)程中，控制器、傳感器以及移動(dòng)機(jī)器人之間采用網(wǎng)絡(luò)進(jìn)行通信發(fā)送命令。

2 移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)軟件功能設(shè)計(jì)

在硬件設(shè)備的支持下，對(duì)移動(dòng)機(jī)器人的視覺(jué)伺服控制功能進(jìn)行設(shè)計(jì)，從位姿、運(yùn)動(dòng)參數(shù)等方面實(shí)現(xiàn)對(duì)移動(dòng)機(jī)器人的控制，保證機(jī)器人能夠在虛擬現(xiàn)實(shí)環(huán)境中按照指定方式完成相應(yīng)的移動(dòng)任務(wù)。以立體標(biāo)定方法、視覺(jué)圖像成像原理、圖像預(yù)處理方法、圖像拼接與三維重構(gòu)方法、虛擬現(xiàn)實(shí)技術(shù)的碰撞檢測(cè)技術(shù)、伺服控制邏輯為主要設(shè)計(jì)方法，實(shí)現(xiàn)移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)軟件功能設(shè)計(jì)。

2.1 搭建移動(dòng)機(jī)器人數(shù)學(xué)模型

在設(shè)計(jì)系統(tǒng)控制功能之前，首先需要確定移動(dòng)機(jī)器人的基本運(yùn)動(dòng)原理，因此，從運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)兩個(gè)方面，構(gòu)建機(jī)器人的數(shù)學(xué)模型。假設(shè)移動(dòng)機(jī)器人存在純滾動(dòng)無(wú)滑動(dòng)運(yùn)動(dòng)，則移動(dòng)機(jī)器人的運(yùn)動(dòng)學(xué)模型可以表示為：

(1)

式中，(x(t)，y(t))為t時(shí)刻的移動(dòng)機(jī)器人位置坐標(biāo)，θ(t)表示移動(dòng)機(jī)器人的姿態(tài)角，υ(t)為移動(dòng)機(jī)器人在t時(shí)刻的線(xiàn)速度[9]，ω(t)為移動(dòng)機(jī)器人在t時(shí)刻的角速度，Q為機(jī)器人載荷總重量，M為機(jī)器人慣性量度，?line(t)和?horn(t)分別為機(jī)器人的線(xiàn)轉(zhuǎn)矩和角轉(zhuǎn)矩[10]。在移動(dòng)狀態(tài)下，移動(dòng)機(jī)器人的動(dòng)力學(xué)特性滿(mǎn)足如下規(guī)律：

(2)

式中，F(xiàn)Drive-Front和FDrive-Rear分別為驅(qū)動(dòng)電機(jī)對(duì)前輪和后輪的驅(qū)動(dòng)力，F(xiàn)f為移動(dòng)機(jī)器人與地面之間的摩擦力，m為移動(dòng)機(jī)器人的質(zhì)量，d為前輪與后輪之間的距離[11]。通過(guò)運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)模型的融合，得出移動(dòng)機(jī)器人數(shù)學(xué)模型的搭建結(jié)果。

2.2 標(biāo)定移動(dòng)機(jī)器人視覺(jué)相機(jī)

(3)

式中，Jleft表示雙目視覺(jué)相機(jī)的左側(cè)旋轉(zhuǎn)矩陣，Uleft表示左側(cè)平移矩陣，Jright表示右側(cè)旋轉(zhuǎn)矩陣，Uright表示右側(cè)平移矩陣。進(jìn)行立體標(biāo)定時(shí)，利用視覺(jué)相機(jī)提取包含標(biāo)定板的圖像并進(jìn)行識(shí)別，可以得到空間中點(diǎn)與其對(duì)應(yīng)的攝像機(jī)成像平面上點(diǎn)的對(duì)應(yīng)關(guān)系，從而得出矩陣Z和U的求解結(jié)果[12]。根據(jù)左、右視覺(jué)相機(jī)之間的實(shí)際位置距離，確定矩陣Z和U的實(shí)際值，并與求解出的矩陣結(jié)果進(jìn)行比對(duì)，判斷當(dāng)前視覺(jué)相機(jī)的成像結(jié)果是否存在偏差，通過(guò)偏差的校正實(shí)現(xiàn)對(duì)移動(dòng)機(jī)器人視覺(jué)相機(jī)的標(biāo)定。

2.3 生成移動(dòng)機(jī)器人實(shí)時(shí)視覺(jué)圖像

利用標(biāo)定完成的視覺(jué)傳感器設(shè)備根據(jù)移動(dòng)機(jī)器人的移動(dòng)情況，生成實(shí)時(shí)視覺(jué)圖像。視覺(jué)圖像的成像原理如圖4所示。

圖4 移動(dòng)機(jī)器人實(shí)時(shí)視覺(jué)圖像成像原理圖

利用圖4表示成像原理，假設(shè)實(shí)際空間中任意一點(diǎn)(xtrue，ytrue，ztrue)在成像空間中的成像結(jié)果可以表示為：

(4)

式中，f為視覺(jué)傳感器的成像焦距。在考慮視覺(jué)相機(jī)標(biāo)定結(jié)果的情況下，可以將視覺(jué)相機(jī)的成像結(jié)果表示為：

(5)

式中，Lx和Ly分別為任意點(diǎn)在成像平面上物理長(zhǎng)度在水平和豎直方向上的分量，φ為成像角度，(xc，yc)表示像素坐標(biāo)系中相機(jī)感光板的中心坐標(biāo)，Aw表示設(shè)定相機(jī)外參矩陣[13]。移動(dòng)機(jī)器人的成像視場(chǎng)為：

(6)

式中，R和dthing分別為視野寬度和物距。在實(shí)際的成像過(guò)程中，設(shè)置視覺(jué)傳感器的更新速度、采集頻率等參數(shù)，得出移動(dòng)機(jī)器人實(shí)時(shí)視覺(jué)圖像的生成結(jié)果。

2.4 初始圖像預(yù)處理

為保證移動(dòng)機(jī)器人視覺(jué)伺服控制效果，以提升圖像質(zhì)量為目的，針對(duì)移動(dòng)機(jī)器人初始采集的圖像，采取一系列預(yù)處理步驟，包括灰度化、圖像濾波、畸變校正等。將RGB圖像轉(zhuǎn)化成灰度圖像可以有效減少數(shù)據(jù)量。對(duì)一幅彩色圖像進(jìn)行灰度處理，即將一幅彩色圖像中的一幅圖像轉(zhuǎn)化為一幅灰度圖像[14]。灰度圖像是用來(lái)量化亮度的，一般分為0～255的256個(gè)等級(jí)，其中 0 最暗，255 最亮。初始視覺(jué)圖像的灰度化處理結(jié)果為：

IGrayscale=W(0.299×IR+0.587×IG+0.114×IB)

(7)

式中，IR、IG和IB分別為圖像中紅、綠、藍(lán)色彩分量[15]。設(shè)計(jì)系統(tǒng)中采用高斯濾波處理方式，其處理過(guò)程如下：

(8)

式中，σ為高斯濾波同性擴(kuò)散系數(shù)。初始視覺(jué)圖像中的畸變可以分為徑向畸變和切向畸變兩個(gè)部分，其中徑向畸變是因?yàn)楣饩€(xiàn)經(jīng)過(guò)鏡頭時(shí)，在透鏡的邊緣附近的光會(huì)比在透鏡的中央附近的光扭曲得更厲害。因此，當(dāng)光線(xiàn)到達(dá)像面時(shí)，其初始位置發(fā)生了偏差，從而引起像面上物體的坐標(biāo)發(fā)生了改變。透鏡的徑向失真往往導(dǎo)致影像出現(xiàn)“枕狀”或“桶狀”的失真。視覺(jué)圖像徑向畸變的校正過(guò)程為：

(9)

式中，κcheck1、κcheck2和κcheck3分別為畸變校正系數(shù)，j為旋轉(zhuǎn)矩陣向量。另外，切向畸變的產(chǎn)生通常是由于攝像機(jī)中鏡頭和成像平面不能保持完全平行，根據(jù)切向畸變的形成原理，確定相應(yīng)的校正系數(shù)，并得出相應(yīng)的切向畸變校正處理結(jié)果。將初始采集的機(jī)器人視覺(jué)圖像中的所有像素代入到上述公式中，通過(guò)上述環(huán)節(jié)的處理得出移動(dòng)機(jī)器人視覺(jué)圖像的預(yù)處理結(jié)果。

2.5 構(gòu)建機(jī)器人虛擬移動(dòng)環(huán)境

以移動(dòng)機(jī)器人實(shí)時(shí)生成的視覺(jué)圖像及其處理結(jié)果為處理對(duì)象，生成相應(yīng)的虛擬現(xiàn)實(shí)環(huán)境，虛擬現(xiàn)實(shí)環(huán)境構(gòu)建流程如圖5所示。

圖5 虛擬現(xiàn)實(shí)環(huán)境構(gòu)建流程圖

為保證構(gòu)建的虛擬現(xiàn)實(shí)環(huán)境與機(jī)器人移動(dòng)環(huán)境一致，采用圖像拼接與三維重構(gòu)的方式構(gòu)建虛擬環(huán)境。在圖像拼接過(guò)程中，由于移動(dòng)機(jī)器人的采樣頻率較高，因此連續(xù)兩個(gè)時(shí)刻采集的圖像之間存在較大程度的重復(fù)，因此可以根據(jù)圖像之間的重疊情況進(jìn)行拼接處理。利用公式(10)提取視覺(jué)圖像中任意一點(diǎn)的特征向量。

(10)

式中，β為視覺(jué)圖像中的像素點(diǎn)的亮度值，τ(x，y)為像素點(diǎn)的位置坐標(biāo)，那么整幅視覺(jué)圖像的全局特征可以表示為：

τ(I)=gdet[τ(x，y)]-0.04(gtrace[τ(x，y)])2

(11)

式中，gdet和gtrace分別為局部極大值和極小值的檢索函數(shù)。按照上述方式可以得出所有視覺(jué)圖像的特征提取結(jié)果，并將其代入到公式(12)中，計(jì)算任意兩幅視覺(jué)圖像之間的特征匹配度。

(12)

若公式(12)的計(jì)算結(jié)果高于閾值s0，則認(rèn)為視覺(jué)圖像i和k之間存在重疊情況，通過(guò)調(diào)整圖像特征區(qū)域?qū)μ卣髌ヅ涠冗M(jìn)行反復(fù)計(jì)算，當(dāng)計(jì)算得出s(i，k)取值為1時(shí)，說(shuō)明當(dāng)前區(qū)域?yàn)閮煞曈X(jué)圖像的重疊區(qū)域，將兩者進(jìn)行重合處理，完成二者的拼接工作。若計(jì)算得出s(i，k)的值低于s0，則表示兩幅圖像之間不存在重疊情況，則直接進(jìn)入下一組圖像的匹配工作[16]。反復(fù)執(zhí)行上述操作，直至移動(dòng)機(jī)器人采集的視覺(jué)圖像全部拼接完成為止。在二維拼接視覺(jué)圖像的基礎(chǔ)上，通過(guò)對(duì)成像點(diǎn)距離的分析，確定圖像像素點(diǎn)的深度值。移動(dòng)機(jī)器人對(duì)圖像中任意一點(diǎn)實(shí)際感知深度的計(jì)算公式如下：

(13)

式中，dcamera和dperpendicular分別表示的是移動(dòng)機(jī)器人中左右兩視覺(jué)傳感器之間的距離以及主視傳感器與目標(biāo)物體之間的垂直距離，而ξvision代表圖像視差。公式(13)的計(jì)算結(jié)果即為當(dāng)前圖像像素點(diǎn)在虛擬現(xiàn)實(shí)環(huán)境中的深度坐標(biāo)。將視覺(jué)圖像中各個(gè)物體的二維坐標(biāo)與求解的深度坐標(biāo)相結(jié)合，即可得出該物體在虛擬環(huán)境中的三維坐標(biāo)，通過(guò)多像素的三維重構(gòu)，得出機(jī)器人移動(dòng)環(huán)境中所有物體結(jié)構(gòu)的虛擬模型生成結(jié)果，將紋理圖片貼在物體模型表面[17]。由于移動(dòng)機(jī)器人處于實(shí)時(shí)運(yùn)動(dòng)的狀態(tài)，因此相應(yīng)的虛擬現(xiàn)實(shí)環(huán)境需要根據(jù)機(jī)器人的移動(dòng)位置進(jìn)行動(dòng)態(tài)更新，將移動(dòng)機(jī)器人車(chē)體的絕對(duì)坐標(biāo)轉(zhuǎn)換為參考坐標(biāo)，根據(jù)虛擬現(xiàn)實(shí)環(huán)境中的物體與機(jī)器人之間的距離，確定對(duì)應(yīng)虛擬場(chǎng)景是否顯示，進(jìn)而驅(qū)動(dòng)虛擬現(xiàn)實(shí)場(chǎng)景實(shí)時(shí)更新。最終對(duì)虛擬現(xiàn)實(shí)場(chǎng)景進(jìn)行渲染輸出，得出機(jī)器人虛擬移動(dòng)環(huán)境的搭建結(jié)果。

2.6 虛擬環(huán)境下規(guī)劃移動(dòng)機(jī)器人行動(dòng)路線(xiàn)

2.6.1 目標(biāo)物體的視覺(jué)定位與跟蹤

通過(guò)對(duì)視覺(jué)圖像特征的提取，實(shí)時(shí)檢測(cè)移動(dòng)機(jī)器人抓取目標(biāo)的位置。根據(jù)抓取目標(biāo)狀態(tài)可以將其分為靜態(tài)目標(biāo)和動(dòng)態(tài)目標(biāo)，靜態(tài)目標(biāo)位置不會(huì)隨時(shí)間變化而發(fā)生變化，定位結(jié)果如下：

(14)

式中，γi為視覺(jué)圖像的邊緣特征，Ibackground表示的是視覺(jué)圖像中的背景區(qū)域，求解結(jié)果表示目標(biāo)空間位置，可以進(jìn)一步展開(kāi)成坐標(biāo)形式。而動(dòng)態(tài)目標(biāo)的定位與靜態(tài)目標(biāo)一致，但需要定期重復(fù)定位操作，并用最新的定位結(jié)果與原始結(jié)果進(jìn)行覆蓋。

2.6.2 生成機(jī)器人初始移動(dòng)路線(xiàn)

假設(shè)移動(dòng)機(jī)器人的初始位置為(x0，y0，z0)，目標(biāo)位置為(xstop，ystop，zstop)，則初始生成的機(jī)器人移動(dòng)路線(xiàn)可以表示為：

(15)

在初始移動(dòng)路線(xiàn)下，機(jī)器人所經(jīng)過(guò)的空間路徑長(zhǎng)度為：

(16)

在此基礎(chǔ)上，由機(jī)器人的初始位置至終止位置所插補(bǔ)步數(shù)可以表示為：

(17)

式中，ΔL為等距直線(xiàn)插補(bǔ)時(shí)的步長(zhǎng)。那么在已知虛擬環(huán)境下移動(dòng)機(jī)器人目標(biāo)位置的情況下，即可生成移動(dòng)機(jī)器人在虛擬環(huán)境中的初始移動(dòng)路線(xiàn)。

2.6.3 利用虛擬現(xiàn)實(shí)技術(shù)檢測(cè)碰撞狀態(tài)

利用虛擬現(xiàn)實(shí)技術(shù)中的碰撞檢測(cè)功能，判斷初始生成的機(jī)器人移動(dòng)路線(xiàn)與虛擬環(huán)境靜態(tài)物體之間是否存在碰撞現(xiàn)象。采用層次包圍盒方法執(zhí)行碰撞檢測(cè)任務(wù)，包圍盒的每一條直線(xiàn)都是與其坐標(biāo)軸線(xiàn)相平行的，它是一個(gè)最小的矩形平面[18]?；谂鲎矙z測(cè)的應(yīng)用，常采用的基本思路是將復(fù)雜的幾何體用一個(gè)簡(jiǎn)單的包圍盒進(jìn)行圍合。設(shè)置包圍盒的中心位置為：

(18)

式中，b1(i)、b2(i)和b3(i)表示物體表面三角形面片三個(gè)頂點(diǎn)的矢量，nplane為包圍盒包圍的三角面片數(shù)。當(dāng)檢測(cè)兩個(gè)物體的碰撞時(shí)，先判斷盒周?chē)?jié)點(diǎn)的相交情況，不能相交，那么就不會(huì)有物體與之碰撞，若相交，就會(huì)遍歷根節(jié)點(diǎn)之下的子節(jié)點(diǎn)，若有相交，就會(huì)對(duì)包圍盒中的兩個(gè)多邊形進(jìn)行精確地檢驗(yàn)。

2.6.4 機(jī)器人移動(dòng)路線(xiàn)調(diào)整與更新

若檢測(cè)得出初始生成的機(jī)器人移動(dòng)路線(xiàn)與虛擬現(xiàn)實(shí)環(huán)境之間存在碰撞行為，則需要利用公式(18)調(diào)整碰撞點(diǎn)的位置。

(19)

式中，(xcollide(i)，ycollide(i)，zcollide(i))和(xnew(i)，ynew(i)，znew(i))表示的是調(diào)整前后碰撞路徑節(jié)點(diǎn)的坐標(biāo)值，參數(shù)λx、λy和λz對(duì)應(yīng)的是三個(gè)空間方向上的調(diào)整量[19]。按照上述方式對(duì)初始移動(dòng)路線(xiàn)中的所有碰撞節(jié)點(diǎn)進(jìn)行調(diào)整，并將調(diào)整后的節(jié)點(diǎn)接入到初始路線(xiàn)中，并與碰撞節(jié)點(diǎn)的前后節(jié)點(diǎn)進(jìn)行連接與插補(bǔ)。根據(jù)機(jī)器人的實(shí)時(shí)移動(dòng)位置，調(diào)整移動(dòng)路線(xiàn)的初始位置，實(shí)現(xiàn)對(duì)移動(dòng)路線(xiàn)的實(shí)時(shí)更新。

2.7 實(shí)現(xiàn)移動(dòng)機(jī)器人視覺(jué)伺服控制功能

在視覺(jué)伺服控制器的支持下，按照伺服控制邏輯，生成視覺(jué)伺服控制指令，如圖6所示。

視覺(jué)伺服控制的目標(biāo)就是減小移動(dòng)機(jī)器人實(shí)際運(yùn)動(dòng)中的移動(dòng)機(jī)器人參數(shù)和預(yù)期間誤差，從姿態(tài)、移動(dòng)速度、位置三個(gè)方面執(zhí)行伺服控制任務(wù)，以移動(dòng)速度控制為例，具體控制量可以表示為：

Δv=(xnew(i)，ynew(i)，znew(i))(vtarget-vt)

(20)

式中，vtarget和vt分別表示移動(dòng)機(jī)器人的目標(biāo)移動(dòng)速度和t時(shí)刻的實(shí)際移動(dòng)速度，利用硬件系統(tǒng)中的位姿傳感器可以直接得出變量vt的具體取值。若公式(20)計(jì)算結(jié)果為負(fù)數(shù)，則執(zhí)行減速控制操作，若速度控制量Δv取值為正，則執(zhí)行加速控制操作[20]。同理可以得出移動(dòng)機(jī)器人位置與姿態(tài)的伺服控制結(jié)果。在虛擬現(xiàn)實(shí)環(huán)境下，通過(guò)對(duì)視覺(jué)圖像的分析，確定控制目標(biāo)參數(shù)，并將伺服控制器輸出的控制指令直接作用在移動(dòng)機(jī)器人上，直至移動(dòng)機(jī)器人到達(dá)目標(biāo)位置或完成目標(biāo)任務(wù)。

針對(duì)移動(dòng)機(jī)器人運(yùn)動(dòng)控制精度低的問(wèn)題，基于其運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)特征，建立移動(dòng)機(jī)器人數(shù)學(xué)模型，采用立體標(biāo)定方式標(biāo)定移動(dòng)機(jī)器人的視覺(jué)相機(jī)，提高圖像采集的精準(zhǔn)度，以此為基礎(chǔ)生成實(shí)時(shí)視覺(jué)圖像，并對(duì)取向進(jìn)行灰度化、圖像濾波、畸變校正等預(yù)處理，提高圖像的質(zhì)量。根據(jù)高質(zhì)量圖像生成相應(yīng)的虛擬現(xiàn)實(shí)環(huán)境，在此環(huán)境下規(guī)劃移動(dòng)機(jī)器人行動(dòng)路線(xiàn)，并及時(shí)更新移動(dòng)路線(xiàn)，提高機(jī)器人的伺服控制能力，最后按照伺服控制邏輯，生成視覺(jué)伺服控制指令，指導(dǎo)移動(dòng)機(jī)器人完成目標(biāo)任務(wù)，實(shí)現(xiàn)移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)設(shè)計(jì)。

3 系統(tǒng)測(cè)試

為了驗(yàn)證設(shè)計(jì)的基于虛擬現(xiàn)實(shí)技術(shù)的移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)中控制功能能否滿(mǎn)足預(yù)期，進(jìn)行系統(tǒng)測(cè)試。此次實(shí)驗(yàn)分別從控制精度和控制效果兩個(gè)方面進(jìn)行驗(yàn)證，其中控制精度測(cè)試就是測(cè)試移動(dòng)機(jī)器人位置、姿態(tài)角、移動(dòng)速度等運(yùn)動(dòng)參數(shù)與控制目標(biāo)之間的誤差，而控制效果就是測(cè)試在控制系統(tǒng)作用下，移動(dòng)機(jī)器人與外界環(huán)境之間的碰撞情況。

3.1 準(zhǔn)備移動(dòng)機(jī)器人樣機(jī)

實(shí)驗(yàn)選擇Dr Robot型號(hào)的移動(dòng)機(jī)器人作為系統(tǒng)的控制對(duì)象，該機(jī)器人帶有一個(gè)可移動(dòng)底盤(pán)和四個(gè)自由度鉸接手臂，能夠執(zhí)行多種抓取任務(wù)。Dr Robot移動(dòng)機(jī)器人自重35 kg，與地面之間的最大摩擦力為30 N，因此可以在坡度為45°以下的地面上自由移動(dòng)。在開(kāi)始試驗(yàn)之前，需要對(duì)移動(dòng)機(jī)器人樣機(jī)的各個(gè)功能進(jìn)行檢測(cè)，判斷移動(dòng)機(jī)器人各個(gè)元件之間是否能夠協(xié)同運(yùn)行、移動(dòng)機(jī)器人是否能夠成功接收相關(guān)控制信息、移動(dòng)機(jī)器人是否能夠根據(jù)控制指令執(zhí)行相應(yīng)任務(wù)，在確定移動(dòng)機(jī)器人樣機(jī)調(diào)試成功的情況下，執(zhí)行系統(tǒng)測(cè)試實(shí)驗(yàn)的下一步操作。

3.2 選擇虛擬現(xiàn)實(shí)場(chǎng)景實(shí)現(xiàn)工具

為支持設(shè)計(jì)視覺(jué)伺服控制系統(tǒng)中虛擬現(xiàn)實(shí)技術(shù)的運(yùn)行，設(shè)置虛擬現(xiàn)實(shí)場(chǎng)景的開(kāi)發(fā)工具為Multigen creator三維建模軟件，Multigen creator具有建模、變換、動(dòng)畫(huà)及物體運(yùn)動(dòng)模糊等功能，其可以與Visual C++等編程工具一起工作，還能夠快速地生成一個(gè)具有真實(shí)效果的大型三維場(chǎng)景模型，并使用Open Flight作為圖形數(shù)據(jù)描述格式。Open Flight用于告知圖像生成者繪制出實(shí)時(shí)3D場(chǎng)景的時(shí)間，是一種對(duì)場(chǎng)景數(shù)據(jù)進(jìn)行組織的方式。將Multigen creator工具下載至主測(cè)計(jì)算機(jī)中，通過(guò)解碼、解壓等步驟，保證虛擬現(xiàn)實(shí)場(chǎng)景實(shí)現(xiàn)工具能夠在主測(cè)計(jì)算機(jī)中正常運(yùn)行。

3.3 生成移動(dòng)機(jī)器人視覺(jué)伺服控制任務(wù)

在虛擬環(huán)境中隨機(jī)生成虛擬目標(biāo)，結(jié)合移動(dòng)機(jī)器人樣機(jī)在虛擬環(huán)境中的初始位置，規(guī)劃移動(dòng)機(jī)器人的視覺(jué)伺服控制路線(xiàn)，移動(dòng)機(jī)器人的視覺(jué)伺服位置控制路線(xiàn)如圖7所示。

圖7 移動(dòng)機(jī)器人的視覺(jué)伺服位置控制路線(xiàn)

在此基礎(chǔ)上，標(biāo)記移動(dòng)機(jī)器人移動(dòng)過(guò)程中的實(shí)時(shí)姿態(tài)角和速度參數(shù)。按照上述方式，生成6個(gè)虛擬目標(biāo)，并形成相應(yīng)的6組視覺(jué)伺服控制任務(wù)。在控制效果測(cè)試過(guò)程中，在相同的虛擬環(huán)境下，生成隨機(jī)障礙物，隨機(jī)障礙物可以分為靜態(tài)障礙物和動(dòng)態(tài)障礙物兩種，在有障礙環(huán)境下調(diào)整初始控制任務(wù)，得出有障礙物場(chǎng)景下的任務(wù)生成結(jié)果。

3.4 描述系統(tǒng)測(cè)試過(guò)程

將硬件系統(tǒng)中的相關(guān)元件設(shè)備安裝到移動(dòng)機(jī)器人內(nèi)部，將視覺(jué)傳感器幀速率設(shè)置30FPS，分辨率設(shè)定為640×480。通過(guò)實(shí)時(shí)圖像的采集與虛擬現(xiàn)實(shí)技術(shù)的運(yùn)行，輸出移動(dòng)機(jī)器人的虛擬現(xiàn)實(shí)活動(dòng)環(huán)境，如圖8所示。

圖8 移動(dòng)機(jī)器人虛擬現(xiàn)實(shí)活動(dòng)環(huán)境生成結(jié)果

將基于虛擬現(xiàn)實(shí)技術(shù)的移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)的軟件功能部分以程序代碼的方式輸入到主測(cè)計(jì)算機(jī)中，得出控制結(jié)果。移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)運(yùn)行界面如圖9所示。

圖9 移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)運(yùn)行界面

當(dāng)系統(tǒng)檢測(cè)到移動(dòng)機(jī)器人與目標(biāo)位置相同時(shí)，判定移動(dòng)機(jī)器人完成視覺(jué)伺服控制任務(wù)，自動(dòng)退出控制程序，并記錄機(jī)器人移動(dòng)過(guò)程中的所有數(shù)據(jù)。此次系統(tǒng)測(cè)試實(shí)驗(yàn)中設(shè)置文獻(xiàn)[2]系統(tǒng)(基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺(jué)伺服控制系統(tǒng))和文獻(xiàn)[3]系統(tǒng)(基于Udwadia-Kalaba方法的機(jī)器人伺服控制系統(tǒng))作為對(duì)比系統(tǒng)，按照上述方式完成對(duì)比系統(tǒng)的開(kāi)發(fā)，并得出相應(yīng)的控制結(jié)果。

3.5 設(shè)置系統(tǒng)測(cè)試指標(biāo)

設(shè)置位置、姿態(tài)角和移動(dòng)速度控制誤差作為系統(tǒng)控制誤差的量化測(cè)試指標(biāo)，其中位置控制誤差的測(cè)試結(jié)果如下：

εseat=|xcontrol-xtarget|+|ycontrol-ytarget|+|zcontrol-ztarget|

(21)

式中，(xcontrol，ycontrol，zcontrol)和(xtarget，ytarget，ztarget)分別表示控制系統(tǒng)下移動(dòng)機(jī)器人的實(shí)際位置和虛擬目標(biāo)位置。

姿態(tài)角和移動(dòng)速度控制誤差的數(shù)值結(jié)果為：

(22)

式中，θcontrol、θtarget、vcontrol和vtarget分別為移動(dòng)機(jī)器人姿態(tài)角和移動(dòng)速度的控制值與目標(biāo)值。另外，控制效果的量化測(cè)試指標(biāo)為碰撞次數(shù)，其測(cè)試結(jié)果為：

Ncollide=Nobstacle+NFixed objects

(23)

式中，Nobstacle和NFixed objects分別為移動(dòng)機(jī)器人與障礙物以及固定物體之間的碰撞次數(shù)。最終計(jì)算得出位置、姿態(tài)角和移動(dòng)速度控制誤差越小，表明系統(tǒng)的控制精度越高，而碰撞次數(shù)越少，表明系統(tǒng)的控制效果越好。

3.6 系統(tǒng)測(cè)試結(jié)果與分析

3.6.1 控制精度

采集控制系統(tǒng)作用下移動(dòng)機(jī)器人實(shí)時(shí)位置數(shù)據(jù)，并將其與位置控制目標(biāo)數(shù)據(jù)輸入到公式(21)中，獲得移動(dòng)機(jī)器人位置控制誤差測(cè)試對(duì)比結(jié)果如圖10所示。

圖10 移動(dòng)機(jī)器人位置控制誤差測(cè)試對(duì)比結(jié)果

從圖10中可以看出，與文獻(xiàn)[2]系統(tǒng)和文獻(xiàn)[3]系統(tǒng)相比，所設(shè)計(jì)系統(tǒng)的移動(dòng)機(jī)器人位置控制誤差較小。由此可知，所設(shè)計(jì)系統(tǒng)的移動(dòng)機(jī)器人視覺(jué)伺服控制精度較高。

根據(jù)上述數(shù)據(jù)，利用公式(22)計(jì)算得到移動(dòng)機(jī)器人姿態(tài)角和移動(dòng)速度控制誤差測(cè)試數(shù)據(jù)如表1所示。

表1 移動(dòng)機(jī)器人姿態(tài)角和移動(dòng)速度控制誤差測(cè)試數(shù)據(jù)表

根據(jù)表1中的數(shù)據(jù)可知，文獻(xiàn)[2]系統(tǒng)和文獻(xiàn)[3]系統(tǒng)的平均姿態(tài)角控制誤差分別為0.43°和0.55°，平均移動(dòng)速度控制誤差均為0.48m/s，而所設(shè)計(jì)系統(tǒng)的平均姿態(tài)角和移動(dòng)速度控制誤差分別為0.05°和0.12m/s。由此可知，所設(shè)計(jì)系統(tǒng)的移動(dòng)機(jī)器人姿態(tài)角和移動(dòng)速度控制誤差較小，能夠有效提高移動(dòng)機(jī)器人視覺(jué)伺服控制精度。

3.6.2 控制效果

在此基礎(chǔ)上，進(jìn)一步進(jìn)行移動(dòng)機(jī)器人的碰撞檢測(cè)，通過(guò)公式(23)的計(jì)算得出碰撞次數(shù)的測(cè)試結(jié)果，如表2所示。

表2 移動(dòng)機(jī)器人碰撞次數(shù)測(cè)試結(jié)果

根據(jù)表2中的數(shù)據(jù)可知，在靜態(tài)障礙物場(chǎng)景和動(dòng)態(tài)障礙物場(chǎng)景下，與文獻(xiàn)[2]系統(tǒng)和文獻(xiàn)[3]系統(tǒng)相比，所設(shè)計(jì)系統(tǒng)的移動(dòng)機(jī)器人碰撞次數(shù)較少，表明所設(shè)計(jì)系統(tǒng)具有較好的移動(dòng)機(jī)器人視覺(jué)伺服控制效果。

4 結(jié)束語(yǔ)

為實(shí)現(xiàn)移動(dòng)機(jī)器人的精確控制和路徑規(guī)劃，設(shè)計(jì)了基于虛擬現(xiàn)實(shí)技術(shù)的移動(dòng)機(jī)器人視覺(jué)伺服控制系統(tǒng)。通過(guò)虛擬環(huán)境的I/O設(shè)備、位姿傳感器、視覺(jué)圖像處理器以及伺服控制器元件，設(shè)計(jì)系統(tǒng)硬件部分。搭建移動(dòng)機(jī)器人數(shù)學(xué)模型，標(biāo)定移動(dòng)機(jī)器人視覺(jué)相機(jī)，生成移動(dòng)機(jī)器人實(shí)時(shí)視覺(jué)圖像并進(jìn)行預(yù)處理，構(gòu)建機(jī)器人虛擬移動(dòng)環(huán)境，完成目標(biāo)定位、路線(xiàn)生成、碰撞檢測(cè)、路線(xiàn)調(diào)整等，實(shí)現(xiàn)視覺(jué)伺服控制。通過(guò)系統(tǒng)測(cè)試驗(yàn)證了該系統(tǒng)能夠?yàn)闄C(jī)器人的移動(dòng)提供虛擬環(huán)境，并在一定程度上提升控制精度。