郭寧波，張偉軍，蔣如飛

(上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院 ,上海 200240)

0 引言

隨著經(jīng)濟(jì)發(fā)展與科技進(jìn)步，機(jī)器人越來(lái)越多地應(yīng)用于工業(yè)生產(chǎn)、特種任務(wù)、家庭作業(yè)等諸多場(chǎng)景。特別是在一些危險(xiǎn)任務(wù)中，機(jī)器人扮演著非常重要的角色，有效地減少了傷亡事故，提高了工作效率，降低了經(jīng)濟(jì)損失[1]。但由于機(jī)器人的發(fā)展還未達(dá)到理想水平，無(wú)法具有完全的自主智能，所以由人對(duì)機(jī)器人實(shí)行遠(yuǎn)程操控，利用攝像頭等傳感器反饋現(xiàn)場(chǎng)信息，佐以部分的智能算法，是現(xiàn)在的主流控制方法[2]。

但由于攝像頭反饋的現(xiàn)場(chǎng)圖像信息不可避免地具有死角，而且受限于攝像頭的位姿狀態(tài)，影響觀測(cè)視角，對(duì)遠(yuǎn)程操控帶來(lái)了諸多不便，甚至還會(huì)引發(fā)重大安全事故。

為解決傳統(tǒng)機(jī)器人遠(yuǎn)程控制方法的弊端，本文研究了利用雙目相機(jī)對(duì)作業(yè)現(xiàn)場(chǎng)實(shí)時(shí)仿真建模的控制系統(tǒng)。雙目相機(jī)對(duì)現(xiàn)場(chǎng)作業(yè)目標(biāo)進(jìn)行觀測(cè)，反饋深度圖與灰度圖，利用視覺算法，推算出相機(jī)與目標(biāo)的相對(duì)位置，實(shí)時(shí)地在控制軟件中進(jìn)行虛擬仿真建模。再通過(guò)坐標(biāo)系變換，推算出目標(biāo)與作業(yè)機(jī)器人之間的相對(duì)位置，最后在操作界面上做出提示，引導(dǎo)操作者完成對(duì)機(jī)器人的遠(yuǎn)程控制。

1 機(jī)器人作業(yè)平臺(tái)

機(jī)器人作業(yè)平臺(tái)包括載體承重平臺(tái)，主、從機(jī)械臂系統(tǒng)，帶有雙目相機(jī)的觀測(cè)臂，裝有專用末端工具的支架等。系統(tǒng)整體如圖1所示。

圖1 機(jī)器人作業(yè)平臺(tái)

作業(yè)任務(wù)是將平臺(tái)由載體平臺(tái)送至高空中高壓線附近，再遠(yuǎn)程控制機(jī)械臂，將線夾放置于高壓線的裸露部分。由于載體平臺(tái)只能將作業(yè)平臺(tái)送至大約位置，即高壓線與作業(yè)平臺(tái)的相對(duì)位置并不固定，而且基于平臺(tái)的平穩(wěn)性需求，載體平臺(tái)完成運(yùn)動(dòng)后就立即鎖死，無(wú)法進(jìn)一步微調(diào)，所以剩下的作業(yè)無(wú)法提前示教完成，需要由人遠(yuǎn)程控制主、從機(jī)械臂完成任務(wù)，這對(duì)操作人員的臨場(chǎng)操作能力有很大的考驗(yàn)。

為簡(jiǎn)化操作流程，降低控制難度，本文使用雙目相機(jī)對(duì)高壓線進(jìn)行觀測(cè)，解算出高壓線與雙目相機(jī)的相對(duì)位置關(guān)系，在操作界面上實(shí)時(shí)仿真顯示出來(lái)，并利用運(yùn)動(dòng)學(xué)規(guī)劃算法推算出作業(yè)目標(biāo)位姿，引導(dǎo)操作者完成操作。主要流程如圖2所示。

圖2 作業(yè)流程

2 雙目視覺算法

雙目視覺算法是利用2個(gè)左右平行放置的相機(jī)，模擬人類視覺原理，使用雙目視覺補(bǔ)償合并計(jì)算的方法[3-4]。一般視覺算法只是對(duì)二維圖像進(jìn)行算法處理，雙目立體視覺算法是利用雙目相機(jī)獲取的2張二維圖像，基于視差原理，計(jì)算獲取物體的三維信息，對(duì)物體的三維形狀進(jìn)行建模。

2.1 立體視覺幾何原理

由于左、右相機(jī)擺放位置不同，同一目標(biāo)點(diǎn)在相機(jī)中的成像肯定存在差異，和人類視覺原理類似，這部分成像的坐標(biāo)差，通常被稱為視差，其視覺原理如圖3所示。利用左、右2個(gè)相機(jī)在同一時(shí)刻拍下目標(biāo)點(diǎn)P(x,y,z)的圖像，設(shè)左相機(jī)和右相機(jī)上的圖像坐標(biāo)分別為P左=(x左,y左)，P右=(x右,y右)。假定兩攝像機(jī)在同一個(gè)平面上，則特征點(diǎn)P的左右圖像的坐標(biāo)y坐標(biāo)相同，統(tǒng)一記作y，設(shè)相機(jī)焦距為f，基線距為B，則由三角幾何關(guān)系可得

圖3 雙目立體視覺原理

(1)

則視差為

D=x左-x右

(2)

由此可計(jì)算出P在雙目相機(jī)坐標(biāo)系下的三維坐標(biāo)為

(3)

2.2 雙目校正

由于制造、裝配等原因，相機(jī)的位置和姿態(tài)存在一定的誤差，而這些誤差會(huì)影響立體建模的精度，因此需要對(duì)雙目系統(tǒng)參數(shù)進(jìn)行校正。

相機(jī)標(biāo)定的參數(shù)可以分為內(nèi)參和外參。內(nèi)參包括相機(jī)的焦距、像素點(diǎn)大小和相機(jī)畸變屬性等，用于像素坐標(biāo)系和相機(jī)坐標(biāo)系間的轉(zhuǎn)換。外參主要描述相機(jī)的空間位置，即相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。雙目校正是根據(jù)攝像頭標(biāo)定后獲得的單目?jī)?nèi)參數(shù)據(jù)和雙目外參數(shù)據(jù)，分別對(duì)左右視圖進(jìn)行消除畸變和行對(duì)準(zhǔn)，使得左右視圖的成像兩攝像頭光軸平行，原點(diǎn)坐標(biāo)一致，對(duì)極線行對(duì)齊、左右成像平面共面，將左右視圖調(diào)整成完全平行對(duì)準(zhǔn)的理想形式[5]。

雙目立體匹配中，利用極線約束法可限制對(duì)應(yīng)點(diǎn)的搜索一定落在對(duì)應(yīng)圖像相應(yīng)極線上，可將搜索范圍進(jìn)行降維，從二維降到一維，并可以進(jìn)一步限制在一定的范圍內(nèi)，可有效降低匹配的搜索代價(jià)，提高算法運(yùn)行效率。極線定義如圖4所示，其中Ol和Or為兩攝像機(jī)光心，Pl和Pr為P在兩成像平面的投影點(diǎn)，對(duì)極點(diǎn)el和er為兩相機(jī)光心連線與兩成像平面的交點(diǎn)，則OlOrP為對(duì)極平面，elPl和erPr為對(duì)極線。

圖4 極線定義

而雙目校正可將所有的極線水平并對(duì)齊，這樣在沿極線搜索時(shí)，只需沿著單個(gè)軸進(jìn)行搜索即可，其沿該坐標(biāo)軸坐標(biāo)的差值即為二者的視差，雙目校正后的極線效果如圖5所示。

圖5 規(guī)范化極線機(jī)構(gòu)方式示意

本文使用arUco標(biāo)定板，該標(biāo)記的外圍都有一組黑色邊框，同時(shí)內(nèi)部有確定該標(biāo)記ID的二維矩陣，黑色的邊框能加速標(biāo)記在圖像中的檢測(cè)速度，內(nèi)部的二維編碼能提供唯一識(shí)別該標(biāo)記，同時(shí)進(jìn)行錯(cuò)誤檢測(cè)和錯(cuò)誤修復(fù)。標(biāo)記的大小確定了內(nèi)部矩陣的大小，例如4×4大小的標(biāo)記有16個(gè)bit。其檢測(cè)結(jié)果返回圖片中4個(gè)角點(diǎn)的位置以及標(biāo)記的ID號(hào)。利用左、右相機(jī)粗略平行擺放后對(duì)標(biāo)定板進(jìn)行拍攝，由于已知兩者成像之差，再微調(diào)相機(jī)位置進(jìn)行校正。

校正后，左右極線水平對(duì)準(zhǔn)，2條極線即兩光軸相互平行，成像平面共面，兩極點(diǎn)相交于無(wú)窮遠(yuǎn)處，有效降低誤差，并提高計(jì)算效率。

3 仿真與引導(dǎo)系統(tǒng)

3.1 作業(yè)現(xiàn)場(chǎng)仿真

作業(yè)環(huán)境建模分為2部分，第1部分是既定的作業(yè)平臺(tái)的虛擬建模，使用3D MAX畫圖軟件對(duì)作業(yè)平臺(tái)中的載體平臺(tái)、機(jī)械臂、支架、專用工具進(jìn)行1∶1的建模，再導(dǎo)出為obj格式，才可以被仿真平臺(tái)支持，在導(dǎo)出時(shí)需設(shè)定模型的原點(diǎn)和旋轉(zhuǎn)軸，并不可直接設(shè)定為模型的質(zhì)心，而是要根據(jù)現(xiàn)實(shí)中物體真實(shí)的旋轉(zhuǎn)軸進(jìn)行設(shè)定，否則導(dǎo)入后實(shí)現(xiàn)的旋轉(zhuǎn)與真實(shí)旋轉(zhuǎn)相悖。模型導(dǎo)入仿真平臺(tái)后，按現(xiàn)實(shí)中的相對(duì)位置進(jìn)行組合，還原作業(yè)平臺(tái)中物體的擺布，虛擬仿真與現(xiàn)實(shí)對(duì)照如圖6所示。

圖6 虛擬仿真與現(xiàn)實(shí)對(duì)照

仿真平臺(tái)與機(jī)器人實(shí)現(xiàn)通信后，利用機(jī)器人傳回的各個(gè)關(guān)節(jié)角度信息，設(shè)定虛擬機(jī)器人對(duì)應(yīng)關(guān)節(jié)的角度，實(shí)現(xiàn)實(shí)時(shí)的虛擬仿真同步效果。

第2部分是高壓線的建模，利用雙目視覺算法，對(duì)現(xiàn)場(chǎng)采集的深度圖與灰度圖進(jìn)行處理，運(yùn)用目標(biāo)識(shí)別技術(shù)，可利用高壓線特征提取目標(biāo)點(diǎn)位，獲得高壓線與雙目相機(jī)的相對(duì)位置關(guān)系。再通過(guò)一系列的坐標(biāo)轉(zhuǎn)換，由高壓線點(diǎn)位相對(duì)于雙目相機(jī)坐標(biāo)系轉(zhuǎn)換到作業(yè)平臺(tái)坐標(biāo)系，最后轉(zhuǎn)換到虛擬模型全局坐標(biāo)系，獲得高壓線在虛擬環(huán)境坐標(biāo)系中的位置信息。

在仿真平臺(tái)中，利用點(diǎn)位信息，初始化預(yù)先保存的高壓線模型，實(shí)時(shí)在操作界面上進(jìn)行顯示，流程如圖7所示。利用虛擬仿真技術(shù)還原現(xiàn)場(chǎng)信息，經(jīng)測(cè)量，誤差在1 cm以內(nèi)，線徑為1.77 cm，精確度滿足要求。

圖7 基于雙目相機(jī)的三維重建流程

高壓線實(shí)際在高空中并不是完全張緊，由于重力的緣故，出現(xiàn)部分彎曲的情況，所以必須采集多個(gè)位置點(diǎn)位，才可以滿足精確性要求。但由于渲染引擎的限制，過(guò)多的點(diǎn)位會(huì)造成系統(tǒng)資源不足，實(shí)時(shí)顯示會(huì)出現(xiàn)頓卡，影響操作體驗(yàn)，所以需要調(diào)整返回的點(diǎn)位數(shù)量，尋求最佳解。

當(dāng)采集的點(diǎn)位過(guò)于稀疏時(shí),可能會(huì)造成高壓線的虛擬建模不連續(xù)，破壞仿真效果，系統(tǒng)會(huì)在線檢測(cè)缺失的高壓線部分，用兩邊點(diǎn)位進(jìn)行插值處理，再重新按上述步驟生成三維模型，使得仿真效果盡可能真實(shí)。

虛擬仿真相較于直接相機(jī)觀察的優(yōu)勢(shì)在于可以實(shí)時(shí)對(duì)場(chǎng)景無(wú)死角地進(jìn)行觀察。通過(guò)移動(dòng)仿真平臺(tái)中的虛擬相機(jī)，改變虛擬場(chǎng)景在操作界面的投影顯示，實(shí)現(xiàn)全方位的觀測(cè)。

3.2 在線引導(dǎo)策略

通過(guò)事先進(jìn)行的示教實(shí)驗(yàn)，可以求得機(jī)械臂能夠在高壓線上運(yùn)作的可行操作范圍，并與3.1節(jié)得到高壓線位置關(guān)系進(jìn)行匹配，得出實(shí)際操作范圍，并在仿真模型中進(jìn)行顯示，利用提示框圈出，實(shí)際模型材質(zhì)修改為醒目的紅色，如圖8所示。

圖8 在線引導(dǎo)輔助運(yùn)行顯示

線夾的放置要求線夾按照固定的位姿才可安全、順利地放置于高壓線之上，所以在虛擬仿真界面要顯示出目標(biāo)位姿與當(dāng)前位姿，將抽象的數(shù)據(jù)信息具象化，這是傳統(tǒng)遠(yuǎn)程操控利用攝像頭無(wú)法獲取的，也是本系統(tǒng)的一大優(yōu)勢(shì)。確定位置后，對(duì)兩者進(jìn)行連線，實(shí)時(shí)顯示在操作界面中，并顯示兩者三維坐標(biāo)的差值，提示操作者末端移動(dòng)的正確性。

由于此作業(yè)屬于特種作業(yè)范疇，作業(yè)時(shí)高壓線不斷電，所以要求控制系統(tǒng)必須采用遙控方式，并設(shè)定應(yīng)急措施，防止危險(xiǎn)情況發(fā)生。操作者操控機(jī)械臂末端，在虛擬仿真模型的引導(dǎo)下，將線夾放置于高壓線上的目標(biāo)位置，完成任務(wù)。

4 實(shí)驗(yàn)驗(yàn)證

通過(guò)實(shí)驗(yàn)，對(duì)上述算法應(yīng)用于控制策略設(shè)計(jì)進(jìn)行驗(yàn)證。首先利用雙目相機(jī)獲取目標(biāo)物體的深度圖與灰度圖，如圖9所示。

圖9 相機(jī)獲取灰度圖與深度圖

然后對(duì)深度圖進(jìn)行特征圖像匹配，獲取多段高壓線的空間位置信息，結(jié)果如圖10所示。

圖10 灰度圖特征處理結(jié)果

將反饋得到的點(diǎn)位信息輸入仿真平臺(tái)，對(duì)其進(jìn)行仿真建模，根據(jù)顯示的虛擬模型與實(shí)物進(jìn)行對(duì)比，發(fā)現(xiàn)虛擬建模共使用28個(gè)節(jié)點(diǎn)信息，其中有2個(gè)點(diǎn)位發(fā)生明顯偏移，造成連線不光滑，如圖11所示，對(duì)其進(jìn)行忽略處理后，與實(shí)物基本保持一致。

圖11 虛擬仿真

5 結(jié)束語(yǔ)

設(shè)計(jì)了基于雙目視覺的實(shí)時(shí)仿真機(jī)器人遠(yuǎn)程控制系統(tǒng)，經(jīng)過(guò)多次實(shí)驗(yàn)，證明該機(jī)器人可由操作者順利地完成指定任務(wù)，操作簡(jiǎn)便，安全可靠，很好地達(dá)到了預(yù)期。雙目視覺精度在1 cm以內(nèi)，實(shí)時(shí)仿真系統(tǒng)并未出現(xiàn)頓卡，而且可以對(duì)作業(yè)現(xiàn)場(chǎng)的虛擬模型進(jìn)行零死角的觀測(cè)，相較于傳統(tǒng)攝像頭觀測(cè)更具臨場(chǎng)感?？刂撇呗灾械膶?shí)時(shí)引導(dǎo)功能極大地增加了控制系統(tǒng)的交互性，簡(jiǎn)化操作流程，提高了工作效率，在傳統(tǒng)機(jī)器人遠(yuǎn)程控制模式基礎(chǔ)上實(shí)現(xiàn)了創(chuàng)新。