1.阿迪思 2.姚皓 3.王金金

四川大學(xué)制造科學(xué)與工程學(xué)院

一種沉浸式體控機器人的設(shè)計方案與應(yīng)用分析

1.阿迪思 2.姚皓 3.王金金

四川大學(xué)制造科學(xué)與工程學(xué)院

本項目運用VR技術(shù)和體感控制技術(shù)的基礎(chǔ)和原理，將虛擬現(xiàn)實應(yīng)用于機器人控制領(lǐng)域。提出立體沉浸式體感控制機器人的概念和技術(shù)路線：利用雙目攝像頭和VR顯示設(shè)備構(gòu)建立體沉浸式環(huán)境，利用光學(xué)姿態(tài)采集器和搭載在頭部的姿態(tài)傳感器構(gòu)建體感控制系統(tǒng)。使操作者可以自由地選擇觀察視角，并使機械臂隨操作者意圖同步運動。特點在于交互性、動作性和自主性強。沉浸式體控機器人可以應(yīng)用于多種領(lǐng)域，云服務(wù)器的接入，可以打破距離的限制，使機器人可以真正意義上代替用戶進行遠端的操作。

沉浸式技術(shù) 雙目攝像頭 體感控制 光學(xué)姿態(tài)捕捉 圖像回傳

引言

遠程智能控制系統(tǒng)的研究始于DOS時代，但由于硬件水平限制，其發(fā)展始終不盡如人意，只停留在概念層次，而到了90年代，互聯(lián)網(wǎng)的興起才讓這項技術(shù)開始逐漸走入大眾生活。而在那個時期一起發(fā)展起來的，還有沉浸式虛擬現(xiàn)實技術(shù)，它能提供參與者完全沉浸的體驗，使用戶有一種置身于虛擬世界之中的感覺。由于兩項技術(shù)都有極大優(yōu)越性，各國科學(xué)家都在努力嘗試將二者很好的結(jié)合起來，即在發(fā)展基于VR的遠程體感控制系統(tǒng)上下了很多功夫。現(xiàn)在的智能機器人大多是依靠自身存儲的復(fù)雜程序代碼或者操作手柄，根據(jù)外部事件觸發(fā)產(chǎn)生相應(yīng)的執(zhí)行動作來實現(xiàn)控制。但是大量的程序代碼存儲需要大的存儲空間同時伴隨而來的體積大、功耗大、速度慢、存在延時等問題都會降低機器人得控制精度，不易實現(xiàn)同步控制功能。另外在監(jiān)測機器人領(lǐng)域，由于傳輸?shù)亩S視頻畫面對三維世界描述的巨大局限性，因此對復(fù)雜環(huán)境無法進行最真實的還原與反饋，操作者無法更加自由、方便和直接地控制機器人進行工作。設(shè)計一款具有人機交互、沉浸式體驗與體感控制于一體機器人，使機器人具有代替人工操作和傳統(tǒng)的機器人進行遠程技術(shù)操作成為可能。

一、沉浸式體控機器人的設(shè)計方案

（一）立體沉浸式環(huán)境構(gòu)建

1.圖像采集--雙目視覺系統(tǒng)設(shè)計。常用的雙目立體視覺成像模型有平行雙目成像模型和匯聚雙目成像模型兩種。兩種模型都采用兩個單目攝像頭進行取景。所得的兩幅有視差的圖片在人大腦中疊加融合處理，就構(gòu)成了有深度立體效果的畫面。綜合人眼獲取圖像的運作方式，匯聚雙目成像模型更符合人眼的視覺習(xí)慣。為獲得較好的立體成像效果，本系統(tǒng)選取了匯聚雙目成像模型。

在頭部和兩眼都處于放松狀態(tài)情況下，眼睛觀察的視線在水平視線下約25度-35度，結(jié)合人在自然觀察狀態(tài)下視線的特點，為使用者在觀察時具有最佳的舒適度，對攝像頭的俯仰角進行調(diào)試，兩攝像頭在水平面下夾角為25度時最佳。

電子雙目系統(tǒng)采用兩個同品牌、內(nèi)部參數(shù)基本一致的攝像頭構(gòu)成，兩攝像頭位于同一水平面，且夾角為25°，如圖1所示。滿足對沉浸式視頻最優(yōu)化的顯示，最大程度的保證3D顯示效果。

圖1 雙目攝像頭

2.圖像顯示——VR設(shè)備。場景顯示方式及設(shè)備是虛擬現(xiàn)實系統(tǒng)中人機交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，其中桌面式顯示沉浸感不強，投影顯示受到高價格、大場地等因素的限制，所以本系統(tǒng)將采用頭戴式設(shè)備進行研究與改造。

本系統(tǒng)所用頭盔式顯示設(shè)備是款非常簡單的3D眼鏡，將手機安裝于設(shè)備前方作為顯示器,在該設(shè)備上安裝上相應(yīng)的陀螺儀姿態(tài)傳感器并連接至單片機，配合相應(yīng)的軟件控制即可實現(xiàn)沉浸式體感控制陀螺儀傳感器芯片可以實時檢測使用者頭部的位置和方向，并傳輸至單片機，單片機根據(jù)使用者頭部位置和方向信息計算出人體當(dāng)前姿態(tài)，從而控制攝像頭移動到相應(yīng)位置，顯示當(dāng)前視點下的場景，人體視點與電子雙目的同步性和交互性讓使用者產(chǎn)生強烈的沉浸感。

（二）電子雙目控制

本控制系統(tǒng)主要由執(zhí)行機構(gòu)與傳感環(huán)節(jié)兩部分構(gòu)成，其中傳感環(huán)節(jié)由姿態(tài)傳感器感知和獲取人體頭部運動信息并將該信息傳輸至單片機進行處理，單片機根據(jù)不同的姿態(tài)信號發(fā)送相關(guān)指令至執(zhí)行機構(gòu)，控制電子雙目做出相應(yīng)的運動，實現(xiàn)具有人機交互性的體感控制。

1.雙目攝像頭執(zhí)行機構(gòu)設(shè)計。對雙目攝像頭的控制通常是利用攝像頭云臺作為執(zhí)行機構(gòu)對攝像頭進行水平和垂直的移動和控制。為了電子雙目能夠進行二維的水平和垂直運動，使操作者具有更好的體驗本產(chǎn)品的人機交互功能。通過分析人體頭部姿態(tài)的特征，由于人體頭部的運動類似于一個二自由度的結(jié)構(gòu)。因此選擇二自由度云臺對舵機進行控制，從而可以實現(xiàn)雙目攝像頭可以模仿操作者頭部動作。

2.頭部姿態(tài)采集——MPU6050加速度傳感器。系統(tǒng)選擇 MPU6050 模塊來檢測人體頭部和手臂的姿態(tài)角度變化。姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)的程序主要實現(xiàn)的功能包括采集人體姿態(tài)數(shù)據(jù)、姿態(tài)數(shù)據(jù)融合、數(shù)據(jù)傳輸。其系統(tǒng)軟件功能框圖如圖2 所示。

圖 2 系統(tǒng)軟件功能框圖

（1）采集人體姿態(tài)數(shù)據(jù)：采集人體頭部運動過程中三軸加速度和角速度數(shù)據(jù)；（2）姿態(tài)數(shù)據(jù)融合：選擇合適的融合方法處理采集到的人體姿態(tài)數(shù)據(jù)，以得到所需的姿態(tài)角；（3）數(shù)據(jù)傳輸：將融合后的姿態(tài)數(shù)據(jù)通過WIFI傳輸給控制電子雙目系統(tǒng)的MCU處理器。

（三）機械臂控制系統(tǒng)的硬件設(shè)計

目前的體感控制越來越趨向于光學(xué)的姿態(tài)捕捉。雖然特質(zhì)手套是目前最常用的體感控制方式，但是佩戴手套操作受限，并且傳感器（如柔性傳感器）存在一定的磨損與消耗，因此使用光學(xué)姿態(tài)采集器代替特質(zhì)傳感手套，光學(xué)傳感器穩(wěn)定，使機械臂控制更加自由、靈活。此外光學(xué)圖像數(shù)據(jù)的處理，需要一個高性能的單片機給予支持，下面將針對硬件的結(jié)合做相應(yīng)分析。

Leap Motion的主要原理是使用紅外LED+灰階Camera的方式采集數(shù)據(jù)，并生成3D數(shù)據(jù)。利用了物體對紅外照射反射特性不同而形成光場，并利用相應(yīng)的算法在其中檢測特定的幾何特征，可以比較準(zhǔn)確地檢測反射光場中的極點（如手指和物體尖端）和特定形狀的大范圍反射面（手掌）。它的功能主要就是集中在深度距離探測、指尖以及它的方向獲取、目標(biāo)跟蹤。Leap Motion系統(tǒng)的硬件是雙目立體視覺，可以在高跟蹤幀率下工作。Leap Motion 軟件分析在器件可視范圍內(nèi)的物體。它識別手、手指和工具，可以實時獲取它們的位置、手勢和動作。

Leap Motion由于使用了紅外LED+灰階Camera，成本較低；只處理手部的3D，相比較于現(xiàn)在Kinect需要生成全身的skeleton, 復(fù)雜的depth信息，Leap的運行效率自然也會高很多，對處理圖形的DSP要求也不會特別高。

樹莓派是一款基于ARM架構(gòu)的微型電腦主板，以SD/MicroSD卡為內(nèi)存硬盤，卡片主板周圍有多個USB接口和一個10/100Mbps以太網(wǎng)接口，并具有藍牙和WIFI功能，可連接鍵盤、鼠標(biāo)和網(wǎng)線，同時擁有視頻模擬信號的電視輸出接口和HDMI高清視頻輸出接口，以上部件全部整合在一張僅比信用卡稍大的主板上，具備所有PC的基本功能。

通過使用Leap Motion的SDK，捕捉手勢動作，通過編寫的JAVA程序，將手部姿態(tài)數(shù)據(jù)解析為舵機控制信號。將此信息（角度值）無線傳輸至樹莓派中，將舵機控制信號進行處理并發(fā)送至機械臂，實現(xiàn)控制。

圖3 光學(xué)傳感器控制原理圖

（四）機械臂控制系統(tǒng)的硬件設(shè)計

體感控制的真正意義在于其通訊距離的遠程化，在保證實時的圖像信息穩(wěn)定、有效的前提下，盡可能大地擴展傳輸距離可以提高機器人的可用性和拓展其應(yīng)用前景。現(xiàn)階段，環(huán)境基礎(chǔ)設(shè)施完善的情況下，可以借助任何一個局域網(wǎng)，訪問互聯(lián)網(wǎng)，實現(xiàn)兩局域網(wǎng)子機之間的信息交換，方便快捷，任何網(wǎng)絡(luò)的地方就可以實現(xiàn)控制。沉浸式機器人的雙向數(shù)據(jù)傳輸將以此為基礎(chǔ),總體傳輸示意圖如圖4所示。

圖4 雙向數(shù)據(jù)傳輸示意圖

關(guān)于視頻無線傳輸方案：

使用云端服務(wù)器，登錄遠程控制管理臺控制服務(wù)器，實現(xiàn)所需功能。在帶寬保證的條件下，由雙目攝像頭采集的視頻信息可以通過服務(wù)器來進行訪問顯示。選擇ffmepg+ffserver這種方式來實現(xiàn)視頻傳輸功能，原因有兩點。首先這種方式實現(xiàn)的視頻傳輸有較好的流暢度，項目的目的便是攝像頭監(jiān)控并且對攝像頭進行調(diào)整，所以對視頻的延遲要求很嚴(yán)格。其次，mjpeg-streamer在通過網(wǎng)頁訪問攝像頭的時候需要知道此時樹莓派的IP，通過ffmepg+ffserver這種方式在實現(xiàn)過程中，將樹莓派和客戶端進行隔離，不再直接聯(lián)系，樹莓派通過服務(wù)器端就可以實時獲取視頻信息。

二、沉浸式體控機器人的應(yīng)用前景分析

（一）機器人原理樣機分析

沉浸式體控機器人運用VR技術(shù)和體感控制技術(shù)，具備人機交互性良好，動作性能優(yōu)越，能耗低等特點。一方面，頭部及手臂共七個自由度的運動實現(xiàn)幾乎無延遲控制，另一方面，雙目攝像頭采集到的動態(tài)圖像可以經(jīng)無線方式實時傳輸至操作者眼前。在機器人端和操作者端網(wǎng)絡(luò)條件良好時，圖像清晰，延遲約0.5秒。

圖5 成品概念圖

（二）沉浸式體控機器人在危險環(huán)境下的應(yīng)用

隨著經(jīng)濟社會的發(fā)展，大量新工種不斷涌現(xiàn)，其中不乏高危險性、傷害人體健康、人力無法實現(xiàn)的職業(yè)。比如核電站輻射量監(jiān)測、電力鐵塔檢測、塔吊高空作業(yè)以及在有毒有害氣體、低溫或高溫環(huán)境中的操作、巡檢、采樣、維修等等。因此發(fā)展能用于有毒有害環(huán)境下的遠程體控機器人意義重大。

（1）遠程體控機器人采用虛擬現(xiàn)實設(shè)備，使機器人圖像采集部位緊隨著人體頭部運動而運動，大大提高了遠程監(jiān)控的清晰度和監(jiān)控范圍，實景傳輸效率非常高，使操作人員有身臨其境的感覺，也提高了遠程控制效率；（2）遠程體控機器人能工作在條件苛刻的地方，如核輻射、高空、狹小空間、極端溫度條件、有毒有害氣體內(nèi)等，使人員免受身體健康或生命安全的威脅；

（3）遠程體控機器人能進行遠距離的仿人同步操作，如巡檢、偵查、采樣、生產(chǎn)、維修等等，必要時還可以將人體在某一時間段內(nèi)的動作數(shù)據(jù)記錄下來，從而進行自發(fā)的重復(fù)運動，提高生產(chǎn)效率；

（4）目前現(xiàn)有的機器人工作行為大都比較單一，通常只能固定在某處完成預(yù)先設(shè)定的操作，應(yīng)用范圍較窄。而遠程體控機器人可以實時地仿照人體手臂運動，從而免去了復(fù)雜的手臂運動設(shè)計分析和程序編寫過程，使控制更加靈活可變。

三、結(jié)語

隨著視覺技術(shù)和計算機科學(xué)的高速發(fā)展，具有交互性、自由化的沉浸式視覺系統(tǒng)成為未來多媒體視頻技術(shù)的重要組成部分，具有極其廣闊的應(yīng)用前景。本項目利用立體沉浸技術(shù)和體感控制技術(shù)，創(chuàng)新性地將虛擬現(xiàn)實技術(shù)發(fā)展并應(yīng)用于監(jiān)測控制領(lǐng)域，提出遠程三維立體沉浸式智能體感控制的概念與技術(shù)路線。使觀察者可以自由地選擇觀察方向與視角，同時使機械臂隨操作者動作同步運動。其特點在于交互性、動作性和自主性較強。沉浸式體控機器人能夠?qū)崿F(xiàn)遠程沉浸式操作，并結(jié)合輪式、履帶式等移動機器人或航拍機器人，以更直觀、自由地體感控制方式，完成各類特定任務(wù)，使未來機器人工作更加安全、可靠和高效。

[1] Don Wilcher著∶ 翁愷 譯.學(xué)ARDUINO玩轉(zhuǎn)電子制作[M].北京∶人民郵電出版社.2013.

[2]程晨.Arduino開發(fā)實戰(zhàn)指南[M].北京：機械工業(yè)出版社,2012.

[3]陳玉敏,謝瑋,孟憲民.基于體感控制的智能車設(shè)計[J]. 現(xiàn)代電子技術(shù),2016,(03)∶155-158.

[4]龔霖迪. 體感控制攝像機初識[J].中國公共安全,2014,(18)∶92-95.

[5]戴歡. 基于慣性動作捕捉的人體運動姿態(tài)研究[D].石家莊鐵道大學(xué),2012.

[6]郭偉,蘭景婷. 三維動畫及其運動捕捉技術(shù)[J].四川文理學(xué)院學(xué)報,2011,(05)∶97-99.

[7]周冬鑫.慣性運動捕捉前端設(shè)備研究與設(shè)計[D].浙江大學(xué),2011.

[8]劉然. 基于計算機立體視覺的雙目立體成像研究[D].重慶大學(xué),2007.

[9]陳孟臻.基于MPU-6050陀螺——加速度儀三軸云臺的研究[J].百色學(xué)院學(xué)報,2015,(03)∶126-131.