李鐵軍,馬仁龍,劉今越+,賈曉輝

(1.河北工業(yè)大學(xué) 機(jī)械工程學(xué)院,天津 300401;2.河北科技大學(xué) 機(jī)械工程學(xué)院,河北 石家莊 050018)

0 引言

在工業(yè)4.0的大背景下,協(xié)作機(jī)器人越來(lái)越重要,但在協(xié)作任務(wù)高效完成方面,協(xié)作機(jī)器人仍有一定的限制。為了克服這一局限性,協(xié)作機(jī)器人需要具備更高層次的環(huán)境感知以及對(duì)人類意圖識(shí)別和推理的能力,才能更加自然地與人類協(xié)同工作。意圖識(shí)別對(duì)于實(shí)現(xiàn)高效人機(jī)協(xié)作裝配具有重要作用[2],對(duì)于復(fù)雜的操作任務(wù),操作者應(yīng)該靈活、精確地控制機(jī)器人完成一系列的復(fù)雜步驟來(lái)完成協(xié)同裝配。在協(xié)作過(guò)程中,人類對(duì)于復(fù)雜環(huán)境的應(yīng)變能力遠(yuǎn)遠(yuǎn)優(yōu)于機(jī)器人,因此完成一個(gè)復(fù)雜靈活多變的任務(wù),操作者是不可或缺的,這就要求機(jī)器能夠更加全面和精確地理解操作者的意圖,也對(duì)人機(jī)協(xié)作的接口提出更高要求:一方面,在復(fù)雜裝配的任務(wù)中,通常需要機(jī)器人對(duì)操作對(duì)象完成多個(gè)自由度的靈活調(diào)整才能達(dá)到安裝要求;另一方面,在手術(shù)、裝配等高精度要求的協(xié)作任務(wù)中,人的情緒變化對(duì)于協(xié)作任務(wù)的成功完成起到重要作用,因此使機(jī)器人能夠準(zhǔn)確識(shí)別操作者的情緒已經(jīng)成為意圖感知探索研究的關(guān)鍵技術(shù)。

典型人機(jī)協(xié)作接口主要分為接觸式和非接觸式兩種,非接觸式的人機(jī)接口代表是視覺(jué)傳感器,其優(yōu)點(diǎn)是可感受的范圍廣,但圖像獲取過(guò)程中,時(shí)常存在多種不理想的光照條件,導(dǎo)致曝光不足等問(wèn)題[3];接觸式的人機(jī)協(xié)作中,觸覺(jué)成為感知操作者意圖的一種重要途徑,并且觸覺(jué)傳感器實(shí)際上是一種人造皮膚,容易集成到人體模型中,可以使操作者通過(guò)觸摸機(jī)器人實(shí)現(xiàn)多種意圖感知以及情感的傳遞,是人機(jī)協(xié)作中非常直觀的一種交互方式。眾多學(xué)者對(duì)使用觸覺(jué)傳感器作為人機(jī)協(xié)作接口進(jìn)行了嘗試,東南大學(xué)的研發(fā)團(tuán)隊(duì)[4]研發(fā)出一種指端可穿戴式力觸覺(jué)交互裝置,該裝置具有小巧輕便、穿戴方便等特點(diǎn); CIRILLO等[5]將觸覺(jué)傳感器用于KUKA人機(jī)協(xié)作執(zhí)行相對(duì)復(fù)雜的任務(wù),任務(wù)段和控制模式之間的切換通過(guò)簡(jiǎn)單的觸摸手勢(shì)實(shí)現(xiàn),可以執(zhí)行比較簡(jiǎn)單的動(dòng)作;文獻(xiàn)[6]中,通過(guò)觸覺(jué)傳感器識(shí)別諸如“向左”、“向右”、“退出”等觸摸手勢(shì)來(lái)進(jìn)行人機(jī)協(xié)作; GRELLA等[7]將觸覺(jué)傳感器用于工業(yè)場(chǎng)景中,來(lái)實(shí)現(xiàn)物理人機(jī)交互,用觸覺(jué)傳感器來(lái)區(qū)分操作者自愿和非自愿兩種交互模式。以上研究均驗(yàn)證了人和機(jī)器人通過(guò)觸覺(jué)直觀通信的可行性,但是對(duì)于觸覺(jué)手勢(shì)的定義均存在一定局限性,意圖表達(dá)的種類較少,無(wú)法運(yùn)用到實(shí)際的復(fù)雜裝配中。

操作意圖的準(zhǔn)確識(shí)別是人機(jī)協(xié)作的基礎(chǔ)工作,觸摸意圖識(shí)別算法是準(zhǔn)確識(shí)別操作者意圖的關(guān)鍵,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)具有自動(dòng)提取特征能力,加州大學(xué)伯克利分校[8]使用CNN模型提取觸覺(jué)信號(hào)特征,并利用融合信息取得了良好的分類結(jié)果;SVNDARAM等[9]設(shè)計(jì)了一款觸覺(jué)手套,并基于ResNet原型設(shè)計(jì)了卷積神經(jīng)網(wǎng)絡(luò),該CNN展現(xiàn)出非常好的物體識(shí)別能力,識(shí)別準(zhǔn)確率達(dá)到95.00%;CHU等[10]設(shè)計(jì)了BMF-CNN(bilinear feature and multi-layer fused convolutional neural network),并對(duì)按壓形成的字母進(jìn)行分類,準(zhǔn)確率達(dá)到98.66%。以上研究表明卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為觸覺(jué)分類的主要的識(shí)別方法,然而,觸覺(jué)圖像的識(shí)別仍面臨諸多問(wèn)題,觸覺(jué)圖像分辨率普遍較低,低分辨率特征限制了CNN的深度;其次,經(jīng)典神經(jīng)網(wǎng)絡(luò)很難在小型化嵌入式硬件上部署,并且往往不能滿足實(shí)時(shí)運(yùn)算的要求,尤其對(duì)于實(shí)時(shí)性要求較高的人機(jī)協(xié)作領(lǐng)域,如何小型化及實(shí)時(shí)化處理觸覺(jué)信息也是目前面臨的問(wèn)題[11]。

為此,本文自主設(shè)計(jì)了一種觸覺(jué)抓握手柄,依據(jù)任務(wù)需求,定義多種操作意圖狀態(tài),以滿足意圖實(shí)際裝配的任務(wù)要求,并針對(duì)觸覺(jué)圖像的特點(diǎn),自行設(shè)計(jì)適合觸覺(jué)圖像準(zhǔn)確分類的輕量化CNN網(wǎng)絡(luò)結(jié)構(gòu),以此執(zhí)行日益復(fù)雜的觸覺(jué)圖像的識(shí)別任務(wù),并能夠滿足在計(jì)算性能有限的小型嵌入式應(yīng)用。在此基礎(chǔ)上,充分挖掘抓握松緊信息,用抓握力度映射操作者注意力情緒集中程度,根據(jù)抓握松緊信息設(shè)計(jì)一種變阻尼的導(dǎo)納控制,提高人機(jī)協(xié)作效率。

1 觸覺(jué)意圖感知系統(tǒng)

1.1 觸覺(jué)感知系統(tǒng)框架介紹

如圖1所示為整個(gè)觸覺(jué)感知系統(tǒng)構(gòu)架,利用觸覺(jué)傳感器陣列感受手部的抓握情況,采用采集卡讀取觸覺(jué)傳感器數(shù)據(jù),當(dāng)手部抓握時(shí),微控制器從觸覺(jué)陣列讀取觸覺(jué)矩陣,發(fā)送到樹莓派微控制器,通過(guò)CNN網(wǎng)絡(luò)識(shí)別手部的抓握手勢(shì)狀態(tài),通過(guò)網(wǎng)路連接將識(shí)別的意圖發(fā)送給機(jī)械臂,最終機(jī)器人根據(jù)識(shí)別的抓握手勢(shì)來(lái)調(diào)整其運(yùn)動(dòng)狀態(tài),實(shí)現(xiàn)人機(jī)協(xié)作。

1.2 觸覺(jué)傳感器陣列

電容式傳感器因其高靈敏度、溫度獨(dú)立性和適于大面積應(yīng)用等特點(diǎn)而受到眾多研究學(xué)者的青睞[12-13]。如圖2所示為自主研發(fā)的柔性電容式壓力傳感器,該傳感器主要由上、下兩個(gè)電極層及夾在中間的介電層組成,每個(gè)電極層上分布多個(gè)平行電極,兩個(gè)電極層上的電極彼此正交,兩個(gè)正交電極層的交點(diǎn)形成獨(dú)立的電容傳感單元。由于石墨烯導(dǎo)電銀漿具有良好的導(dǎo)電性能,并且易于附著到柔性布料之上,傳感器的上、下電極層采用石墨烯導(dǎo)電銀漿作為原材料印刷到純棉斜紋布上;中間的介電層采用高回彈性、高耐磨性聚氨酯海綿。當(dāng)操作者施加壓力,電容單元區(qū)域的壓力F使得介電層厚度變化,引起電容值改變,從而實(shí)現(xiàn)對(duì)傳感器表面受力的識(shí)別,圖2中d1和d2表示施加力前后壓力變化的情況,該電容單元的電容值可以表示為:

(1)

1.3 觸覺(jué)傳感器標(biāo)定

為驗(yàn)證柔性觸覺(jué)傳感器性能,保證傳感器精度,采用ZQ-21A-2型壓力計(jì)對(duì)傳感器進(jìn)行性能測(cè)試,從不同位置隨機(jī)選取10個(gè)電容單元進(jìn)行重復(fù)加載實(shí)驗(yàn),記錄傳感器示數(shù),并對(duì)數(shù)據(jù)進(jìn)行擬合,實(shí)驗(yàn)結(jié)果如圖3a所示。從圖中可以得出,單個(gè)傳感器單元的電容所受壓力在一定范圍內(nèi)呈現(xiàn)正比關(guān)系,且不同的電容單元在同一個(gè)壓力數(shù)值下的輸出值相差甚小。此外,采用剪刀、絕緣膠帶、六角扳手和人手測(cè)試傳感器的整體效果,結(jié)果如圖3b所示。由圖可知,測(cè)試中噪聲微弱,可忽略不計(jì),傳感器各電極間幾乎不存在明顯的耦合問(wèn)題,對(duì)施加于其上的壓力分布檢測(cè)效果良好,這表明所開發(fā)的觸覺(jué)傳感器可以滿足手部壓力的提取需求。

1.4 觸覺(jué)手柄封裝

相較于人-機(jī)點(diǎn)接觸式操作任務(wù),操作人員更習(xí)慣緊握物體使其移動(dòng)。抓握不易受外部干擾、比較穩(wěn)定,抓握力度信息也能夠表達(dá)操作者的重要意圖,對(duì)于安裝裝配場(chǎng)合,選用抓握接觸方式更加合適,且柔性電容式傳感器的彎曲變形不會(huì)改變壓力識(shí)別效果,因此根據(jù)人手抓握姿勢(shì)、抓握舒適度及人手大小,將柔性傳感器封裝為手柄形式。觸覺(jué)手柄由電容式傳感器、3D打印桿、導(dǎo)線以及數(shù)據(jù)采集卡組成,如圖4a所示,整個(gè)手柄長(zhǎng)200 mm,直徑50 mm,參考一般成年男性手掌尺寸設(shè)計(jì),保證操作過(guò)程中,操作者手掌能充分包裹手柄表面。覆蓋于手柄表面的柔性傳感器包含32×32個(gè)觸覺(jué)傳感器單元,可有效感受手部抓握信息。操作者抓握手柄壓力分布圖像與手部區(qū)域的對(duì)應(yīng)關(guān)系如圖4b所示,手部區(qū)域由4個(gè)主要區(qū)域組成,分別是四指區(qū)、中間區(qū)、拇指區(qū)和掌心區(qū)。

2 觸覺(jué)手柄抓握操作意圖狀態(tài)定義

在利用觸覺(jué)手柄實(shí)現(xiàn)人機(jī)協(xié)作過(guò)程中,操作者意圖的準(zhǔn)確定義是機(jī)器人準(zhǔn)確理解操作者意圖,制定高效控制策略,實(shí)現(xiàn)人機(jī)交互的重要基礎(chǔ)和前提。在真實(shí)的人機(jī)協(xié)作中,通過(guò)觀察操作者抓握手柄的力度信息變化發(fā)現(xiàn),對(duì)于精度要求較低的工作,操作者往往比較放松,此時(shí)手部抓握力度較小,并希望使用較小的努力實(shí)現(xiàn)較多的工作量;對(duì)于精度要求較高的工作,操作者會(huì)表現(xiàn)出一定的注意力,并適當(dāng)增大抓握力度進(jìn)行操作。這說(shuō)明操作者抓握力度的大小可以間接反映操作者注意力的集中程度。因此,利用觸覺(jué)手柄感受手部的抓握力度,并據(jù)此調(diào)整導(dǎo)納控制阻尼可以達(dá)到更好地順應(yīng)操作者意圖的目的。抓握松緊意圖從松到緊的壓力圖像和像素積分分布,如圖5所示。為保證人機(jī)協(xié)作安全,當(dāng)抓握力度非常小時(shí),設(shè)定一個(gè)抓握力度最小值(一般抓握?qǐng)D像的像素積分小于600),定義此時(shí)的抓握意圖為無(wú)意識(shí)觸碰,防止誤操作。當(dāng)操作過(guò)程中遇到緊急情況,抓握力度較大,當(dāng)抓握力度達(dá)到一定值時(shí)(一般像素積分大于15 000),設(shè)定該值為判斷閾值,若抓握力度超過(guò)此閾值,表明操作者精神高度緊張,此時(shí)一般處于全力抓握狀態(tài),則設(shè)置機(jī)器人緊急停止,防止產(chǎn)生危險(xiǎn)。

機(jī)器人完成裝配任務(wù)過(guò)程中,對(duì)機(jī)器人末端的位置和姿態(tài)的調(diào)節(jié)是必不可少的。以建筑機(jī)器人領(lǐng)域幕墻安裝機(jī)器人為例,在安裝幕墻的過(guò)程中,由于施工環(huán)境的復(fù)雜性,操作者需要靈活的調(diào)節(jié)機(jī)器人末端位置和姿態(tài),才能完成安裝作業(yè),要求觸覺(jué)手柄能夠準(zhǔn)確識(shí)別操作者對(duì)于機(jī)器人末端位姿調(diào)控的意圖信息。本文將位置調(diào)控分為前推方向意圖和后拽方向意圖,用于控制機(jī)器人末端在整個(gè)二維平面中的運(yùn)動(dòng);將姿態(tài)調(diào)控分為壓頭意圖、抬頭意圖以及擺頭意圖,用于控制機(jī)器人末端在三維空間中的位姿變化。在此基礎(chǔ)上充分挖掘操作壓力信息,將壓力總和映射為機(jī)器人末端速度大小。在實(shí)際操作過(guò)程中,通過(guò)改變操作手柄操作力度,實(shí)時(shí)改變機(jī)器人末端運(yùn)動(dòng)速度,實(shí)現(xiàn)位姿調(diào)控意圖。位姿調(diào)控操作意圖狀態(tài)描述如表1所示,觸覺(jué)手柄人機(jī)協(xié)作如圖6所示,位姿調(diào)控意圖狀態(tài)如圖7所示。

表1 位姿調(diào)控操作意圖狀態(tài)描述

3 觸覺(jué)手柄抓握操作意圖狀態(tài)識(shí)別

3.1 CNN網(wǎng)絡(luò)及ResNet殘差模型介紹

操作意圖的準(zhǔn)確識(shí)別是人機(jī)協(xié)作的基礎(chǔ),卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)作為一種典型的深度學(xué)習(xí)算法,因其強(qiáng)大的特征提取能力和非線性映射能力[14]適用于各種圖像處理的場(chǎng)景。本文采用自制傳感器得到的手部壓力圖像的分辨率僅為32×32,使用典型深層卷積神經(jīng)網(wǎng)絡(luò)框架會(huì)造成資源浪費(fèi),不利于計(jì)算量有限的嵌入式設(shè)備使用。因此,本節(jié)基于經(jīng)典CNN構(gòu)建一種適用于觸覺(jué)圖形分類的輕量化卷積神經(jīng)網(wǎng)絡(luò)構(gòu)架。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)深度的增加,會(huì)出現(xiàn)網(wǎng)絡(luò)退化現(xiàn)象,對(duì)此HE等[15]通過(guò)ResNet殘差模塊實(shí)現(xiàn)線性特征與非線性特征融合,解決卷積神經(jīng)網(wǎng)絡(luò)中因網(wǎng)絡(luò)增加而引發(fā)的梯度消失和梯度爆炸現(xiàn)象。ResNet主要學(xué)習(xí)輸入和輸出的殘差關(guān)系,典型殘差模塊如圖8所示。

殘差網(wǎng)絡(luò)公式可表示為:

H(x)=F(x)+x。

(2)

式中:x為輸入;H(x)為求和后網(wǎng)絡(luò)映射;F(x)為求和前網(wǎng)絡(luò)映射。

典型殘差網(wǎng)絡(luò)中,使用兩個(gè)3×3卷積核提取觸覺(jué)圖像特征,卷積公式為:

(3)

ReLu為網(wǎng)絡(luò)中的激活函數(shù),可以擬合非線性特征、學(xué)習(xí)數(shù)據(jù)中的復(fù)雜關(guān)系,公式為:

(4)

在卷積層與ReLU激活函數(shù)之間加入BN層(批歸一化操作),可將數(shù)據(jù)分布映射到一個(gè)確定空間,解決內(nèi)部變量偏移的問(wèn)題,防止過(guò)擬合,加速模型訓(xùn)練,提升模型訓(xùn)練精度,使得訓(xùn)練深度模型更加穩(wěn)定。批歸一化操作依次按照式(5)～式(8)進(jìn)行:

(5)

(6)

(7)

(8)

3.2 觸覺(jué)CNN意圖識(shí)別網(wǎng)絡(luò)框架

依照ResNet-18[15]構(gòu)建輕量化CNN網(wǎng)絡(luò),意圖識(shí)別網(wǎng)絡(luò)框架如圖9所示,命名該輕量化網(wǎng)絡(luò)為ResNet-mini,該ResNet-mini相較于ResNet-18主要在以下幾個(gè)方面進(jìn)行了改進(jìn):

(1)為了適應(yīng)低分辨率的觸覺(jué)圖像,更好地提取更加細(xì)節(jié)的信息,將初始的7×7卷積核變?yōu)?×3大小,步幅從2變?yōu)?;

(2)把ResNet-18的多層殘差結(jié)構(gòu)簡(jiǎn)化為兩個(gè)殘差;

(3)在兩個(gè)殘差塊之間加入Dropout操作,隨機(jī)丟棄神經(jīng)元,防止網(wǎng)絡(luò)過(guò)擬合;

(4)為了滿足單幀觸覺(jué)圖像分類要求及嵌入式應(yīng)用需求,把網(wǎng)絡(luò)輸入層換成單幀觸覺(jué)圖像;

(5)為了進(jìn)一步簡(jiǎn)化模型,提高模型的運(yùn)行速度,把卷積核的數(shù)量做了相應(yīng)的減少,具體為:把第一個(gè)卷積核數(shù)量改為32,第一個(gè)殘差模塊的卷積核數(shù)量改為32,第二個(gè)殘差模塊卷積核數(shù)量改為64,1×1卷積核數(shù)量改為128。

4 實(shí)驗(yàn)驗(yàn)證與評(píng)估

4.1 觸覺(jué)CNN網(wǎng)絡(luò)訓(xùn)練及測(cè)試實(shí)驗(yàn)

下面對(duì)改進(jìn)的意圖識(shí)別CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試,驗(yàn)證其性能。為保證樣本的多樣性,招募15名志愿者構(gòu)建觸覺(jué)手勢(shì)數(shù)據(jù)庫(kù),參與者分別采集每種抓握意圖圖像1 000張,觸覺(jué)意圖包括1個(gè)抓握松緊意圖和12個(gè)位姿調(diào)控意圖。取數(shù)據(jù)集中70%數(shù)據(jù)作為網(wǎng)絡(luò)訓(xùn)練集,30%數(shù)據(jù)作為網(wǎng)絡(luò)驗(yàn)證集,考慮到訓(xùn)練過(guò)程中訓(xùn)練集圖像的數(shù)量和迭代效率,將樣本的批量大小設(shè)置為32個(gè),學(xué)習(xí)率在訓(xùn)練過(guò)程中起到非常重要的作用,良好的學(xué)習(xí)率可以有效地減小損失,若學(xué)習(xí)率過(guò)大或過(guò)小,可能導(dǎo)致?lián)p失函數(shù)不收斂,訓(xùn)練結(jié)果將進(jìn)入局部最優(yōu),因此進(jìn)行對(duì)比實(shí)驗(yàn)尋找合適的學(xué)習(xí)率。測(cè)試中學(xué)習(xí)率從10-5按10倍關(guān)系遞增到10-1,學(xué)習(xí)率和損失如圖10a所示。

由圖10a可知,當(dāng)學(xué)習(xí)率為10-3時(shí)損失函數(shù)值最小,因此選用此值作為網(wǎng)絡(luò)的學(xué)習(xí)率,訓(xùn)練的epoch設(shè)置成30(將所有數(shù)據(jù)訓(xùn)練一遍的次數(shù)),設(shè)置完參數(shù)后對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練完成之后得到相應(yīng)的精度和損失變化曲線,如圖10b和圖10c所示,分析結(jié)果可知,網(wǎng)絡(luò)訓(xùn)練不存在過(guò)擬合現(xiàn)象,損失函數(shù)曲線可快速收斂,最終分類模型在訓(xùn)練集的準(zhǔn)確率可達(dá)99.94%,在測(cè)試集的準(zhǔn)確率達(dá)98.80%,訓(xùn)練結(jié)果滿足意圖識(shí)別精確度要求。

將本文ResNet-mini與ResNet18以及SVM方法進(jìn)行對(duì)比,結(jié)果如表2所示。由表2結(jié)果可知,相較于傳統(tǒng)的SVM方法,基于CNN方法的識(shí)別準(zhǔn)確率提高了大約10%;ResNet18網(wǎng)絡(luò)精確度與ResNet-mini準(zhǔn)確度僅僅高出0.22%,兩種方法的準(zhǔn)確率幾乎持平,但是ResNet-mini網(wǎng)絡(luò)參數(shù)數(shù)量遠(yuǎn)遠(yuǎn)小于ResNet18,這有利于將網(wǎng)絡(luò)模型移植到計(jì)算性能較弱的嵌入式設(shè)備,并且實(shí)時(shí)性也能得到有效提高。

表2 意圖識(shí)別方法對(duì)比

為了更好地反映ResNet-mini模型意圖分類問(wèn)題,繪制混淆矩陣來(lái)觀察具體每一種類別的分類效果,如圖11所示。

由圖11可知,對(duì)于所定義的大部分操作意圖,ResNet-mini方法均能完成準(zhǔn)確分類,但是抓握松緊意圖和抬頭意圖的識(shí)別效果相對(duì)較差,約為96%左右,這主要是因?yàn)閮煞N意圖的壓力圖像相似,容易混淆;此外,后拽、偏拇指后拽以及偏四指后拽模型的識(shí)別效果也出現(xiàn)輕微混淆,準(zhǔn)確率相較于其他意圖識(shí)別效果欠佳。

4.2 觸覺(jué)手柄人機(jī)協(xié)作實(shí)驗(yàn)

隨機(jī)選擇一名志愿者進(jìn)行板材安裝實(shí)驗(yàn),志愿者抓握手柄,在手柄上施加各種操作手勢(shì),采集卡把采集到的觸覺(jué)手勢(shì)發(fā)給樹莓派中,然后把采集到的觸覺(jué)手勢(shì)放入到前期訓(xùn)練完成的CNN模型實(shí)時(shí)識(shí)別,測(cè)試在實(shí)際的板材安裝的過(guò)程中,模型對(duì)于操作者手勢(shì)識(shí)別的效果,實(shí)驗(yàn)場(chǎng)景,如圖12所示,進(jìn)行人機(jī)協(xié)作實(shí)驗(yàn),主要由觸覺(jué)手柄、大黃板材安裝機(jī)械臂以及操作者組成人機(jī)協(xié)作系統(tǒng),具體實(shí)驗(yàn)環(huán)境配置,如表3所示。

表3 實(shí)驗(yàn)結(jié)果表

實(shí)驗(yàn)結(jié)果如圖14所示,板材安裝過(guò)程CNN模型實(shí)時(shí)識(shí)別到的操作者意圖情況如表4所示。

表4 CNN意圖識(shí)別情況

從實(shí)驗(yàn)結(jié)果可以看出,安裝板材被分為3個(gè)主要階段,對(duì)每個(gè)階段的分析如下:

(1)板材開始安裝時(shí),進(jìn)入開始階段(0～3.5 s),該階段由于板材離安裝位置較遠(yuǎn),此時(shí)操作者情緒較為輕松,操作者希望利用較小的努力,操作者使用較小的力度抓握手柄,觸覺(jué)手柄識(shí)別出為松抓握,從而確定此階段為低阻尼狀態(tài),此時(shí)手柄靈敏度較高,之后操作者施加位姿調(diào)控意圖,施加拇指推意圖,CNN準(zhǔn)確識(shí)別也為拇指推狀態(tài),并控制機(jī)器人末端沿y軸的負(fù)方向運(yùn)動(dòng),同時(shí),依據(jù)像素積分調(diào)節(jié)其速度大小。該過(guò)程中CNN識(shí)別意圖狀態(tài)41次,識(shí)別準(zhǔn)確率為100%。

(2)隨著板材逐漸靠近安裝位置,進(jìn)入過(guò)度階段(3.5 s～14.9 s),此階段操作者注意力逐漸集中,手部的抓握力度隨著情緒變化而變化,觸覺(jué)手柄進(jìn)一步識(shí)別到抓握力度為中等力度,從而改變此階段阻尼,通過(guò)加大阻尼,降低手柄的靈敏度,之后操作者施加位姿調(diào)控意圖,CNN先是識(shí)別為掌心推(3.5 s～11.2 s),控制機(jī)器人沿x正方向運(yùn)動(dòng);而后識(shí)別為拇指推(11.2 s～14.8 s),控制機(jī)器人沿y負(fù)方向運(yùn)動(dòng),如圖14b所示,此過(guò)程中CNN共進(jìn)行124識(shí)別,全部識(shí)別準(zhǔn)確。

(3)當(dāng)板材到達(dá)安裝點(diǎn)附近,進(jìn)入最后階段(14.9 s～22.0 s),最后階段(14.9 s～22.0 s),此階段操作者的一個(gè)微小的移動(dòng)就可能決定安裝的成功與否,所以操作者注意力高度集中,以免出現(xiàn)失誤,抓握力度也進(jìn)一步加大,CNN識(shí)別到抓握松緊信息進(jìn)一步增大,表現(xiàn)為緊抓握狀態(tài),從而確定此階段為高阻尼階段,通過(guò)加大阻尼,進(jìn)一步降低手柄的靈敏度,此階段運(yùn)動(dòng)的穩(wěn)定性是非常重要的,操作者必須使用相較之前更大的操作力才能控制機(jī)械臂運(yùn)動(dòng),通過(guò)多次調(diào)節(jié),最終完成板材安裝任務(wù)。

由實(shí)驗(yàn)結(jié)果可知,此觸覺(jué)手柄可以準(zhǔn)確識(shí)別操作者的抓握松緊情況,并以此調(diào)整導(dǎo)納控制器的阻尼參數(shù),同時(shí)可準(zhǔn)確識(shí)別協(xié)作裝配過(guò)程的位姿調(diào)控意圖,控制機(jī)器人高效、準(zhǔn)確完成安裝任務(wù)。結(jié)合實(shí)驗(yàn)結(jié)果,為了進(jìn)一步說(shuō)明本文觸覺(jué)人機(jī)交互的優(yōu)越性,將本文方法與文獻(xiàn)[15]和文獻(xiàn)[7]中方法進(jìn)行對(duì)比,從意圖表達(dá)的完整性、意圖識(shí)別的準(zhǔn)確性以及是否可以根據(jù)抓握力度大小實(shí)現(xiàn)變導(dǎo)納控制3個(gè)主要的觸覺(jué)人機(jī)協(xié)作的方面進(jìn)行對(duì)比,結(jié)果如表5所示。從對(duì)比結(jié)果中可以看出,本文觸覺(jué)人機(jī)協(xié)作方法有多重優(yōu)點(diǎn),首先,意圖表達(dá)能力更強(qiáng),可以識(shí)別多達(dá)13種的抓握意圖,相對(duì)于其他論文方法,有明顯提高,其次是意圖識(shí)別的準(zhǔn)確率方面,本文方法在意圖表達(dá)更加完整的基礎(chǔ)上,識(shí)別的準(zhǔn)確率也是最高的,并且算法已經(jīng)應(yīng)用樹莓派這種嵌入式設(shè)備上,實(shí)現(xiàn)小型化,最后本文方法還充分挖掘抓握松緊信息設(shè)置變阻抗的導(dǎo)納控制。

表5 觸覺(jué)人機(jī)協(xié)作其他方法對(duì)比

5 結(jié)束語(yǔ)

本文面向人機(jī)協(xié)作的場(chǎng)景,基于觸覺(jué)手柄,研究了一種用于手部抓握意圖和操作意圖識(shí)別的人機(jī)交互方法。該方法通過(guò)CNN實(shí)現(xiàn)對(duì)抓握意圖的識(shí)別,并根據(jù)抓握松緊意圖設(shè)計(jì)了一種變導(dǎo)納控制方法來(lái)改善人機(jī)協(xié)作系統(tǒng)的性能。最后,通過(guò)板材安裝實(shí)驗(yàn)驗(yàn)證方法的有效性。實(shí)驗(yàn)結(jié)果表明,在實(shí)際環(huán)境中,該方法的抓握意圖識(shí)別準(zhǔn)確率達(dá)到98.80%,能夠根據(jù)抓握松緊來(lái)調(diào)節(jié)阻尼的大小,控制機(jī)器人運(yùn)動(dòng),為人機(jī)協(xié)作提供了一種新的解決方案。下一步,針對(duì)觸覺(jué)傳感器的分辨率低問(wèn)題,將研究提高觸覺(jué)傳感器的分辨率,進(jìn)而挖掘更多的人機(jī)協(xié)作觸覺(jué)意圖,并結(jié)合腳部的意圖豐富人機(jī)協(xié)作意圖庫(kù),更好地確保人機(jī)協(xié)作的安全。