朱德慰，李志海，吳鎮(zhèn)煒

(1.中國科學(xué)院 沈陽自動(dòng)化研究所，遼寧 沈陽 110016；2.中國科學(xué)院 機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169；3.中國科學(xué)院大學(xué)，北京 100049)

0 引言

隨著勞動(dòng)力成本的不斷攀升，強(qiáng)調(diào)人與機(jī)器優(yōu)勢(shì)結(jié)合的新型制造模式——人機(jī)協(xié)作，開始受到廣泛關(guān)注，尤其對(duì)勞動(dòng)力密集和自動(dòng)化程度低的中小型企業(yè)具有強(qiáng)大吸引力。由于自動(dòng)化機(jī)器的固有危險(xiǎn)性，在人機(jī)協(xié)作過程中保證協(xié)作者的安全是第一要求，相關(guān)安全策略的研究已成為熱點(diǎn)。

目前人機(jī)協(xié)作的安全策略可分為預(yù)碰撞安全策略和后碰撞安全策略。后碰撞安全策略在某種程度上賦予了機(jī)器人“觸覺”，不僅可以作為協(xié)作機(jī)器人的安全策略，還可以實(shí)現(xiàn)人機(jī)間的接觸式協(xié)作[1]，這主要依賴于協(xié)作機(jī)器人本體的碰撞檢測(cè)功能，如通過對(duì)機(jī)器人內(nèi)部電流環(huán)的監(jiān)控或在機(jī)器人本體加裝力矩傳感器，使其能感受外部碰撞[2]。近年來后碰撞安全策略的研究取得了巨大進(jìn)步，且已成功應(yīng)用到協(xié)作機(jī)器人產(chǎn)品中，如KUKA LBRiiwa[3]和FRANKA EMIKA[4]等。然而，后碰撞安全策略難以進(jìn)一步提升協(xié)作機(jī)器人的安全性和交互性，如使機(jī)器人在協(xié)作過程中避碰(collision avoidance)[5-6]，以及在動(dòng)態(tài)的環(huán)境中自動(dòng)規(guī)劃出無碰撞的運(yùn)動(dòng)路徑(collision-free motion planning)[7]等，只有當(dāng)機(jī)器人發(fā)生碰撞后，該策略才能發(fā)揮作用。因此基于視覺的預(yù)碰撞安全策略研究具有重要價(jià)值。

近年來基于視覺的預(yù)碰撞安全策略，如安全區(qū)(Safety Zone)策略得到廣泛關(guān)注，此類方法通過視覺手段在協(xié)作機(jī)器人周圍建立受監(jiān)控的區(qū)域，當(dāng)操作人員侵入監(jiān)控區(qū)域時(shí)，使機(jī)器人進(jìn)行減速或制動(dòng)等。使用相關(guān)技術(shù)的產(chǎn)品已成功應(yīng)用到工業(yè)場(chǎng)景中，如Pilz SafetyEYE[8]。然而，類似方法本質(zhì)上僅是將傳統(tǒng)工業(yè)機(jī)器人的實(shí)體圍欄替換為虛擬圍欄，人機(jī)間的直接協(xié)作仍不被允許。

協(xié)作機(jī)器人安全標(biāo)準(zhǔn)ISO/TS 15066對(duì)如何進(jìn)行人機(jī)間的安全協(xié)作提供了宏觀的指導(dǎo)。其中基于速度與分離監(jiān)控(Speed and Separation Monitoring)的方法主要通過監(jiān)視人機(jī)運(yùn)動(dòng)速度與人機(jī)最小分離距離，對(duì)協(xié)作機(jī)器人的行為進(jìn)行動(dòng)態(tài)調(diào)整。該方法無需對(duì)機(jī)器人的運(yùn)動(dòng)速度和負(fù)載等進(jìn)行過多限制，且允許人機(jī)共享工作空間，因此受到國內(nèi)外研究者的廣泛關(guān)注。CHEN等[9]基于該思想在機(jī)器人本體上建立一系列虛擬約束球，當(dāng)人進(jìn)入約束球范圍時(shí)，基于人勢(shì)場(chǎng)法使機(jī)器人產(chǎn)生規(guī)避操作人員的運(yùn)動(dòng)，防止人機(jī)危險(xiǎn)碰撞;WANG等[10]采用運(yùn)動(dòng)預(yù)測(cè)法首先預(yù)測(cè)操作人員雙手的運(yùn)動(dòng)軌跡，隨后調(diào)整機(jī)器人的運(yùn)動(dòng)路徑，防止對(duì)操作人員雙手造成碰撞;SHIN[11]提出一種可根據(jù)人機(jī)分離距離計(jì)算協(xié)作過程中機(jī)器人可允許的最大運(yùn)動(dòng)速度的方法;與SHIN類似，F(xiàn)ERRAGUTI等[12]采用控制障礙函數(shù)(Control Barrier Functions)通過人機(jī)分離距離動(dòng)態(tài)調(diào)節(jié)機(jī)器人的動(dòng)能，可在保證安全的前提下最大化發(fā)揮機(jī)器人的性能。

上述方法的不足之處在于僅從人機(jī)間的分離距離一個(gè)維度上對(duì)操作人員是否安全進(jìn)行判斷，限制了人機(jī)協(xié)作任務(wù)中人機(jī)配合的密切程度，使協(xié)作任務(wù)的效率降低。然而，分離距離小并不等價(jià)于與操作人員的安全受到威脅，應(yīng)從操作人員的運(yùn)動(dòng)狀態(tài)，與機(jī)器人的相對(duì)位置關(guān)系和任務(wù)約束等進(jìn)行綜合分析。以往工業(yè)機(jī)器人的安全事故通常與操作人員的誤操作有關(guān)，而當(dāng)前階段協(xié)作機(jī)器人仍使用示教—再現(xiàn)編程模式的現(xiàn)狀決定了操作人員的錯(cuò)誤依然是導(dǎo)致人機(jī)協(xié)作安全問題的主要原因。

針對(duì)上述方法的不足，本文以監(jiān)測(cè)人在協(xié)作任務(wù)中的異常行為為手段，提出一種新的人機(jī)安全協(xié)作方法。針對(duì)以人員操作為固定性和重復(fù)性的人機(jī)協(xié)作任務(wù)，首先建立人體運(yùn)動(dòng)特征模型，基于3D骨架追蹤技術(shù)，學(xué)習(xí)操作人員在規(guī)范執(zhí)行某協(xié)作任務(wù)時(shí)的作業(yè)行為，并將其離線制作為標(biāo)準(zhǔn)運(yùn)動(dòng)特征。其次，在線階段以標(biāo)準(zhǔn)運(yùn)動(dòng)特征為基準(zhǔn)判斷操作人員的行為是否異常，并結(jié)合人機(jī)最小距離對(duì)異常行為分類。最后采用人工勢(shì)場(chǎng)法，在識(shí)別到操作人員處于危險(xiǎn)狀態(tài)時(shí)，使機(jī)器人能通過避碰運(yùn)動(dòng)規(guī)劃，及時(shí)規(guī)避人員的異常接觸，保證人員安全。通過設(shè)計(jì)的零件分揀和人機(jī)協(xié)作涂膠實(shí)驗(yàn)，驗(yàn)證了方法的有效性。

1 人體運(yùn)動(dòng)特征建模

1.1 運(yùn)動(dòng)特征表示

操作人員在協(xié)作任務(wù)中的作業(yè)過程可由連續(xù)變化的身體姿態(tài)表征，身體姿態(tài)的變化可近似為人體關(guān)節(jié)點(diǎn)位姿的變化?？墒褂眠\(yùn)動(dòng)軌跡ξ描述連續(xù)變化的身體姿態(tài)，設(shè)ξ為D×L維矩陣，其中ξt表示連續(xù)觀測(cè)的第t個(gè)操作人員身體位姿，為一個(gè)D維向量，由若干人體關(guān)節(jié)點(diǎn)的位姿坐標(biāo)組成，L表示人機(jī)協(xié)作過程中連續(xù)觀測(cè)的人體位姿向量總數(shù)。

Kinect 2.0深度相機(jī)可用于人體位姿追蹤，該深度相機(jī)能以30 Hz的頻率同時(shí)追蹤人體25個(gè)關(guān)節(jié)點(diǎn)的位姿信息，其中位姿信息由位置和姿態(tài)兩部分組成。協(xié)作任務(wù)中操作人員的運(yùn)動(dòng)主要集中于雙手，上肢各關(guān)節(jié)運(yùn)動(dòng)的豐富性由手關(guān)節(jié)到肩關(guān)節(jié)逐漸降低，且Kinect2.0對(duì)關(guān)節(jié)位置追蹤的準(zhǔn)確性和穩(wěn)定性優(yōu)于姿態(tài)，因此為保證運(yùn)動(dòng)的豐富性與追蹤的穩(wěn)定性，并減少人體位姿向量的維度，選取雙手關(guān)節(jié)和頭關(guān)節(jié)作為運(yùn)動(dòng)特征關(guān)節(jié)，用于表征協(xié)作任務(wù)中的人體位姿。

一旦以上選取的關(guān)節(jié)點(diǎn)數(shù)據(jù)被獲取并處理，操作人員在相機(jī)空間下的左手關(guān)節(jié)位置Pl=[xl,yl,zl]T,右手關(guān)節(jié)位置Pr=[xr,yr,zr]T和頭關(guān)節(jié)位置Ph=[xh,yh,zh]T將在同一幀深度圖像中被提取，并組合為一個(gè)9維的運(yùn)動(dòng)特征向量。從第t幀深度圖像提取的操作人員運(yùn)動(dòng)特征向量ξt可表示為：

(1)

其中ξt為運(yùn)動(dòng)軌跡ξ第t列的值。

1.2 運(yùn)動(dòng)特征提取與處理

導(dǎo)致關(guān)節(jié)數(shù)據(jù)抖動(dòng)的原因有：①相機(jī)的系統(tǒng)噪聲;②關(guān)節(jié)位置的錯(cuò)誤估計(jì)[12]。由系統(tǒng)噪聲導(dǎo)致的抖動(dòng)通常較小，而錯(cuò)誤估計(jì)造成的抖動(dòng)較大。

為獲取關(guān)節(jié)數(shù)據(jù)抖動(dòng)的具體范圍，本文分別在動(dòng)態(tài)和靜態(tài)場(chǎng)景下針對(duì)Kinect 2.0關(guān)節(jié)數(shù)據(jù)的位置抖動(dòng)范圍進(jìn)行了測(cè)試，結(jié)果表明無論在靜態(tài)或動(dòng)態(tài)場(chǎng)景下，當(dāng)某關(guān)節(jié)的位置能被正確追蹤時(shí)，其在X，Y或Z方向的抖動(dòng)均不超過0.05 m。然而當(dāng)肢體被遮擋或重疊導(dǎo)致關(guān)節(jié)位置不能被正確追蹤時(shí)，其抖動(dòng)范圍會(huì)遠(yuǎn)超0.05 m，具體數(shù)值與被錯(cuò)誤估計(jì)的位置有關(guān)(如圖1所示，操作人員的右臂由于被障礙物遮擋，導(dǎo)致障礙物被誤識(shí)別為右手關(guān)節(jié))。此時(shí)造成的抖動(dòng)將會(huì)導(dǎo)致系統(tǒng)捕捉到錯(cuò)誤的運(yùn)動(dòng)特征，因此關(guān)節(jié)數(shù)據(jù)的抖動(dòng)必須被妥善處理。

針對(duì)相機(jī)噪聲造成的抖動(dòng)，可應(yīng)用簡單的濾波算法進(jìn)行平滑。針對(duì)異常關(guān)節(jié)點(diǎn)，采用基于人體運(yùn)動(dòng)能力限制的方法對(duì)其進(jìn)行識(shí)別并剔除。當(dāng)Kinect 2.0不能正確追蹤一個(gè)關(guān)節(jié)點(diǎn)的位置時(shí)，該關(guān)節(jié)點(diǎn)通常會(huì)在疑似正確的位置間高頻率跳動(dòng)，這會(huì)導(dǎo)致關(guān)節(jié)運(yùn)動(dòng)軌跡的突變。如圖2所示，未出現(xiàn)估計(jì)錯(cuò)誤時(shí)關(guān)節(jié)的運(yùn)動(dòng)軌跡為一條均勻變化的折線，如圖中實(shí)線部分所示，出現(xiàn)錯(cuò)誤估計(jì)時(shí)如虛線部分所示。

一般地，若Pi(t)=[xi,yi,zi]T表示關(guān)節(jié)i在t時(shí)刻的位置(其中i=l,r,h分別為左手、右手和頭關(guān)節(jié)的縮寫)，則關(guān)節(jié)i在該時(shí)刻的運(yùn)動(dòng)方向向量和運(yùn)動(dòng)速度分別為：

di(t)=Pi(t)-Pi(t-1),

(2)

(3)

由Kinect 2.0的采樣頻率可知Δt=1/30 s，關(guān)節(jié)的運(yùn)動(dòng)方向改變量為：

(4)

其中dmin的目的是為了防止當(dāng)操作人員近乎靜止時(shí)，過小的運(yùn)動(dòng)方向向量di(t)導(dǎo)致的過大的夾角θi(t)的變化[13]。結(jié)合式(3)和式(4)，關(guān)節(jié)數(shù)據(jù)可靠性的衡量公式為：

(5)

為獲取協(xié)作任務(wù)中操作人員手關(guān)節(jié)的運(yùn)動(dòng)速度范圍，通過兩個(gè)揮手實(shí)驗(yàn)1和2，連續(xù)捕獲3 000幀手關(guān)節(jié)的位置數(shù)據(jù)，并依據(jù)式(2)和式(3)計(jì)算手關(guān)節(jié)運(yùn)動(dòng)速度。兩實(shí)驗(yàn)中操作人員的雙手分別做小幅度快速擺動(dòng)和大幅度變速擺動(dòng)。雖然揮手實(shí)驗(yàn)中操作人員手關(guān)節(jié)的運(yùn)動(dòng)規(guī)律與在真實(shí)協(xié)作任務(wù)中不同，但該實(shí)驗(yàn)?zāi)芤欢ǔ潭确从吵鰠f(xié)作任務(wù)中手關(guān)節(jié)運(yùn)動(dòng)速度的極端情況。為簡化計(jì)算，將關(guān)節(jié)速度單位m/s轉(zhuǎn)換為m/f(meters/frame),其中每幀f=1/30 s，實(shí)驗(yàn)結(jié)果如表1所示。結(jié)果表明，在捕獲的關(guān)節(jié)數(shù)據(jù)中超過85%的關(guān)節(jié)運(yùn)動(dòng)速度在≤0.05 m/f的區(qū)間內(nèi)，超過98%的關(guān)節(jié)點(diǎn)在≤0.1 m/f的區(qū)間內(nèi)。

表1 手關(guān)節(jié)運(yùn)動(dòng)速度

結(jié)合實(shí)驗(yàn)結(jié)果，設(shè)置dmin=0.03 m，Vmax=0.1 m/f，θmax=85°，θmin=0°進(jìn)行異常關(guān)節(jié)點(diǎn)的剔除。

針對(duì)去異常點(diǎn)后的關(guān)節(jié)數(shù)據(jù)，選用霍爾特雙參數(shù)指數(shù)平滑濾波(Holt Double Exponential Smoothing Filter)和卡爾曼濾波對(duì)關(guān)節(jié)數(shù)據(jù)進(jìn)行平滑處理。去異常點(diǎn)算法結(jié)合以上兩種濾波算法對(duì)左手關(guān)節(jié)在X方向的運(yùn)動(dòng)軌跡處理效果如圖3所示。實(shí)驗(yàn)結(jié)果表明該算法可有效剔除異常關(guān)節(jié)數(shù)據(jù)，以上兩種濾波算法中卡爾曼濾波對(duì)數(shù)據(jù)的平滑效果較優(yōu)，但會(huì)遭遇嚴(yán)重的過沖現(xiàn)象，因此選用霍爾特濾波算法平滑去異常點(diǎn)后的關(guān)節(jié)運(yùn)動(dòng)軌跡。

2 標(biāo)準(zhǔn)運(yùn)動(dòng)特征學(xué)習(xí)與異常行為識(shí)別

2.1 標(biāo)準(zhǔn)運(yùn)動(dòng)特征

(6)

(7)

2.2 標(biāo)準(zhǔn)運(yùn)動(dòng)特征的迭代學(xué)習(xí)

標(biāo)準(zhǔn)運(yùn)動(dòng)特征的學(xué)習(xí)階段，在非手動(dòng)標(biāo)記的情況下，系統(tǒng)無法判斷操作人員當(dāng)前的示范是否規(guī)范，若選擇在每次示范結(jié)束后，對(duì)其示范的規(guī)范性進(jìn)行手動(dòng)標(biāo)記，則會(huì)增加學(xué)習(xí)的工作量。為將學(xué)習(xí)過程自動(dòng)化，提出標(biāo)準(zhǔn)運(yùn)動(dòng)特征的迭代學(xué)習(xí)算法。

標(biāo)準(zhǔn)運(yùn)動(dòng)特征的學(xué)習(xí)流程如圖4所示，當(dāng)?shù)谝淮问痉督Y(jié)束后，以獲取的運(yùn)動(dòng)軌跡ξ1作為初始參考軌跡，并設(shè)置可允許的最大運(yùn)動(dòng)偏差lmax，在后續(xù)的

(8)

2.3 異常行為的在線識(shí)別與分類

在線階段，將操作人員的在線運(yùn)動(dòng)軌跡ξon與離線學(xué)習(xí)的標(biāo)準(zhǔn)軌跡，若在線軌跡已嚴(yán)重偏離標(biāo)準(zhǔn)軌跡，則表明操作人員可能出現(xiàn)異常行為。

相對(duì)離線學(xué)習(xí)的標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡，操作人員的在線運(yùn)動(dòng)軌跡ξon是從Kinect 2.0實(shí)時(shí)獲取的，因此長度不斷變化。由1.1節(jié)可知，運(yùn)動(dòng)軌跡為一個(gè)矩陣，每一列存儲(chǔ)一個(gè)運(yùn)動(dòng)特征向量。當(dāng)開啟一次協(xié)作任務(wù)時(shí)，置首幀獲取的深度圖像序號(hào)為0，并開始提取運(yùn)動(dòng)特征向量，逐列保存到運(yùn)動(dòng)軌跡矩陣中，任務(wù)結(jié)束時(shí)停止提取運(yùn)動(dòng)特征向量，故任意運(yùn)動(dòng)特征向量的列序號(hào)與其被提取的圖像的幀序號(hào)相同。

ξ∈ML,D()}。

(9)

(10)

算法1異常行為識(shí)別算法。

1 初始化:t=0,t′=0,φ=0

3 設(shè)置參數(shù):φmax

4 for t≤Tmax

6 更新:φ++,t′=t

7 end if

8 if(φ≥φmax)

9 輸出:識(shí)別到異常行為

10 end if

11 t++

12 end for

13 結(jié)束算法或進(jìn)入下一次識(shí)別任務(wù)

根據(jù)異常行為所導(dǎo)致的結(jié)果不同，可將其分類為錯(cuò)誤行為和危險(xiǎn)行為，其中錯(cuò)誤行為不會(huì)對(duì)操作人員造成危險(xiǎn)，但可能會(huì)導(dǎo)致當(dāng)前協(xié)作任務(wù)的失敗，影響協(xié)作質(zhì)量和效率；危險(xiǎn)行為不僅使當(dāng)前協(xié)作任務(wù)失敗，還使操作人員的安全受到威脅。異常行為的分類標(biāo)準(zhǔn)為：①錯(cuò)誤行為：識(shí)別到異常行為，且人機(jī)最小分離距離Dmin滿足協(xié)作狀態(tài)下人機(jī)間應(yīng)保持的安全距離Dsafe要求;②危險(xiǎn)行為：識(shí)別到異常行為，且人機(jī)最小分離距離小于安全距離Dsafe，如式(11)所示：

(11)

其中φ≥φmax等價(jià)于識(shí)別到異常行為。

3 人機(jī)最小距離追蹤與避碰運(yùn)動(dòng)規(guī)劃

3.1 人機(jī)最小距離追蹤

人機(jī)最小距離可通過計(jì)算骨架特征中各關(guān)節(jié)點(diǎn)與機(jī)器人本體的距離進(jìn)行獲取[14],但該方法只能表征操作人員的骨架信息，無法對(duì)人體表面進(jìn)行精確建模?？苫?D點(diǎn)云對(duì)人機(jī)最小距離進(jìn)行追蹤[9]。3D點(diǎn)云通過大量離散點(diǎn)，對(duì)人體表面進(jìn)行表征，從而實(shí)現(xiàn)更精確的人機(jī)最小距離追蹤，如圖5所示。首先將獲取的操作人員深度圖像從協(xié)作空間背景中分離，防止無關(guān)背景對(duì)計(jì)算人機(jī)最小距離的干擾，并將分離后的深度圖轉(zhuǎn)換為3D點(diǎn)云。使用KNN(K-Nearest Neighbor)算法對(duì)點(diǎn)云進(jìn)行聚類，提取操作人員所在的類群，可減小未完全剔除的背景和噪聲的影響。通過Voxel Grid算法降采樣使點(diǎn)云更加稀疏，有利于加快人機(jī)最近鄰點(diǎn)的搜索。在處理后的操作人員點(diǎn)云中逐點(diǎn)計(jì)算數(shù)據(jù)點(diǎn)P與機(jī)器人末端O的距離‖D(P,O)‖，并尋找其中的最近點(diǎn)Pmin，可得到人機(jī)最小距離Dmin，其中：

(12)

由于傳感器噪聲的影響，直接利用操作人員點(diǎn)云所提供的位置信息進(jìn)行人機(jī)最小距離的追蹤存在抖動(dòng)和誤差，可采用卡爾曼濾波算法，結(jié)合人體運(yùn)動(dòng)學(xué)模型與深度相機(jī)獲得的人體位置信息，對(duì)人機(jī)最小距離進(jìn)行估計(jì)。可將操作人員在Δt時(shí)間間隔內(nèi)的運(yùn)動(dòng)近似為勻速直線運(yùn)動(dòng)，運(yùn)動(dòng)模型定義如下：

(13)

人機(jī)最小距離的追蹤效果如圖5b所示，其中操作人員與機(jī)器人末端的最小距離由紅色圓點(diǎn)進(jìn)行標(biāo)注。

3.2 避碰運(yùn)動(dòng)規(guī)劃

若操作人員處于錯(cuò)誤行為狀態(tài)，對(duì)機(jī)器人進(jìn)行減速停機(jī)處理可為人員提供反應(yīng)時(shí)間，并能在機(jī)器人運(yùn)行階段防止撞擊人或障礙物導(dǎo)致安全停止及其他安全隱患，待操作人員行為糾正后，可繼續(xù)當(dāng)前任務(wù)，或復(fù)位后重新開啟任務(wù)。

若操作人員處于危險(xiǎn)行為狀態(tài)，此時(shí)人機(jī)存在碰撞風(fēng)險(xiǎn)，可基于人工勢(shì)場(chǎng)法，采用操作人員點(diǎn)云中的人機(jī)最近鄰點(diǎn)Pmin與機(jī)器人末端O的距離向量D(Pmin,O)生成斥力向量V(Pmin,O)，在笛卡爾空間內(nèi)使機(jī)器人產(chǎn)生排斥運(yùn)動(dòng)，以此來規(guī)避人員的危險(xiǎn)接觸，斥力向量定義為：

(14)

(15)

(16)

4 實(shí)驗(yàn)及分析

4.1 識(shí)別性能測(cè)試

由于所述異常行為監(jiān)測(cè)方法僅為監(jiān)測(cè)操作人員在執(zhí)行單一任務(wù)時(shí)是否出現(xiàn)異常，不涉及多任務(wù)狀態(tài)下的任務(wù)識(shí)別與分類問題，因此準(zhǔn)確率和召回率兩個(gè)指標(biāo)對(duì)該方法的適用性差，針對(duì)所述算法，提出兩個(gè)新的衡量指標(biāo)：

(17)

(18)

該實(shí)驗(yàn)僅驗(yàn)證異常行為識(shí)別算法的識(shí)別性能，為保證安全性和真實(shí)性，在3個(gè)非協(xié)作的人工零件分揀任務(wù)A，B和C中進(jìn)行實(shí)驗(yàn)，其中實(shí)驗(yàn)人員首先用左手從零件箱中拾取零件，隨后將其傳遞至右手，最后分別放入盒子A,B,C中。3個(gè)任務(wù)的區(qū)別僅為放置零件的盒子不同，實(shí)驗(yàn)人員執(zhí)行每個(gè)任務(wù)的運(yùn)動(dòng)軌跡如圖6所示。針對(duì)每個(gè)任務(wù)在離線階段通過Kinect 2.0各捕捉100次示范軌跡，并通過節(jié)2.2的迭代學(xué)習(xí)算法生成標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡均值和標(biāo)準(zhǔn)差，最后根據(jù)式(9)構(gòu)建標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡偏差約束。設(shè)在線軌跡ξon可允許的超出偏差約束范圍的最大長度φmax=5。

針對(duì)識(shí)別率，采用交叉驗(yàn)證法。當(dāng)測(cè)試識(shí)別算法對(duì)A，B，C中某個(gè)任務(wù)的異常行為識(shí)別率時(shí)，以通過該任務(wù)的樣本軌跡學(xué)習(xí)的標(biāo)準(zhǔn)軌跡為基準(zhǔn)，在另外兩個(gè)任務(wù)的樣本軌跡中各隨機(jī)抽取80%做為測(cè)試集。每個(gè)測(cè)試樣本包含的異常行為數(shù)均為1，因此每個(gè)任務(wù)對(duì)應(yīng)的測(cè)試集包含的異常行為總數(shù)均為80。該實(shí)驗(yàn)包含6組測(cè)試，每組測(cè)試重復(fù)5次，且每組測(cè)試均對(duì)測(cè)試樣本進(jìn)行重新采樣，實(shí)驗(yàn)結(jié)果圖7所示。

由圖7可知，算法的識(shí)別率受標(biāo)準(zhǔn)軌跡與測(cè)試軌跡的相似程度影響。因?yàn)椴僮魅藛T在執(zhí)行任務(wù)B和C時(shí)運(yùn)動(dòng)軌跡較為接近(如圖6)，由于Kinect 2.0對(duì)關(guān)節(jié)位置的估計(jì)存在誤差，因此學(xué)習(xí)的兩任務(wù)的標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡的偏差約束可能存在交集。對(duì)處于交集的運(yùn)動(dòng)軌跡，該算法無法區(qū)分其具體屬于任務(wù)B或C，因此圖7中兩組測(cè)試實(shí)驗(yàn)B(標(biāo)準(zhǔn))→C和C(標(biāo)準(zhǔn))→B的識(shí)別率結(jié)果相比其他組有明顯下降(下降約10%)。

針對(duì)誤判率，采用在線驗(yàn)證法。當(dāng)以任務(wù)A作為基準(zhǔn)時(shí)，操作人員重復(fù)執(zhí)行任務(wù)A，統(tǒng)計(jì)誤判次數(shù)占總執(zhí)行次數(shù)的比例，其中針對(duì)A，B，C每個(gè)任務(wù)仍進(jìn)行5次重復(fù)驗(yàn)證，每組執(zhí)行次數(shù)為100次，實(shí)驗(yàn)結(jié)果如圖8所示。

表2 不同置信水平對(duì)算法性能的影響

其中本次測(cè)試中不同任務(wù)的識(shí)別率由以其他兩組任務(wù)為基準(zhǔn)，針對(duì)該任務(wù)識(shí)別率的加權(quán)平均得出，如A任務(wù)的識(shí)別率P識(shí)別率(A)為：

(19)

由實(shí)驗(yàn)結(jié)果可知，算法的識(shí)別率和誤判率均與置信水平呈負(fù)相關(guān)。

4.2 有效性測(cè)試

通過一個(gè)模擬的人機(jī)協(xié)作涂膠實(shí)驗(yàn)，驗(yàn)證所述人機(jī)安全協(xié)作方法的有效性，實(shí)驗(yàn)臺(tái)布局如圖9所示，該實(shí)驗(yàn)的標(biāo)準(zhǔn)操作流程為：

(1)操作人員拾取零件并固定在機(jī)器人涂膠區(qū)；

(2)固定后操作人員按下控制按鈕，機(jī)器人開始涂膠作業(yè)；

(3)涂膠完畢后，操作人員拾取涂膠后的零件，通過視覺檢查的方式將涂膠合格的零件放入成品區(qū)，不合格零件放入次品區(qū)。

對(duì)協(xié)作任務(wù)的不同狀態(tài)采用三原色LED警示燈進(jìn)行標(biāo)示，其中：

(1)綠燈常亮：正常；

(2)黃燈常亮，并伴有短蜂鳴：錯(cuò)誤行為；

(3)紅燈常亮，并伴有長蜂鳴：危險(xiǎn)行為。

所述人機(jī)安全方法運(yùn)行在Windows 10與虛擬機(jī)中的Ubuntu的混合環(huán)境下，并利用Robot Operating System(ROS)構(gòu)建主從系統(tǒng)進(jìn)行數(shù)據(jù)傳送，其中Windows下負(fù)責(zé)通過Kinect SDK 2.0讀取骨架數(shù)據(jù)、深度圖像數(shù)據(jù)，并提供所述方法各算法所需的計(jì)算力和運(yùn)行環(huán)境，Ubuntu下負(fù)責(zé)與UR5機(jī)器人建立通訊，傳輸機(jī)器人的各關(guān)節(jié)位置、速度狀態(tài)，并向UR5控制器發(fā)送控制指令。

錯(cuò)誤行為識(shí)別實(shí)驗(yàn)中，當(dāng)機(jī)器人涂膠完畢后，實(shí)驗(yàn)人員沒有拾取涂膠后的零件并對(duì)其進(jìn)行視覺檢查，右手直接進(jìn)入成品擺放區(qū)域，此時(shí)實(shí)驗(yàn)人員的右手關(guān)節(jié)在Y軸方向的運(yùn)動(dòng)軌跡脫離標(biāo)準(zhǔn)軌跡的95%置信區(qū)間，如圖10a所示，陰影部分為標(biāo)準(zhǔn)軌跡的95%置信區(qū)間范圍，當(dāng)脫離此范圍的在線軌跡長度φ=5時(shí)(第421幀)，系統(tǒng)將該行為判斷為錯(cuò)誤行為，并迅速置警示燈為黃燈常亮，并伴有短蜂鳴，同時(shí)控制機(jī)器人減速停機(jī)，實(shí)驗(yàn)實(shí)況如圖11a所示。

危險(xiǎn)行為識(shí)別實(shí)驗(yàn)中，實(shí)驗(yàn)人員在機(jī)器人涂膠過程中迅速從機(jī)器人底部接近其末端執(zhí)行器，使人員的右手關(guān)節(jié)在Z方向的運(yùn)動(dòng)軌跡脫離標(biāo)準(zhǔn)軌跡的偏差約束范圍(實(shí)驗(yàn)人員右手關(guān)節(jié)在Z方向的運(yùn)動(dòng)軌跡如圖10b所示)，并使人機(jī)最小距離Dmin

5 結(jié)束語

本文提出一種基于異常行為監(jiān)測(cè)的人機(jī)安全協(xié)作方法。通過離線學(xué)習(xí)操作人員在規(guī)范作業(yè)狀態(tài)下的標(biāo)準(zhǔn)運(yùn)動(dòng)特征，對(duì)其異常行為進(jìn)行在線識(shí)別與分類。基于人工勢(shì)場(chǎng)法，在異常人機(jī)接近狀態(tài)下對(duì)機(jī)器人進(jìn)行避碰運(yùn)動(dòng)規(guī)劃，防止人機(jī)危險(xiǎn)碰撞。相比以往的人機(jī)安全協(xié)作方法，本方法允許規(guī)范作業(yè)狀態(tài)下的人機(jī)密切接觸與配合，且能在異常狀態(tài)下控制機(jī)器人規(guī)避操作人員的危險(xiǎn)接觸。最后通過零件分揀實(shí)驗(yàn)對(duì)異常行為識(shí)別算法的性能進(jìn)行了驗(yàn)證，分析了不同參數(shù)對(duì)識(shí)別性能的影響，并在人機(jī)協(xié)作涂膠實(shí)驗(yàn)中驗(yàn)證了所述人機(jī)安全協(xié)作方法的有效性。未來，將針對(duì)異常行為識(shí)別算法誤判率過高的問題進(jìn)行改進(jìn)，同時(shí)嘗試結(jié)合行為預(yù)測(cè)方法在線預(yù)測(cè)操作者的執(zhí)行工序，以勝任工序更加復(fù)雜或工序間切換具有隨機(jī)性的多模式人機(jī)協(xié)作任務(wù)。