王佳鋮，鮑勁松，劉天元，李志強(qiáng)

(東華大學(xué) 機(jī)械工程學(xué)院，上海 201600)

1 問題的描述

車間內(nèi)人員復(fù)雜、工序與工種繁多、行為不規(guī)范、操作流程錯(cuò)亂等都易引發(fā)安全事故，降低生產(chǎn)效率，給實(shí)際生產(chǎn)帶來巨大損失。因此對(duì)車間內(nèi)員工的作業(yè)行為進(jìn)行監(jiān)控顯得尤為重要。傳統(tǒng)依靠人工肉眼觀察的方式已經(jīng)難以適應(yīng)現(xiàn)今復(fù)雜的車間環(huán)境，深度學(xué)習(xí)方法的出現(xiàn)和不斷發(fā)展為車間行為監(jiān)控提供了更為有效的途徑，也是未來車間制造和管理模式向數(shù)字化、智能化轉(zhuǎn)型升級(jí)的重要使能技術(shù)。

國內(nèi)外學(xué)者對(duì)基于深度學(xué)習(xí)的車間行為監(jiān)控進(jìn)行了初步的探索研究，其研究方法可分為基于圖像識(shí)別[1-3]和基于骨架識(shí)別[4-6]兩類。在基于圖像的行為識(shí)別研究中，Wang等[1]分析了視頻序列中像素的變化，并使用稠密光流方法進(jìn)行行為識(shí)別；Wang等[2]結(jié)合時(shí)空軌跡和卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network, CNN)，提出利用CNN對(duì)軌跡進(jìn)行特征提取與分類；Ji等[3]使用3D卷積對(duì)視頻序列進(jìn)行三維的卷積，進(jìn)而判斷動(dòng)作類別?；趫D像的方法能有利用圖片的全部信息提取更多的行為特征，但要求以完整圖像或完整圖像序列作為輸入，所構(gòu)建的模型會(huì)因?yàn)殛P(guān)注圖像的背景、光線等信息而造成輸入信息的過分冗余，以至于識(shí)別效率嚴(yán)重受阻，且識(shí)別精度受圖像冗余部分影響大。在基于骨架的行為識(shí)別研究中，Ke等[4]考慮人體關(guān)節(jié)之間的距離生成灰度圖片，進(jìn)而使用CNN分類；劉庭煜等[5]通過深度相機(jī)采集關(guān)節(jié)信息,并合成時(shí)空特征RGB圖像，進(jìn)而使用CNN進(jìn)行車間行為的分類；Li等[6]提出將人體關(guān)節(jié)分為5部分，分別送入子網(wǎng)提取特征并融合成高層特征進(jìn)行關(guān)節(jié)序列的分類?；陉P(guān)節(jié)骨架信息的算法準(zhǔn)確率一般要高于基于圖像信息的算法，但是該方法僅考慮了人體的動(dòng)作，以至于輸入信息過于單一，無法進(jìn)一步提升人體行為識(shí)別準(zhǔn)確率。對(duì)于兩個(gè)相似的動(dòng)作輸入，若僅從人體關(guān)節(jié)信息考慮很難區(qū)分其差別。

車間作業(yè)行為具有以下特點(diǎn)：①工人的行為多是固定的流程化的，工人的各種行為間存在著順序關(guān)系；②工人的行為大多使用工具對(duì)工件或設(shè)備進(jìn)行操作。因此，工件的特征對(duì)于判別工人的行為具有極其重要的輔助作用。針對(duì)以往車間作業(yè)行為在線識(shí)別過程存在的問題及車間作業(yè)行為的特點(diǎn)，提出一種融合工件注意力于人體關(guān)節(jié)序列的車間作業(yè)行為在線識(shí)別方法。該方法的整體實(shí)現(xiàn)框架如圖1所示。該方法捕捉監(jiān)控畫面后，使用輕量化設(shè)計(jì)的人體關(guān)節(jié)估計(jì)模型提取人體關(guān)節(jié)信息，并使用SG(savitzky-golay)濾波器[7]平滑處理，按時(shí)間順序依次放入時(shí)序網(wǎng)絡(luò)中，同時(shí)原圖像畫面使用預(yù)訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)抽取特征，該特征與時(shí)序網(wǎng)絡(luò)的輸入輸出融合，并形成注意力機(jī)制作最終的預(yù)測(cè)。對(duì)于兩個(gè)相似的動(dòng)作輸入，使用傳統(tǒng)的識(shí)別方法僅從人體關(guān)節(jié)信息考慮很難區(qū)別，而使用基于工件特征的識(shí)別方法，通過對(duì)工件語義特征的分析，不同的語義對(duì)分類結(jié)果有明顯的導(dǎo)向作用，能更好地輔助行為的識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法能進(jìn)行在線的行為識(shí)別并具有較好的準(zhǔn)確率，能有效判斷工人行為是否符合規(guī)范。

2 人體關(guān)節(jié)提取于平滑預(yù)處理

2.1 人體關(guān)節(jié)提取

Openpose是一個(gè)用于多人實(shí)時(shí)的人體關(guān)節(jié)提取框架[8]，擁有優(yōu)秀的準(zhǔn)確率與實(shí)時(shí)性，適合于對(duì)RGB圖像提取人體關(guān)節(jié)。如圖2所示，Openpose對(duì)圖片中每一個(gè)可識(shí)別的人體共計(jì)18個(gè)關(guān)節(jié)(按照COCO數(shù)據(jù)集標(biāo)準(zhǔn)[9])進(jìn)行檢測(cè)，分別為：0-鼻子，1-頸部，2-右肩，3-右肘，4-右腕，5-左肩，6-左肘,7-左腕，8-右胯，9-右膝，10-右腳踝，11-左胯,12-左膝,13-左踝,14-左眼,15-右眼,16-左耳，17-右耳。

官方的Openpose采用VGG網(wǎng)絡(luò)[10]提取底層特征，模型較大且對(duì)顯卡要求較高。為了保證模型的實(shí)時(shí)性能，本文使用輕量化的Openpose[11]，使用更小的Mobile網(wǎng)絡(luò)提取底層信息重新訓(xùn)練，在滿足精度要求的同時(shí)，可將模型大小降低一半以上，且能夠使用CPU實(shí)時(shí)運(yùn)行。表1所示為相同電腦配置下的模型對(duì)比。

表1 Openpose輕量化前后對(duì)比

從表1可以看出，在按照標(biāo)準(zhǔn)數(shù)據(jù)集COCO中的精度指標(biāo)AP進(jìn)行計(jì)算后，輕量化的Openpose在COCO數(shù)據(jù)集中AP下降了18.7，而對(duì)于車間內(nèi)的工人識(shí)別，因?yàn)檐囬g環(huán)境單一，工人相對(duì)于環(huán)境具有較強(qiáng)的對(duì)比度，同時(shí)工人往往按工位分配，很少出現(xiàn)聚集現(xiàn)象，所以對(duì)工人關(guān)節(jié)的識(shí)別相對(duì)于自然環(huán)境更加容易，在自建數(shù)據(jù)集上的AP只下降了11.2，并保持在一個(gè)較高的識(shí)別率75.4。

2.2 關(guān)節(jié)序列平滑預(yù)處理

由于Openpose是一種基于圖像的人體關(guān)節(jié)估計(jì)方法，在視頻處理過程中，其關(guān)節(jié)位置存在跳動(dòng)、跑飛等不穩(wěn)定現(xiàn)象，不利于模型的訓(xùn)練。時(shí)序網(wǎng)絡(luò)梯度極其敏感，這樣的數(shù)據(jù)會(huì)導(dǎo)致?lián)p失函數(shù)的突然增長(zhǎng)，如圖3所示，在迭代到1 300次左右時(shí)，由于數(shù)據(jù)集對(duì)某張圖片的檢測(cè)效果不佳，導(dǎo)致大量零數(shù)據(jù)的出現(xiàn)，在損失函數(shù)迭代過程中出現(xiàn)了大幅度的波動(dòng)，影響了模型的收斂。

為解決該問題，本文采用SG濾波算法用于關(guān)節(jié)數(shù)據(jù)在時(shí)域上的平滑處理。SG濾波算法是一種用于數(shù)據(jù)流平滑處理的算法，常在光譜的預(yù)處理[12]中用于平滑與降噪。對(duì)于以x=0為中心的2M+1個(gè)數(shù)據(jù)，使用N階多項(xiàng)式

(1)

進(jìn)行擬合，使真實(shí)值與擬合值的差值平方和

(2)

達(dá)到最小。

濾波器依次在時(shí)序長(zhǎng)度上使用滑動(dòng)窗口對(duì)其進(jìn)行平滑。針對(duì)視頻中提取的每一個(gè)關(guān)節(jié)坐標(biāo)，基于時(shí)間生成時(shí)序序列，再通過SG濾波器處理。處理后的關(guān)節(jié)序列相對(duì)于不處理的關(guān)節(jié)序列具有更好的平滑性，同時(shí)也減少了關(guān)節(jié)檢測(cè)突然跑飛對(duì)數(shù)據(jù)的影響。經(jīng)平滑處理后的關(guān)節(jié)數(shù)據(jù)具有更好的時(shí)序連續(xù)性，同時(shí)能保證模型訓(xùn)練過程中的穩(wěn)定性。

3 基于工件注意力的行為識(shí)別模型

3.1 模型總體架構(gòu)

本文采用的整體模型結(jié)構(gòu)如圖4所示。對(duì)于視頻流中的每一張圖片：①經(jīng)Openpose提取人體關(guān)節(jié)坐標(biāo)，得到長(zhǎng)度為36的向量，分別代表18個(gè)關(guān)節(jié)點(diǎn)的x,y坐標(biāo)；②使用預(yù)訓(xùn)練的實(shí)例分割模型對(duì)圖片提取工件語義信息，并經(jīng)兩層不同的全連接層提取不同的信息分別作為輸入輸出的注意力信息；③通過一層全連接層將36維關(guān)節(jié)向量映射到256維高維空間；④在高維空間中融合工件注意力信息，再將其輸入到2層256維的門控循環(huán)單元時(shí)序網(wǎng)絡(luò)，時(shí)序網(wǎng)絡(luò)接受當(dāng)前時(shí)刻輸入的同時(shí)也保存著之前時(shí)刻單元的信息，通過對(duì)當(dāng)前與之前信息的分析運(yùn)算輸出結(jié)果；⑤將時(shí)序網(wǎng)絡(luò)的輸出與注意力信息融合后,再經(jīng)過Softmax激活函數(shù)輸出各類別的概率。

3.2 門控循環(huán)單元

傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)[13]采用與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相似的輸入層再到隱藏層到輸出層的結(jié)構(gòu)，不同的是，其隱藏層的神經(jīng)元不僅受到當(dāng)前輸入的影響，還受到上一時(shí)刻該神經(jīng)元單元狀態(tài)的影響。RNN能有效地保留時(shí)域信息，但在反向傳播過程中容易產(chǎn)生梯度消失等問題，導(dǎo)致參數(shù)的更新緩慢。因此，本文采用門控循環(huán)單元(Gated Reurrent Unit, GRU)[14]搭建時(shí)序模型，該模型通過重置門和更新門控制記憶的去留，能有效地解決梯度消失問題。其單元結(jié)構(gòu)如圖5所示。

對(duì)于當(dāng)前時(shí)刻的輸入xt，與上一時(shí)刻的單元狀態(tài)ht-1，有：重置門接收當(dāng)前輸入與上一時(shí)刻單元狀態(tài)，經(jīng)過一個(gè)參數(shù)矩陣wr變換和激活函數(shù)得到重置門結(jié)果rt，該結(jié)果大小決定著多大程度上對(duì)歷史信息進(jìn)行擦除：

rt=σ(Wr·[ht-1,xt])。

(3)

更新門與重置門類似，采用不同的參數(shù)矩陣wz，生成重置門的結(jié)果zt，該結(jié)果決定著更新單元狀態(tài)的比例：

zt=σ(Wz·[ht-1,xt])。

(4)

從而得到當(dāng)前單元狀態(tài)：

(5)

(6)

將單元信息再經(jīng)過一個(gè)參數(shù)矩陣wo與激活函數(shù)即得到當(dāng)前輸入的輸出結(jié)果：

yt=σ(Wo·ht)。

(7)

3.3 工件注意力機(jī)制

車間內(nèi)工人的行為與自然場(chǎng)景下的普通行為不同，工人行為與車間環(huán)境、使用工具等的關(guān)系更為緊密，因?yàn)楣と说男袨槎际菫榱送瓿赡撤N特定工作而對(duì)環(huán)境或物體進(jìn)行的操作，例如給一個(gè)工件安裝螺絲，打開一個(gè)機(jī)器的開關(guān)等。而這些物理環(huán)境因素往往決定著工人的行為意圖，對(duì)這些因素進(jìn)行特征提取從而對(duì)人體關(guān)節(jié)數(shù)據(jù)形成注意力機(jī)制[15-17]，能更好地對(duì)工人的行為進(jìn)行識(shí)別，例如圖6中的操作動(dòng)作，若由于被操作物體的存在，對(duì)其行為的識(shí)別應(yīng)偏向于受雙手手部關(guān)節(jié)位置序列的影響，同時(shí)不同的物體也對(duì)行為的最終判斷有著至關(guān)重要的影響，若檢測(cè)出工人手附件存在螺絲刀，根據(jù)該工件的語義信息，其進(jìn)行安裝螺絲的行為應(yīng)有更大的概率。

基于此，本文根據(jù)車間行為的特點(diǎn)，在原有GRU時(shí)序網(wǎng)絡(luò)中引入工件注意力。要獲取圖像中存在的例如螺絲刀、扳手等車間中常見物體的特征，需要應(yīng)用語義分割網(wǎng)絡(luò)進(jìn)行針對(duì)性的訓(xùn)練。采用全卷積網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖7所示，由上采樣層與下采樣層組成，下采樣層通過卷積層與池化層提取圖像中的特征同時(shí)縮小圖像大小。上采樣層通過反卷積與卷積提取特征同時(shí)恢復(fù)圖像大小直至與原圖大小相同完成像素級(jí)別的語義分割。訓(xùn)練完成的模型擁有對(duì)工件工具的特征提取能力。

在推理過程中，僅使用模型的下采樣部分(固定參數(shù))進(jìn)行特征提取，將下采樣的結(jié)果經(jīng)過額外的卷積層與兩路不同全連接網(wǎng)絡(luò)生成兩個(gè)最終的特征向量，也就是一個(gè)維度為N×1的矩陣，這里的N取決于最后一層神經(jīng)網(wǎng)絡(luò)的單元個(gè)數(shù)。在與骨骼向量融合時(shí)，N設(shè)為256(與骨骼向量的高維表示長(zhǎng)度一致)，在與時(shí)序網(wǎng)絡(luò)輸出結(jié)果融合時(shí)，N設(shè)為4(4種行為類別)。額外的卷積層與全連接參與行為識(shí)別模型的訓(xùn)練，對(duì)時(shí)序網(wǎng)絡(luò)的訓(xùn)練提供注意力支持[17]。融合方法采用的是典型的注意力機(jī)制(如圖7)，即對(duì)原始向量與注意力向量進(jìn)行對(duì)應(yīng)元素點(diǎn)積，其結(jié)果與原始向量拼接成新向量作為下一層網(wǎng)絡(luò)的輸入。具體來說，對(duì)于關(guān)節(jié)坐標(biāo)向量

Pcoordinate=(x1,y1,x2,y2,…,xn,yn),

(8)

特征向量

Vfeature=(v1,v2,…,v2n),

(9)

有注意力參數(shù)

Wattention=Pcoordinate⊙Vfeature。

(10)

其中⊙表示按元素點(diǎn)乘。該結(jié)果與坐標(biāo)數(shù)據(jù)拼接形成拼接矩陣Pconcat=[Wattention,Pcoordinate]，拼接矩陣再通過一個(gè)線性層轉(zhuǎn)成GRU模型的輸入，如圖8所示。時(shí)序網(wǎng)絡(luò)輸出處的注意力機(jī)制采用相似結(jié)構(gòu)，使神經(jīng)網(wǎng)絡(luò)原始輸出收到特征向量的影響從而實(shí)現(xiàn)由特征向量導(dǎo)向的作用，最后經(jīng)過Softmax層輸出各個(gè)類別的概率。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)硬件環(huán)境為CPU Intel i7 8 700(6核心12線程)，內(nèi)存容量16 GB，顯卡為RTX2060，使用CUDA加速運(yùn)算操作系統(tǒng)為Ubuntu16.04，編程環(huán)境為Python3.5。

為驗(yàn)證所提算法的可靠性及泛化能力，本文分別在自建車間動(dòng)作數(shù)據(jù)集以及INRIA Xmas Motion Acquisition Sequences(IXMAS)數(shù)據(jù)集[18]上進(jìn)行實(shí)驗(yàn)。如圖9所示，自建樣本數(shù)據(jù)的場(chǎng)景模擬零件裝配過程主要包括安裝螺絲，緊固，切割3類動(dòng)作，每段序列中各動(dòng)作按一定順序多次出現(xiàn)。共計(jì)200組動(dòng)作序列，逐幀進(jìn)行類別標(biāo)注，其中訓(xùn)練集150組，驗(yàn)證集50組。

IXMAS數(shù)據(jù)集的數(shù)據(jù)格式為連續(xù)的圖片序列，每個(gè)序列包含14個(gè)常見動(dòng)作(看表，叉手，撓頭，坐下，起身，轉(zhuǎn)身，走動(dòng)，揮手，擊拳，踢腿，指點(diǎn)，扔，從頭頂拋物，從下面拋物)，由11位參與者每人做3遍，同時(shí)使用5個(gè)不同角度的攝像頭進(jìn)行錄制，圖片序列均有動(dòng)作分類標(biāo)簽。由于頭頂角度的攝像頭所獲取的畫面難以識(shí)別人體的各個(gè)關(guān)節(jié)，僅采用前4個(gè)攝像頭數(shù)據(jù)，共132組動(dòng)作序列，1 848個(gè)動(dòng)作，其中訓(xùn)練集100組，測(cè)試機(jī)32組。

4.2 自建樣本數(shù)據(jù)

為展示所提算法的優(yōu)越性能，擬在自建樣本數(shù)據(jù)上將基于骨架結(jié)合工件注意力的模型與基于圖像的模型、基于骨架的模型進(jìn)行全面對(duì)比。訓(xùn)練結(jié)果如圖11所示。由圖11中可以看出，在訓(xùn)練過程中，融合注意力的GRU模型在收斂速度上快于普通GRU模型，同時(shí)收斂值更小，這說明注意力機(jī)制能更好地促進(jìn)收斂。而在測(cè)試集中，隨著模型的訓(xùn)練，其準(zhǔn)確率先是快速上升，而后逐漸平穩(wěn)，并在一定范圍內(nèi)上下振蕩。這是由于訓(xùn)練過程并不以測(cè)試集作為參照，針對(duì)訓(xùn)練集的參數(shù)調(diào)優(yōu)結(jié)果并不一定總是使模型在測(cè)試集上的泛化性能優(yōu)化，同時(shí)可以看到融合注意力的GRU模型相對(duì)于普通GRU模型具有更好的泛化性能，其測(cè)試集準(zhǔn)確率仍能維持在80%左右，而GRU模型只能達(dá)到60%的準(zhǔn)確率。由此可以看出，GRU中的注意力機(jī)制能有效地提升識(shí)別的準(zhǔn)確率，同時(shí)增強(qiáng)模型的泛化性能。

此外，將時(shí)序樣本分類真實(shí)值與測(cè)試值延時(shí)間線進(jìn)行動(dòng)作分類的堆疊，得到如圖12所示結(jié)果?？梢钥吹?，DNN模型由于缺少時(shí)序信息，其結(jié)果不穩(wěn)定，存在許多細(xì)小片段，這將極大地影響其準(zhǔn)確率與回歸率。GRU模型由于考慮到動(dòng)作的上下文關(guān)系，其結(jié)果具有更好的連續(xù)性，而加入工件注意力機(jī)制后其性能得到進(jìn)一步提升，預(yù)測(cè)結(jié)果整體來說能較好地反應(yīng)真實(shí)值，但相對(duì)于真實(shí)值具有小幅度的延遲。同時(shí)，動(dòng)作銜接過程，即更換工具時(shí)易出現(xiàn)分類的錯(cuò)誤，究其原因是因?yàn)楦鼡Q工具時(shí)，即將出現(xiàn)的各類動(dòng)作具有相同的概率，在對(duì)真實(shí)值進(jìn)行標(biāo)注時(shí)的動(dòng)作劃分長(zhǎng)短也將對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生一定的干擾。

由于工程應(yīng)用中更關(guān)注動(dòng)作類別的召回率以及精確率，即是否檢測(cè)出所有的動(dòng)作類別，以及檢測(cè)出的動(dòng)作類別是否都是正確的。本文采用一種序列交并比(temporal Intersection over Union, tIoU)方法進(jìn)行召回率與準(zhǔn)確率的計(jì)算，其計(jì)算方式如圖13所示。

對(duì)于預(yù)測(cè)出的某一序列Tpred，若存在與該預(yù)測(cè)相符合的真實(shí)值片段Ttruth，則

(11)

若不存在，則tIoU=0。當(dāng)tIoU>0.5，判定該預(yù)測(cè)正確并對(duì)真實(shí)值進(jìn)行召回。

對(duì)各個(gè)模型的識(shí)別結(jié)果進(jìn)行計(jì)算得到如表2所示結(jié)果。可以看到，由于DNN存在大量零碎片段，其召回率和準(zhǔn)確率相對(duì)于時(shí)序模型都極低，而GRU在加入注意力機(jī)制后，對(duì)召回率與準(zhǔn)確率都有較明顯的提升，特別是準(zhǔn)確率提高了32%，這得益于注意力機(jī)制對(duì)結(jié)果的導(dǎo)向作用，使模型能更好地區(qū)別易混淆的輸入。處理速度方面，DNN由于不需要分析時(shí)序信息，其處理速度最快，且其時(shí)間主要用于人體關(guān)節(jié)的識(shí)別。加入注意力機(jī)制后，由于特征提取網(wǎng)絡(luò)分支的存在，其處理速度相對(duì)于普通GRU有所下降，但仍能維持在單幀320 ms的速度。

表2 各模型在自建樣本數(shù)據(jù)中性能指標(biāo)

4.3 公共數(shù)據(jù)集

使用未經(jīng)針對(duì)性訓(xùn)練的相同結(jié)構(gòu)的模型在IXMAS數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)得到如圖14和表3所示結(jié)果。總體來看，所提方法在收斂速度、識(shí)別準(zhǔn)確率、識(shí)別時(shí)間、泛化性能等方面的優(yōu)越性與自建樣本數(shù)據(jù)上的測(cè)試結(jié)果類似，相對(duì)于DNN和普通GRU仍具有較大的提升。但相比于自建數(shù)據(jù)集，該結(jié)果中引入注意力機(jī)制帶來的準(zhǔn)確率提升沒有自建數(shù)據(jù)集大，這是因?yàn)樵撃Ｐ驮谠紙D像分割任務(wù)的數(shù)據(jù)集上進(jìn)行訓(xùn)練，網(wǎng)絡(luò)學(xué)到的特征的空間層次結(jié)構(gòu)可以有效地作為視覺世界的通用模型。因此，在IXMASI數(shù)據(jù)上進(jìn)行特征提取時(shí)仍能提取到部分有效的非肉眼可觀測(cè)的特征，這些特征從一定程度上也對(duì)網(wǎng)絡(luò)具有一定的提升。另一方面，額外的特征輸入提升了模型的容量，在數(shù)據(jù)集充足時(shí)理應(yīng)提高模型的性能。速度上，由于采用相同的模型與相同的輸入圖片大小，檢測(cè)速度與自建數(shù)據(jù)集實(shí)驗(yàn)基本一致，此處不再列出。

表3 各模型在IXMAS數(shù)據(jù)集檢測(cè)指標(biāo)

5 結(jié)束語

車間內(nèi)工人的行為大多是對(duì)工件或設(shè)備進(jìn)行操作，本文針對(duì)這一規(guī)律，提出一種基于工件注意力機(jī)制的可用于在線監(jiān)控車間作業(yè)人員的行為識(shí)別方法。該方法融合關(guān)節(jié)序列信息與工件特征信息，并使用GRU模型作為基礎(chǔ)時(shí)序模型。在自建數(shù)據(jù)樣本以及公共數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了該方法的有效性，尤其是在自建數(shù)據(jù)樣本中對(duì)工具進(jìn)行預(yù)訓(xùn)練之后使模型性能得到了較大的提升。該方法可用于對(duì)車間內(nèi)作業(yè)流程的動(dòng)作監(jiān)管，保證作業(yè)順序，防止危險(xiǎn)動(dòng)作的發(fā)生，保障車間的安全高效生產(chǎn)。未來，可在此研究基礎(chǔ)上，使用手部關(guān)節(jié)進(jìn)行更加精細(xì)的動(dòng)作推理或使用不同的特質(zhì)融合機(jī)制對(duì)工件特質(zhì)與人體特質(zhì)進(jìn)行融合。另外，也可將該方法融入人機(jī)協(xié)作或是作業(yè)行為評(píng)估領(lǐng)域。