劉庭煜，陸 增，孫毅鋒，劉 芳，何必秒，鐘 杰

(1.南京理工大學 機械工程學院，江蘇 南京 210094；2.北京航天新風機械設備有限責任公司，北京 100854)

0 引言

隨著信息技術和制造技術的發(fā)展，智能制造已經(jīng)成為制造模式轉(zhuǎn)型與升級的必然趨勢。在智能制造模式下，生產(chǎn)車間的工人數(shù)量不斷減少，然而即使在自動化程度極高的汽車生產(chǎn)制造領域，仍然有20%的工作由工人參與完成[1]。工業(yè)機器人或者其他生產(chǎn)要素通常在安裝完畢后便具有相對獨立的活動空間和工作區(qū)域，但現(xiàn)場工人的活動范圍往往遍布整個生產(chǎn)區(qū)域，并不局限于其所在的工位。鑒于此，作為生產(chǎn)管理的重要元素，人員具有極強的不可替代性和不確定性，是生產(chǎn)過程的重點監(jiān)管對象之一。因此產(chǎn)品生產(chǎn)制造過程中的人員行為管理將成為長期研究的熱點[2-3]。然而由于工人活動的多樣性和不確定性，生產(chǎn)車間人員行為管理已經(jīng)成為整個生產(chǎn)管理中的重要內(nèi)容。

使用科學有效的方法對工人的行為進行記錄、理解和分析，一直是生產(chǎn)管理的重要研究方向?？茖W管理之父和工業(yè)工程之父泰勒(Taylor.F.w，1856-1915)通過使用相機記錄并量化計算工人的勞動行為和勞動時間，制定了標準操作方法和時間定額，開創(chuàng)了分析生產(chǎn)動作的先河。隨后，吉爾布雷思夫婦改進了泰勒的工作研究并發(fā)明了“動素”的概念，他們將人的生產(chǎn)動作歸納成17個動素，通過分析每一個作業(yè)需要的時間對動作進行分解和定量研究[4]。時至今日，人員行為管理已歷經(jīng)百年發(fā)展，但由于人員行為的高度時效性和不確定性，有效的管理手段仍然是用攝像機記錄人員行為，并指定專人目視監(jiān)控。然而，生產(chǎn)車間通常范圍較廣，某些復雜機電產(chǎn)品的關鍵生產(chǎn)工位較多，同時對大量監(jiān)控圖像進行實時觀察令監(jiān)控人員應接不暇，難以全局全時高效管控。以項目合作單位為例，為防止在某火工品裝配過程中發(fā)生暴力敲打或使用通訊設備等違規(guī)行為，避免安全事故，在多個大型裝配車間部署了一百多個高清防爆攝像頭，但是1個專職監(jiān)控人員通常只能監(jiān)控10個畫面，無法處理大量攝像機產(chǎn)生的海量視頻數(shù)據(jù)。因此，該系統(tǒng)難以進行全面實時監(jiān)控，只可用于事后追責。

近年來，借助計算機強大的數(shù)據(jù)分析和數(shù)字圖像處理技術，生產(chǎn)車間的人員行為觀測逐漸由人員主動觀測和識別向基于計算機視覺的智能人員行為識別轉(zhuǎn)變[5-7]。早期研究主要通過光流法或隱馬爾可夫模型選定圖片中的特征點[8-10]來識別人員行為，也有研究[3]基于深度學習算法識別RGB圖片來判斷車間生產(chǎn)單元的工人行為，輔助控制工業(yè)機器人協(xié)助工人作業(yè)，提高生產(chǎn)效率。然而上述方法主要是基于常規(guī)的二維RGB圖像識別算法，計算機在處理平面圖像中人員的關節(jié)或軀干時極易出錯，識別效率和效果較差。

隨著Kinect等低成本深度視覺傳感器的商用化，可以大量布置深度傳感器來獲取生產(chǎn)現(xiàn)場三維點云數(shù)據(jù)，并通過實時高效分割人體軀干和關節(jié)獲取人員骨架姿態(tài)的結(jié)構(gòu)化數(shù)據(jù)，使得人員行為識別領域取得了長足進步[11-16]。Rude等[1]基于Kinect采集自然狀態(tài)下的車間工人行為，利用半監(jiān)督學習算法對工人行為進行分類，可以較為準確地識別工人行為，將該方法應用于生產(chǎn)線節(jié)拍平衡可以使生產(chǎn)高效穩(wěn)定。

基于深度視覺的人體行為識別的本質(zhì)是對不定長的人員姿態(tài)序列進行識別和分類，目前多采用基于隱馬爾可夫模型(Hidden Markov Model, HMM)或循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks, RNN)的算法[5,11,13,15]構(gòu)建基于時間序列的動態(tài)模型。在RNN模型中，由于前層梯度來自于后層梯度的乘積，隨著模型深度的增加會產(chǎn)生梯度消失或者梯度爆炸，導致模型不穩(wěn)定。為避免此類問題，國內(nèi)外一些學者提出將時序的人員行為轉(zhuǎn)換為行為特征圖像的方法[6-7]，從容將基于時序的人員行為識別問題轉(zhuǎn)換為圖像識別問題，利用圖像識別算法對時序行為特征圖像進行特征提取，進而實現(xiàn)基于時序特征的人員行為識別。Ke等[6]利用人體主要關節(jié)點之間的距離構(gòu)造灰度圖片，通過遷移學習的方式微調(diào)VGG19圖像識別網(wǎng)絡對構(gòu)造的灰度圖片進行識別，得到了良好的效果；Du等[7]將每個關節(jié)點x，y，z3個坐標軸的坐標值分別置于彩色圖片的RGB 3個通道中，通過建立卷積神經(jīng)網(wǎng)絡對圖片進行識別來識別人員行為。

針對車間生產(chǎn)行為識別問題，本文基于三維骨架的行為特征和基于卷積神經(jīng)網(wǎng)絡的RGB圖像識別方法結(jié)合，提出一種基于三維深度卷積神經(jīng)網(wǎng)絡(3D-Deep Convolutional Neural Network, 3D-DCNN)的人體行為識別方法，對人員行為進行時間序列像素化并構(gòu)造人員行為時空特征RGB圖像，在此基礎上訓練深度卷積神經(jīng)網(wǎng)絡，通過對構(gòu)造的人員行為特征圖像進行識別和分類來有效識別人員行為。

1 車間人員行為識別系統(tǒng)總體方案

在生產(chǎn)作業(yè)車間尤其是一些易燃易爆危險產(chǎn)品的生產(chǎn)裝配車間中，為了保證安全生產(chǎn)，需要對生產(chǎn)過程中的人員行為進行管控。在這些危險品的生產(chǎn)裝配過程中，雖然工人的行為都有一套嚴格的生產(chǎn)行為規(guī)范，但是仍有部分員工無法按照制定的工藝流程標準操作規(guī)范進行操作，其中不乏一些具有多年生產(chǎn)經(jīng)驗的老員工。為了減少乃至杜絕由此造成的生產(chǎn)安全事故，本文根據(jù)生產(chǎn)現(xiàn)場情況設計了一套能夠?qū)ξｋU火工品車間中的人員行為進行識別的方案，以此對車間人員的生產(chǎn)行為進行智能監(jiān)控。圖1所示為該系統(tǒng)的總體設計方案。

由圖1可知，本文對人員生產(chǎn)行為的識別過程由行為數(shù)據(jù)獲取、行為數(shù)據(jù)預處理、識別模型構(gòu)建和行為識別與評估4部分組成。

(1)行為數(shù)據(jù)獲取 鑒于骨架序列模型能夠簡潔明了地表達人體的運動和行為，本文將基于骨架序列模型獲取人體行為數(shù)據(jù)，并對其進行預處理和行為識別。文中涉及的行為數(shù)據(jù)有兩個來源：①MSR-Action3D公開行為數(shù)據(jù)集，該數(shù)據(jù)集使用KinectV1采集20種人體基本行為，其中骨架序列由人體20個關節(jié)點的坐標信息構(gòu)成；②自建生產(chǎn)行為數(shù)據(jù)集NJUST3D，該數(shù)據(jù)集基于火工品生產(chǎn)過程常見行為構(gòu)建的行為數(shù)據(jù)集，該數(shù)據(jù)集使用KinectV2采集18種生產(chǎn)行為，其中骨架序列由人體的25個關節(jié)點的坐標信息構(gòu)成。

(2)行為數(shù)據(jù)預處理 采集到的人體骨架序列原始數(shù)據(jù)與理想行為數(shù)據(jù)之間存在較大偏差，這些偏差主要由KinectV2對人體關節(jié)的識別精準度和數(shù)據(jù)采集過程中實驗人員的體態(tài)、距離等多方面原因造成。為此，本文設計一套人體行為數(shù)據(jù)預處理方法，對人體的骨架序列進行標準化預處理，將各個狀態(tài)下的人員行為數(shù)據(jù)統(tǒng)一到相同標準中，消除了由個體差異導致的識別誤差。

(3)識別模型構(gòu)建 基于標準化后的人體骨架姿態(tài)數(shù)據(jù)構(gòu)建人員行為時空特征RGB圖像，藉此構(gòu)建深度卷積神經(jīng)網(wǎng)絡，對人員行為特征進行識別和分類。

(4)行為識別與評估 本文分別使用MSR-Action3D行為數(shù)據(jù)集和NJUST3D數(shù)據(jù)集對上述方法進行實驗驗證，并基于實驗結(jié)果進一步分析行為數(shù)據(jù)模型，提出目前存在的問題和需要改進的方向。

2 基于三維骨架信息的行為數(shù)據(jù)預處理

本文以KinectV2深度傳感器作為數(shù)據(jù)采集設備，配合Kinect for Windows SDK提供的應用程序接口(Application Programming Interface, API)，實時獲取檢測區(qū)域的人員骨架關節(jié)位置信息。然而，由于Kinectv2設備的識別準確率和工人個體差異等原因，導致這些未經(jīng)處理的行為數(shù)據(jù)存在異常，包括將環(huán)境中的物品(機床、工作臺等)識別成車間工人，或者因工人的體態(tài)差異而產(chǎn)生不同的行為識別結(jié)果，因此需要對采集到的行為數(shù)據(jù)進行標準化預處理。鑒于人體骨架為一剛性的鉸鏈結(jié)構(gòu)，其骨架長度不變，本文通過骨架關節(jié)向量重構(gòu)的方式對人體骨架信息進行標準化處理，剔除行為數(shù)據(jù)中的異常值，消除因個體之間差異導致識別異常，保證最終模型的輸入為相對標準的行為數(shù)據(jù)。

KinectV2獲取的數(shù)據(jù)為人體骨架關節(jié)數(shù)據(jù)，共包括25個關節(jié)位置坐標，如圖2所示。每個關節(jié)及其對應關系如表1所示。

表1 關節(jié)標號對照表

2.1 人體行為的向量表達

使用三維骨架數(shù)據(jù)對人體行為進行數(shù)字化表示，其本質(zhì)是提取圖片中人員骨架關節(jié)點的位置信息來描述人員行為。通過Kinectv2深度傳感器及其開發(fā)工具包能夠自動捕獲人體25個關節(jié)點的三維坐標，本文用這25個關節(jié)點的三維坐標構(gòu)造75維向量，作為單幀圖片中行為的特征向量。用frameData表示該特征向量，

frameData={x1,y1,z1,…,x25,y25,z25}。

式中x1,y1,z1,…,x25,y25,z25分別為人體25個關節(jié)的位置坐標，遵循笛卡爾直角坐標系，坐標軸以Kinect為坐標原點，X軸為水平坐標軸，Y軸垂直向上，Z軸為深度攝像頭的紅外光軸方向。

通常僅依靠單幀圖片對人體行為進行描述會遺漏許多重要的信息，而使用由多幀圖片構(gòu)成的連續(xù)動作來描述人體行為則會更加可靠。因此，本文將多個單幀的行為特征向量frameData按照時間先后進行組合，構(gòu)造了用來表示連續(xù)動作的人體行為特征向量actionData：

式中m為一組行為包含的圖片幀數(shù)。

2.2 骨架異常值的剔除

使用Kinect獲取到人員骨架的關節(jié)原始數(shù)據(jù)后，需要剔除行為數(shù)據(jù)中的異常值。本文采用Kinect設備內(nèi)置的人體關節(jié)識別算法提取骨架關節(jié)位置數(shù)據(jù)，使用過程中發(fā)現(xiàn)該算法的準確性不夠，經(jīng)分析，所采集的人員骨架關節(jié)位置信息主要存在以下兩個問題：

(1)人員識別準確率不高，在采用Kinect進行人員行為檢測時，可能會將周邊的物體(如桌子、椅子等)錯誤識別成工人。鑒于周邊物體相對靜止不動的特征，若發(fā)現(xiàn)識別后的行為數(shù)據(jù)始終保持不變，則將其當作誤檢數(shù)據(jù)進行剔除。

(2)由于檢測距離、方向等原因?qū)е翶inect設備對人員骨架關節(jié)位置進行檢測時出現(xiàn)錯亂，主要表現(xiàn)為局部錯亂和整體錯亂。局部錯亂(如圖3a)指身體的某些部位突然變長或變短，導致身體比例不協(xié)調(diào)，會對人員特征提取產(chǎn)生較大影響；整體錯亂(如圖3b)指整體骨架關節(jié)位置整體識別錯亂，導致無法識別出人員各個關節(jié)的位置。對于人員的局部錯亂，采用骨骼位置向量重構(gòu)的方法，在對骨骼關節(jié)位置進行標準化的同時重構(gòu)所有重要關節(jié)點的位置，得到一個統(tǒng)一的方向向量；對于整體錯亂的骨骼關節(jié)，則通過計算重要的關節(jié)長度來設置檢測閾值(例如膝蓋到腳踝的正常距離為40 cm，設置閾值上限為60 cm，若超過該長度則將其作為異常值剔除)來排除明顯的異常值。

人體骨架可以看作為一個剛性的鉸鏈結(jié)構(gòu)，其骨架長度在人員活動過程中保持不變，可以用兩點之間的歐式距離lenthi_j表示人員兩個關節(jié)點之間的長度，

i,j∈[1,25]。

(1)

式中i和j表示關節(jié)點的標號，若標號為某一骨骼的兩端，則表示骨骼的長度(lenth18_19表示左邊小腿的長度)，否則表示兩關節(jié)點的距離(lenth2_10表示右肘到脊柱的距離)。

在正常行為中，人員左右半肢的臂長和腿長信息均為對稱，若深度攝像頭誤將機床等信息識別為人員，則異常骨架關節(jié)信息的骨架長度大多不對稱。此處將計算人員的左、右半肢長度的比例，通過設定正常值閾值剔除錯誤的人員骨架信息。

(2)

D值是衡量左右長度比例的一組指標，若D值大于所設定的閾值，則該幀骨架關節(jié)信息為異常信息，可以剔除該幀信息。

2.3 骨架數(shù)據(jù)標準化及向量重構(gòu)

2.3.1 提取標準骨架數(shù)據(jù)

深度攝像頭采集到的每一幀工人的行為數(shù)據(jù)均由25個關節(jié)點的位置數(shù)據(jù)組成。由于個體之間存在差異(高矮、胖瘦等)，骨架關節(jié)數(shù)據(jù)可能不統(tǒng)一，這種差異在識別過程中被看做為噪音。此處對骨架關節(jié)位置數(shù)據(jù)進行標準化處理，將不同身高體態(tài)的人員數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的標準下的數(shù)據(jù)，進而保證行為識別過程中的數(shù)據(jù)穩(wěn)定可靠。

本文數(shù)據(jù)標準化參考的標準是國標中的中國成年人人體尺寸(GB 10000-88)，該標準分區(qū)統(tǒng)計我國不同地域人體主要尺寸，這里采用18～60歲50分位人體尺寸作為衡量標準，如表2所示。

表2 人體部分關節(jié)長度標準尺寸 mm

通過該標準尺寸長度對采集到的人員關節(jié)長度數(shù)據(jù)進行標準化，從而將所有人員尺寸化歸到統(tǒng)一長度，消除不同身高體態(tài)對人員行為識別產(chǎn)生的影響。鑒于Kinect深度傳感器在數(shù)據(jù)采集過程中對人員手指等身體細微部分的API較少，而且這些部位的識別準確率較差，會存在較大誤差，為了保證算法對人員整體行為識別的準確性，本文不對人員手指等細微關節(jié)進行標準化。

2.3.2 提取骨架方向向量

在25個骨架關節(jié)位置中，每兩個關節(jié)點構(gòu)成一個方向向量，用sta_di_j表示該方向的單位向量，

i,j∈[1,25]。

(3)

通過長度和方向向量計算對應關節(jié)點的方向向量

(4)

2.3.3 坐標變換

人體骨架信息的初始坐標系建立在以Kinect為坐標原點的攝像機坐標系，在數(shù)據(jù)采集過程中，人員并非始終正對傳感器，因此采集的行為數(shù)據(jù)與深度傳感器之間存在一定的角度偏差。為了消除此類偏差對人員行為數(shù)據(jù)采集造成的影響，以便后期圖像數(shù)據(jù)處理，需要對該原始坐標系進行坐標變換，構(gòu)成以人的臀中部(關節(jié)1的位置)為坐標原點，以人體正面為Z軸、Y軸垂直向上、X軸遵循笛卡爾坐標系的人體三維坐標。坐標變換如下：

(1)坐標系平移

(5)

(2)坐標旋轉(zhuǎn)

(6)

式中x5,x9和z5,z9分別為左肩和右肩關節(jié)的坐標值。以人體右肩到左肩的方向向量作為新坐標系的X軸，求得坐標變換后的X軸和Z軸坐標值，進而得到坐標變換后的坐標值

(7)

至此，經(jīng)過剔除異常值、數(shù)據(jù)標準化、坐標變換和骨架關節(jié)向量重構(gòu)，得到一組比較標準的行為數(shù)據(jù)。

圖4a所示為工人在攝像頭坐標系下的骨架位置坐標，經(jīng)過標準化和坐標變換后，變?yōu)閳D4b所示的坐標。相比可見，預處理后主要有以下變換：

(1)坐標原點圖4a中坐標原點位于攝像機處，經(jīng)過坐標變換后，坐標原點位于人的臀中部。

(2)人體骨骼長度對數(shù)據(jù)進行標準化后，人體骨骼的長度發(fā)生了變化。通過向量重構(gòu)將人體骨骼變換為統(tǒng)一大小，進而將圖4b變換為標準尺寸的人體骨架信息。

(3)坐標方向圖4a中的人側(cè)對著攝像機，繪制的骨架圖為一個側(cè)面。鑒于采集到的為三維骨骼信息，可以通過坐標變換繪制出圖4b，X軸的方向為兩肩連線的方向，并且正方向是由右肩指向左肩。

3 三維深度卷積神經(jīng)網(wǎng)絡模型的構(gòu)建和算法驗證

3.1 骨架序列的時空特征圖形化

將人體骨架序列的行為數(shù)據(jù)轉(zhuǎn)化為一張行為特征圖像時，最重要的是在數(shù)據(jù)轉(zhuǎn)化過程中要保留相應的數(shù)據(jù)特征不變。由2.3節(jié)可知，指定的單幀數(shù)據(jù)經(jīng)過標準化預處理后，人員行為的骨架關節(jié)表示為

在實際生產(chǎn)過程中，對一種行為的描述需要多幀行為數(shù)據(jù)，此時用actionData″表示一組連續(xù)的骨架序列行為數(shù)據(jù)，

(1)人體骨架分組

人體的四肢和軀干在運動過程中的動作不同，分別識別各部分行為后再進行綜合，能夠獲得更好的識別效果[11]。因此，將人體骨架按照左上肢、左下肢、右上肢、右下肢、頭部和腹部分為6部分，如圖5所示。

(2)行為圖像構(gòu)造

骨架序列圖像化的本質(zhì)，就是將actionData″用圖片的形式表示，處理過程如圖6所示。

圖6中，在獲得人員的RGB和深度圖像信息后，通過Kinect套件內(nèi)部的深度學習算法獲取人體25個主要骨架關節(jié)信息和骨架位置坐標。圖中Dataframe為25個關節(jié)位置坐標的向量表示。對于連續(xù)幀數(shù)為m的行為序列，分別提取Dataframe中的x，y，z分量作為轉(zhuǎn)換后圖形中的R，G，B 3個通道像素點的值，即：

式中Ri，Gi，Bi分別為第i幀骨架關節(jié)位置信息25個關節(jié)點位置的x，y，z軸坐標集合。不定長的連續(xù)幀行為序列像素點組合能夠構(gòu)造一個行為特征圖片。

(3)圖像數(shù)據(jù)歸一化

對數(shù)據(jù)進行RGB圖像合成后，由于每組行為拍攝的角度和距離不同，各圖片之間存在一定差異，為了減小這種差異對圖像的影響，通過歸一化將與其對應的數(shù)據(jù)變換到0～1之間，同時為了更為直觀地展示圖像的效果，將處理后的圖像進一步擴展到0～255之間，即

(8)

式中：px為單一通道單一像素點的數(shù)值；pmin,pmax分別為該通道下訓練集的最小值和最大值。經(jīng)過處理得到歸一化后的像素值，為了便于后續(xù)模型訓練，將圖像調(diào)整為統(tǒng)一大小60×60。圖7所示為圖像化效果圖的樣例。

3.2 深度卷積神經(jīng)網(wǎng)絡識別模型的構(gòu)建與訓練

識別生產(chǎn)車間人員行為的本質(zhì)在于提取人員行為特征并進行分類，上文通過圖像構(gòu)造的方式將基于時序的三維骨架序列行為識別問題轉(zhuǎn)化為圖像識別問題。

在基于三維骨架信息的行為識別過程中，所識別的主要特征為每個時間間隔中的人員行為狀態(tài)。CNN圖像濾波器是一個分層自適應二維濾波器體系結(jié)構(gòu)，其將處理后的圖片信息的時序特征和行為特征壓縮在一張圖片中，圖片的水平方向是行為在時間軸上的特征，垂直方向是圖片在不同骨架關節(jié)的動作特征，根據(jù)這兩個特征建立模型。

在文獻[12]的基礎上建立行為識別模型，如圖8所示。該模型包括4個級聯(lián)卷積網(wǎng)絡，卷積核均為3×3，卷積過程中的所有步長均設置為1，卷積過程公式為

(9)

式中：x為卷積網(wǎng)絡的輸入；ω為核函數(shù)；輸出s(t)為特征映射，是下一個神經(jīng)網(wǎng)絡的輸入。

在前3個濾波器組中添加最大池化層，即選取相臨矩形區(qū)域內(nèi)的最大值作為下一個網(wǎng)絡的輸入，以減小原始動作因頻率在不同尺度上發(fā)生變化而對識別結(jié)果產(chǎn)生的影響。

最后在識別的末端添加兩個全連接層，第一個全連接層由128個神經(jīng)元組成，第二個全連接層的數(shù)量由行為的識別數(shù)決定。

在訓練過程中，相比于激活函數(shù)單元tanh，激活函數(shù)單元使用ReLU的模型速度更快。激活函數(shù)單元ReLU的函數(shù)表達式為

f(x)=max(0,x)。

(10)

若輸入x≤0，則函數(shù)輸出為0，否則函數(shù)輸出為其本身。該特性大大減少了函數(shù)計算量，減少了參數(shù)間的相互依賴性，可以緩解過擬合現(xiàn)象。

損失函數(shù)使用的是多類對數(shù)損失函數(shù)如式(11)所示，在使用該函數(shù)時，需將標簽轉(zhuǎn)化為二值序列。

(11)

式中：M為訓練集T中的樣本數(shù)量；A為識別行為的類別數(shù)量；δ為克羅內(nèi)克函數(shù)；p(Ai|xm)表示樣本xm屬于行為Ai的概率。該損失函數(shù)用于評估分類器的概率輸出，通過對懲罰錯誤進行分類實現(xiàn)分類器對準確度的量化。

在模型訓練過程中，為了提高收斂速度，采用去均值的方法去除圖片的均值。在所有圖片中，分別從4個角和中間提取5張圖片，圖像尺寸為52×52，因為骨架的時間序列通過圖像的先后順序體現(xiàn)，所以利用圖像在水平方向的翻轉(zhuǎn)來增強圖像。最后通過對5張圖片進投票決定圖像的識別結(jié)果，如果出現(xiàn)5個不同的結(jié)果，則最終結(jié)果為第一張圖片所代表的識別結(jié)果，若5張圖片中各有兩張的識別結(jié)果相同，則最終結(jié)果為第一組圖片所代表的識別結(jié)果。

4 算法實例驗證與分析

本文實驗硬件環(huán)境為戴爾T7920工作站，配置為CPU Intel(R)Xeon E5-2640 v4(10核心)，內(nèi)存容量為64GBECC，操作系統(tǒng)為LinuxUbuntu 16.04，程序環(huán)境為Python3.6，在NVIDIAGTX1080Ti和NVIDIACUDA Toolkit GPU加速環(huán)境下開展實驗驗證。為了驗證算法的準確性和可靠性，本文分別在微軟的MSR-Action3D[14]和獨立采集的車間工人行為數(shù)據(jù)集NJUST3D上進行相關測試和驗證。

4.1 MSR-Action3D數(shù)據(jù)集實驗驗證

MSR-Action3D是最早基于深度視覺和三維骨架信息展開行為分析研究的數(shù)據(jù)集之一，其基礎數(shù)據(jù)集提供了由RGBD攝像頭采集到的深度圖片和骨架序列圖片，其中深度圖像的分辨率為320×240。該數(shù)據(jù)集包括20個基本行為，由10名實驗人員面對攝像機，將每組行為重復2～3次，從而采集到人員的行為數(shù)據(jù)。MSR-Action3D行為數(shù)據(jù)集樣本由深度圖片序列組成，同時該數(shù)據(jù)集還給出了一組基于這20個關節(jié)點的三維位置坐標。樣本的行為包括揮手(抬手)、揮手(水平)、敲打、伸手抓、前沖、高拋、畫叉、畫勾、畫圓、擊掌、揮雙手、側(cè)拳、彎腰、前踢、側(cè)踢、慢跑、網(wǎng)球揮桿、網(wǎng)球發(fā)球、高爾夫揮桿、接球/投擲共20種游戲行為，如圖9所示。

為了驗證算法的可靠性以及在不同數(shù)據(jù)集上的運用效果，本文使用MSR-Action3D數(shù)據(jù)集對行為識別模型進行訓練。在訓練過程中，為了能與前人的實驗結(jié)果進行對比，本文采用文獻[15]的相關參數(shù)將行為劃分為3類，各分類的詳細行為如表3所示。將3類行為數(shù)據(jù)分別輸入神經(jīng)網(wǎng)絡模型進行訓練，對測試結(jié)果取均值，獲得3D-DCNN算法下該數(shù)據(jù)集的行為識別準確率。

表3 MSR-Action3D行為分類表

續(xù)表3

在模型的訓練過程中，需要對數(shù)據(jù)集進行訓練集和測試集分類。本文將MSR-Action3D數(shù)據(jù)集中的1/2作為訓練集，1/2作為測試集，通過實驗對比現(xiàn)有算法[14-16]和本文3D-DCNN算法。表4所示為上述幾種方法的準確率在MSR-Action3D數(shù)據(jù)集上的表現(xiàn)?？梢姡疚乃惴黠@優(yōu)于文獻[14，16]算法；算法[15]在處理ASR1，ASR2這類簡單行為時準確率略優(yōu)，但在處理相對復雜的ASR3數(shù)據(jù)集上的準確率出現(xiàn)大幅下降，因此綜合準確率低于本文方法。如表4所示，通過模型訓練得到MSR-Action3D數(shù)據(jù)集在該方法下的綜合準確率為84.27%，相比現(xiàn)有算法[14-16]，該方法的行為識別準確率有一定提升。

表4 MSR-Action3D數(shù)據(jù)集行為識別算法對比 %

續(xù)表4

從識別結(jié)果的混淆矩陣(如圖10)和各行為識別的準確率(如圖11)來看，在該行為識別模型下，絕大多數(shù)行為的識別準確率都能達到80%以上，部分行為的識別準確率仍然較低。行為類別1(AS1)和行為類別3(AS3)的8組行為的識別準確率分別達到86.45%和84.27%，處于較高水平；行為類別2(AS2)行為的識別準確率只有77.91%，與本次實驗的平均值有一定差距。行為類別2(AS2)行為包括高處揮手、伸手抓物、畫叉、畫勾、畫圈、揮雙手、前踢和側(cè)踢8種行為。

由混淆矩陣可以看出，8種難以識別的行為包括伸手抓物、畫勾和畫叉3種行為，均為手臂運動，主要特征為大臂帶動小臂。在骨架關節(jié)位置信息圖像化構(gòu)造過程中，這幾類行為的差異僅在手腕關節(jié)，因此存在對此類行為識別的準確率較低的問題。

4.2 NJUST3D數(shù)據(jù)集實驗驗證

為在實際生產(chǎn)過程中驗證本文方法，對生產(chǎn)行為進行模擬和數(shù)據(jù)采集。結(jié)合吉爾布雷斯動作分析方法，將生產(chǎn)車間中的人員行為分為前期準備行為、生產(chǎn)行為、違規(guī)行為和其他行為4類(如圖12)，每一類下還有若干小類，共模擬了18種生產(chǎn)車間中常見的人員行為，在實驗室中模擬并采集了部分常見生產(chǎn)行為形成NJUST3D數(shù)據(jù)集。

如圖12所示，將NJUST3D生產(chǎn)行為數(shù)據(jù)集行為進行如下分組：

(1)前期準備行為與普通產(chǎn)品的生產(chǎn)裝配不同，火工品在受外界刺激后容易燃燒或爆炸，這類車間對進入生產(chǎn)區(qū)域中的人員有更嚴格的要求，工作人員進入生產(chǎn)區(qū)域后需要穿戴特定的靜電服、鞋套并釋放鞋底的靜電。因為這3種行為比較特殊，所以將其作為進入生產(chǎn)車間的前期準備行為。

(2)生產(chǎn)行為火工品的裝配過程主要是對來料進行加工，裝配過程中的物料運輸方式包括人工搬運、手推車搬運和吊車搬運3種，對應的人員行為為搬運物品、堆放物品、使用手推車運輸和使用手持設備4項。在生產(chǎn)過程中可能還會涉及切割工件、拾起掉落的零件、打掃工位，因此有鋸工件、撿零件和打掃工位3種行為。裝配完成后需要檢查異常記錄，因此添加檢查記錄這一行為。

(3)違規(guī)行為在火工品裝配車間，一切能導致火工品發(fā)生燃燒或爆炸的行為都是違規(guī)行為。生產(chǎn)過程中常見的違規(guī)行為有使用通訊設備(引發(fā)靜電)、暴力搬運、抽煙(引發(fā)火災)和重敲。

(4)其他行為指生產(chǎn)車間中常見的、不影響生產(chǎn)也非違規(guī)的行為，包括喝水、擦汗和坐著3種行為。

本次實驗通過KinectV2深度傳感器采集獲取生產(chǎn)行為數(shù)據(jù)，NJUST3D數(shù)據(jù)集由18組(如圖12)行為組成，包括重敲、搬運物料和鋸工件等生產(chǎn)行為，以及抽煙、打掃工位和坐著休息等非生產(chǎn)行為。這些行為是采用兩臺Kinect攝像機對20位志愿者進行拍攝完成，兩個攝像機的擺放位置呈60°夾角，攝像頭高度分別為140 cm和160 cm(如圖13)。其中志愿者被要求分別面對兩個攝像機和攝像機的中間位置，將每組動作各執(zhí)行3次，共采集2 160組行為數(shù)據(jù)(如圖14)，作為NJUST3D生產(chǎn)行為數(shù)據(jù)集的數(shù)據(jù)示例。

在模型的訓練過程中，生產(chǎn)行為數(shù)據(jù)集同樣需要對數(shù)據(jù)集進行訓練集和測試集分類。本文將NJUST3D數(shù)據(jù)集中每種行為的2/3作為訓練集，剩余的1/3作為測試集，用于模型訓練。

采用3D-DCNN方法對該數(shù)據(jù)進行訓練后，NJUST3D數(shù)據(jù)集的行為識別準確率為71.36%，這在復雜生產(chǎn)環(huán)境中比較理想，但是對于某些極端行為，例如在火工品周圍抽煙等嚴重危害生產(chǎn)的行為，該準確率仍然不足。對此，按照行為置信度由大到小排序，本文方法置信度排名前三行為的識別準確率達到92.12%，具有一定實用價值。為便于后續(xù)研究及結(jié)果分析，繪制混淆矩陣(如圖15)和各行為識別準確率(如圖16)。

由圖15和圖16可知，在生產(chǎn)行為識別過程中，總體識別準確率較高，都能達到60%以上，但是對于部分行為，如行為3(使用通訊設備)、行為7(抽煙)、行為11(擦汗)的識別比較困難，原因是這類行為大臂和小臂的運動軌跡基本相同，行為之間的差異主要體現(xiàn)在手腕動作，圖像中的描述并不明顯(如圖17)，從而造成識別準確率較低。

與MSR-Action3D行為數(shù)據(jù)集84.27%的準確率相比，此處行為識別準確率有所降低，主要有以下原因：①MSR-Action3D數(shù)據(jù)集進行行為識別時將數(shù)據(jù)分為3組，其識別的本質(zhì)是一個8分類問題，而本文對NJUST3D生產(chǎn)行為數(shù)據(jù)集進行行為識別時未分組，是一個18分類的識別問題，因識別種類更多使難度提升而造成準確率下降；②相比MSR-Action3D數(shù)據(jù)集的行為，NJUST3D生產(chǎn)行為數(shù)據(jù)集的行為更加復雜，多個行為之間的相似度比較高，導致識別準確度下降。

5 結(jié)束語

對生產(chǎn)過程人員行為進行管理是實現(xiàn)企業(yè)高效運行和安全生產(chǎn)的一個重要方式，本文提出基于3D-DCNN的生產(chǎn)行為智能識別方法，并在國際通用的MSR-Action3D行為數(shù)據(jù)集和實驗室自建行為數(shù)據(jù)集NJUST3D上，驗證了該方法的有效性。該識別結(jié)果將用于車間的安全生產(chǎn)監(jiān)控，尤其對某些特定車間(如危險品生產(chǎn)車間)，通過識別人員行為能夠發(fā)現(xiàn)安全問題，從而及時消除隱患，防患于未然。

未來的工作將對人員行為識別算法進行更加深入地研究：

(1)改進微動作識別算法的準確性 本文算法對基本行為具有較好的識別效果，但在應對宏觀行為相近、手部等微觀行為不同的生產(chǎn)行為時，識別準確率明顯降低，考慮從兩方面進行改進：①優(yōu)化數(shù)據(jù)采集方法，例如采用多個深度視覺傳感器采集不同距離的行為數(shù)據(jù)等；②繼續(xù)優(yōu)化行為識別模型，以應對更加復雜、微觀的實際應用場景。

(2)提升模型的實用性 本文所用實驗設備計算能力較強，能夠滿足實時生產(chǎn)行為的識別，但車間現(xiàn)場硬件設施往往很難達到，需要適當降低模型的復雜程度，在更經(jīng)濟的硬件條件下實現(xiàn)生產(chǎn)行為的實時監(jiān)控。