王 鴻，鄧元實(shí),常政威，吳 杰,陳明舉

(1.四川輕化工大學(xué)人工智能四川省重點(diǎn)實(shí)驗(yàn)室，四川 宜賓 644000；2.國(guó)網(wǎng)四川省電力公司電力科學(xué)研究院,四川 成都 610041)

0 引 言

電力事故不僅會(huì)造成人身傷害，還會(huì)影響電力系統(tǒng)的穩(wěn)定運(yùn)行[1]。為了保障電力作業(yè)人員的生命安全，電力行業(yè)制定了全方位的安全工作規(guī)程，并在作業(yè)人員上崗前進(jìn)行培訓(xùn)，規(guī)范其行為操作提高其安全素質(zhì)[2-3]。經(jīng)調(diào)查研究發(fā)現(xiàn)，作業(yè)人員的安全意識(shí)淡薄違章操作以及電力現(xiàn)場(chǎng)監(jiān)管人員的管理責(zé)任缺失對(duì)作業(yè)現(xiàn)場(chǎng)監(jiān)管不嚴(yán)，是電力事故發(fā)生的主要原因。因此，如何高效地加強(qiáng)作業(yè)現(xiàn)場(chǎng)的安全管控力度，提高電力作業(yè)人員的安全和工作質(zhì)量，促進(jìn)電力作業(yè)人員提升安全意識(shí)避免違章成為亟需解決的問(wèn)題[4-5]。

近年來(lái)計(jì)算機(jī)視覺(jué)技術(shù)得到快速發(fā)展，諸如人體姿態(tài)估計(jì)和行為識(shí)別這樣的任務(wù)受到了學(xué)者們的廣泛關(guān)注[6]。文獻(xiàn)[7]建立了基于單個(gè)圖像或視頻捕捉快照的人體動(dòng)作識(shí)別系統(tǒng)，對(duì)比神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、k近鄰和支持向量機(jī)4種分類器對(duì)人體動(dòng)作識(shí)別分類。文獻(xiàn)[8]提出了人類行為特征識(shí)別，根據(jù)視頻片段對(duì)視頻中人物的全局特征提取和局部特征提取兩種算法的應(yīng)用和優(yōu)缺點(diǎn)進(jìn)行分析。文獻(xiàn)[9]將學(xué)生的動(dòng)作指定為6種典型行為，提出了改進(jìn)OpenPose的行為識(shí)別方法，并且基于決策樹(shù)的支持向量機(jī)對(duì)堂上學(xué)習(xí)者的行為進(jìn)行分類。文獻(xiàn)[10]檢測(cè)人體姿態(tài)關(guān)鍵點(diǎn)并對(duì)變電站的安全區(qū)域標(biāo)定識(shí)別，判斷電力作業(yè)人員的雙腳是否在標(biāo)定的安全區(qū)域內(nèi)，確定作業(yè)人員是否處于安全狀態(tài)。以上的研究對(duì)人體姿態(tài)和行為識(shí)別技術(shù)取得了一定的研究成果，但將OpenPose姿態(tài)估計(jì)算法引入到電力作業(yè)現(xiàn)場(chǎng)，實(shí)現(xiàn)精確高效的行為識(shí)別的研究還有一定的不足之處。

行為識(shí)別技術(shù)[11]從本質(zhì)上來(lái)講就是一種分類問(wèn)題，而人體動(dòng)作識(shí)別的算法都是基于傳統(tǒng)算法或者基于深度神經(jīng)網(wǎng)絡(luò)開(kāi)展的?；趥鹘y(tǒng)算法的研究主要是依靠人為提取特征，這種傳統(tǒng)的算法因通過(guò)人為解決而效率低下，且提取特征不準(zhǔn)確，也不能完全實(shí)時(shí)對(duì)電力作業(yè)人員的行為進(jìn)行分類檢測(cè)。針對(duì)這些問(wèn)題，提出了一種基于OpenPose的人體姿態(tài)識(shí)別技術(shù)，通過(guò)深度神經(jīng)網(wǎng)絡(luò)對(duì)提取的電力作業(yè)人員的骨骼圖進(jìn)行行為識(shí)別，提高了檢測(cè)的速度和準(zhǔn)確率，避免由于電力現(xiàn)場(chǎng)的復(fù)雜環(huán)境而導(dǎo)致的檢測(cè)錯(cuò)誤，及時(shí)對(duì)危險(xiǎn)行為檢測(cè)并進(jìn)行預(yù)警處理，避免出現(xiàn)嚴(yán)重的安全事故，造成人力物力以及財(cái)力的損失[12]。

1 作業(yè)人員行為識(shí)別深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)

1.1 行為識(shí)別整體網(wǎng)絡(luò)設(shè)計(jì)

主要針對(duì)電力作業(yè)人員行為態(tài)勢(shì)設(shè)計(jì)行為識(shí)別流程如圖1所示。首先，輸入電力作業(yè)人員相關(guān)視頻流，將其處理為視頻幀圖像，對(duì)數(shù)據(jù)做相關(guān)的預(yù)處理；然后，將現(xiàn)場(chǎng)作業(yè)人員的視頻幀圖像輸入到人體2D姿態(tài)估計(jì)的OpenPose模型中，采用計(jì)算機(jī)視覺(jué)組(visual geometry group,VGG)提取電力作業(yè)人員的關(guān)鍵點(diǎn)位置信息及關(guān)鍵點(diǎn)連接的骨骼圖；接著，將提取得到的骨骼圖信息通過(guò)一系列處理后保存為最終的訓(xùn)練集；最后，將訓(xùn)練集通過(guò)深度神經(jīng)網(wǎng)絡(luò)(deep neural networks,DNN)進(jìn)行電力作業(yè)現(xiàn)場(chǎng)作業(yè)人員的行為識(shí)別。

圖1 電力作業(yè)人員行為識(shí)別整體技術(shù)流程

1.2 基于OpenPose關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)

近年來(lái)，基于深度學(xué)習(xí)原理進(jìn)行的人體姿態(tài)估計(jì)方法被提出且得到廣泛應(yīng)用。而OpenPose人體姿態(tài)估計(jì)是自底向上關(guān)鍵點(diǎn)檢測(cè)方法[13]，使用部分親和字段(part affinity fields,PAF)算法，完成從人體關(guān)鍵點(diǎn)檢測(cè)到關(guān)鍵點(diǎn)與關(guān)鍵點(diǎn)之間的連接過(guò)程。OpenPose 的輸入是一幅人體姿態(tài)的圖像，輸出是該算法檢測(cè)到的所有人體的骨骼。人體骨骼圖共提取18個(gè)關(guān)鍵點(diǎn)，包括眼睛、鼻子、手臂和腿等，如圖2所示。圖3為識(shí)別的作業(yè)人員的骨骼關(guān)鍵點(diǎn)圖。

圖2 18個(gè)關(guān)鍵點(diǎn)

圖3 人體骨骼關(guān)鍵點(diǎn)圖

所采用的美國(guó)卡內(nèi)基梅隆大學(xué)實(shí)驗(yàn)室的OpenPose姿態(tài)估計(jì)算法，是基于卷積神經(jīng)網(wǎng)絡(luò)并采用caffe框架開(kāi)發(fā)的開(kāi)源庫(kù)，可以實(shí)現(xiàn)人體的姿態(tài)動(dòng)作、面部表情識(shí)別以及手指相關(guān)運(yùn)動(dòng)等，對(duì)多人的二維識(shí)別有極好的魯棒性，且具有識(shí)別效果精準(zhǔn)、速度高等特點(diǎn)。OpenPose外部網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該模型總共分為兩個(gè)階段識(shí)別人體的關(guān)鍵點(diǎn)[14]，如圖5所示。

圖4 OpenPose外部網(wǎng)絡(luò)結(jié)構(gòu)

圖5 OpenPose模型結(jié)構(gòu)

第一階段：VGG的前10層用于為輸入圖像創(chuàng)建特征映射F(feature map)。

第二階段：將第一階段輸出得到的特征圖作輸入，包括兩個(gè)分支多階段卷積神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練。其中，第一個(gè)分支輸出結(jié)果為S的集合S=(S1,S2,…,Sj)，j∈{1,2,…,j},j表示第j個(gè)關(guān)鍵點(diǎn)。這一分支用來(lái)預(yù)測(cè)人體關(guān)鍵點(diǎn)位置信息的一組2D置信圖(part confidence map,PCM)；另一個(gè)分支輸出結(jié)果為L(zhǎng)的集合，L=(L1，L2，…Lc)，c∈{1，2，…,c}，c表示第c個(gè)軀干，用來(lái)預(yù)測(cè)部分親和度的2D矢量場(chǎng)，表示關(guān)鍵點(diǎn)與關(guān)鍵點(diǎn)之間的局部區(qū)域親和力PAF，如式(1)所示。

(1)

式中：ρ1和ρt分別為第一階段和第t階段PCM的預(yù)測(cè)網(wǎng)絡(luò)；φ1和φt分別為第一階段和第t階段PAF的預(yù)測(cè)網(wǎng)絡(luò)。

每個(gè)階段(Stage)都是一些串行的模塊，前面的Stage先檢測(cè)出一些簡(jiǎn)單的關(guān)鍵點(diǎn)，后面的Stage再根據(jù)前面檢測(cè)出來(lái)的信息繼續(xù)檢測(cè)更復(fù)雜情況下的關(guān)鍵點(diǎn)。通過(guò)多階段的卷積神經(jīng)網(wǎng)絡(luò)的反復(fù)預(yù)測(cè)，實(shí)現(xiàn)漸進(jìn)優(yōu)化的過(guò)程，使得到的預(yù)測(cè)結(jié)果更加準(zhǔn)確[15]。最后得到置信圖和親和力，通過(guò)關(guān)鍵點(diǎn)對(duì)dj1和dj2之間的PAF來(lái)判斷關(guān)鍵點(diǎn)之前的連接是否正確[16]，如式(2)所示。

(2)

式中：dj1和dj2分別為某人的兩個(gè)連續(xù)的像素點(diǎn)j1和j2；p(u)為連續(xù)像素點(diǎn)之間連線的取值，如式(3)所示，u的取值為(0,1)。

p(u)=(1-u)dj1+dj2

(3)

1.3 DNN行為識(shí)別

DNN[17-18]是一個(gè)具有多層結(jié)構(gòu)的數(shù)學(xué)模型，根據(jù)每層結(jié)構(gòu)的位置可以分為3層：輸入層、隱藏層和輸出層。其網(wǎng)絡(luò)的結(jié)構(gòu)示意如圖6所示。

圖6 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)輸入n維的信號(hào)，特征向量表示為X=(x1,x2,...,xn)T，那么，每個(gè)隱藏層的神經(jīng)元與前一層之間的神經(jīng)元權(quán)值的關(guān)系可以表示為

y=f(wTx+b)

(4)

式中：y為輸出；f為非線性激活函數(shù)；w為權(quán)值系數(shù)；b為偏置。也就是每個(gè)神經(jīng)元的輸出值是輸入信號(hào)的線性組合，加上偏置后經(jīng)過(guò)一個(gè)非線性的激活函數(shù)f的輸出值結(jié)果，而每個(gè)神經(jīng)元經(jīng)過(guò)n層隱藏層處理后，通過(guò)最后一層輸出層得到的結(jié)果就是最終DNN的輸出結(jié)果。

因此，為了使深度神經(jīng)網(wǎng)絡(luò)能更好地提取數(shù)據(jù)集中有用的電力作業(yè)人員骨骼信息，得到預(yù)期的輸出效果，深度神經(jīng)網(wǎng)絡(luò)需要不斷調(diào)節(jié)參數(shù)權(quán)重w和偏置b，從而達(dá)到最佳訓(xùn)練的學(xué)習(xí)目的，使網(wǎng)絡(luò)最終的輸出值與實(shí)際值的損失達(dá)到最小。所采用的訓(xùn)練模型損失函數(shù)為均方誤差函數(shù)(mean square error,MSE)，表達(dá)式為

(5)

w和b的優(yōu)化更新過(guò)程可以表示為

(6)

式中：w′和b′分別為進(jìn)入網(wǎng)絡(luò)后更新的權(quán)重值和偏差；η為網(wǎng)絡(luò)的學(xué)習(xí)率。通過(guò)學(xué)習(xí)率來(lái)控制網(wǎng)絡(luò)的學(xué)習(xí)進(jìn)度，并且能夠決定網(wǎng)絡(luò)是否能夠成功找到 全局最小值以及確定最小值的時(shí)間；通過(guò)調(diào)節(jié)學(xué)習(xí)率得到全局的最優(yōu)參數(shù)解。通常來(lái)講，如果學(xué)習(xí)率過(guò)大，則會(huì)造成整個(gè)網(wǎng)絡(luò)無(wú)法收斂，忽視找到最優(yōu)值的位置；而學(xué)習(xí)率設(shè)置得太小，則會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)收斂過(guò)程非常緩慢，從而增加找到最優(yōu)值的時(shí)間，且也可能會(huì)造成局部收斂而找不到真正的最優(yōu)解。

2 實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)在Windows系統(tǒng)下進(jìn)行操作，采用深度學(xué)習(xí)的開(kāi)源框架TensorFlow。通過(guò)調(diào)用Python環(huán)境下的各種學(xué)習(xí)包，對(duì)實(shí)驗(yàn)進(jìn)行訓(xùn)練和測(cè)試，用到的軟件為Pycharm2019，采用python3.7的框架。硬件環(huán)境為：處理器 Intel(R) Core(TM) i7-10700 CPU @2.90 GHz；運(yùn)行內(nèi)存 16.0 GB。

2.1 數(shù)據(jù)預(yù)處理

所使用的訓(xùn)練數(shù)據(jù)集為人工采集拍攝一組視頻，每隔25幀截取一張，將視頻流切割為1888張視頻幀圖像。對(duì)視頻幀圖像采用圖線增廣擴(kuò)充等處理方式，加大訓(xùn)練樣本個(gè)數(shù)，使訓(xùn)練數(shù)據(jù)集產(chǎn)生與原始視頻幀圖像類似的數(shù)據(jù)。這樣能夠達(dá)到擴(kuò)充訓(xùn)練數(shù)據(jù)集的效果。通過(guò)對(duì)圖像做增廣處理，可以減小模型對(duì)某些特定屬性的依賴作用，從而使模型的泛化能力得到提高。這里采用對(duì)圖像進(jìn)行左右翻轉(zhuǎn)、平移等方法來(lái)實(shí)現(xiàn)數(shù)據(jù)集的擴(kuò)充。如圖7所示為圖像進(jìn)行擴(kuò)充后的示意圖。

圖7 訓(xùn)練圖像的數(shù)據(jù)增廣

數(shù)據(jù)集中共有18個(gè)關(guān)鍵點(diǎn)，包括鼻子、眼睛、左右手和左右腳等，且通過(guò)(x，y)的坐標(biāo)來(lái)表示關(guān)鍵點(diǎn)的位置信息，將提取到的關(guān)鍵點(diǎn)信息保存為train.txt文本文件。通過(guò)腳本文件將讀取到的關(guān)鍵點(diǎn)信息轉(zhuǎn)換為csv格式，保存在train.csv文件中。并且，對(duì)每幀圖像的行為進(jìn)行標(biāo)記，一共包括站立、走路、跳躍、摔倒和下蹲5個(gè)動(dòng)作，用0～4依次對(duì)5個(gè)動(dòng)作進(jìn)行標(biāo)注，將標(biāo)注好的文件保存在train_act.csv文件中。最后對(duì)關(guān)鍵點(diǎn)信息和行為信息的數(shù)據(jù)集進(jìn)行訓(xùn)練。

將具有不同寬高比的圖像縮放為相同單位，對(duì)采集到的錯(cuò)誤的骨架關(guān)鍵點(diǎn)信息做刪除處理。最后，得到3775張圖片作為人體關(guān)鍵點(diǎn)行為識(shí)別的訓(xùn)練數(shù)據(jù)集。使用電力作業(yè)現(xiàn)場(chǎng)的圖片作為測(cè)試數(shù)據(jù)集。

2.2 識(shí)別結(jié)果分析

總的數(shù)據(jù)集分為2組：訓(xùn)練的數(shù)據(jù)占90%，驗(yàn)證的數(shù)據(jù)占10%。通過(guò)基于深度神經(jīng)網(wǎng)絡(luò)的電力作業(yè)人員行為檢測(cè)算法，給已經(jīng)加上行為標(biāo)簽類別的骨骼信息數(shù)據(jù)做處理，對(duì)電力作業(yè)現(xiàn)場(chǎng)人員進(jìn)行行為識(shí)別分析。采集的視頻中包括電力作業(yè)人員摔倒等異常行為，同時(shí)也包含了正常情況下作業(yè)人員正常行走、下蹲等行為。通過(guò)人工方法對(duì)這些數(shù)據(jù)的類別進(jìn)行行為標(biāo)定。在DNN模型的訓(xùn)練過(guò)程中[19]，采用自適應(yīng)學(xué)習(xí)率的Adam優(yōu)化算法[20]，對(duì)梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，通過(guò)多次實(shí)驗(yàn)和對(duì)參數(shù)的訓(xùn)練；最后，選取其中準(zhǔn)確率和損失率最佳的一組參數(shù)：批處理量batch_size為32，訓(xùn)練次數(shù)(epoch)為700次。訓(xùn)練過(guò)程中的平均損失值如圖8所示。

圖8 模型訓(xùn)練過(guò)程中的損失值下降曲線

由圖8可知，模型訓(xùn)練過(guò)程中，隨著訓(xùn)練的迭代次數(shù)增加，訓(xùn)練損失值逐漸減小[21]，且在epoch為100～200間趨于平滑狀態(tài)，其中橫坐標(biāo)表示模型訓(xùn)練的迭代次數(shù)epoch，縱坐標(biāo)Loss表示其均方誤差。通過(guò)多次試驗(yàn)得到4個(gè)較好的訓(xùn)練模型，如表1所示。

表1 不同參數(shù)模型評(píng)估

從表1可以看出：隨著epoch的增大，訓(xùn)練損失值逐漸減小，且訓(xùn)練準(zhǔn)確率逐漸變高，測(cè)試損失值和準(zhǔn)確率也有同樣的效果；當(dāng)epoch等于700次時(shí)，此時(shí)的損失值達(dá)到最小，且準(zhǔn)確率也達(dá)到最高，而之后的各項(xiàng)數(shù)值性能指標(biāo)隨著epoch的增大而變差。

使用該分類模型在測(cè)試數(shù)據(jù)集上進(jìn)行測(cè)試，輸入已知?jiǎng)幼鞯囊曨l，驗(yàn)證模型輸出結(jié)果。如圖9所示為檢測(cè)出的電力作業(yè)現(xiàn)場(chǎng)人員站立和下蹲的姿態(tài)，圖9(a)為原始圖像，圖9(b)為對(duì)應(yīng)圖像的骨骼關(guān)鍵點(diǎn)圖以及檢測(cè)出來(lái)的行為動(dòng)作。從圖9中可以看出，分類模型對(duì)作業(yè)人員的姿態(tài)都能進(jìn)行準(zhǔn)確的識(shí)別。并且從第三組電力作業(yè)人員的識(shí)別效果上可以看出，不但能識(shí)別出電力作業(yè)人員的行為動(dòng)作為摔倒?fàn)顟B(tài)，同時(shí)會(huì)顯示識(shí)別到的電力作業(yè)人員已摔倒，并發(fā)出警告。

圖9 檢測(cè)的電力作業(yè)人員行為姿勢(shì)

3 結(jié) 論

為了更好地保證電力作業(yè)現(xiàn)場(chǎng)工作人員的人身安全以及電力系統(tǒng)的穩(wěn)定性，提出了基于OpenPose的電力作業(yè)人員危險(xiǎn)行為檢測(cè)技術(shù)。將電力作業(yè)人員的骨骼圖通過(guò)2D人體姿態(tài)估計(jì)算法OpenPose提取出來(lái)，利用VGG網(wǎng)絡(luò)的前10層提取電力作業(yè)人員的特征信息，避免電力現(xiàn)場(chǎng)的復(fù)雜環(huán)境影響提取目標(biāo)的抽象特征。并利用龐大豐富的數(shù)據(jù)量，通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，使得該模型的魯棒性與泛化能力有所提升。通過(guò)實(shí)驗(yàn)證明所提技術(shù)能有效地識(shí)別工作人員的行為動(dòng)作，并能對(duì)危險(xiǎn)行為發(fā)出預(yù)警和報(bào)警，起到了對(duì)作業(yè)人員的安全監(jiān)管。