雷振軒

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055)

0 引言

行為檢測(cè)作為計(jì)算機(jī)領(lǐng)域中的研究熱點(diǎn)之一，在智能監(jiān)控[1]、人機(jī)交互[2]等領(lǐng)域有著廣泛的應(yīng)用前景。行為檢測(cè)可用于室外公共場(chǎng)合人員的危險(xiǎn)、暴力行為檢測(cè)監(jiān)控與報(bào)警，室內(nèi)場(chǎng)景下可用于老人和兒童的安全監(jiān)控[3-4]。

現(xiàn)有的行為檢測(cè)技術(shù)中有部分是通過紅外傳感器來感知人體在空間中的位置信息，并結(jié)合場(chǎng)景中的物品位置信息綜合判斷人體當(dāng)前的行為狀態(tài)[5-6]。這種方法可以大致判斷人體處于何種運(yùn)動(dòng)狀態(tài)，但是由于其傳感器工作原理的限制，只能感知人體空間移動(dòng)狀態(tài)，而對(duì)于細(xì)致的肢體動(dòng)作并不能做出精確的檢測(cè)。隨著移動(dòng)設(shè)備和可穿戴設(shè)備的發(fā)展，李鵬歡[7]和黃龍等人[8]采用加速度傳感器獲取人體運(yùn)動(dòng)信息，并結(jié)合相關(guān)的分析算法對(duì)獲取的運(yùn)動(dòng)信息進(jìn)行分析得出人體行為；石磊鑫等人[9]設(shè)計(jì)了基于可穿戴設(shè)備的行為識(shí)別系統(tǒng)，通過將可穿戴設(shè)備上的加速度傳感器、心率傳感器檢測(cè)到的人體信息通過藍(lán)牙發(fā)送到手機(jī)等處理設(shè)備上綜合判斷人體行為。相比基于紅外傳感器的檢測(cè)方法，慣性傳感器的應(yīng)用能夠更加精細(xì)的獲取人體的運(yùn)動(dòng)信息，但是通過慣性信號(hào)也只能檢測(cè)一些行走、跑步等簡(jiǎn)單的行為。這種基于慣性傳感器的行為檢測(cè)方法并不適用于公共場(chǎng)合的群體行為監(jiān)控場(chǎng)景。

分析現(xiàn)有行為檢測(cè)技術(shù)的長(zhǎng)處和問題，也觀察到骨骼和關(guān)節(jié)在人體運(yùn)動(dòng)過程中的行為表達(dá)直觀性，以及對(duì)背景、光線等外部因素干擾的魯棒性，設(shè)計(jì)了基于人體骨架信息的行為檢測(cè)系統(tǒng)。系統(tǒng)以NVIDIA公司推出的Jetson Nano作為硬件平臺(tái)的核心，搭建具備行為畫面采集、行為類別檢測(cè)、危險(xiǎn)行為報(bào)警和行為畫面顯示功能的硬件系統(tǒng)平臺(tái)；另外在人體關(guān)節(jié)坐標(biāo)基礎(chǔ)上構(gòu)建關(guān)節(jié)位移矢量和骨骼夾角變化的關(guān)節(jié)行為模型，借助長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM提取行為特征，實(shí)現(xiàn)行為檢測(cè)功能。

1 系統(tǒng)結(jié)構(gòu)及原理

系統(tǒng)主要由圖像采集模塊、主控模塊、顯示模塊和報(bào)警模塊組成，系統(tǒng)結(jié)構(gòu)如圖1。其中圖像采集負(fù)責(zé)采集當(dāng)前行為畫面并輸入主控模塊；主控模塊對(duì)行為畫面進(jìn)行人體關(guān)節(jié)提取以及行為檢測(cè)，然后將檢測(cè)結(jié)果通過串口發(fā)送至顯示模塊和報(bào)警模塊；顯示模塊將人體骨架姿態(tài)和檢測(cè)結(jié)果與原畫面疊加實(shí)時(shí)顯示；報(bào)警模塊由Atmega328P單片機(jī)、蜂鳴器和發(fā)光二極管組成，對(duì)接收到的行為類別進(jìn)行判斷，如果當(dāng)前行為為危險(xiǎn)行為或者有潛在危險(xiǎn)，則報(bào)警模塊報(bào)警。

圖1 行為檢測(cè)系統(tǒng)結(jié)構(gòu)圖

2 系統(tǒng)硬件設(shè)計(jì)

2.1 圖像采集模塊

作為行為檢測(cè)系統(tǒng)工作流程的第一步，需要圖像采集模塊對(duì)人體運(yùn)動(dòng)畫面進(jìn)行拍攝采集。傳統(tǒng)的攝像頭大多由數(shù)據(jù)總線、時(shí)鐘總線和同步信號(hào)線組成，這一類攝像頭的接口需要的數(shù)據(jù)線數(shù)量較多，內(nèi)部的邏輯結(jié)構(gòu)也較為復(fù)雜，同時(shí)對(duì)于水平同步信號(hào)、垂直同步信號(hào)和時(shí)鐘信號(hào)的同步性要就較高，這使得攝像頭數(shù)據(jù)的輸出端和畫面信號(hào)的接收端均需要具備較好的性能以滿足信號(hào)的傳輸。除此之外，在攝像頭數(shù)據(jù)的傳輸過程中，所傳輸?shù)叫盘?hào)比較容易受到外界的干擾，這就難以保證在持續(xù)性傳輸畫面過程中的畫面質(zhì)量以及傳輸畫面的速率。而CSI攝像頭在對(duì)畫面像素信息傳輸?shù)倪^程中采用數(shù)據(jù)差分信號(hào)，保證了較好的穩(wěn)定性，而且該攝像頭能夠僅使用一組數(shù)據(jù)信號(hào)線和差分時(shí)鐘線完成數(shù)據(jù)傳輸，降低了接口線的使用數(shù)量。

考慮到嵌入式系統(tǒng)在圖像處理性能上的局限性，在對(duì)比了CSI攝像頭和傳統(tǒng)攝像頭后，選擇占用計(jì)算資源較少的CSI攝像頭來完成圖像采集工作，在滿足相應(yīng)的傳輸速率的同時(shí)，也具有較高的傳輸質(zhì)量。CSI攝像頭參數(shù)如表1所示。該攝像頭除了占用計(jì)算資源少的優(yōu)點(diǎn)外，還具備體積小、分辨率高、感光器件尺寸大、畫面畸變小的優(yōu)點(diǎn)。

表1 攝像頭參數(shù)

2.2 主控模塊

主控模塊主要有以下3個(gè)功能：(1)接收?qǐng)D像采集模塊發(fā)送的視頻數(shù)據(jù)。(2)運(yùn)行人體行為檢測(cè)器對(duì)接收的畫面提取關(guān)節(jié)信息并檢測(cè)行為類別。(3)通過串口將行為檢測(cè)結(jié)果發(fā)送至顯示模塊和報(bào)警模塊。

主控模塊作為整個(gè)系統(tǒng)的核心單元，在運(yùn)行人體行為檢測(cè)器對(duì)接收的畫面提取關(guān)節(jié)信息并檢測(cè)行為類別時(shí)，需要具備較強(qiáng)的數(shù)據(jù)運(yùn)算處理能力。Jetson Nano是NIVDIA 公司推出的一款性能強(qiáng)大、體積小巧的人工智能計(jì)算設(shè)備，采用最高頻率為1.43 Ghz 的64位四核ARM處理器、128核NVIDIA Maxwell GPU、4G運(yùn)行內(nèi)存，支持 5 V DC輸入[19]。Jetson Nano能夠運(yùn)行多種算法和人工智能框架，為各種復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型提供實(shí)時(shí)計(jì)算和推理，可以實(shí)現(xiàn)圖像分類、目標(biāo)檢測(cè)、人臉檢測(cè)與識(shí)別、語音處理等功能，其較強(qiáng)的運(yùn)算能力，比較適合處理攝像頭拍攝的圖像數(shù)據(jù)以及運(yùn)行人體行為檢測(cè)網(wǎng)絡(luò)模型。因此，系統(tǒng)中采用Jetson Nano作為主控模塊，除了運(yùn)行訓(xùn)練好的人體行為檢測(cè)模型以外，還兼顧對(duì)其余模塊發(fā)送控制指令和檢測(cè)結(jié)果信息的功能。

2.3 報(bào)警模塊

報(bào)警模塊負(fù)責(zé)接收主控模塊發(fā)送的行為類別信息，并判斷行為是否屬于危險(xiǎn)行為，同時(shí)發(fā)送控制信號(hào)控制蜂鳴器、發(fā)光二極管進(jìn)行聲光報(bào)警。

聚人心、強(qiáng)群團(tuán),共建幸福和諧新企業(yè)。努力做到“小事辦好，好事辦快，大事辦成”。抓實(shí)“職工小家、建功立業(yè)、選樹典型、精準(zhǔn)幫扶、金牌班組、青字工程、青年建功立業(yè)”等品牌工程，做好“完善班組基本配置，改善食堂、提升澡堂、改造單車棚，發(fā)放餐費(fèi)補(bǔ)貼、解決子女就學(xué)、關(guān)注棚戶區(qū)改造、組織健康體檢、開展員工療養(yǎng)、做好精準(zhǔn)困難幫扶、豐富文體活動(dòng)”等實(shí)事，不斷提升群團(tuán)組織影響力。

報(bào)警模塊采用Atmega328P作為控制器，通過串口與主控模塊進(jìn)行通信，并輸出高低電平信號(hào)給蜂鳴器和發(fā)光二極管從而實(shí)現(xiàn)報(bào)警功能。Atmega328P是一個(gè)高性能、低功耗的8位微控制器以AVR作為核心處理器，閃存容量為32 KB，時(shí)鐘頻率為20 MHz，支持5 V輸入，具備I2C、SPI、USART等接口。以Atmega328P單片機(jī)為核心設(shè)計(jì)報(bào)警模塊及其外圍電路，電路原理圖如圖2。將單片機(jī)XTAL1和XTAL2外接一個(gè)16 MHz晶振和兩個(gè)20 pF電容組成外部震蕩電路，為單片機(jī)內(nèi)部提供穩(wěn)定的時(shí)鐘信號(hào)流；同時(shí)，將兩個(gè)發(fā)光二極管以共陽極的接法分別連接至單片機(jī)的IO接口PD2和PD3，通過IO接口高低電平來控制發(fā)光二極管亮滅，IO接口置低電平，發(fā)光二極管亮，IO接口置高電平，發(fā)光二極管滅。

另外，對(duì)比了有源蜂鳴器和無源蜂鳴器的特點(diǎn)，有源蜂鳴器內(nèi)部含有震蕩源，通電后只能發(fā)出一種類型的聲音，無源蜂鳴器內(nèi)部不含震蕩源，需要通過改變輸入信號(hào)即可自由控制聲音頻率；由于無源蜂鳴器的聲音頻率可控，因此采用無源蜂鳴器作為報(bào)警器件，將蜂鳴器控制端連接至Atmega328P單片機(jī)IO接口的PD4端，通過單片機(jī)輸出1.5～2.5 kHz頻率的高低電平信號(hào)即可控制聲音頻率變化。

圖2 報(bào)警模塊電路原理圖

3 行為檢測(cè)方法設(shè)計(jì)

行為檢測(cè)方法作為系統(tǒng)軟件的核心，主要包括人體關(guān)節(jié)點(diǎn)提取、關(guān)節(jié)行為模型構(gòu)建和行為特征提取與分類三大部分。

3.1 人體關(guān)節(jié)點(diǎn)提取

通過Jetson Nano控制CSI攝像頭并實(shí)時(shí)讀取攝像頭拍攝到的視頻畫面，在此視頻畫面基礎(chǔ)上首先需要提取目標(biāo)人體的關(guān)節(jié)信息。隨著人體姿態(tài)估計(jì)算法的不斷成熟，現(xiàn)在已有從原始視頻畫面中提取人體關(guān)節(jié)信息的深度神經(jīng)網(wǎng)絡(luò)模型，例如OpenPose、DensePose、Mask R-CNN等，但考慮到Jetson Nano模塊的計(jì)算資源有限，同時(shí)為了便于后續(xù)在此基礎(chǔ)上擴(kuò)展其他目標(biāo)檢測(cè)功能，因此選用兼具目標(biāo)檢測(cè)、實(shí)例分割和人體姿態(tài)估計(jì)功能的Mask R-CNN從視頻中獲取關(guān)節(jié)信息，后續(xù)再構(gòu)建關(guān)節(jié)行為模型，支持人體行為識(shí)別。

在Mask R-CNN網(wǎng)絡(luò)中，掩碼分支網(wǎng)絡(luò)mask branch是用于預(yù)測(cè)并生成目標(biāo)分割掩碼的分支網(wǎng)絡(luò)，通過雙線性插值的方法來保證輸入與輸出的像素一一對(duì)應(yīng)。在進(jìn)行特征提取后，mask branch對(duì)每個(gè)感興趣區(qū)域進(jìn)行分類預(yù)測(cè)，并根據(jù)其分類結(jié)果對(duì)預(yù)測(cè)的目標(biāo)使用不同顏色的掩膜進(jìn)行渲染可視化，作為對(duì)目標(biāo)整體輪廓的描述，來實(shí)現(xiàn)像素級(jí)的實(shí)例分割。這種像素級(jí)的實(shí)例分割方式也可用于檢測(cè)并分割人體的關(guān)節(jié)點(diǎn)，將每一個(gè)關(guān)節(jié)點(diǎn)的位置設(shè)為一個(gè)二進(jìn)制單點(diǎn)，每一個(gè)mask中若有對(duì)應(yīng)的關(guān)節(jié)點(diǎn)標(biāo)為1，反之則為0，即熱圖中僅保留概率值為1的關(guān)節(jié)點(diǎn)像素。然后利用全卷積網(wǎng)絡(luò)作為姿態(tài)檢測(cè)器對(duì)感興趣區(qū)域內(nèi)的人體特征圖進(jìn)行卷積池化和反卷積，得到高分辨的特征輸出，同時(shí)利用ROI Align進(jìn)行像素到像素的對(duì)齊，級(jí)聯(lián)邊界框回歸與關(guān)節(jié)點(diǎn)分類。每一個(gè)感興趣區(qū)域的ROI Align都對(duì)應(yīng)K×m2維度的輸出，其中K代表mask的類別個(gè)數(shù)，m2代表池化分辨率，在這里僅指m×m的二進(jìn)制掩碼。對(duì)于一個(gè)人體實(shí)例的18個(gè)關(guān)節(jié)點(diǎn)，輸出18個(gè)掩碼特征圖，18個(gè)掩碼相互獨(dú)立，并對(duì)每個(gè)像素的誤差值進(jìn)行交叉熵?fù)p失迭代，最終使關(guān)節(jié)點(diǎn)像素的輸出為1，其余輸出為0，從而實(shí)現(xiàn)對(duì)于人體關(guān)節(jié)點(diǎn)的檢測(cè)提取。

Mask R-CNN網(wǎng)絡(luò)輸出的關(guān)節(jié)點(diǎn)為COCO格式，包括18個(gè)點(diǎn)的坐標(biāo)位置數(shù)據(jù)，然而這18個(gè)點(diǎn)中的左眼、右眼、左耳、右耳這4個(gè)點(diǎn)在人體運(yùn)動(dòng)過程中相對(duì)位置不會(huì)發(fā)生變化同時(shí)與人體行為的相關(guān)性較小，而且這4個(gè)點(diǎn)的空間位置相近，在后續(xù)的行為檢測(cè)中容易對(duì)識(shí)別產(chǎn)生干擾。因此從中剔除這4個(gè)點(diǎn)，僅保留能夠代表肢體運(yùn)動(dòng)的14個(gè)關(guān)節(jié)點(diǎn)數(shù)據(jù)，作為后續(xù)關(guān)節(jié)行為模型的輸入信息。

3.2 關(guān)節(jié)行為模型構(gòu)建

觀察人體行為中的各關(guān)節(jié)運(yùn)動(dòng)規(guī)律，可發(fā)現(xiàn)在一個(gè)行為中并非所有關(guān)節(jié)同時(shí)運(yùn)動(dòng)，每個(gè)關(guān)節(jié)的運(yùn)動(dòng)幅度大小不一，這就意味著各關(guān)節(jié)的運(yùn)動(dòng)信息與當(dāng)前人體行為的相關(guān)性存在差異。因此，將各關(guān)節(jié)的位置坐標(biāo)序列送入LSTM網(wǎng)絡(luò)，即可學(xué)習(xí)行為中前后幀之間的關(guān)節(jié)時(shí)序特征；但是這種直接采用原始關(guān)節(jié)點(diǎn)位置坐標(biāo)的方式不能明顯的表征人體運(yùn)動(dòng)過程總各個(gè)關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)幅度差異，為了進(jìn)一步描述各關(guān)節(jié)點(diǎn)運(yùn)動(dòng)幅度的差異性，針對(duì)人體的每個(gè)關(guān)節(jié)點(diǎn)構(gòu)造了當(dāng)前幀與上一幀之間的關(guān)節(jié)點(diǎn)位移矢量模型，通過同一關(guān)節(jié)點(diǎn)在前后兩幀中的位置坐標(biāo)，計(jì)算出該點(diǎn)在前后兩幀之間的位移矢量，以每個(gè)關(guān)節(jié)點(diǎn)的幀間位移矢量大小來表征該關(guān)節(jié)點(diǎn)的與運(yùn)動(dòng)幅度。

除此之外，一些關(guān)節(jié)點(diǎn)在人體行為過程中并沒有發(fā)生明顯的空間位置移動(dòng)，但是仍對(duì)于當(dāng)前的行為具有較大的影響。例如人體在執(zhí)行揮手動(dòng)作時(shí)，除了肘部、手部?jī)蓚€(gè)關(guān)節(jié)點(diǎn)與當(dāng)前行為動(dòng)作的相關(guān)性較高以外，該側(cè)肩部的運(yùn)動(dòng)也對(duì)當(dāng)前行為動(dòng)作具有較大的影響，但是肩部關(guān)節(jié)點(diǎn)在揮手動(dòng)作中并沒有產(chǎn)生較大的空間位移而是發(fā)生了旋轉(zhuǎn)。這種情況下，幀間位移矢量模型并不能描述旋轉(zhuǎn)點(diǎn)與當(dāng)前行為的相關(guān)性大小，然而關(guān)節(jié)點(diǎn)發(fā)生旋轉(zhuǎn)時(shí)該點(diǎn)與其兩側(cè)相鄰關(guān)節(jié)點(diǎn)構(gòu)成的夾角也會(huì)發(fā)生明顯變化，因此，考慮以除過肢體末端以外的其余關(guān)節(jié)點(diǎn)與其兩側(cè)相鄰的兩個(gè)關(guān)節(jié)點(diǎn)構(gòu)成的夾角來表征該點(diǎn)的旋轉(zhuǎn)情況，具體構(gòu)成夾角的關(guān)節(jié)點(diǎn)組合包括：左右手臂的手、肘、肩；左右腿部的足、膝、胯；左側(cè)肘、肩和頸；右側(cè)肘、肩和頸；左側(cè)膝、胯和頸；右側(cè)膝、胯和頸；頭、頸、左肩；頭、頸、右肩；頭、頸、左胯；頭、頸、右胯；左肩、頸、左胯；右肩、頸、右胯；共計(jì)14個(gè)夾角數(shù)據(jù)。然后，計(jì)算每個(gè)夾角在前后幀間的夾角變化量，得到一個(gè)幀間骨骼夾角變化模型。

(1)

(2)

圖3 行為檢測(cè)方法結(jié)構(gòu)圖

為了印證位移矢量和骨骼夾角變化量表征人體行為信息的可行性，以Li等人[20]于2010年建立的MSR Action 3D數(shù)據(jù)集開展實(shí)驗(yàn)，它記錄了10個(gè)被試者、20種類型的人體行為，每個(gè)被試者執(zhí)行每個(gè)行為2～3次，總共包含了567個(gè)行為的關(guān)節(jié)運(yùn)動(dòng)序列。以揮手、側(cè)踢的序列數(shù)據(jù)為例，計(jì)算每個(gè)行為的關(guān)節(jié)位移和骨骼夾角變化，并以關(guān)節(jié)半徑的大小來直觀表達(dá)該點(diǎn)與當(dāng)前行為的相關(guān)程度，關(guān)節(jié)半徑越大，則說明該點(diǎn)與當(dāng)前行為的相關(guān)程度越高，反之則相關(guān)程度越低，結(jié)果如圖4。從圖4可以看出人體在揮手和踢腿時(shí)，僅有手臂和腿部關(guān)節(jié)的半徑明顯增大，即手臂和腿部的關(guān)節(jié)與當(dāng)前行為具有較高的相關(guān)性，其余關(guān)節(jié)相關(guān)性不明顯。說明補(bǔ)充這類信息可進(jìn)一步明確行為識(shí)別應(yīng)重點(diǎn)學(xué)習(xí)的關(guān)鍵部位。

圖4 各關(guān)節(jié)的行為相關(guān)性表征圖

3.3 行為特征提取

在通過關(guān)節(jié)行為模型計(jì)算得出位移矢量序列和骨骼夾角變化序列后，與原始關(guān)節(jié)點(diǎn)序列進(jìn)行組合，形成一個(gè)尺寸為4×14的二維數(shù)組，以此作為前幀中人體的行為信息?？紤]到人體行為具有連貫性和時(shí)間上的持續(xù)性，多幀行為信息序列相比于單幀行為信息能夠更加完整表征人體行為，所以，對(duì)多幀行為信息進(jìn)行特征提取的方式更加合理。

由于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM在處理序列長(zhǎng)時(shí)間依賴關(guān)系上展現(xiàn)出較好的效果，因此可以借助LSTM進(jìn)行動(dòng)作序列依賴特征提取并結(jié)合Softmax分類得出行為檢測(cè)結(jié)果。LSTM結(jié)構(gòu)如圖5所示。

圖5 LSTM結(jié)構(gòu)圖

it=σ(wi·[ht-1,xt]+bi)

(3)

(4)

遺忘門機(jī)制能夠?qū)⒋鎯?chǔ)單元中的部分信息剔除，選擇性地遺忘時(shí)間窗之前的信息。式(5)為遺忘門計(jì)算公式。

ft=σ(wf·[ht-1,xt]+bf)

(5)

單元狀態(tài)更新可用式(6)計(jì)算，在輸入門和遺忘門的控制下結(jié)合上一時(shí)刻的單元狀態(tài)信息來更新t時(shí)刻的單元狀態(tài)。

(6)

式(9)、式(10)為t時(shí)刻隱藏層輸出信息ht。

ot=σ(wo·[ht-1,xt]+bo)

(7)

ht=ot*tanh(Ct)

(8)

其中：w為權(quán)重；b為偏置；σ是sigmoid激活函數(shù)；Ct-1是t-1時(shí)刻的單元狀態(tài)；ht-1是t-1時(shí)刻的隱藏層輸出；xt是時(shí)間t的輸入。

最終，設(shè)計(jì)的LSTM網(wǎng)絡(luò)結(jié)構(gòu)為兩層，輸入層送入行為序列信息，兩個(gè)LSTM層進(jìn)行時(shí)間序列特征提取，然后在第二個(gè)LSTM層后連接Softmax層對(duì)LSTM隱藏層的輸出向量分類，得出行為分類結(jié)果。

另外考慮到檢測(cè)系統(tǒng)的實(shí)時(shí)性要求以及多幀序列讀取的問題，在多幀行為序列輸入檢測(cè)分類模塊之前，還需設(shè)計(jì)一個(gè)特定幀長(zhǎng)的滑動(dòng)窗，將長(zhǎng)視頻的行為序列通過滑窗截取后再輸入檢測(cè)分類網(wǎng)絡(luò)，圖6為滑窗示意圖?；皬氖讕_始沿時(shí)間序列向后逐幀滑動(dòng)，滑動(dòng)過程中每檢測(cè)到最新一幀的行為序列，就將新幀的行為序列加入到滑窗序列尾部，并刪除滑窗序列頭部的一幀行為序列，以此方式實(shí)現(xiàn)檢測(cè)分類網(wǎng)絡(luò)對(duì)長(zhǎng)視頻序列的固定幀數(shù)讀取。

圖6 滑窗結(jié)構(gòu)示意圖

為了得到滑窗幀數(shù)長(zhǎng)短的參考值，在MSR Action 3D數(shù)據(jù)集上展開分析、研究，該數(shù)據(jù)集記錄了10個(gè)被試者、20種類型的人體行為，每個(gè)被試者執(zhí)行每個(gè)行為2～3次，總共包含了567個(gè)行為的關(guān)節(jié)點(diǎn)運(yùn)動(dòng)序列。將每種行為的手、肘、膝、足部的橫縱坐標(biāo)沿時(shí)間序列繪制成關(guān)節(jié)運(yùn)動(dòng)時(shí)序曲線，從中統(tǒng)計(jì)每種行為的時(shí)序變化周期，指導(dǎo)滑窗幀長(zhǎng)的確定，最終統(tǒng)計(jì)得出20種行為的平均周期幀長(zhǎng)為14.95，因此確定滑窗幀數(shù)長(zhǎng)度取15幀。

4 實(shí)驗(yàn)結(jié)果與分析

系統(tǒng)設(shè)計(jì)完成后，首先需要在計(jì)算機(jī)上對(duì)行為檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其能夠達(dá)到理想的檢測(cè)效果，然后，將訓(xùn)練好的行為檢測(cè)器部署到主控模塊中運(yùn)行并驗(yàn)證系統(tǒng)行為檢測(cè)效果。

4.1 行為檢測(cè)器訓(xùn)練與測(cè)試

為了能達(dá)到理想的行為識(shí)別效果，采用MSR Action 3D數(shù)據(jù)集對(duì)行為檢測(cè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試。數(shù)據(jù)集中的20類動(dòng)作見表2。從這20類動(dòng)作中篩選出日常生活中最常見的高揮臂、水平揮臂、雙臂揮動(dòng)、捶打、前沖、拍手、側(cè)拳、彎腰、前踢、側(cè)踢、慢跑、接拋等12種行為對(duì)行為檢測(cè)網(wǎng)絡(luò)模型訓(xùn)練、測(cè)試。

表2 MSRAction3D數(shù)據(jù)集行為類別

實(shí)驗(yàn)訓(xùn)練平臺(tái)基于Windows10操作系統(tǒng)，計(jì)算機(jī)處理器為英特爾酷睿i5-10600kf，運(yùn)行內(nèi)存為16G，顯卡為NVIDIA GTX1060，實(shí)驗(yàn)框架采用TensorFlow深度學(xué)習(xí)框架。

實(shí)驗(yàn)將MSR Action 3D數(shù)據(jù)集以8:2的比例劃分為訓(xùn)練集和測(cè)試集，采用梯度下降算法對(duì)行為檢測(cè)器進(jìn)行迭代訓(xùn)練。為了能夠充分訓(xùn)練從而獲取性能良好的行為檢測(cè)器，同時(shí)為避免行為檢測(cè)器在訓(xùn)練過程中發(fā)生出現(xiàn)過擬合現(xiàn)象，使用早停法控制訓(xùn)練效果達(dá)到最佳時(shí)停止訓(xùn)練。當(dāng)?shù)?xùn)練次數(shù)達(dá)到1 200次時(shí)，識(shí)別準(zhǔn)確率逐漸趨于穩(wěn)定，訓(xùn)練停止。最終得出行為檢測(cè)網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率為93.7%。

4.2 行為檢測(cè)系統(tǒng)識(shí)別效果

將訓(xùn)練后得到的行為檢測(cè)器部署到主控模塊中，運(yùn)行該檢測(cè)系統(tǒng)，并對(duì)該系統(tǒng)的工作情況進(jìn)行檢驗(yàn)，包括圖像采集模塊是否正常工作、顯示模塊是否正常顯示畫面和行為檢測(cè)結(jié)果、報(bào)警模塊能否針對(duì)危險(xiǎn)行為類別發(fā)出警報(bào)。

經(jīng)檢驗(yàn)，該系統(tǒng)各部分均能夠正常工作，攝像頭采集畫面正常、行為檢測(cè)結(jié)果準(zhǔn)確且能夠在顯示屏上正常顯示，當(dāng)行為檢測(cè)結(jié)果為危險(xiǎn)行為時(shí)，報(bào)警模塊能夠正常發(fā)出警報(bào)，當(dāng)行為檢測(cè)結(jié)果不是危險(xiǎn)行為時(shí)，報(bào)警模塊不工作，屏幕僅顯示當(dāng)前行為類別，測(cè)試達(dá)到預(yù)期效果，系統(tǒng)實(shí)際工作情況如圖7。圖7(a)中目標(biāo)人體執(zhí)行揮手行為，顯示模塊左側(cè)顯示真實(shí)畫面，右側(cè)顯示人體關(guān)節(jié)姿態(tài)，同時(shí)屏幕顯示當(dāng)前行為類別為揮手，報(bào)警模塊二極管呈熄滅狀態(tài)，蜂鳴器不發(fā)出報(bào)警；圖7(b)中目標(biāo)進(jìn)行出拳擊打，屏幕顯示側(cè)拳行為，該行為被報(bào)警模塊判斷為危險(xiǎn)行為，則二極管閃爍提示，蜂鳴器發(fā)出報(bào)警。

圖7 行為檢測(cè)系統(tǒng)工作情況

5 結(jié)束語

針對(duì)現(xiàn)有行為檢測(cè)系統(tǒng)中依賴慣性傳感器、檢測(cè)結(jié)果不夠準(zhǔn)確的問題，設(shè)計(jì)了一種基于人體骨架信息的行為檢測(cè)系統(tǒng)。以Jetson nano人工智能計(jì)算設(shè)備、圖像采集模塊和報(bào)警模塊搭建硬件平臺(tái)，并以關(guān)節(jié)坐標(biāo)為基礎(chǔ)，結(jié)合肢體間的運(yùn)動(dòng)差異，建立了關(guān)節(jié)位移矢量和骨骼夾角變化的行為表征模型。在主控模塊部署訓(xùn)練好的行為檢測(cè)器，提取行為表征模型中的人體行為特征并分類，將分類結(jié)果輸入報(bào)警模塊進(jìn)行危險(xiǎn)行為判斷并決策是否報(bào)警。實(shí)驗(yàn)結(jié)果表明系統(tǒng)能夠有效檢測(cè)常見的人體行為。但對(duì)于復(fù)雜度較高和相似度較小的行為識(shí)別問題上仍存在不足，今后將針對(duì)此類問題繼續(xù)研究。