汪洋

摘要：在計(jì)算機(jī)視覺(jué)領(lǐng)域中，行為識(shí)別是重點(diǎn)研究問(wèn)題。而隨著大規(guī)模行為數(shù)據(jù)的收集以及計(jì)算機(jī)水平的提升，深度神經(jīng)網(wǎng)絡(luò)得到了長(zhǎng)足發(fā)展，計(jì)算機(jī)視覺(jué)性能超越了以往，但是當(dāng)前方法也存在一些局限。本文就深度神經(jīng)網(wǎng)絡(luò)中的行為識(shí)別算法展開(kāi)研究，首先闡述了行為識(shí)別現(xiàn)狀，其次分布分析了RGB視頻行為識(shí)別和人體骨架3D行為識(shí)別。

關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò);行為識(shí)別算法;集成學(xué)習(xí)

中圖分類號(hào)：TP393? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）03-0017-02

隨著科技的發(fā)展，日常生活中的行為會(huì)被攝像頭記錄下來(lái)，大量視頻網(wǎng)站紛紛涌現(xiàn)。近年來(lái)，隨著智能手機(jī)的普及，人們會(huì)將日常生活中所拍攝的視頻發(fā)送到網(wǎng)上，這些視頻為計(jì)算機(jī)技術(shù)帶來(lái)了新的發(fā)展機(jī)遇。而在密集場(chǎng)所中，攝像設(shè)備安裝數(shù)量也越來(lái)越多，其中記錄了大量視頻資料，包含各種人體行為。這些功能都需要行為識(shí)別算法才能夠?qū)崿F(xiàn)，這對(duì)計(jì)算機(jī)視覺(jué)技術(shù)提出了更高的要求。

1 行為識(shí)別現(xiàn)狀

近年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展迅速，行為識(shí)別也得到了較大的發(fā)展，但是其中也存在一些問(wèn)題亟待解決。當(dāng)前，行為識(shí)別定義不夠確定，人體行為比較復(fù)雜，行為定義難度加大。同一行為在不同人的執(zhí)行下，流程有所不同，導(dǎo)致時(shí)序提取特征呈現(xiàn)復(fù)雜性現(xiàn)象。而現(xiàn)有RGB視頻數(shù)據(jù)集都是人工截取形成的長(zhǎng)視頻，不同人的截取不同，樣本市場(chǎng)也不同，且存在信息冗雜、執(zhí)行主體不明等問(wèn)題[1]。同時(shí)，不同角度攝像頭對(duì)同一行為的拍攝不同，會(huì)導(dǎo)致樣品出現(xiàn)較大差異，不同角度行為識(shí)別難度隨之增加。此外，針對(duì)復(fù)雜多人交互行為，樣本采集本身就比較困難，其還需要與人體分割結(jié)合起來(lái)，難度大大增加。

2 RGB視頻行為識(shí)別

人體行為分為時(shí)間和空間這兩個(gè)維度，基于此，本文基于深度神經(jīng)網(wǎng)絡(luò)展開(kāi)設(shè)計(jì)，以解決RGB視頻行為識(shí)別中的不足。以卷積神經(jīng)網(wǎng)絡(luò)為空間特征提取器，設(shè)計(jì)的雙流長(zhǎng)短時(shí)記憶模型，該模型如圖1所示。

2.1 特征提取

1） VGG16網(wǎng)絡(luò)。改為案例具有加強(qiáng)的空間特征提取力，其中蘊(yùn)含13個(gè)卷積層以及3個(gè)全連接層，如圖2所示，其為網(wǎng)絡(luò)結(jié)構(gòu)。從圖中可以發(fā)現(xiàn)，該網(wǎng)絡(luò)的卷積核為3*3系列，對(duì)比5*5系列，計(jì)算量明顯減少。而網(wǎng)絡(luò)層數(shù)增加也使得網(wǎng)絡(luò)特征空間持續(xù)擴(kuò)大，但是通道數(shù)也在逐漸增加。卷積操作能夠提取空間臨近視頻信息，重復(fù)操作能夠得到高緯度空間特征[2]。

2） ResNet152網(wǎng)。ResNet實(shí)現(xiàn)殘差連接，解決反向傳播午安梯度回傳問(wèn)題，且在3*3卷積堆疊、批次正則化等基礎(chǔ)上，網(wǎng)絡(luò)層超過(guò)100層，且訓(xùn)練參數(shù)也有所減少。重復(fù)殘差連接能夠?qū)崿F(xiàn)深度神經(jīng)網(wǎng)絡(luò)[3]。

2.2 長(zhǎng)短時(shí)記憶模型

1） 全連接長(zhǎng)短時(shí)記憶模型。為解決循環(huán)神經(jīng)網(wǎng)絡(luò)中時(shí)間間隔大、無(wú)法連接長(zhǎng)時(shí)間間隔外信息問(wèn)題。由此提出了長(zhǎng)短時(shí)極易模型，其中包含了遺忘門(mén)、輸入門(mén)、輸出門(mén)這三個(gè)門(mén)。其中，遺忘門(mén)包括t時(shí)刻輸入以及t-1時(shí)刻隱含狀態(tài)，其決定了信息需要丟棄多少，影響更新[4]。

2） 卷積長(zhǎng)短時(shí)記憶模型。該模型結(jié)構(gòu)類似于上一模型，其是將部分全連接變?yōu)榫矸e操作，通過(guò)卷積完成學(xué)習(xí)權(quán)重，卷積操作能夠?qū)W習(xí)空間信息，長(zhǎng)短時(shí)記憶模型能夠?qū)崿F(xiàn)時(shí)序建模。在時(shí)序建模時(shí)就已經(jīng)提取了空間特征。

2.3 時(shí)間和時(shí)空注意力機(jī)制

1） 時(shí)間注意力機(jī)制。為識(shí)別行為，在全連接長(zhǎng)短時(shí)記憶模型后設(shè)計(jì)時(shí)間注意力機(jī)制，其能夠針對(duì)模型不同時(shí)刻輸出評(píng)分，進(jìn)而自動(dòng)學(xué)習(xí)視頻幀。該機(jī)制中包括全連接層和SoftMax函數(shù)、∑函數(shù)[5]。訓(xùn)練完成后，價(jià)值視頻幀可得高分，無(wú)價(jià)值視頻幀得分較低，最后，通過(guò)一系列計(jì)算后可得整個(gè)視頻輸出特征。該機(jī)制如圖3所示。

2） 時(shí)空注意力機(jī)制。卷積長(zhǎng)短時(shí)記憶模型基礎(chǔ)上的注意力機(jī)制，其不僅能夠判斷幀，同時(shí)也能夠?qū)W習(xí)關(guān)鍵幀及其周邊區(qū)域。

2.4 聯(lián)合優(yōu)化模型

注意力機(jī)制后可得兩種輸出特征，其代表了一個(gè)行為視頻樣本，內(nèi)部特征較為相似。由此設(shè)計(jì)了聯(lián)合優(yōu)化模塊，可以對(duì)特征向量進(jìn)行訓(xùn)練，并將視頻中的語(yǔ)義、時(shí)間和空間等特征充分挖掘出來(lái)。由LSTM網(wǎng)絡(luò)產(chǎn)生的特征向量的注意模型各不相同，具有明顯特征，且存在內(nèi)在聯(lián)系。同時(shí)，利用同一分類器對(duì)兩個(gè)向量進(jìn)行處理，進(jìn)而得到其內(nèi)在聯(lián)系。通過(guò)兩倍量特征數(shù)據(jù)所得的訓(xùn)練更強(qiáng)，得到的識(shí)別效果也更好。

3人體骨架3D行為識(shí)別

3.1基網(wǎng)絡(luò)

基網(wǎng)絡(luò)包括Block1、Block2和Block3三個(gè)模塊，堆疊完成后，連接均值池化層和全連接層。一個(gè)基本一維卷積層內(nèi)含一個(gè)一維卷積層以及批次歸一化層、修正線性激活單元激活函數(shù)、DropOut操作。如圖4。這種網(wǎng)絡(luò)無(wú)須大量數(shù)據(jù)就能夠?qū)崿F(xiàn)較好的訓(xùn)練質(zhì)量，且結(jié)構(gòu)擴(kuò)展性也比較好，各層間也能夠?qū)崿F(xiàn)任意添加，構(gòu)成所需網(wǎng)絡(luò)模型。

3.2 雙流網(wǎng)絡(luò)

該網(wǎng)絡(luò)中包括基網(wǎng)絡(luò)和SoftMax層。SoftMax層會(huì)產(chǎn)生相應(yīng)類別分?jǐn)?shù)，彼此相互融合?；W(wǎng)絡(luò)用于特區(qū)時(shí)間和空間兩個(gè)維度上的特征。SoftMax層能夠產(chǎn)生相應(yīng)類別概率矩陣，得分可以融合。矩陣中，元素表示網(wǎng)絡(luò)對(duì)表現(xiàn)置信水平，二者成正比。矩陣相應(yīng)元素經(jīng)過(guò)計(jì)算可得新矩陣，其中的元素差異比較大，也就是說(shuō)，彼此置信水平會(huì)有較大差異，在于時(shí)間和空間判別信息結(jié)合后，可以提高網(wǎng)絡(luò)信息判定可靠性，且有著更好的識(shí)別效果[6]。

3.3 肢體分離網(wǎng)絡(luò)

日常生活的大部分行為都需要肢體運(yùn)動(dòng)才能完成，但是其中應(yīng)用的肢體只是一部分，其他的肢體是處于靜止?fàn)顟B(tài)的。這種行為就是微觀行為。基于此，本文設(shè)計(jì)了一種微觀特征提取網(wǎng)絡(luò)。人體包括五部分，在整個(gè)進(jìn)入網(wǎng)絡(luò)前，可以分為五部分，之后分別將其數(shù)據(jù)融合到各自的基網(wǎng)絡(luò)中。根據(jù)數(shù)據(jù)微觀特征，神經(jīng)網(wǎng)絡(luò)可以提取微觀運(yùn)動(dòng)特征。

3.4 注意力網(wǎng)絡(luò)

注意力機(jī)制包括全連接層和SoftMax層。全連接層需要激活函數(shù)，SoftMax層則需要針對(duì)每幀或每個(gè)特征通道評(píng)分，賦予關(guān)鍵幀或特征通道更高分，之后經(jīng)過(guò)計(jì)算構(gòu)成新特征。在基網(wǎng)絡(luò)卷積層和Block上附著注意力機(jī)制。

3.5 幀差網(wǎng)絡(luò)

本文設(shè)計(jì)了幀差網(wǎng)絡(luò)對(duì)行為相對(duì)運(yùn)動(dòng)特征進(jìn)行提取。通過(guò)函數(shù)計(jì)算處理了原始樣本數(shù)據(jù)，可得新相對(duì)位置信息，其能夠?qū)⑿袨檫\(yùn)動(dòng)情況直接表達(dá)出來(lái)，幀差網(wǎng)絡(luò)包括基網(wǎng)絡(luò)和SoftMax層，在該網(wǎng)絡(luò)中，卷積核只能夠在時(shí)間維度進(jìn)行滑動(dòng)。

3.6 訓(xùn)練測(cè)試

訓(xùn)練時(shí)，本文的目標(biāo)焊接就是交叉熵?fù)p失函數(shù)。在子網(wǎng)絡(luò)進(jìn)行獨(dú)立訓(xùn)練時(shí)，其中的SoftMax層可得相應(yīng)的概率矩陣，測(cè)試時(shí)，本身針對(duì)四個(gè)概率矩陣設(shè)計(jì)兩種方法完成融合，這兩種方法分別為相乘和相加這兩種融合。

4 結(jié)束語(yǔ)

計(jì)算機(jī)視覺(jué)技術(shù)迅速發(fā)展使得人們對(duì)于視覺(jué)信息的理解更加深入，計(jì)算機(jī)就是通過(guò)收集人體行為數(shù)據(jù)，理解人體行為，擴(kuò)大了應(yīng)用范圍，提高了應(yīng)用率。深度學(xué)習(xí)就是通過(guò)計(jì)算機(jī)強(qiáng)大的硬件條件及其所收集的大量樣本，使得計(jì)算機(jī)視覺(jué)和語(yǔ)言處理效果提高。

參考文獻(xiàn)：

[1] 齊琦，錢慧芳.基于融合3DCNN神經(jīng)網(wǎng)絡(luò)的行為識(shí)別[J].電子測(cè)量技術(shù)，2019，42（22）：140-144.

[2] 陳勝，朱國(guó)勝，祁小云，等.基于深度神經(jīng)網(wǎng)絡(luò)的自定義用戶異常行為檢測(cè)[J].計(jì)算機(jī)科學(xué)，2019，46（S2）：442-445，472.

[3] 張怡佳，茅耀斌.基于雙流卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)人體行為識(shí)別算法[J].計(jì)算機(jī)測(cè)量與控制，2018，26（8）：266-269，274.

[4] 劉云，張堃，王傳旭.基于雙流卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2019，28（7）：234-239.

[5] 關(guān)百勝，卞春江，馮水春，等.基于神經(jīng)網(wǎng)絡(luò)的交互式異常行為識(shí)別研究[J].電子設(shè)計(jì)工程，2018，26（20）：1-5.

[6] 石英，孫明軍，李之達(dá)，等.基于運(yùn)動(dòng)歷史圖像與卷積神經(jīng)網(wǎng)絡(luò)的行為識(shí)別[J].湘潭大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，41（2）：109-117.

【通聯(lián)編輯：光文玲】