莫宏偉，汪海波

人體行為檢測(cè)作為人機(jī)交互的重要技術(shù)始終受到計(jì)算機(jī)視覺(jué)的廣泛關(guān)注。但在現(xiàn)實(shí)環(huán)境中存在的一些繁雜背景、人體被物體遮蓋、人體動(dòng)作千姿百態(tài)等問(wèn)題，使得人體行為檢測(cè)任務(wù)難度較大。

近幾年深度學(xué)習(xí)在圖像檢測(cè)領(lǐng)域獲得長(zhǎng)足發(fā)展，各種網(wǎng)絡(luò)結(jié)構(gòu)層出不窮，但是所用的訓(xùn)練方式都是隨機(jī)梯度下降算法，該算法簡(jiǎn)單高效，但是需要訓(xùn)練者自主設(shè)置超參數(shù)，調(diào)參過(guò)程乏味而耗時(shí)，批量規(guī)范化(batch normalization, BN)[1]算法是針對(duì)該問(wèn)題提出的,作為2016年以來(lái)深度學(xué)習(xí)領(lǐng)域的重要研究結(jié)果，已成為深度學(xué)習(xí)算法的重要組成部分。

R-CNN(regions with CNN features)[2]模型是應(yīng)用于物體檢測(cè)任務(wù)的經(jīng)典算法，該模型的算法思路是首先讀入圖像后為輸入的圖像生成大約2 000個(gè)類別獨(dú)立的候選區(qū)域，之后使用卷積神經(jīng)網(wǎng)絡(luò)從每個(gè)候選區(qū)域中獲取長(zhǎng)度相同的特征向量，然后使用支持向量機(jī)(SVM)[3]對(duì)每一個(gè)候選區(qū)域中的物體進(jìn)行檢測(cè)分類[4]。R-CNN模型采用圖像仿射變形計(jì)算每一個(gè)候選窗口固定大小的卷積神經(jīng)網(wǎng)絡(luò)輸入，不受窗口形狀影響。

在R-CNN基礎(chǔ)上發(fā)展而來(lái)的Fast R-CNN[5]、Faster R-CNN[6]等在物體檢測(cè)方面更為有效。Fast R-CNN模型基于R-CNN模型融合了SPPNet[7]網(wǎng)絡(luò)特點(diǎn)，提高訓(xùn)練和測(cè)試速度，同時(shí)提高了模型檢測(cè)精度。Fast R-CNN模型主要解決了R-CNN和SPPNet 3個(gè)方面的問(wèn)題：測(cè)試速度慢、訓(xùn)練速度慢和訓(xùn)練占用空間大。

傳統(tǒng)目標(biāo)檢測(cè)方法包括有區(qū)域建議方法和基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)的方法，但基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量較大，之后通過(guò)共享卷積大大降低了深度計(jì)算量，F(xiàn)ast R-CNN可以用非常深的網(wǎng)絡(luò)實(shí)現(xiàn)了接近實(shí)時(shí)的檢測(cè)速度，這是在忽略生成區(qū)域建議框的基礎(chǔ)之上實(shí)現(xiàn)的，因此如何降低區(qū)域建議框的生成時(shí)間成為制約卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)領(lǐng)域應(yīng)用的一大瓶頸。Faster R-CNN網(wǎng)絡(luò)通過(guò)RPN網(wǎng)絡(luò)生成區(qū)域建議框，結(jié)合到Fast R-CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，兩者共享卷積層，極大降低了計(jì)算復(fù)雜度。

1 相關(guān)工作

在人體行為檢測(cè)方面，Ji等[8]在研究中將卷積神經(jīng)網(wǎng)絡(luò)拓展到三維形式，設(shè)計(jì)出了3-D卷積神經(jīng)網(wǎng)絡(luò)(3-D convolutional neural networks,3-D CNN)，提出了由3-D卷積操作進(jìn)行視頻信息時(shí)空特性獲取的方法。作者在KTH人體行為數(shù)據(jù)庫(kù)上采用這一方法進(jìn)行了測(cè)試，獲得了90.2%的識(shí)別正確率。

Karpathy等[9]采用Sports-1M數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在框架級(jí)別處理所有視頻，使用近似重復(fù)查找算法確定了具體視頻中包含的重復(fù)幀數(shù)，實(shí)驗(yàn)結(jié)果顯示了盡管存在著小部分標(biāo)簽錯(cuò)誤的干擾，但是網(wǎng)絡(luò)仍然能夠保持著較好的學(xué)習(xí)狀態(tài)。

Sun等[10]采用慢特征分析方法(slow feature analysis,SFA)來(lái)實(shí)現(xiàn)人體行為檢測(cè)任務(wù)。慢特征分析方法可以從輸入的圖像信息中學(xué)習(xí)不變或微弱改變的特征，研究人員將SFA方法與深度學(xué)習(xí)技術(shù)結(jié)合起來(lái)，用以學(xué)習(xí)視頻數(shù)據(jù)本身的層次表示，使用具有3-D卷積和最大池化操作的雙層SFA學(xué)習(xí)結(jié)構(gòu)，將方法擴(kuò)展到大型輸入，并從視頻中捕獲抽象的結(jié)構(gòu)特征，這一方法在Hollywood2，KTH和UCF Sports等體行為數(shù)據(jù)集上的測(cè)試也獲得了很好的檢測(cè)效果。

Donahue等[11]提出了一個(gè)長(zhǎng)期遞歸卷積網(wǎng)絡(luò)模型。結(jié)合深層次的視覺(jué)特征提取器(例如CNN)和模型，可以用于學(xué)習(xí)識(shí)別語(yǔ)言、視覺(jué)信息等任務(wù)，科研人員將這一方法應(yīng)用到人體行為檢測(cè)任務(wù)中，并且在UCF101數(shù)據(jù)集上檢驗(yàn)了模型的準(zhǔn)確性。

Gkioxari等[12]提出了利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人體姿勢(shì)預(yù)測(cè)和人體行為檢測(cè)的方法，在PASCAL VOC數(shù)據(jù)集上對(duì)這一方法進(jìn)行了檢驗(yàn)，并將其與已有的主要方法進(jìn)行了對(duì)比。

Gkioxari等[13]提出了一種根據(jù)圖像中的情境線索來(lái)進(jìn)行人體行為檢測(cè)的方法，并取得了較高的識(shí)別正確率，此外這一方法還可用于屬性分類任務(wù)。Khan等[14]提出了一種語(yǔ)義金字塔的姿態(tài)歸一化方法來(lái)識(shí)別靜態(tài)圖像中的人體行為，并在PASCAL VOC 2010和stanford-40數(shù)據(jù)集上進(jìn)行測(cè)試，取得了較高的識(shí)別精度。

Christoph等[15]提出了一種通用卷積構(gòu)架，這一架構(gòu)基于時(shí)空特征的乘性交互對(duì)視頻中人體行為進(jìn)行檢測(cè)。此架構(gòu)是完全時(shí)空卷積，并能夠在單一的視頻通道進(jìn)行視頻評(píng)估。實(shí)驗(yàn)表明，該模型在兩個(gè)標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)集上均具有較好的效果。

Gkioxari等[16]通過(guò)研究人體部件對(duì)動(dòng)作和屬性分類的重要性，提出了一種基于人體部件，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人體行為檢測(cè)的方法。實(shí)驗(yàn)表明，該方法對(duì)人體動(dòng)作的分類具有較好的效果。

Kar等[17]提出了一種新的視頻幀合并方法，用于人類行為檢測(cè)的任務(wù)。該方法發(fā)現(xiàn)少量的視頻幀有可能包含了足夠的信息，以此為依據(jù)進(jìn)行視頻中的行為分類。并在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上實(shí)驗(yàn)，實(shí)現(xiàn)了較高的識(shí)別效果。

Feichtenhofer等[18]將雙流卷積神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)ResNet進(jìn)行結(jié)合，提出了一種時(shí)空域上的人體行為檢測(cè)方法，該方法依然使用了兩個(gè)流，運(yùn)動(dòng)流和外觀流，運(yùn)動(dòng)流接收的輸入依然是堆疊的多幀光流灰度圖片。該方法刷新了HMDB51數(shù)據(jù)庫(kù)和UCF101數(shù)據(jù)庫(kù)行為檢測(cè)的精度。

Herath等[19]對(duì)過(guò)去10年的人體行為檢測(cè)從傳統(tǒng)方法到深度學(xué)習(xí)的方法進(jìn)行了系統(tǒng)的綜述，籌集了新的問(wèn)題，對(duì)人體行為檢測(cè)的進(jìn)一步研究指明了方向。

中國(guó)科學(xué)技術(shù)大學(xué)鄧?yán)貉芯繄F(tuán)隊(duì)[20]提出了一種以動(dòng)作檢索表為主要依據(jù)的識(shí)別方法，該方法提出了將動(dòng)作信息分割成5個(gè)片段，然后針對(duì)各片段執(zhí)行聚類操作和映射操作等，每種動(dòng)作的檢測(cè)任務(wù)都需要經(jīng)過(guò)全局檢索對(duì)比和類型匹配等操作來(lái)完成。申曉霞等[21]提出了基于深度圖和RGB圖像的行為描述算法,并將其應(yīng)用到了人體行為檢測(cè)領(lǐng)域；王忠民等[22]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人體行為檢測(cè)中，在應(yīng)用中將經(jīng)過(guò)簡(jiǎn)單處理的原始數(shù)據(jù)直接作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，然后由卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征獲取，再將得到的特征交由分類器執(zhí)行分類操作，該方法對(duì)測(cè)試人員的行為識(shí)別正確率達(dá)到了84.8%，驗(yàn)證了算法的有效性；遲元峰等[23]通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究分析，提出了一種新的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于檢測(cè)視頻中的人體行為，實(shí)驗(yàn)結(jié)果表現(xiàn)出了該方法應(yīng)用在人體行為檢測(cè)方面所取得的良好效果；朱煜等[24]對(duì)近年來(lái)人體行為檢測(cè)方法出現(xiàn)的新進(jìn)展進(jìn)行了分析總結(jié)和算法綜述。

2 改進(jìn)Faster R-CNN算法

BN層的基本思想很直觀：BN就是通過(guò)一定的規(guī)范化手段，把每層神經(jīng)網(wǎng)絡(luò)任意神經(jīng)元輸入值的分布強(qiáng)行拉回到均值為0，方差為1的標(biāo)準(zhǔn)正態(tài)分布，這樣可以大大加快訓(xùn)練速度，同時(shí)避免了因參數(shù)變化而導(dǎo)致的梯度消失的問(wèn)題。

如果說(shuō)批量規(guī)范化算法是在網(wǎng)絡(luò)的結(jié)構(gòu)上對(duì)算法進(jìn)行優(yōu)化，那么在線難例挖掘(online-hard-example-mining,OHEM)[25]算法則關(guān)注如何利用現(xiàn)有的樣本對(duì)網(wǎng)絡(luò)進(jìn)行更有效的訓(xùn)練。

在Fast R-CNN算法中提出的mini-batch用來(lái)進(jìn)行隨機(jī)梯度下降時(shí)并不具有高效和最優(yōu)的狀態(tài)，而OHEM算法可以取得更低的訓(xùn)練損失和更高的平均類別和位置精度(mAP)。最初的OHEM算法與Fast R-CNN進(jìn)行結(jié)合使檢測(cè)算法得到了一定程度的提升，所以在理論上將OHEM算法與Faster R-CNN算法進(jìn)行結(jié)合，可以進(jìn)一步提高Faster R-CNN的檢測(cè)效果。

簡(jiǎn)單來(lái)說(shuō)，OHEM算法就是從RoI中選擇難例，而不是簡(jiǎn)單的采用。難例挖掘一般需要迭代地進(jìn)行模型的訓(xùn)練和用模型尋找難例，這些難例無(wú)非就是那些分錯(cuò)了并且置信度還很高的樣本，這要是放在網(wǎng)絡(luò)里面，這個(gè)樣本對(duì)應(yīng)的訓(xùn)練損失就應(yīng)該很大，因此一個(gè)基本思路是利用網(wǎng)絡(luò)訓(xùn)練損失找到這些難例，具體方法如下：

1)對(duì)于一張輸入圖像，首先利用卷積網(wǎng)絡(luò)計(jì)算出特征圖。

2)RoI網(wǎng)絡(luò)利用1)中計(jì)算好的特征圖和RPN網(wǎng)絡(luò)得到的RoI進(jìn)行一次前向傳播，最后的loss表示RoI網(wǎng)絡(luò)對(duì)這個(gè)RoI檢測(cè)的好壞程度，將每一個(gè)RoI對(duì)應(yīng)的loss進(jìn)行排序，取前面B/N個(gè)RoI進(jìn)行反向傳播。

3)因?yàn)樵谕粡垐D中的RoI很多之間相互重疊，如果一個(gè)RoI是難例，那么和它重疊較大的RoI很大程度上也是難例，這樣在反向傳播的時(shí)候就進(jìn)行了一次重復(fù)的梯度計(jì)算。為了避免這種情況，首先根據(jù)損失大小進(jìn)行排序，然后進(jìn)行非極大值抑制，最后再選擇B/N個(gè)RoI進(jìn)行反向傳播，實(shí)驗(yàn)中，非極大值抑制的閾值選取0.7。

4)提出的在線難例挖掘算法主要是通過(guò)兩個(gè)RoI網(wǎng)絡(luò)實(shí)現(xiàn)的：只讀RoI網(wǎng)絡(luò)(圖1上部分所示)和標(biāo)準(zhǔn)RoI網(wǎng)絡(luò)(圖1下部分所示)，只讀的RoI網(wǎng)絡(luò)進(jìn)行前向傳播并計(jì)算出所有的RoI的損失；之后標(biāo)準(zhǔn)RoI樣本挖掘模塊進(jìn)行樣本挖掘，得到困難樣本并輸入到只讀RoI網(wǎng)絡(luò)中，網(wǎng)絡(luò)只讀困難樣本進(jìn)行前向和后向傳播，計(jì)算梯度并傳播到卷積神經(jīng)網(wǎng)絡(luò)。

圖1 Faster_RCNN_OHEM算法原理圖Fig. 1 Faster R_CNN_OHEM algorithm schematic

在改進(jìn)算法中，首先使用更深的預(yù)訓(xùn)練模型ResNet進(jìn)行參數(shù)初始化和特征提取。其次使用BN算法對(duì)輸入樣本和隱藏層中的每個(gè)輸入都進(jìn)行批量規(guī)范化處理，以允許網(wǎng)絡(luò)使用較大的學(xué)習(xí)速率進(jìn)行訓(xùn)練，加快網(wǎng)絡(luò)的訓(xùn)練速度，具體做法如圖2所示。最后使用OHEM算法選擇難例進(jìn)行前向和后向傳播，計(jì)算梯度并傳播到卷積神經(jīng)網(wǎng)絡(luò)，以獲得更低的訓(xùn)練損失和更高的類別和位置精度。改進(jìn)算法的整體流程見(jiàn)圖2。

圖2 批量規(guī)范化處理Fig. 2 Batch normalization

3 實(shí)驗(yàn)過(guò)程

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)數(shù)據(jù)是從VOC 2012 Action選取包括8個(gè)目標(biāo)類別的人體行為數(shù)據(jù)集，3 347張標(biāo)記圖像，每類動(dòng)作大約400張。在數(shù)據(jù)集中，訓(xùn)練驗(yàn)證集大約占整個(gè)數(shù)據(jù)集的50%，測(cè)試集大約占整個(gè)數(shù)據(jù)集的50%，訓(xùn)練集大約是訓(xùn)練驗(yàn)證集的50%，驗(yàn)證集大約占訓(xùn)練驗(yàn)證集的50%。算法利用caffe開源框架，在Ubuntu14.04系統(tǒng)下實(shí)現(xiàn)，所用的計(jì)算機(jī)配置是，顯卡為GeForce GTX1080Ti，內(nèi)存11 GB。

3.2 參數(shù)選擇

使用變學(xué)習(xí)率策略訓(xùn)練改進(jìn)的Faster R-CNN算法模型，初始學(xué)習(xí)率Base_lr為：0.001，批大小Batchs為128，訓(xùn)練步數(shù)Stepsize為6 000，變學(xué)習(xí)率參數(shù)gamma為0.1。采用了變學(xué)習(xí)率策略公式：

式中iter為當(dāng)前的迭代次數(shù)。

合硬件條件和學(xué)習(xí)效率之后，在用Fast R-CNN進(jìn)行人體行為檢測(cè)時(shí)選擇Batch_size為128。

3.3 模型訓(xùn)練

Faster R-CNN模型訓(xùn)練階段使用訓(xùn)練好的ResNet模型參數(shù)對(duì)RPN模型進(jìn)行初始化，然后獨(dú)立地對(duì)RPN模型進(jìn)行訓(xùn)練，之后依舊采用在ImageNet上訓(xùn)練好的ResNet模型參數(shù)對(duì)Fast R-CNN模型參數(shù)進(jìn)行初始化，可以看出RPN網(wǎng)絡(luò)與Fast R-CNN模型的訓(xùn)練是單獨(dú)進(jìn)行的，兩個(gè)網(wǎng)絡(luò)不進(jìn)行參數(shù)共享，將上一步中RPN模型生成的建議窗口作為輸入樣本對(duì)Fast R-CNN模型進(jìn)行訓(xùn)練，再使用訓(xùn)練后的Fast R-CNN模型參數(shù)對(duì)RPN模型再次初始化，但不更新RPN與Fast R-CNN共享的卷積層參數(shù)，僅對(duì)RPN網(wǎng)絡(luò)特有層參數(shù)進(jìn)行更新，再進(jìn)行訓(xùn)練，此時(shí)已實(shí)現(xiàn)了兩個(gè)共享，之后再對(duì)Fast R-CNN模型進(jìn)行訓(xùn)練，如此交替進(jìn)行訓(xùn)練。

在訓(xùn)練之前首先修改文件中的相關(guān)的參數(shù)，將類型換成人體行為數(shù)據(jù)集中的標(biāo)簽。將相應(yīng)輸出的類別數(shù)改為類別數(shù)加一(類別加上背景)。

4 實(shí)驗(yàn)結(jié)果與對(duì)比分析

測(cè)試的結(jié)果見(jiàn)表1。表2為ZF+RPN、VGG+RPN實(shí)驗(yàn)結(jié)果和改進(jìn)算法的實(shí)驗(yàn)結(jié)果。

表 1 改進(jìn)Faster R-CNN算法檢測(cè)各類別的AP值Table 1 AP of actions of improved Faster R-CN

表 2 ZF和VGG16的mAPTable 2 mAP for ZF and VGG16

圖3為ZF+RPN、VGG+RPN和改進(jìn)算法識(shí)別：8個(gè)類別的平均精度(AP)柱狀圖。

圖3 3種方法的AP比較Fig. 3 AP comparison of three methods

在測(cè)試數(shù)據(jù)中隨機(jī)選取了12張人體行為圖片進(jìn)行抽樣測(cè)試，測(cè)試的結(jié)果分別展現(xiàn)在圖4～5中。圖4表示未改進(jìn)算法的測(cè)試結(jié)果，從左至右從上至下的人體行為分別為騎馬(1.000)、用電腦(0.954)、玩樂(lè)器 (0.981)、打電話 (0.994)、閱讀 (0.997)、騎車 (0.996)、閱讀 (1.000)、玩樂(lè)器 (1.000)、跳(0.897)、閱讀 (未檢測(cè)出)、拍照 (未檢測(cè)出)和騎車(未檢測(cè)出)，其中括號(hào)中為檢測(cè)的位置精確度。圖5表示改進(jìn)算法的測(cè)試效果，從左至右從上至下的人體行為分別為騎馬(1.000)、用電腦(1.000)、玩樂(lè)器 (1.000)、打電話 (1.000)、閱讀(0.999)、騎車 (0.996)、閱讀 (1.000)、玩樂(lè)器 (1.000)、跳 (0.999)、閱讀 (0.987)、拍照 (0.934)和騎車(0.926)，其中括號(hào)中為檢測(cè)的位置精確度。對(duì)比隨機(jī)選取的測(cè)試數(shù)據(jù)，圖4中最后3個(gè)動(dòng)作分別為閱讀、拍照和騎車，使用VGGNet時(shí)算法并未檢測(cè)出圖中的動(dòng)作。在圖5中同樣的圖片、同樣的行為，改進(jìn)算法對(duì)3種動(dòng)作均作出了精確的識(shí)別，并且圖片中的動(dòng)作均比原始算法的識(shí)別精確度要高。相比兩種算法，改進(jìn)的算法不僅能準(zhǔn)確地識(shí)別出抽樣測(cè)試圖像中所有的人體行為，并且在精度上有所提升。

圖4 原始算法檢測(cè)結(jié)果Fig. 4 The original algorithm detection results.

結(jié)合表2和圖5的實(shí)驗(yàn)結(jié)果以及隨機(jī)抽樣測(cè)試的結(jié)果可知，在8種不同的人體行為中，改進(jìn)的Faster R-CNN算法對(duì)玩電腦、騎馬和騎車這3種動(dòng)作的識(shí)別效果較好，雖然閱讀和玩樂(lè)器這兩種動(dòng)作的識(shí)別效果相比于其他動(dòng)作效果略差，但是相對(duì)于原始算法識(shí)別類別和位置的精度都有著較為明顯的改善。并且對(duì)于這8種動(dòng)作，改進(jìn)Faster R-CNN算法識(shí)別效果有著顯著提升，平均分類效果和位置精確度均達(dá)到80%以上，證明改進(jìn)算法對(duì)人體行為檢測(cè)任務(wù)的有效性。

圖5 改進(jìn)算法檢測(cè)結(jié)果Fig. 5 The improved algorithm detection results

5 結(jié)束語(yǔ)

Faster R-CNN算法在物體檢測(cè)方面有著較好的識(shí)別效果，本文針對(duì)人體行為檢測(cè)關(guān)鍵問(wèn)題將OHEM算法和批量規(guī)范化算法與Faster R-CNN算法進(jìn)行結(jié)合改進(jìn)。在改進(jìn)算法中，利用OHEM算法的優(yōu)勢(shì)可以有效地識(shí)別出靜態(tài)圖像中存在的小樣本難例，對(duì)于人體行為識(shí)別整體的識(shí)別正確率都有所改善。今后將在通過(guò)搜集更多測(cè)試樣本，增加類別，來(lái)測(cè)試所提出方法的有效性。