姜　楓， 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 山西 太原 030006)

?

基于隨機(jī)Dropout卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法研究

姜楓， 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 山西 太原 030006)

摘要:為進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練樣本較少時(shí)的泛化能力， 使其能更好地應(yīng)用于視頻中人體行為的識(shí)別問題， 本文將隨機(jī)Dropout應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)模型的分類器階段. 該方法可以在網(wǎng)絡(luò)訓(xùn)練過程中隨機(jī)選擇“凍結(jié)”一定比例神經(jīng)元， 使每次網(wǎng)絡(luò)更新時(shí)神經(jīng)元的連接次序發(fā)生變化， 由此網(wǎng)絡(luò)權(quán)值的更新不再依賴于有固定關(guān)系隱含節(jié)點(diǎn)的共同作用. 在Weizmann數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)， 將加入隨機(jī)Dropout的卷積神經(jīng)網(wǎng)絡(luò)與未加入的進(jìn)行比較， 發(fā)現(xiàn)加入隨機(jī)Dropout的網(wǎng)絡(luò)在各類行為識(shí)別上均取得了較高的識(shí)別率， 可以有效防止過擬合.

關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)； 人體行為識(shí)別； 深度學(xué)習(xí)； Dropout

0引言

智能視頻分析技術(shù)是被安防監(jiān)控行業(yè)密切關(guān)注的圖像處理技術(shù). 人體行為識(shí)別技術(shù)作為該領(lǐng)域中必不可少的一部分， 也成為了新的研究熱點(diǎn). 目前主流的人體行為識(shí)別方法主要分為兩類. 一類是全局特征方法， 該方法主要針對(duì)識(shí)別對(duì)象的表觀特征、 運(yùn)動(dòng)特征、 混合特征、 姿態(tài)特征等， 如梯度直方圖， 光流Optical Flow[1]， HOG[2]等； 另一類是局部特征方法， 該方法通過定義某種顯著性函數(shù)， 在顯著性最大位置進(jìn)行特征提取， 得到局部特征描述子， 如3D SIFT[3]等. 傳統(tǒng)的人體行為識(shí)別方法大多針對(duì)人工設(shè)計(jì)的特征進(jìn)行提取， 而這種人工選擇的特征有時(shí)較難選擇出動(dòng)作的本質(zhì)特征， 對(duì)識(shí)別結(jié)果影響較大.

深度學(xué)習(xí)[4]是一種模擬人腦認(rèn)知過程的多層次模型結(jié)構(gòu)， 它通過建立特征的層次結(jié)構(gòu)來(lái)獲得更有效的特征， 典型的深度學(xué)習(xí)結(jié)構(gòu)有卷積神經(jīng)網(wǎng)絡(luò)[5](Convolutional Neural Network， 簡(jiǎn)稱CNN)、 自動(dòng)編碼器[6](Auto Encoder)、 受限玻爾茲曼機(jī)[7](RBM)等. 本文采用卷積神經(jīng)網(wǎng)絡(luò)， 避免了對(duì)圖像進(jìn)行復(fù)雜的前期預(yù)處理， 可以直接輸入原始圖像， 從而成為近幾年的研究熱點(diǎn). 此外， 卷積神經(jīng)網(wǎng)絡(luò)還有良好的容錯(cuò)能力， 自適應(yīng)能力強(qiáng)， 對(duì)特定的姿態(tài)、 光照、 遮擋、 位移、 縮放及其他形式扭曲都具有良好的魯棒性.

卷積神經(jīng)網(wǎng)絡(luò)模型在早期訓(xùn)練階段受樣本庫(kù)影響較大， 而樣本庫(kù)的數(shù)量和質(zhì)量直接影響到網(wǎng)絡(luò)權(quán)值參數(shù)的調(diào)整. 因此在樣本數(shù)量有限的情況下， 有必要防止模型過擬合現(xiàn)象. Dropout可以在網(wǎng)絡(luò)訓(xùn)練階段隨機(jī)選擇部分神經(jīng)元并將其輸出限定為0， 從而更改網(wǎng)絡(luò)連接結(jié)構(gòu)， 提高網(wǎng)絡(luò)的泛化能力. 因此本文采用卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)Dropout結(jié)合的方法對(duì)人體行為進(jìn)行識(shí)別.

1卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)最早由K.Fukushima在1980年提出[8]， 神經(jīng)認(rèn)知機(jī)是應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的第一個(gè)網(wǎng)絡(luò). 之后， LeCun等[5]對(duì)網(wǎng)絡(luò)算法結(jié)構(gòu)等進(jìn)行了大規(guī)模改進(jìn)， 提出了第一個(gè)成功投入商用的手寫數(shù)字識(shí)別模型——LeNet-5. 以其為代表的LeNet系列網(wǎng)絡(luò)模型在被應(yīng)用到其他各類不同的圖像識(shí)別任務(wù)中時(shí)， 也有著不錯(cuò)的表現(xiàn)， 被認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)的代表模型之一.

卷積神經(jīng)網(wǎng)絡(luò)主要由特征提取和分類器兩部分組成， 其中特征提取部分由多個(gè)卷積層和子采樣層交疊組成， 分類器部分則一般使用一層或兩層的全連接神經(jīng)網(wǎng)絡(luò). 卷積神經(jīng)網(wǎng)絡(luò)的3個(gè)重要特征[9]為： 局域感受野、 權(quán)值共享和子采樣， 在這種特殊的網(wǎng)絡(luò)結(jié)構(gòu)中得以體現(xiàn).

1.1基本CNN網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)典的LeNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)如圖 1 所示. 以該卷積神經(jīng)網(wǎng)絡(luò)模型為例， 整個(gè)模型除輸入輸出層外共有6層， 其中前4層為特征提取部分， 后兩層為分類器部分.

圖 1　LeNet-5網(wǎng)絡(luò)框架Fig.1　LeNet-5 convolutiona neural network model

在特征提取部分， 原尺寸為32×32的輸入圖像經(jīng)過6個(gè)卷積核卷積， 運(yùn)算過程如式(1)

(1)

式中：i為圖像上對(duì)應(yīng)一點(diǎn)取值;l代表當(dāng)前層數(shù);k是卷積核;j為特征圖編號(hào);Mj代表輸出特征圖所對(duì)應(yīng)的當(dāng)前輸入圖像， 每個(gè)輸出圖都有一個(gè)偏置b. 圖像在經(jīng)過卷積后， 加上一個(gè)偏置通過激活函數(shù)， 輸出生成了6個(gè)尺寸為28×28的特征圖， 組成第一卷積層， 簡(jiǎn)稱C1；C1層的6個(gè)特征圖經(jīng)過一個(gè)2×2的子采樣生成6個(gè)14×14的特征圖， 運(yùn)算過程如式(2)

(2)

式中：x為子采樣的一個(gè)局部子塊;xi為該子塊所屬的全部神經(jīng)元. 子采樣時(shí)對(duì)所有xi累加求和， 再乘以采樣系數(shù)0.25， 加上偏置后通過激活函數(shù)， 輸出生成第一采樣層， 簡(jiǎn)稱S1； 重復(fù)以上過程， 同樣可以生成第二卷積層， 簡(jiǎn)稱C2， 第二采樣層簡(jiǎn)稱S2； 至此， 特征提取階段完成.

分類器的第一層是與上一層所有特征圖全連接的卷積層， 簡(jiǎn)稱C5； 第二層則退化為經(jīng)典神經(jīng)網(wǎng)絡(luò)， 簡(jiǎn)稱F6. F6層通過計(jì)算輸入向量和權(quán)值向量之間的點(diǎn)積， 再加上一個(gè)偏置， 然后通過激活函數(shù)最終產(chǎn)生輸出層單元的一個(gè)狀態(tài)， 決定神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果.

1.2改進(jìn)的隨機(jī)Dropout CNN網(wǎng)絡(luò)

1.2.1基本Dropout方法

作為有效提高神經(jīng)網(wǎng)絡(luò)泛化能力的學(xué)習(xí)方法之一[10]， Dropout在網(wǎng)絡(luò)訓(xùn)練過程中隨機(jī)選擇一部分神經(jīng)元并將其之前取值保留， 同時(shí)將當(dāng)前輸出設(shè)定為0， 而這些被選擇的神經(jīng)元在下次訓(xùn)練過程中又會(huì)恢復(fù)之前保留的取值， 再次隨機(jī)選擇部分神經(jīng)元重復(fù)此過程， 這樣可以避免每?jī)蓚€(gè)神經(jīng)元同時(shí)產(chǎn)生作用， 從而使權(quán)值的更新不再依賴于有固定關(guān)系隱含節(jié)點(diǎn)的共同作用， 使網(wǎng)絡(luò)結(jié)構(gòu)在每次訓(xùn)練過程中都發(fā)生變化， 防止了某些特征僅僅在其他特定特征下才有效的情況， Dropout通常設(shè)定隨機(jī)50%的神經(jīng)元輸出為零. 這一結(jié)構(gòu)的設(shè)計(jì)避免了網(wǎng)絡(luò)對(duì)某一局部特征的過擬合.

圖 2　加入隨機(jī)Dropout的全連接層神經(jīng)元連接示例圖Fig.2　Illustration of full-connected neuronadded with random dropout

1.2.2隨機(jī)Dropout方法

基本Dropout方法中， 設(shè)定輸出為0的神經(jīng)元比例在每次網(wǎng)絡(luò)更新時(shí)是恒定的， 并在構(gòu)建網(wǎng)絡(luò)模型時(shí)進(jìn)行定義. 本文使用的隨機(jī)Dropout的方法， 是將設(shè)定輸出為0的神經(jīng)元比例在每次網(wǎng)絡(luò)更新時(shí)都進(jìn)行隨機(jī)變化. 圖 2 是加入隨機(jī)Dropout的全連接層神經(jīng)元連接示意圖， 包含分類器階段的兩層神經(jīng)元和輸出層的神經(jīng)元. 當(dāng)模型第一次訓(xùn)練時(shí)， 在兩個(gè)全連接層中分別隨機(jī)有40%和60%的神經(jīng)被“凍結(jié)”， 但是當(dāng)模型第二次訓(xùn)練時(shí)， 網(wǎng)絡(luò)可能會(huì)隨機(jī)“凍結(jié)”30%和50%的神經(jīng)元， 第三次或?yàn)?0%和40%， 依次隨機(jī)變化下去， 也就是說(shuō)每次訓(xùn)練“凍結(jié)”神經(jīng)元的比例會(huì)發(fā)生變化， 變化范圍人工設(shè)置為30%～70%， 從而使網(wǎng)絡(luò)神經(jīng)元連接次序更多樣化， 進(jìn)一步提高了網(wǎng)絡(luò)模型的泛化能力.

2實(shí)驗(yàn)及結(jié)果分析

在Matlab2012b平臺(tái)下， 將本文中的卷積神經(jīng)網(wǎng)絡(luò)模型運(yùn)用到Weizmann數(shù)據(jù)集中. Weizmann數(shù)據(jù)集共包含9類行為[11]， 分別為跑(Run)、 走(Walk)、 彎腰(Bend)、 開合跳(Jack)、 跳步前進(jìn)(Jump)、 原地起跳(Pjump)、 側(cè)步移動(dòng)(Side)、 單手揮動(dòng)(Wave1)、 雙手揮動(dòng)(Wave2)； 每種行為包含9段視頻， 由9個(gè)不同的人在相同背景前執(zhí)行.

2.1實(shí)驗(yàn)方法

實(shí)驗(yàn)采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下， 輸入層輸入尺寸為28×28的PNG格式灰度圖像， 圖像由原視頻圖像進(jìn)行雙線性差值處理產(chǎn)生. 卷積核尺寸為5×5， 子采樣系數(shù)為0.25， 采用批量隨機(jī)梯度下降法(SGD)迭代200次， 每輸入50個(gè)樣本批量處理一次誤差反向傳播， 進(jìn)行權(quán)值調(diào)整. 網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為0.1， 下采樣層采用maxpooling采樣[12]. 激活函數(shù)使用ReLU(Rectified Linear Units)函數(shù)， 該函數(shù)與Sigmoid函數(shù)相比， 可以增加網(wǎng)絡(luò)的稀疏性， 大幅度減少計(jì)算量并緩解過擬合現(xiàn)象的發(fā)生[13]. 實(shí)驗(yàn)采用留一交叉驗(yàn)證.

實(shí)驗(yàn)采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖 3 所示. 特征提取階段為4層， 依次為C1-S1-C2-S2， 對(duì)應(yīng)特征圖個(gè)數(shù)為6-6-12-12， 與后期加入隨機(jī)Dropout的兩層全連接層相連， 最終將分類結(jié)果從輸出層輸出.

圖 3　本文使用的卷積神經(jīng)網(wǎng)絡(luò)框架Fig.3　The network model of convolutional neural networks used in this paper

2.2實(shí)驗(yàn)結(jié)果及分析

2.2.1網(wǎng)絡(luò)模型的特征可視化

圖 4 是實(shí)驗(yàn)所用卷積神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練過程中各層所得的特征圖， 以一張開合跳的樣本為例， 可以清楚的看到網(wǎng)絡(luò)中每層特征圖個(gè)數(shù)、 尺寸的變化、 特征從低層到高層依次提取的過程以及最終將特征輸入分類器得到的分類輸出. 這種特征提取并非由人工定義引導(dǎo)， 而是由網(wǎng)絡(luò)完全根據(jù)樣本自發(fā)實(shí)現(xiàn)， 這樣提取到的特征更加貼合本實(shí)驗(yàn)人體行為識(shí)別的特點(diǎn).

圖 4　網(wǎng)絡(luò)訓(xùn)練過程中各層所得特征圖Fig.4　The feature maps of each layer in the network training

2.2.2各類人體行為識(shí)別的混淆矩陣

圖 5 是實(shí)驗(yàn)所得各類行為識(shí)別正確率的混淆矩陣. 矩陣中對(duì)角線位置顏色較深方塊中的數(shù)據(jù)為Y軸對(duì)應(yīng)類行為的識(shí)別正確率， 其他淡色方塊中的數(shù)據(jù)為Y軸對(duì)應(yīng)類行為被誤分為X軸對(duì)應(yīng)類行為的錯(cuò)誤率. 本實(shí)驗(yàn)所要識(shí)別的9種人體行為中， 有3種行為識(shí)別誤差略大， 分別為走(Walk)、 側(cè)步移動(dòng)(Side)、 跳步前進(jìn)(Jump)， 這一結(jié)果與這3種行為在客觀上有一定相似性關(guān)系， 其它6種行為識(shí)別正確率較高. 綜合來(lái)看， 使用該方法的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人體行為識(shí)別時(shí)可以達(dá)到一個(gè)比較滿意的結(jié)果.

圖 5　各類行為識(shí)別正確率的混淆矩陣Fig.5　The confusion matrix of action recognition accuracy rate

2.2.3加入隨機(jī)Dropout前后卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率對(duì)比

圖 6， 圖 7 分別為卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程與檢測(cè)過程中的識(shí)別錯(cuò)誤率. 在訓(xùn)練過程中， 訓(xùn)練200次后， 將加入隨機(jī)Dropout的網(wǎng)絡(luò)與未加入該方法的網(wǎng)絡(luò)相比， 前者訓(xùn)練時(shí)的識(shí)別錯(cuò)誤率略低， 但兩者相差不大. 在檢測(cè)過程中， 加入隨機(jī)Dropout的網(wǎng)絡(luò)錯(cuò)誤率明顯低于未加入該方法的網(wǎng)絡(luò)， 說(shuō)明使用該方法的卷積神經(jīng)網(wǎng)絡(luò)具有一定的泛化能力， 可以防止過擬合.

圖 6　網(wǎng)絡(luò)訓(xùn)練過程中的識(shí)別錯(cuò)誤率Fig.6　The recognition error rate in network training process

圖 7　網(wǎng)絡(luò)檢測(cè)過程中的識(shí)別錯(cuò)誤率Fig.7　The recognition error rate in network testing process

3結(jié)束語(yǔ)

本文基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻中的人體行為識(shí)別， 并在分類器階段加入隨機(jī)Dropout， 在Weizmann數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果表明：加入隨機(jī)Dropout的卷積神經(jīng)網(wǎng)絡(luò)模型的人體行為識(shí)別率高于原卷積神經(jīng)網(wǎng)絡(luò)識(shí)別率， 該方法可以提高網(wǎng)絡(luò)的泛化能力， 有效防止過擬合.

參考文獻(xiàn)：

[1]Polana R, Nelson R C. Detection and recognition of periodic, nonrigid motion[J]. International Journal of Computer Vision(IJCV), 1997, 23(3): 261-282.

[2]Laptev I, Marszalek M. Learning realistic human actions from movies[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR’08), 2008: 1-8.

[3]Scovanner P, Ali S, Shah M. A 3-dimensional SIFT descriptor and its application to action recognition[C]. Proceedings of the International Conference on Multimedia (MultiMedia’07). Augsburg, Germany, 2007: 357-360.

[4]劉建偉， 劉媛， 羅雄麟. 深度學(xué)習(xí)研究進(jìn)展[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(7): 1921-1942.

Liu Jianwei， Liu Yuan， Luo Xionglin. Research and development on deep learning[J]. Application Research of Computers, 2014, 31(7): 1921-1942. (in Chinese)

[5]LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551.

[6]Bengio Y， Lamblin P， Popovici D， et al． Greedy layer-wise training of deep networks[C]. Advances in Neural Information Processing Systems． Cambridge: MIT Press， 2007: 153-160.

[7]Hinton G E. A practical guide to training restricted Boltzmann machines[M]. Neural Networks: Tricks of the Trade． Berlin: Springer-Verlag， 2013: 599-619．

[8]Fukushima K. Neocognitron: A hierarchical neural network capable of visual pattern Recognition[J]. Neural networks, 1988, 1(2): 119-130.

[9]呂剛， 郝平， 盛建榮. 一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)在小圖像分類中的應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2014, 31(4): 182-184.

Lv Gang, Hao Ping, Sheng Jianrong. On applying an improved deep neural networks in tiny image classification[J]. Computer Applications and Software, 2014, 31(4): 182-184．(in Chinese)

[10]LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[11]龔丁禧. 稀疏自組合時(shí)空卷積神經(jīng)網(wǎng)絡(luò)動(dòng)作識(shí)別方法及其并行化[D]. 廈門: 廈門大學(xué), 2014.

[12]Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convolutional neural networks for human action recognition[J]. Pattern Analysis and Machine Intelligence. IEEE Transactions on, 2013, 35(1): 221-232.

[13]Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[J]. Aistats, 2011(15): 315-323.

Research of Human Action Recognition Method Based on Random Dropout Convolutional Neural Network

JIANG Feng， ZHANG Lihong

(College of Physics and Electronic Engineering， Shanxi University， Taiyuan 030006， China)

Abstract:In order to improve the generalization ability of convolutional neural network trained on a small sample set and make it better applied to human action recognition in video, this paper presents a random dropout method for the classifier stage in network model. This method can “freeze” a certain percentage of neurons randomly in the convolutional neural network training process. When the weights are updated, the order of the neurons is changed. So the updating of weights will not rely on the combined action of hidden units with fixed connection. The convolutional neural network based on random dropout is applied to the Weizmann database to test .The experimental results show a higher recognition rate with this method than that of no-modified network .The mothed improves the generalization ability and reduces overfitting greatly.

Key words:convolutional neural networks; human action recognition; deep learning; Dropout

中圖分類號(hào):TP183

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3969/j.issn.1671-7449.2016.01.004

作者簡(jiǎn)介：姜楓(1991-)， 女， 碩士生， 主要從事模式識(shí)別、 深度學(xué)習(xí)的研究.

基金項(xiàng)目：山西省科技攻關(guān)計(jì)劃(工業(yè))資助項(xiàng)目(2015031003-1)

收稿日期:2015-11-01

文章編號(hào):1671-7449(2016)01-0017-06