胡 韜

1 深度學(xué)習(xí)在人體行為識別的應(yīng)用現(xiàn)狀

美國、歐洲對人體行為識別已開展了深入的研究，國內(nèi)的研究機(jī)構(gòu)比如中科院、浙江大學(xué)對人體行為識別也積極地開展了研究。人體行為識別中已有各種算法，而把深度學(xué)習(xí)技術(shù)應(yīng)用于人體行為識別于近幾年來才慢慢開展。深度學(xué)習(xí)在人體行為識別中進(jìn)展迅速并且有著不錯的表現(xiàn)，長時遞歸卷積神經(jīng)網(wǎng)絡(luò)、雙數(shù)據(jù)流卷積神經(jīng)網(wǎng)絡(luò)在不同的數(shù)據(jù)集中都能表現(xiàn)良好，并且所用的特征提取方法代替了原先低效、復(fù)雜的人工特征提取。因此，深度學(xué)習(xí)在人體行為識別有著巨大的研究價值和潛力。

2 人體行為識別數(shù)據(jù)集

在人體行為識別中有兩個常用的簡單數(shù)據(jù)集：Weizmann 數(shù)據(jù)集和KTH 數(shù)據(jù)集。這兩個數(shù)據(jù)收集人體行為數(shù)據(jù)，將數(shù)據(jù)分成樣本集和標(biāo)簽集。Weizmann 數(shù)據(jù)集發(fā)布于2005 年，標(biāo)簽集中共包含10 種人體行為，分別為走路、跑步、前跳、跑步、彎腰、揮單手、揮雙手、原位置跳、連續(xù)跳和單腳跳，數(shù)據(jù)集一共90 個視頻，視頻的分辨率為180×44。KTH 數(shù)據(jù)集發(fā)布于2004 年，由25 個實驗員在4 個場景中完成，標(biāo)簽集中共有6 種人體行為，分別為拳擊，拍手，揮手，慢跑和走路，一共包含600 個視頻，視頻的分辨率為160×120。

3 深度學(xué)習(xí)特征提取方法

在深度學(xué)習(xí)特征提取方法之前，大量采用了人工特征提取方法，即人基于自己的經(jīng)驗從視頻中找出所需要的特征。2013 年，iDT 算法逐漸被廣泛接受和使用，其準(zhǔn)確率和效率遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的人工特征提取方法，但其計算過程較復(fù)雜。而深度學(xué)習(xí)的算法在某些方面表現(xiàn)更優(yōu)，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一般由以下3 種結(jié)構(gòu)組成：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)，通過這三種不同的結(jié)構(gòu)可以組合出無數(shù)種神經(jīng)網(wǎng)絡(luò)，適用于不同的特征提取情況。在組合出神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)以后，我們通過已有的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，正向傳播得到預(yù)測值，通過預(yù)測值和真實值之間的差距，反向傳播不斷調(diào)整神經(jīng)網(wǎng)絡(luò)中的參數(shù)，直到參數(shù)達(dá)到最佳值，保存模型和最佳值，用于特征提取。

4 雙通道深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計

4.1 雙通道深度卷積神經(jīng)網(wǎng)絡(luò)行為識別的基本思想

雙通道深度卷積神經(jīng)網(wǎng)絡(luò)模仿人類大腦視覺皮層的信息處理，人類大腦視覺皮層的信息處理有兩個通道：一個通道用于對目標(biāo)物體的感知，另一個通道用于處理物體的動作信息的處理。雙通道深度卷積神經(jīng)網(wǎng)絡(luò)采用了雙通道來獲取視頻信息，空間通道用于獲取物體的靜態(tài)特征，時間通道用于獲取物體的動態(tài)特征，最后綜合空間和時間通道信息來綜合分析和判斷。

4.2 雙通道深度卷積神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)設(shè)計

雙通道深度卷積神經(jīng)網(wǎng)絡(luò)通過兩個通道來獲取信息，空間通道處理視頻中每一幀的圖像信息，時間通道處理光流圖像信息，最后將兩個通道的信息融合來分析最終結(jié)果，如圖1。時間通道處理光流圖像信息基于高精度光流估算算法，該算法有以下假設(shè)：像素值連續(xù)假設(shè)，即視頻中同一像素點在位置發(fā)生變化以后，像素點的值不發(fā)生變化；光滑性假設(shè)：位移場在物體的邊緣處保持連續(xù)。在以上假設(shè)的基礎(chǔ)上，我們可以用能量方程和歐拉-拉格朗日定理對光流圖像信息進(jìn)行提取。在提取水平和豎直方向的光流值后，將光流值存入一張RBG 圖片的三個通道值，得到一張彩色圖片，即實現(xiàn)光流信息的表達(dá)。

圖1

4.3 雙通道深度卷積神經(jīng)網(wǎng)絡(luò)具體設(shè)計

雙通道深度卷積神經(jīng)網(wǎng)絡(luò)空間通道結(jié)構(gòu)基于VGGNet 卷積神經(jīng)網(wǎng)絡(luò)，一共有13 個卷積層和三個全連接層，具體如下：

輸入層的圖像采用224×224 的彩色三通道RGB圖像，并隨即調(diào)整圖像的順序。

第一復(fù)合卷積層共包含兩個卷積層和一個池化層，兩個卷積層的卷積核的大小都為3×3，兩個卷積核的個數(shù)都是64，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。

第二復(fù)合卷積層包含兩個卷積層和一個池化層，兩個卷積層的卷積核的大小都為3×3，兩個卷積核的個數(shù)都是128，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。

第三復(fù)合卷積層包含三個卷積層和一個池化層，三個卷積層的卷積核的大小都為3×3，三個卷積核的個數(shù)都是256，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。

第四復(fù)合卷積層包含三個卷積層和一個池化層，三個卷積層的卷積核的大小都為3×3，三個卷積核的個數(shù)都是512，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。

圖2

第五復(fù)合卷積層包含三個卷積層和一個池化層，三個卷積層的卷積核的大小都為3×3，三個卷積核的個數(shù)都是512，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。

全連接層共包含三個全連接層，第一個全接連層包含4 096 個神經(jīng)元，第二個全連接層也包含4 096 個神經(jīng)元，第三個全連接層的神經(jīng)元個數(shù)根據(jù)識別類別個數(shù)確定。前兩個全連接層都采用dropout 策略，以防止過擬合。

最后一個輸出層采用softmax 分類器，對各個類別的概率進(jìn)行計算。

雙通道深度卷積神經(jīng)網(wǎng)絡(luò)空間通道結(jié)構(gòu)如圖2所示。雙通道深度卷積神經(jīng)網(wǎng)絡(luò)時間通道結(jié)構(gòu)和空間通道的網(wǎng)絡(luò)結(jié)構(gòu)類似，在全連接層的神經(jīng)元個數(shù)有所不同，神經(jīng)元的個數(shù)從4 096 改成1 024?？臻g通道和時間通道的激活函數(shù)都采用Relu 函數(shù)。

雙通道深度卷積神經(jīng)網(wǎng)絡(luò)空間通道和時間通道的層數(shù)都較深，有16 層，但因為卷積核的個數(shù)有限，總共的參數(shù)并不多，因此訓(xùn)練的收斂時間較快。通道中用到連續(xù)卷積層，這樣能夠提高準(zhǔn)確率，突出圖像特征。模型中大量采用了小卷積的網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)不僅能夠加強(qiáng)網(wǎng)絡(luò)的特征提取能力，還能夠大量減少參數(shù)的個數(shù)。

5 結(jié)語

本文從4 個方面闡述了深度學(xué)習(xí)在人體行為識別中的應(yīng)用：深度學(xué)習(xí)在人體行為識別的應(yīng)用現(xiàn)狀、兩大重要的人體行為識別數(shù)據(jù)集、深度學(xué)習(xí)特征提取方法和雙通道深度卷積神經(jīng)網(wǎng)絡(luò)。重點闡述了雙通道深度卷積神經(jīng)網(wǎng)絡(luò)的原理、結(jié)構(gòu)和具體設(shè)計。