吳志攀，鄭中韋

(1.惠州學(xué)院 信息科學(xué)技術(shù)學(xué)院，廣東 惠州 516007；2.廣東工業(yè)大學(xué) 計算機(jī)學(xué)院，廣東 廣州 510006)

0 引 言

不同應(yīng)用領(lǐng)域?qū)τ谌梭w動作識別的要求存在差異[1,2]，例如：機(jī)器人需要識別用戶的動作作為指令，而此類動作一般為小幅度的手勢動作[3]；視頻網(wǎng)站需要識別人體的不同動作與行為，從而有效地將視頻進(jìn)行分類，便于視頻的管理，而此類視頻一般分辨率較低，并且數(shù)據(jù)量極大[4]。在未來的應(yīng)用場景中，需要動作識別技術(shù)既具有識別小幅度動作的能力，并且能夠高效地處理大規(guī)模數(shù)據(jù)集，然而，目前的諸多動作識別技術(shù)均無法同時滿足上述兩個要求，這為動作識別技術(shù)的實用性帶來了不利的影響。

根據(jù)目前的研究成果，可看出基于多特征融合的人體動作識別算法優(yōu)于單一特征的算法，因此多特征融合的動作識別算法成為了當(dāng)前的主流。文獻(xiàn)[5]設(shè)計了基于深度圖像的動作識別方法，該算法對深度圖像在3個投影面系中進(jìn)行投影，對3個投影圖分別提取Gabor特征，使用這些特征訓(xùn)練極限學(xué)習(xí)機(jī)分類器，該算法的計算效率較高，但對于小幅度的動作識別性能不理想；文獻(xiàn)[6]提出了一種可以完成在線人體動作識別的時序深度置信網(wǎng)絡(luò)，該模型解決了目前深度置信網(wǎng)絡(luò)模型僅能識別靜態(tài)圖像的問題，但該模型訓(xùn)練過程的處理時間較長，影響了該算法對于大規(guī)模數(shù)據(jù)集的應(yīng)用性能。除了對于大規(guī)模數(shù)據(jù)集的時間效率問題。人體小幅度的動作識別則是另一個難點，文獻(xiàn)[6]提出一種基于加速度軌跡圖像的手勢NMF(非負(fù)矩陣分解)特征提取與識別方法，該算法通過建立加速度手勢軌跡圖，將未知手勢軌跡特征轉(zhuǎn)換為低維子特征序列，提高了手勢識別的準(zhǔn)確率與時間效率；文獻(xiàn)[7]通過非對稱的系統(tǒng)偏差建模人體動作信息，該算法引入姿勢標(biāo)簽機(jī)制進(jìn)一步提高了小幅度動作的識別性能。算法[6,7]對小幅度動作(例如：手勢、微動作等)均實現(xiàn)了較高的識別準(zhǔn)確率，但是需要分析的特征量較大，難以應(yīng)用于大規(guī)模數(shù)據(jù)集。

為了同時滿足大規(guī)模數(shù)據(jù)集與小幅度動作的識別，設(shè)計了基于多特征融合與運動信息的人體動作識別算法。該算法學(xué)習(xí)了手工特征與深度學(xué)習(xí)特征，手工特征采用了改進(jìn)的密集軌跡(IDT)[8]，深度學(xué)習(xí)特征采用了基于運動信息的卷積神經(jīng)網(wǎng)絡(luò)[9]，利用核支持向量機(jī)的泛化能力將兩種特征進(jìn)行融合。核極限學(xué)習(xí)機(jī)包含兩層：第一層計算兩個特征核，并將兩個特征核融合獲得一個融合特征核，最終輸出3種特征核的預(yù)測分?jǐn)?shù)；第二層訓(xùn)練分類器，將所有的預(yù)測得分映射至最終的動作分類。該算法的手工特征與深度學(xué)習(xí)特征具有互補(bǔ)性，從不同的角度描述了視頻的人體動作信息。

1 相關(guān)知識

1.1 極限學(xué)習(xí)機(jī)模型

假設(shè){xi,ti},i=1,…,n為訓(xùn)練數(shù)據(jù)集，其中n是訓(xùn)練樣本的數(shù)量，xi∈Rd是提取的特征，即IDT(密集軌跡特征)與DLF(基于運動信息的深度學(xué)習(xí)特征)，ti∈Rq是真實動作類，其中q為動作的分類總數(shù)量。假設(shè)隱藏層的激活函數(shù)為G(x)，隱藏層共有L個神經(jīng)元。將隨機(jī)生成的第j個隱藏層權(quán)重與偏差分別表示為aj與bj，將連接第j個隱藏層節(jié)點與輸出節(jié)點的權(quán)重向量表示為βj∈Rq。極限學(xué)習(xí)機(jī)的學(xué)習(xí)目標(biāo)是最小化訓(xùn)練誤差，并且最小化輸出權(quán)重的泛數(shù)

(1)

式中：H={Hij}={G(aj,bj,xi)}，i=1,…,n，j=1,…,L，H是隱藏層的輸出矩陣，Hij是第j個隱藏層節(jié)點的輸出，xi表示一個隱藏層節(jié)點。式(1)中β=[β1,β2,βL,]T，H(xi)=[h1(xi),h2(xi),hL(xi)]，T=[t1,t2,tn]T。

根據(jù)文獻(xiàn)[10]，可通過下式求解式(1)

β=H+T

(2)

式中：H+是矩陣H的Moore-Penrose廣義逆矩陣。原始的極限學(xué)習(xí)機(jī)理論是為了解決單隱藏層前饋神經(jīng)網(wǎng)絡(luò)(SLFN)的問題，后來許多研究人員將極限學(xué)習(xí)機(jī)推廣至非神經(jīng)網(wǎng)絡(luò)問題中，并且證明了極限學(xué)習(xí)機(jī)的約束條件少于支持向量機(jī)與最小二乘支持向量機(jī)[11]，這是本文采用極限學(xué)習(xí)機(jī)的動機(jī)。

極限學(xué)習(xí)機(jī)的主約束優(yōu)化問題定義為下式

約束條件為

(3)

式中：i=[ξi,1,ξi,2,…,ξi,q]T是q個輸出節(jié)點對于樣本xi的訓(xùn)練誤差向量，C是正則化參數(shù)。根據(jù)庫恩塔克條件[12]，可將對偶優(yōu)化問題轉(zhuǎn)化為下式

(4)

式中：α=(I/C+HHT)-1T是拉格朗日乘子矩陣。

最終的輸出權(quán)重β計算為下式

β=HT(I/C+HHT)-1T

(5)

因此可將極限學(xué)習(xí)機(jī)輸出函數(shù)定義為下式

f(xj)=h(xi)β=h(xi)HT(I/C+HHT)-1T,j=1,…,n

(6)

1.2 核極限學(xué)習(xí)機(jī)

與支持向量機(jī)相似，可將核函數(shù)集成至極限學(xué)習(xí)機(jī)中。參考文獻(xiàn)[12]，給定一個滿足Mercer定理的核函數(shù)K，可將核極限學(xué)習(xí)機(jī)的輸出寫為以下的兼容公式

(7)

式中：j=1,…,n。在該處理之后，極限學(xué)習(xí)機(jī)的分類器輸出一個得分，該得分表示一個視頻屬于一個動作分類的顯著性。

2 本文算法

2.1 雙層核極限學(xué)習(xí)機(jī)

本文核極限學(xué)習(xí)機(jī)的框架分為兩層，如圖1所示。第一層將深度學(xué)習(xí)的特征核與手工特征核進(jìn)行特征融合處理，第一層的輸出是3個特征核的預(yù)測得分。第二層訓(xùn)練出分類器，該分類器將所有的預(yù)測得分映射到最終的動作分類中。

2.1.1 特征核的融合

將不同的特征核融合，能夠包含視頻不同維度的特征。因此，本文結(jié)合了手工特征核與深度學(xué)習(xí)特征核，并且采用L2泛數(shù)計算線性核?？蓪⒁粋€線性核矩陣定義為下式

K(xi,xj)=h(xi)hT(xj)

(8)

式中：K(xi,xj)是K的第(i,j)個元素。通過計算不同特征源的核矩陣平均值，計算融合的特征核。特征核融合之后，分別獲得3個核：深度學(xué)習(xí)特征核、手工特征核、融合特征核。然后，采用核極限學(xué)習(xí)機(jī)計算不同特征核的預(yù)測得分。

圖1 本文核極限學(xué)習(xí)機(jī)的框架

2.1.2 預(yù)測得分的融合

假設(shè)可將預(yù)測得分合并計算出視頻序列最終的動作分類，因此，本文3個輸出得分向量融合為一個得分向量s。假設(shè){si,ti},i=1,…,n表示訓(xùn)練數(shù)據(jù)集，其中n為訓(xùn)練樣本的數(shù)量，si∈R3q為合并的預(yù)測得分，q是動作分類的總數(shù)量，ti∈R3q是真實的動作分類?？紤]將第一層的輸出作為輸入第二層的特征，本文使用L1泛數(shù)對第一層的輸出做正則化處理，之后，本文獲得每個視頻的一個特征向量，在第二層計算核矩陣。因為徑向基函數(shù)核對于L1范數(shù)特征的性能優(yōu)于線性核，所以本文采用徑向基函數(shù)核，徑向基函數(shù)核(RBF)定義為下式

(9)

式中：si與sj分別是視頻i與j的預(yù)測得分。注意K(si,sj)是RBF核K的第(i,j)個元素，參考文獻(xiàn)[13]的結(jié)論，非線性核對于基于直方圖特征的性能優(yōu)于線性核。

2.2 算法的實現(xiàn)方案

(10)

式中：nd設(shè)為4，表示共有4個不同的描述符，即軌跡線、HOG(描述靜態(tài)特征)，HOF(像素絕對運動特征)，MBH(像素相對運動特征)。

對于深度學(xué)習(xí)特征，本文設(shè)計了基于運動信息與卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)特征，在下文詳細(xì)描述。使用文獻(xiàn)[15]方案將深度學(xué)習(xí)特征組織成一個4096維的視頻描述符，并對該描述符使用L2范數(shù)處理。然后，計算深度學(xué)習(xí)特征的線性核，建立深度學(xué)習(xí)特征的核矩陣Kd。

在核融合過程中，通過計算深度學(xué)習(xí)特征Kd與手工特征Kh的平均值獲得核融合的結(jié)果：K=(Kd+Kh)/2。

最終，本文的核極限學(xué)習(xí)機(jī)使用3個特征核對輸入的視頻流進(jìn)行動作分類處理，3個特征核分別為：手工特征核、深度學(xué)習(xí)特征核與融合核。

采用開源的核極限學(xué)習(xí)機(jī)代碼庫實現(xiàn)本文的兩層核極限學(xué)習(xí)機(jī)算法，在通過網(wǎng)格搜索獲得核極限學(xué)習(xí)機(jī)參數(shù)之后，將另外兩個未知參數(shù)分別設(shè)為：C=1，σ=10[16]。

3 基于運動信息的深度學(xué)習(xí)特征

本文針對人體動作識別提出了一個運動信息表示方案，強(qiáng)調(diào)了不同時域運動信息的顯著性，從而提高視頻序列中小幅度動作的判別性。該模塊的總體架構(gòu)如圖2所示。

圖2 基于運動信息的深度學(xué)習(xí)流程

3.1 針對動作識別的運動表示方案

時間模板能夠提取一個圖像幀的全部運動序列，因此本文的運動識別采用時間模板。時間模板的計算方法是統(tǒng)計視頻運動信息的加權(quán)調(diào)和值，并且采用視頻幀之間的差異計算幀之間的運動信息，時間模板的計算公式如下

(11)

其中：n表示視頻幀的數(shù)量，m(i)表示第i個幀的運動信息，wi表示第i個幀的權(quán)重值(設(shè)為灰度值)，權(quán)重的范圍為[0,255]。

對式(11)進(jìn)行變換，可獲得下式

(12)

將式(12)的wi/255(取值范圍為[0,1])替換為一個模糊隸屬函數(shù)μ(i)(取值范圍為[0,1])，可獲得下式

(13)

從式(13)可看出，wi決定了時間模板中分配到第i個幀運動信息的顯著度，該機(jī)制能夠通過選擇合適的模糊隸屬函數(shù)μ(i),增強(qiáng)時間模板中時域運動信息的顯著性。圖3是4個隸屬函數(shù)的圖形，將4個隸屬函數(shù)設(shè)為μ1～μ4，分別定義為式(14)～式(17)

μ1(i)=1, ?i∈[0,n]

(14)

(15)

(16)

(17)

從圖3中可觀察出：μ1計算運動能量圖像(MEI)，μ2計算運動歷史圖像(MHI)。因為μ1是一個恒定函數(shù)，所以MEI為所有時域的運動信息分配相等的權(quán)重。μ2是一個線性遞增函數(shù)，所以MHI為最近的視頻序列分配最高的顯著度。μ3是一個線性遞減函數(shù)，所以μ3為最近的視頻序列分配最低的顯著度。μ4則為時域中間區(qū)域的視頻序列分配最高的顯著度。最終，函數(shù)μ2、μ3、μ4分別強(qiáng)調(diào)時域的開始、結(jié)尾與中間區(qū)域。

圖3 4個模糊隸屬函數(shù)的圖形

3.2 基于深度學(xué)習(xí)的特征描述

采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)人體動作的特征。將3.1小節(jié)中視頻序列的時間模板輸入卷積神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)人體動作識別的特征集。本文使用5C-2S-5C-2S的CNN架構(gòu)提取深度學(xué)習(xí)特征，其中5C表示每個卷積層共有5×5個核，2S表示每個max-pooling(最大池化)下采樣層需要2×2個核。RGB彩色視頻序列包含顏色通道模式與時間深度模式，因此本文將兩個維度的模式分別進(jìn)行處理，最終計算統(tǒng)一的人體動作特征。因為極限學(xué)習(xí)機(jī)具有較強(qiáng)的泛化能力，所以采用極限學(xué)習(xí)機(jī)進(jìn)行動作識別處理。

4 仿真實驗與結(jié)果分析

為了綜合評估本算法的性能，分別對UCF101視頻數(shù)據(jù)集與NATOPS視頻數(shù)據(jù)集進(jìn)行了實驗。UCF101數(shù)據(jù)集的分辨率較低，數(shù)據(jù)量較大，能夠測試本算法對于大規(guī)模數(shù)據(jù)集的識別性能。NATOPS視頻數(shù)據(jù)集的分辨率較高，共包含24個動作，這些動作均為人體上肢的動作，動作幅度較小，并且有些動作的上肢與身體出現(xiàn)重疊，該數(shù)據(jù)集能夠測試本算法對小幅度動作的識別效果。

4.1 UCF101數(shù)據(jù)集的實驗

4.1.1 數(shù)據(jù)集介紹

UCF101數(shù)據(jù)集收集于互聯(lián)網(wǎng)，數(shù)據(jù)集的復(fù)雜度較高，視頻均具有明顯的背景雜波。UCF101包含了13 320視頻剪輯，共有101個動作分類。本文使用數(shù)據(jù)集缺省的3個訓(xùn)練集-測試集劃分方案，對于每個劃分方案，從25個分組中選擇7個視頻序列作為測試序列，其它的18個視頻序列作為訓(xùn)練序列。圖4是UCF101數(shù)據(jù)集的部分實例圖像。

圖4 UCF101數(shù)據(jù)集的圖像實例

對UCF101數(shù)據(jù)集缺省的3個劃分方案均進(jìn)行實驗，將3組數(shù)據(jù)的平均值作為最終的實驗結(jié)果。

4.1.2 算法的識別準(zhǔn)確率

為了評估本算法對于UCF101數(shù)據(jù)集的識別性能，將本算法與其它動作識別算法進(jìn)行比較，分別為：基于卷積神經(jīng)網(wǎng)絡(luò)的動作識別算法(CNN)[9]、基于改進(jìn)密集軌跡的動作識別算法(IDT)[8]、基于深度學(xué)習(xí)的動作識別算法(C3D)[15]、基于光流與卷積神經(jīng)網(wǎng)絡(luò)的動作識別算法(CNN_T)[17]、基于時域運動信息與支持向量機(jī)的動作識別算法(SVM)[15]。不同算法的動作識別率結(jié)果如圖5所示，可看出CNN_T、SVM與本算法的識別率優(yōu)于CNN、IDT與C3D這3個算法，CNN_T、SVM與本算法均屬于多特征融合的識別算法，而CNN、IDT與C3D均為單一特征的識別算法，可得出結(jié)論：多特征融合的識別性能優(yōu)于單一特征的識別性能。此外，本算法的識別率略優(yōu)于CNN_T、SVM兩個算法，本算法與SVM算法較為相似，主要區(qū)別在于本算法設(shè)計了基于事件模板的運動信息機(jī)制，該機(jī)制能夠有效地提高動作識別的精準(zhǔn)性。

圖5 6個動作識別算法的動作識別率結(jié)果

4.1.3 兩種融合策略的性能比較

當(dāng)前的特征融合策略主要分為早期融合與后期融合兩種策略，早期融合策略在分類器處理之前進(jìn)行特征核的融合，后期融合策略首先每種特征的得分向量融合為一個得分向量，然后對得分向量再一次進(jìn)行分類器處理，圖6是兩種融合策略的流程。評估兩個特征的不同融合策略對動作識別算法性能的影響，在UCF101數(shù)據(jù)集進(jìn)行了實驗分析。參考文獻(xiàn)[18]的分析，基于特征核的算法性能優(yōu)于其它類型的識別算法，因此，將本算法與其它基于核的識別算法進(jìn)行比較。

圖6 兩種融合策略的流程

對SVM[15]與本算法均進(jìn)行兩種融合策略的實驗，結(jié)果見表1。從表1中可看出：①對于SVM與本算法，早期融合策略的識別準(zhǔn)確率均優(yōu)于后期融合策略；②本算法兩種融合策略的識別準(zhǔn)確率均優(yōu)于SVM算法。

表1 SVM與本算法在不同融合策略下的識別準(zhǔn)確率

4.1.4 算法對大規(guī)模數(shù)據(jù)集的時間效率

根據(jù)文獻(xiàn)[12]的實驗與分析結(jié)論，極限學(xué)習(xí)機(jī)具有較快的學(xué)習(xí)速度。基于大規(guī)模UCF101數(shù)據(jù)集進(jìn)行實踐效率的實驗，并將本算法與其它基于多核融合的算法(SVM算法)進(jìn)行比較。實驗環(huán)境為：Inteli7 3.3 GHz CPU，16 GB內(nèi)存。

圖7是SVM算法與本算法訓(xùn)練過程與測試過程的計算時間，本算法的訓(xùn)練過程平均計算時間為33.98 s，測試過程的平均計算時間為15.47 s。SVM算法訓(xùn)練階段的時間是本算法的4倍以上，而SVM算法測試階段的時間是本算法的1.8倍以上?？傻贸鼋Y(jié)論，本算法的計算效率優(yōu)于同樣基于核融合的SVM算法，本算法的計算時間能夠適用于大規(guī)模數(shù)據(jù)集。

圖7 SVM算法與本算法訓(xùn)練過程與測試過程的計算時間

4.2 NATOPS視頻的動作識別實驗

4.2.1 數(shù)據(jù)集介紹

NATOPS視頻數(shù)據(jù)集的分辨率較高，共包含24個機(jī)場的手勢信號動作，24個小幅度動作如圖8所示。圖8中可看出，這些手勢幅度較小，并且一些手勢信號包含了手型的變化，該數(shù)據(jù)集能夠評估動作識別算法的識別準(zhǔn)確率。視頻的分辨率為320×240，視頻設(shè)計了20個主題，每個主題中按照不同的順序完成24個手勢信號動作，每個主題中包含24×20個動作。選擇前5個主題作為測試集，后10個主題作為訓(xùn)練集。

圖8 NATOPS視頻數(shù)據(jù)集的8個機(jī)場信號手勢

4.2.2 算法的識別準(zhǔn)確率

為了評估本算法對小幅度動作的識別性能，在提取特征之前，選擇64×48個幀作為深度學(xué)習(xí)特征的時間模板，表2是4個隸屬函數(shù)分別對不同維度特征的識別準(zhǔn)確率。從表中可看出，總體而言，RGB顏色特征的準(zhǔn)確率優(yōu)于時間特征，因為對于小幅度的人體動作，動作與人體發(fā)生較多的重疊現(xiàn)象，在這種情況下，顏色特征的判別性更高。

表2 4個隸屬函數(shù)對不同維度特征的識別準(zhǔn)確率/%

根據(jù)表2的結(jié)果，μ1函數(shù)的效果較差，而μ2,μ3,μ4這3個隸屬函數(shù)分別強(qiáng)調(diào)了時域前期、中期、后期的顯著性。將μ2,μ3,μ4這3個隸屬函數(shù)進(jìn)行疊加融合，使用融合的隸屬函數(shù)重新測試對NATOPS數(shù)據(jù)集的識別準(zhǔn)確率。將本算法與其它6個支持小幅度手勢識別的動作識別算法進(jìn)行對比，分別為文獻(xiàn)[19,20]中實驗的5個算法，見表3。從結(jié)果可看出，本算法融合了運動信息與RGB三色特征，對小幅度的動作表現(xiàn)出較高的識別準(zhǔn)確率，明顯地優(yōu)于前4個算法，C_HCRF算法通過提取視頻序列的多視角特征，能夠有效地解析視頻的多層次信息，也取得了極高的識別準(zhǔn)確率，與本算法接近。

表3 6個小幅度動作識別算法的識別準(zhǔn)確率結(jié)果

5 結(jié)束語

為了同時滿足大規(guī)模數(shù)據(jù)集與小幅度動作的識別，設(shè)計了基于多特征融合與運動信息的人體動作識別算法。在雙層核極限學(xué)習(xí)機(jī)的第一層，采用線性核極限學(xué)習(xí)機(jī)學(xué)習(xí)密集軌跡特征與深度學(xué)習(xí)特征，全面地表征視頻序列的動作特征；在第二層，為核極限學(xué)習(xí)機(jī)訓(xùn)練徑向基函數(shù)，將密集軌跡特征與深度學(xué)習(xí)特征進(jìn)行融合。在深度學(xué)習(xí)特征中，通過時間模板分析視頻序列的運動信息，為運動信息的不同時域分配不同的顯著性，視頻序列的時間模板輸入卷積神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)人體動作識別的特征集。該算法的手工特征與深度學(xué)習(xí)特征具有互補(bǔ)性，從不同的角度描述了視頻的人體動作信息?；诖笠?guī)模真實數(shù)據(jù)集與小幅度手勢數(shù)據(jù)集進(jìn)行了仿真實驗，實驗結(jié)果驗證了本算法的有效性。