裴永強, 王家偉, 湯雪芹

(重慶交通大學(xué) 信息科學(xué)與工程學(xué)院, 重慶 400064)

0 引 言

伴隨信息化水平的提升, 視頻行為識別已成為國內(nèi)外人工智能領(lǐng)域研究熱點, 在智能家庭設(shè)計、 無人駕駛方面均有廣泛的應(yīng)用[1-2]。時間信息是行為識別的重要組成部分, 對識別系統(tǒng)性能的好壞有決定性作用。但因為姿態(tài)、 視角等元素的影響, 高效率提取信息具備一定的挑戰(zhàn)性, 所以規(guī)劃涵蓋視頻語義的精準(zhǔn)表達(dá)形式是十分必要的。

針對行為識別的相關(guān)問題, 王萍等[3]提出一種基于視頻分段的實時雙通道卷積神經(jīng)網(wǎng)絡(luò)行為識別方法。首先將視頻劃分為多個等長不重疊的分段, 對各個分段隨機采樣獲得代表視頻靜態(tài)特征的幀圖像和代表運動特征的堆疊光流圖像, 將兩種圖像依次輸入空域和時域卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取, 在兩個通道分別融合各視頻分段特征, 獲得空域和時域的類別預(yù)測特征, 集成雙通道的預(yù)測特征實現(xiàn)視頻行為識別。但該方法識別結(jié)果精度較低, 很難應(yīng)用于真實場景。鹿天然等[4]提出一種線性序列差異分析方法, 應(yīng)用ViBe算法對視頻幀進(jìn)行背景減除操作, 得到行為區(qū)域, 在該區(qū)域內(nèi)提取稠密軌跡特征去除背景數(shù)據(jù)干擾。使用Fisher Vector對特征編碼后進(jìn)行線性序列差異分析, 采用動態(tài)線性規(guī)整算法計算序列類別間相似度, 將特征從高維空間投影至低維空間, 利用降維后的特征訓(xùn)練支持向量機, 達(dá)到人體行為識別目標(biāo)。但該方法識別效率較低, 即時性不高。

總結(jié)上述方法不足, 筆者提出一種基于超限學(xué)習(xí)機的深度網(wǎng)絡(luò)時間分組行為識別方法。建立基于多尺度特征行為識別模型, 獲取大致的人體運動行為特征； 利用視頻分組稀疏抽樣手段, 防止時間建模過程產(chǎn)生信息丟失； 應(yīng)用超限學(xué)習(xí)機方法實現(xiàn)深度網(wǎng)絡(luò)時間分組行為的準(zhǔn)確識別。

1 基于多尺度特征的行為識別模型

為得到人體運動行為的簡略特征, 降低方法復(fù)雜度, 將行為運動軌跡當(dāng)作大尺度特征, 擇取每個瞬時運動人體剪影的最小外接矩形框的中心[5], 模擬人體軌跡坐標(biāo)。在每個瞬間時段, 一個軌跡相對的是人體質(zhì)心方位的x、y坐標(biāo)構(gòu)成的二維N元矢量{(Xk,Yk),k=1,2,…,N}。使用統(tǒng)一模式編碼軌跡, 關(guān)于n幀序列, 各個幀的運動人體都是通過二維圖像坐標(biāo)(xi,yi)進(jìn)行表達(dá), 并滿足

fi=(xi,yi)

(1)

將人體運動行為軌跡的流矢量序列記作

T0={f1,f2,…,fi,…,fn-1,fn}

(2)

目標(biāo)軌跡基本可以形成一個二維信號, 視頻持續(xù)幀內(nèi)的運動目標(biāo)是一個參數(shù)曲線。

關(guān)于一個完整軌跡劃分獲得的5條子軌跡擁有不同的序列長度li。假設(shè)m是各個子軌跡內(nèi)的采樣點個數(shù), 且li>m, 則在此段子軌跡內(nèi)均勻收集m個坐標(biāo)點, 即m幀的圖像序列。若li

利用邊緣輪廓小波矩特征表示在小尺度內(nèi)一個姿態(tài)的細(xì)節(jié)特征, 此特征構(gòu)建在多段定向距離向量傅里葉因子的前提下, 具備平移、 縮放及旋轉(zhuǎn)不變形特性。

按照行為的相關(guān)特性, 每個行為事件均是通過諸多主要姿態(tài)進(jìn)行表示的, 這些主要姿態(tài)平均分布在一個行為事件每段子軌跡構(gòu)成的子事件內(nèi), 剩余姿態(tài)就是主要姿態(tài)的過渡[6-8]。主要姿態(tài)數(shù)量在一定意義上決定了識別率的高低及計算量的多少, 若主要姿態(tài)數(shù)量太少, 就不能準(zhǔn)確表示出人體的行為特征, 從而降低行為識別精度； 若主要姿態(tài)數(shù)量太多, 則計算數(shù)量會成倍增長, 對計算的穩(wěn)定性造成威脅。因此, 筆者將行為劃分為5個主要姿態(tài), 它們依次源于5段子軌跡。

λ(1,2)=(A(1),B(1),π(1),A(2),B(2),π(2),H(1,2))

(3)

式(3)是行為識別模型的無回路無狀態(tài)拓?fù)浣Y(jié)構(gòu), 每個狀態(tài)都不具備返回前一狀態(tài)的功能,A(i)、B(i)和π(i)依次是相對層的狀態(tài)移動矩陣、 原始狀態(tài)分布概率矩陣。以下為具體運算過程。

(4)

(5)

(6)

前向變量αt(i,j)是t時段在某個狀態(tài)(i,j)內(nèi)生成觀察序列的概率, 使用前向方法計算

(7)

(8)

(9)

通過式(7)～式(9), 可得模型的似然概率

(10)

(11)

(12)

2 視頻分組稀疏抽樣

時間建模方式有兩種： 短期建模與長期建模[9]。 長期建模針對某些時間跨度較長的復(fù)雜動作具有較優(yōu)表現(xiàn)?，F(xiàn)階段, 深度網(wǎng)絡(luò)中最關(guān)鍵的問題就是無法對長時間結(jié)構(gòu)實施模型構(gòu)建, 這是因為在設(shè)計過程中, 僅在單個幀或短片段內(nèi)進(jìn)行運作, 致使時間覆蓋程度擁有較多的局限性[10]。關(guān)于某個時間跨度較長的復(fù)雜動作, 想要解決其識別性能較差的問題, 筆者使用視頻分組稀疏抽樣方法, 能在不受序列長度制約的狀態(tài)下, 達(dá)到對全部視頻采取長期時間建模的目標(biāo)。

將視頻V進(jìn)行等時長分組, 分組個數(shù)是K, 即將視頻分割成K個相同時長的片段{S1,S2,…,SK}, 對該片段集進(jìn)行建模

M(T1,T2,…,TK)=H(g(F(T1,W),…,F(TK,W)))

(13)

其中(T1,T2,…,TK)是一個片段序列, 各個片段TK均為其相對分段SK內(nèi)的隨機部分,F(TK,W)是使用W當(dāng)作參數(shù)的卷積網(wǎng)絡(luò)作用在短片段TK時, 返回全部類型片段分?jǐn)?shù)的比例, 共識函數(shù)g將作用于多個片段級判斷分?jǐn)?shù)聚合, 從而產(chǎn)生視頻級判斷分?jǐn)?shù)。H是預(yù)判函數(shù), 該函數(shù)能對全部視頻相對的各個動作類別概率進(jìn)行預(yù)判, 概率最高的類型就是視頻的所屬類型。

值得注意的是,K個分組之間的參數(shù)存在交互關(guān)系, 在引入H函數(shù)前, 需要融合視頻級空間與時間的判斷結(jié)果[11-14], 代入標(biāo)準(zhǔn)分類交叉熵?fù)p失原則, 將損失函數(shù)解析式描述為

(14)

其中C是動作類型數(shù)量,yi是第i類的實際標(biāo)簽。將片段數(shù)K設(shè)置為3, 則共識函數(shù)為

G=g(F(T1,W),F(T2,W),…,F(TK,W))

(15)

采用標(biāo)準(zhǔn)反向傳播方法[15], 通過多個片段融合優(yōu)化模型參數(shù)W, 在進(jìn)行反向傳播時, 可將模型參數(shù)梯度記作

(16)

應(yīng)用隨機梯度下降優(yōu)化方法進(jìn)行模型參數(shù)優(yōu)化時, 式(16)可確保參數(shù)更新是通過從全部片段級預(yù)判結(jié)果中獲取的分?jǐn)?shù)。

通過上述過程, 可最大限度保證時間建模過程中信息的完整性, 減少動作識別計算成本, 使所提方法更具優(yōu)越性。

3 超限學(xué)習(xí)機下深度網(wǎng)絡(luò)時間分組行為識別

ELM(Extreme Learning Machine)的數(shù)學(xué)公式為

(17)

其中L是隱含節(jié)點個數(shù),ai∈Rn與bi∈R分別是隱含層參變量,βi∈Rm是第i個隱含節(jié)點關(guān)于輸出節(jié)點的權(quán)值系數(shù)[16],G(ai,bi,x)是第i個隱含節(jié)點的輸出函數(shù)。因此, 將加性隱含節(jié)點函數(shù)定義為

G(ai,bi,x)=g(aix+bi)

(18)

其中ai是第i個隱含節(jié)點的輸入權(quán)重,bi是第i個隱含層節(jié)點的誤差,g(·)是激活函數(shù)。

(19)

將式(19)變換成矩陣模式, 將其描述為

Hβ=Y

(20)

其中

(21)

(22)

(23)

其中訓(xùn)練誤差εl能防止出現(xiàn)過擬合問題, 按照相關(guān)定義, 將式(23)的求解過程變換為雙重優(yōu)化問題, 具體描述為

(24)

同時按照式(24)推算β最優(yōu)解

(25)

通過式(25)可知, 超限學(xué)習(xí)機內(nèi)的β關(guān)鍵是通過式(22)內(nèi)的兩個矩陣H、Y和正則化因子λ決定的[18],H的維數(shù)取決于訓(xùn)練樣本個數(shù)N及隱含節(jié)點數(shù)量L,Y是訓(xùn)練樣本相對的輸出。N與Y都是已知的, 但隱含節(jié)點數(shù)量及正則化因子需要人為計算, 這兩個值對RELM(Regularized Extreme Learing Machine)的性能具備關(guān)鍵作用。

如果RELM是一個二分類問題, 則其決策公式的解通過

(26)

進(jìn)行推算。假設(shè)RELM是一個多分類問題, 則其決策公式解的計算解析式為

(27)

針對RELM, 除了正則化因子外, 隱含節(jié)點數(shù)量L也會對其行為識別精度產(chǎn)生較大影響。所以, 設(shè)計一個可以反映出RELM不同隱含節(jié)點關(guān)鍵性的靈敏度推導(dǎo)公式, 再按照不同隱含節(jié)點的靈敏度參數(shù)對隱含節(jié)點進(jìn)行排序, 繼而剔除次要節(jié)點[19-20], 得到最優(yōu)的RELM隱含節(jié)點數(shù)量L, 增強深度網(wǎng)絡(luò)時間行為識別準(zhǔn)確性。

如果剔除第j個隱含節(jié)點, 1≤j≤L, 則可將式(19)轉(zhuǎn)換為

(28)

其中kpi對照于式(19)內(nèi)的G(ap,bp,xi)。

(29)

關(guān)于第i個樣本, 去除第j個隱含節(jié)點生成的偏差是kji的絕對值和βj的乘積。所以, 針對全部樣本N, 將殘差對照的第j個隱含節(jié)點的靈敏度記作

(30)

其中Rj的值越大, 即證明第j個隱含節(jié)點引發(fā)的殘差越高, 也就是該隱含節(jié)點的關(guān)鍵性越強。

通過上述過程, 可進(jìn)一步提升網(wǎng)絡(luò)表達(dá)能力, 完成深度網(wǎng)絡(luò)視頻行為動作的準(zhǔn)確、 高效率識別。

4 仿真實驗

圖1 行為識別精度對比示意圖

為驗證筆者方法的可靠性, 將筆者方法與文獻(xiàn)[3]、 文獻(xiàn)[4]方法進(jìn)行仿真實驗對比。實驗所用的運動數(shù)據(jù)均源自CMU(Carnegie Mellon University)運動數(shù)據(jù)庫, 識別的行為主要包含以下幾種： 行走、 彎腰及跳躍。為了降低訓(xùn)練復(fù)雜度, 且保證不丟失行為特征, 對運動捕捉數(shù)據(jù)根據(jù)15幀/s進(jìn)行稀疏采樣。

圖1是3種方法的行為識別精度對比。從圖1可以看出, 筆者方法行為識別正確率明顯優(yōu)于文獻(xiàn)方法, 且伴隨實驗次數(shù)的增加, 曲線依舊呈現(xiàn)較為穩(wěn)定的狀態(tài), 證明筆者方法具備較高的準(zhǔn)確性和穩(wěn)定性, 可適用于多種復(fù)雜環(huán)境下的視頻行為動作識別。文獻(xiàn)[3]方法識別精度約為70%, 略遜于筆者方法, 文獻(xiàn)[4]方法在初始階段與筆者方法性能相差不多, 但在后續(xù)實驗次數(shù)增多的情況下, 其算法穩(wěn)定性逐漸降低。

表1是3種方法行為識別時間均值對比, 從表1中可知, 筆者方法的行為識別效率最高, 用時最短, 而文獻(xiàn)[3]與文獻(xiàn)[4]方法在行為識別過程中, 所耗時長均高于筆者方法。綜合比較而言, 筆者方法實用性最強, 魯棒性能優(yōu)良。

表1 行為識別消耗時間均值對比

5 結(jié) 語

為了有效提升視頻行為識別正確率, 提出一種基于超限學(xué)習(xí)機的深度網(wǎng)絡(luò)時間分組行為識別方法。通過模擬人體軌跡坐標(biāo), 并對處理后的子軌跡數(shù)據(jù)分別進(jìn)行主成分分析, 獲取人體運動行為簡略特征, 降低算法冗余度； 采用視頻分組稀疏抽樣方式, 大幅提高時間建模過程中信息完整性； 運用基于超限學(xué)習(xí)機的深度網(wǎng)絡(luò)時間分組行為識別方法, 改善視頻行為動作識別精度不高的問題, 為行為識別領(lǐng)域的發(fā)展提供參考與借鑒。