李亞瑋 金立左 孫長(zhǎng)銀 崔 桐

(1東南大學(xué)自動(dòng)化學(xué)院, 南京 210096)(2中國(guó)電科集團(tuán)28所, 南京 210007)

基于光流約束自編碼器的動(dòng)作識(shí)別

李亞瑋1金立左1孫長(zhǎng)銀1崔 桐2

(1東南大學(xué)自動(dòng)化學(xué)院, 南京 210096)(2中國(guó)電科集團(tuán)28所, 南京 210007)

為了改進(jìn)特征學(xué)習(xí)在提取目標(biāo)運(yùn)動(dòng)方向及運(yùn)動(dòng)幅度等方面的能力，提高動(dòng)作識(shí)別精度，提出一種基于光流約束自編碼器的動(dòng)作特征學(xué)習(xí)算法.該算法是一種基于單層正則化自編碼器的無(wú)監(jiān)督特征學(xué)習(xí)算法，使用神經(jīng)網(wǎng)絡(luò)重構(gòu)視頻像素并將對(duì)應(yīng)的運(yùn)動(dòng)光流作為正則化項(xiàng).該神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)動(dòng)作外觀信息的同時(shí)能夠編碼物體的運(yùn)動(dòng)信息，生成聯(lián)合編碼動(dòng)作特征.在多個(gè)標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，光流約束自編碼器能有效提取目標(biāo)的運(yùn)動(dòng)部分，增加動(dòng)作特征的判別能力，在相同的動(dòng)作識(shí)別框架下該算法超越了經(jīng)典的單層動(dòng)作特征學(xué)習(xí)算法.

動(dòng)作識(shí)別;特征學(xué)習(xí);正則化自編碼器；光流約束自編碼器

基于視頻的人體動(dòng)作識(shí)別[1]近年來(lái)已成為機(jī)器視覺、模式識(shí)別等領(lǐng)域的研究熱點(diǎn),在安全監(jiān)控、人機(jī)交互、智能機(jī)器人等方面具有良好的應(yīng)用前景．然而在實(shí)際應(yīng)用中,視頻內(nèi)出現(xiàn)的背景及光照變化、觀察視角及人體姿態(tài)差異等因素使動(dòng)作識(shí)別變得非常困難[2]．如何有效提取和表示視頻中的動(dòng)作特征是動(dòng)作識(shí)別的關(guān)鍵技術(shù)[3]．

傳統(tǒng)的動(dòng)作特征提取方法一般包含2個(gè)步驟:首先通過(guò)Harris3D[4],Cuboid[5]等檢測(cè)器檢測(cè)運(yùn)動(dòng)區(qū)域;然后計(jì)算梯度直方圖[6](HOG)、光流直方圖[7](HOF)、三維梯度[8](HOG3D)和運(yùn)動(dòng)邊緣[9](MBH)等特征描述向量來(lái)表征動(dòng)作特征．近年來(lái),使用學(xué)習(xí)算法[10]學(xué)習(xí)動(dòng)作特征是動(dòng)作識(shí)別領(lǐng)域的研究方向之一．動(dòng)作特征學(xué)習(xí)方法無(wú)需預(yù)先定義各種復(fù)雜的特征表示方式,而是使用統(tǒng)一的學(xué)習(xí)算法框架從視頻像素中學(xué)習(xí)語(yǔ)義單元作為動(dòng)作特征,如基于無(wú)監(jiān)督特征學(xué)習(xí)算法的受限波爾茲曼機(jī)[11](RBM)、獨(dú)立子空間分析[12](ISA)、慢特征分析[13-14](SFA)等,以及基于監(jiān)督特征學(xué)習(xí)算法的深度學(xué)習(xí)[15]等．這類動(dòng)作特征學(xué)習(xí)方法在大型動(dòng)作數(shù)據(jù)集上較傳統(tǒng)動(dòng)作特征方法在識(shí)別精度上有進(jìn)一步提升[16]．

動(dòng)作特征學(xué)習(xí)算法將視頻塊像素作為輸入,通過(guò)統(tǒng)計(jì)視頻塊中的像素分布信息來(lái)學(xué)習(xí)動(dòng)作特征．但是,這類方法不考慮像素在時(shí)間上和空間上分布的不同特性,因此僅能描述視頻像素塊的外觀信息,忽略了目標(biāo)動(dòng)作本身的運(yùn)動(dòng)信息．為了學(xué)習(xí)具有運(yùn)動(dòng)信息的動(dòng)作特征,本文提出了一種基于光流約束自編碼器(optical flow constrained auto-encoder)的算法學(xué)習(xí)視頻動(dòng)作特征．該算法將視頻塊的像素值與對(duì)應(yīng)光流同時(shí)作為學(xué)習(xí)機(jī)的輸入,學(xué)習(xí)重構(gòu)視頻像素的同時(shí)將對(duì)應(yīng)運(yùn)動(dòng)光流作為正則化約束項(xiàng),將兩者映射到統(tǒng)一的特征空間,這種方式能夠提取攜帶運(yùn)動(dòng)信息的視頻塊．為了與現(xiàn)有動(dòng)作特征學(xué)習(xí)方法進(jìn)行比較,本文采用與文獻(xiàn)[17]相同的分類流程,僅將特征算法替換為光流約束自編碼器,并在KTH,UCF和Hollywood數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)．結(jié)果表明，光流約束自編碼器能更好地提取動(dòng)作中的運(yùn)動(dòng)信息,增強(qiáng)動(dòng)作特征的分類能力,其識(shí)別精度較傳統(tǒng)無(wú)監(jiān)督動(dòng)作特征學(xué)習(xí)方法有一定程度的提升．

1 光流約束自編碼器

(1)

(a) 自編碼器

(b) 光流約束自編碼器

1.1 正則化自編碼器

正則化約束[19]是無(wú)監(jiān)督學(xué)習(xí)中的重要手段,通過(guò)對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)(數(shù)據(jù)擬合誤差)附加先驗(yàn)條件作為約束,使得特征滿足一定性質(zhì)．如稀疏正則化約束對(duì)隱層使用特定的范數(shù)約束,使特征向量盡可能多的分量為零,這類正則化目標(biāo)函數(shù)可表示為

(2)

式中,‖·‖1為L(zhǎng)1范數(shù),用來(lái)控制目標(biāo)的稀疏性;λ為正則化參數(shù),通常取小于1的正數(shù)．

自編碼器在貝葉斯框架下的目標(biāo)似然函數(shù)可表示為

(3)

并假設(shè)h服從以0為均值的拉普拉斯分布:

p(h)=exp(-λ2‖h‖1)

(4)

則minl(θ)=-max(log(p(xh))+log(p(h)))可以寫為

(5)

式中,λ1,λ2為系數(shù),若令λ=λ1/λ2,則當(dāng)條件滿足似然函數(shù)為高斯函數(shù)且先驗(yàn)分布服從拉普拉斯分布時(shí),式(2)在L1范數(shù)約束下的自編碼器等價(jià)于式(5)最大后驗(yàn)估計(jì)問題．

1.2 光流約束

在自編碼器算法中,特征hi僅與輸入xi有關(guān),即僅使用視頻像素編碼動(dòng)作,這種編碼方式缺乏運(yùn)動(dòng)幅度、運(yùn)動(dòng)方向等運(yùn)動(dòng)信息．為了編碼運(yùn)動(dòng)信息,假設(shè)表示運(yùn)動(dòng)方向、幅度的向量z∈Z,Z∈Rdz,采用最大化聯(lián)合概率p(x,z,h)來(lái)學(xué)習(xí)動(dòng)作特征．目標(biāo)函數(shù)定義為

minl(θ)=-maxlog(p(x,z,h))

(6)

p(hz)=λ2exp(-λ2‖h-r(z)‖1)

(7)

式中,z與估計(jì)參數(shù)θ無(wú)關(guān),故不影響最小化目標(biāo)函數(shù),則目標(biāo)函數(shù)(6)可表示為

(8)

式中,r(zi)為運(yùn)動(dòng)編碼．由式(8)可見,hi不僅受xi影響,同時(shí)也受到zi的約束,且當(dāng)z為零向量時(shí),式(8)等價(jià)于式(1)．

視頻分析中,使用光流來(lái)估計(jì)目標(biāo)運(yùn)動(dòng)是常用的解決方法,本文采用Lucas-Kanade光流法[20]計(jì)算各像素點(diǎn)的運(yùn)動(dòng)信息．對(duì)任意I(x,y,t)處的光流可通過(guò)求解如下方程獲得:

(9)

算法1 光流約束自編碼器參數(shù)的求解

輸入:初始θ0={W0,U0,V0,b0,c0,d0},正則化參數(shù)λ,學(xué)習(xí)率η,{(x1,z1),(x2,z2),…(xn,zn)}．

輸出:目標(biāo)函數(shù)l(θt),θt={Wt,Ut,Vt,bt,ct,dt}.

① 初始化網(wǎng)絡(luò)參數(shù)θt=θ0

Whilet1×10-5Do

② 計(jì)算前饋網(wǎng)絡(luò)

③ 使用式(8)計(jì)算目標(biāo)函數(shù)l(θt)

④ 反向傳播計(jì)算梯度Δθ={ΔW,ΔU,ΔV,Δb,Δc,Δd}

δt=δt·σ′(Whi+b)

⑤ 梯度下降更新參數(shù)θt=θt+ηΔθ

⑥ 更新計(jì)數(shù)器t=t+1

END

2 基于光流約束自編碼器的動(dòng)作識(shí)別

如圖2所示,基于局部動(dòng)作特征的識(shí)別流程一般包括4個(gè)步驟:① 動(dòng)作特征提取,通過(guò)檢測(cè)算法檢測(cè)并設(shè)計(jì)描述向量表征特征點(diǎn);② 動(dòng)作特征表示,在訓(xùn)練集上對(duì)描述向量使用K均值聚類等方法生成動(dòng)作字典并量化作為動(dòng)作特征;③ 特征關(guān)系建模,使用包括詞包(BoW)模型在內(nèi)的方法對(duì)局部特征關(guān)系建模形成視頻動(dòng)作的最終表示;④ 訓(xùn)練分類模型并完成分類．步驟①～③又稱為視頻的動(dòng)作編碼過(guò)程,將視頻映射為特征空間中的向量；步驟④稱為識(shí)別過(guò)程,采用SVM分類器或模型匹配的方式預(yù)測(cè)動(dòng)作類別．

圖2 基于視頻的動(dòng)作識(shí)別流程

光流約束自編碼器使用算法1獲取運(yùn)動(dòng)濾波器并對(duì)視頻塊作卷積提取特征,視頻塊xi對(duì)應(yīng)的hi即為該點(diǎn)動(dòng)作特征向量．由于拍攝距離的不同,動(dòng)作對(duì)象的大小具有一定的差異性,為了處理動(dòng)作對(duì)象的個(gè)體差異,本文首先在多個(gè)空間尺度下對(duì)視頻塊作卷積提取特征,然后使用Fisher向量[21]編碼動(dòng)作特征．基于光流約束自編碼器的多尺度特征提取和動(dòng)作識(shí)別流程如圖3所示．

圖3 多尺度特征提取和動(dòng)作識(shí)別

3 實(shí)驗(yàn)結(jié)果與分析

3.1 動(dòng)作數(shù)據(jù)集

實(shí)驗(yàn)所使用的動(dòng)作數(shù)據(jù)集如圖4所示．其中KTH是基準(zhǔn)數(shù)據(jù)集,由預(yù)先設(shè)置的動(dòng)作類型和場(chǎng)景組成．該數(shù)據(jù)集包含6個(gè)動(dòng)作類型,每個(gè)動(dòng)作由25人在4個(gè)場(chǎng)景(室外、室外衣著變化、室外鏡頭變化和室內(nèi))下完成, 共600段視頻(8人為訓(xùn)練集，8人為驗(yàn)證集,9人為測(cè)試集)．Hollywood2數(shù)據(jù)集從69部好萊塢電影中人工截取,包含12個(gè)動(dòng)作類型,1 707段視頻(823段為訓(xùn)練集,884段為測(cè)試集),訓(xùn)練集與測(cè)試集分別來(lái)自不同電影．UCF sports數(shù)據(jù)集從YouTube截取,包含16個(gè)體育運(yùn)動(dòng)類型,783段視頻(649段為訓(xùn)練集,134段為測(cè)試集)．

3.2 光流約束自編碼器特征分析

光流約束自編碼器引入運(yùn)動(dòng)信息(光流)作為約束條件學(xué)習(xí)動(dòng)作特征．為了與傳統(tǒng)動(dòng)作特征進(jìn)行比較,在KTH數(shù)據(jù)集上隨機(jī)對(duì)訓(xùn)練視頻抽取8×8×5像素的視頻塊,并設(shè)定100維特征作比較,分別以式(1)和式(8)為目標(biāo)函數(shù)學(xué)習(xí)動(dòng)作特征,采用梯度下降法優(yōu)化目標(biāo)函數(shù),當(dāng)目標(biāo)函數(shù)值變化小于1×10-4時(shí)停止訓(xùn)練．將光流約束自編碼器的特征濾波器和無(wú)光流約束的特征濾波器分別記為WFCAE和WCAE,如圖5所示.使用光流約束的動(dòng)作濾波器在空間上表現(xiàn)的較為集中,更加接近于方向?yàn)V波器,無(wú)光流約束濾波器則權(quán)重變化較為平緩,且存在一定比例的高頻噪聲．

(a) KTH數(shù)據(jù)集

(b) Hollywood2數(shù)據(jù)集

(c) UCF Sports數(shù)據(jù)集

圖4 KTH,Hollywood2和UCF Sports動(dòng)作數(shù)據(jù)集 中部分圖片

(a) 光流約束自編碼器

(b) 稀疏約束自編碼器

為了檢驗(yàn)運(yùn)動(dòng)信息在動(dòng)作特征學(xué)習(xí)中的作用及其特性,采用WFCAE和WCAE分別對(duì)視頻塊編碼,得到特征hFCAE和hCAE,并定義稀疏性s為特征h中非零元個(gè)數(shù)的占比,定義動(dòng)態(tài)特性d為濾波器W沿時(shí)間軸上的方差．

計(jì)算不同正則化參數(shù)下的比值s(hFCAE)/s(hCAE)和d(WFCAE)/d(WCAE),結(jié)果如表1所示．可看出,hFCAE較hCAE稀疏性差別不大,但WFCAE較WCAE動(dòng)態(tài)性能有顯著提高．

表1 不同正則化參數(shù)下特征稀疏性與動(dòng)態(tài)性比較

使用k=256的Fisher向量和線性SVM分類器在KTH數(shù)據(jù)集上的識(shí)別結(jié)果如圖6所示．帶光流約束的自編碼器比不帶光流約束的自編碼器在動(dòng)作識(shí)別效果上有所提升,當(dāng)λ=0.10時(shí)取得最優(yōu)結(jié)果．由此可見,在特征數(shù)目相同的情況下,將運(yùn)動(dòng)信息用于動(dòng)作特征學(xué)習(xí)可以在一定程度上提升動(dòng)作識(shí)別精度．

圖6 不同正則化參數(shù)下動(dòng)作識(shí)別結(jié)果比較

3.3 光流約束自編碼器的參數(shù)設(shè)置

特征維數(shù)是影響動(dòng)作識(shí)別精度的重要因素．設(shè)定特征維數(shù)分別為64,128, 256, 512,正則化因子λ分別為0.01,0.05, 0.10, 0.50,使用k=256的Fisher向量和線性SVM分類器在KTH數(shù)據(jù)集上進(jìn)行動(dòng)作識(shí)別實(shí)驗(yàn),結(jié)果如圖7所示．由圖可見,特征維數(shù)低于256時(shí),識(shí)別精度隨著特征維數(shù)的增加明顯提升;當(dāng)特征維數(shù)大于256時(shí),識(shí)別精度提升不明顯．

圖7 特征維數(shù)對(duì)識(shí)別精度的影響

3.4 與其他算法的識(shí)別效果比較

為了與其他現(xiàn)有的動(dòng)作特征算法進(jìn)行比較,在KTH數(shù)據(jù)集上進(jìn)行動(dòng)作識(shí)別實(shí)驗(yàn),采用8×8×5像素的局部特征點(diǎn)、256維特征、k=256的Fisher向量和線性SVM分類器,識(shí)別結(jié)果對(duì)比如表2所示．可見在傳統(tǒng)動(dòng)作特征中,靜態(tài)特征HOG和動(dòng)態(tài)特征HOF相結(jié)合的方法識(shí)別結(jié)果最優(yōu),這說(shuō)明動(dòng)作識(shí)別不僅要考慮靜態(tài)信息,同時(shí)也要考慮運(yùn)動(dòng)信息．對(duì)于特征學(xué)習(xí),基于3D CNN及基于單層SFA的識(shí)別結(jié)果與傳統(tǒng)動(dòng)作特征算法相比沒有明顯優(yōu)勢(shì)．然而光流約束自編碼器取得的平均識(shí)別率為93.4%,說(shuō)明在特征編碼過(guò)程中同時(shí)考慮視頻塊中的靜態(tài)信息和運(yùn)動(dòng)信息能夠一定程度上提升動(dòng)作識(shí)別精度．

表2 KTH數(shù)據(jù)集上的識(shí)別結(jié)果

將Hollywood2數(shù)據(jù)集的視頻分辨率歸一化為160×20,考慮到Hollywood2數(shù)據(jù)集中人的外觀變化較大,采用4層金字塔,下采樣比率0.7, 8×8×5大小的局部特征點(diǎn)、256維特征、k=256的Fisher向量和線性SVM分類器,識(shí)別結(jié)果對(duì)比如表3所示．可見GRBM和SFA方法比傳統(tǒng)動(dòng)作特征算法在識(shí)別精度上均有一定提升,本文算法取得53.6%的平均識(shí)別率,較傳統(tǒng)算法有明顯提升．

表3 Hollywood2數(shù)據(jù)集上的識(shí)別結(jié)果

將UCF sports數(shù)據(jù)集的視頻分辨率也歸一化為160×20,采用4層金字塔,下采樣比率0.7, 8×8×5大小的局部特征點(diǎn)、256維特征、k=256的Fisher向量和線性SVM分類器,識(shí)別結(jié)果對(duì)比如表4所示．本文算法獲得了85.2%的平均識(shí)別率．考慮到運(yùn)動(dòng)場(chǎng)景下相機(jī)運(yùn)動(dòng)造成的光流估計(jì)偏差,采用光流梯度作全局運(yùn)動(dòng)補(bǔ)償后再提取光流約束自編碼器學(xué)習(xí)動(dòng)作特征(表中記為光流約束自編碼器+Gradient方法),使用這種方式能夠取得最高87.1%的平均識(shí)別率,說(shuō)明某些場(chǎng)景下全局運(yùn)動(dòng)會(huì)對(duì)光流造成干擾,因此直接使用光流會(huì)造成動(dòng)作特征學(xué)習(xí)不穩(wěn)定,而采用運(yùn)動(dòng)補(bǔ)償或使用光流梯度可有效提高動(dòng)作特征學(xué)習(xí)的穩(wěn)定性,從而提高識(shí)別精度．

表4 UCF sports數(shù)據(jù)集上的識(shí)別結(jié)果

4 結(jié)論

1) 本文提出了基于光流約束自編碼器的動(dòng)作特征學(xué)習(xí)算法,該算法采用視頻塊中的像素灰度和對(duì)應(yīng)光流作為學(xué)習(xí)機(jī)的輸入,不僅可以獲得視頻塊中像素灰度分布特性等靜態(tài)信息,也可以獲得視頻塊中像素灰度分布變化等運(yùn)動(dòng)信息．

2) 在公開數(shù)據(jù)集上的識(shí)別結(jié)果表明,本文提出的特征學(xué)習(xí)算法能夠在不影響特征稀疏性的情況下顯著提升特征的動(dòng)態(tài)性,而這種動(dòng)態(tài)性的提升有可能會(huì)促使識(shí)別精度的提升．

3) 在多個(gè)數(shù)據(jù)集上的識(shí)別結(jié)果對(duì)比表明,光流約束自編碼器學(xué)習(xí)算法在識(shí)別精度上優(yōu)于傳統(tǒng)動(dòng)作特征算法以及淺層動(dòng)作特征學(xué)習(xí)算法．

References)

[1]Aggarwal J K, Ryoo M S. Human activity analysis[J].ACMComputingSurveys, 2011, 43(3): 1-43. DOI:10.1145/1922649.1922653.

[2]Poppe R. A survey on vision-based human action recognition[J].ImageandVisionComputing, 2010, 28(6): 976-990. DOI:10.1016/j.imavis.2009.11.014.

[3]Weinland D, Ronfard R, Boyer E. A survey of vision-based methods for action representation, segmentation and recognition[J].ComputerVisionandImageUnderstanding, 2011, 115(2): 224-241. DOI:10.1016/j.cviu.2010.10.002.

[4]Laptev I. On space-time interest points[J].InternationalJournalofComputerVision, 2005, 64(2): 107-123. DOI:10.1007/s11263-005-1838-7.

[5]Dollár P, Rabaud V, Cottrell G, et al. Behavior recognition via sparse spatio-temporal features [C]//IEEEInternationalWorkshoponVisualSurveillanceandPerformanceEvaluationofTrackingandSurveillance. Beijing, China, 2005: 65-72. DOI:10.1109/vspets.2005.1570899.

[6]Willems G, Tuytelaars T, van Gool L. An efficient dense and scale-invariant spatio-temporal interest point detector [C]//EuropeanConferenceonComputerVision. Marseille, France, 2008: 650-663. DOI:10.1007/978-3-540-88688-4-48.

[7]Wong S F, Cipolla R. Extracting spatiotemporal interest points using global information [C]//IEEEInternationalConferenceonComputerVision. Rio de Janeiro, Brazil, 2007: 1-8. DOI:10.1109/iccv.2007.4408923.

[8]Oikonomopoulos A, Patras I, Pantic M. Spatiotemporal salient points for visual recognition of human actions [J].IEEETransactionsonSystems,Man,andCybernetics,PartB(Cybernetics), 2005, 36(3): 710-719. DOI:10.1109/tsmcb.2005.861864.

[9]Wang H,Schmid C. Action recognition with improved trajectories [C]//IEEEInternationalConferenceonComputerVision. Sydney, Australia, 2013: 3551-3558. DOI:10.1109/iccv.2013.441.

[10]Bengio Y, Courville A, Vincent P. Representation learning: A review and new perspectives[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013, 35(8): 1798-1828. DOI:10.1109/TPAMI.2013.50.

[11]Liu L, Shao L, Li X, et al. Learning spatio-temporal representations for action recognition: A genetic programming approach [J].IEEETransactionsonCybernetics, 2016, 46(1): 158-170. DOI:10.1109/TCYB.2015.2399172.

[12]Le Q V, Zou W Y, Yeung S Y, et al. Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis [C]//IEEEComputerVisionandPatternRecognition. Colorado Springs, USA, 2011: 3361-3368. DOI:10.1109/cvpr.2011.5995496.

[13]Zhang Z, Tao D. Slow feature analysis for human action recognition [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 34(3): 436-450. DOI:10.1109/TPAMI.2011.157.

[14]Sun L, Jia K, Chan T H, et al. DL-SFA: Deeply-learned slow feature analysis for action recognition [C]//IEEEConferenceonComputerVisionandPatternRecognition. Columbus, USA, 2014: 2625-2632. DOI:10.1109/cvpr.2014.336.

[15]Bengio Y. Learning deep architectures for AI[J].Foundations&TrendsinMachineLearning, 2009, 2(1):1-55. DOI: 10.1561/2200000006.

[16]Karpathy A, Toderici G, Shetty S, et al. Large-scale video classification with convolutional neural networks[C]//IEEEconferenceonComputerVisionandPatternRecognition. Columbus, USA, 2014: 1725-1732. DOI:10.1109/cvpr.2014.223.

[17]Wang X, Wang L M, Qiao Y. A comparative study of encoding, pooling and normalization methods for action recognition [C]//AsianConferenceonComputerVision. Tokyo, Japan, 2012: 572-585. DOI:10.1007/978-3-642-37431-9-44.

[18]Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J].Science, 2006, 313(5786): 504-507. DOI:10.1126/science.1127647.

[19]Natarajan B K. Sparse approximate solutions to linear systems[J].SiamJournalonComputing, 1995, 24(2):227-234. DOI: 10.1137/S0097539792240406.

[20]Fortun D, Bouthemy P, Kervrann C. Optical flow modeling and computation: A survey[J].ComputerVisionandImageUnderstanding, 2015, 134: 1-21. DOI:10.1016/j.cviu.2015.02.008.

[21]Sánchez J, Perronnin F, Mensink T, et al. Image classification with the Fisher vector: Theory and practice[J].InternationalJournalofComputerVision, 2013, 105(3): 222-245. DOI:10.1007/s11263-013-0636-x.

Action recognition based on optical flow constrained auto-encoder

Li Yawei1Jin Lizuo1Sun Changyin1Cui Tong2

(1School of Automation, Southeast University, Nanjing 210096, China) (2The 28th Research Institute of CETC, Nanjing 210007, China)

To improve the capability of feature learning in extracting motion information such as amplitudes and directions and to increase the recognition accuracy, an optical flow constrained auto-encoder is proposed to learn action features. The optical flow constrained auto-encoder is an unsupervised feature learning algorithm based on single layer regularized auto-encoder. The algorithm uses the neural network to reconstruct the video pixels and use the corresponding optical flows in video blocks as a revised regularization. The neural network learns the appearances of the action and encodes the motion information simultaneously. The associated codes are used as the final action features. The experimental results on several well-known benchmark datasets show that the optical flow constrained auto-encoder can detect the motion parts efficiently. On the same recognition framework, the proposed algorithm outperforms the state-of-the-art single layer action feature learning algorithms.

action recognition; feature learning; regularized auto-encoder; optical flow constrained auto-encoder

10.3969/j.issn.1001-0505.2017.04.011

2016-11-06. 作者簡(jiǎn)介: 李亞瑋(1987—)，男，博士生；金立左(聯(lián)系人)，男，博士，副教授， jinlizuo@qq.com.

國(guó)家自然科學(xué)基金資助項(xiàng)目 (61402426).

李亞瑋,金立左,孫長(zhǎng)銀，等.基于光流約束自編碼器的動(dòng)作識(shí)別[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,47(4):691-696.

10.3969/j.issn.1001-0505.2017.04.011.

TP181

A

1001-0505(2017)04-0691-06