胡建芳 王熊輝 鄭偉詩(shī) 賴(lài)劍煌

從圖像視頻中分析和理解人體行為是計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域的重要研究課題之一,其在安全監(jiān)控、機(jī)器人設(shè)計(jì)、無(wú)人駕駛和智能家庭設(shè)計(jì)等方面都有著非常重要的應(yīng)用.近年來(lái),由于圖像視頻拍攝設(shè)備制造技術(shù)的飛速發(fā)展,人們可獲得的視頻圖像語(yǔ)言越來(lái)越趨于多樣化和復(fù)雜化,其獲得途徑也越來(lái)越便捷化.多模態(tài)視頻圖像同步記錄設(shè)備的快速發(fā)展給相關(guān)的計(jì)算機(jī)智能應(yīng)用技術(shù),特別是多媒體視頻安全監(jiān)控方面,提供了新的發(fā)展契機(jī),一系列的基于多模態(tài)攝像頭的研究課題和應(yīng)用層出不窮.特別是在廉價(jià)RGB-D(“RGB-D”指同時(shí)使用RGB、深度和骨架三種模態(tài)數(shù)據(jù))攝像頭出現(xiàn)之后,人們開(kāi)始嘗試用一個(gè)新的途徑(深度信息)來(lái)解決傳統(tǒng)的計(jì)算機(jī)視覺(jué)、模式識(shí)別和計(jì)算機(jī)圖形學(xué)問(wèn)題[1?6].

與傳統(tǒng)的RGB數(shù)據(jù)相比,多模態(tài)的RGB-D數(shù)據(jù)可以給行為分析方面的研究帶來(lái)不少便利.RGB圖像數(shù)據(jù)容易受拍攝環(huán)境,光照和行為人衣著紋理等與行為無(wú)關(guān)的外界因素影響,直接從RGB視頻圖像中推斷行為人的骨架姿勢(shì)、輪廓信息和一些關(guān)鍵動(dòng)作信息是件很困難的事情,從而導(dǎo)致很多視頻分析和行為動(dòng)作分析技術(shù)在實(shí)際生活中沒(méi)有得到很好的應(yīng)用[7].如圖1所示,在深度視頻圖像中,因行人與周?chē)呐臄z場(chǎng)景通常具有很高的辨識(shí)度,且所獲得的深度數(shù)據(jù)不容易受衣著的影響,從中獲得行人輪廓骨架信息簡(jiǎn)單方便準(zhǔn)確很多;而RGB視頻中的顏色信息能更細(xì)致地刻畫(huà)物體表觀(guān)紋理特征,這些在處理涉及人與物體交互的行為[1,8]時(shí)顯得特別重要.多模態(tài)RGB-D數(shù)據(jù)雖然可以為行為識(shí)別研究提供更多的信息,但同時(shí)也給相關(guān)的視頻分析研究帶來(lái)了新的挑戰(zhàn).首先,不同模態(tài)數(shù)據(jù)從不同角度刻畫(huà)行為信息,傳統(tǒng)RGB視頻圖像分析領(lǐng)域中的常用特征如HOG(Histogram of oriented gradient)[9]、SIFT(Scale invariant feature transform)[10]、LBP(Local binary pattern)[11]等并不一定適用于其他模態(tài)的視頻圖像數(shù)據(jù),怎樣從深度攝像儀器拍攝的深度數(shù)據(jù)或者3維骨架數(shù)據(jù)中挖掘出有效動(dòng)作變化信息進(jìn)行行為表示及識(shí)別,是該領(lǐng)域的一個(gè)研究難點(diǎn).其次,多模態(tài)RGB-D攝像數(shù)據(jù)包含多個(gè)模態(tài),怎樣才能更有效地合并不同模態(tài)的信息以獲得更多的行為上下文內(nèi)容信息(Context)使識(shí)別能達(dá)到更好的效果,也是RGB-D行為識(shí)別的研究熱點(diǎn)之一.

為了克服上述挑戰(zhàn),已經(jīng)提出了很多RGB-D行為識(shí)別算法,它們?cè)跇?gòu)建深度特征描述子、三維骨架動(dòng)態(tài)特征提取、多模態(tài)特征融合等方面采用了不同的策略.本文分別從數(shù)據(jù)、模型方法和實(shí)驗(yàn)結(jié)果分析三個(gè)方面比較系統(tǒng)全面地介紹了目前RGB-D行為識(shí)別研究現(xiàn)狀.在模型方法介紹方面,本文按照模型所使用的數(shù)據(jù)模態(tài)對(duì)現(xiàn)有的方法進(jìn)行了分類(lèi)介紹,并結(jié)合多個(gè)公共數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)結(jié)果分析了相關(guān)方法的優(yōu)缺點(diǎn).

圖1 RGB-D數(shù)據(jù)樣例(圖中為SYSU 3DHOI數(shù)據(jù)庫(kù)中的部分樣本,從上到下依次為彩色數(shù)據(jù)(RGB),深度數(shù)據(jù)(Depth)和骨架數(shù)據(jù)(Skeleton),從左到右的所對(duì)應(yīng)的行為分別為“喝水”、“打電話(huà)”、“背包”、“坐下”、“打掃”.從圖中可以看到,每種模態(tài)的數(shù)據(jù)從不同角度刻畫(huà)行為內(nèi)容.)Fig.1 Some RGB-D samples captured by Kinect(This figure presents some samples from SYSU 3DHOI set.The examples for RGB,depth and skeleton modalities are provided in the first,second,and third rows,respectively.Each column in the figure gives a sample of action “drinking”,“calling”,“packing”,“sitting down”,and “sweeping”,respectively.As shown,each of the modalities characterizes actions from one perspective.)

1 RGB-D行為公共數(shù)據(jù)庫(kù)介紹

與其他數(shù)據(jù)驅(qū)動(dòng)為主的視覺(jué)應(yīng)用問(wèn)題一樣,數(shù)據(jù)在行為識(shí)別中也起著非常重要的作用.為了促進(jìn)RGB-D行為識(shí)別方面的研究,國(guó)內(nèi)外研究者從不同研究角度收集了大量的RGB-D行為數(shù)據(jù)庫(kù),不同的數(shù)據(jù)庫(kù)包含了用Kinect拍攝的不同應(yīng)用背景的行為視頻數(shù)據(jù).公共數(shù)據(jù)庫(kù)的發(fā)展在一定程度上反映了研究主流方法的發(fā)展.在深度學(xué)習(xí)被大范圍應(yīng)用到RGB-D行為識(shí)別之前,收集的RGB-D行為數(shù)據(jù)庫(kù)都是相對(duì)比較小規(guī)模的,其總樣本數(shù)不超過(guò)5000,行為類(lèi)別數(shù)也不超過(guò)20.深度學(xué)習(xí)興起之后,大規(guī)模的RGB-D行為數(shù)據(jù)也開(kāi)始出現(xiàn),以配合深度學(xué)習(xí)算法應(yīng)用.下面,本文將對(duì)RGB-D行為識(shí)別研究領(lǐng)域中具有一定代表性的數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)要介紹.

1.1 MSR日常行為數(shù)據(jù)庫(kù)

MSR日常行為數(shù)據(jù)庫(kù)[12]是由Wang等在微軟雷德蒙研究院所創(chuàng)建,其包含10個(gè)行為人拍攝的16種日常行為視頻(如喝水、看書(shū)、鼓掌等),每種行為都以站立和坐著的方式重復(fù)拍攝2次.因此,該庫(kù)總共有320個(gè)視頻,每個(gè)視頻都記錄了相應(yīng)的深度視頻、RGB視頻和三維骨架序列數(shù)據(jù).特別地,該庫(kù)中的大部分行為都包含人與物體之間的交互動(dòng)作.為了測(cè)試模型性能,數(shù)據(jù)庫(kù)構(gòu)建者采用了傳統(tǒng)的個(gè)體交叉的驗(yàn)證方式進(jìn)行實(shí)驗(yàn)驗(yàn)證,即將其中5個(gè)行為人拍攝的160個(gè)行為視頻用來(lái)訓(xùn)練模型,剩下行為人相關(guān)的160個(gè)視頻用來(lái)測(cè)試.

1.2 SYSU 3DHOI行為數(shù)據(jù)庫(kù)

SYSU 3DHOI[13]是一個(gè)專(zhuān)門(mén)關(guān)注于人與物體交互行為的數(shù)據(jù)庫(kù).為了搭建該數(shù)據(jù)庫(kù),來(lái)自于中山大學(xué)的Hu等邀請(qǐng)了40位參與者盡可能自由地做12種不同的交互行為(如喝水、倒水、打電話(huà)和玩手機(jī)等).這12個(gè)交互行為主要涉及6種不同的被操作物體:手機(jī)、椅子、書(shū)包、錢(qián)包、掃把和拖把,每種物體都與其中2個(gè)不同的交互行為相關(guān).因此,該數(shù)據(jù)庫(kù)總共包含有480個(gè)RGB-D視頻.創(chuàng)建人設(shè)置了兩種不同的測(cè)試方案.第一種測(cè)試為:從每個(gè)行為類(lèi)中隨機(jī)選取一半的視頻作為訓(xùn)練集,剩下的一半作為測(cè)試.第二種測(cè)試為:隨機(jī)選取20個(gè)個(gè)體的視頻數(shù)據(jù)作為訓(xùn)練,剩下的個(gè)體視頻進(jìn)行測(cè)試.第二種測(cè)試為傳統(tǒng)的個(gè)體交叉認(rèn)證.上述的每種測(cè)試方案都重復(fù)進(jìn)行30次后取平均結(jié)果作為最終識(shí)別效果.

1.3 多視角3D行為數(shù)據(jù)庫(kù)

多視角3D行為數(shù)據(jù)庫(kù)[14]是由西安理工大學(xué)的Wei等于2013年等建立.創(chuàng)建該庫(kù)主要初衷是為了研究跨視角的RGB-D行為識(shí)別問(wèn)題.為了拍攝該庫(kù),創(chuàng)建者邀請(qǐng)了8個(gè)個(gè)體實(shí)施預(yù)先定義好的8種交互行為(用手機(jī)打電話(huà)、用杯子喝水、倒水、打水、按按鈕、看書(shū)、用鼠標(biāo)和敲鍵盤(pán)等),每個(gè)行為重復(fù)拍攝大概20次左右.所有個(gè)體的行為實(shí)施過(guò)程被三個(gè)Kinect攝像頭從不同的角度同時(shí)捕捉拍攝.該庫(kù)是個(gè)比較大的規(guī)模的行為庫(kù),其總共包含3 815個(gè)行為序列,383036個(gè)RGB-D視頻幀.每個(gè)行為類(lèi)別對(duì)應(yīng)有477個(gè)左右的行為視頻.作者在其主頁(yè)上公開(kāi)了部分的行為視頻數(shù)據(jù).

1.4 CAD60行為數(shù)據(jù)庫(kù)

CAD60行為數(shù)據(jù)庫(kù)[15]是由康奈爾大學(xué)的Sung等拍攝.該庫(kù)總共包含由Kinect拍攝的68個(gè)視頻.為了拍攝該數(shù)據(jù)庫(kù),Sung等邀請(qǐng)了4個(gè)行為人分別進(jìn)行13種特定的行為(含靜止站立、打電話(huà)等),每個(gè)行為樣本可能涉及如下5種場(chǎng)景之一:辦公室、廚房、臥室、洗浴間和客廳.本數(shù)據(jù)庫(kù)采用了針對(duì)每種場(chǎng)景的留一法交叉驗(yàn)證的方式對(duì)模型進(jìn)行訓(xùn)練測(cè)試,即對(duì)于一種特定場(chǎng)景,其中三個(gè)行為個(gè)體的視頻樣本用來(lái)訓(xùn)練,剩下的用來(lái)測(cè)試.這樣可以保證訓(xùn)練集和測(cè)試集中不會(huì)出現(xiàn)同一個(gè)人.因此,該庫(kù)中總共涉及20次訓(xùn)練測(cè)試,平均識(shí)別效果作為最終的識(shí)別結(jié)果.后來(lái),該庫(kù)被進(jìn)一步拓展為CAD120[16].

表1 現(xiàn)有RGB-D行為數(shù)據(jù)庫(kù)的對(duì)比(更完整的數(shù)據(jù)庫(kù)介紹請(qǐng)參見(jiàn)文獻(xiàn)[17])Table 1 Comparison of some existing RGB-D action datasets(Please refer to[17]for more details about the datasets)

1.5 NTU大規(guī)模行為數(shù)據(jù)庫(kù)

NTU大規(guī)模數(shù)據(jù)庫(kù)[25]是目前包含行為樣本數(shù)目最多的RGB-D數(shù)據(jù)庫(kù),由來(lái)自于新加坡南洋理工大學(xué)的Shahroudy等于2016年創(chuàng)建.該庫(kù)由第二代Kinect拍攝,因而其深度和彩色視頻的分辨率比前面兩個(gè)庫(kù)大.其包含來(lái)自于60個(gè)行為類(lèi)3種不同視覺(jué)下的56 880個(gè)RGB-D視頻.與其他數(shù)據(jù)庫(kù)相比,該庫(kù)中考慮的行為更為復(fù)雜,它們可能包含個(gè)體的手勢(shì)動(dòng)作(如跳躍、鼓掌等),人與物體交互的行為(如喝水、吃零食等)和人與人交互的行為(如擁抱、用手指指著別人等).為了實(shí)驗(yàn)測(cè)試,作者設(shè)置了兩種不同的訓(xùn)練測(cè)試集劃分:個(gè)體交叉和視角交叉.在個(gè)體交叉中,20個(gè)個(gè)體的行為數(shù)據(jù)被用來(lái)作為訓(xùn)練集,剩下的樣本作為測(cè)試集.相應(yīng)的,視角交叉主要在視角2和3中拍攝的樣本進(jìn)行模型訓(xùn)練,在第1個(gè)視角樣本進(jìn)行測(cè)試.

除了以上列舉的公共數(shù)據(jù)庫(kù)外,還有其他的一些比較有意義的RGB-D行為數(shù)據(jù)庫(kù),本文僅在表1中給出一些簡(jiǎn)要的對(duì)比信息,有興趣的研究者可以到相關(guān)論文中了解更多詳情.

2 RGB-D行為識(shí)別模型介紹

由Kinect拍攝的RGB-D行為數(shù)據(jù)與傳統(tǒng)的RGB視頻數(shù)據(jù)具有很大的不同,其主要包含深度視頻、三維骨架和彩色視頻三種模態(tài)的數(shù)據(jù),每種數(shù)據(jù)有很大的不同,從不同角度刻畫(huà)了行為內(nèi)容信息.由于RGB-D視頻數(shù)據(jù)中的彩色圖像信息分辨率比較低,導(dǎo)致單純依靠RGB視頻中的常用行為識(shí)別方法并不能得到比較理想的結(jié)果[26].因此,現(xiàn)有的RGB-D行為識(shí)別系統(tǒng)需要針對(duì)RGB-D數(shù)據(jù)特點(diǎn)發(fā)展對(duì)應(yīng)的模型方法.接下來(lái),本文將按模型所使用的數(shù)據(jù)模態(tài)進(jìn)行劃分,分別介紹RGB-D行為識(shí)別方法.

2.1 基于深度模態(tài)數(shù)據(jù)的行為識(shí)別模型

為了構(gòu)建基于深度視頻數(shù)據(jù)的行為識(shí)別模型,一個(gè)很直接的方式就是將RGB圖像視頻中常用的特征描述方式拓展應(yīng)用到深度圖像視頻中,使得拓展后的特征描述能夠比較好地描述圖像中的幾何形狀信息.這方面最具有代表性的工作是文獻(xiàn)[18,20,26?27].這些方法試圖將圖像中的HOG(Histogram of oriented gradient)特征拓展成4維空間中的帶方向直方圖特征HON4D(Histogram of oriented normal),該特征主要刻畫(huà)場(chǎng)景中的曲面法向量在4維空間上的分布信息.具體地,該方法把深度圖像內(nèi)容看成一個(gè)三維空間上的曲面,相應(yīng)的深度視頻則可以定義為隨時(shí)間變化的曲面流z=f(x,y,t).曲面流在x,y,z,t4維空間上的法向量為法向量單位化之后,可以表示為.通過(guò)統(tǒng)計(jì)深度視頻中4維法向量n在每個(gè)投影區(qū)間上的頻率信息,可以得到視頻的直方圖特征.為了得到更加具有判別性的直方圖特征,作者們同時(shí)提出了一種可學(xué)習(xí)的直方圖編碼方式以自適應(yīng)地確定投影區(qū)間.Liu等[27]對(duì)該方法進(jìn)行了進(jìn)一步的拓展,通過(guò)計(jì)算局部深度時(shí)空方體中的法向量直方圖以得到更多的有效幾何信息.

Wang等在文獻(xiàn)[2]中通過(guò)隨機(jī)采樣大量的局部深度視頻方體,計(jì)算每個(gè)方體內(nèi)包含點(diǎn)云1即將深度圖像像素點(diǎn)以三維坐標(biāo)的形式展示.的個(gè)數(shù)來(lái)刻畫(huà)場(chǎng)景下的點(diǎn)云幾何分布.Lu等[28]則直接比較隨機(jī)采樣得到的像素對(duì)之間的深度大小關(guān)系來(lái)表示形狀.這些方法試圖通過(guò)對(duì)場(chǎng)景中的幾何形狀信息進(jìn)行建模,獲取行為實(shí)施過(guò)程中的動(dòng)作變化信息.在建模過(guò)程中,這些方法都忽略了紋理和人體姿勢(shì)信息,加上Kinect獲取的深度數(shù)據(jù)具有比較多的噪聲,從而導(dǎo)致這些模型在很多數(shù)據(jù)庫(kù)上的效果并不是特別理想.

2.2 基于三維骨架模態(tài)數(shù)據(jù)的行為識(shí)別模型

得益于微軟開(kāi)發(fā)的三維骨架實(shí)時(shí)捕捉系統(tǒng)[29],系統(tǒng)可以比較準(zhǔn)確地從深度視頻數(shù)據(jù)中獲取場(chǎng)景中行為人的三維骨架信息.研究發(fā)現(xiàn),動(dòng)態(tài)的三維骨架序列數(shù)據(jù)也能比較好地用來(lái)表示人體動(dòng)作信息.而且,在建模過(guò)程中,基于三維骨架構(gòu)建的行為識(shí)別模型具有一定的魯棒性,不受紋理、背景等可能與行為無(wú)關(guān)因素的影響.該類(lèi)方法主要致力于挖掘各個(gè)關(guān)鍵骨架點(diǎn)位置[19,30?32],或者骨架點(diǎn)之間相對(duì)位置[33?35],或者它們的組合[22,36?37]的動(dòng)態(tài)信息進(jìn)行識(shí)別.在深度學(xué)習(xí)應(yīng)用于RGB-D行為識(shí)別之前,傅里葉變換被廣泛用來(lái)提取骨架序列的動(dòng)態(tài)信息[1,12?13],在建模過(guò)程中,每個(gè)特征維度隨著時(shí)間變化信息被當(dāng)成一個(gè)單獨(dú)的時(shí)間序列分別提取對(duì)應(yīng)的傅里葉低頻信息.文獻(xiàn)[38]通過(guò)將身體部位的位置信息投射到高維李群空間,運(yùn)用李代數(shù)中的運(yùn)算技巧從時(shí)間序列數(shù)據(jù)中挖掘動(dòng)態(tài)信息.上述基于手工設(shè)計(jì)特征的算法往往不能捕捉到判別性的動(dòng)作信息,因而在很多行為數(shù)據(jù)庫(kù)中的效果不是很理想.

近幾年隨著GPU計(jì)算能力的提升,以及大規(guī)模RGB-D行為數(shù)據(jù)庫(kù)(NTU大規(guī)模數(shù)據(jù)庫(kù)[25])的出現(xiàn),涌現(xiàn)出了大量基于深度學(xué)習(xí)的方法,應(yīng)用最廣泛的是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)和卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network,CNN).LSTM(Long short-term memory)作為RNN的一種變體在處理長(zhǎng)時(shí)間序列數(shù)據(jù)時(shí)有著得天獨(dú)厚的優(yōu)勢(shì),其能捕捉序列在較長(zhǎng)時(shí)間內(nèi)的相關(guān)性.Du等[39]在2015就使用LSTM建立編碼器對(duì)骨架動(dòng)作進(jìn)行識(shí)別和預(yù)測(cè).其計(jì)算公式如下:

其中,xt是t時(shí)刻的輸入,it,ft,ot,ut分別代表輸入門(mén)、遺忘門(mén)、輸出門(mén)和輸入控制門(mén),ct為細(xì)胞狀態(tài),用來(lái)儲(chǔ)存長(zhǎng)期的時(shí)序信息,ht為隱藏狀態(tài),代表元素乘積.LSTM使用門(mén)來(lái)控制長(zhǎng)時(shí)間信息和短時(shí)間信息的流動(dòng),一定程度上消除了RNN的梯度消失問(wèn)題,所以能處理長(zhǎng)時(shí)間的依賴(lài)關(guān)系.

然而傳統(tǒng)的RNN(LSTM)忽視了骨架數(shù)據(jù)中的空間信息,即骨架點(diǎn)間的相對(duì)位置.文獻(xiàn)[32]考慮人體骨架的空間結(jié)構(gòu),將數(shù)據(jù)分為軀干和四肢5個(gè)部分,分別使用5個(gè)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bidirectional recurrent neural network,BRNN)提取特征,然后將特征逐層合并送往下一層BRNN進(jìn)行訓(xùn)練,經(jīng)過(guò)4層BRNN之后便完成了對(duì)人體各部位的空間關(guān)系從局部到整體的建模,最后將整體的特征送入分類(lèi)器進(jìn)行分類(lèi),具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2.這種分層RNN模型一定程度上挖掘了骨架數(shù)據(jù)的空間特征,缺點(diǎn)在于由于模型過(guò)大,參數(shù)量過(guò)多,只有最后一層使用了雙向LSTM,前面僅使用了普通的雙向RNN,大大降低了模型的性能.

圖2 基于分層循環(huán)神經(jīng)網(wǎng)絡(luò)的三維骨架行為識(shí)別系統(tǒng)[32]Fig.2 Hierarchical recurrent neural network for skeleton based action recognition[32]

為了更加充分地挖掘骨架數(shù)據(jù)的空間信息,文獻(xiàn)[40]提出了時(shí)空LSTM模型.傳統(tǒng)的LSTM僅考慮時(shí)間維度使用細(xì)胞狀態(tài)來(lái)儲(chǔ)存長(zhǎng)期的信息,對(duì)于任意時(shí)刻的輸入,使用遺忘門(mén)、輸入門(mén)和輸出門(mén)丟棄或者增加信息,而在時(shí)空LSTM中,如圖3所示,當(dāng)前時(shí)刻當(dāng)前骨架點(diǎn)的狀態(tài)hj,t不僅與前一時(shí)刻的狀態(tài)hj,t?1有關(guān),還與前一骨架點(diǎn)的狀態(tài)hj?1,t有關(guān),作者使用兩個(gè)遺忘門(mén)分別控制時(shí)間和空間對(duì)當(dāng)前狀態(tài)的影響,以此來(lái)同時(shí)挖掘空間特征和時(shí)間特征.此外,骨架點(diǎn)也不僅僅是按照傳統(tǒng)順序排列,考慮到人體動(dòng)作往往是由部分相鄰的骨架點(diǎn)所決定的,作者提出了循環(huán)遍歷樹(shù)結(jié)構(gòu)進(jìn)一步挖掘骨架點(diǎn)的空間信息.時(shí)空LSTM計(jì)算流程如下:

在行為識(shí)別中,不同時(shí)刻的不同骨架點(diǎn)對(duì)于識(shí)別提供的信息量是非等同的,所以注意力模型也被廣泛地應(yīng)用于此.文獻(xiàn)[41]分別使用兩個(gè)網(wǎng)絡(luò)來(lái)訓(xùn)練空域注意力模型和時(shí)域注意力模型,空域注意力模型作用在網(wǎng)絡(luò)的輸入骨架點(diǎn)上,時(shí)域注意力模型作用于主網(wǎng)絡(luò)的輸出特征上,從而對(duì)不同時(shí)序和不同骨架點(diǎn)的信息進(jìn)行加權(quán),最后實(shí)現(xiàn)端到端的行為識(shí)別.可視化結(jié)果表明不同時(shí)域注意力模型會(huì)對(duì)更具判別力的幀賦予更大的權(quán)重,對(duì)動(dòng)作相關(guān)性較大的骨架點(diǎn)也會(huì)賦予更大的權(quán)重,整體和人的感知一致,圖4為文獻(xiàn)[41]在“拳擊”這一動(dòng)作中,不同時(shí)刻不同節(jié)點(diǎn)的數(shù)據(jù)對(duì)目標(biāo)行為的重要程度.

圖3 時(shí)空LSTM[40]Fig.3 Spatio-temporal LSTM[40]

此外文獻(xiàn)[42]還使用LSTM 訓(xùn)練三維空間下的坐標(biāo)變換矩陣,以此來(lái)獲取最佳坐標(biāo)系下的骨架數(shù)據(jù),進(jìn)而提升識(shí)別性能,如圖5所示三維歐氏空間下的坐標(biāo)變換可以使用一個(gè)旋轉(zhuǎn)矩陣Rt和一個(gè)平移向量dt表示.繞Z軸旋轉(zhuǎn)β弧度的坐標(biāo)變換矩陣為:

以上均為使用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN對(duì)時(shí)序數(shù)據(jù)進(jìn)行建模的方法,由于骨架數(shù)據(jù)不僅存在時(shí)間維度,也存在空間維度,所以一個(gè)骨架數(shù)據(jù)可以使用一個(gè)二維的矩陣來(lái)儲(chǔ)存.而近幾年CNN模型在圖像識(shí)別,目標(biāo)檢測(cè)等領(lǐng)域中愈發(fā)成熟,所以近兩年也出現(xiàn)了很多基于CNN的特征提取模型,取得了甚至比RNN更好的識(shí)別效果.例如文獻(xiàn)[43]首先計(jì)算全部骨架點(diǎn)與4個(gè)重要骨架點(diǎn)的相對(duì)距離,然后將三維的笛卡爾坐標(biāo)轉(zhuǎn)化為球坐標(biāo),經(jīng)過(guò)雙線(xiàn)性插值得到若干個(gè)固定大小的圖片,使用在ImageNet上預(yù)訓(xùn)練好的VGG19[44]模型提取特征,經(jīng)過(guò)時(shí)域中值池化后再使用全連接層(Fully connected layer,FC)進(jìn)行分類(lèi),在多個(gè)庫(kù)中均取得了比基于RNN的識(shí)別算法更好的效果.

圖4 不同時(shí)刻不同節(jié)點(diǎn)和行為的相關(guān)程度[41]Fig.4 The correlation between different skeleton joints and actions at different moments[41]

不同的行為中與之密切相關(guān)的骨架點(diǎn)也有所不同,所蘊(yùn)含的局部特征也不同,這種特征稱(chēng)之為共現(xiàn)特征.傳統(tǒng)的CNN使用卷積核挖掘局部信息,但只有卷積核內(nèi)的相鄰骨架點(diǎn)才被認(rèn)為是在學(xué)習(xí)共現(xiàn)特征,文獻(xiàn)[45]提出了一種端到端的共現(xiàn)特征學(xué)習(xí)框架,它首先在時(shí)間尺度上學(xué)習(xí)每個(gè)骨架點(diǎn)的特征,然后將輸出進(jìn)行轉(zhuǎn)置,將骨架點(diǎn)維度和通道維度互換,在后續(xù)的卷積層中聚合了所有關(guān)節(jié)的全局特征,實(shí)驗(yàn)表明這種方法能比傳統(tǒng)的CNN挖掘更多的共現(xiàn)信息.

總之,數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法給骨架行為識(shí)別領(lǐng)域帶來(lái)了長(zhǎng)足的進(jìn)步,雖然骨架數(shù)據(jù)并非傳統(tǒng)意義上的圖像,但CNN強(qiáng)大的特征提取能力也使其越來(lái)越受研究者青睞.此外,在遷移學(xué)習(xí)的幫助下,預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)比如VGG、ResNet[46]等能大大提升網(wǎng)絡(luò)的訓(xùn)練速度,相信深度學(xué)習(xí)方法在該研究領(lǐng)域還會(huì)有更進(jìn)一步的突破.

2.3 基于多模態(tài)融合的行為識(shí)別模型

基于RGB-D視頻融合的模型主要難點(diǎn)在于怎么去融合從不同模態(tài)數(shù)據(jù)中得到的特征.當(dāng)然不同模態(tài)特征的設(shè)計(jì)對(duì)融合系統(tǒng)的識(shí)別效果影響很大,不同的融合系統(tǒng)對(duì)特征的要求也不一.本節(jié)主要介紹基于多模態(tài)特征融合的識(shí)別方法.

文獻(xiàn)[12]采用了從三維深度圖像和骨架點(diǎn)提取到的兩種特征:深度局部占有信息和3D骨架點(diǎn)不變特征.從深度圖像提取局部占有特征的過(guò)程如下:1)針對(duì)每個(gè)骨架點(diǎn),從三維深度圖像中提取其鄰近的局部方體;2)按x,y,z軸方向分別將該局部方體分成Nx×Ny×Nz個(gè)空間網(wǎng)格(bins);3)針對(duì)每個(gè)網(wǎng)格binxyz,計(jì)算網(wǎng)格包含的像素點(diǎn)的個(gè)數(shù)并利用Sigmoid函數(shù)對(duì)其進(jìn)行規(guī)則化,最后得到每個(gè)bin的特征表示.將所有bin的特征表示串接到一起組成對(duì)當(dāng)前幀的深度信息的局部占有特征;4)將視頻序列的所有幀的局部占有特征當(dāng)成一個(gè)時(shí)間序列,提取其對(duì)應(yīng)的傅里葉時(shí)域金字塔(Temporal pyramid Fourier,TPF)低頻信息作為該節(jié)點(diǎn)的局部占有特征.3D節(jié)點(diǎn)不變特征的提取方法如下:對(duì)于每個(gè)關(guān)節(jié)點(diǎn),首先計(jì)算它與其他節(jié)點(diǎn)的相對(duì)位置(即3維坐標(biāo)差),然后提取其對(duì)應(yīng)的金字塔傅里葉低頻信息作為該節(jié)點(diǎn)的節(jié)點(diǎn)不變特征.最后,作者使用多核學(xué)習(xí)算法(Multiple kernel learning,MKL)挖掘出一些最具有代表性的骨架點(diǎn)進(jìn)行融合實(shí)現(xiàn)對(duì)視頻表示.如圖6所示,該方法的優(yōu)勢(shì)在于其能結(jié)合深度特征和骨架特征,利用判別學(xué)習(xí)方法從不同模態(tài)特征中選取出最有價(jià)值的行為特征.然而,它沒(méi)有深入考慮不同特征之間的內(nèi)在結(jié)構(gòu)聯(lián)系,這個(gè)缺點(diǎn)限制了該方法在RGB-D行為識(shí)別方面的效果.

圖5 學(xué)習(xí)一個(gè)坐標(biāo)轉(zhuǎn)移矩陣轉(zhuǎn)換骨架數(shù)據(jù)的坐標(biāo)系[42]Fig.5 Learning an optimal coordinate transition matrix to transform the coordinate system[42]

文獻(xiàn)[47]考慮挖掘多個(gè)身體部位的多模態(tài)特征之間內(nèi)部的結(jié)構(gòu)信息,以選取到對(duì)識(shí)別最優(yōu)的特征組合進(jìn)行識(shí)別.在建模過(guò)程中,作者提出了一種層次混合范數(shù),對(duì)特征按部位和模態(tài)進(jìn)行層次劃分,對(duì)不同的層次使用不同的規(guī)則范數(shù)進(jìn)行歸一化,從而挖掘特征之間的結(jié)構(gòu)聯(lián)系.

文獻(xiàn)[1]通過(guò)融合從RGB、深度視頻和3維骨架序列中提取到的動(dòng)態(tài)特征實(shí)現(xiàn)識(shí)別.其中RGB、深度視頻方面的動(dòng)態(tài)特征構(gòu)建如下:1)從骨架點(diǎn)對(duì)應(yīng)的人體部位周?chē)崛∩疃?彩色)圖像HOG特征;2)提取視頻對(duì)應(yīng)的HOG特征序列的傅里葉低頻系數(shù)作為特征表示.考慮到不同模態(tài)的特征具有一定的異質(zhì)性,即特征具有不同的維度,不同的性質(zhì).作者通過(guò)提出一種基于多任務(wù)學(xué)習(xí)的異質(zhì)特征學(xué)習(xí)模型來(lái)挖掘不同特征之間的共享成分和私有成分(圖7),在多個(gè)數(shù)據(jù)庫(kù)中(如SYSU 3DHOI[1],MSRDaily[12]和CAD60[15])達(dá)到比較好的識(shí)別效果.同時(shí),作者還發(fā)現(xiàn),通過(guò)引入遷移學(xué)習(xí)技術(shù),利用其他行為數(shù)據(jù)庫(kù)作為輔助庫(kù)可以穩(wěn)定提升目標(biāo)數(shù)據(jù)庫(kù)中的特征學(xué)習(xí)效果.

圖6 學(xué)習(xí)判別Actionlet集合進(jìn)行行為識(shí)別[1]Fig.6 Learning actionlet ensemble for 3D human action recognition[1]

在文獻(xiàn)[1]的基礎(chǔ)上,文獻(xiàn)[48]進(jìn)一步發(fā)展了一個(gè)共享–私有特征學(xué)習(xí)的深度學(xué)習(xí)框架.在該深度框架里,作者定義了一個(gè)網(wǎng)絡(luò)層將模態(tài)特征分解為共享成分和私有成分.為了能夠提升學(xué)習(xí)效率,作者對(duì)分解后的特征加以了稀疏的約束.多個(gè)層次的組合構(gòu)成了一個(gè)深度的共享–私有特征學(xué)習(xí)框架.

總體而言,以上方法能較好地利用不同模態(tài)的特征數(shù)據(jù),且在現(xiàn)有RGB-D行為數(shù)據(jù)庫(kù)上也取得了非常不錯(cuò)的結(jié)果.大規(guī)模行為數(shù)據(jù)庫(kù)的出現(xiàn)也促進(jìn)了相關(guān)的深度學(xué)習(xí)算法發(fā)展,但以數(shù)據(jù)和任務(wù)為驅(qū)動(dòng)的深度學(xué)習(xí)技術(shù)并沒(méi)有得到很好的應(yīng)用,現(xiàn)有工作基本把特征融合和特征提取分成了兩個(gè)隔離的部分,相互之間不能促進(jìn).基于端到端的多模態(tài)特征融合技術(shù)是未來(lái)需要進(jìn)一步發(fā)展的技術(shù),相信其在RGB-D行為識(shí)別中能夠取得更好的結(jié)果.

圖7 多模態(tài)異質(zhì)特征共享結(jié)構(gòu)與私有結(jié)構(gòu)同步學(xué)習(xí)模型[1]Fig.7 Jointly learning heterogeneous features for RGB-D activity recognition[1]

在實(shí)際應(yīng)用中可能出現(xiàn)部分模態(tài)數(shù)據(jù)丟失或者很難獲取的情況.針對(duì)部分模態(tài)數(shù)據(jù)缺失的多模態(tài)融合學(xué)習(xí)方法研究有著重要的意義.例如,在文獻(xiàn)[49]中,作者在模型訓(xùn)練的過(guò)程中引入了姿勢(shì)(骨架)信息以學(xué)習(xí)到更合適的視頻行為注意力(Attention)參數(shù),而在測(cè)試過(guò)程中不需要輸入姿勢(shì)信息.

3 現(xiàn)有RGB-D行為識(shí)別方法的實(shí)驗(yàn)對(duì)比與分析

前面章節(jié)主要介紹了RGB-D行為識(shí)別領(lǐng)域中常用的公共數(shù)據(jù)庫(kù)和近些年來(lái)提出的相關(guān)識(shí)別方法及其發(fā)展.本節(jié)將結(jié)合NTU數(shù)據(jù)庫(kù),MSR日常行為數(shù)據(jù)庫(kù)和SYSU 3DHOI數(shù)據(jù)庫(kù)具體對(duì)比分析相關(guān)識(shí)別模型.

表2 在NTU RGB-D數(shù)據(jù)庫(kù)上各種方法的識(shí)別結(jié)果對(duì)比(“RGB-D”指同時(shí)使用RGB、深度和骨架三種模態(tài)數(shù)據(jù))Table 2 Comparison of action recognition accuracies on the NTU RGB-D dataset(“RGB-D” indicates that the approach employs all the RGB,depth,and skeleton modalities for recognition)

表2～表4分別給出了相關(guān)方法在NTU大規(guī)模行為數(shù)據(jù)庫(kù),MSR日常行為數(shù)據(jù)庫(kù)和SYSU 3DHOI數(shù)據(jù)庫(kù)上的識(shí)別結(jié)果.從中可以看出,自深度學(xué)習(xí)方法被廣泛用于解決RGB-D行為識(shí)別問(wèn)題以來(lái),具體識(shí)別效果有了大幅度的提高,尤其是在NTU大規(guī)模行為數(shù)據(jù)庫(kù)上,無(wú)論是個(gè)體交叉還是視角交叉設(shè)置,現(xiàn)有方法僅使用骨架數(shù)據(jù)就能將別性能從60%提升至90%左右.其中大部分的深度學(xué)習(xí)相關(guān)工作都是基于改進(jìn)LSTM 模型,以挖掘動(dòng)作序列中的時(shí)空變化信息.雖然LSTM 模型充分展現(xiàn)了它在時(shí)序建模方面的強(qiáng)大能力,但不能忽視的是,最新的一些研究表明基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的模型也取得了非常優(yōu)異的識(shí)別結(jié)果[43,45],通過(guò)將三維骨架序列人工編碼成靜態(tài)圖像,利用卷積核自動(dòng)學(xué)習(xí)圖像內(nèi)部編碼的時(shí)空結(jié)構(gòu)信息,從而挖掘到具有判別性的時(shí)空變化信息.然而值得注意的是,這些模型需要人工地將三維骨架序列進(jìn)行編碼,且實(shí)驗(yàn)表明該編碼方式對(duì)算法的識(shí)別效果較大.因此,怎樣對(duì)三維骨架序列進(jìn)行合適編碼,是該研究中的關(guān)鍵問(wèn)題.另一方面,從表3和表4的識(shí)別結(jié)果可以看到,基于RGB-D的多數(shù)據(jù)模態(tài)融合模型往往比單一模態(tài)方法識(shí)別效果更加穩(wěn)定.這很符合預(yù)期,因?yàn)椴煌B(tài)數(shù)據(jù)可以捕捉到行為不同方面的信息,它們之間往往能在一定程度上進(jìn)行互補(bǔ).然而,由于從多個(gè)通道提取特征非常消耗計(jì)算資源和耗時(shí),尤其是當(dāng)使用深度學(xué)習(xí)網(wǎng)絡(luò)提取相關(guān)特征時(shí).這也導(dǎo)致大部分的多模態(tài)特征融合方法在NTU大規(guī)模數(shù)據(jù)庫(kù)上未能進(jìn)行驗(yàn)證.因此,怎樣發(fā)展一個(gè)輕量級(jí)的深度學(xué)習(xí)模型來(lái)融合RGB、深度和三維骨架數(shù)據(jù)進(jìn)行行為識(shí)別也是未來(lái)的一個(gè)重要研究?jī)?nèi)容.

表3 在MSR數(shù)據(jù)庫(kù)上各種方法的識(shí)別結(jié)果對(duì)比Table 3 Comparison of action recognition accuracies on the MSR daily activity dataset

表4 在SYSU 3D HOI數(shù)據(jù)庫(kù)上各種方法的識(shí)別結(jié)果對(duì)比(“RGB-D”指同時(shí)使用RGB、深度和骨架三種模態(tài)數(shù)據(jù))Table 4 Comparison of action recognition accuracies on the SYSU 3D HOI Dataset(“RGB-D” indicates that the approach employs all the RGB,depth,and skeleton modalities for recognition)

4 思考與展望

基于RGB-D的人體行為識(shí)別一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)問(wèn)題,近幾年隨著深度學(xué)習(xí)的興起,RGB-D行為識(shí)別領(lǐng)域有了很大的突破,通過(guò)神經(jīng)網(wǎng)絡(luò)技術(shù)以數(shù)據(jù)驅(qū)動(dòng)方式自動(dòng)學(xué)習(xí)到的特征逐漸代替了HOG,SIFT等手工設(shè)計(jì)特征,相關(guān)大規(guī)模行為數(shù)據(jù)集的出現(xiàn)進(jìn)一步推動(dòng)了基于深度學(xué)習(xí)的識(shí)別算法的發(fā)展.特別地,卷積神經(jīng)網(wǎng)絡(luò)(CNN)的RGB-D行為識(shí)別模型在部分行為數(shù)據(jù)庫(kù)上已經(jīng)達(dá)到了相當(dāng)高的識(shí)別率.然而仍存在著不少問(wèn)題有待解決.首先,在RGB-D行為識(shí)別中,深度視頻、RGB視頻以及骨架三種特征提取和網(wǎng)絡(luò)訓(xùn)練都需要耗費(fèi)大量的時(shí)間和計(jì)算資源,如何高效地進(jìn)行多模態(tài)特征融合就顯的尤為重要.盡管文獻(xiàn)[52,54]通過(guò)利用雙線(xiàn)性池化[66]操作一定程度上提升了融合效率,但仍有很大的提升空間,多模態(tài)行為識(shí)別仍有待進(jìn)一步研究.其次,實(shí)際測(cè)試中往往可能會(huì)遇到部分模態(tài)數(shù)據(jù)缺失或失效的情況,怎么調(diào)整多模態(tài)融合學(xué)習(xí)算法使得其能充分利用獲取到的部分模態(tài)數(shù)據(jù),也是一個(gè)重要的需要解決的研究?jī)?nèi)容.最后,在數(shù)據(jù)庫(kù)設(shè)計(jì)方面,現(xiàn)有的RGB-D行為數(shù)據(jù)庫(kù)都主要記錄室內(nèi)控制場(chǎng)景下的人體行為,行為樣本缺少多樣性,期待未來(lái)有更加復(fù)雜的大規(guī)模RGB-D行為數(shù)據(jù)庫(kù)的出現(xiàn).

考慮到行為識(shí)別是“事后”識(shí)別研究,即系統(tǒng)需要在行為動(dòng)作完成之后再進(jìn)行識(shí)別.面向正在進(jìn)行的部分行為的RGB-D行為前期預(yù)測(cè)問(wèn)題也逐漸受到了眾多研究者的關(guān)注[67?68].在無(wú)人駕駛、機(jī)器人以及醫(yī)療監(jiān)控等很多應(yīng)用場(chǎng)景下,人們更希望在動(dòng)作實(shí)施完成前系統(tǒng)便能及時(shí)地預(yù)測(cè)和識(shí)別,這可以給我們足夠的反應(yīng)時(shí)間來(lái)提前做好準(zhǔn)備.例如,當(dāng)系統(tǒng)觀(guān)測(cè)到一個(gè)患者失去了平衡時(shí),可能即將會(huì)摔倒,我們希望系統(tǒng)能及時(shí)預(yù)測(cè)到這一動(dòng)作的發(fā)生,并做出相應(yīng)的反應(yīng).早期的工作主要基于馬爾科夫模型(Markov model,MM)、條件隨機(jī)場(chǎng)(Conditional random fields,CRF)等非深度學(xué)習(xí)方法,近幾年則主要是利用RNN和生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial networks,GAN).文獻(xiàn)[68]針對(duì)不完整的視頻學(xué)習(xí)一個(gè)弱類(lèi)標(biāo),從而可以利用部分視頻和完整視頻中學(xué)習(xí)到一個(gè)魯棒的RNN行為預(yù)測(cè)器.文獻(xiàn)[38]利用RNN配合編碼器和解碼器,通過(guò)最小化預(yù)測(cè)值和真實(shí)值之間的歐氏距離來(lái)訓(xùn)練網(wǎng)絡(luò).文獻(xiàn)[69]采用GAN模型,通過(guò)同時(shí)訓(xùn)練生成器和判別器來(lái)預(yù)測(cè)骨架的行為特征.文獻(xiàn)[70]提出時(shí)域自適應(yīng)選擇網(wǎng)絡(luò),同步學(xué)習(xí)行為起始時(shí)間和行為預(yù)測(cè)器,從而實(shí)現(xiàn)從未切割的長(zhǎng)視頻中預(yù)測(cè)行為類(lèi)別.總體而言,基于RGB-D視頻數(shù)據(jù)的前期行為預(yù)測(cè)無(wú)論在研究還是應(yīng)用方面,未來(lái)都有很大的發(fā)展空間.

5 結(jié)論

本文詳細(xì)介紹了RGB-D行為識(shí)別領(lǐng)域中具有代表性的數(shù)據(jù)庫(kù),然后根據(jù)使用的數(shù)據(jù)模態(tài)類(lèi)型對(duì)現(xiàn)有研究方法進(jìn)行劃分,分別介紹了基于深度數(shù)據(jù)、基于三維骨架數(shù)據(jù)以及基于多模態(tài)融合的RGB-D行為識(shí)別研究進(jìn)展.基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的識(shí)別算法采用手工設(shè)計(jì)特征挖掘人體的運(yùn)動(dòng)信息并進(jìn)行分類(lèi),在數(shù)據(jù)庫(kù)較小時(shí)能取得較好的效果,但在面對(duì)復(fù)雜的數(shù)據(jù)庫(kù)時(shí)分類(lèi)效果就未盡人意.而數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法需要大量已知標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練,可以自發(fā)地學(xué)習(xí)人體行為特征,所以在復(fù)雜問(wèn)題面前有著比傳統(tǒng)方法更好的效果.但同時(shí)我們也應(yīng)該注意到深度學(xué)習(xí)方法需要大量的數(shù)據(jù)和較長(zhǎng)的訓(xùn)練時(shí)間,基于深度學(xué)習(xí)和多模態(tài)特征融合的RGB-D行為識(shí)別方法在計(jì)算效率上也有待進(jìn)一步提升.