周 航，劉於錫，龔 越，寇福蔚，許國(guó)梁

北京交通大學(xué) 電子信息工程學(xué)院，北京 100044

人體行為識(shí)別是計(jì)算機(jī)視覺(jué)的重要研究方向，具有非常深遠(yuǎn)的應(yīng)用前景。目前人體行為識(shí)別的方法主要有兩種：一種是傳統(tǒng)方法即基于手動(dòng)提取特征的方法，如本文使用到的iDT算法[1]；另一種是基于深度學(xué)習(xí)的行為識(shí)別方法，其中較為經(jīng)典的是Simonyan等[2]提出的用于行為識(shí)別的雙流卷積神經(jīng)網(wǎng)絡(luò)。

傳統(tǒng)識(shí)別方法的過(guò)程主要有三步：特征提取、特征編碼和動(dòng)作分類。其中特征提取就是先對(duì)視頻進(jìn)行采樣，然后在采樣點(diǎn)或者采樣區(qū)域內(nèi)提取蘊(yùn)含動(dòng)作信息的特征描述符。近年來(lái)，隨著深度學(xué)習(xí)領(lǐng)域的發(fā)展，越來(lái)越多基于深度學(xué)習(xí)的特征提取算法應(yīng)運(yùn)而生，逐漸取代了傳統(tǒng)的手動(dòng)提取特征的方法并成為了該領(lǐng)域的主流。然而，基于深度學(xué)習(xí)的算法需要大量數(shù)據(jù)對(duì)其模型進(jìn)行訓(xùn)練，有著一定局限性，因此很多研究提出將手動(dòng)提取出的特征與深度學(xué)習(xí)得到的特征結(jié)合形成新的特征描述符，比如Wang等[3]提出的描述符TDD（trajectorypooled deep-convolutional descriptor），這種描述符是通過(guò)將傳統(tǒng)算法中的iDT算法所提取出的描述符與多尺度的卷積特征一起池化所得，保留了手動(dòng)特征和深度特征各自的優(yōu)點(diǎn)，并取得了很高的準(zhǔn)確率。

由上可知，雖然目前基于深度學(xué)習(xí)的方法相較于傳統(tǒng)方法有著明顯的提升，但是傳統(tǒng)方法的很多模塊仍能運(yùn)用到深度學(xué)習(xí)算法中，所以基于傳統(tǒng)算法的研究仍有重要的研究?jī)r(jià)值。其中，Wang等[4]提出的密集軌跡算法（dense trajetcories，DT）是傳統(tǒng)算法中非常經(jīng)典的算法，該算法首先在每幀中按照一定間隔密集采樣興趣點(diǎn)，并利用密集光流算法對(duì)其進(jìn)行跟蹤并連接成運(yùn)動(dòng)軌跡，之后將軌跡鄰域劃分成細(xì)小的子空間，從每個(gè)子空間中提取特征描述符。該算法在當(dāng)時(shí)是非常有效的算法，但其缺點(diǎn)是對(duì)相機(jī)運(yùn)動(dòng)敏感，此后Jain等[5]提出了一種補(bǔ)償相機(jī)運(yùn)動(dòng)的方法，以濾除因鏡頭移動(dòng)引起的光流。之后Wang等[1]同樣考慮到了相機(jī)的運(yùn)動(dòng)，提出了一種改進(jìn)的密集軌跡算法iDT，該算法使用SURF（speeded up robust features）興趣點(diǎn)匹配以及光流匹配來(lái)估計(jì)相機(jī)的運(yùn)動(dòng)，從而減少了其產(chǎn)生的影響。從此iDT算法取代了DT算法，成為了傳統(tǒng)方法中的主流方法。

此后出現(xiàn)了很多基于iDT的改進(jìn)算法，其中較為常見的改進(jìn)方向是改進(jìn)iDT算法用到的特征描述符，即Laptev等[6]在識(shí)別過(guò)程中運(yùn)用的定向梯度直方圖（histograms of oriented gradients，HOG）和光流直方圖（histograms of optical flow，HOF），以及Wang等[4]用到的基于光流的運(yùn)動(dòng)邊界直方圖（motion boundary histograms，MBH），其中HOG專注于靜態(tài)外觀信息；而HOF捕獲的則是局部運(yùn)動(dòng)信息；效果最好的MBH可以在一定程度上消除恒定的攝像機(jī)運(yùn)動(dòng)，從而保留了運(yùn)動(dòng)邊界信息，并且可以很好地檢測(cè)到人體，因此能具備更好的魯棒性。在上述描述符的基礎(chǔ)上，Jain等[5]基于差分運(yùn)動(dòng)標(biāo)量、散度、旋度和剪切特征設(shè)計(jì)一個(gè)新的運(yùn)動(dòng)描述符即DCS描述符，它捕獲有關(guān)局部運(yùn)動(dòng)模式的其他信息，從而提高了識(shí)別準(zhǔn)確率。Ali等[7]提出了一些基于光流的運(yùn)動(dòng)學(xué)特征，包括散度、旋度、對(duì)稱和反對(duì)稱流場(chǎng)，流動(dòng)梯度和應(yīng)變張量的速率的第二和第三主要不變量，以及旋轉(zhuǎn)張量速率的第三主要不變量。Carmona等[8]介紹了一種添加時(shí)間模板的方法，將視頻序列視為三階張量，并計(jì)算三個(gè)不同的投影，使用幾個(gè)函數(shù)從視頻序列中投射數(shù)據(jù)，并通過(guò)求和池將它們組合在一起。Liao等[9]提出了軌跡的多個(gè)相對(duì)描述符，即相對(duì)運(yùn)動(dòng)描述符和相對(duì)位置描述符，它們分別用于捕獲相對(duì)運(yùn)動(dòng)信息和相對(duì)位置信息，此外提出了將深度特征與手工特征相結(jié)合的相對(duì)深度特征描述符。隨著更多新的描述符的提出，多種特征的融合成為了新的挑戰(zhàn)。李嵐等[10]在DT算法的基礎(chǔ)上加入了時(shí)空興趣點(diǎn)特征（STIP），更重要的是實(shí)現(xiàn)了全新加權(quán)方式的特征融合，可以突出性能更加優(yōu)越的特征描述符。

以上對(duì)于特征描述符的改進(jìn)算法相較于iDT算法雖然能夠取得更高的準(zhǔn)確率，但往往增大了數(shù)據(jù)量和計(jì)算量。然而iDT算法本就有著很多數(shù)據(jù)量的冗余，其提取的軌跡數(shù)量往往非常龐大，其中混雜著一些不需要的背景軌跡，因此軌跡的濾除也是iDT算法的一種重要的改進(jìn)方向。王曉芳等[11]利用兩個(gè)階段的顯著性檢測(cè)，識(shí)別出人體行為區(qū)域，繼而獲取該區(qū)域的軌跡，刪除了大量無(wú)關(guān)軌跡，但此方法的顯著性檢測(cè)過(guò)程過(guò)于復(fù)雜。Dong等[12]通過(guò)采樣點(diǎn)和光流的大小確定前景區(qū)域，然后在前景中提取軌跡，從而減少了冗余的軌跡，與此同時(shí)提出運(yùn)動(dòng)差異描述符（motion difference descriptor，MDD）來(lái)表示相關(guān)時(shí)間信息。

本文的主要貢獻(xiàn)在于提出了基于iDT的軌跡濾除算法，相較于上述算法有著計(jì)算速度非?？斓膬?yōu)點(diǎn)，并且能夠在保證準(zhǔn)確率的同時(shí)減少了軌跡數(shù)量。本文提出的軌跡濾除算法通過(guò)將光流圖進(jìn)行二值化來(lái)表示各點(diǎn)的相對(duì)有效性并基于此判斷軌跡是否滿足有效條件，濾除不滿足條件的軌跡。這種算法的計(jì)算量較小，有著很好的實(shí)用性。

1 理論與方法

1.1 DT及iDT算法介紹

2013年，Wang等[4]提出了DT算法，在當(dāng)時(shí)識(shí)別準(zhǔn)確率領(lǐng)先于其他算法，隨后，為了消除相機(jī)運(yùn)動(dòng)的影響，Wang等[1]在DT算法的基礎(chǔ)上提出了iDT算法。算法過(guò)程如下：

首先將視頻的每一幀分出至多8個(gè)尺度，之后在每個(gè)尺度按照固定的像素步長(zhǎng)進(jìn)行采樣，并將自相關(guān)矩陣的特征值較小的興趣點(diǎn)濾除。

密集采樣得到興趣點(diǎn)之后，計(jì)算出當(dāng)前幀的密集光流場(chǎng)，光流場(chǎng)是一個(gè)二維矢量場(chǎng)，表示像素的灰度瞬時(shí)變化率，蘊(yùn)含目標(biāo)的瞬時(shí)速度的信息，因此可以利用光流跟蹤獲得的密集采樣點(diǎn)進(jìn)而形成軌跡，如公式（1）。其中(xt,yt)為當(dāng)前第t幀的興趣點(diǎn)的位置，(xt+1,yt+1)為下一幀的位置。M是3×3的中值濾波內(nèi)核，ωt為光流場(chǎng)。

之后把得到的興趣點(diǎn)在每一幀的位置串聯(lián)起來(lái)組成密集軌跡(pt,pt+1,pt+2,…)。為了防止漂移現(xiàn)象的發(fā)生，限定軌跡的長(zhǎng)度L=15幀。得到軌跡之后對(duì)兩幀軌跡坐標(biāo)做差得到靜態(tài)軌跡的形狀描述符，即位移向量的序列(Δpt,…,Δpt+L-1)，密集軌跡本身的形狀描述符為30維。

如圖1所示，圖（a）表示在該幀進(jìn)行密集采樣得到興趣點(diǎn)；圖（b）表示計(jì)算得到的光流場(chǎng)，這里用光流矢量圖表示光流矢量在每個(gè)像素的大小和方向；圖（c）表示由公式（1）計(jì)算出的興趣點(diǎn)下一幀的位置，以及興趣點(diǎn)在兩幀之間的位移組成的軌跡；圖（d）表示興趣點(diǎn)經(jīng)過(guò)第L幀之后的連續(xù)軌跡，這里L(fēng)=15。

圖1 密集采樣及軌跡跟蹤示意圖Fig.1 Dense sampling and trajectory tracking diagram

iDT算法采用的其他特征描述符有：梯度方向直方圖（HOG）、光流梯度方向直方圖（HOF）、運(yùn)動(dòng)邊界直方圖（MBH）。HOG的方向量化為8個(gè)bin，故其描述符維數(shù)為96（即2×2×3×8）；HOF與HOG相比添加了一個(gè)額外的bin用來(lái)記錄光流幅度低于閾值的像素，所以最終描述符維數(shù)為108（即2×2×3×9）；分別為光流的水平和垂直分量求導(dǎo)數(shù)，得到MBH的兩個(gè)方向上的值MBHx和MBHy，兩者的方向也量化為8個(gè)bin，故維數(shù)均為96（即2×2×3×8）。

將上述各特征向量串聯(lián)，得到每條軌跡的總特征向量維數(shù)為426（30+96+108+192）。

1.2 基于光流二值化圖的軌跡篩選算法

在原本的iDT算法中，對(duì)是否濾除軌跡有兩種判別依據(jù)，其依據(jù)如下：在由L=15幀的位移組成的軌跡T=(Δpt,…,Δpt+L)上，計(jì)算出所有位移的標(biāo)準(zhǔn)差σ，將不滿足t1＜σ＜t2的軌跡濾除。并且找到軌跡中的最大位移Δpmax，將不滿足t3＜Δpmax＜t4濾除。其中t1、t2、t3和t4都是固定的閾值。

上述濾除軌跡的算法主要濾除的是固定背景點(diǎn)以及漂移點(diǎn)，在鏡頭固定且背景簡(jiǎn)單的場(chǎng)景下能起到可靠的效果，如在KTH、Weizmann數(shù)據(jù)集。然而在較為復(fù)雜的場(chǎng)景中，則不能有效濾除無(wú)關(guān)的背景軌跡，尤其是在鏡頭快速移動(dòng)或強(qiáng)烈晃動(dòng)的情況下。這是由于上述算法的濾除閾值是固定的，而每個(gè)興趣點(diǎn)會(huì)隨著鏡頭的移動(dòng)產(chǎn)生一定的位移，這些鏡頭引起的位移在之前的算法中也常常被認(rèn)為是有效的，導(dǎo)致從有鏡頭移動(dòng)的視頻中提取的軌跡往往數(shù)量龐大。在iDT算法中，Wang等[4]在DT算法的基礎(chǔ)上考慮了鏡頭移動(dòng)產(chǎn)生的影響，利用SURF興趣點(diǎn)匹配以及光流匹配對(duì)鏡頭移動(dòng)進(jìn)行了抑制，并得到了抵消鏡頭移動(dòng)的光流圖。盡管如此，其對(duì)于濾除閾值t1、t2、t3和t4并沒(méi)有改進(jìn)。由于閾值還是固定的，在很多背景復(fù)雜的情況下還是不能得到理想的濾除效果。

因?yàn)槿梭w的運(yùn)動(dòng)相較于背景的運(yùn)動(dòng)更為復(fù)雜和劇烈，所以光流圖中最為顯著的部分通常就是人物主體。因此，可以通過(guò)保留光流圖中的主要部分對(duì)背景中雜亂的光流進(jìn)行濾除，從而濾除背景軌跡。在與行為識(shí)別領(lǐng)域相關(guān)的運(yùn)動(dòng)目標(biāo)跟蹤領(lǐng)域，通過(guò)對(duì)光流灰度圖進(jìn)行二值化來(lái)識(shí)別目標(biāo)也是一個(gè)比較有效的方法（如文獻(xiàn)[13-14]），所以基于此思想提出的本文算法可以取得較好的效果。

為了減小iDT算法提取的軌跡數(shù)量，同時(shí)保證濾除的是人物主體以外的部分，本文提出基于光流灰度二值化的軌跡篩選算法。這種算法的優(yōu)點(diǎn)是能在保證準(zhǔn)確率的同時(shí)濾除一定數(shù)量的軌跡，并且其對(duì)計(jì)算量的需求很小。在濾除閾值tv=5的條件下濾除的效果如圖2所示。圖2中（a）表示原始視頻中的某一幀，（b）的白色軌跡表示閾值為5時(shí)被濾除的軌跡，（c）表示原本iDT算法保留的軌跡。

圖2 本文算法與iDT算法的軌跡對(duì)比Fig.2 Trajectories extracted by proposed algorithm compared with iDT

下面將介紹本文提出的基于光流二值化的軌跡濾除算法，其算法流程圖如圖3。

圖3 本文提出的軌跡濾除算法流程圖Fig.3 Flowchart of proposed trajectory filtering algorithm

首先，對(duì)每幀光流灰度圖進(jìn)行最大值歸一化，得到歸一化后的光流灰度圖Fnorm，這一步在每個(gè)尺度上都進(jìn)行。之后利用Otsu算法求得Fnorm的二值化閾值tbin，并由此進(jìn)行二值化得到光流二值化圖Fbin，如公式（2）。其中q1和q2分別表示C1和C2的像素所占比例（C1和C2分別表示大于和小于閾值tbin的灰度像素），m1和m2分別表示C1和C2的像素灰度均值。Fbin上值為1的點(diǎn)表示該點(diǎn)光流有效、0表示無(wú)效，p表示像素點(diǎn)。

光流灰度圖上的每一個(gè)點(diǎn)表示該點(diǎn)光流的大小，代表該點(diǎn)運(yùn)動(dòng)的劇烈程度。而經(jīng)過(guò)最大值歸一化后的Fnorm圖表示的是該點(diǎn)的運(yùn)動(dòng)相對(duì)于這一幀上所有點(diǎn)的運(yùn)動(dòng)的有效程度，是相對(duì)量。在人體運(yùn)動(dòng)視頻中，人體的運(yùn)動(dòng)往往相對(duì)于背景的運(yùn)動(dòng)更為有效，因此歸一化以后可以抑制部分背景點(diǎn)的光流。

需要注意的是，在實(shí)際場(chǎng)景中由于光流會(huì)受到反光等外部環(huán)境因素的影響，在個(gè)別幀會(huì)出現(xiàn)局部背景點(diǎn)光流聚焦的情況，由于存在這種情況，第一次二值化后的有效區(qū)域會(huì)過(guò)小。因此，需要計(jì)算出Fbin上每個(gè)連通區(qū)域的面積，若不滿足條件（3）：

則將會(huì)根據(jù)公式（4）減小Fnorm上光流較大的值以抑制光流聚焦的情況，并計(jì)算出新的S1max，重復(fù)上述過(guò)程直到其滿足條件（3）。其中S1max為光流有效部分中最大連通域的面積，S0為所有光流不有效部分的面積。這樣就可以確保有效光流的面積不會(huì)被背景點(diǎn)的突變?cè)斐傻墓饬骶劢顾绊憽?/p>

得到符合條件（3）的Fbin之后，遍歷每條軌跡(pt,…,pt+L)，計(jì)算該軌跡中滿足光流有效條件的點(diǎn)的數(shù)量n，如公式（5）。之后設(shè)置閾值tv，若n≥tv則保留該軌跡，否則就濾除。其中L表示軌跡的長(zhǎng)度，采用文獻(xiàn)[1]中的默認(rèn)值15；pt表示軌跡的第t個(gè)點(diǎn)表示軌跡中與pt對(duì)應(yīng)的光流二值化圖，和該軌跡(pt,…,pt+L)在同一尺度下，但是只和pt在同一幀。

在第2.3節(jié)本文將探討不同數(shù)據(jù)庫(kù)中tv的大小對(duì)準(zhǔn)確率和濾除率的影響，并綜合考慮準(zhǔn)確率和濾除率后，在KTH數(shù)據(jù)集中取tv=3，在UCFsports中取tv=1。

針對(duì)光流聚焦情況的處理過(guò)程示例如圖4所示，該幀經(jīng)過(guò)三次二值化之后得到了滿足條件的光流二值化圖。其中為了區(qū)別于其他連通域，圖4中最大連通域以網(wǎng)格填充來(lái)表示；不受光流聚焦影響的理想情況下，光流灰度圖應(yīng)該如（c）所示，而實(shí)際的結(jié)果則是（b）。對(duì)（b）進(jìn)行最大值歸一化處理后得到了（d），此時(shí)圖像整體的灰度值得到了提升。對(duì)（d）用Otsu算法求得其第一次的二值化閾值tbin=29（單位為像素灰度，其范圍是0～255），并由此進(jìn)行光流二值化后得到圖（e）。在（e）中進(jìn)行連通區(qū)域面積計(jì)算，發(fā)現(xiàn)其不滿足條件（3），于是根據(jù)公式（4）對(duì)光流聚焦區(qū)域進(jìn)行兩次抑制后得到（h）。對(duì)（h）進(jìn)行二值化后，計(jì)算得到其S1max=3 239（單位為像素?cái)?shù)），此時(shí)的S1max已經(jīng)足夠大并滿足條件（3），于是將其作為最終的光流二值化結(jié)果。

圖4 針對(duì)光流聚焦現(xiàn)象的處理過(guò)程示例圖（目標(biāo)人體區(qū)域和光流聚焦區(qū)域分別用大小框標(biāo)識(shí)出）Fig.4 Example of processing process for optical flow focusing phenomenon

1.3 特征編碼與分類

從篩選后的軌跡周圍提取特征之后，每條軌跡形成了426維的軌跡特征向量Tk，將從一個(gè)視頻中提取出的m個(gè)軌跡并聯(lián)得到m×426的特征矩陣E。對(duì)于不同的視頻m的值不同，即提取出的軌跡數(shù)不同，與視頻的分辨率和時(shí)長(zhǎng)等因素有關(guān)。軌跡特征向量Tk由30維軌跡、96維HOG、108維HOF和192維MBH特征組成。Tk和特征矩陣E的表達(dá)式：

從訓(xùn)練集中隨機(jī)抽取約200 000條軌跡特征向量，用k-means算法對(duì)這些軌跡特征向量進(jìn)行聚類，得到256個(gè)聚類中心向量Ci(i=0,1,…,256)，并把這些聚類中心的集合作為視覺(jué)詞典。其中，初始中心點(diǎn)為隨機(jī)選取。之后用VLAD（vector of locally aggregated descriptors）算法對(duì)訓(xùn)練集的每個(gè)視頻的特征向量進(jìn)行編碼，得到大小為256×426的編碼矩陣，用以描述一個(gè)視頻。具體過(guò)程如下，在一個(gè)視頻中，對(duì)每個(gè)軌跡特征向量Tk找到與其歐氏距離最小的聚類中心Ci，同時(shí)稱Tk是Ci的其中一個(gè)軌跡元素。一個(gè)視頻中，Ci的所有軌跡元素的集合表示為TCi。計(jì)算Ci與TCi中各個(gè)軌跡Tk的殘差向量，將其求和并得到Vi，如公式（6）：

將每個(gè)聚類中心對(duì)應(yīng)的Vi并聯(lián)得到一個(gè)大小為256×426的矩陣VLAD={V1,V2,…,V256}，對(duì)該矩陣進(jìn)行L2歸一化得到該視頻的VLAD編碼矩陣。

對(duì)訓(xùn)練集的每個(gè)視頻進(jìn)行編碼后，給每個(gè)編碼矩陣貼上動(dòng)作標(biāo)簽然后訓(xùn)練SVM（support vector machines）分類器，實(shí)現(xiàn)行為的分類識(shí)別。其中，SVM采用線性核函數(shù)，懲戒因子C=100，所有類等權(quán)重，采用one-vs-rest分類策略。本文在2.3節(jié)對(duì)算法的識(shí)別性能進(jìn)行測(cè)試。

在KTH數(shù)據(jù)集中，從動(dòng)作標(biāo)簽為boxing的第一個(gè)視頻提取的特征矩陣和編碼矩陣的結(jié)果如下：

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境介紹

本文使用的數(shù)據(jù)集是KTH和UCF sports。其中KTH有6個(gè)動(dòng)作，595個(gè)視頻，訓(xùn)練集和測(cè)試集的比例為7∶3。UCF sports有10個(gè)動(dòng)作，150個(gè)視頻，訓(xùn)練集和測(cè)試集的比例采用官方建議的2∶1。

本文使用了VLAD算法進(jìn)行向量編碼，并使用線性SVM分類器進(jìn)行分類。實(shí)驗(yàn)環(huán)境為Windows 10 64位操作系統(tǒng)，VS2019搭配OpenCV 3.4.1作為開發(fā)環(huán)境，計(jì)算機(jī)配置為IntelCorei7-10710U。

2.2 軌跡的分布情況及分析

圖5（a）為UCFsports庫(kù)里每個(gè)動(dòng)作類中的一個(gè)視頻，圖（b）、（c）、（d）是不同閾值tv下將n＜tv的軌跡濾除后所保留的軌跡結(jié)果，其中圖（b）中tv=0（不濾除任何軌跡），（c）中tv=6，（d）中tv=12。據(jù)圖5所示，n較大的軌跡對(duì)人體的跟蹤相對(duì)更緊密，而n較小的軌跡一般都是背景產(chǎn)生的軌跡，所以這也側(cè)面證明了通過(guò)設(shè)置閾值tv來(lái)濾除軌跡可以一定程度上提高準(zhǔn)確率。然而，若tv設(shè)置得過(guò)大，則可能也會(huì)將人體上的軌跡濾除導(dǎo)致準(zhǔn)確率降低，在第2.3節(jié)將會(huì)對(duì)這一結(jié)論有所體現(xiàn)。

圖5 UCFsports中的動(dòng)作用不同閾值過(guò)濾后的軌跡Fig.5 Filtered trajectories for different thresholds

如圖6，橫軸表示濾除閾值tv，縱軸表示該數(shù)據(jù)庫(kù)中n≤tv的軌跡數(shù)占總數(shù)的比值，即需要濾除的部分，其中n為軌跡中滿足光流有效條件的點(diǎn)的數(shù)量，如公式（5）。據(jù)統(tǒng)計(jì)，在KTH和UCF sports數(shù)據(jù)庫(kù)中用iDT算法提取的軌跡數(shù)量都是約1 000 000條。由圖6可知整體來(lái)看在tv相同的情況下，KTH中的軌跡相較于UCFsports更難被濾除。在KTH中軌跡集中在閾值較大的區(qū)間，n≤3的軌跡數(shù)僅占整體的10%，其中滿足n=15的軌跡數(shù)最多，約占全部軌跡的13%。而UCF sports則與之相反，軌跡集中在閾值較小的區(qū)間，n≤3的軌跡數(shù)占據(jù)了整體的51%。這是因?yàn)镵TH的場(chǎng)景比較單一，興趣點(diǎn)及其組成的軌跡在人體上的跟蹤非常緊密，所以n的值較大，且非常多的軌跡能夠滿足n=15，表明該軌跡全程都在人體的主要活動(dòng)位置。而UCF sports的場(chǎng)景較為復(fù)雜，高質(zhì)量的軌跡較少，所以n的值較小。從第2.3節(jié)KTH與UCFsports兩個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比來(lái)看，KTH中的動(dòng)作準(zhǔn)確率相對(duì)較高，這證明了n值的大小可以反映軌跡的有效性這一結(jié)論。

圖6 濾除率隨tv的變化情況Fig.6 Filtering rate for change of tv

2.3 實(shí)驗(yàn)結(jié)果與最優(yōu)參數(shù)

本節(jié)將給出濾除n＜tv后的實(shí)驗(yàn)結(jié)果，閾值tv=0表示不濾除任何軌跡，其結(jié)果即iDT算法原本的準(zhǔn)確率。其中，準(zhǔn)確率=識(shí)別正確動(dòng)作數(shù)/測(cè)試集總數(shù)，濾除率=由本文算法濾除的軌跡數(shù)/軌跡總數(shù)。如表1所示，對(duì)于KTH庫(kù)來(lái)說(shuō)，tv=3的情況下，能夠在提高1.7個(gè)百分點(diǎn)的準(zhǔn)確率的同時(shí)濾除5.8個(gè)百分點(diǎn)的軌跡；tv=5的情況下，能夠在準(zhǔn)確率不變的情況下濾除16.2個(gè)百分點(diǎn)的軌跡。如表2所示，對(duì)于UCF sports庫(kù)來(lái)說(shuō)，tv=1的情況下，能在提高0.2個(gè)百分點(diǎn)的準(zhǔn)確率的同時(shí)濾除13.9個(gè)百分點(diǎn)的軌跡。

表1 本文算法在KTH庫(kù)的準(zhǔn)確率和濾除率Table 1 Accuracy and filtering rate on KTH

表2 本文算法在UCF sports庫(kù)的準(zhǔn)確率和濾除率Table 2 Accuracy and filtering rate on UCF sports

如表3所示，在本文實(shí)驗(yàn)環(huán)境下測(cè)得本文算法的計(jì)算速度非?？欤俣炔?v1-v2)/v1僅約3‰，其中v1表示iDT算法速度，v2表示iDT+本文算法速度。

表3 本文算法的平均計(jì)算速度Table 3 Average speed of proposed algorithm

以上實(shí)驗(yàn)表明在KTH中取tv=3時(shí)以及在UCFsports中取tv=1時(shí)的識(shí)別準(zhǔn)確率最高。圖7以混淆矩陣的形式給出了這兩種情況下的識(shí)別結(jié)果。由（a）可知，在KTH中的整體準(zhǔn)確率很高，其中running的準(zhǔn)確率最低，主要原因是running和jogging兩個(gè)動(dòng)作本身區(qū)別較小。由圖7（b）可知，在UCFsports上的準(zhǔn)確率相對(duì)于KTH較低，原因是前者的運(yùn)動(dòng)更多、場(chǎng)景更復(fù)雜并且每個(gè)動(dòng)作的樣本數(shù)更少。其中，Riding-Horse的準(zhǔn)確率最低，原因是該動(dòng)作樣本較少且人體本身運(yùn)動(dòng)不明顯。

圖7 在兩個(gè)數(shù)據(jù)集上的混淆矩陣結(jié)果Fig.7 Confusion matrix on two datasets

2.4 與其他算法實(shí)驗(yàn)結(jié)果對(duì)比

表4是本文算法與近年來(lái)其他基于iDT的傳統(tǒng)識(shí)別算法的比較。其中文獻(xiàn)[4]提出了DT算法，在KTH和UCF sports數(shù)據(jù)集上的準(zhǔn)確率分別為94.2%和88.0%，在當(dāng)時(shí)領(lǐng)先于其他算法。文獻(xiàn)[1]對(duì)DT算法進(jìn)行改進(jìn)并提出了iDT算法，其準(zhǔn)確率分別為95.4%和88.8%，較文獻(xiàn)[4]有一定提升（由于文獻(xiàn)中沒(méi)有使用這兩種數(shù)據(jù)集測(cè)試準(zhǔn)確率，因此數(shù)據(jù)僅代表在本文實(shí)驗(yàn)環(huán)境下的測(cè)試結(jié)果）。文獻(xiàn)[15]根據(jù)顯著性檢測(cè)和低秩矩陣回歸提出了一種區(qū)分前景和背景軌跡的方法，并取得了很高的準(zhǔn)確率，分別為97.5%和91.5%，然而該算法對(duì)計(jì)算量的需求相對(duì)較大。文獻(xiàn)[16]通過(guò)顯著性檢測(cè)確定人體位置并由此縮小采樣范圍，取得95.4%和88.4%的準(zhǔn)確率。文獻(xiàn)[17]提出了一種基于動(dòng)態(tài)高斯金字塔改進(jìn)的SURF算法以加強(qiáng)興趣點(diǎn)的匹配精度，取得了95.5%和91.4%的準(zhǔn)確率。

表4 各算法識(shí)別準(zhǔn)確率對(duì)比Table 4 Accuracy compared with other algorithms

而本文提出的軌跡濾除算法在KTH數(shù)據(jù)集上的準(zhǔn)確率為97.1%，在文獻(xiàn)[1]的基礎(chǔ)上有1.7個(gè)百分點(diǎn)的提升，在同類型算法中準(zhǔn)確率較高。而在UCF sports數(shù)據(jù)集上的表現(xiàn)稍遜色，準(zhǔn)確率為89.0%，只有0.2個(gè)百分點(diǎn)的提升?？紤]到目前很多算法雖然能提高準(zhǔn)確率，但往往增加了數(shù)據(jù)量和計(jì)算量，而本文算法與其他算法不同，能夠在文獻(xiàn)[1]的基礎(chǔ)上減小數(shù)據(jù)量，并且計(jì)算速度與文獻(xiàn)[1]相比只有大約3‰的降低（如表3），在實(shí)際應(yīng)用中可以忽略不計(jì)，因此本文算法得到的準(zhǔn)確率結(jié)果可以說(shuō)是比較理想的。

3 結(jié)束語(yǔ)

目前很多基于密集軌跡算法的人體行為識(shí)別算法往往使得特征向量更為冗長(zhǎng)，加大了數(shù)據(jù)量和計(jì)算量。而本文提出的通過(guò)對(duì)光流二值化來(lái)判斷軌跡是否有效的算法不僅能使準(zhǔn)確率得到提升，還能濾除一定數(shù)量的軌跡。并且測(cè)試結(jié)果表明該算法計(jì)算量比較小，實(shí)時(shí)性好。然而該算法還有一定的改進(jìn)空間，濾除的軌跡超過(guò)約20%時(shí)會(huì)造成準(zhǔn)確率的降低，日后將會(huì)對(duì)這種現(xiàn)象進(jìn)行深入研究并改進(jìn)。