柳似霖，王 穎，吳 峰

(1.北京化工大學(xué)，北京100029；2.中國科學(xué)院 微電子研究所&中國科學(xué)院大學(xué)，北京100094；3.國家知識(shí)產(chǎn)權(quán)局專利局 專利審查協(xié)作天津中心,天津 300304)

引言

人體動(dòng)作識(shí)別目前被廣泛用于視頻監(jiān)控、人機(jī)交互、虛擬現(xiàn)實(shí)等。提取視頻圖像的動(dòng)作特征，并基于所提取的特征進(jìn)行動(dòng)作識(shí)別，近年來成為計(jì)算機(jī)視覺的一個(gè)研究熱點(diǎn)。由于視頻圖像中人體動(dòng)作是漸變的，幀與幀之間存在信息冗余，采用全部視頻圖像進(jìn)行人體動(dòng)作識(shí)別計(jì)算量大，效率低。選取準(zhǔn)確表征人體動(dòng)作特征關(guān)鍵幀，去除冗余數(shù)據(jù)，對于提高動(dòng)作識(shí)別的準(zhǔn)確率和實(shí)時(shí)性非常重要。

用于關(guān)鍵幀選取的圖像特征有顏色直方圖、光流、紋理等，Zhuang[1]Sheena[2]等人利用顏色直方圖等局部特征聚類實(shí)現(xiàn)關(guān)鍵幀選取，但顏色直方圖對人體動(dòng)作視頻的背景及視角變化比較敏感，且對運(yùn)動(dòng)描述能力降低。利用光流特征聚類可選取動(dòng)作識(shí)別的關(guān)鍵幀，雖然光流特征能表達(dá)目標(biāo)的全局性運(yùn)動(dòng)[3]，但忽略了局部運(yùn)動(dòng)信息，選取的關(guān)鍵幀不能準(zhǔn)確描述動(dòng)作變化。圖像時(shí)空特征克服了光流特征和直方圖特征在時(shí)間和空間上的局限性，時(shí)空興趣點(diǎn)作為一種局部時(shí)空特征對視角變化及人體自遮擋等具有很好的魯棒性，且不需要進(jìn)行背景減除等圖像預(yù)處理，適用于動(dòng)作視頻圖像中連續(xù)復(fù)雜動(dòng)作識(shí)別[4-6]。利用視頻圖像中提取的時(shí)空興趣點(diǎn)集合[7,8]可以采用編碼或者詞袋模型法[9,10]進(jìn)行人體動(dòng)作識(shí)別。采用詞袋模型表征時(shí)空興趣點(diǎn)[8]，忽略不同時(shí)空興趣點(diǎn)的位置關(guān)系，把提取到的時(shí)空興趣點(diǎn)利用聚類映射為視覺詞匯。將時(shí)空特征表征為文本中的詞匯，時(shí)空興趣點(diǎn)的每個(gè)聚類中心對應(yīng)一個(gè)視覺詞匯，所有視覺詞匯的集合建立視覺詞典[11]，利用不同詞匯出現(xiàn)的頻率可實(shí)現(xiàn)動(dòng)作識(shí)別，降低了用于動(dòng)作識(shí)別的特征維數(shù)[12]。

由于原始動(dòng)作視頻圖像特征信息冗余，需進(jìn)行關(guān)鍵幀選取。聚類法選取關(guān)鍵幀需事先設(shè)定聚類中心數(shù)目，每個(gè)聚類中心即為選取的關(guān)鍵幀，聚類中心個(gè)數(shù)為選取的關(guān)鍵幀數(shù)。文獻(xiàn)[13]采用K均值聚類算法選取關(guān)鍵幀，但在動(dòng)作不確定時(shí)K值難以估計(jì)，很難確定聚類中心數(shù)目。與聚類法不同，群智能優(yōu)化算法不需要事先確定聚類中心數(shù)目，具有更強(qiáng)的適應(yīng)性。粒子群算法作為一種群智能優(yōu)化算法通過粒子在解空間追隨最優(yōu)粒子，避免所優(yōu)化的對象在有限的區(qū)域陷入局部最優(yōu)，在某個(gè)區(qū)域上找到最優(yōu)值實(shí)現(xiàn)全局優(yōu)化[14]。

因此，針對目前關(guān)鍵幀選取方法中聚類法關(guān)鍵幀數(shù)目需人為確定、全局特征計(jì)算量大且對背景及光照敏感以及動(dòng)作識(shí)別準(zhǔn)確率低等不足，本文基于時(shí)空興趣點(diǎn)特征利用詞袋模型構(gòu)建視覺詞典，基于離散粒子群優(yōu)化算法選取最有效表征人體運(yùn)動(dòng)或姿勢的關(guān)鍵幀，以提高動(dòng)作識(shí)別的準(zhǔn)確率及實(shí)時(shí)性。

1 離散粒子群算法關(guān)鍵幀選取原理

傳統(tǒng)粒子群算法假設(shè)有一群隨機(jī)運(yùn)動(dòng)的粒子，以粒子對解空間中最優(yōu)粒子的追隨進(jìn)行解空間的搜索。粒子群通過多次迭代修正尋優(yōu)過程逼近最優(yōu)解，其流程簡單，易于實(shí)現(xiàn)。

1.1 連續(xù)粒子群算法

(1)

式中：r1和r2為0～1之間的隨機(jī)數(shù)，ω為速度更新慣性因子。相應(yīng)的其位置更新由公式(2)得到：

(2)

粒子群算法利用粒子的個(gè)體極值和粒子群的全局極值修正尋優(yōu)，單個(gè)粒子尋優(yōu)保持粒子在搜索方向的多樣性，避免陷于局部最優(yōu)；全局極值從整體把握尋優(yōu)方向，加速尋找最優(yōu)解。

1.2 離散粒子群動(dòng)作視頻關(guān)鍵幀選取原理

采用粒子群算法選取人體動(dòng)作視頻圖像關(guān)鍵幀，其對應(yīng)的幀圖像為離散空間。通過將連續(xù)粒子群算法擴(kuò)展到二進(jìn)制空間實(shí)現(xiàn)動(dòng)作視頻關(guān)鍵幀的選取。對于任一人體動(dòng)作視頻，其對應(yīng)隨機(jī)粒子Xi為二進(jìn)制向量，長度為原始視頻幀數(shù)l。若Xi中某元素值為1則表示該元素對應(yīng)的幀為關(guān)鍵幀，否則為0。速度向量Vi長度和Xi相同，Vi中的每個(gè)元素為在[0-1]區(qū)間的隨機(jī)數(shù)，表征隨機(jī)粒子Xi中對應(yīng)元素為1的概率。

關(guān)鍵幀選取的離散粒子群的速度更新公式為

(3)

式中：速度更新慣性因子ω值取1。在關(guān)鍵幀選取計(jì)算過程中，速度向量Vi中有些元素值可能大于1，為使速度向量中每一個(gè)位置元素的數(shù)值滿足在[0-1]區(qū)間，引入標(biāo)準(zhǔn)sigmoid函數(shù)修正速度向量：

(4)

和連續(xù)粒子群優(yōu)化方法不同，離散粒子群算法確定關(guān)鍵幀的粒子位置更新如(5)式：

(5)

1.3 最優(yōu)適應(yīng)度計(jì)算

基于詞袋模型統(tǒng)計(jì)序列圖像中每個(gè)詞匯出現(xiàn)的概率分布向量描述人體動(dòng)作。以原始動(dòng)作視頻的詞匯概率分布向量和選取的關(guān)鍵幀的詞匯概率分布向量的余弦距離作為優(yōu)化函數(shù)，用于估計(jì)原始視頻動(dòng)作特征和選取的關(guān)鍵幀動(dòng)作特征的相似性，評價(jià)選取粒子的最優(yōu)適應(yīng)度。

(6)

2 基于離散粒子群的關(guān)鍵幀選取流程

基于離散粒子群的關(guān)鍵幀選取流程如圖1所示。采用3D Harris算法提取每個(gè)視頻圖像中的時(shí)空興趣點(diǎn)，并用HOG3D描述器進(jìn)行特征描述，對時(shí)空興趣點(diǎn)特征采用聚類方法建立視覺詞典。統(tǒng)計(jì)原始視頻圖像中每個(gè)視覺詞匯出現(xiàn)的概率，建立視覺詞匯概率分布向量。采用離散粒子群算法進(jìn)行關(guān)鍵幀選取，每個(gè)粒子的大小等于原始視頻幀數(shù)。

按照圖1步驟進(jìn)行關(guān)鍵幀選取，迭代結(jié)束時(shí)，全局最優(yōu)解對應(yīng)的粒子Xb中所有值為1對應(yīng)的視頻幀數(shù)即為所選取的關(guān)鍵幀。以長度10幀的連續(xù)人體動(dòng)作視頻為例，若最終求解的全局最優(yōu)粒子Xb=(1,1,0,0,0,1,0,1,0,0)，則表示第1，2，6，8幀圖像為選取的關(guān)鍵幀。

3 動(dòng)作視頻關(guān)鍵幀選取及動(dòng)作識(shí)別結(jié)果

本文對KTH和Weizmann數(shù)據(jù)庫中的動(dòng)作視頻進(jìn)行關(guān)鍵幀選取。KTH數(shù)據(jù)庫包含行走、慢跑、跑步、拳擊、鼓掌、揮手6個(gè)常見動(dòng)作。每種動(dòng)作包含25個(gè)人4個(gè)不同場景共100個(gè)動(dòng)作視頻，每個(gè)視頻的幀數(shù)為300～1 000不等。Weizmann數(shù)據(jù)庫包括9個(gè)人向前跳、向上跳、跑步、推舉、彎腰、雙手揮、單腳跳、橫向動(dòng)、單手揮、走路等10個(gè)動(dòng)作90個(gè)視頻，每個(gè)動(dòng)作視頻幀數(shù)為30～150不等。采用3D Harris算子提取時(shí)空興趣點(diǎn)，利用時(shí)空興趣點(diǎn)建立大小為650的視覺詞典，詳見文獻(xiàn)[15]。采用離散粒子群算法進(jìn)行關(guān)鍵幀選取，初始粒子數(shù)目為50，每個(gè)粒子長度為每個(gè)視頻幀數(shù)，關(guān)鍵幀選取迭代次數(shù)為100。以如圖2(a)的連續(xù)20幀的跑步視頻片段為例，利用本文提出的離散粒子群關(guān)鍵幀選取算法選取的關(guān)鍵幀如圖2(b)所示。對2個(gè)視頻數(shù)據(jù)庫的所有視頻進(jìn)行關(guān)鍵幀選取，并分別利用關(guān)鍵幀選取前后的視頻建立視覺

圖1 關(guān)鍵幀選擇算法流程圖Fig.1 Flow chart of key frames selection algorithm

詞典,采用SVM算法[16]進(jìn)行動(dòng)作識(shí)別，關(guān)鍵幀選取及動(dòng)作識(shí)別結(jié)果如表1所示。表1給出了2個(gè)數(shù)據(jù)庫關(guān)鍵幀選取前后人體動(dòng)作視頻的平均幀數(shù)及每個(gè)視頻的平均特征點(diǎn)數(shù)，選取的關(guān)鍵幀數(shù)分別為原視頻數(shù)的64.5%和61.4%，利用關(guān)鍵幀和用所有視頻的動(dòng)作識(shí)別準(zhǔn)確率相同。

圖2 KTH數(shù)據(jù)庫人體動(dòng)作原始視頻及關(guān)鍵幀選取結(jié)果Fig.2 Original video and selected key frames for KTH database

針對KTH數(shù)據(jù)庫，表2給出了分別采用聚類法和離散粒子群算法選取關(guān)鍵幀進(jìn)行動(dòng)作識(shí)別的結(jié)果。聚類法隨著選取關(guān)鍵幀數(shù)增加，動(dòng)作識(shí)別的準(zhǔn)確率增加。

表1 原始動(dòng)作視頻與關(guān)鍵幀選取后的動(dòng)作視頻對比Table 1 Recognition comparison between selected key frames and original videos

表2 聚類法和離散粒子群法選取關(guān)鍵幀的動(dòng)作識(shí)別結(jié)果Table 2 Selected key frames by discrete particle swarm method and clustering method

圖3給出了計(jì)算出的行走、慢跑、跑步、拳擊、鼓掌、揮手等6個(gè)動(dòng)作的識(shí)別準(zhǔn)確率?？芍垲惙ㄟx取關(guān)鍵幀的每個(gè)動(dòng)作的識(shí)別準(zhǔn)確率隨幀數(shù)增大而增大?？傮w上離散粒子群方法選取的關(guān)鍵幀進(jìn)行識(shí)別的6個(gè)動(dòng)作識(shí)別準(zhǔn)確率較聚類法高，且每個(gè)動(dòng)作的誤識(shí)別率低。當(dāng)聚類法選取的關(guān)鍵幀數(shù)和離散粒子群法選取的關(guān)鍵幀相同時(shí),識(shí)別準(zhǔn)確率低于離散粒子群法。

圖3 KTH數(shù)據(jù)庫6個(gè)動(dòng)作識(shí)別準(zhǔn)確率Fig. 3 Recognition accuracy of 6 motion in KTH database

4 結(jié)論

本文利用視頻圖像提取的時(shí)空興趣點(diǎn)建立視覺詞典，引入了夾角余弦距離作為最優(yōu)適應(yīng)度評價(jià)關(guān)鍵幀選取前后的動(dòng)作特征相似度，采用離散粒子群算法進(jìn)行關(guān)鍵幀選取。和聚類法隨著選取的關(guān)鍵幀數(shù)不同導(dǎo)致的動(dòng)作識(shí)別準(zhǔn)確率不同相比，用離散粒子群算法提取的關(guān)鍵幀進(jìn)行識(shí)別保證了和原始視頻相同的動(dòng)作識(shí)別準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文提出的離散粒子群關(guān)鍵幀選取算法，有效去除了原始視頻的人體動(dòng)作特征冗余信息，保證了識(shí)別準(zhǔn)確率的穩(wěn)定性和準(zhǔn)確性。