劉碩明　劉佳

摘 要：早期動(dòng)作識(shí)別的研究主要關(guān)注在簡(jiǎn)單背景及可控環(huán)境下單個(gè)人體動(dòng)作的分類(lèi)從而忽略了人的身份信息。本文主提出如何同時(shí)識(shí)別動(dòng)作和身份。提出時(shí)空興趣點(diǎn)不僅僅刻畫(huà)了動(dòng)作的時(shí)空屬性，在采取不同的描述算子的情況下，它也能反映出關(guān)于動(dòng)作執(zhí)行人的身份信息。實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文的想法。

關(guān)鍵詞：動(dòng)作識(shí)別；身份識(shí)別；碼書(shū)；主題模型

中圖分類(lèi)號(hào)：TP915 文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

絕大多數(shù)用于識(shí)別的方法中，僅僅存在一種視覺(jué)碼書(shū)。本文提出利用兩種碼書(shū)來(lái)進(jìn)行視頻表示。具體來(lái)說(shuō)，用動(dòng)作碼書(shū)來(lái)表示動(dòng)作，而用作者碼書(shū)來(lái)表示身份?；舅枷腩?lèi)似于文章的內(nèi)容用主題來(lái)表示，而寫(xiě)文章的人用作者來(lái)表示。本文認(rèn)為時(shí)空興趣點(diǎn)不僅僅刻畫(huà)了動(dòng)作的時(shí)空屬性，在采取不同的描述算子的情況下，它也能反映出關(guān)于動(dòng)作執(zhí)行人的身份信息。實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文的想法。已經(jīng)有一些文獻(xiàn)致力于同時(shí)進(jìn)行動(dòng)作識(shí)別和身份驗(yàn)證。例如文獻(xiàn)[1，2]。

2 動(dòng)作身份模型

1）識(shí)別框架

基本框架如下：首先，利用時(shí)空興趣點(diǎn)檢測(cè)器提取局部時(shí)空點(diǎn)區(qū)域，然后分別對(duì)動(dòng)作和身份兩種問(wèn)題，提取不同的局部描述子，接著利用聚類(lèi)的方法得到兩種碼書(shū)：動(dòng)作碼書(shū)和作者碼書(shū)。利用LDA和AM進(jìn)行模型參數(shù)的學(xué)習(xí)和推斷。

2）視頻表示及碼書(shū)

文中利用Dollar[3]提出的時(shí)空檢測(cè)器進(jìn)行興趣點(diǎn)的檢測(cè)，它能產(chǎn)生穩(wěn)健的時(shí)空點(diǎn)，給定一組時(shí)空興趣點(diǎn)的描述子后，建立了兩種類(lèi)型的碼書(shū)，分別用來(lái)進(jìn)行動(dòng)作信息的表示和身份信息的表示。首先為了學(xué)習(xí)得到碼書(shū)中的詞項(xiàng)，首先將所有訓(xùn)練視頻中的時(shí)空興趣描述子進(jìn)行聚類(lèi)，本文采用K均值聚類(lèi)的方法，每一個(gè)聚類(lèi)中心對(duì)應(yīng)碼書(shū)（動(dòng)作碼書(shū)和身份碼書(shū)）中的一個(gè)詞項(xiàng)。

3）動(dòng)作-身份模型

本文提出的動(dòng)作身份模型是一個(gè)概率主題模型，因此可用圖模型的方法表示，如圖1所示。

其中ad表示身份信息，w1和w2分別表示動(dòng)作碼書(shū)和身份碼書(shū)中的單詞項(xiàng)。Nd1和Nd2分別表示動(dòng)作單詞和身份單詞的個(gè)數(shù)，其余變量為隱含變量或模型參數(shù)。在這個(gè)生成模型中包含了兩種類(lèi)型的碼書(shū)，w1和w2是分別來(lái)自動(dòng)作碼書(shū)和身份碼書(shū)中的視覺(jué)詞。 實(shí)際上，這個(gè)包含兩種碼書(shū)的動(dòng)作身份模型正是LDA模型[4]和作者模型[5]的組合。在動(dòng)作模型和身份模型相對(duì)獨(dú)立時(shí)，可以將動(dòng)作模型和身份模型分開(kāi)進(jìn)行學(xué)習(xí)和推斷。盡管w1和w2來(lái)自不同的描述子，但他們都對(duì)應(yīng)相同的時(shí)空點(diǎn)位置，只是在這個(gè)時(shí)空點(diǎn)上提取的特征不同。

3 實(shí)驗(yàn)及結(jié)果分析

本文在KTH 數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試。通過(guò)利用時(shí)空興趣點(diǎn)局部特征以及采用隱主題模型進(jìn)行動(dòng)作身份分類(lèi)，能夠有效的克服這些因素的影響。實(shí)驗(yàn)結(jié)果表明本文的方法不僅能夠?qū)?dòng)作類(lèi)別和位置進(jìn)行識(shí)別，同時(shí)還能給出關(guān)于身份的信息。平均識(shí)別率的混淆矩陣如圖3所示。6個(gè)主題的LDA模型對(duì)應(yīng)的混淆矩陣如圖3 （a）所示，這里采用的動(dòng)作碼書(shū)的大小為1000。關(guān)于身份模型的25類(lèi)的混淆矩陣如圖3 （b）所示，這里作者碼書(shū)的大小也是1000。從圖中可以看出，對(duì)于身份的識(shí)別具有一定的可判別性。

（a）動(dòng)作分類(lèi)的結(jié)果（b）身份的分類(lèi)結(jié)果平均分類(lèi)正確率（54.6%）。

實(shí)驗(yàn)結(jié)果表明本文的方法不僅能夠?qū)?dòng)作類(lèi)別和位置進(jìn)行識(shí)別，同時(shí)還能給出關(guān)于身份的信息。

結(jié)語(yǔ)

本文在時(shí)空興趣點(diǎn)的基礎(chǔ)上，提出了一種動(dòng)作身份模型用來(lái)識(shí)別動(dòng)作的類(lèi)型、位置以及動(dòng)作執(zhí)行人的身份。文中將動(dòng)作身份模型在三種數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試，驗(yàn)證了該方法的有效性。

參考文獻(xiàn)

[1]Fabio， C. Using bilinear models for view-invariant action and identity recognition. in CVPR. 2006.

[2].Jack M.. Multifactor Gaussian process models for style-content separation. In ICML. 2007. Corvallis.

[3] Dollar， ， Behavior recognition via sparse spatio-temporal features. IEEE Workshop on VSPETS， 2005： p. 1-8.

[4] Blei， D.M.， Latent Dirichlet allocation， In JMLR， 2003. 3（4-5）： p. 993-1022.

[5] M. Rosen-Zvi， The author-topic model for authors and documents. in Conference on UAI. 2004.

摘 要：早期動(dòng)作識(shí)別的研究主要關(guān)注在簡(jiǎn)單背景及可控環(huán)境下單個(gè)人體動(dòng)作的分類(lèi)從而忽略了人的身份信息。本文主提出如何同時(shí)識(shí)別動(dòng)作和身份。提出時(shí)空興趣點(diǎn)不僅僅刻畫(huà)了動(dòng)作的時(shí)空屬性，在采取不同的描述算子的情況下，它也能反映出關(guān)于動(dòng)作執(zhí)行人的身份信息。實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文的想法。

關(guān)鍵詞：動(dòng)作識(shí)別；身份識(shí)別；碼書(shū)；主題模型

中圖分類(lèi)號(hào)：TP915 文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

絕大多數(shù)用于識(shí)別的方法中，僅僅存在一種視覺(jué)碼書(shū)。本文提出利用兩種碼書(shū)來(lái)進(jìn)行視頻表示。具體來(lái)說(shuō)，用動(dòng)作碼書(shū)來(lái)表示動(dòng)作，而用作者碼書(shū)來(lái)表示身份。基本思想類(lèi)似于文章的內(nèi)容用主題來(lái)表示，而寫(xiě)文章的人用作者來(lái)表示。本文認(rèn)為時(shí)空興趣點(diǎn)不僅僅刻畫(huà)了動(dòng)作的時(shí)空屬性，在采取不同的描述算子的情況下，它也能反映出關(guān)于動(dòng)作執(zhí)行人的身份信息。實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文的想法。已經(jīng)有一些文獻(xiàn)致力于同時(shí)進(jìn)行動(dòng)作識(shí)別和身份驗(yàn)證。例如文獻(xiàn)[1，2]。

2 動(dòng)作身份模型

1）識(shí)別框架

基本框架如下：首先，利用時(shí)空興趣點(diǎn)檢測(cè)器提取局部時(shí)空點(diǎn)區(qū)域，然后分別對(duì)動(dòng)作和身份兩種問(wèn)題，提取不同的局部描述子，接著利用聚類(lèi)的方法得到兩種碼書(shū)：動(dòng)作碼書(shū)和作者碼書(shū)。利用LDA和AM進(jìn)行模型參數(shù)的學(xué)習(xí)和推斷。

2）視頻表示及碼書(shū)

文中利用Dollar[3]提出的時(shí)空檢測(cè)器進(jìn)行興趣點(diǎn)的檢測(cè)，它能產(chǎn)生穩(wěn)健的時(shí)空點(diǎn)，給定一組時(shí)空興趣點(diǎn)的描述子后，建立了兩種類(lèi)型的碼書(shū)，分別用來(lái)進(jìn)行動(dòng)作信息的表示和身份信息的表示。首先為了學(xué)習(xí)得到碼書(shū)中的詞項(xiàng)，首先將所有訓(xùn)練視頻中的時(shí)空興趣描述子進(jìn)行聚類(lèi)，本文采用K均值聚類(lèi)的方法，每一個(gè)聚類(lèi)中心對(duì)應(yīng)碼書(shū)（動(dòng)作碼書(shū)和身份碼書(shū)）中的一個(gè)詞項(xiàng)。

3）動(dòng)作-身份模型

本文提出的動(dòng)作身份模型是一個(gè)概率主題模型，因此可用圖模型的方法表示，如圖1所示。

其中ad表示身份信息，w1和w2分別表示動(dòng)作碼書(shū)和身份碼書(shū)中的單詞項(xiàng)。Nd1和Nd2分別表示動(dòng)作單詞和身份單詞的個(gè)數(shù)，其余變量為隱含變量或模型參數(shù)。在這個(gè)生成模型中包含了兩種類(lèi)型的碼書(shū)，w1和w2是分別來(lái)自動(dòng)作碼書(shū)和身份碼書(shū)中的視覺(jué)詞。 實(shí)際上，這個(gè)包含兩種碼書(shū)的動(dòng)作身份模型正是LDA模型[4]和作者模型[5]的組合。在動(dòng)作模型和身份模型相對(duì)獨(dú)立時(shí)，可以將動(dòng)作模型和身份模型分開(kāi)進(jìn)行學(xué)習(xí)和推斷。盡管w1和w2來(lái)自不同的描述子，但他們都對(duì)應(yīng)相同的時(shí)空點(diǎn)位置，只是在這個(gè)時(shí)空點(diǎn)上提取的特征不同。

3 實(shí)驗(yàn)及結(jié)果分析

本文在KTH 數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試。通過(guò)利用時(shí)空興趣點(diǎn)局部特征以及采用隱主題模型進(jìn)行動(dòng)作身份分類(lèi)，能夠有效的克服這些因素的影響。實(shí)驗(yàn)結(jié)果表明本文的方法不僅能夠?qū)?dòng)作類(lèi)別和位置進(jìn)行識(shí)別，同時(shí)還能給出關(guān)于身份的信息。平均識(shí)別率的混淆矩陣如圖3所示。6個(gè)主題的LDA模型對(duì)應(yīng)的混淆矩陣如圖3 （a）所示，這里采用的動(dòng)作碼書(shū)的大小為1000。關(guān)于身份模型的25類(lèi)的混淆矩陣如圖3 （b）所示，這里作者碼書(shū)的大小也是1000。從圖中可以看出，對(duì)于身份的識(shí)別具有一定的可判別性。

（a）動(dòng)作分類(lèi)的結(jié)果（b）身份的分類(lèi)結(jié)果平均分類(lèi)正確率（54.6%）。

實(shí)驗(yàn)結(jié)果表明本文的方法不僅能夠?qū)?dòng)作類(lèi)別和位置進(jìn)行識(shí)別，同時(shí)還能給出關(guān)于身份的信息。

結(jié)語(yǔ)

本文在時(shí)空興趣點(diǎn)的基礎(chǔ)上，提出了一種動(dòng)作身份模型用來(lái)識(shí)別動(dòng)作的類(lèi)型、位置以及動(dòng)作執(zhí)行人的身份。文中將動(dòng)作身份模型在三種數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試，驗(yàn)證了該方法的有效性。

參考文獻(xiàn)

[1]Fabio， C. Using bilinear models for view-invariant action and identity recognition. in CVPR. 2006.

[2].Jack M.. Multifactor Gaussian process models for style-content separation. In ICML. 2007. Corvallis.

[3] Dollar， ， Behavior recognition via sparse spatio-temporal features. IEEE Workshop on VSPETS， 2005： p. 1-8.

[4] Blei， D.M.， Latent Dirichlet allocation， In JMLR， 2003. 3（4-5）： p. 993-1022.

[5] M. Rosen-Zvi， The author-topic model for authors and documents. in Conference on UAI. 2004.

摘 要：早期動(dòng)作識(shí)別的研究主要關(guān)注在簡(jiǎn)單背景及可控環(huán)境下單個(gè)人體動(dòng)作的分類(lèi)從而忽略了人的身份信息。本文主提出如何同時(shí)識(shí)別動(dòng)作和身份。提出時(shí)空興趣點(diǎn)不僅僅刻畫(huà)了動(dòng)作的時(shí)空屬性，在采取不同的描述算子的情況下，它也能反映出關(guān)于動(dòng)作執(zhí)行人的身份信息。實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文的想法。

關(guān)鍵詞：動(dòng)作識(shí)別；身份識(shí)別；碼書(shū)；主題模型

中圖分類(lèi)號(hào)：TP915 文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

絕大多數(shù)用于識(shí)別的方法中，僅僅存在一種視覺(jué)碼書(shū)。本文提出利用兩種碼書(shū)來(lái)進(jìn)行視頻表示。具體來(lái)說(shuō)，用動(dòng)作碼書(shū)來(lái)表示動(dòng)作，而用作者碼書(shū)來(lái)表示身份?；舅枷腩?lèi)似于文章的內(nèi)容用主題來(lái)表示，而寫(xiě)文章的人用作者來(lái)表示。本文認(rèn)為時(shí)空興趣點(diǎn)不僅僅刻畫(huà)了動(dòng)作的時(shí)空屬性，在采取不同的描述算子的情況下，它也能反映出關(guān)于動(dòng)作執(zhí)行人的身份信息。實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文的想法。已經(jīng)有一些文獻(xiàn)致力于同時(shí)進(jìn)行動(dòng)作識(shí)別和身份驗(yàn)證。例如文獻(xiàn)[1，2]。

2 動(dòng)作身份模型

1）識(shí)別框架

基本框架如下：首先，利用時(shí)空興趣點(diǎn)檢測(cè)器提取局部時(shí)空點(diǎn)區(qū)域，然后分別對(duì)動(dòng)作和身份兩種問(wèn)題，提取不同的局部描述子，接著利用聚類(lèi)的方法得到兩種碼書(shū)：動(dòng)作碼書(shū)和作者碼書(shū)。利用LDA和AM進(jìn)行模型參數(shù)的學(xué)習(xí)和推斷。

2）視頻表示及碼書(shū)

文中利用Dollar[3]提出的時(shí)空檢測(cè)器進(jìn)行興趣點(diǎn)的檢測(cè)，它能產(chǎn)生穩(wěn)健的時(shí)空點(diǎn)，給定一組時(shí)空興趣點(diǎn)的描述子后，建立了兩種類(lèi)型的碼書(shū)，分別用來(lái)進(jìn)行動(dòng)作信息的表示和身份信息的表示。首先為了學(xué)習(xí)得到碼書(shū)中的詞項(xiàng)，首先將所有訓(xùn)練視頻中的時(shí)空興趣描述子進(jìn)行聚類(lèi)，本文采用K均值聚類(lèi)的方法，每一個(gè)聚類(lèi)中心對(duì)應(yīng)碼書(shū)（動(dòng)作碼書(shū)和身份碼書(shū)）中的一個(gè)詞項(xiàng)。

3）動(dòng)作-身份模型

本文提出的動(dòng)作身份模型是一個(gè)概率主題模型，因此可用圖模型的方法表示，如圖1所示。

其中ad表示身份信息，w1和w2分別表示動(dòng)作碼書(shū)和身份碼書(shū)中的單詞項(xiàng)。Nd1和Nd2分別表示動(dòng)作單詞和身份單詞的個(gè)數(shù)，其余變量為隱含變量或模型參數(shù)。在這個(gè)生成模型中包含了兩種類(lèi)型的碼書(shū)，w1和w2是分別來(lái)自動(dòng)作碼書(shū)和身份碼書(shū)中的視覺(jué)詞。 實(shí)際上，這個(gè)包含兩種碼書(shū)的動(dòng)作身份模型正是LDA模型[4]和作者模型[5]的組合。在動(dòng)作模型和身份模型相對(duì)獨(dú)立時(shí)，可以將動(dòng)作模型和身份模型分開(kāi)進(jìn)行學(xué)習(xí)和推斷。盡管w1和w2來(lái)自不同的描述子，但他們都對(duì)應(yīng)相同的時(shí)空點(diǎn)位置，只是在這個(gè)時(shí)空點(diǎn)上提取的特征不同。

3 實(shí)驗(yàn)及結(jié)果分析

本文在KTH 數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試。通過(guò)利用時(shí)空興趣點(diǎn)局部特征以及采用隱主題模型進(jìn)行動(dòng)作身份分類(lèi)，能夠有效的克服這些因素的影響。實(shí)驗(yàn)結(jié)果表明本文的方法不僅能夠?qū)?dòng)作類(lèi)別和位置進(jìn)行識(shí)別，同時(shí)還能給出關(guān)于身份的信息。平均識(shí)別率的混淆矩陣如圖3所示。6個(gè)主題的LDA模型對(duì)應(yīng)的混淆矩陣如圖3 （a）所示，這里采用的動(dòng)作碼書(shū)的大小為1000。關(guān)于身份模型的25類(lèi)的混淆矩陣如圖3 （b）所示，這里作者碼書(shū)的大小也是1000。從圖中可以看出，對(duì)于身份的識(shí)別具有一定的可判別性。

（a）動(dòng)作分類(lèi)的結(jié)果（b）身份的分類(lèi)結(jié)果平均分類(lèi)正確率（54.6%）。

實(shí)驗(yàn)結(jié)果表明本文的方法不僅能夠?qū)?dòng)作類(lèi)別和位置進(jìn)行識(shí)別，同時(shí)還能給出關(guān)于身份的信息。

結(jié)語(yǔ)

本文在時(shí)空興趣點(diǎn)的基礎(chǔ)上，提出了一種動(dòng)作身份模型用來(lái)識(shí)別動(dòng)作的類(lèi)型、位置以及動(dòng)作執(zhí)行人的身份。文中將動(dòng)作身份模型在三種數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試，驗(yàn)證了該方法的有效性。

參考文獻(xiàn)

[1]Fabio， C. Using bilinear models for view-invariant action and identity recognition. in CVPR. 2006.

[2].Jack M.. Multifactor Gaussian process models for style-content separation. In ICML. 2007. Corvallis.

[3] Dollar， ， Behavior recognition via sparse spatio-temporal features. IEEE Workshop on VSPETS， 2005： p. 1-8.

[4] Blei， D.M.， Latent Dirichlet allocation， In JMLR， 2003. 3（4-5）： p. 993-1022.

[5] M. Rosen-Zvi， The author-topic model for authors and documents. in Conference on UAI. 2004.