劉晨光，劉家鋒，黃劍華，唐降龍

(哈爾濱工業(yè)大學(xué)，計(jì)算機(jī)科學(xué)與工程系，哈爾濱15001，liu.cg@live.cn)

目前基于單目視頻的三維人體姿態(tài)估計(jì)方法主要分為兩類:1)使用三維人體模型、人體約束與運(yùn)動(dòng)學(xué)(Kinematics)過(guò)程相結(jié)合的方法［1-2］.此類方法將人體在圖像平面上的投影與三維人體模型進(jìn)行相似性匹配，并結(jié)合人體約束，使用運(yùn)動(dòng)學(xué)過(guò)程計(jì)算三維人體姿態(tài).由于人體運(yùn)動(dòng)的復(fù)雜性，該類方法通常需要大量不同姿態(tài)的三維人體模型，具有一定的局限性.2)使用人體運(yùn)動(dòng)學(xué)和形狀信息估計(jì)人體肢體三維姿態(tài)并進(jìn)行“組裝”的方法［3-7］.此類方法由于獨(dú)立地跟蹤不同的肢體，能夠更好地適應(yīng)人體運(yùn)動(dòng)的復(fù)雜性.而人體頭肩的跟蹤和三維姿態(tài)獲取，為其他肢體的跟蹤和姿態(tài)獲取提供了前提條件.文獻(xiàn)［6，7］首先使用Adaboost 方法檢測(cè)到頭部位置，并以此位置作為初始值，使用若干二維頭-肩輪廓模型作為候選匹配，然后估算出圖像中人體肩部位置.

為此本文提出了一種新的粒子濾波方法，使用三維頭肩模型來(lái)描述人體頭肩三維姿態(tài)，利用了粒子濾波的多模特性使得頭部位置、肩部位置以及頭肩部的三維姿態(tài)參數(shù)可以同時(shí)被估算出來(lái).在跟蹤人體頭部和兩肩的位置的同時(shí)，估計(jì)出人體頭肩部三維姿態(tài).不僅為分析人的行為提供了基礎(chǔ)，還為人體三維姿態(tài)估計(jì)方法中其他肢體的運(yùn)動(dòng)信息獲取提供了前提.

1 基于三維模型的柵格粒子濾波器

如圖1 所示，首先建立一個(gè)三維頭-肩模型集合，然后將所有的三維模型向圖像平面投影獲得相應(yīng)的二維模板集合.在輸入的視頻圖像中，通過(guò)背景減除和邊緣檢測(cè)獲得圖像的觀測(cè).從二維模板集合中逐一取出二維模板并在觀測(cè)圖像中進(jìn)行匹配操作計(jì)算相似度.找出相似度最大的二維模板，其位置作為跟蹤到的頭部位置，與之一一對(duì)應(yīng)的三維模型作為頭肩三維姿態(tài)估計(jì)結(jié)果.顯然，這一過(guò)程由于窮盡了模板集合中的所有模板來(lái)搜索最優(yōu)結(jié)果，當(dāng)模板集合較大時(shí)將非常耗時(shí).

圖1 未優(yōu)化的算法流程圖

為了避免窮盡所有模板的搜索過(guò)程，提出了基于三維模型的柵格粒子濾波方法.該方法利用了人體姿態(tài)在連續(xù)兩幀間變化不大的特點(diǎn)，在離散的狀態(tài)空間中跟蹤人體頭肩的姿態(tài)變化軌跡.它保留了典型粒子濾波的非高斯、非線性且多模的特點(diǎn)，沒有使用任何運(yùn)動(dòng)模型，而是在一個(gè)離散化的狀態(tài)空間內(nèi)，以上一時(shí)刻的系統(tǒng)狀態(tài)為中心，取得一個(gè)超橢球體并取其內(nèi)部包含的粒子作為當(dāng)前時(shí)刻的新粒子，每一個(gè)新粒子都和三維模型庫(kù)中的一個(gè)頭-肩三維模型相對(duì)應(yīng).通過(guò)限定超橢球體的體積就可以將粒子數(shù)限制在一個(gè)合理的范圍內(nèi)，優(yōu)化了粒子的搜索空間，提高了執(zhí)行效率.

1.1 頭－肩三維模型

與文獻(xiàn)［6］中使用的頭-肩、頭-背部二維模型相比，頭-肩三維模型更好地描述了人體的生理結(jié)構(gòu)特征，因而在跟蹤過(guò)程中能夠提供更為可靠的三維信息.本文使用兩個(gè)相互連接的橢球體構(gòu) 造 了 人 體 頭-肩 三 維 模 型 ψ(ν，θy，θz)(圖2)，兩橢球的參數(shù)由人體固有的比例關(guān)系確定，它們?cè)谌S空間中的相對(duì)位置關(guān)系保持不變.模型ψ 具有3 個(gè)自由度，ν 為縮放尺度，θy為模型繞YW軸旋轉(zhuǎn)角度，θz為模型繞ZW軸旋轉(zhuǎn)角度.

模型所在的三維空間坐標(biāo)系W 與圖像坐標(biāo)系F 間的關(guān)系如圖3 所示，W 中的XwOwYw坐標(biāo)平面與F 中的XFOFYF平面是平行的.這樣，就可以通過(guò)將三維模型ψ(ν，θy，θz)向圖像平面投影得到圖像平面內(nèi)的二維模板κ(x，y，ν，θy，θz)，其中，x 和y 分別為模板κ 在圖像中位置的橫、縱坐標(biāo)，ν，θy，θz為模板κ 對(duì)應(yīng)的三維模型ψ 的3 個(gè)自由度.

于是，可以定義5 維狀態(tài)空間中的粒子φ(x，y，ν，θy，θz，ω)，其中，ω 為該粒子的權(quán)重(通過(guò)粒子濾波的測(cè)量過(guò)程被賦值)，向量(ν，θy，θz)對(duì)應(yīng)一個(gè)三維模型ψ，而(x，y)為ψ 對(duì)應(yīng)的二維模板在圖像中的位置.頭部和肩部的位置在二維模板中的坐標(biāo)是已知的，因此跟蹤結(jié)果的(x，y)分量確定后便可以計(jì)算出頭部和肩部在原圖像中的二維坐標(biāo).

圖2 人體頭-肩三維模型

由頭-肩三維模型的建立過(guò)程可見，通過(guò)改變模型ψ(ν，θy，θz)3 個(gè)自由度的值獲得模型在三維空間中的不同姿態(tài)，所有不同的姿態(tài)的集合構(gòu)成了一個(gè)三維模型庫(kù)S.縮放尺度ν、角度θy和角度θz的采樣率分別為Δν、Δθy和Δθz，模型庫(kù)S 為

式中:P，G 和Q 分別為相應(yīng)自由度的取值集合，共有N=NP×NG×NQ個(gè)頭-肩三維模型.

模型庫(kù)S 的建立優(yōu)化了粒子濾波中粒子的搜索空間，為狀態(tài)空間離散化為柵格狀態(tài)空間提供了前提條件.為了避免動(dòng)態(tài)地生成二維模板圖像，提高系統(tǒng)運(yùn)行速度，將模型庫(kù)S 中每個(gè)三維模型對(duì)應(yīng)的二維投影模板圖像都存放在外存中并進(jìn)行索引，每次系統(tǒng)啟動(dòng)時(shí)讀入內(nèi)存中備用.

圖3 三維模板空間坐標(biāo)系W 與圖像平面坐標(biāo)系F 關(guān)系圖

1.2 柵格粒子濾波器

柵格粒子濾波器將粒子φ(x，y，ν，θy，θz，ω)所在的五維狀態(tài)空間進(jìn)行離散化后作為粒子的搜索空間.狀態(tài)空間中每一個(gè)離散化的點(diǎn)都對(duì)應(yīng)了一個(gè)粒子，在各維度上等間隔排列的N 個(gè)點(diǎn)對(duì)應(yīng)了N 個(gè)粒子.這樣，連續(xù)的五維狀態(tài)空間就離散化成為柵格狀態(tài)空間，離散化程度取決于各維度上間隔(采樣率)的大小.離散化程度越大，粒子濾波所需的粒子數(shù)越少，系統(tǒng)的運(yùn)行效率越高，而三維姿態(tài)估計(jì)的精度越低，反之亦然.

本文方法不需要人工初始化過(guò)程，而是使用基于分層次搜索的方法獲得第一幀圖像的系統(tǒng)狀態(tài).首先進(jìn)行背景減除操作以獲得人體位置所在的矩形區(qū)域作為粒子φ(x，y，ν，θy，θz，ω)對(duì)應(yīng)的二維模板位置(x，y)的搜索區(qū)域.(ν，θy，θz)在整個(gè)3 維模型庫(kù)S 中取值;最后在相應(yīng)的取值范圍內(nèi)應(yīng)用粒子濾波的測(cè)量過(guò)程獲得第一幀圖像的系統(tǒng)狀態(tài)，并以此作為后續(xù)粒子濾波過(guò)程的初始狀態(tài).

柵格粒子濾波器在t 時(shí)刻包括下述3 個(gè)主要步驟(圖4):

1)選擇過(guò)程.在上一個(gè)時(shí)間步(t-1 時(shí)刻)產(chǎn)生的粒子集Φt-1中選擇權(quán)重最大的M 個(gè)粒子.

2)預(yù)測(cè)過(guò)程.t-1 時(shí)刻的跟蹤過(guò)程結(jié)束后，通過(guò)該時(shí)刻的測(cè)量過(guò)程可以得到t-1 時(shí)刻的最優(yōu)粒子.考慮到兩幀圖像間的人體姿態(tài)變化很小，使用來(lái)預(yù)測(cè)t 時(shí)刻粒子狀態(tài).方法是在五維柵格狀態(tài)空間中，以粒子為中心取得一個(gè)五維的超橢球體Ω.該超橢球體包圍的Nt個(gè)粒子作為新粒子，其體積決定了Nt的大小，而該體積是由Ω 在各個(gè)維度上的寬度決定的.通過(guò)設(shè)置各維度寬度來(lái)限定粒子數(shù)量，以提高計(jì)算效率.

式中:η 為某一維度上的取值，Ω 在該維度上的寬度為2w+1，狀態(tài)空間離散化時(shí)各粒子間的間隔為Δη.

3)測(cè)量過(guò)程.每個(gè)新粒子φt(x，y，ν，θy，θz，ω)都唯一地與一個(gè)二維模板κt(x，y，ν，θy，θz)相對(duì)應(yīng).以t-1 時(shí)刻獲得頭部位置為中心取得一個(gè)矩形區(qū)域作為t 時(shí)刻二維模板κt的搜索區(qū)域，該區(qū)域的大小由縮放尺度ν 來(lái)進(jìn)行調(diào)整.在此搜索區(qū)域內(nèi)滑動(dòng)二維模板κt，并計(jì)算二維模板κt對(duì)應(yīng)粒子φt的權(quán)重.當(dāng)Nt個(gè)粒子的權(quán)重都計(jì)算完成，便形成了t 時(shí)刻的粒子集Φt.通過(guò)計(jì)算Φt中權(quán)重最大的M個(gè)粒子的均值獲得t 時(shí)刻的系統(tǒng)狀態(tài).

圖4 柵格粒子濾波器的執(zhí)行過(guò)程

1.3 相似性度量

在t 時(shí)刻圖像中，令φt(x，y，ν，θy，θz，ω)為一個(gè)新粒子，其對(duì)應(yīng)的二維模 板為κt(x，y，ν，θy，θz).根據(jù)文獻(xiàn)［8］中介紹的方法，將粒子濾波的測(cè)量過(guò)程中二維模板κt搜索區(qū)域?qū)?yīng)的圖像轉(zhuǎn)換為距離變換圖(圖5)，然后計(jì)算該二維模板邊緣圖像的Chamfer 距離，以該距離的倒數(shù)作為粒子φt的權(quán)重:

式中:n 為二維模板κt邊緣圖像邊緣像素點(diǎn)個(gè)數(shù);Vi為二維模板κt邊緣圖像上第i 個(gè)邊緣像素點(diǎn)對(duì)應(yīng)的距離變換圖上相應(yīng)位置像素點(diǎn)值.

圖5 生成距離變換圖

2 頭肩三維姿態(tài)估計(jì)

根據(jù)人體結(jié)構(gòu)特征，人體的兩肩姿態(tài)能夠反映人體上半身即頭肩部的姿態(tài).經(jīng)過(guò)柵格粒子濾波過(guò)程，獲得了第t 幀圖像的系統(tǒng)狀態(tài)向量().其中，向量)為當(dāng)前人體頭-肩結(jié)構(gòu)的空間姿態(tài).頭-肩三維模型向圖像平面投影生成相應(yīng)的二維模板時(shí)，由于深度歧義性，會(huì)發(fā)生兩個(gè)三維模型對(duì)應(yīng)同一個(gè)二維模板的情況(圖6).為了不引起混淆，本文使用的頭-肩三維模型庫(kù)中不包括含有人體背部信息的模型(θy［-90，90］).

考慮到人頭部前后顏色差異比較明顯，本文使用顏色信息來(lái)解決這一問(wèn)題.具體方法為:通過(guò)學(xué)習(xí)獲得人臉和后腦的HSV 顏色空間中S-V 二維顏色直方圖和.經(jīng)過(guò)粒子濾波過(guò)程可以獲得頭部和肩部的位置，同時(shí)計(jì)算出頭部區(qū)域的S-V 二維顏色直方圖Hhead.然后使用Bhattacharyya 距離［9］計(jì)算Hhead與兩直方圖間的距離B(Hhead，)和B(Hhead).最 后 對(duì)系統(tǒng)狀態(tài)向量進(jìn)行更正(圖6).

圖6 深度歧義性示意圖(攝像機(jī)拍攝方向與Zw 軸方向相同)

3 實(shí)驗(yàn)結(jié)果與分析

使用本文方法對(duì)布朗大學(xué)的人體姿態(tài)數(shù)據(jù)庫(kù)［10］中的部分?jǐn)?shù)據(jù)進(jìn)行了實(shí)驗(yàn).選取數(shù)據(jù)庫(kù)中視頻集S2 內(nèi)包括行走(walking)、慢跑(jog)、揮手(gestures)和拳擊(box)等4 段視頻進(jìn)行了頭部、肩部的二維跟蹤和人體頭肩三維姿態(tài)估計(jì).本文的目標(biāo)是依據(jù)單目攝像機(jī)的視頻序列進(jìn)行跟蹤，因此只選擇了攝像機(jī)C1 拍攝的彩色圖像序列進(jìn)行實(shí)驗(yàn).

在生成三維模型庫(kù)時(shí)，取ν ∈［0.9，1.9］，θy∈［-90，90］和θz∈［-20，20］，相應(yīng)采樣率的取值分別為Δν=0.1，Δθy=45 和Δθz=5，這樣三維模型庫(kù)中共有450 個(gè)模型.在進(jìn)行粒子濾波的預(yù)測(cè)過(guò)程時(shí)，各維度上的取值如表1 所示.

實(shí)驗(yàn)中使用的真值是通過(guò)在測(cè)試視頻上進(jìn)行手工標(biāo)記獲得的.表2 為使用本文方法進(jìn)行頭部和肩部二維跟蹤的誤差均值和標(biāo)準(zhǔn)差.

文獻(xiàn)［6］中，對(duì)頭部跟蹤的平均誤差為9.28 像素(約為3.3 mm)，對(duì)肩部跟蹤的平均誤差為9.09 像素(約為3.2 mm)，在Intel-Xeon 2.8 GHz計(jì)算機(jī)上的處理速度＞2 s/幀(只是確定人體位置和方向所用時(shí)間，未計(jì)算頭部和肩部跟蹤所用時(shí)間).而本文的相應(yīng)平均誤差分別為7.80 像素(約為2.7 mm)和11.60 像素(約為4.1 mm)，頭-肩二維跟蹤在Intel Core2 2.0 GHz計(jì)算機(jī)上平均處理速度為0.17 s/幀.可見本文方法與文獻(xiàn)［6］相比具有近似的結(jié)果但具有更好的運(yùn)行效率.

本文實(shí)驗(yàn)過(guò)程所使用的平臺(tái)為Intel Core2 2.0GHz CPU，對(duì)每一段視頻進(jìn)行頭-肩二維跟蹤的平均處理速度如表2 所示.圖7 顯示了對(duì)“慢跑”視頻片段中人體頭肩部分三維姿態(tài)估計(jì)的結(jié)果.從圖7 中可以看出，即使當(dāng)肩部被完全遮擋，本文方法仍能夠正確跟蹤到頭部和肩部的位置，并進(jìn)行比較精確的三維姿態(tài)估計(jì).另外，本文方法還具有較強(qiáng)的魯棒性——當(dāng)由于嚴(yán)重的遮擋而出現(xiàn)跟蹤失敗時(shí)能夠在遮擋消失后迅速恢復(fù)(圖8).

表1 粒子濾波預(yù)測(cè)過(guò)程中t 時(shí)刻各維度上的取值

表2 二維跟蹤的誤差及計(jì)算速度統(tǒng)計(jì)表

圖7 “慢跑”視頻片段的實(shí)驗(yàn)結(jié)果

圖8 “拳擊”視頻片段的實(shí)驗(yàn)結(jié)果

4 結(jié) 論

1)建立了一個(gè)頭肩三維模型;通過(guò)調(diào)整該模型的參數(shù)，并向圖像平面投影，獲得不同尺度下的若干二維模板，用來(lái)進(jìn)行邊緣相似性匹配;應(yīng)用柵格粒子濾波搜索狀態(tài)空間，獲得視頻數(shù)據(jù)中人體頭肩位置和三維姿態(tài).

2)從實(shí)驗(yàn)結(jié)果可以看出，本文方法具有較高的效率和較強(qiáng)的魯棒性.該算法不需要任何人工初始化過(guò)程，有效降低了跟蹤過(guò)程中使用的粒子數(shù)量，實(shí)現(xiàn)了快速的跟蹤和姿態(tài)估計(jì).

［1］WACHTER S，NAGEL H H.Tracking persons in monocular image sequences［J］.Computer Vision and Image Understanding，1999，74(3):174-192.

［2］SMINCHISESCU C，TRIGGS B.Kinematic jump processes for monocular 3D human tracking［C］//Proceedings 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［s.l.］:［s.n.］，2003:16-22.

［3］LEE M W，COHEN I.Proposal maps driven MCMC for estimating human body pose in static images［C］//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington:IEEE Xplore，2004.

［4］NAVARATNAM R，THAYANANTHAN A，TORR P H S，et al.Hierarchical part-based human body pose estimation［C］//In the 16th British Machine Vision Conference.［s.l.］:［s.n.］，2005.

［5］MOESLUND T B.Pose estimating the human arm using kinematics and the sequential monte carlo framework［C］//Chapter 4 in part IX of Cutting Edge Robotics.KORDIC V，LAZINICA A，MERDAN M.Published by Pro Literatur Verlag，2005.

［6］LEE M W，NEVATIA R.Body part detection for human pose estimation and tracking［C］//Proceedings of the IEEE Workshop on Motion and Video Computing.Washington:IEEE Computer Society，2007:23.

［7］LEE M W，COHEN I.A model-based approach for estimating human 3D poses in static images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(6):905-916.

［8］BORGEFORSG.Hierarchical chamfer matching:A parametric edge matching algorithm［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1988，10(6):849-865.

［9］AHERNE F，THACKER N，ROCKETT P.The bhattacharyya metric as an absolute similarity measurefor frequency coded data［J］.Kybernetika，1998，34(4):363-368.

［10］SIGAL L，BLACK M J.Humaneva:Syncronized video and motion capture dataset for evaluation of articulated human motion［R］.Providence:Brown Univertsity TR，2006.