周 斌， 馬 玲

(石河子大學(xué) 體育學(xué)院， 新疆 石河子 832003)

三維人體運動跟蹤中形狀特征表述重建*

周 斌， 馬 玲

(石河子大學(xué) 體育學(xué)院， 新疆 石河子 832003)

針對在重建三維人體運動跟蹤形狀特征時，人體運動姿態(tài)重建結(jié)果與真實值具有較大偏差且不能長時間有效跟蹤的問題，提出基于聯(lián)合優(yōu)化法的三維人體運動跟蹤形狀特征表述重建方法.采用POCS算法將三維人體運動跟蹤中的形狀捕捉問題轉(zhuǎn)換為正則規(guī)劃問題，實現(xiàn)對三維人體運動跟蹤中的形狀捕捉.采用Bayes理論統(tǒng)計估計方法，將捕捉到的形狀數(shù)學(xué)建模問題轉(zhuǎn)化為目標(biāo)函數(shù)最大化問題.采用Fisher線性判別分析法對三維人體運動跟蹤中的形狀特征點進(jìn)行自動定位，利用聯(lián)合優(yōu)化法重建已經(jīng)定位的形狀特征表述.結(jié)果表明，所提方法可以有效捕捉三維人體運動跟蹤中的形狀特征，且重建精度較高，準(zhǔn)確性較好.

三維人體； 運動跟蹤； 形狀特征； 表述； 重建； 捕捉； 定位； POCS算法

近年來，人體運動的跟蹤與分析成為了圖像處理與計算機(jī)視覺領(lǐng)域中備受關(guān)注的研究熱點.可以利用單個或多個攝像機(jī)從包含人體運動的圖像序列或視頻中檢測、識別、跟蹤人體，并對其進(jìn)行理解和描述，且該方面的研究屬于圖像分析領(lǐng)域[1-3].在對人體運動進(jìn)行跟蹤時，多采用三維方式進(jìn)行分析.從技術(shù)角度而言，對三維人體運動跟蹤進(jìn)行分析的研究內(nèi)容相當(dāng)豐富，主要涉及模式識別、圖像處理、計算機(jī)視覺、人工智能及形狀特征表述分析等方面[4-6]，其中，形狀特征表述是該領(lǐng)域亟待解決的問題，受到廣大學(xué)者的重視，也出現(xiàn)了很多較好的研究方法.文獻(xiàn)[7]提出基于局部特征的形狀特征描述重建方法，該方法以大規(guī)模圖像集為數(shù)據(jù)源，進(jìn)行較為精確的重建工作，使重建后的形狀特征描述與原始形狀特征描述相似.文獻(xiàn)[7]對目前的形狀特征進(jìn)行概述，采用局部特征及匹配特征塊方法，實現(xiàn)對形狀特征描述的重建，但該方法存在重建精度較低的問題；文獻(xiàn)[8]提出基于數(shù)據(jù)驅(qū)動的形狀特征表述重建方法，該方法充分利用大量數(shù)據(jù)訓(xùn)練得到形狀特征信息，估計其信噪比，檢測并標(biāo)記噪聲污染嚴(yán)重的特征，得到魯棒性較好的形狀特征表述參數(shù)，從而實現(xiàn)采用數(shù)據(jù)驅(qū)動方法對形狀特征表述進(jìn)行重建的目的，但是該方法同樣存在重建精度較低的問題；文獻(xiàn)[9]提出基于亞高斯隨機(jī)投影的形狀特征表述重建方法，該方法首先給出兩種新型的測量矩陣(稀疏投影矩陣和非常稀疏投影矩陣)，利用亞高斯分布的有界性證明兩種矩陣存在的必要性，同時，利用兩種矩陣的稀疏性簡化重建過程，實現(xiàn)形狀特征表述重建，但該方法存在重建過程耗時過長的問題.

針對上述問題，本文提出基于聯(lián)合優(yōu)化法的三維人體運動跟蹤中的形狀特征表述重建方法，并進(jìn)行了相關(guān)的實驗分析.結(jié)果發(fā)現(xiàn)采用該改進(jìn)方法時，其重建精度和效率均優(yōu)于傳統(tǒng)重建方法.

1 形狀特征分析

1.1 形狀特征的捕捉

在三維人體運動跟蹤中進(jìn)行形狀捕捉實際上就是對三維圖像序列中的運動模型進(jìn)行檢測、跟蹤并記錄相應(yīng)的運動形狀軌跡信息.采用多個攝像機(jī)以各種視覺角度對背景連續(xù)采集三維人體運動跟蹤圖像，并建立一個初始背景統(tǒng)計模型[10-11].對背景中像素點的顏色均值和方差進(jìn)行計算，其計算公式分別為

(1)

(2)

式中：Bi為每個像素點的顏色矩陣；K為圖像數(shù)量.

采用背景減除法提取三維人體運動跟蹤圖像的形狀目標(biāo)值，其表達(dá)式為

(3)

式中：Q(x，y)為圖像前景灰度值；B(x，y)為圖像背景灰度值；L為閾值.

當(dāng)采用簡單背景減除法提取形狀目標(biāo)時，在檢測結(jié)果中發(fā)現(xiàn)含有大量噪聲干擾.為了正確捕捉三維人體運動跟蹤中的形狀特征，采用基于修正邊緣的背景減除法去除噪聲，此時形狀目標(biāo)值的相應(yīng)表達(dá)式為

(4)

式中：t0為噪聲周期；t(x)為噪聲所在頻段；A為圖像背景尺度信息.

假設(shè)已知Z是由三維人體運動跟蹤圖像樣本集訓(xùn)練得到的一個數(shù)據(jù)集合，則圖像在數(shù)據(jù)集合Z下的稀疏表示定義式為

E(x，y)=αZ

(5)

式中，α為稀疏表示系數(shù).

采用POCS算法將三維人體運動跟蹤中的形狀捕捉問題轉(zhuǎn)換為正則規(guī)劃問題進(jìn)行求解，則正則規(guī)劃函數(shù)可以表示為

(6)

實現(xiàn)三維人體運動跟蹤中的形狀捕捉后得到優(yōu)化目標(biāo)函數(shù)，其表達(dá)式為

(7)

式中：gr為r時刻采集的圖像梯度值；Dr為r時刻的投影算子；Hr為r時刻的采集速度；Mr為r時刻采集圖像的質(zhì)量；f為像素總數(shù)；λ為圖像采集系數(shù)；γ為采樣矩陣.

1.2 形狀特征數(shù)學(xué)模型的構(gòu)建

在對三維人體運動跟蹤中的形狀特征進(jìn)行捕捉的基礎(chǔ)上，采用Bayes理論統(tǒng)計估計方法對三維人體運動跟蹤中形狀特征的數(shù)學(xué)模型進(jìn)行構(gòu)建.圖1為人體骨架模型，該模型共有25個自由度，各個子節(jié)點坐標(biāo)系與父節(jié)點坐標(biāo)系之間的關(guān)系可以表示為

I=T(tx，ty，tz)RxRyRz

(8)

式中：I為父節(jié)點坐標(biāo)；Rx、Ry和Rz分別為x、y和z軸方向的子節(jié)點坐標(biāo)；T(tx，ty，tz)為根節(jié)點到坐標(biāo)系原點的位移.

圖1 人體骨架模型

圖1中Q0～Q9為人體骨架中不同身體結(jié)構(gòu)的坐標(biāo)點；q1～q30為不同三維坐標(biāo)點；TRHR、TRKH和TRFA分別表示右臀部到根節(jié)點的初始平移，右膝蓋到右臀節(jié)點的初始平移和右腳部到右踝部的初始平移.

采用Bayes理論統(tǒng)計估計方法將對三維人體運動跟蹤中形狀特征數(shù)學(xué)模型的構(gòu)建問題轉(zhuǎn)化為圖像估計問題，即目標(biāo)函數(shù)最大化問題.根據(jù)Bayes理論統(tǒng)計估計方法得到的條件概率表達(dá)式為

(9)

式中，P(·)為圖像概率密度函數(shù).

三維人體運動跟蹤中形狀特征的數(shù)學(xué)模型表達(dá)式為

d(x，y))+Vk[x，y]

(10)

2 形狀特征表述重建方法的改進(jìn)

2.1 形狀特征點的自動定位

在建立三維人體運動跟蹤形狀特征數(shù)學(xué)模型的基礎(chǔ)上，采用Fisher線性判別分析法對三維人體運動跟蹤中的形狀特征點進(jìn)行自動定位.假設(shè)三維人體運動跟蹤中形狀特征鄰域為某一矩陣，則對應(yīng)的卷積函數(shù)可以表示為

(11)

采用Fourier變換法對三維人體運動跟蹤中的形狀特征噪音進(jìn)行消除，從而減少高頻分量.假設(shè)圖像函數(shù)經(jīng)過Fourier變換后可表示為F(x，y)，且H(x，y)為低通濾波的轉(zhuǎn)移函數(shù)，G(x，y)為經(jīng)過低通濾波后圖像的Fourier頻譜函數(shù)，則

G(x，y)=H(x，y)F(x，y)

(12)

(13)

此外，不同樣本的類內(nèi)離散度矩陣Si和總類內(nèi)離散度矩陣S可以分別表示為

(14)

S=S1+S2

(15)

(16)

經(jīng)過投影后同類形狀特征應(yīng)該盡可能聚集，而不同類形狀特征應(yīng)該盡可能分開，從而使得類內(nèi)離散度變小，而類間離散度變大.Fisher線性判別準(zhǔn)則可以表示為

(17)

QSe-QSc

(18)

式中：Q為大于0的常數(shù)；W為權(quán)值系數(shù)；Aij為圖像背景尺度的特征向量；Se為權(quán)值矩陣H的類內(nèi)差距；Sc為權(quán)值矩陣H的類間差距.

2.2 改進(jìn)重建方法的實現(xiàn)

(19)

式中：F(Θ)為基本矩陣函數(shù)；R(q)為q波段下相機(jī)參數(shù)向量；T為時間向量.

修正后的坐標(biāo)最小化目標(biāo)函數(shù)可以表示為

(20)

式中，ρ為圖像特征點密度.

假設(shè)變化所需樣本的最小數(shù)量為Nh，為了獲取準(zhǔn)確的形狀特征表述，需要至少進(jìn)行Ns次迭代，則最終三維人體運動跟蹤中圖像輪廓特征變量可以表示為

(21)

式中：ξ為特征外點率；p為常數(shù).

為了防止在重建過程中產(chǎn)生高斯噪聲，利用硬閾值法對形狀特征表述進(jìn)行降噪處理，即

θ(b+1)=ψΔx(b+1)

(22)

(23)

式中：θ(b+1)(n)為差別閾值θ(b+1)的第n個元素；ψ為小波稀疏基；Δx(b+1)為絕對閾值；η(b+1)為門限值.

(24)

綜上所述，在對三維人體運動跟蹤形狀特征點進(jìn)行自動定位的基礎(chǔ)上，可以采用聯(lián)合優(yōu)化法對三維人體運動跟蹤中的形狀特征表述進(jìn)行重建，但需要進(jìn)行實驗對比分析.

3 結(jié)果與分析

3.1 實驗參數(shù)設(shè)置

為了驗證改進(jìn)形狀特征表述重建方法在三維人體運動跟蹤中的有效性及可行性，需要進(jìn)行實驗對比分析.實驗設(shè)備包括6個校準(zhǔn)相機(jī)和兩個采集卡.實驗采樣率為30幀/s，采樣圖像像素分辨率為320×240.在Matlab2010環(huán)境下(并未進(jìn)行代碼優(yōu)化和并行處理)，采用背景減法提取人體輪廓.運動者的運動空間為2m×2m×2m，將該空間劃分成尺寸為2cm×2cm×2cm的子空間.采用改進(jìn)方法得到三維運動跟蹤中的形狀特征，初始化時間為120ms.實驗中約3/5的時間消耗在特征表述重建上，剩余時間用于特征處理及特征表述的獲取.Michoud硬件系統(tǒng)選用4個標(biāo)定相機(jī)，且由一臺計算機(jī)控制.

3.2 實驗結(jié)果

3.2.1 不同方法下的相關(guān)性對比

采用稀疏隨機(jī)投影法[9]、基于局部特征重建法(代數(shù)法)[7]與改進(jìn)重建法進(jìn)行對比分析，結(jié)果如圖2所示.

圖2 不同方法下的相關(guān)性對比

在三維人體運動跟蹤中可以根據(jù)追蹤動態(tài)時間下的振動情況判定跟蹤人體運動情況，若出現(xiàn)較大波動，則表明運動幅度較大.將不同方法的測試結(jié)果與原數(shù)據(jù)進(jìn)行對比，若振型相同，則表示方法準(zhǔn)確，此時與具體振動幅度無關(guān).由圖2可見，當(dāng)采用稀疏隨機(jī)投影法、基于局部特征重建法與改進(jìn)重建法進(jìn)行分析時，在0～100 s范圍內(nèi)利用不同方法獲得的振動情況均不低于三維人體運動跟蹤原數(shù)據(jù)，但在100～220 s時間段內(nèi)，利用不同方法獲得的振動情況差別較為明顯.觀察圖2可知，采用改進(jìn)重建法進(jìn)行采樣時并未破壞圖像譜間的相關(guān)性結(jié)構(gòu)，改進(jìn)重建法觀測向量的譜間相關(guān)性與三維人體運動跟蹤圖像保持了良好的一致性，這與理論推導(dǎo)出的結(jié)果相一致.當(dāng)利用改進(jìn)重建法進(jìn)行重建時，能夠充分利用三維人體運動跟蹤數(shù)據(jù)具有的較強(qiáng)譜間相關(guān)性特點，將數(shù)據(jù)整合到重建模型中，因而可以增加重建性能，可見改進(jìn)重建法具有一定的優(yōu)勢.

3.2.2 不同方法的相關(guān)收斂性對比

為了驗證本文所提方法的收斂性，在人體運動過程中抓拍某一特性動作作為待處理的原始圖像，具體圖像如圖3所示.

圖3 原始圖像

利用本文所提改進(jìn)重建法、基于局部特征重建法和稀疏隨機(jī)投影法進(jìn)行三維人體形狀特征重建.通過測試不同方法重建目標(biāo)后的三維像素點，描繪不同圖像測定結(jié)果的三維重建圖像，實現(xiàn)性能對比分析.不同方法下的形狀特征表述重建對比如圖4所示，其中Lx、Ly、Lz分別代表不同方向的像素值.由圖4可見，稀疏隨機(jī)投影法和基于局部特征重建法出現(xiàn)了手臂動作形狀重建表述錯誤或是手臂高抬角度錯誤的問題.當(dāng)采用改進(jìn)重建法時，該方法對手臂前后順序、高抬角度和手臂動作等形狀特征的表述均較為準(zhǔn)確，精度較高，因而具有一定的優(yōu)勢.

4 結(jié) 論

針對傳統(tǒng)方法對三維人體運動跟蹤中的形狀特征進(jìn)行重建時精度較低的問題，本文在對形狀特征點進(jìn)行自動定位的基礎(chǔ)上，提出基于聯(lián)合優(yōu)化法的形狀特征表述重建方法，并進(jìn)行了相關(guān)實驗分析.結(jié)果表明，所提出的改進(jìn)重建法相比傳統(tǒng)方法具有更高的準(zhǔn)確性，且重建精度較高.

圖4 不同方法下的形狀特征表述重建對比

[1]李敏，宋曰聰，吳斌，等.基于Beowulf機(jī)群中改進(jìn)粒子濾波的3D人體運動跟蹤 [J].計算機(jī)工程與應(yīng)用，2015，51(14)：17-22.

(LI Min，SONG Yue-cong，WU Bin，et al.Three-dimension human motion tracking based improved particle filter on Beowulf cluster system [J].Computer Engineering and Applications，2015，51(14)：17-22.)

[2]趙軍，於俊，汪增福.基于改進(jìn)逆向運動學(xué)的人體運動跟蹤 [J].智能系統(tǒng)學(xué)報，2015，24(4)：548-554.

(ZHAO Jun，YU Jun，WANG Zeng-fu.Human motion tracking based on an improved inverse kinematics [J].CAAI Transactions on Intelligent Systems，2015，24(4)：548-554.)

[3]楊凱，魏本征，任曉強(qiáng)，等.基于深度圖像的人體運動姿態(tài)跟蹤和識別算法 [J].數(shù)據(jù)采集與處理，2015，30(5)：1043-1053.

(YANG Kai，WEI Ben-zheng，REN Xiao-qiang，et al.Depth image based human motion tracking and recognition algorithm [J].Journal of Data Acquisition & Processing，2015，30(5)：1043-1053.)

[4]張殿勇，苗振江.基于模型的無標(biāo)識人體運動捕捉研究 [J].北京交通大學(xué)學(xué)報，2014，38(2)：42-49.

(ZHANG Dian-yong，MIAO Zhen-jiang.Research on model-based markerless human motion capture [J].Journal of Beijing Jiaotong University，2014，38(2)：42-49.)

[5]陳曦，孟慶虎.骨架關(guān)節(jié)點跟蹤的人體行為識別方法 [J].河南科技大學(xué)學(xué)報，2015，26(2)：43-48.

(CHEN Xi，MENG Qing-hu.Human behavior recognition method for skeleton joint point tracking [J].Journal of Henan University of Science & Technology，2015，26(2)：43-48.)

[6]李平，魏仲慧，何昕，等.采用多形狀特征融合的多視點目標(biāo)識別 [J].光學(xué)精密工程，2014，22(12)：3368-3376.

(LI Ping，WEI Zhong-hui，HE Xin，et al.Object recognition based on shape feature fusion under multi-views [J].Optics and Precision Engineering，2014，22(12)：3368-3376.)

[7]馮霞，秦昆，崔衛(wèi)紅，等.高分辨率遙感影像目標(biāo)形狀特征多尺度描述與識別 [J].遙感學(xué)報，2014，18(1)：90-104.

(FENG Xia，QIN Kun，CUI Wei-hong，et al.Multiscale description and recognition of target shape in high-resolution remote sensing images [J].Journal of Remote Sensing，2014，18(1)：90-104.)

[8]劉璇，李海生，蔡強(qiáng)，等.三維形狀特征提取技術(shù)研究進(jìn)展 [J].計算機(jī)科學(xué)與探索，2014，8(5)：513-524.

(LIU Xuan，LI Hai-sheng，CAI Qiang，et al.Review of 3D shapes feature extraction [J].Journal of Frontiers of Computer Science and Technology，2014，8(5)：513-524.)

[9]崔寶俠，田佳，段勇，等.基于圖論分割的肺部CT圖像的三維重建 [J].沈陽工業(yè)大學(xué)學(xué)報，2015，37(6)：667-672.

(CUI Bao-xia，TIAN Jia，DUAN Yong，et al.Three-dimensional reconstruction of lung CT images based on graph theory segmentaion [J].Journal of Shenyang University of Technology，2015，37(6)：667-672.)

[10]朱延娟，倪周松.基于離散點曲率的細(xì)胞圖像形狀特征表述 [J].計算機(jī)應(yīng)用，2015(增刊2)：267-270.

(ZHU Yan-juan，NI Zhou-song.Description of shape feature for cell image based curvature of discrete points [J].Journal of Computer Applications，2015(Sup2)：267-270.)

[11]郭鵬宇，蘇昂，張紅良，等.結(jié)合紋理和形狀特征的在線混合隨機(jī)樸素貝葉斯視覺跟蹤器 [J].光學(xué)學(xué)報，2015，31(3)：195-205.

(GUO Peng-yu，SU Ang，ZHANG Hong-liang，et al.Online mixture of random Naive Bayes tracker com-bined texture with shape feature [J].Acta Optica Sinica，2015，31(3)：195-205.)

(責(zé)任編輯：尹淑英 英文審校：尹淑英)

Reconstruction for shape feature representation in 3D human motion tracking

ZHOU Bin, MA Ling

(College of Physical Education, Shihezi University, Shihezi 832003, China)

Aiming at the problem that during the reconstruction of shape feature in the 3D human body motion tracking, the reconstruction results of human motion postures compared with the real values have a large deviation and the effective tracking for a long term can not be realized, a reconstruction method for shape feature representation in 3D human body motion tracking based on the combined optimization method was proposed. The shape capture problem in 3D human body motion tracking was transformed into the regular programming problem with the POCS algorithm, and thus the shape capture problem in 3D human body motion tracking could be realized. The statistical estimation method of Bayes theory was adopted, and the captured shape mathematical modeling problem was transformed into the objective function maximization problem. With the Fisher linear discriminate analysis method, the shape feature points in 3D human body motion tracking were automatically located, and the located shape feature representation was reconstructed with the combined optimization method. The results show that the proposed method can effectively capture the shape feature in 3D human body motion tracking, and has high reconstruction precision and good accuracy.

3D human body; motion tracking; shape feature; representation; reconstruction; capture; localization; POCS algorithm

2016-11-12.

“十二五”規(guī)劃重點課題資助項目(01020433-XJ1512).

周 斌(1981-)，男，甘肅蘭州人，講師，碩士，主要從事運動訓(xùn)練與人體工程學(xué)等方面的研究.

10.7688/j.issn.1000-1646.2017.03.18

TP 391.4

A

1000-1646(2017)03-0340-06

*本文已于2017-05-08 20∶25在中國知網(wǎng)優(yōu)先數(shù)字出版. 網(wǎng)絡(luò)出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20170508.2025.018.html