王大鵬 黎 琳 韓 麗 張美超 王露晨

(遼寧師范大學計算機與信息技術學院 遼寧 大連 116081)

基于三維人體語義骨架點的姿態(tài)匹配

王大鵬 黎 琳 韓 麗 張美超 王露晨

(遼寧師范大學計算機與信息技術學院 遼寧 大連 116081)

針對三維人體模型結構復雜，處理數量大且不易提取控制點等問題，提出通過對人體形狀進行特征分析描述人體結構并進行姿態(tài)識別的算法。融合測地線與空間結構等特征提取骨架點有效減少數據的計算量，并通過ICP算法進行姿態(tài)的行為識別。實驗證明，該算法有效地提升了三維姿態(tài)的識別效率，并有很好的魯棒性。

三維人體 語義骨架 姿態(tài)識別

0 引 言

近年來，人體姿態(tài)識別成了計算機視覺領域中的一個重要研究方向。人作為社會活動的主體，對人的動作行為進行識別分析具有重要的研究價值，在醫(yī)療、監(jiān)控、人機交互等方面具有廣闊的應用前景。對于大量的三維人體模型數據，如何去自動獲取人體特征、學習并分析其動作行為[1]已是目前研究的重點和難點所在。

人體姿態(tài)行為具有高度靈活、內部結構復雜的特性，很難用單一特征進行描述或分類提取。在常用的基于統(tǒng)計的方法中，可從統(tǒng)計學的角度分析動作特征和之前的關聯(lián)情況，常見的統(tǒng)計模型主要有：隱馬爾科夫模型HMM(Hidden Markov Model)[2]、高斯混合模型GMM(Gaussian Mixture Model)等?；跁r空特征的方法是將一段時間序列的動態(tài)過程進行分析，通過訓練樣本來獲取動作的模型參數，常見的方法包括線性動態(tài)系統(tǒng)LDS(Linear Dynamic System)等。Natarajan等人[3]通過動態(tài)貝葉斯網絡DBN(Dynamic Bayesian Network)來表示分解后的運動序列，描述復雜動作拆分后的轉換關系?；跁r空特征的分析法中，Wang等[4]利用局部興趣點的密度特性，觀察局部興趣點的多尺度時空上下文特征進行行為識別。Wu等[5]結合兩種分布特征類型：時空上下文和外觀分布特征，利用多核學習方法有效融合這兩種異構和互補分布特性進行姿態(tài)識別?；谀０宓拇笾驴煞譃閮深?，一類為模板匹配法，另一類為動態(tài)的時空規(guī)整法和動態(tài)規(guī)劃法。基于模板方法將識別出的模型姿態(tài)與樣本模型進行比較，算法效率較高，簡單高效，可廣泛地應用于日常行為姿態(tài)的識別。

大多人體姿態(tài)識別方法通常通過單視角或多視角的二維圖像進行提取，描述特征主要為目標人物的顏色、輪廓、形狀、深度信息等，導致一些算法容易受光照、環(huán)境、遮擋等因素的影響，具有一定的局限性。三維模型數據從本質上克服了二維信息的不利影響因素，本文在充分考慮三維人體模型特性的基礎之上，提出一種新穎的人體姿態(tài)分析及識別算法，層次化提取出人體骨架結構后，基于迭代最近點算法ICP(Iterative Closest Point)進行日常姿態(tài)模板識別，有效提升了姿態(tài)識別的計算效率(如圖1所示)。

圖1 算法流程圖

在日常行為當中人體的姿態(tài)雖然具有高度的靈活性，但都基于人體骨架所驅動而發(fā)現(xiàn)形變，通過獲取人體基本骨架即可識別出其行為狀態(tài)，而不需要觀察其外部細節(jié)。姿態(tài)識別的關鍵問題是：所提取的特征和采用什么方法進行姿態(tài)判別。通過二維圖像信息所提取的特征很難應用于復雜環(huán)境的行為系統(tǒng)中。因此，本文提出一種多尺度提取三維人體結構特征方法基于人體語義結構層次化提取骨架姿態(tài)模型，融合測地線、內部空間體積和結構比例特征分析提取層次結構。最后，通過ICP算法實現(xiàn)快速的姿態(tài)識別。算法不僅保留了了人體的結構特征，且便于理解與實現(xiàn)，可快速識別出簡單的日常人體行為姿態(tài)。

1 人體語義骨架點

根據人體日常活動的姿態(tài)變化，定義14個關鍵行為關節(jié)點[6]，并將其劃分為三個層次：外層關節(jié)點、內層關節(jié)點和中層關節(jié)點。人體姿態(tài)大致經由這些關鍵關節(jié)點的變化而組成，準確獲得關鍵行為關節(jié)點后連接而成的骨架即可描述人體姿態(tài)，將大量復雜的三維數據簡化成全局性描述的骨架信息。

首先，通過計算表面測地線距離建立人體模型的初始結構，遍歷葉子節(jié)點區(qū)域，通過極值點判定得到外層關節(jié)點；結合空間體積特征，檢測模型內部體積的突變區(qū)域確定內層關節(jié)點；結合已獲得的關節(jié)點信息和人體測量學理論，聯(lián)合定位中層關鍵點的預測位置。根據三層關節(jié)點連接形成的層次骨架，通過ICP算法進行姿態(tài)識別，將待測模型姿態(tài)與標注姿態(tài)進行匹配識別，實現(xiàn)日常行為姿態(tài)的快速檢測。

2 人體姿態(tài)骨架的層次提取

(1)

其中，area為模型參考點{ai}所占模型表面的面積，geod(v,ai)表示頂點v到參考點ai的測地線距離。

圖2 人體模型初始結構提取

假設以模型內部的點出發(fā)作為可視化視角，每一點的可視化區(qū)域將是保持穩(wěn)定或逐漸變化的。我們首先將模型表面上的點標準化后映射到模型內部；再從映射點采樣發(fā)出射線，將所有射線與模型表面交點的長度進行求和，作為該點的內部體積特征值[8]。根據人體組織架構的幾何特征，內層關節(jié)點位于內部體積值顯著突變區(qū)域，可以通過內部體積特征有效得到人體內層關節(jié)點，有效識別出模型內部關鍵區(qū)域(如圖3所示)。令模型表面頂點為{K1，K2，…，Ki,…,Kn},以Ki為頂點，其負法向量ni為主軸朝模型內部發(fā)射m條射線，射線d與之間的椎角為(0≤β≤90°)，與模型表面點Ki相交的最大內切球直徑可用式(2)求出：

dj=argmin{‖Dj‖/cosβj}

(2)

圖3 內部映射點計算

為了獲得各個頂點局部收斂性，引入權值wi對特征值進行去噪處理。其中μ是平均值，σ為標準差。對于人體模型而言，無論其姿勢形態(tài)如何改變，所提取的層次結構特征應該是相對穩(wěn)定的。

(3)

骨骼作為更高級別的形狀特征，可以作為人體姿態(tài)內在結構的描述和轉換。Wu等[9]對人體模型的測地線值進行度量研究，發(fā)現(xiàn)盡管人體結構形狀較為復雜，人體特征在不同個體上存在細微差異，但通過研究發(fā)現(xiàn)各關節(jié)之間的相對比例存在穩(wěn)定的數量關系，且不會受姿態(tài)等外界因素的影響。結合外層關節(jié)點和內層關節(jié)點，依據人體測量學比例理論，采用測地線比例定位中層關節(jié)點位置。由于人體結構具有對稱性，測地線值最大的兩個外層關節(jié)點為腿部末端點，次大距離關節(jié)點為手部點，最小的為頭部點，進行語義判別后，自動求解比例從而實現(xiàn)中層關節(jié)點的定位提取(如圖4所示)。

圖4 人體層次骨架提取

3 人體姿態(tài)識別

到目前為止，已提取到人體結構關節(jié)的層次骨架信息，鏈接而成可獲得簡化后的高級骨架描述特征。針對不同層次的骨架關節(jié)，根據其生理特征采用不同的算法提取關節(jié)點位置，有效識別出人體姿態(tài)的骨架信息，將復雜的三維數據簡化為提煉后的骨架進行姿態(tài)的識別。

在計算機視覺的應用研究領域，目前國內外應用最為廣泛的模型匹配經典方法為迭代最近點(ICP)算法[10]。算法分為點集數據采集、確定對應點集、求解優(yōu)化轉換矩陣等步驟，該算法計算簡單、精確度高且具有較高的穩(wěn)定性，具有非常高的應用研究價值。迭代最近點算法的實質為通過最小二乘法的計算得到最優(yōu)匹配變化，通過迭代優(yōu)化兩點集的轉換矩陣，使得誤差函數值最小，從而實現(xiàn)兩模型間的精確匹配。在算法計算過程中，最耗時的步驟為計算模型間對應點，當點集數據個數很大時，計算所花費的時間會大大增加，算法執(zhí)行效率因此降低。本文算法將龐大的三維面片信息簡化為有限的三維骨架點集，大大縮減了對應點的搜索范圍，同時保證了算法的精確度。

(4)

步驟一 讀入點集Dq、Dq信息。

步驟二 求解待匹配點集的對應點對，使得‖pi-qi‖→min。

步驟五 若更新后的點集與參考點集的誤差距離小于閾值，或k達到最大迭代次數(設k=10)，則算法結束，否則將更新點集帶入繼續(xù)進行迭代。

圖5 兩姿態(tài)匹配前后對比

圖5中，(a)為人體站著和蹲著的姿態(tài)匹配，匹配前姿態(tài)差異較大，匹配后基本關節(jié)點均能呈現(xiàn)出較好的對應關系；(b)為不同站姿的匹配，匹配前差異程度較小，經過匹配兩姿態(tài)能準確對應。經試驗層次提取后的骨架點集經過ICP算法匹配后，算法能有效匹配姿態(tài)各異的骨架模型并用于姿態(tài)匹配識別中。本文方法將復雜的三維模型簡化為有限的骨架點集信息，對提取骨架的精度要求較高，對骨架信息的識別過程能很好地將不同姿態(tài)的模型進行匹配，且算法具有很好的精度和魯棒性，適用于各種人體姿態(tài)的匹配。

4 實驗結果分析

為了驗證本文算法姿態(tài)識別的有效性，在Intel(R) Xeon(R) CPU的Windows 7操作系統(tǒng)上，基于Visual C++和Matlab進行三維人體姿態(tài)識別，人體庫為150個不同姿態(tài)的三維人體模型。

本文算法在姿態(tài)識別的精度上和速度上均有一定的優(yōu)勢，且當三維人體模型面片數量越大時，通過人體層次提取后再進行姿態(tài)識別，算法執(zhí)行效率越占優(yōu)勢。本文方法將復雜的三維模型簡化為有限的骨架點集信息，對提取骨架的精度要求較高，對骨架信息的識別過程能很好地將不同姿態(tài)的模型進行匹配，且算法具有很好的執(zhí)行效率，適用于各種人體姿態(tài)的識別。

在三維人體模型庫中，將人體日常行為動作劃分為三類：行走，站立，蹲坐，組成動作集合A={行走，站立，蹲坐}，將不同人體模型與標注姿態(tài)進行匹配，可發(fā)現(xiàn)動作近似的模型姿態(tài)差異度值較小，而在走的姿態(tài)中，不同人因行為習慣不同，存在一定的誤差，但差異值變化較為穩(wěn)定，如表1所示。

表1 人體姿態(tài)差異度值比較

為進一步驗證不同姿態(tài)的骨架與標注姿態(tài)識別的有效性，將待測姿態(tài)骨架點集與樣本庫中姿態(tài)進行一一匹配，選取日常姿態(tài)中的六個最佳標準姿態(tài)建立樣本庫，計算待測姿態(tài)與樣本庫中姿態(tài)平均差異值，我們定義匹配識別函數S為：

(5)

匹配識別函數S中，E表示待測姿態(tài)i與庫中標準姿態(tài)j姿態(tài)識別后骨架對應點間的平均歐氏距離，Zn、Dn、Xn分別表示姿態(tài)樣本庫中標準姿態(tài)站立、蹲坐、行走模型集合。將人體模型庫中模型與標準樣本姿態(tài)庫中模型進行識別，實驗結果如表2所示，并與基于MRG骨架樹的檢索方法進行比較。本文方法所提取的骨架點包含語義信息，并且能較為高效準確地識別出日常的基本姿態(tài)，能有效識別人體的剛性變換，但是對于行走和站立的靜態(tài)模型，有些姿態(tài)較為相似，容易出現(xiàn)識別錯誤的情況。方法只適用于簡單標準姿態(tài)的行為識別，但對復雜行為姿態(tài)不作語義識別判定。文獻[11]方法基于MRG原理提取骨架，骨架節(jié)點具有拓撲屬性和幾何形狀特征，但缺乏語義和姿態(tài)的行為屬性判定，在結構提取前需要對模型進行統(tǒng)一的分區(qū)，同一模型不同結構分區(qū)的拓撲骨架相差較大，較為適用于相同分區(qū)的統(tǒng)一結構。

表2 實驗結果比較

5 結 語

本文利用測地線距離、內部空間體積特征分析人體模型后，結合人體測量學理論層次化提取人體骨架信息來進行姿態(tài)識別。本文方法通過簡單的骨架信息點集來有效表示復雜的人體三維模型，這種層次化的姿態(tài)識別方法，有效簡化了人體姿態(tài)識別過程，提高了算法執(zhí)行時間，在計算大量三維數據時具有明顯優(yōu)勢，并且便于拓展應用，能與步態(tài)識別、人體檢測等方向進行結合，有很強的延伸實用性。算法雖然能高效解決人體姿態(tài)識別問題，但是通過骨架信息識別姿態(tài)仍具有一定的不確定性，目前樣本庫中姿態(tài)只能識別出較為簡單的日常行為動作。日后工作會對復雜姿態(tài)進行進一步研究，實現(xiàn)高層次的人體姿態(tài)識別與應用。

[1] Aggarwal J K, Ryoo M S. Human Activity Analysis: A Review[J]. ACM Computer Surveys, 2011, 43(3):194-4218.

[2] Xia L, Chen C C, Aggarwal J K. View invariant human action recognition using histograms of 3D joints[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2012:20-427.

[3] Natarajan P, Singh V K, Nevatia R. Learning 3D action models from a few 2D videos for view invariant action recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010:20006-42013.

[4] Wang J, Chen Z, Wu Y. Action recognition with multiscale spatio-temporal contexts[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011:3185-43192 .

[5] Wu X, Xu D, Duan L, et al. Action recognition using context and appearance distribution features[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011:489-4496.

[6] 陳啟華, 潘翔, 張三元. 語義知識約束的三維人體特征點檢測和分割[J]. 計算機輔助設計與圖形學學報, 2011, 23(6):1061-41068.

[7] 韓麗, 楚秉智, 高小山. 高斯曲率約束的MRG骨架提取優(yōu)化算法[J]. 計算機輔助設計與圖形學學報, 2009, 21(9):1227-41231.

[8] Liu R, Zhang H, Shamir A, et al. A part-aware surface metric for shape analysis[J]. Computer Graphics Forum, 2009, 28(2) 397-4406.

[9] Wu W, Hao A, Zhao Y. Geodesic model of human body[C]//Proceedings of the 2010 International Conference on Cyberworlds. Los Alamitos, CA: IEEE Computer Society Press, 2010:391-4397.

[10] 戴靜蘭, 陳志楊, 葉修梓. ICP算法在點云配準中的應用[J]. 中國圖象圖形學報, 2007, 12(3):517-4521.

[11] 韓麗, 張黎娜, 楚秉智. 一種MRG骨架樹的三維模型檢索方法[J]. 計算機工程與應用, 2011, 47(31):167-4170.

ATTITUDE MATCHING BASED ON THE THREE-DIMENSIONAL HUMAN BODY SEMANTIC SKELETON POINTS

Wang Dapeng Li Lin Han Li Zhang Meichao Wang Luchen

(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116081，Liaoning,China)

Aiming at several problems such as the complex structure, large processing quantity and difficult extraction of control points of three-dimensional human body models, an algorithm of describing body structure and doing pose recognition by analyzing characteristics of shape of human body is proposed. It fused the characteristics of geodesic and spatial structure to extract skeleton points which reduce the calculation effectively and make behavior recognition of attitude by using ICP algorithm. Experiments proved that using this algorithm could recognize the three-dimensional pose more effectively with good robustness.

Three-dimensional human body Semantic skeleton Pose recognition

2015-05-23。遼寧省高等學校優(yōu)秀人才支持項目(LJQ 2013110)。王大鵬，講師，主研領域：計算機圖形學。黎琳，碩士生。韓麗，教授。張美超，碩士生。王露晨，碩士生。

TP3

A

10.3969/j.issn.1000-386x.2017.01.031