于 英,陳繼華,盧學良
?
基于網(wǎng)格模型的三維人體自動化測量方法
于 英1,陳繼華2,盧學良3
(1. 解放軍信息工程大學,河南 鄭州 450001;2. 鄭州大學物理工程學院,河南 鄭州 450001;3. 西安測繪研究所,陜西 西安 710054)
面對大量的人體精確尺寸測量的客觀需求,本文構(gòu)建了一套完整的基于網(wǎng)格模型的人體自動化測量方法。該方法首先對點云進行自動化建模生成網(wǎng)格模型,然后提出并采用一種切割方向和切割厚度均自適應切片對網(wǎng)格模型進行處理得到一系列二維截面,再采用截面間圍堵分析和截面內(nèi)凹凸性分析的方法自動找到了人體特征界標,最后分別采用真實男性和女性塑料模型進行了精度和重復性試驗,結(jié)果表明本文方法效果良好。
人體測量;三角網(wǎng)建模;切片;人體邊界
三維人體測量通過對人體各部位的尺寸和人體體型進行測量,進而研究人體的形態(tài)特征的技術(shù)方法[1]。三維人體測量獲得的人體尺寸數(shù)據(jù)是服裝個性化設計、電子商務、虛擬試衣、人類學研究以及醫(yī)學等行業(yè)生產(chǎn)和制定行業(yè)標準的基本技術(shù)依據(jù)。傳統(tǒng)的半圓儀、卡尺、皮尺等傳統(tǒng)手工人體測量方法難以滿足快速、準確、大批量的現(xiàn)實人體三維測量需求,并且傳統(tǒng)方法會由于測量專家的不同會將人為誤差引進測量結(jié)果[2]。
與傳統(tǒng)的測量方法相比,以現(xiàn)代光學為基礎(chǔ)出現(xiàn)的非接觸式三維人體測量系統(tǒng)(視覺結(jié)構(gòu)光三維[3]、激光三維掃描[4]、深度相機[5]等)具有測量時間短、數(shù)據(jù)精確度高且全面等特點,可以短時間內(nèi)獲取人體稠密的點云數(shù)據(jù),然后通過對點云數(shù)據(jù)進行分析得到所需要的尺寸信息。
目前,非接觸式三維人體測量系統(tǒng)的點云獲取技術(shù)已經(jīng)比較成熟,制約三維人體自動化測量的核心問題是基于點云數(shù)據(jù)的后處理技術(shù)[6]??偨Y(jié)起來主要包括基于點云彩色信息的特征提取方法[7]、人體模板映射的方法[8-9]、基于代數(shù)的特征提取方法等?;邳c云彩色信息的特征提取方法,受光照影響大且提取結(jié)果不穩(wěn)定。人體模板映射方法可用于處理質(zhì)量較差的人臉圖像,但是模板描述常常難以精確,因此多適用于眼睛、嘴和鼻子輪廓等可變性不大器官的特征提取?;诖鷶?shù)方法的特征提取使用代數(shù)變換來提取人臉特征,其中比較經(jīng)典的方法是特征臉方法[10],這種方法無需提取眼、嘴和鼻等幾何特征,但在單樣本時識別率不高,且在人臉模式數(shù)較大時計算量大。
此外,近期的一些人體點云測量的研究成果對本文也有很大的借鑒作用。文獻[11]采用基于雙目立體視覺技術(shù)的三維掃描獲取了完整的人體點云數(shù)據(jù),對頸圍、胸圍、腰圍、臀圍和大腿圍等進行了測量,結(jié)果表明測量誤差小于2%,但是需要手動標定特征點位置,自動化程度不高。文獻[12]利用Kinect實現(xiàn)掃描、重建以及測量的人體成分分析系統(tǒng)框架,實現(xiàn)了完整的全自動化的人體測量流程,但由于Kinect獲取點云的效率很低完整的一次人體三維測量需要若干分鐘,測量效率難以令人滿意。文獻[13]針對掃描人體所得到點云往往存在大量孔洞的問題,提出了一種面向人體尺寸測量系統(tǒng)的點云孔洞修補方法,利用該算法擬合得到的人體點云橫截面尺寸與直接對模特手工測量得到的尺寸基本一致,其測量誤差小于3%。
在對人體三維自動測量研究現(xiàn)狀梳理的基礎(chǔ)上,本文構(gòu)建了一種基于網(wǎng)格模型的三維人體自動化測量方法,該方法主要通過對點云進行自動化建模生成網(wǎng)格模型,采用一種自適應切片技術(shù)對網(wǎng)格模型進行處理得到一系列二維截面,再對這些二維截面分析的基礎(chǔ)上并結(jié)合人體結(jié)構(gòu)學知識實現(xiàn)了人體尺寸數(shù)據(jù)的全自動化測量。
主要技術(shù)流程如圖1所示,本文方法的前提是通過三維傳感器掃描獲取完整的人體點云數(shù)據(jù),目前這方面技術(shù)已經(jīng)較成熟,點云數(shù)據(jù)的精度可達到1~2 mm。以原始人體點云數(shù)據(jù)作為本文方法的輸入(圖2),需要4個步驟實現(xiàn)人體數(shù)據(jù)的自動化測量,具體過程如下:
(1) 點云去噪。原始人體點云數(shù)據(jù)主要有非人體點云、孤立點、人體點云噪聲點3種類型的噪聲。由于點云掃描設備安放位置是固定的,本文通過設定人體點云數(shù)據(jù)的坐標取值范圍,基本上可去除非人體點云。然后,再采用基于統(tǒng)計學的方法[14]可以有效去除人體點云的噪聲點和孤立點。
(2) 點云三角網(wǎng)建模與模型貼圖。經(jīng)過點云去噪后的人體點云數(shù)據(jù)存在點云非均勻分布和細小漏洞的問題,這對人體尺寸的測量是極為不利的。本文采用泊松三維重構(gòu)的方法對點云進行處理生成三角網(wǎng)格模型,這可一定程度上解決上述的兩個問題。此外,在獲取點云數(shù)據(jù)的同時通過紋理相機采集了人體多幅紋理圖像,采用這些圖像對人體三角網(wǎng)模型進行貼圖后可顯著提高模型的真實感和人機交互的準確度。
(3) 自適應切片。對人體三角網(wǎng)格模型進行切片是人體特征界標分析的基礎(chǔ),解決切片方向和切片厚度如何根據(jù)人體的情況進行自適應的問題。
(4) 人體特征界標分析。人體特征界標的確定是三維人體測量過程中極其關(guān)鍵的步驟,其中人體特征界標包括人體特征點和人體特征截面。
圖1 本文方法技術(shù)流程
圖2 人體點云數(shù)據(jù)
點云的三角網(wǎng)建模按照構(gòu)網(wǎng)思路的不同,大致可以分為以下3類:隱式曲面的表面構(gòu)網(wǎng)算法[15]、三維Delaunay三角化的表面構(gòu)網(wǎng)算法[16]和區(qū)域生長的表面構(gòu)網(wǎng)算法[17]。三維Delaunay三角化的表面構(gòu)網(wǎng)算法和區(qū)域生長的表面構(gòu)網(wǎng)算法都是基于原始的點云進行構(gòu)網(wǎng),要求原始的點云數(shù)據(jù)不能有毛刺等噪聲。隱式曲面的表面構(gòu)網(wǎng)算法是通過構(gòu)造隱函數(shù)擬合數(shù)據(jù)點,然后在零等值面上抽取三角形網(wǎng)格曲面的一類方法,對點云的噪聲具有一定的抑制能力。泊松表面重建方法是隱式曲面的表面構(gòu)網(wǎng)算法中的經(jīng)典的方法,融合了隱式曲面算法中全局和局部方法的優(yōu)點,非常適合封閉物體點云的高精度三維重建,因此本文選用泊松表面重建方法進行人體點云的三維重建。
1.2.1 泊松表面重建
泊松曲面重建基于泊松方程,得到測量點云數(shù)據(jù)最合適的等值曲面,然后對其進行插值(最優(yōu)化的)來逼近原始曲面。泊松表面重建一次性將所有的點都考慮在內(nèi),因此對噪聲點有很好的彈性。整個算法的步驟包括對具有法向量信息的輸入點云信息的預處理,對全局問題離散化,對離散化后的子數(shù)據(jù)求解,求解泊松問題后的等值面提取以及后期優(yōu)化處理等,具體計算過程如下:
(1) 定義八叉樹。使用八叉樹結(jié)構(gòu)存儲點集,根據(jù)采樣點集的位置定義八叉樹,然后細分八叉樹使每個采樣點都落在深度為的葉節(jié)點。
(2) 設置函數(shù)空間。對八叉樹的每個節(jié)點設置空間函數(shù),所有節(jié)點函數(shù)的線性和可表示向量場,基函數(shù)采用了盒濾波的維卷積。
(3) 創(chuàng)建向量場。均勻采樣的情況下,假設劃分的塊是常量,通過向量場逼近指示函數(shù)的梯度。采用三次條樣插值(三線插值)。
(4) 求解泊松方程。方程的解采用拉普拉斯矩陣迭代求出。
(5) 提取等值面。為得到重構(gòu)表面,需要選擇閾值獲得等值面;先估計采樣點的位置,然后用其平均值進行等值面提取,然后用移動立方體算法得到等值面。
1.2.2 模型貼圖
圖3為模型貼圖的技術(shù)流程,具體步驟如下:
圖3 模型貼圖流程
步驟1.模型與影像精確配準。模型貼圖首先將紋理相機拍攝的紋理圖像與模型進行精確配準,本文是通過紋理相機對模型坐標系統(tǒng)中的控制點進行拍攝;然后采用攝影測量中的后方交互方法求取紋理相機的外方位元素,進而實現(xiàn)模型與紋理影像的精確配準。
步驟2.遮擋檢測。紋理相機拍攝是一個從三維到二維的過程,受自身結(jié)構(gòu)和人體不同部位之間空間關(guān)系的影響,在攝影拍攝區(qū)域內(nèi)人體所有部位的紋理信息不可能在一張影像上一次性的記錄,難以避免存在著遮擋情況,因此本文通過拍攝多張影像的辦法來解決遮擋問題。實際編寫程序時,為確定空間三角形在紋理影像上的可見程度,本文通過Z-buffer算法來檢測影像上每一個像素上的遮擋情況。Z-buffer算法主要分為兩個步驟:①每一張影像分配一個緩沖區(qū),并將所有的空間三角形投影后存儲其中;②對每個空間三角形再次投影,計算沒被遮擋的像素數(shù)與總像素數(shù)之間的比例。
步驟3.鄰接一致性判斷。由于紋理圖像的視角或者曝光等原因,不同的紋理影像在亮度、色調(diào)和分辨率存在不一致。同時,三維模型本身存在的誤差也會導致模型表面三角形的法向出現(xiàn)意外的狀況,進而導致在視覺上形成紋理間斷。因此,必須處理好相鄰三角形在紋理選擇上的差異性問題,保證連續(xù)區(qū)域內(nèi)的空間三角形最好都能映射于同一影像。
步驟4.紋理坐標生成。依據(jù)圖像與三維點云之間的映射關(guān)系,逐個計算三角形頂點坐標對應的圖像紋理坐標,并對紋理坐標進行歸一化。
步驟5.紋理漏洞修補。由于遮擋和紋理相機的視場角等原因?qū)е氯梭w三角網(wǎng)模型的個別位置存在紋理缺失的問題,本文通過鄰域中帶紋理的三角形對紋理缺失的三角形進行插值的方法實現(xiàn)了紋理漏洞的修補(圖4~5)。
圖4 三角網(wǎng)模型
圖5 模型貼圖
自適應切片算法以三角網(wǎng)格為輸入,包含切片方向的自動確定和切片厚度自適應等兩個基本過程。由于人體網(wǎng)格模型的坐標系的非標準,使得人體站立的鉛垂線方向很難與坐標系的軸向完全一致,將導致特征截面的分析出現(xiàn)誤差,進而影響測量的精度,因此有必要通過切片方向進行合理的確定(圖6)。
圖6 三維模型切片
采用圍度變化趨勢分析的方法來自動提取人體的胸圍、臀圍、腰圍、小腿圍等特征界標,即計算切片方向上該特征界標近似區(qū)域內(nèi)不同高度值對應的圍度大小,根據(jù)圍度變化規(guī)律(類比于曲線的曲率)分析深度變化分析目標位置,自動提取步驟如下:
步驟1. 選定特征截面的近似區(qū)域,包括搜索起始截面的位置坐標和終止截面的位置坐標。
本文方法可以自動提取的人體特征截面數(shù)為12個,其中正中面、胸圍、腰圍、臀圍、大腿圍和小腿圍為6個基本人體特征截面,其為提取其他特征點和特征截面的基礎(chǔ)。
對于頸椎點、乳頭點、膝關(guān)節(jié)點、腳踝點、腰點和頸窩點等表面突出點或關(guān)節(jié)點,其共同點為所在人體表面的坐標信息突出,本文采用人體輪廓分析法來選取。以水平截面橫切三維離散點云,將三維點云數(shù)據(jù)轉(zhuǎn)換為二維數(shù)據(jù)進行分析處理,依次分析特征點位置的模糊區(qū)域內(nèi)的水平截面,找該截面內(nèi)的最凸點或最凹點[18]。
以一名男性和一名女性塑料模特為例,選取三維人體的幾個關(guān)鍵尺寸進行分析,分別對采用本文方法和手工測量方法進行測量得出的結(jié)果進行了對比,表1~2分別為男性和女性塑料模特采用兩種方法測量結(jié)果的偏差比較,表中A為每個尺寸項目的自動測量結(jié)果平均值,M為對應的手工測量結(jié)果平均值,(A–M)為自動測量結(jié)果與手工測量結(jié)果差值。
表1 男性模特自動測量與手動測量的結(jié)果比較(cm)
表2 女模特自動測量與手動測量的結(jié)果比較(cm)
從表1~2可看出人體自動化測量的結(jié)果與手工測量的結(jié)果非常接近,完全有能力取代手工測量。表3~4對自動化測量的重復性進行了測試,結(jié)果表明本文人體自動化測量方法的重復性非常好,均低于0.3 cm。
表3 男性模特本文方法重復測量結(jié)果(cm)
表4 女性模特本文方法重復測量結(jié)果(cm)
本文提出了一套完整的基于網(wǎng)格模型的人體自動化測量方法,該方法首先對點云進行自動化建模生成網(wǎng)格模型,然后提出采用一種切割方向和切割厚度均自適應切片對網(wǎng)格模型進行處理得到一系列二維截面,再采用截面間圍堵分析和截面內(nèi)凹凸性分析的方法自動找到人體特征界標,最后采用真實男性和女性塑料模特進行了試驗,結(jié)果表明本文方法無論是精度上還是重復性上均表現(xiàn)良好,未來進一步發(fā)展完全有能力替代傳統(tǒng)的人體尺寸測量方法。
[1] 彭三城. 三維人體自動測量技術(shù)綜述[J]. 計算機應用研究, 2005, 4: 1-5.
[2] 郭華婷. 基于激光掃描的三維人體自動測量技術(shù)研究[D].天津: 天津大學, 2012.
[3] 安東.基于數(shù)字光柵投影的三維表面測量技術(shù)研究[D].合肥: 合肥工業(yè)大學, 2015.
[4] 楊敏. 激光掃描在頭面部軟組織三維重建和測量中的應用[J]. 國際口腔醫(yī)學雜志, 2010, 37(3): 351-354.
[5] 劉星明, 劉曉利, 張平安, 等. 基于計算機視覺的三維重建技術(shù)研究[J]. 深圳信息職業(yè)技術(shù)學院學報, 2013, 11(3): 13-18.
[6] 葛寶臻, 郭華婷, 彭博, 等. 基于人體特征提取的模特體型尺寸自動測量方法[J]. 紡織學報, 2012, 33(4): 129-135.
[7] 徐繼紅, 張文斌. 非接觸式三維人體掃描技術(shù)的綜述[J]. 揚州職業(yè)大學學報, 2006, 10(3): 49-53.
[8] MORI G, MALIK J. Recovering 3D human body configurations using shape contexts [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(7): 1052-1062.
[9] HAN H, NAM Y. Automatic body landmark identification for various body figures [J]. International Journal of Industrial Ergonomics, 2011, 41(6): 592-606.
[10] 閆宏, 張興周. 基于特征臉的人臉識別系統(tǒng)[J]. 應用科技, 2007, 34(4): 20-23.
[11] 王云龍. 基于三維掃描的人體尺寸測量方法研究[J]. 自動化技術(shù)與應用, 2015(11): 115-118.
[12] 萬燕, 胡桂蘭, 董國勝, 等. 基于Kinect的三維人體掃描測量技術(shù)[J]. 東華大學學報: 自然科學版, 2015, 41(1): 78-83.
[13] 周亮, 孫志海, 吳以凡, 等. 面向人體尺寸測量系統(tǒng)的點云孔洞修補方法[J]. 杭州電子科技大學學報, 2014, 34(5): 73-77.
[14] 朱俊鋒, 胡翔云, 張祖勛, 等. 多尺度點云噪聲檢測的密度分析法[J]. 測繪學報, 2015, 44(3): 282-291.
[15] 楊軍, 諸昌鈐. 帶噪聲的點云數(shù)據(jù)的隱式曲面重建算法[J]. 西南交通大學學報, 2008, 43(1): 29-34.
[16] 袁方, 唐杰, 武港山. 一種基于三維 Delaunay 三角化的曲面重建算法[J]. 計算機技術(shù)與發(fā)展, 2011, 21(10): 14-18.
[17] KAZHDAN M, BOLITHO M, HOPPE H. Poisson surface reconstruction [J]. Eurographics Symposium on Geometry Processing, 2006, 32(3): 61-70.
[18] 趙軍, 張桂梅, 曲仕茹. 利用極點順序的多邊形頂點凹凸性判別算法[J]. 工程圖學學報, 2007, 28(1): 55-59.
The Method of 3D Anthropometry Automatically Extracted Based on Mesh Model
YU Ying1, CHEN Jihua2, LU Xueliang3
(1. Information Engineering University, Zhengzhou Henan 450001, China;2. School of Physics and Engineering, Zhengzhou University, Zhengzhou Henan 450001, China;3. Xi’an Research Institute of Surveying and Mapping, Xi’an Shaanxi 710054, China)
In the face of a large number of accurate measurement of human body, a complete automatic measurement method based on mesh model is constructed in this paper.Firstly, The point cloud is modeled to generate the mesh model.Secondly, a cutting direction and slice thickness adaptive slicing are proposed to deal with the mesh model, and a series of two-dimensional cross sections are obtained. Thirdly, the analysis method of convex analysis and cross section within the containment section automatically find the characteristics of the human body landmarks.Finally, the accuracy and repeatability of real male model and female mode are tested, and the results show that the method is effective.
anthropometry; triangulation mesh; slice; human boundary
TP 391
10.11996/JG.j.2095-302X.2018020352
A
2095-302X(2018)02-0352-05
2017-06-20;
2017-07-29
國家自然科學基金項目(41501482);地理信息工程國家重點實驗室開放研究基金項目(SKLGIE 2015-M-3-6);城市空間信息工程北京市重點實驗室經(jīng)費項目(2017203)
于 英(1985-),男,遼寧本溪人,講師,博士。主要研究方向為計算機視覺、無人機測繪、模型分析。E-mail:yuying5559104@163.com