胡新榮,劉嘉文,劉軍平,彭 濤,何儒漢,何 凱

(1.湖北省服裝信息化工程技術(shù)研究中心,武漢 430200; 2.武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院,武漢 430200)

0 概述

隨著電子信息技術(shù)的迅速發(fā)展,虛擬試衣平臺逐漸受到人們的關(guān)注[1]。人體尺寸測量技術(shù)是虛擬試衣的關(guān)鍵技術(shù)之一,其在服裝定制領(lǐng)域有著不可替代的作用。目前,主要通過接觸式和非接觸式[2-4]方式對人體進(jìn)行尺寸測量。對于前者而言,人體手工量體的優(yōu)點(diǎn)是測量時具有交互性,在測量過程中可根據(jù)客戶的穿著習(xí)慣對尺寸數(shù)據(jù)進(jìn)行動態(tài)調(diào)整,但在大規(guī)模測量時手工測量的效率低下,出錯率較高。后者相對于前者,在保證尺寸信息有效性的同時具有實(shí)時性高、魯棒性強(qiáng)等特點(diǎn)。

非接觸式測量通常使用的技術(shù)包括三維掃描法、模型重建法和圖像檢測法。文獻(xiàn)[5]使用三維掃描儀獲取人體部位的尺寸信息,然而三維掃描儀價格昂貴、測量地點(diǎn)不靈活等問題導(dǎo)致了該方法無法在市場上普遍適用。文獻(xiàn)[6-7]提出使用深度相機(jī)獲取人體深度信息,再通過SMPL模型[8]重建人體獲取尺寸信息,但由于東西方人體體型的差異性,以致于實(shí)際擬合的效果無法滿足人體著裝尺寸的誤差要求,并且在測試過程中,重塑人體模型耗時超過3 min,使得該方法無法應(yīng)用于在線批量人體測量系統(tǒng)中。文獻(xiàn)[9-10]使用圖像檢測法[11-13],基于正交人體圖像獲取尺寸信息,但是他們都參考?xì)W美CAESAR人體數(shù)據(jù)集提供的結(jié)構(gòu)部位與身高的比例系數(shù)直接提取人體關(guān)鍵特征點(diǎn),并沒有考慮東西方人體體型的差異性和自身體型的異構(gòu)性問題,導(dǎo)致算法在實(shí)際測量過程中魯棒性不強(qiáng),并且在測量極端體型用戶時提取的特征點(diǎn)通常會產(chǎn)生偏離,測量誤差較大。

針對上述問題,本文提出基于自適應(yīng)人體結(jié)構(gòu)分割(Adaptive Body Structure Segmentation,ABSS)的人體多特征點(diǎn)提取與尺寸測量算法Human pesm-abss,解決因體型異構(gòu)產(chǎn)生的特征點(diǎn)定位不準(zhǔn)的問題。對所提取正交圖像中的人體輪廓、人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割,針對不同部位區(qū)域采用特定算法快速、準(zhǔn)確地提取特征點(diǎn),最終通過身高比例法獲取各個部位的尺寸信息。

1 系統(tǒng)描述

1.1 系統(tǒng)流程

人體尺寸測量主要分為圖像預(yù)處理、人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割、特征點(diǎn)提取、尺寸獲取等步驟,系統(tǒng)流程如圖1所示。

圖1 人體尺寸測量系統(tǒng)流程Fig.1 Procedure of human bodies dimension measuremen system

人體尺寸測量系統(tǒng)流程如下:

1)在圖像預(yù)處理過程中,首先將源圖像進(jìn)行規(guī)范化操作,然后將圖像從RGB空間轉(zhuǎn)換為HSV空間并分離S通道,然后在S通道基于多方向的Sobel算子和形態(tài)學(xué)操作提取完整的人體輪廓。

2)基于ABSS算法針對不同體型的用戶能夠自適應(yīng)分割出人體結(jié)構(gòu)關(guān)鍵部位的區(qū)域范圍。

3)在人體關(guān)鍵特征點(diǎn)提取過程中,分別用最小矩形包圍盒算法、最大距離法、局部最大曲率法、斷層掃描法在基于分割后的各個關(guān)鍵區(qū)域提取特征點(diǎn)。

4)運(yùn)用身高比例法獲取人體各個部位的尺寸信息。

1.2 照片采集

首先對相機(jī)的畸變進(jìn)行矯正[14-15],并規(guī)定相機(jī)的擺放位置(本文經(jīng)過多次測試,證實(shí)相機(jī)距離被測者4 m遠(yuǎn),距離地面高1.2 m時效果最好)。為獲取完整的人體尺寸信息,要求用戶提供特定姿勢下的正交圖像,雙手打開至30°～45°,姿勢測量示意圖如圖2所示。

圖2 姿勢測量示意圖Fig.2 Schematic diagram of posture measurement

1.3 圖像預(yù)處理

顏色空間是圖像中最基本的特性之一。目前,計(jì)算機(jī)顯示的彩色圖像一般都是用RGB空間來表示和存儲像素點(diǎn)的顏色信息。由于RGB顏色空間中每個分量不僅代表像素的顏色還代表像素的明暗程度,因此各個分量的顏色值易受環(huán)境光強(qiáng)影響[16-17]。相比于RGB顏色空間,HSV顏色空間由H分量專門負(fù)責(zé)表示像素的色調(diào),S和V分量表示像素的飽和度和亮度,由于常見的拍攝背景多為紅色、藍(lán)色,并且飽和度較高,因此將圖像從RGB顏色空間轉(zhuǎn)換為HSV顏色空間,然后在飽和度S通道圖像中利用多方向Sobel算子提取完整的人體輪廓,避免了引入環(huán)境光線的影響。

由于傳統(tǒng)多方向Sobel算子[18]提取輪廓采用均值融合,從而導(dǎo)致該算法在實(shí)際運(yùn)用中提取人體輪廓的效果不佳,因此本文提出基于線性加權(quán)融合的算法對多方向梯度圖進(jìn)行處理,算法步驟如下:

步驟1輸入源圖像。

步驟2將輸入的RGB圖像轉(zhuǎn)化為HSV色彩空間圖像。

步驟3提取HSV色彩空間中的飽和度S通道。

步驟4運(yùn)用多方向Sobel算子獲取飽和度S通道4個方向的梯度圖像,如式(1)所示:

(1)

步驟5通過線性加權(quán)融合獲取圖像的絕對梯度,如式(2)所示:

G=|Gx|·α+|Gy|·β+|G45°|·χ+

|G135°|·λ+δ,δ>0

(2)

步驟6將圖像二值化后輸出最大輪廓:

(3)

其中,Gx、Gy、G45°、G135°分別為水平、豎直方向、45°和135°的梯度,S為HSV圖像中的S通道,G為輪廓提取結(jié)果,α、β、χ、λ分別為水平、豎直方向、45°和135°梯度矩陣圖的權(quán)重,δ為增強(qiáng)參數(shù),Th為閾值,本文取0.5,D為二值化圖形,式(3)中的1代表人體部位,0代表背景。

1.4 輪廓提取結(jié)果

輪廓提取結(jié)果如圖3所示,其中,圖3(a)為源圖像,飽和度S通道如圖3(b)所示,通過提取邊緣輪廓,并經(jīng)多次實(shí)驗(yàn)驗(yàn)證,當(dāng)權(quán)值α、β、χ、λ和δ分別為0.25、0.33、0.22、0.2和120時效果最好,如圖3(c)所示,篩選最大輪廓如圖3(d)所示。

圖3 輪廓提取結(jié)果Fig.3 Result of contour extraction

2 人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割

2.1 傳統(tǒng)算法特征點(diǎn)提取

目前,傳統(tǒng)圖像檢測算法依據(jù)歐美CAESAR人體數(shù)據(jù)集[19]提供的人體結(jié)構(gòu)關(guān)鍵部位與身高的比例關(guān)系,直接通過斷層掃描法提取特征點(diǎn),并沒有考慮東西方人體的差異性。本文參考國際GB/T 10000—88《中國成年人人體尺寸》,以及2009年中國標(biāo)準(zhǔn)化研究院完成的中國成年人人體尺寸抽樣試點(diǎn)調(diào)查[20]工作中獲取的亞洲人體數(shù)據(jù)信息,并與國外數(shù)據(jù)進(jìn)行對比,如表1所示,其中,表1中加粗字體為參數(shù)相差較大值。

表1 歐美與亞洲人體關(guān)鍵部位與身高的比例Table 1 Ratio of key body parts to height in Europe,America and Asia

從表1可以看出,東方人體結(jié)構(gòu)關(guān)鍵部位在胸部和臀部的參數(shù)值相差較大。

如圖4所示,針對身材比例、體型不標(biāo)準(zhǔn)的用戶,通過傳統(tǒng)圖像檢測法結(jié)合亞洲人體參數(shù)提取的特征點(diǎn)仍然容易發(fā)生誤定位,其中圖4標(biāo)出的點(diǎn)為準(zhǔn)確特征點(diǎn),橫線為表1中亞洲人(東方)體參數(shù)表示的比例線。

圖4 極端體型用戶測量結(jié)果Fig.4 Measurement results of extreme body type users

2.2 人體體型閾值區(qū)間的分析

由圖4可見,將問題擴(kuò)展到一般性,對于偏胖、正常、偏瘦體型的測量用戶,人體結(jié)構(gòu)關(guān)鍵區(qū)域劃分無法達(dá)到一致。由于用戶的體型與輪廓的面積有著直接的關(guān)系,將人體正面、側(cè)面輪廓面積之和進(jìn)行歸一化處理,原理如式(4)所示:

(4)

為了尋找不同體型分布規(guī)律,通過對實(shí)地測量的210組樣本中隨機(jī)選取150組樣本進(jìn)行分析,依據(jù)BMI值將人體體型粗粒度分成3類,分類結(jié)果如圖5所示。為驗(yàn)證體型分類閾值的有效性和準(zhǔn)確性,使用另外60組樣本進(jìn)行測試,測試結(jié)果如圖6所示(其中圓點(diǎn)為誤分類樣本)。

圖5 體型分類結(jié)果Fig.5 Results of body type classification

圖6 閾值測試結(jié)果Fig.6 Results of threshold test

由圖5可知,S偏胖∈(0.64,1],S偏瘦∈[0,0.40)。通過圖6實(shí)驗(yàn)結(jié)果證實(shí)了該方法對人體體型粗粒度分類的準(zhǔn)確性。

2.3 人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割算法

通過對人體體型分類的研究,依據(jù)ISO 85559-1《Size Designation of Clothes》作為人體尺寸特征選擇的標(biāo)準(zhǔn),并結(jié)合表1中標(biāo)準(zhǔn)人體參數(shù)信息,提出了一種人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割算法,算法流程如圖7所示,其中迭代參數(shù)Δt=0.01。

圖7 人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割算法流程Fig.7 Procedure of adaptive segmentation algorithm for key regions of human body structure

3 人體著裝特征點(diǎn)提取

人體特征點(diǎn)提取是獲取尺寸信息中最關(guān)鍵的步驟之一,目前現(xiàn)有特征點(diǎn)提取的算法都是基于圖像自身屬性,沒有考慮實(shí)際測量規(guī)范,從而導(dǎo)致算法提取尺寸誤差較大。

3.1 頸部特征點(diǎn)提取

傳統(tǒng)算法在提取頸部特征點(diǎn)時,針對正面頸部提取頸部距離最小的響應(yīng)點(diǎn),從而造成了較大的誤差。為此,本文提出基于最大距離法提取正面頸部特征點(diǎn),如圖8(a)所示(粗線條為頸部區(qū)域輪廓線)。

(5)

其中,l1、l2為左右手與頭頂連接后的兩條頸部特征直線,頸部輪廓線記為c1、c2,p1∈c1,p2∈c2。

針對側(cè)面頸部特征點(diǎn),目前傳統(tǒng)算法是提取lA-第七椎點(diǎn),但依據(jù)ISO 8599-1測量標(biāo)準(zhǔn)側(cè)面頸部尺寸應(yīng)為lB-第七椎點(diǎn),以至于通常會造成測量值偏小,本文依據(jù)實(shí)際測量規(guī)范,加入30°的偏移量以減小誤差,如圖8(b)所示。

圖8 頸部特征點(diǎn)Fig.8 Neck feature points

3.2 肩部特征點(diǎn)提取

形狀曲線估計(jì)法[21]分別用30°和45°的直線作為肩膀手臂的形狀估計(jì)。由于每個用戶張開雙臂角度不同,且肩形不同,很難單用某個度數(shù)的直線進(jìn)行形狀匹配。

肩部特征點(diǎn)提取步驟如下:

步驟1肩部輪廓線為l,建立點(diǎn)pi(pi∈l)的鄰域集合,即與pi點(diǎn)的歐式距離最近的k個點(diǎn)構(gòu)成的集合Pi,大量實(shí)驗(yàn)證實(shí)在k取8～10時效果最好,本文k取8[25]。

步驟2計(jì)算所有點(diǎn)pi的平均曲率Ci。

步驟5當(dāng)σi≥σ時,保留點(diǎn)pi∈M,否則刪除。

實(shí)驗(yàn)結(jié)果如圖9所示,其中圖9(b)點(diǎn)線為全局?jǐn)M合曲線,對比圖9(a)可以明顯看出,其提取的曲率最大的點(diǎn)并不是真實(shí)的肩部特征點(diǎn),根據(jù)局部最大曲率法提取的待選特征點(diǎn)如圖9(c)所示,圖9(d)中星型點(diǎn)為全局?jǐn)M合曲線的最大曲率點(diǎn),圓點(diǎn)為局部最大曲率法最終提取到的肩部特征點(diǎn),結(jié)果表明,局部最大曲率法相對于傳統(tǒng)角點(diǎn)檢測方法提取特征點(diǎn)的精準(zhǔn)度更高。

圖9 局部最大曲率法Fig.9 Local maximum curvature method

3.3 人體尺寸測量

本文采用身高比例法測量人體尺寸,在測量時,被測量者提供自己的身高H,然后根據(jù)頭頂部fhead(x,y)和腳底f正面foot(x,y)特征點(diǎn)的歐式距離獲取比例系數(shù)ωs。

基于已提取的人體特征點(diǎn)信息,可以在圖片中獲取各個部位所占據(jù)像素點(diǎn)的個數(shù)p,在獲取到像素點(diǎn)個數(shù)之后結(jié)合比例系數(shù)ωs,即得到各個部位的尺寸信息:

(6)

pX=d(fX(x,y)left,fX(x,y)right)

(7)

LX=pX·ωs

(8)

其中,X表示人體不同的身體部位,L表示測量的尺寸信息。

4 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)拍攝了210組實(shí)驗(yàn)樣本,為了檢驗(yàn)Human pesm-adss算法在檢測人體體型異構(gòu)型時的魯棒性和精確性,對標(biāo)準(zhǔn)差較大的210組樣本(學(xué)生、警察、法院工作人員)進(jìn)行測試特征點(diǎn)提取實(shí)驗(yàn),部分樣本特征點(diǎn)提取結(jié)果如圖10所示,人體各個部位測量數(shù)據(jù)分析如圖11所示。

圖10 人體特征點(diǎn)提取結(jié)果Fig.10 Extraction results of human bodies feature points

圖11 測量結(jié)果與誤差分析Fig.11 Measurement results and error analysis

為檢驗(yàn)算法的性能優(yōu)勢,本文將傳統(tǒng)比例法[10]、Simple-FCN-ASM模型[12]、非閉合Snake模型[22]和Human pesm-adss算法進(jìn)行比較分析,特征點(diǎn)提取結(jié)果如圖12所示,性能分析如表2所示。

圖12 不同算法特征點(diǎn)提取結(jié)果Fig.12 Feature point extraction results of differebnt algorthms

表2 不同算法性能分析Table 2 Performance analysis of different algorithms

實(shí)驗(yàn)環(huán)境為Window 10操作系統(tǒng),E5-1620v4 3.50 GHz處理器,6 GB內(nèi)存,NVIDIA 1080顯卡。

4.1 Human pesm-abss算法結(jié)果分析

通過對210組標(biāo)準(zhǔn)差較大的樣本(學(xué)生、警察、法院人員)進(jìn)行測量實(shí)驗(yàn),由圖10驗(yàn)證了Human pesm-adss算法針對各種體型用戶時的魯棒性,并且由圖11證實(shí)了該算法測量的精準(zhǔn)性,具體表現(xiàn)為實(shí)驗(yàn)測量的尺寸信息與真實(shí)值的平均誤差為±1.3 cm,其中最大誤差為+1.98 cm。依據(jù)ISO 8559-1《Size Designation of Clothes》中規(guī)定人體著裝最大誤差為2 cm以內(nèi),所以Human pesm-adss算法誤差的大小完全滿足人體著裝尺寸誤差要求,并且單個樣本測量耗時為298 ms,顯著提升了在線批量測量系統(tǒng)的實(shí)時性。

從實(shí)驗(yàn)結(jié)果可以看出,實(shí)際值與測量值之間仍然存在著一定的誤差,誤差的來源主要有以下3個部分:

1)人體站姿不標(biāo)準(zhǔn),如測量時駝背會造成身高占據(jù)的像素偏小,使得比例系數(shù)ωs偏大,最后直接導(dǎo)致所有測量數(shù)據(jù)偏大。

2)由于客觀因素的影響,無法要求每位測量者穿著較為緊身的衣服,這是誤差的主要來源之一。

3)實(shí)際測量的尺寸都包含了一定的放松量,并且放松量一般根據(jù)測量師傅的經(jīng)驗(yàn)判定,沒有量化的標(biāo)準(zhǔn),所以也在一定程上產(chǎn)生了誤差。未來會根據(jù)經(jīng)驗(yàn)總結(jié)各款式、材質(zhì)衣服的放松量,加入機(jī)器視覺識別衣物類型并自適應(yīng)修改尺寸數(shù)據(jù),從而進(jìn)一步減少測量誤差。

4.2 算法對比分析

傳統(tǒng)比例算法提取結(jié)果如圖12(a)所示,由于僅通過單一特征根據(jù)人體比例關(guān)系提取關(guān)鍵特征點(diǎn),在測量極端體型用戶時,測量結(jié)果的精確性較低,算法的魯棒性不強(qiáng)。非閉合Snake算法雖然無需手動設(shè)置初始輪廓,但仍需根據(jù)經(jīng)驗(yàn)手動調(diào)節(jié)關(guān)鍵參數(shù)。對于Simple-FCN-ASM模型而言,需要建立人體模板對測量用戶進(jìn)行匹配并擬合。在針對標(biāo)準(zhǔn)差較大的樣本時,模板收斂的速度慢,并且由于下半身基于對稱原則提取特征點(diǎn),通常模板容易發(fā)生單側(cè)偏移從而產(chǎn)生較大的誤差。

然而,這些算法都只涉及了人體正面尺寸信息的提取,并且是依據(jù)圖像本身的特性提取關(guān)鍵特征點(diǎn),以至于實(shí)驗(yàn)測量結(jié)果與實(shí)際值的誤差較大,無法滿足人體著裝尺寸的需求。

Human pesm-abss算法通過改進(jìn)的多方向Sobel算子在HSV空間中提取人體輪廓,避免了非閉合Snake算法的手工調(diào)參。同時基于ABSS算法快速提取人體正面、側(cè)面關(guān)鍵結(jié)構(gòu)區(qū)域,解決了Simple-FCN-ASM模型需要長時間迭代收斂的問題。針對人體關(guān)鍵的結(jié)構(gòu)區(qū)域,提出符合ISO 85559-1《Size Designation of Clothes》規(guī)范的算法提取特征點(diǎn),整個過程中無需手工操作,大幅提升了算法的適用性。

由表2可知,Human pesm-abss算法與傳統(tǒng)算法相比,雖然在時耗上增加了0.174 s,但在尺寸獲取的精確性上有著顯著的提升,使得誤差處于人體著衣尺寸誤差允許的范圍內(nèi)。相對于非閉合Snake模型和Simple-FCN-ASM模型在平均誤差方面減少了2.2 cm和0.26 cm,并且在時耗方面,分別縮短了1.098 s和3.552 s,大幅提升了在線人體尺寸測量系統(tǒng)的實(shí)時性。

5 結(jié)束語

本文提出一種基于自適應(yīng)人體結(jié)構(gòu)分割的著裝人體多特征點(diǎn)提取與尺寸測量算法。該算法運(yùn)用圖像預(yù)處理、人體結(jié)構(gòu)關(guān)鍵區(qū)域自適應(yīng)分割、人體關(guān)鍵特征點(diǎn)提取、身高比例法相結(jié)合的技術(shù),解決傳統(tǒng)圖像檢測模型檢測時間長和極端體型特征點(diǎn)定位不準(zhǔn)的問題,并選取210組標(biāo)準(zhǔn)差較大的樣本(包括學(xué)生、警察、法院工作人員)對此算法進(jìn)行了論證。實(shí)驗(yàn)結(jié)果表明,該算法測量的平均誤差為±1.3 cm,最大誤差為+1.98 cm,單個樣本測量耗時不超過0.3 s,相比目前傳統(tǒng)圖像檢測模型,無論在尺寸信息提取的精確度上,還是在時耗方面都有顯著的提升。雖然本文方法在具體應(yīng)用中取得了一些成果,但在實(shí)際生活中,領(lǐng)圍、胸圍和臀圍這類具有三維屬性的圍度信息能夠更直觀地表示出人體體型狀態(tài),因此,下一步將對人體二維尺寸信息轉(zhuǎn)化為三維尺寸信息的方法進(jìn)行研究。