張淑芳，賴雙意，劉嫣然

基于多監(jiān)督的三維人體姿勢(shì)與形狀預(yù)測(cè)

張淑芳，賴雙意，劉嫣然

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

三維人體重建技術(shù)指通過(guò)圖像或視頻建立有相應(yīng)姿勢(shì)和體型的三維人體模型，其在虛擬現(xiàn)實(shí)(VR)、網(wǎng)游、虛擬試衣等方面有著十分廣泛的應(yīng)用前景．其中，參數(shù)化的三維人體模型由于參數(shù)數(shù)量的局限，重建精度較低，缺少細(xì)節(jié)特征．為了提升參數(shù)化三維人體模型的重建精度，增加其臉部與手部細(xì)節(jié)，提出一種基于多監(jiān)督的三維人體模型重建方法．該方法結(jié)合傳統(tǒng)的回歸方法和優(yōu)化方法，利用卷積神經(jīng)網(wǎng)絡(luò)回歸出參數(shù)化人體模型的參數(shù)，得到一個(gè)較為粗糙的人體模型，將該模型作為初始模板進(jìn)行擬合和迭代優(yōu)化，將帶有臉部和手部的全身密集關(guān)節(jié)點(diǎn)信息和輪廓信息作為回歸網(wǎng)絡(luò)的2D監(jiān)督，同時(shí)使用迭代優(yōu)化后的人體模型作為回歸網(wǎng)絡(luò)的3D監(jiān)督，最終可由一幅圖像獲得一個(gè)多細(xì)節(jié)、高精度的參數(shù)化三維人體模型．定性分析結(jié)果表明，該方法為人體擬合過(guò)程提供正確的擬合方向，可有效減少非自然姿勢(shì)的出現(xiàn)，提高三維人體模型重建的準(zhǔn)確度．全身密集關(guān)節(jié)點(diǎn)監(jiān)督可為模型增加更多手部與臉部的細(xì)節(jié)，而輪廓監(jiān)督可減少重建的人體模型與圖像中人體的像素級(jí)偏差．定量分析表明，該方法在數(shù)據(jù)集Human3.6M上的平均逐關(guān)節(jié)位置誤差(MPJPE)為59.9mm，較經(jīng)典方法SPIN減少了4.16%，對(duì)關(guān)節(jié)點(diǎn)進(jìn)行剛性對(duì)齊后模型的平均逐關(guān)節(jié)位置誤差(MPJPE-PA)低至38.2mm，較SPIN減少了7.06%．

三維人體模型重建；多監(jiān)督；回歸方法；優(yōu)化方法

隨著計(jì)算機(jī)視覺(jué)技術(shù)和計(jì)算機(jī)硬件性能的不斷提高，基于圖像的人體三維模型重建技術(shù)得到了前所未有的進(jìn)展，通過(guò)迭代擬合優(yōu)化或者回歸方法可重建出參數(shù)化的三維人體模型(如蒙皮多人線性模型[1](skinned multi-person linear model，SMPL)和SCAPE[2]模型)，從而達(dá)到估計(jì)整個(gè)人體形狀和姿勢(shì)的目的．其中，基于優(yōu)化的方法使用給定的SMPL[1]模型作為初始化模板，通過(guò)不斷擬合輸入圖像中人的關(guān)節(jié)點(diǎn)、輪廓、部分分割等2D特征，最終得到較好的擬合結(jié)果．Bogo等[3]提出SMPLify方法，使用統(tǒng)一的SMPL模型迭代擬合圖像中人體的2D關(guān)節(jié)點(diǎn)，數(shù)次迭代后獲得重建的三維人體模型；Pavlakos等[4]對(duì)SMPLify方法進(jìn)行改進(jìn)，提出了SMPLify-X方法，將2D關(guān)節(jié)點(diǎn)擴(kuò)展到帶有面部、手部等的全身關(guān)節(jié)點(diǎn)上，豐富了模型的表達(dá)能力．此類方法都以平均姿勢(shì)模型作為模板，整個(gè)擬合過(guò)程十分緩慢；而且由于對(duì)模板的依賴性較強(qiáng)，對(duì)于復(fù)雜的人體姿勢(shì)預(yù)估精度較差，會(huì)出現(xiàn)不自然的姿勢(shì)與形狀，即實(shí)際人體無(wú)法做到的姿勢(shì)，無(wú)法很好地適用于復(fù)雜姿勢(shì)下的人體三維重建．Song等[5]利用神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)每次迭代擬合參數(shù)的更新規(guī)則，增快了迭代速率，有效改善了擬合方法的精確度和收斂性，但其打破了端到端的學(xué)習(xí)框架，增加了局部最優(yōu)化的風(fēng)險(xiǎn)．

基于回歸的方法使用2D特征信息作為回歸網(wǎng)絡(luò)的弱監(jiān)督，如輪廓、關(guān)節(jié)點(diǎn)[6]、分割信息[7]等，以回歸人體模型的重投影與2D信息之間的誤差作為整個(gè)網(wǎng)絡(luò)的損失．Kanazawa 等[8]提出人體網(wǎng)格重建(human mesh recovery，HMR)網(wǎng)絡(luò)，將一張圖片輸入神經(jīng)網(wǎng)絡(luò)直接回歸三維人體模型的參數(shù)，該方法雖然減少了時(shí)間的消耗，傾向于生成合理的人體形狀和姿勢(shì)，但最終得到的模型和原始圖片往往不能較好地對(duì)齊．Omran等[9]提出NBF(neural body fitting)網(wǎng)絡(luò)，該網(wǎng)絡(luò)分為兩個(gè)階段：先使用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)人體分割圖，以去除原始RGB圖片中光照、外觀、服裝等信息對(duì)于預(yù)測(cè)SMPL參數(shù)的影響；再將分割圖輸入卷積神經(jīng)網(wǎng)絡(luò)回歸SMPL模型參數(shù)．該方法過(guò)于依賴分割圖預(yù)測(cè)的準(zhǔn)確度，且受網(wǎng)絡(luò)自身局限性，在準(zhǔn)確度方面達(dá)不到現(xiàn)有需求．Zhang等[10]提出了一個(gè)金字塔網(wǎng)格對(duì)齊反饋(PyMAF)循環(huán)策略，給定當(dāng)前預(yù)測(cè)的參數(shù)，利用特征金字塔，并根據(jù)回歸網(wǎng)絡(luò)中的網(wǎng)格圖像對(duì)齊狀態(tài)顯式校正預(yù)測(cè)參數(shù)，改善了2D圖像平面上人體模型網(wǎng)格和圖像的對(duì)齊度．

盡管上述方法對(duì)于三維人體模型重建有一定的效果，但受人體數(shù)據(jù)集缺乏3D標(biāo)注的影響，這些方法的重建精度有待提高．SPIN(SMPL optimization in the loop)[11]將回歸方法和擬合優(yōu)化方法進(jìn)行融合，其核心思想是將回歸網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果作為優(yōu)化方法的初始值，從而加快了迭代優(yōu)化的速度和準(zhǔn)確性；迭代優(yōu)化的結(jié)果作為網(wǎng)絡(luò)的一個(gè)強(qiáng)先驗(yàn)，兩種方法相互輔助形成一個(gè)自我改善的循環(huán)，使整個(gè)算法具有自我提升的能力．SPIN改善了擬合方法速度慢和回歸方法精度低的不足，也在一定程度上緩解了人體3D數(shù)據(jù)集缺乏的問(wèn)題，但仍然存在模型和圖像之間不能較好地對(duì)齊，以及缺乏手部和臉部細(xì)節(jié)的問(wèn)題．

因此，本文延續(xù)回歸方法和擬合優(yōu)化方法相結(jié)合的框架，提出一種新的參數(shù)化人體模型重建方法，即多監(jiān)督的人體網(wǎng)格預(yù)測(cè)(multi-supervision human mesh prediction，MSHMP)模型．該方法基于SMPL-X人體模型，使用2D密集關(guān)節(jié)點(diǎn)和輪廓作為整個(gè)網(wǎng)絡(luò)的弱監(jiān)督，既減小了人體模型和標(biāo)準(zhǔn)模型之間的偏差，又增加了手部和臉部的細(xì)節(jié)信息，提高了三維人體模型的精度；同時(shí)本文還將通過(guò)回歸網(wǎng)絡(luò)得到的密集關(guān)節(jié)點(diǎn)人體模型作為擬合過(guò)程的初始化模板，經(jīng)過(guò)迭代擬合獲得擬合模型，使用擬合模型與回歸網(wǎng)絡(luò)得到的模型之間的3D頂點(diǎn)誤差作為網(wǎng)絡(luò)的強(qiáng)監(jiān)督，彌補(bǔ)了數(shù)據(jù)集缺少3D標(biāo)注的問(wèn)題．經(jīng)過(guò)對(duì)MSHMP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終可由一幅圖像獲得多細(xì)節(jié)、高精度的參數(shù)化三維人體模型．該三維人體模型可廣泛應(yīng)用于虛擬試衣、動(dòng)畫(huà)建模、醫(yī)學(xué)教學(xué)等領(lǐng)域．

1 基于多監(jiān)督的三維人體模型重建

現(xiàn)有的三維人體模型重建精度較低，缺乏臉部和手部細(xì)節(jié)，為此本文提出了一種基于多監(jiān)督的重建方法．方法網(wǎng)絡(luò)框架如圖1所示，分為回歸模塊和擬合模塊，回歸模塊通過(guò)卷積神經(jīng)網(wǎng)絡(luò)回歸出初始的粗糙人體模型，然后送入擬合模塊進(jìn)行迭代優(yōu)化，從而生成多細(xì)節(jié)、高精度的人體模型．

圖1 MSHMP網(wǎng)絡(luò)結(jié)構(gòu)

1.1 人體三維表示

1.2 回歸模塊

MSHMP方法在回歸模塊中使用輪廓信息和帶有手部和臉部的關(guān)節(jié)點(diǎn)信息作為回歸網(wǎng)絡(luò)的2D監(jiān)督，改善了回歸模型與圖像中人體的像素級(jí)偏差，使得參數(shù)表征出的人體模型更加貼合圖像中的人體，具有更清晰的細(xì)節(jié)．

圖2 MSHMP的回歸模塊

1.3 擬合模塊

式中表示肘部和膝蓋．

本文擬合模塊帶有性別分類器，男性和女性在身材方面具有不同的比例和形狀，如果僅使用中性模型對(duì)圖片進(jìn)行擬合，將無(wú)法滿足現(xiàn)實(shí)需求，本文方法在擬合過(guò)程中能自動(dòng)識(shí)別性別，并按照性別特征的不同，使用不同性別的人體模型進(jìn)行迭代擬合，使得最終優(yōu)化出來(lái)的模型更具有真實(shí)性．與SMPLify-X方法不同的是，本文使用回歸模塊獲得的人體模型作為擬合模塊的輸入，這樣大大減少了迭代的次數(shù)，加快了迭代優(yōu)化過(guò)程的速度，而且緩解了因姿勢(shì)復(fù)雜等情況造成的模型難以收斂的問(wèn)題．

經(jīng)過(guò)一定程度的回歸和優(yōu)化之后，將獲得與圖像中人體姿勢(shì)和形狀更加貼合、面部和手部細(xì)節(jié)更加清晰的三維人體模型．本文只保留最好的三維擬合模型，具體方法是：每獲得一個(gè)新擬合的三維人體模型，都比較新模型和原本保留的三維人體模型的關(guān)節(jié)2D重投影損失判斷是否對(duì)唯一保留的模型進(jìn)行更新，從而消除偶爾的錯(cuò)誤擬合對(duì)回歸過(guò)程的影響，在一次回歸過(guò)程中將此優(yōu)化迭代60次的結(jié)果作為反饋.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集及量化指標(biāo)

本文使用Human3.6M[15]、MPI-INF-3DHP[16]和LSP[17]數(shù)據(jù)集進(jìn)行訓(xùn)練，使用Human3.6M、COCO[18]數(shù)據(jù)集進(jìn)行測(cè)試．這些數(shù)據(jù)集涵蓋了人在受限的室內(nèi)場(chǎng)景和復(fù)雜的室外場(chǎng)景中運(yùn)動(dòng)、生活、娛樂(lè)等的不同姿態(tài)，數(shù)據(jù)量十分龐大，共有超過(guò)300多萬(wàn)張人體姿勢(shì)圖像，且部分?jǐn)?shù)據(jù)具有姿勢(shì)注釋和關(guān)節(jié)點(diǎn)標(biāo)注．

本文使用平均逐關(guān)節(jié)位置誤差(mean per joint position error，MPJPE)和通過(guò)剛性對(duì)齊后的平均逐關(guān)節(jié)位置誤差(MPJPE-PA)兩個(gè)量化指標(biāo)來(lái)對(duì)不同方法的重建性能進(jìn)行定量分析．其中MPJPE指標(biāo)表示預(yù)測(cè)的三維人體模型與真值三維人體模型對(duì)應(yīng)關(guān)節(jié)點(diǎn)之間的均一化歐氏距離，MPJPE-PA是經(jīng)過(guò)普氏分析(Procrustes analysis)法之后的MPJPE，計(jì)算了不考慮平移和旋轉(zhuǎn)情況下的模型重構(gòu)誤差．兩個(gè)量化指標(biāo)均用于衡量人體模型姿勢(shì)的重建精度，值越小則表示預(yù)測(cè)的三維人體模型越接近真值．

2.2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文所提方法的性能，在COCO數(shù)據(jù)集和Human3.6M數(shù)據(jù)集上將本文方法與目前較為經(jīng)典的回歸方法HMR[8]、擬合方法SMPLify-X[4]和SPIN[11]進(jìn)行對(duì)比實(shí)驗(yàn)比較，圖像分辨率為224×224．

如圖3所示，從左至右分別為原始輸入圖像、HMR、SMPLify-X、SPIN和本文方法重建的三維人體模型，前3行和后3行分別為Human3.6M數(shù)據(jù)集和COCO數(shù)據(jù)集的重建效果．圖4分別為圖3第4行人體模型頭部和第5行人體模型手部放大后的結(jié)果．

（a）輸入圖像 （b）HMR （c）SMPLify-X （d）SPIN （e）本文方法

圖3 不同方法的三維人體模型重建效果對(duì)比

Fig.3 Comparison of the reconstruction effect of a 3D human body model among different methods

從圖3可以看出，通過(guò)HMR和SPIN方法獲得的三維人體模型與真實(shí)的包含人體的輸入圖像之間有著較大的偏差，并且忽略了細(xì)節(jié)(例如臉部表情、手部姿勢(shì)等)．本文方法重建出的三維人體模型具有偏差小、細(xì)節(jié)多的優(yōu)點(diǎn)，這是由于本文在提取2D特征的過(guò)程中，不僅獲得了2D人體關(guān)鍵點(diǎn)的信息，而且獲得圖像中人體的輪廓信息，將兩者共同作為網(wǎng)絡(luò)的二維監(jiān)督，在改善重建出來(lái)的三維人體模型與真實(shí)圖像中人體之間的偏差方面起到了至關(guān)重要的作用．SMPLify-X方法在擬合過(guò)程中由于姿勢(shì)復(fù)雜和初始模板單一等原因增加了人體模型產(chǎn)生畸形的風(fēng)險(xiǎn)(如圖3(c)和圖4(c))，對(duì)于復(fù)雜姿勢(shì)有較大的局限性．與此同時(shí)，不同于SPIN，本文使用 SMPLify-X應(yīng)用于擬合的過(guò)程，作為整個(gè)網(wǎng)絡(luò)的3D監(jiān)督，既緩解了3D數(shù)據(jù)缺乏的難題，又增加了重建模型在手部和臉部上的細(xì)節(jié)．如圖4所示，本文方法重建的三維人體模型在臉部五官上更加清晰，手部的關(guān)節(jié)點(diǎn)彎曲與更加符合圖像中手部姿勢(shì)．

（a）輸入圖像 （b）HMR （c）SMPLify-X （d）SPIN （e）本文方法

圖4 不同方法的臉部和手部重建細(xì)節(jié)對(duì)比

Fig.4 Comparison of the reconstruction details of the face and hands among different methods

本文將網(wǎng)絡(luò)回歸出的人體模型作為擬合過(guò)程中的初始化模型，有效縮短了擬合優(yōu)化的時(shí)間．以平均模板作為擬合過(guò)程初始化模型的SMPLify-X方法的擬合時(shí)間約為260.54s，本文方法的擬合時(shí)間約為15.21s，重建速度提升超過(guò)10倍，有明顯的加速模型收斂的優(yōu)勢(shì)．本文在數(shù)據(jù)集Human3.6M上進(jìn)行了定量分析，如表1所示，本文方法的MPJPE-PA指標(biāo)為38.2mm，較SPIN下降了7.06%，MPJPE指標(biāo)為59.9mm，較SPIN下降了4.16%．

表1 不同三維人體模型重建方法的定量比較

Tab.1 Quantitative comparison among different recon-struction methods for the 3D human body model mm

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法的可行性、有效性和對(duì)于三維人體模型重建的意義，本文設(shè)計(jì)了兩組消融實(shí)驗(yàn)：在擬合優(yōu)化的過(guò)程中有/沒(méi)有使用SMPLify-X方法；在2D監(jiān)督中有/沒(méi)有使用輪廓信息．

首先，驗(yàn)證本文所提方法在擬合過(guò)程中使用SMPLify-X方法對(duì)于重建模型的手部和臉部的影響．圖5為三維人體模型整體效果，圖6為圖5第1行臉部和手部放大后的效果．其中圖6(b)為本文方法未使用SMPLify-X方法的情況下重建的三維人體模型，其面部細(xì)節(jié)較粗糙，雙手均為五指張開(kāi)狀，手指無(wú)法彎曲，無(wú)法準(zhǔn)確地重建手部姿勢(shì)；圖6(c)為使用SMPLify-X方法的情況下重建的三維人體模型，該模型有著十分明顯的五官，手部細(xì)節(jié)上也更加貼合圖像中人體的手部姿勢(shì)，表現(xiàn)出更好的效果．由此可知使用SMPLify-X方法進(jìn)行擬合對(duì)于局部細(xì)節(jié)的重建有十分優(yōu)越的表現(xiàn)．

將未使用SMPLify-X的本文方法與使用SMPLify-X的本文方法在Human3.6M數(shù)據(jù)集進(jìn)行定量地比較，如表2所示．定量分析可知，使用SMPLify-X方法進(jìn)行擬合優(yōu)化的比未使用SMPLify- X方法在MPJPE指標(biāo)上降低了1.16%；在MPJPE-PA指標(biāo)上降低了2.30%．?dāng)?shù)據(jù)表明將SMPLify-X方法作為擬合過(guò)程不僅提高了手部和臉部細(xì)節(jié)上視覺(jué)效果，而且對(duì)于三維人體模型的重建精度也有一定的改善．

（a）輸入圖像（b）未使用SMPLify-X （c）使用SMPLify-X

圖5 使用/未使用SMPLify-X方法的比較

Fig.5 Comparison of the results with and without SMPLify-X method

（a）輸入圖像（b）未使用SMPLify-X （c）使用SMPLify-X

圖6 使用/未使用SMPLify-X方法的臉部和手部重建細(xì)節(jié)比較

Fig.6 Comparison of the reconstruction details of the face and hands with and without SMPLify-X method

表2 使用/未使用SMPLify-X的本文方法定量比較

Tab.2 Quantitative comparison of the proposed method with and without SMPLify-X mm

其次，驗(yàn)證加入輪廓信息作為監(jiān)督對(duì)減小重建的模型與圖像中人體的偏差的影響，其他實(shí)驗(yàn)設(shè)置均按本文方法進(jìn)行設(shè)置．如圖7所示，圖7(b)未使用輪廓信息，重建的模型在人體的手部和腿部與圖像中的人體無(wú)法對(duì)齊，且未對(duì)齊區(qū)域較大(如圖中黃色方框所示)；而圖7(c)中使用輪廓信息進(jìn)行監(jiān)督，重建的人體模型姿勢(shì)和體型偏差得到了明顯改善(如圖中綠色方框所示)，人體模型網(wǎng)格與圖像的對(duì)齊度更高．

（a）輸入圖像 （b）未使用輪廓信息 （c）使用輪廓信息

圖7 加入/未加入輪廓信息的比較

Fig.7 Comparison of the results with and without sil-houette information

將未加入輪廓信息的本文方法與加入輪廓信息的本文方法在Human3.6M數(shù)據(jù)集進(jìn)行定量的比較，如表3所示．加入輪廓信息后網(wǎng)絡(luò)的MPJPE-PA指標(biāo)由39.7mm降至38.2mm，MPJPE指標(biāo)也由60.8mm降至59.9mm，重建精度有所提高．

表3 加入/未加入輪廓信息的本文方法的定量比較

Tab.3 Quantitative comparison of the proposed method with and without silhouette information mm

3 結(jié) 語(yǔ)

本文對(duì)基于參數(shù)化模板的三維人體模型重建方法進(jìn)行了研究，針對(duì)直接回歸方法存在精確度較差、擬合方法存在擬合時(shí)間長(zhǎng)和受初始化模板影響大的不足，本文將兩種方法進(jìn)行融合，將回歸的人體模型作為擬合過(guò)程的初始模板，擬合的SMPL-X模型作為回歸網(wǎng)絡(luò)的3D監(jiān)督，并且在2D監(jiān)督的關(guān)節(jié)點(diǎn)損失中使用密集關(guān)節(jié)點(diǎn)，縮短了擬合時(shí)間，提高了重建的準(zhǔn)確度，為模型增加了手部和臉部的細(xì)節(jié)．另外，本文在回歸網(wǎng)絡(luò)中加入了輪廓損失，從而減少最終的模型與真實(shí)圖像中人體之間的偏差．實(shí)驗(yàn)結(jié)果表明本文所提方法具有較好的可行性和有效性．

目前基于Transformer方法[19]重建效果優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)，但Transformer神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量龐大，對(duì)硬件設(shè)備要求較高，未來(lái)會(huì)考慮將Transformer神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合，進(jìn)一步提高三維人體模型的重建精度，而且使其更加便于應(yīng)用到實(shí)際之中.

［1］ Loper M，Mahmood N，Romero J，et al. SMPL：A skinned multi-person linear model[J]. ACM Transactions on Graphics(TOG)，2015，34(6)：1-16.

［2］ Anguelov D，Srinivasan P，Koller D，et al. Scape：Shape completion and animation of people[C]//ACM SIGGRAPH 2005 Conference. Los Angeles，USA，2005：408-416.

［3］ Bogo F，Kanazawa A，Lassner C，et al. Keep it SMPL：Automatic estimation of 3D human pose and shape from a single image[C]// European Conference on Computer Vision. Amsterdam，the Netherlands，2016：561-578.

［4］ Pavlakos G，Choutas V，Ghorbani N，et al. Expressive body capture：3D hands，face，and body from a single image[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：10975-10985.

［5］ Song J，Chen X，Hilliges O. Human body model fitting by learned gradient descent[C]// European Conference on Computer Vision. Glasgow，UK，2020：744-760.

［6］ Moon G，Lee K M. I2l-meshnet：Image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image[C]// European Conference on Computer Vision. Glasgow，UK，2020：752-768.

［7］ Rueegg N，Lassner C，Black M，et al. Chained representation cycling：Learning to estimate 3D human pose and shape by cycling between representations[C]//Pro-ceedings of the AAAI Conference on Artificial Intelligence. New York，USA，2020：5561-5569.

［8］ Kanazawa A，Black M J，Jacobs D W，et al. End-to-end recovery of human shape and pose[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：7122-7131.

［9］ Omran M，Lassner C，Pons-Moll G，et al. Neural body fitting：Unifying deep learning and model based human pose and shape estimation[C]//2018 International Conference on 3D Vision(3DV). Verona，Italy，2018：484-494.

［10］ Zhang H，Tian Y，Zhou X，et al. PYMAF：3D human pose and shape regression with pyramidal mesh alignment feedback loop[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal，Canada，2021：11446-11456.

［11］ Kolotouros N，Pavlakos G，Black M J，et al. Learning to reconstruct 3D human pose and shape via model-fitting in the loop[C]//Proceedings of the IEEE/CVF Interna-tional Conference on Computer Vision. Seoul，Republic of Korea，2019：2252-2261.

［12］ Cao Z，Simon T，Wei S E，et al. Realtime multi-person 2D pose estimation using part affinity fields[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii，USA，2017：7291-7299.

［13］ Gong K，Gao Y，Liang X，et al. Graphonomy：Universal human parsing via graph transfer learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：7450-7459.

［14］ Zhou Y，Barnes C，Lu J，et al. On the continuity of rotation representations in neural networks[C]//Proceed-ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：5745-5753.

［15］ Ionescu C，Papava D，Olaru V，et al. Human3.6M：Large scale datasets and predictive methods for 3D human sensing in natural environments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，36(7)：1325-1339.

［16］ Mehta D，Rhodin H，Casas D，et al. Monocular 3D human pose estimation in the wild using improved CNN supervision[C]//2017 International Conference on 3D Vision(3DV). Qingdao，China，2017：506-516.

［17］ Johnson S，Everingham M. Clustered pose and nonlin-ear appearance models for human pose estimation [C]//Proceedings of the British Machine Vision Conference. Wales，UK，2010：1-11.

［18］ Lin T Y，Maire M，Belongie S，et al. Microsoft coco：Common objects in context[C]//European Con-ference on Computer Vision. Zurich，Switzerland，2014：740-755.

［19］ Lin K，Wang L，Liu Z. Mesh graphormer[C]//Pro-ceedings of the IEEE/CVF International Conference on Computer Vision. Montreal，Canada，2021：12939-12948.

Prediction of 3D Human Pose and Shape Based on Multi-Supervision

Zhang Shufang，Lai Shuangyi，Liu Yanran

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

The three-dimensional(3D)human reconstruction technology refers to the establishment of 3D human body model with corresponding pose and shape through images or videos，which has a wide application prospects in virtual reality，online games，virtual try-on，etc. Among them，the parametric 3D human body model has low reconstruction accuracy and lacks detailed features due to the limited number of parameters. To improve the reconstruction accuracy of the parametric 3D human body model and add details to the face and hands of the model，a novel human body model reconstruction method based on multi-supervision is proposed. This method combines the traditional regression method and optimization methods and uses a convolutional neural network to regress the parameters of a coarse parametric human body model，which is used as an initial template for fitting and iterative optimization. The dense joints of the whole body with the face and hands and silhouette information are used as a 2D supervision of the regression network，and the iteratively optimized model is used as a 3D supervision of the regression network. Finally，a multi-detail and high-precision parametric 3D human-body model can be obtained from a single image. In the qualitative analyses，the proposed method provides a correct direction for the human body fitting process，which can reduce the appearance of unnatural poses and improve the accuracy of the reconstructed 3D human body model. The supervision of the whole-body dense joints can add more details to the face and hands of the human body model，while the silhouette information can reduce the pixel-level deviation of the reconstructed human body model from the human body in the image. Meanwhile，quantitative analyses show that the mean per joint position error(MPJPE)of the method on the Human3.6M dataset is 59.9mm，which is 4.16% lower than that of the classical method skinned multiperson linear(SMPL) model，and the MPJPE after the Procrustes analysis is as low as 38.2mm，which is 7.06% lower than that of SPIN.

3D human body model reconstruction；multi-supervision；regression method；optimization method

TP37

A

0493-2137(2024)02-0147-08

10.11784/tdxbz202211011

2022-11-05；

2023-02-27

張淑芳（1979— ），女，博士，副教授，shufangzhang@tju.edu.cn.

劉嫣然，yan_ran_liu@163.com.

天津市研究生科研創(chuàng)新資助項(xiàng)目.

Tianjin Research Innovation Project for Postgraduate Students.

(責(zé)任編輯：孫立華)