林雪英，徐 曉，劉 希

(1.華南理工大學(xué)理學(xué)院，廣東 廣州 510640;2.華南理工大學(xué)廣州汽車學(xué)院，廣東 廣州 510640)

視頻由單幅圖片構(gòu)成，探討從單幅圖片恢復(fù)三維形貌對(duì)從二維視頻恢復(fù)2.5維信息有實(shí)際意義。而從人類視覺能就單幅圖片恢復(fù)2.5維信息的特點(diǎn)來看，研究單幅圖片的恢復(fù)也具有重要的學(xué)術(shù)價(jià)值。

本文探討從單幅圖片恢復(fù)人體三維形貌，是指對(duì)單幅圖像進(jìn)行分析處理，得到人體表面0°～180°的三維信息，是一種實(shí)用的三維人體恢復(fù)技術(shù)，在生物學(xué)、醫(yī)學(xué)及人類科學(xué)[1]、多媒體、人機(jī)工程、視頻會(huì)議、3D游戲開發(fā)等領(lǐng)域有廣泛的應(yīng)用[2]。

本文利用明暗恢復(fù)形狀(Shape From Shading，SFS)[3]方法從單幅圖片中恢復(fù)人體三維形貌[4]。其核心思想是利用二維圖像中留下的三維線索——灰度信息，在光源坐標(biāo)系下計(jì)算與每個(gè)像素點(diǎn)對(duì)應(yīng)的表面法向矢量信息，通過坐標(biāo)旋轉(zhuǎn)到圖像坐標(biāo)系中，得到圖像中的人體的三維尺寸。這種方法不受光源限制、便于現(xiàn)場(chǎng)操作、最大限度的節(jié)省硬件資源，測(cè)量速度快、成本低，且易于實(shí)現(xiàn)系統(tǒng)間的信息集成。將人體知識(shí)加入到人體圖像中光源的預(yù)測(cè)中，利用人體四肢可以近似為圓柱體這個(gè)特點(diǎn)進(jìn)行粗略的光源預(yù)測(cè)，并將預(yù)測(cè)的光源用于恢復(fù)人體表面三維形貌。以此為基礎(chǔ)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明此方法在一定情況下是有效的。

1 SFS方法

SFS方法早在1970年由麻省理工學(xué)院的Horn等人首次提出來，他們將反射圖的概念引入照度方程中，假定物體表面為朗伯體表面[5]，建立了物體表面方向和圖像亮度之間的函數(shù)關(guān)系，求解該函數(shù)模型即可獲取物體表面坐標(biāo)的高度值。

朗伯體表面模型如圖1。以攝像機(jī)坐標(biāo)系為參照系，將物體表面高度值表示為z(x，y)，物體表面材質(zhì)的反射率為ρ。規(guī)定物體表面法矢可由物體表面各點(diǎn)的法向量n(n1，n2，n3)的反方向矢量(p，q，－1)表示，其中，(p，q)為表面梯度。深度是攝像機(jī)到表面點(diǎn)的相對(duì)距離，同時(shí)也可以看作是相對(duì)于XOY平面的表面高度(表面法矢是與物體表面切平面垂直的向量方向，表面梯度是深度在x和y方向的變化量)。假設(shè)觀察者方向的視線與像平面XOY平面垂直相交，光源到達(dá)物體表面一點(diǎn)(x，y)的強(qiáng)度為I(x，y)，光源向量為(ps，qs，－1)，光在觀察方向反射的強(qiáng)度為E(x，y)，則由朗伯定理得模型方程如下[6]

從式(1)可以理解，所謂SFS，即要恢復(fù)Z(x，y)，則需通過E(x，y)求取 p，q，然后通過光滑性約束來求取Z(x，y)。求解問題需要確定兩類參數(shù)，一是光源相關(guān)參數(shù)，一類是跟被觀察物結(jié)構(gòu)和反射屬性相關(guān)參數(shù)。關(guān)于光源的預(yù)測(cè)，一般是利用已知幾何形狀的物體對(duì)不同光源位置具有不同形狀陰影的原理，通過分析陰影形狀追蹤光源位置。

圖1 被照物體表面模型

在已知光源的情況下，現(xiàn)實(shí)的物體及圖像采集系統(tǒng)無法滿足理想的朗伯體模型，以及其他信息的不確定性導(dǎo)致的SFS問題的病態(tài)，因而需要根據(jù)采集圖像的特點(diǎn)引入附加條件[6]

式中:I是測(cè)量亮度;R是估計(jì)反射圖亮度;px，py和qx，qy分別表示函數(shù)p和q在x和y方向上的偏微分;式(2)為亮度約束;式(3)為光滑性約束;式(4)為可積性約束。求解式(1)時(shí)，應(yīng)使 e1，e2，e3最小。

2 人體圖片光源預(yù)測(cè)

就單幅圖片而言，若未加特定攝制條件，其光源方向是未知的，因此需要求取光源的方向。關(guān)鍵就是預(yù)測(cè)光源入射角與物體表面點(diǎn)的夾角，以確定已知光源的入射方向。

本文三維形貌恢復(fù)的對(duì)象具有特定的目標(biāo)——三維人體形貌恢復(fù)，可利用人體知識(shí)將光源預(yù)測(cè)問題簡(jiǎn)化。人體的四肢可以近似為圓柱體，而圓柱體是一種簡(jiǎn)單特殊的幾何形狀，光線在圓柱體表面發(fā)生反射時(shí)會(huì)遵循指定的規(guī)律，因而可以利用四肢這種幾何特殊性對(duì)圖像中的人體光源方向進(jìn)行預(yù)測(cè)。

若去除毛發(fā)、衣服等遮擋物后，人體(如圖2)的軀干、四肢、頸部可以近似為圓柱體(如圖3)。正常情況下，人體四肢表面皮膚的材質(zhì)和顏色差異不顯著，因此可以將人體圖片中沒有遮擋且彎曲變形程度不大的四肢提取出來，分別擬合成對(duì)應(yīng)的矩形(圓柱體的正面視圖為矩形)，經(jīng)過分析得到各個(gè)圓柱體的預(yù)測(cè)光源方向，計(jì)算出對(duì)應(yīng)該擬合矩形的光源分量，再將得到的幾個(gè)光源方向平均值作為預(yù)測(cè)的整個(gè)人體光源方向。

如圖4所示，考慮圓柱體上一點(diǎn)M的法向量為(0，cosα，sinα)，則若以 －Z 方向?yàn)橛^察方向，根據(jù)式(1)得到

圖片上M點(diǎn)的亮度為

圖4 光源照射下的圓柱體模型

如圖5所示，圓柱體的橫截面圓的半徑為r，N點(diǎn)距離圓柱體最左側(cè)母線的距離為1，N點(diǎn)距該截面圓心O的距離 d 等于 r－l，光源方向?yàn)?ns1，ns2，ns3)，ns2和 ns3分量構(gòu)成的面與XOY平面的夾角α為

圖5 圓柱體示意圖

通過在二維圖片上選用一個(gè)接近矩形的圓柱體像，估計(jì)出d;分析一系列不同r的點(diǎn)的強(qiáng)度，利用式(6)，通過最小二乘法估計(jì)出相對(duì)應(yīng)的α。根據(jù)d，r，α估計(jì)值，光源方向的ns2分量估計(jì)值為

依此類推，選用不同方向的圓柱體，可以得出ns1分量。依照(ns1，ns2，ns3)，假定 ns3為 1，則可倒換出(ps，qs，－1)。若選出的圓柱體并不在圖片的豎直或水平方向，則通過坐標(biāo)倒換也可以推出相關(guān)結(jié)果。綜合人體圖片上選用的不同位置的圓柱體而預(yù)測(cè)出的光源矢量進(jìn)行平均即得圖片的光源矢量的預(yù)測(cè)。

3 人體圖片恢復(fù)結(jié)果

本文恢復(fù)人體三維形狀利用的是人體表面灰度信息，衣服、頭發(fā)等遮擋物會(huì)產(chǎn)生錯(cuò)誤的信息，因此實(shí)驗(yàn)對(duì)象必須選擇沒有衣服等遮擋物的人體，人體模特在外形和顏色等角度都與真實(shí)人體比較接近，且沒有衣服等遮擋物的干擾，本文選擇人體模特圖片作為實(shí)驗(yàn)對(duì)象，恢復(fù)的步驟如圖6所示[7]。

圖6 三維人體形貌恢復(fù)的步驟

1)實(shí)例一原始圖像如圖2所示，預(yù)測(cè)光源方向?yàn)?0.53，0，1)，恢復(fù)的三維模型幾個(gè)不同角度的截圖如圖7所示。

圖7 實(shí)例一復(fù)原結(jié)果不同角度的截圖

恢復(fù)結(jié)果分析:二維的人體圖片的光源并沒有進(jìn)行太多的控制，SFS方法中的光源是單一光源，即無限遠(yuǎn)的電光源或平行光，而獲得的二維的圖片中的光源情況較復(fù)雜，有主光源、環(huán)境光，這樣的光源會(huì)造成復(fù)原結(jié)果與真實(shí)人體模特的誤差。具體分析如表1所示。

表1 實(shí)例一恢復(fù)結(jié)果分析

2)實(shí)例二原始圖像如圖8所示，預(yù)測(cè)光源方向?yàn)?0.19，0，1)，恢復(fù)的三維模型幾個(gè)不同角度的截圖如圖9所示。

恢復(fù)結(jié)果分析:整體的復(fù)原結(jié)果還是比較理想。具體分析如表2所示。

表2 實(shí)例二恢復(fù)結(jié)果分析

4 結(jié)論與探討

該三維人體測(cè)量方法在實(shí)施過程及實(shí)際應(yīng)用中，依然存在不少問題。在提取用于預(yù)測(cè)光源的人體四肢時(shí)，本文采用的辦法是手工提取，如何利用帶入人體知識(shí)的邊緣檢測(cè)法自動(dòng)提取出無遮擋的四肢，是下一步的工作。另外陰影在圖片中是在所難免，人體的姿勢(shì)千變?nèi)f化，經(jīng)常會(huì)出現(xiàn)遮擋的部位，但人體始終逃不脫軀干、頭部、四肢的結(jié)構(gòu)，下一步將利用光源矢量及各點(diǎn)的深度值計(jì)算出陰影區(qū)域并對(duì)其進(jìn)行修正，并利用人體知識(shí)填充遮擋部位丟失的信息量。

雖然目前基于單幅圖像進(jìn)行人體形貌恢復(fù)的精度還不能夠達(dá)到很高的要求，但此算法模擬人眼的視覺原理，只須單幅圖像進(jìn)行分析處理，便可以快速得到人體表面0°～180°的三維信息，是一種實(shí)用的三維人體恢復(fù)技術(shù)。

[1]GUAN P，F(xiàn)REIFELD O，BLACK M J.A 2D human body model dressed in eigen clothing[C]//Proc.11th European Conf.Computer Vision.Berlin:Springer－Verlag，2010:285－298.

[2]IKIZLER N，CINBIS R G，PEHLIVAN S，et al.Recognizing actions fromstill images[C]//Proc.19th International Conference on Pattern Recognition.Tampa，F(xiàn)L:IEEE Press，2008:1－4.

[3]HORN B K P.Shape from shading:A method for obtaining the shape of a smooth opaque object from one view[D].Boston:Massachusetts Inst.of Technology，1970.

[4]宋麗梅.基于單幅實(shí)時(shí)測(cè)量圖像形貌三維恢復(fù)的研究[D].天津:天津大學(xué)，2004.

[5]BASRI R，JACOBS D.Lambertian reflectance and linear subspaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(2):218－233.

[6]徐東平.基于SFS方法的三維表面重建算法研究[J].計(jì)算機(jī)與數(shù)字工程，2008，36(2):7－9.

[7]阮秋琦.數(shù)字圖像處理(MATLAB版)[M].北京:電子工業(yè)出版社，2005.