楚冬婭，張廣匯，宋仁杰，張曉松，應(yīng)曉霖，李 勇*

1 浙江師范大學(xué)信息光學(xué)研究所，浙江 金華 321004；2 浙江省光信息檢測與顯示技術(shù)重點實驗室，浙江 金華 321004

1 引言

光學(xué)三維形貌測量技術(shù)由于其非接觸、精度高等優(yōu)點，在工業(yè)檢測、安防、醫(yī)療、影視娛樂等方面具有廣泛的運用，例如工件加工質(zhì)量檢測、物體高速運動中的形變測量、三維人臉識別中的信息獲取、離子加速器癌癥治療中人體位姿的監(jiān)測、影視制作中人臉三維表情的獲取等?；跅l紋相位測量[1-3]的三維測量技術(shù)(如相位測量輪廓術(shù)[4]、傅里葉變換輪廓術(shù)[5]、小波變換輪廓術(shù)[6]等)是其中重要的一類。傅里葉變換輪廓術(shù)、小波變換輪廓術(shù)等由于測量只需要一幅圖像，能夠?qū)崿F(xiàn)動態(tài)三維形貌測量，但是測量精度不高。而相位測量輪廓術(shù)等需要多幅圖像才能測量，在靜態(tài)或準(zhǔn)靜態(tài)三維形貌測量方面能夠獲得高精度、高可靠的結(jié)果，但是在動態(tài)三維形貌測量方面尚存在較多需要改進(jìn)、提高之處。

相位展開是條紋相位測量中的關(guān)鍵一步。在恢復(fù)物體三維形貌前首先要對截斷相位進(jìn)行展開。常見的有空間相位展開法、時間相位展開法和多視角幾何約束法等。這些方法在某種程度上很好地解決了相位展開問題，但是它們各自存在局限?？臻g相位展開[7-8]法著重分析截斷相位圖空間分布特性來恢復(fù)相位的連續(xù)性，但是它很難處理空間上不連續(xù)或者孤立的區(qū)域。而時間相位展開法[9-10]借助額外的圖案確定條紋次序，能夠處理孤立區(qū)域問題，可靠性高，但是測量需要的時間長，相同測量速度情況下對硬件的要求更高。常見的時間相位展開法有雙頻[11]或多頻(多波長)[12]相移技術(shù)、編碼圖案與相移技術(shù)結(jié)合的方法[13-15]等。多視角幾何約束法[16-17]包括增設(shè)多個攝像機(jī)或者投影儀，提供多角度幾何約束來展開相位。該類方法減小了測量區(qū)域，同時增加了整個系統(tǒng)的復(fù)雜性和成本。An等人[18]提出一種深度約束的方法，通過預(yù)先設(shè)定已知距離的虛擬參考平面，為截斷相位提供級次信息。該方法不需要額外的圖案投影，但是無法解決被測物體與參考平面相位差絕對值超過π 的問題。后來Li等人[19]提出一種基于CAD 模型的測量方法，將模型在被測對象深度方向進(jìn)行分割，產(chǎn)生一系列虛擬參考平面輔助相位展開。但是，該方法的處理過程復(fù)雜。他們又提出了改進(jìn)的方法[20]，通過場景中已知尺寸的物體提供絕對相位展開的線索。基于物體形貌約束，重建其三維形貌，借此創(chuàng)建最小相位平面，用于逐像素展開整個場景的相位。該方法可以實現(xiàn)運動物體的三維測量，但需要一個已知尺寸的物體且其與待測物體的相對位置有限制，造成了實際應(yīng)用時的極大限制。

上述方法在各自適用場合取得了成功，但是還存在改進(jìn)提升空間。目前條紋投影三維測量中普遍使用可編程數(shù)字投影儀，可以投影多種圖案。這樣，相同的硬件系統(tǒng)只要改變投影圖案和處理算法就可以方便地實現(xiàn)多種測量方案。同時，不少被測物體(如生產(chǎn)線上的工件)是采用CAD 設(shè)計的，其標(biāo)準(zhǔn)模型容易獲得；另外，物體靜態(tài)時的三維形貌也可以采用動態(tài)三維測量硬件系統(tǒng)，通過高精度、高可靠的測量方案獲得。針對上述情況，本文提出了先驗知識輔助的方法。這里的先驗知識是指待測物體的近似三維形貌(可以通過CAD 模型或預(yù)先測量獲得)、物體二維圖像中的特征點等信息。在不增加系統(tǒng)復(fù)雜性及投影圖案數(shù)的同時，實現(xiàn)了可靠性與時間相位展開法接近的運動物體三維形貌測量。該方法允許測量過程中條紋有不連續(xù)或者孤立的部分，同時對物體運動中的形變量也有較大的容限。

2 理論推導(dǎo)

2.1 測量原理

圖1 為測量系統(tǒng)結(jié)構(gòu)示意圖。系統(tǒng)主要由投影儀和攝像機(jī)組成。由投影儀投射正弦條紋到被測物體上，攝像機(jī)從另一視角拍攝受高度調(diào)制的變形條紋圖。對變形條紋進(jìn)行處理，獲得物體三維形貌。

圖1 條紋投影三維測量系統(tǒng)構(gòu)成示意圖Fig.1 Schematic diagram of fringe projection 3D measurement system structure

采用整周期等間隔3 步相移法時，該系統(tǒng)拍攝的變形條紋圖可以表示為

這里的(u,v)為圖像坐標(biāo)，為背景強(qiáng)度，B(u,v)為條紋幅度，φ(u,v)為條紋相位，

根據(jù)式(2)計算的相位值由于反正切函數(shù)的性質(zhì)而被截斷在[?π,π)范圍內(nèi)，需要采用式(3)進(jìn)行相位展開：

其中：k為整數(shù)，稱為條紋級次。在相位展開后，根據(jù)標(biāo)定[21]的參數(shù)，利用相位?坐標(biāo)映射關(guān)系恢復(fù)物體三維形貌[22]。

2.2 相位展開原理

當(dāng)待測物體的近似三維形貌、物體二維圖像中的特征點等先驗知識及攝像機(jī)內(nèi)參數(shù)已知時，結(jié)合模型坐標(biāo)系相對于攝像機(jī)坐標(biāo)系的運動參數(shù)，根據(jù)測量系統(tǒng)原理對模型進(jìn)行虛擬測量。通過虛擬測量獲得與待測物相同位姿的模型的絕對相位分布。以其為參考，結(jié)合實際測量的截斷相位求出待測物體的絕對相位。其中的一個關(guān)鍵問題是獲得模型相對于攝像機(jī)坐標(biāo)系的運動參數(shù)。根據(jù)攝像機(jī)成像模型，利用模型特征點三維坐標(biāo)及其在二維圖像中對應(yīng)點的圖像坐標(biāo)能夠獲得該參數(shù)。

圖2 為所提方法中模型運動參數(shù)估計的原理圖，圖中a為A的像。采用針孔模型表示攝像機(jī)的成像模型，則成像關(guān)系表示為

圖2 運動參數(shù)估計原理Fig.2 Schematic diagram of motion parameter estimation

式中：[XcYcZc]T為物體表面采樣點在攝像機(jī)坐標(biāo)系中的坐標(biāo)，s為比例因子，fu、fv分別是u、v方向上的歸一化焦距，M1稱為攝像機(jī)內(nèi)參數(shù)矩陣。模型與待測物體位姿相同相當(dāng)于將模型進(jìn)行旋轉(zhuǎn)、平移，使模型與待測物體重合?？梢杂孟率奖硎荆?/p>

式中：R′為旋轉(zhuǎn)矩陣，T′為平移向量，[XMOYMOZMO]T為模型坐標(biāo)。將式(5)代入式(4)得：

只要圖像中三維特征點的像足夠多(至少6 個空間點的像)，在攝像機(jī)內(nèi)參數(shù)已知的情況下，能夠求解旋轉(zhuǎn)矩陣及平移向量。實際應(yīng)用中，由于二維圖像中特征點獲取的誤差等，直接求解R′和T′誤差較大。在得到初始值后，利用Levenberg-Marquardt 方法進(jìn)行迭代優(yōu)化獲得運動參數(shù)最優(yōu)解。

將投影儀看作是逆向工作的攝像機(jī)，則可以使用與攝像機(jī)同樣的方法處理三維空間到投影儀圖像平面的變換關(guān)系。在獲得運動參數(shù)后，我們將預(yù)先獲得的三維模型數(shù)據(jù)進(jìn)行變換使之與待測物體重合，再用攝像機(jī)和投影儀對模型成像。模型在投影儀中的像可表示為

式中：(up,vp)為投影儀圖像坐標(biāo)，R和T分別為攝像機(jī)坐標(biāo)系相對于投影儀坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。分別計算出模型上的點成像在攝像機(jī)中的坐標(biāo)(u,v)和投影儀中的坐標(biāo)(up,vp)。如果攝像機(jī)和投影儀是水平擺放，采用豎向條紋，由式(8)得到參考相位圖。如果攝像機(jī)和投影儀是垂直擺放，采用橫向條紋，由式(9)得到參考相位圖。

式中：φ0為條紋的初相位，f為條紋的頻率。上述根據(jù)測量系統(tǒng)結(jié)構(gòu)參數(shù)計算物體初始形貌旋轉(zhuǎn)、平移后的相位過程被稱為虛擬測量。得到參考相位后，每個像素對應(yīng)的條紋級次k由式(10)獲得：

式中：round[·]表示四舍五入取整。由式(10)可知，只要被測物體與參考模型差異引起的相位變化在(?π,π)內(nèi)，就能夠獲得實際測量的絕對相位。這也意味著即使物體在運動中有形變(非剛體運動)，只要形變足夠小，提出的方法也適用。

由上述展開相位獲取過程可知，提出的方法只要投影3 幅相移條紋就能夠進(jìn)行運動物體三維形貌測量。與時間相位展開法相比，所提方法減少了圖案的投影數(shù)量，更適合動態(tài)物體測量，而測量可靠性與之接近。與空間相位展開法相比，所提方法投影圖案數(shù)相同，但是可靠性高。只要實際測量物體與虛擬測量物體重合部分差異在允許范圍內(nèi)，即使物體形貌突變造成條紋不連續(xù)也能夠正確展開相位。提出的方法不要求空間與時間上相位分布滿足采樣定理，與時空三維相位展開法相比，所提方法對相鄰時刻物體位姿變化有較大的容限。

2.3 誤差容限分析

為簡化分析，采用如圖3 所示的測量系統(tǒng)原理示意圖。圖中P1P2為投影儀光軸，I1I2為攝像機(jī)光軸?；谄湓?，利用相似三角形ΔADC和ΔP2DI2，即可得到D點的高度h：

圖3 測量系統(tǒng)原理示意圖Fig.3 Schematic diagram of measurement system

式中：f0為條紋在參考平面上的頻率。大多數(shù)情況下，因此式(11)可進(jìn)一步簡化為

式中：θ為投影儀與攝像機(jī)光軸夾角。只要參考模型與待測物體的相位差在(?π,π)區(qū)間內(nèi)，二者的變形條紋級次相同。由式(12)得：

由式(13)可知，誤差容限隨條紋頻率升高而減小，隨光軸夾角增加而減小。假設(shè)參考平面上條紋頻率f0=1/5 mm?1，光軸夾角θ=30°，則高度誤差容限約為±4.3 mm。

3 實驗結(jié)果

為驗證所提方法的可行性，搭建了條紋投影動態(tài)三維測量系統(tǒng)。實驗系統(tǒng)的硬件配置如下，攝像機(jī)(Mars 1300-210uc)的分辨率為1280 pixels×1024 pixels，投影儀(Lightcrafter 4500)的分辨率為1140 pixels×912 pixels。靜態(tài)測量時采用3 頻外差法，動態(tài)測量時采用與靜態(tài)測量時最高頻率相同的條紋，條紋頻率為32 (參考平面上條紋頻率約為1/10 mm?1)，采用整周期等間隔3 步相移測量相位。攝像機(jī)幀率為210 f/s，則動態(tài)三維數(shù)據(jù)的采集速度為70 f/s。選擇CAD 設(shè)計并用3D 打印制作的特征分明的物體驗證條紋不連續(xù)情況下所提方法的適用性。選擇人臉進(jìn)行非剛體運動物體的三維測量驗證。

3.1 測量流程

所提方法的具體流程如下：

1) 采用3 頻外差法或從CAD 模型獲得待測物體參考模型。確定模型上的特征點并獲得其三維坐標(biāo)；

2) 投影3 步相移條紋并拍攝，獲得變形條紋圖，計算背景強(qiáng)度圖和截斷相位圖；

3) 獲取背景強(qiáng)度圖中被測對象的特征點；

4) 根據(jù)2D-3D 特征點對應(yīng)關(guān)系，計算出模型的運動參數(shù)；

5) 利用變換后模型的三維信息由式(6)～式(10)計算獲得條紋級次；

6) 展開截斷相位圖，恢復(fù)三維形貌；

7) 重復(fù)2)～6)直到測量結(jié)束。

由流程可知，如果無CAD 模型，只在開始時進(jìn)行一次相對費時的三維掃描(投影、拍攝9 幅條紋圖)，在動態(tài)過程測量中每投影3 幅條紋就能夠獲取1 幅三維數(shù)據(jù)。由于采用了與傳統(tǒng)方法相同的條紋及相移法，在保證精度及可靠度的同時，三維采集的速度得到了提高。

3.2 CAD 設(shè)計物體測量結(jié)果

為了驗證所提方法對測量中存在不連續(xù)部分的被測對象適用性，對采用CAD 設(shè)計的如圖4(a)所示的幾何體進(jìn)行了測量。該物體在測量過程中由于遮擋、陰影等，攝像機(jī)視角中條紋存在不連續(xù)部分。以3 頻外差法測量的結(jié)果為標(biāo)準(zhǔn)相位進(jìn)行了比較。由于直角點檢測的可靠性和準(zhǔn)確性高，有助于提高物體運動參數(shù)的估計精度，這里選擇它作為特征點。選擇的特征點如圖4(a)中十字叉所示，對其進(jìn)行編號并從CAD模型中獲得其三維坐標(biāo)。測量時，從背景圖中提取角點，根據(jù)對應(yīng)編號特征點的三維坐標(biāo)計算運動參數(shù)，進(jìn)行相位展開。圖4(b)為截斷相位，圖4(c)為所提方法展開的相位圖，圖4(d)為展開相位與標(biāo)準(zhǔn)相位之間的差值，圖4(e)為4(d)中紅線處的相位差。

圖4 展開相位與實際相位對比。(a) 待測物體；(b) 截斷相位；(c) 展開相位圖；(d) 相位差值圖；(e) 圖(d)紅線處截面圖Fig.4 Comparison between unwrapped and standard phase.(a) Object for measurement;(b) Wrapped phase;(c) Unwrapped phase;(d) Phase difference;(e) Cross-sections of red line in (d)

3.3 非剛體運動實際物體測量結(jié)果

為驗證所提方法對運動中伴隨形變的物體測量適用性，對運動中的有表情變化的人臉進(jìn)行了三維測量。采用3 頻外差法進(jìn)行物體初始形貌測量。采用基于深度學(xué)習(xí)的人臉關(guān)鍵點檢測算法[23]檢測的結(jié)果作為運動參數(shù)估計的特征點。該算法標(biāo)出了包括五官和外圍輪廓的68 個關(guān)鍵點。實際測量時，由于人臉表情變化導(dǎo)致的嘴巴部位關(guān)鍵點移動幅度較大，對于計算運動參數(shù)不利，因此嘴部的關(guān)鍵點不予考慮。平移運動幾乎不影響特征點檢測的準(zhǔn)確性，而旋轉(zhuǎn)有較大的影響。因此這里研究轉(zhuǎn)動角度對關(guān)鍵點檢測的影響情況。

首先進(jìn)行了不同姿態(tài)準(zhǔn)靜態(tài)人臉三維形貌測量，同樣用3 頻外差法測量的結(jié)果作為標(biāo)準(zhǔn)相位。從左右偏轉(zhuǎn)、俯仰、側(cè)傾這3 個方向轉(zhuǎn)動進(jìn)行實驗。圖5(a)為實驗過程中某一姿態(tài)的一幅變形條紋圖，圖5(b)為檢測出的特征點，圖5(c)為標(biāo)準(zhǔn)相位測量結(jié)果；圖5(d)為本文方法計算的參考相位，圖5(e)為參考相位與標(biāo)準(zhǔn)相位的差異圖，圖5(f)為5(e)圖紅線部分的截面圖?？梢钥闯鱿辔徊町愡h(yuǎn)小于π，保證了相位的正確展開。通過實驗，得到能夠穩(wěn)定展開相位的三個方向上的轉(zhuǎn)動角度范圍分別為：從正臉偏轉(zhuǎn)左右均45°之內(nèi)，俯仰上下均30°之內(nèi)，側(cè)傾順時針逆時針均45°之內(nèi)。

圖5 某一姿態(tài)測量數(shù)據(jù)。(a) 變形條紋；(b) 特征點；(c) 標(biāo)準(zhǔn)相位；(d) 參考相位圖；(e) 相位差值圖；(f) (e)紅線處截面圖Fig.5 Measurement data at a certain posture.(a) Deformed fringe;(b) Feature points;(c) Standard phase;(d) Reference phase;(e) Difference between (d) and (c);(f) Cross-sections of red line in (e)

接著對運動過程中伴隨大幅度表情變化的人臉進(jìn)行了測量實驗，圖6 為部分測量結(jié)果。圖6(a)為3 頻外差法獲取的初始三維形貌，圖6(b)～6(d)為運動中幾個時刻的三維重構(gòu)結(jié)果?？梢钥闯?，提出的方法在無姿態(tài)約束下，成功實現(xiàn)了對運動中有大幅表情變化的人臉測量。

圖6 運動過程中大幅度形變測量結(jié)果。(a) 初始三維形貌；(b) 時刻1 形貌；(c) 時刻2 形貌；(d) 時刻3 形貌Fig.6 Measurement results of large deformation during motion.(a) Initial 3D shape;(b) Shape of time 1;(c) Shape of time 2;(d) Shape of time 3

4 數(shù)據(jù)分析

從圖4(b)可以看出，CAD 設(shè)計的物體由于正方形平面間距離較大，各平面間的條紋不連續(xù)，連接左右兩組平行平面的梁上與平面上的條紋也存在不連續(xù)之處，無法用空間相位展開法正確展開相位。從圖4(e)可以看出，除邊界附近存在相位展開錯誤外，其他地方都能正確展開相位，表明該方法不易受條紋不連續(xù)的影響。邊界附近的錯誤主要是由于物體運動參數(shù)估計誤差、噪音等共同作用造成了條紋級次計算錯誤。這類錯誤采用如下方法去除：1) 在虛擬測量相位圖中進(jìn)行邊緣檢測，得到相位不連續(xù)的邊緣，并將其膨脹成一定厚度的區(qū)域，以將實際測量相位圖中的邊緣包含在內(nèi)；2) 在背景強(qiáng)度圖中對應(yīng)的區(qū)域內(nèi)進(jìn)行邊緣檢測，并將邊緣膨脹成一定厚度的新區(qū)域；3) 對展開的相位圖操作，在每個對應(yīng)的新區(qū)域中將相位從區(qū)域邊界向區(qū)域中心展開，展到背景強(qiáng)度圖中檢測出邊緣為止。展開過程中根據(jù)調(diào)制度高低避開區(qū)域中可靠度低部分。在非剛體運動物體測量實驗中，從圖5(c)可以看出參考相位與標(biāo)準(zhǔn)相位的差遠(yuǎn)遠(yuǎn)沒有達(dá)到(?π，π)的邊界，能夠為展開截斷相位圖提供正確的條紋級次。從圖6 可以看出，提出的算法能夠?qū)崿F(xiàn)運動過程中伴隨較大形變的物體三維形貌測量。圖6中的三維結(jié)構(gòu)看上去表面比較粗糙，存在空洞。這主要是因為結(jié)果沒有任何濾波平滑，受攝像機(jī)噪音影響，表面法向量隨機(jī)性較大。在視覺上，加上光照效果后細(xì)微的噪音被放大，噪音造成的實際形貌誤差在0.2 mm 以下。存在空洞主要是因為該部分反射率太低，如眼珠、頭發(fā)等位置。

5 結(jié)論

本文提出了一種新的基于特征點及粗略模型等先驗知識輔助的條紋投影動態(tài)三維形貌測量方法。該方法在保證原有測量精度、不增加系統(tǒng)硬件復(fù)雜性的情況下，投影最少的圖案實現(xiàn)三維測量，并且有較大的誤差容限。所提方法能夠?qū)崿F(xiàn)：CAD 設(shè)計的物體，如生產(chǎn)線上工件形貌快速測量；運動中伴隨形變的物體，如運動中有表情變化的人臉等測量。對于圖像中特征信息弱的物體，本文方法將無法測量。