張利萍，劉桂華，可 楊

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000)

基于單雙目融合的遮擋區(qū)域點(diǎn)云獲取技術(shù)研究

張利萍，劉桂華，可 楊

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000)

在基于相位輪廓術(shù)進(jìn)行雙目三維重建時(shí)，傳統(tǒng)的雙目測(cè)量系統(tǒng)在遮擋條件下無(wú)法獲取雙目相機(jī)公共視野以外的區(qū)域的點(diǎn)云數(shù)據(jù)，導(dǎo)致掃描結(jié)果出現(xiàn)測(cè)量空洞或者點(diǎn)云數(shù)量減少，從而不能通過立體視覺進(jìn)行三維重建。對(duì)此，提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的方法，系統(tǒng)無(wú)需增加其他操作過程，單次掃描就能同時(shí)獲得雙目點(diǎn)云和精度較高的左右單目點(diǎn)云。在對(duì)飛機(jī)模型的測(cè)量中，利用該方法填補(bǔ)了雙目測(cè)量在機(jī)翼附近出現(xiàn)的數(shù)據(jù)丟失，提高了測(cè)量結(jié)果的完整性。

三維重建；遮擋；相位；點(diǎn)云

0 引言

基于相位測(cè)量輪廓術(shù)的三維測(cè)量技術(shù)作為一種主動(dòng)式非接觸光學(xué)測(cè)量方法，因具有全場(chǎng)分析、測(cè)量精度高、非接觸等優(yōu)點(diǎn)，正逐漸成為當(dāng)前三維測(cè)量領(lǐng)域內(nèi)最重要和最熱門的一個(gè)研究分支，在工業(yè)檢測(cè)、質(zhì)量控制、逆向工程、生物醫(yī)學(xué)、虛擬現(xiàn)實(shí)、文物保護(hù)等眾多領(lǐng)域中具有廣泛的應(yīng)用[1-4]。常用的基于相位輪廓術(shù)的三維重建系統(tǒng)按相機(jī)個(gè)數(shù)可以分為單目系統(tǒng)和雙目系統(tǒng)，單目測(cè)量系統(tǒng)只需一個(gè)攝像機(jī)，通過相位值直接解算得到物體的高度信息，雙目系統(tǒng)則將相位作為匹配的一個(gè)特征，利用立體視覺求取物體的三維特征。這兩種結(jié)構(gòu)都有各自的優(yōu)點(diǎn)，但單目系統(tǒng)在測(cè)量精度以及抗噪性上與雙目視覺系統(tǒng)有一定的差距。故雙目視覺系統(tǒng)在實(shí)際中的應(yīng)用更廣泛。

雙目視覺系統(tǒng)由于其三維坐標(biāo)的獲取是基于兩相機(jī)對(duì)應(yīng)像素點(diǎn)的匹配，在視場(chǎng)方面有一定的局限性，對(duì)于遮擋、陰影等情況，在重建過程中容易出現(xiàn)數(shù)據(jù)的缺失。遮擋是指匹配圖像對(duì)時(shí)，一個(gè)圖像的像素在另一個(gè)圖像中找不到對(duì)應(yīng)匹配點(diǎn)，導(dǎo)致最終出現(xiàn)匹配錯(cuò)誤，不僅被遮擋的點(diǎn)難以得到正確的視差值，還會(huì)給遮擋區(qū)域附近點(diǎn)的匹配帶來(lái)負(fù)面效果。如果靠多次掃描拼合或后期點(diǎn)云處理，則較復(fù)雜[5]。IKEMURA S等人在用TOF相機(jī)獲得深度信息的基礎(chǔ)上，提出了相關(guān)深度相似特征來(lái)進(jìn)行遮擋判斷，該設(shè)備成本昂貴，且只能應(yīng)用在特殊場(chǎng)合中[6]。MA Y等人將深度和遮擋率相結(jié)合，但是當(dāng)遮擋對(duì)象出現(xiàn)相似視差變化的情況，就很難解決遮擋問題[7]。Jin Xin等人將編碼和遮擋區(qū)域的分割相結(jié)合對(duì)遮擋關(guān)系進(jìn)行判斷，減少了計(jì)算量，但是必須完全清楚場(chǎng)景中的對(duì)象時(shí)才可用此方法[8]。耿英楠提出基于RGB矢量空間的三目立體匹配方法，提高了遮擋區(qū)的匹配正確率，但是匹配過程比較復(fù)雜[9]。許雯提出了基于LRC遮擋檢測(cè)的改進(jìn)的ASW算法，對(duì)檢測(cè)出的遮擋區(qū)域進(jìn)行填充，提高了整體視差圖的匹配質(zhì)量[10]。以上算法對(duì)解決立體匹配中的遮擋問題都有很好的效果，但是由于匹配過程中算法復(fù)雜，計(jì)算量龐大或者成本較高等各種原因，導(dǎo)致在實(shí)際中的應(yīng)用性不強(qiáng)。針對(duì)上述問題，結(jié)合單雙目測(cè)量系統(tǒng)各自的優(yōu)點(diǎn)，提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的新方法，系統(tǒng)無(wú)需增加其他操作過程，單次掃描就能同時(shí)獲得雙目點(diǎn)云和精度較高的左右單目點(diǎn)云，很好地提升了測(cè)量數(shù)據(jù)的完整性。

1 雙目三維重建原理

基于相位輪廓術(shù)的物體三維輪廓測(cè)量原理是投影儀向被測(cè)物體投射一組光強(qiáng)呈正弦分布的光柵，左、右兩個(gè)相機(jī)同步采集受物體表面調(diào)制后的光柵，然后根據(jù)采集的圖像獲取毎個(gè)像素的相位值，最后根據(jù)標(biāo)定參數(shù)，應(yīng)用三角測(cè)量原理獲得物體表面三維數(shù)據(jù)。

雙目立體視覺系統(tǒng)中三維空間點(diǎn)的成像模型如圖1所示，設(shè)空間點(diǎn)A在左右相機(jī)Cl和Cr上的投影分別為al和ar，al和ar為一對(duì)匹配點(diǎn)，則可以唯一確定A點(diǎn)的空間位置，即直線Olal和直線Orar的交點(diǎn)。

圖1 雙目立體視覺成像原理

設(shè)左攝像機(jī)位于世界坐標(biāo)系O-xyz原點(diǎn)，圖像坐標(biāo)系為Ol-XlYl，有效焦距為fl，右攝像機(jī)坐標(biāo)系為Or-xryrzr，有效焦距為fr，由攝像機(jī)透視投影模型以及兩攝像機(jī)之間的位置關(guān)系，空間點(diǎn)A的三維坐標(biāo)可以表示為：

由式(1)可知，通過雙目攝像機(jī)標(biāo)定求出左、右相機(jī)焦距fl、fr，旋轉(zhuǎn)矩陣R和平移矩陣T，通過極線約束原理求出左右圖像中匹配點(diǎn)對(duì)的圖像坐標(biāo)，就可以得到被測(cè)物的三維點(diǎn)云數(shù)據(jù)。

在利用雙目視覺原理進(jìn)行三維重建的過程中，常常由于相機(jī)拍攝視角或者物體表面輪廓較復(fù)雜等原因，導(dǎo)致物體表面某些場(chǎng)景點(diǎn)只能在雙目視覺系統(tǒng)中的一個(gè)攝像機(jī)中可見，而在另一個(gè)攝像機(jī)中不可見，圖像上這些點(diǎn)稱為雙目半遮擋點(diǎn)。它們通常存在于物體邊緣和場(chǎng)景不連續(xù)等地方，而這些地方又是視覺中要處理的關(guān)鍵點(diǎn)。

2 單目重建技術(shù)

現(xiàn)有的單雙目點(diǎn)云重建方法一般采用兩個(gè)相機(jī)分別與投影儀組成單目測(cè)量系統(tǒng)來(lái)補(bǔ)充雙目測(cè)量結(jié)果的方式。在獲取單目點(diǎn)云的方法上，本文采用蓋紹彥提出的相位-高度映射模型[11]，此模型對(duì)攝像機(jī)、投影裝置以及標(biāo)定平面的位置關(guān)系無(wú)嚴(yán)格要求，提高了系統(tǒng)的可操作性。本節(jié)基于該模型提出一種使用雙目點(diǎn)云來(lái)優(yōu)化模型參數(shù)，獲得單目點(diǎn)云的方法，與單純依靠雙目的測(cè)量系統(tǒng)相比，使用此方法能夠有效地改進(jìn)系統(tǒng)的測(cè)量范圍和提高測(cè)量結(jié)果的完整性。

2.1 相位恢復(fù)高度模型

系統(tǒng)模型[11]如圖2所示，參考坐標(biāo)系Ωw(OXYZ)是基于投影設(shè)備建立的：OXY平面平行于投影面，光柵條紋平行于Y軸，投影中心OP經(jīng)過Z軸。攝像機(jī)坐標(biāo)系Ωc(OcXcYcZc)原點(diǎn)Oc位于鏡頭光心，Zc位于光軸，Xc、Yc分別平行于攝像機(jī)成像面的橫軸、縱軸。o1mn表示攝像機(jī)成像面上的圖像坐標(biāo)系。

圖2 相位-高度模型圖

設(shè)物點(diǎn)P在參考坐標(biāo)系ΩW中的坐標(biāo)為(X,Y,Z)，在攝像機(jī)坐標(biāo)系Ωc中的坐標(biāo)為(Xc,Yc,Zc)，有

(2)

可以推導(dǎo)出P點(diǎn)的相位θ與其三維坐標(biāo)(Xc,Yc,Zc)的關(guān)系如式(3)所示:

(3)

式(3)是θ-(Xc,Yc,Zc)映射模型的關(guān)系式，a1～a8為待標(biāo)定的系統(tǒng)參量，λ0為投影光柵節(jié)距，θ0為原點(diǎn)O的相位。

2.2 單雙目重建技術(shù)

傳統(tǒng)的求解參數(shù)a1～a8的方法是先通過平面標(biāo)定板對(duì)單目相機(jī)進(jìn)行標(biāo)定，再對(duì)投影到標(biāo)定板上的光柵進(jìn)行解相，得到樣本點(diǎn)集(Xc,Yc,Zc,θ)，帶入式(3)，可得到一組以參量a1～a8為未知數(shù)的線性方程，解方程組，即可得到參量值。

本節(jié)提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的方法，直接將雙目重建的點(diǎn)和對(duì)應(yīng)的相位值組成樣本集(Xi,Yi,Zi,θi)代入式(3)，優(yōu)化解得a1～a8，然后對(duì)于僅在單個(gè)相機(jī)視場(chǎng)內(nèi)有效的物點(diǎn)，將其相位值代入式(3)，結(jié)合式(1)中X、Y和Z的關(guān)系計(jì)算三維坐標(biāo)。相比傳統(tǒng)的參數(shù)求解方法，本方法既消除了傳統(tǒng)方法中由于相機(jī)標(biāo)定和光柵解相帶來(lái)的誤差，提高了參數(shù)的優(yōu)化精度，又簡(jiǎn)化了操作過程。

設(shè)左相機(jī)為參考坐標(biāo)系，計(jì)算左單目點(diǎn)云時(shí)可以直接使用雙目點(diǎn)和左相位場(chǎng)，但計(jì)算右單目點(diǎn)云時(shí)，將雙目點(diǎn)云轉(zhuǎn)換到右相機(jī)坐標(biāo)系下，加上右相位場(chǎng)來(lái)計(jì)算，最后再將右單目點(diǎn)云坐標(biāo)統(tǒng)一到左相機(jī)坐標(biāo)系下。算法實(shí)現(xiàn)的步驟如下：

(1)標(biāo)定：使用張正友平板標(biāo)定法[12]對(duì)雙目系統(tǒng)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。

(2)相位解算：先使用最大類間方差法分離物體和背景，將屬于物體部分的點(diǎn)標(biāo)記為有效點(diǎn)，再通過四步相移[13]加多頻外差[14]解算出左右相位場(chǎng)。

(3)匹配：利用相位值相等和極線約束條件尋找左右相機(jī)中的對(duì)應(yīng)匹配點(diǎn)，同時(shí)在相位圖中對(duì)未匹配點(diǎn)予以標(biāo)記，再進(jìn)行亞像素插值提高精度。

(4)雙目重建：得到左右相機(jī)的匹配點(diǎn)后，利用相機(jī)的內(nèi)外參量，根據(jù)三角原理法計(jì)算三維坐標(biāo)。

(5) 左右單目重建：分別利用左右相機(jī)與投影儀組成兩個(gè)單目測(cè)量系統(tǒng)。利用本文所述的單目測(cè)量方法分別對(duì)左右相機(jī)中的未匹配點(diǎn)求取對(duì)應(yīng)的三維坐標(biāo)，并統(tǒng)一到雙目測(cè)量坐標(biāo)系中。

為了避免單目測(cè)量系統(tǒng)重建雙目缺失區(qū)域以外的部位，在雙目測(cè)量匹配過程中，分別對(duì)左右相機(jī)中的未匹配點(diǎn)進(jìn)行標(biāo)記，對(duì)相位圖中的每一點(diǎn)設(shè)置一個(gè)標(biāo)記值，如果能夠找到對(duì)應(yīng)匹配點(diǎn)則設(shè)其標(biāo)記值為1，否則為0，在后續(xù)的單目重建中僅對(duì)標(biāo)記值為0的點(diǎn)進(jìn)行處理。

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

實(shí)驗(yàn)采用基于雙目視覺的數(shù)字光柵投影系統(tǒng)，該系統(tǒng)由兩個(gè)高分辨率(分辨率1 280×1 024)的工業(yè)CCD相機(jī)和一個(gè)DLP投影儀組成，測(cè)量時(shí)使用投影儀向被測(cè)物體投射一組光強(qiáng)呈正弦分布的光柵，左右兩個(gè)相機(jī)進(jìn)行同步采集受物體表面調(diào)制后的光柵，然后根據(jù)采集的圖像，獲取其相位信息最后根據(jù)標(biāo)定參數(shù)，應(yīng)用三角測(cè)量原理獲得物體表面三維數(shù)據(jù)。

飛機(jī)模型的點(diǎn)云如圖3所示。

圖3 飛機(jī)模型的點(diǎn)云

在圖3中，單次掃描重建的點(diǎn)云如圖3(b)所示，在機(jī)身和兩側(cè)機(jī)翼交接的地方會(huì)出現(xiàn)一些空洞,其原因是由于機(jī)身的遮擋, 而不能被雙相機(jī)同時(shí)拍攝到，因此出現(xiàn)點(diǎn)云缺失的空洞。分別基于雙目點(diǎn)云及其相位場(chǎng)優(yōu)化得到的a1～a8見表1。單目重建也對(duì)雙目無(wú)法測(cè)量的部位進(jìn)行了補(bǔ)充，使單次測(cè)量結(jié)果更加完整。圖3(d)中仍然存在的一些空洞是物體表面的黑色斑點(diǎn)所致，與本文算法無(wú)關(guān)，可以通過向物體表面噴白色顯影劑的方式來(lái)測(cè)得。

為了對(duì)本測(cè)量系統(tǒng)的重建精度進(jìn)行評(píng)估，對(duì)面距為30mm的梯形標(biāo)準(zhǔn)件進(jìn)行測(cè)量，如圖4所示，將得到的點(diǎn)云擬合成平面，計(jì)算兩平面之間的面距，測(cè)量結(jié)果如表2所示，可以看出單目點(diǎn)云精度比雙目點(diǎn)云稍低，可以用于對(duì)精度要求不是很高的場(chǎng)合。

表1 根據(jù)雙目點(diǎn)云和左、右相位場(chǎng)優(yōu)化得到的a1～a8

圖4 面距為30 mm的梯形標(biāo)準(zhǔn)件及其擬合平面

重建方式最大距離最小距離平均距離標(biāo)準(zhǔn)差雙目30．164229．899330．02530．0366雙目30．164229．899330．02530．0366

單目重建算法能對(duì)雙目點(diǎn)云中的測(cè)量空洞進(jìn)行補(bǔ)充，但其精度往往達(dá)不到雙目點(diǎn)云的精度，由于單目重建是直接通過相位值計(jì)算物點(diǎn)的三維坐標(biāo)，相位誤差是影響單目測(cè)量精度的主要因素，由投影儀的Gamma非線性和工業(yè)相機(jī)的非線性響應(yīng)共同引起的光柵圖像非正弦化是相位誤差的主要來(lái)源，相機(jī)采集圖像時(shí)引入的環(huán)境光與相機(jī)Gamma值共同作用也會(huì)使采集的光柵圖片非正弦化。

4 結(jié)論

本文提出了一種基于相位-高度模型的新單雙目重建方法，使用雙目點(diǎn)云優(yōu)化出系統(tǒng)參數(shù)用于單目點(diǎn)云的計(jì)算。該方法能在單次掃描過程中同時(shí)實(shí)現(xiàn)單目和雙目的點(diǎn)云計(jì)算，對(duì)雙目測(cè)量結(jié)果中出現(xiàn)的空洞區(qū)域，可以使用該處單目測(cè)量的結(jié)果加以補(bǔ)充。這種方式的單目重建在雙目視覺系統(tǒng)的基礎(chǔ)上，無(wú)需增加其他硬件設(shè)備或者操作步驟，簡(jiǎn)單可行。與單純地依靠雙目測(cè)量系統(tǒng)相比,使用此方法能夠有效地改進(jìn)系統(tǒng)的測(cè)量范圍和提高測(cè)量結(jié)果的完整性。

單目重建算法能對(duì)雙目點(diǎn)云中的測(cè)量空洞進(jìn)行補(bǔ)充，但其精度往往達(dá)不到雙目點(diǎn)云的精度。由于單目重建是直接通過相位值計(jì)算物點(diǎn)的三維坐標(biāo)，因此需要進(jìn)一步提升相位精度。下一步的重點(diǎn)是研究相位誤差補(bǔ)償方法，建立相機(jī)和投影儀Gamma值的數(shù)學(xué)模型，利用預(yù)編碼方法消除相位誤差。

[1] Zhang Zonghua, TOWERS D P, TOWERS C E. Snapshot color fringe projection for absolute 3D metrology of video sequences[J]. Applied Optics, 2010, 49: 5947-53.

[2] Dai Meiling, Yang Fujun, He Xiaoyuan. Single-shot color fringe projection for three-dimensional shape measurement of objects with discontinuities[J]. Applied Optics, 2012, 5(12): 2062-2069.

[3] Wang Yongchang, Liu Kai, Hao Qi, et al. Period coded phase shifting strategy for real-time 3D structured light illumination[J]. IEEE Transactions on Image Processing, 2011, 20(11): 3001-3013.

[4] GORTHI S S, RASTOGI P. Fringe projection techniques: whither we are?[J]. Optics & Lasers in Engineering, 2010, 48(2): 133-140.

[5] TYAGI A, POTAMIANOS G, DAVIS J W, et al. Fusion of multiple camera views for kernel-based 3D tracking[C]. IEEE Workshop on Motion and Video Computing. Austin, TX, USA: IEEE Press, 2007:1-8.

[6] IKEMURA S, FUJIYOSHI H. Real-time human detection using relational depth similarity features[J]. Computer Vision-ACCV 2010, Springer Berlin Heidelberg, 2010,6495: 25-38.

[7] MA Y, WORRALL S, KONDOZ A M. Depth assisted visual tracking[C]. 10th Workshop on Image Analysis for Multimedia Interactive Services, 2009. WIAMIS'09. IEEE, 2009: 157-160.

[8] Jin Xin, Chen Xiaowu, Zhou Bin, et al. Cooperatively resolving occlusion between real and virtual in multiple video sequences[C]. 2011 Sixth Annual IEEE China Grid Conference (China Grid), 2011: 234-240.

[9] 耿英楠.立體匹配技術(shù)的研究[D].長(zhǎng)春：吉林大學(xué),2014.

[10] 許雯.立體視覺中局部立體匹配算法研究[D].西安:西安電子科技大學(xué)，2014.

[11] 蓋紹彥，達(dá)飛鵬.一種新的相位法三維輪廓測(cè)量系統(tǒng)模型及其標(biāo)定方法研究[J].自動(dòng)化學(xué)報(bào), 2007,33(9)：902-910.

[12] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. 22(11): 1330-1334.

[13] 蔡長(zhǎng)青,賀玲鳳.基于四步相移的相位差提取方法[J]. 華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,39(9):93-96.

[14] 陳松林,趙吉賓,夏仁波.多頻外差原理相位解包裹方法的改進(jìn)[J].光學(xué)學(xué)報(bào),2016,36(4):1-11.

The occluded area point cloud acquisition technology research based on single binocular fusion

Zhang Liping，Liu Guihua，Ke Yang

( School of Information Engineering, Southwest University of Science and Technology, Mianyang 621000, China)

In the binocular three-dimensional reconstruction based on phase profilometry, conventional binocular measurement system can not obtain point cloud data beyond public view of binocular camera, causing the scan result appears measurement cavity or decreases，and thus can not conduct three-dimensional reconstruction by stereo vision. In order to solve these problems, this paper presents a method reconstructing monocular point cloud based on binocular point cloud. Without adding other operation process, the system could obtain binocular point cloud and high accuracy left and right monocular point cloud simultaneously. In the measurement of the aircraft model, the data missing near the wing can be avoided by this method, so the measurement results are improved efficiently.

three-dimensional reconstruction; occlusion ;phase ;point cloud

TP391

A

10.19358/j.issn.1674- 7720.2017.04.021

張利萍，劉桂華，可楊.基于單雙目融合的遮擋區(qū)域點(diǎn)云獲取技術(shù)研究[J].微型機(jī)與應(yīng)用，2017,36(4)：70-73.

2016-08-27)

張利萍(1990-)，女，碩士研究生，主要研究方向：圖像處理。

劉桂華(1972-)，女，博士，教授，主要研究方向：機(jī)器視覺、圖像處理。

可楊(1989-)，女，碩士研究生，主要研究方向：圖像處理。