，

(南京理工大學(xué) 自動(dòng)化學(xué)院，南京 210094)

0 引言

眼睛在人類的所有感覺器官中最為重要，人們從外界接受的信息絕大部分都來自于我們的眼睛，我們常常通過雙眼感受這世界的種種美好[1]。計(jì)算機(jī)視覺就是模仿人類視覺系統(tǒng)，以各類成像系模仿眼睛，計(jì)算機(jī)模仿人的大腦進(jìn)行處理接受到圖像信息，其目的之一就是根據(jù)獲相機(jī)取到的圖像二維信息轉(zhuǎn)變?yōu)槟繕?biāo)物的三維坐標(biāo)[2]。因此，隨著科學(xué)技術(shù)的發(fā)展三維測量技術(shù)在工業(yè)產(chǎn)品模型設(shè)計(jì)、精密部件測量、醫(yī)學(xué)領(lǐng)域等方面有著重要的研究意義。

本文在基于格雷碼和多步相移法的基礎(chǔ)上結(jié)合雙目立體視覺進(jìn)行三維測量技術(shù)研究，第1節(jié)介紹了雙目立體視覺成像原理和立體校正方法，第2節(jié)介紹了格雷碼與多步相移法的編解碼原理，第3節(jié)通過實(shí)驗(yàn)論證了基于格雷碼和多步相移法的雙目立體視覺三維測量技術(shù)的可行性。紙盒三維測量實(shí)驗(yàn)在完成雙目校正的基礎(chǔ)上，向物體表面投射7幅格雷碼圖案和15幅相移編碼圖案，最后根據(jù)相機(jī)獲取的物體編碼圖像解碼得到物體的三維信息[3]。

1 雙目立體視覺

如圖1所示，根據(jù)是否要接觸待測物體，三維測量可以分為非接觸式和接觸式[4]。非接觸式測量中根據(jù)是否主動(dòng)向待測物體投射光源，非接觸式三維測量又可以分為被動(dòng)式和主動(dòng)式，其中主動(dòng)式三維測量通過向待測物體投射特殊的光源，形成相應(yīng)的圖像，最后由相機(jī)采集圖像經(jīng)過計(jì)算機(jī)處理，得到物體的三維信息[5]。

圖1 三維測量分類

雙目立體視覺屬于被動(dòng)式三維測量方法，由環(huán)境中的自然光，如太陽的直射光和天空光對待測物體進(jìn)行照明，而不需要向待測物體投射人造光源進(jìn)行照明[6]。雙目立體視覺通過模擬人的雙眼，將兩臺(tái)相機(jī)安裝在待測物體的兩個(gè)不同視角位置，使得兩個(gè)相機(jī)與待測物體構(gòu)成一個(gè)三角形，最后根據(jù)對待測物體拍攝得到的兩幅圖片和三角法原理獲取待測物體的三維信息[7]。雙目立體視覺雖然不需要向待測物體提供人造光源，成本低廉，但是對沒有較多特征的物體圖像匹配困難，精度低。

編碼結(jié)構(gòu)光法屬于主動(dòng)式三維測量方法，需要向待測物體投射特定的編碼圖案，然后由相機(jī)獲取一系列的編碼圖像解碼，進(jìn)而得到物體表面每條條紋的特定編號以及對應(yīng)光線投射角，再由結(jié)構(gòu)光基本公式獲得待測物體的三維坐標(biāo)[8]。

1.1 雙目相機(jī)校正

圖2 雙目視覺系統(tǒng)

首先根據(jù)張氏標(biāo)定法求得左右相機(jī)各自的旋轉(zhuǎn)矩陣和平移矩陣。點(diǎn)P和P1，P2點(diǎn)可表示為：

(1)

由式(1)可以得到兩個(gè)相機(jī)之間的相對關(guān)系：

P1=R2R1- 1P2+T2-R2R1- 1T1

(2)

由式(2)可以得到兩個(gè)相機(jī)之間的相對旋轉(zhuǎn)矩陣R和平移矩T陣為：

(3)

首先將左右相機(jī)成像平面各旋轉(zhuǎn)R的一半，使左右相機(jī)的成像平面重投影畸變最小，左右視圖共同面積最大[10]。

(4)

此時(shí)左右相機(jī)的成像平面平行，但是與基線不平行，對此我們需要構(gòu)造變換矩陣Rrect：

Rrect=[(e1)T(e2)T(e3)T]T

(5)

構(gòu)造e1使得左視圖極點(diǎn)為無窮遠(yuǎn)處，構(gòu)造e2與主光軸方向正交，與e1垂直，構(gòu)造e3與e2和e1正交：

(6)

(7)

1.2 雙目相機(jī)成像原理

在完成雙目校正后，極點(diǎn)e1，e2位于無窮遠(yuǎn)處，兩相機(jī)的光軸平行，同一物點(diǎn)的像點(diǎn)在左右相機(jī)中高度相同。極線約束使得對應(yīng)像點(diǎn)的尋找由面搜索變?yōu)榫€搜索，二維搜索變?yōu)橐痪S搜索，而經(jīng)過相機(jī)校正后對應(yīng)點(diǎn)搜索變?yōu)橥恍兴阉?，大大減少了計(jì)算量[4]。

圖2中，根據(jù)三角相似關(guān)系可以得到：

(8)

(9)

由此我們可以得到相機(jī)圖像中點(diǎn)P1與世界坐標(biāo)系中點(diǎn)P的關(guān)系為：

(10)

其中：點(diǎn)cx,cy為左相機(jī)主點(diǎn)坐標(biāo)。根據(jù)式(10)可以得到左相機(jī)圖像坐標(biāo)系中點(diǎn)在世界坐標(biāo)系中對應(yīng)點(diǎn)坐標(biāo)為(X/W,Y/W,Z/W)[11]。

2 結(jié)構(gòu)光

編碼結(jié)構(gòu)光法是一種主動(dòng)式三維測量方法，由投影儀向待測物體投射一系列編碼圖案，使得物體具有容易識別的特征點(diǎn)[12]。再由相機(jī)獲取圖像解碼獲得特征點(diǎn)的投射角度，最后根據(jù)三角法求得物體的三維坐標(biāo)[13]。編碼結(jié)構(gòu)光法與點(diǎn)結(jié)構(gòu)光和線結(jié)構(gòu)光結(jié)構(gòu)光相比，測量速度快，時(shí)間短，與傳統(tǒng)的雙目視覺相比具有更高的匹配精度，對于特征不多的圖像也能有著很好的測量效果。

2.1 格雷碼

在結(jié)構(gòu)光編碼中，二進(jìn)制編碼使用最為普遍，其原理也最為簡單[14]。投影圖像只需要用兩種顏色來區(qū)分不同的條紋，分別記為0、1，其中0對應(yīng)黑色，1對應(yīng)白色。通過向待測物體投射m幅二進(jìn)制編碼圖案，將待測物體表面劃為個(gè)區(qū)域。格雷碼由二值碼發(fā)展而來，它與普通二值碼相比更加可靠。如表1所示，十進(jìn)制的1變成2的時(shí)候，二進(jìn)制碼的每一位數(shù)值都要進(jìn)行跳變，而格雷碼只有一位進(jìn)行跳變。

表1 二進(jìn)制與格雷碼比較

格雷碼屬于可靠性編碼，當(dāng)狀態(tài)發(fā)生變化時(shí)只存在一位跳變，而不會(huì)出現(xiàn)多位跳變的情況，提高了解碼的正確率，可以更加方便檢測條紋編碼是否出錯(cuò)[15]。格雷碼編碼原理簡單，準(zhǔn)確度高，但是在三維測量需要投射大量圖案，而且隨著圖案的增加，黑白條紋邊界分辨率降低，降低測量的準(zhǔn)確度。因此，我們先向待測物體表面投射如圖3所示的7幅格雷碼圖案，將待測物體表面分為128個(gè)區(qū)域。格雷碼解碼后可以獲得0～127周期次數(shù)k，再向待測物體表面投射多步相移圖案來進(jìn)行三維測量。

圖3 格雷碼圖案

圖像閾值分割中無論是采用自適應(yīng)閾值還是固定閾值都存在不可避免的錯(cuò)誤，對此我們采用簡化的Daniel Scharsterin[16]方法，在向物體表面投射如圖3所示的格雷碼圖案后，再向物體表面投射如圖4所示的格雷碼取反圖案。(x,y)處投射格雷碼圖案時(shí)灰度值為I(x,y)，投射格雷碼取反圖案時(shí)灰度值為I′(x,y)，若I(x,y)-I′(x,y)>20則取值為1，反之為0。

圖4 格雷碼取反圖案

2.2 多步相移法

相移法是按順序向待測物體表面投射多幅正弦周期相移圖案，然后由相機(jī)獲取經(jīng)相移圖案調(diào)制的待測物體圖像，解碼得到待測物體表面每點(diǎn)的主相位值[17]。向物體表面投射如圖5所示相移圖案，點(diǎn)(x,y)處光照強(qiáng)度為：

In(x,y)=I′(x,y)+I″(x,y)[cosθ(x,y)+2nπ/N]

(11)

其中：In(x,y)為點(diǎn)(x,y)在第n幅相移圖中的灰度值，I′ (x,y)為條紋光的背景光強(qiáng)，I″(x,y)/I′(x,y)為條紋反差，θ(x,y)(θ∈(-π,π))為待求主相位值：

(12)

圖5 相移圖案

相移法的優(yōu)點(diǎn)在于每點(diǎn)的相位值不受鄰點(diǎn)光照強(qiáng)度的影響，分辨率高，同一周期內(nèi)每點(diǎn)相位值絕對唯一。缺點(diǎn)在于圖像中周期的確定存在二義性，因此我們需要先用格雷碼對物體表面進(jìn)行周期劃分，再用相移法對物體表面進(jìn)一步細(xì)分。格雷碼圖案的最小周期必須為相移圖案周期的N倍，以保證在主相位值發(fā)生突變時(shí)周期值k同步突變[18]。

將點(diǎn)(x,y)出由相移法得到的主相位值θ與格雷碼解碼周期k向疊加，求得點(diǎn)(x,y)的絕對唯一主相位值ψ(x,y)：

ψ(x,y)=2kπ+θ(x,y)

(13)

2.3 周期校正和匹配點(diǎn)搜索

在理想情況下主相位值θ和格雷碼解碼周期k同步發(fā)生突變，求得的每點(diǎn)主相位值ψ(x,y)單調(diào)遞增，即ψ(x,y+1)>ψ(x,y)。但是考慮到環(huán)境光照強(qiáng)度、相移圖案穩(wěn)定性等一系列因素，可能會(huì)導(dǎo)致格雷碼解碼周期k與主相位值θ之間存在著周期錯(cuò)位。若相鄰兩點(diǎn)之間發(fā)生周期錯(cuò)位，則ψ(x,y)-ψ(x,y+1)≈2π。因此我們選取閾值π來判斷是否發(fā)生周期錯(cuò)位，若ψ(x,y)-ψ(x,y+1)≥π，則令ψ(x,y+1)=ψ(x,y+1)+2π。

由圖2可知，在完成雙目校正后，點(diǎn)P在左相機(jī)中成像位置的橫坐標(biāo)x1必定大于在右相機(jī)中成像位置的橫坐標(biāo)x2。而且考慮到在周期校正后主相位值絕對遞增，因此點(diǎn)P在右相機(jī)中成像平面的對應(yīng)點(diǎn)可以在(0,x2)采用二分法進(jìn)行查找。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證基于格雷碼和多步相移法的雙目立體視覺三維測量方法的可行性，搭建三維測量系統(tǒng)結(jié)構(gòu)。實(shí)驗(yàn)器材包括：相機(jī)兩個(gè)(分辨率為1 920×1 080)，投影儀一臺(tái)(分辨率為1 280×800)，計(jì)算機(jī)一臺(tái)，一張打印棋盤格的A4紙一張和待測物體白色盒子一個(gè)。

首先對雙目相機(jī)進(jìn)行立體校正，使得左右相機(jī)嚴(yán)格遵循行對齊，校正效果如圖6所示。

圖6 棋盤圖像

完成雙目相機(jī)矯正后向白色盒子表面投射7幅格雷碼圖案和7幅格雷碼取反圖案，最后再投射15幅相移編碼圖案，如圖7所示。

圖7 格雷碼與相移法圖像

對獲取到的圖像進(jìn)行解碼，得到視差圖，結(jié)合雙目視覺成像原理，求出白色盒子的世界坐標(biāo)系中的三維信息，將點(diǎn)云導(dǎo)入到meshlab中結(jié)果如圖8所示。

圖8 白色盒子點(diǎn)云圖像

由圖8所示7步格雷碼和15步相移法很好的反映了白色盒子的三維形貌，為了進(jìn)一步確定三維測量的精度，以盒子高度為基礎(chǔ)值，求解最大測量誤差，并與4步相移法的測量結(jié)果作比較，如表二所示。

表2 三維測量比較

測量方法指標(biāo)項(xiàng) 7步格雷碼與15步相移法7步格雷碼與4步相移法點(diǎn)云數(shù)目/萬2118點(diǎn)云距離/mm021024最大誤差/mm054082編碼圖案/幅2918點(diǎn)云計(jì)算時(shí)間/ms67655413

理想情況下相移和測量不存在誤差，則根據(jù)4步相移法可以精確計(jì)算出物體每點(diǎn)的相位值。但是，在實(shí)際應(yīng)用中測量值受到相移誤差、傳感器誤差和周圍環(huán)境的影響，導(dǎo)致測量值不精確。采用15步相移法對測量值進(jìn)行優(yōu)化統(tǒng)計(jì)，雖然無法完全消除誤差，卻大大降低了誤差帶來的影響。由表二我們可以看出采用15步相移法與4步相移法相比，雖然需要投射更多的編碼圖片，解碼并計(jì)算三維點(diǎn)云的時(shí)間更長，但是在測量精度上有著極大的提高，能夠更好的體現(xiàn)三維物體的形貌。

4 結(jié)束語

三維測量技術(shù)在文物保護(hù)、自動(dòng)化生產(chǎn)、精密工業(yè)部件測量和逆向工程等方面有著重要的應(yīng)用，并且隨著成像設(shè)備、投影儀和其他光電元件的進(jìn)步，測量的精度也在不斷的提高。

本文基于格雷碼和多步相移法的雙目立體視覺三維測量技術(shù)研究，在完成雙目相機(jī)校正的基礎(chǔ)上向待測物體投射格雷碼圖案和多步相移圖案，對得到的編碼圖像進(jìn)行解碼很好的重構(gòu)物體的三維形貌。并與4步相移法進(jìn)行比較，證明投射多步相移圖案雖然會(huì)犧牲一些測量時(shí)間，但是能夠獲得更加細(xì)致物體三維信息，測量精度更高。

參考文獻(xiàn)：

[1]陸 樂. 平面設(shè)計(jì)中的視覺流程概述[J]. 科技創(chuàng)新導(dǎo)報(bào), 2008(33):67-67.

[2]戴 磊. 基于視覺反饋的移動(dòng)機(jī)器人控制[D]. 上海：上海交通大學(xué), 2011.

[3]苑惠娟, 于 佳, 尚愛軍. 基于顏色編碼的大型物體表面三維測量[J]. 紅外與激光工程, 2008(s1):166-169.

[4]喻士領(lǐng). 基于光柵條紋投影的三維測量系統(tǒng)標(biāo)定方法的研究[D]. 南京：南京理工大學(xué), 2015.

[5]許志梁. 基于結(jié)構(gòu)光和立體匹配的稠密深度獲取技術(shù)研究[D]. 上海：上海交通大學(xué), 2009.

[6]許志梁. 基于結(jié)構(gòu)光和立體匹配的稠密深度獲取技術(shù)研究[D]. 上海：上海交通大學(xué), 2009.

[7]沈國峰. 基于雙目立體視覺的牙頜模型測量技術(shù)研究[D]. 南京：南京航空航天大學(xué), 2013.

[8]方 勇. 顏色編碼三維測量的圖像處理方法研究[D]. 哈爾濱：哈爾濱理工大學(xué), 2009.

[9]劉 偉. 基于多視點(diǎn)的三維重建技術(shù)研究[D]. 太原：太原科技大學(xué), 2009.

[10]張穎江, 潘 堯, 吳 聰. 基于車載系統(tǒng)雙目CCD相機(jī)測距[J]. 信息安全與技術(shù), 2016, 7(1):57-62.

[11]錢 真, 彭秀艷, 賈書麗,等. 動(dòng)平臺(tái)下雙目視覺定位標(biāo)定算法研究[J]. 計(jì)算機(jī)仿真, 2012, 29(10):293-297.

[12]雷 震. 單相機(jī)單投影儀的編碼結(jié)構(gòu)光三維測量方法研究[D]. 武漢：華中科技大學(xué), 2015.

[13]劉 歡. 實(shí)時(shí)彩色三維建模技術(shù)研究[D]. 成都：電子科技大學(xué), 2015.

[14]劉永久. 基于結(jié)構(gòu)光投影的運(yùn)動(dòng)物體高速實(shí)時(shí)三維測量方法研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué), 2014.

[15]宋昌江. 基于雙目視覺的三維物體表面測量系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學(xué), 2012.

[16]Scharstein D, Szeliski R. High-accuracy stereo depth maps using structured light[A].Computer Vision and Pattern Recognition, 2003. Proceedings[C]. 2003 IEEE Computer Society Conference on. IEEE, 2003:I-195-I-202 vol.1.

[17]于曉洋, 單鸝娜, 曹沈楠,等. 結(jié)構(gòu)光時(shí)間編碼技術(shù)進(jìn)展[J]. 哈爾濱理工大學(xué)學(xué)報(bào), 2010, 15(1):98-102.

[18]宋昌江. 基于雙目視覺的三維物體表面測量系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 哈爾濱:哈爾濱工業(yè)大學(xué), 2012.