，

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000)

0 引言

隨著我國(guó)智能制造2025計(jì)劃的制定和實(shí)施，以機(jī)器人為平臺(tái)的噴涂、焊接、打磨等自動(dòng)加工方法逐漸得到應(yīng)用和普及。這種新型制造方式通常需要獲取工件的3D幾何形狀信息，以實(shí)現(xiàn)路徑自動(dòng)規(guī)劃和作業(yè)。傳統(tǒng)三坐標(biāo)測(cè)量?jī)x和位移傳感器等3D測(cè)量方法存在速度慢和自動(dòng)化程度低等缺點(diǎn)，無(wú)法滿足中小企業(yè)小批量、柔性、快速切換制造需求。

光學(xué)測(cè)量技術(shù)作為一種非接觸式檢測(cè)方法，具有安全系數(shù)高、測(cè)量速度快等優(yōu)點(diǎn)，因而在工業(yè)制造領(lǐng)域得到廣泛應(yīng)用[1]。目前基于光電傳感器與圖像處理技術(shù)的光學(xué)3D測(cè)量方法，主要分為兩類，一類是無(wú)附加外部激勵(lì)的被動(dòng)式測(cè)量方法，如雙(多)目視覺；另一類是添加特定光源或激勵(lì)信號(hào)的主動(dòng)式測(cè)量方法，如飛行時(shí)間測(cè)距法(Time of Flight，ToF)[2]、激光三角法[3]、結(jié)構(gòu)光法、相位法等。其中，雙目視覺方法(如ZED立體相機(jī))對(duì)環(huán)境光干擾等因素要求較低，具有硬件配置簡(jiǎn)單、標(biāo)定方便等優(yōu)點(diǎn)，但對(duì)無(wú)紋理或弱紋理特征的物體測(cè)量重建效果不佳。ToF掃描儀以Kinect2為代表，是基于光速和往返時(shí)間確定距離，有成像速度快、可避免陰影遮擋等優(yōu)點(diǎn)，但其測(cè)量精度相對(duì)較低。單目線結(jié)構(gòu)光的激光三角測(cè)距法根據(jù)激光照射物體表面成像時(shí)會(huì)出現(xiàn)在不同位置，基于三角測(cè)量而獲取物體的深度信息。它在測(cè)量時(shí)需要對(duì)相機(jī)投影儀的位姿進(jìn)行標(biāo)定，一旦相機(jī)和投影儀的相對(duì)位置改變則需要重復(fù)標(biāo)定，過(guò)程繁瑣[4-5]。

針對(duì)傳統(tǒng)方法的不足，本文結(jié)合被動(dòng)式雙目視覺和主動(dòng)式結(jié)構(gòu)光成像的優(yōu)點(diǎn)，選擇數(shù)字光處理(DLP)投影儀和雙目視覺相結(jié)合的新型成像方式，充分利用結(jié)構(gòu)光精度高和雙目視覺快速、簡(jiǎn)潔的特點(diǎn)，在結(jié)構(gòu)光投影編碼、立體匹配和視差圖像濾波方法等方面進(jìn)行改進(jìn)，形成一套操作簡(jiǎn)單便捷的高精度工件3D測(cè)量系統(tǒng)。

1 雙目結(jié)構(gòu)光系統(tǒng)測(cè)量原理

本文采用的雙目結(jié)構(gòu)光視覺系統(tǒng)框圖如圖1所示：投影儀位于中間用于投射光條紋，一般選擇基于TI公司DLP技術(shù)的LED機(jī)型；兩側(cè)相機(jī)配置普通高清鏡頭，符合小孔成像模型。相機(jī)標(biāo)定采用Matlab工具箱自帶的標(biāo)定工具[6]，標(biāo)定過(guò)程主要借助已知幾何尺寸棋盤格參考點(diǎn)識(shí)別來(lái)實(shí)現(xiàn)相機(jī)內(nèi)部和外部參數(shù)計(jì)算。相機(jī)內(nèi)參數(shù)主要實(shí)現(xiàn)圖像像素和物理空間坐標(biāo)間的變換，包含主點(diǎn)、焦距、畸變和縮放因子等。相機(jī)外參數(shù)共有6個(gè)參數(shù)，可以用3×3旋轉(zhuǎn)矩陣R和3×1平移向量T來(lái)表示。設(shè)左相機(jī)中心為原點(diǎn)，R和T表示右相機(jī)空間坐標(biāo)系統(tǒng)相對(duì)左相機(jī)的映射關(guān)系。

圖1 雙目結(jié)構(gòu)光測(cè)量系統(tǒng)框圖

在建立左右相機(jī)映射關(guān)系后，可以利用三角成像原理獲得物體表面的距離測(cè)量，即深度圖像。根據(jù)極坐標(biāo)幾何，圖1所示成像系統(tǒng)可以簡(jiǎn)化為圖2： 用OT和OR表示左右相機(jī)，P為被測(cè)點(diǎn)。P的深度Z可計(jì)算為：

(1)

式中，b為基線長(zhǎng)度，f為焦距，為左右相機(jī)圖像視差。因?yàn)榛€和焦距可以事先標(biāo)定獲得，視差圖像計(jì)算是雙目視覺成像中最重要的環(huán)節(jié)。

結(jié)構(gòu)光成像基本原理是通過(guò)人為編碼光斑條紋位置信息，建立左右相機(jī)圖像像素間對(duì)應(yīng)關(guān)系，克服無(wú)紋理或弱紋理?xiàng)l件下雙目相機(jī)成像的不足，從而有效提高三維重建算法速度和穩(wěn)定性。本文提出的格雷碼結(jié)構(gòu)光雙目視覺成像系統(tǒng)工作流程包括：

1)雙目視覺系統(tǒng)標(biāo)定。

獲取相機(jī)內(nèi)外參數(shù)； 以左相機(jī)為世界坐標(biāo)原點(diǎn)，建立世界坐標(biāo)與相機(jī)圖像間、左右相機(jī)間映射關(guān)系。

2)條紋編碼與解碼。

根據(jù)投影儀分辨率，確定結(jié)構(gòu)光條紋編碼數(shù)。然后，依次編碼條紋光斑并時(shí)序投影。兩相機(jī)同步采集圖像，進(jìn)行解碼以獲得像素對(duì)應(yīng)條紋位置信息。

3)立體匹配。

根據(jù)上述步驟獲得的相機(jī)內(nèi)外參數(shù)，完成左右相機(jī)圖像校正，結(jié)合條紋編碼識(shí)別結(jié)果，建立兩相機(jī)圖像像素間對(duì)應(yīng)關(guān)系；依據(jù)三角成像原理計(jì)算視差圖像。

4)視差圖像濾波和點(diǎn)云生成。

實(shí)際成像過(guò)程可能出現(xiàn)噪聲和遮擋等干擾，在點(diǎn)云圖像生成前對(duì)2D視差圖像濾波，可望有效消除成像誤差。濾波后對(duì)視差圖可以通過(guò)公式(1)計(jì)算出最終的深度圖。

圖2 雙目視覺成像

2 改進(jìn)格雷碼結(jié)構(gòu)光雙目視覺成像

2.1 格雷碼結(jié)構(gòu)光和投影

編碼技術(shù)是決定結(jié)構(gòu)光3D測(cè)量精度、分辨率和可靠性的關(guān)鍵因素。為識(shí)別圖像中的像素，結(jié)構(gòu)光條紋經(jīng)時(shí)間或空間編碼被投射到物體表面，確保每個(gè)像素或圖像塊獲得唯一到標(biāo)號(hào)[7]。

格雷碼作為最具代表性和被廣泛使用的兩種灰度編碼方法之一，以穩(wěn)定和高精度而著稱。它僅包含黑白(1或0)兩種像素值，一般需要log2(n)幅條紋圖才能實(shí)現(xiàn)n個(gè)不同位置編碼。本文采用典型的二進(jìn)制格雷碼(Binary Gray Code)。根據(jù)定義，在一組數(shù)的編碼中，若任意兩個(gè)相鄰的代碼只有一位二進(jìn)制數(shù)不同，則稱這種編碼為格雷碼，另外由于最大數(shù)與最小數(shù)之間也僅一位數(shù)不同，即“首尾相連”，因此又稱循環(huán)碼或反射碼。其特點(diǎn)包括：(1)格雷碼屬于可靠性編碼，是一種錯(cuò)誤最小化的編碼方式。它在相鄰位間轉(zhuǎn)換時(shí)，只有一位產(chǎn)生變化。因而大大地減少了由一個(gè)狀態(tài)到下一個(gè)狀態(tài)時(shí)邏輯的混淆。當(dāng)相鄰DLP投影條紋變化時(shí)，格雷碼僅改變一位，這樣與其它編碼同時(shí)改變兩位或多位的情況相比更為可靠，即可減少出錯(cuò)的可能性。(2)典型格雷碼是一種具有反射特性和循環(huán)特性的單步自補(bǔ)碼，它的循環(huán)、單步特性消除了隨機(jī)取數(shù)時(shí)出現(xiàn)重大誤差的可能，它的反射、自補(bǔ)特性使得求反非常方便。這樣既有利于消除投影過(guò)程突變誤差，也方便后續(xù)求反算法。(3)格雷碼的十進(jìn)制數(shù)奇偶性與其碼字中1的個(gè)數(shù)的奇偶性相同，這樣有助于解碼前的校錯(cuò)和糾錯(cuò)。

這里以分辨率為854×480的投影儀為例。理論上圖像中的480個(gè)點(diǎn)可以用480個(gè)格雷碼來(lái)標(biāo)記。但是，成像噪聲和被測(cè)物體表面反射特性點(diǎn)的差異可能造成單像素寬度條紋邊界提取錯(cuò)誤，影響后續(xù)解碼運(yùn)算和對(duì)應(yīng)關(guān)系查找。綜合考慮，最終選擇7位格雷碼方案。7位格雷碼可以生成128個(gè)編碼，投影儀的480列像素可以分成128個(gè)條紋，每4個(gè)像素共享同樣的編碼。類似地，投影儀854行分成間隔7個(gè)像素的128個(gè)條紋。圖3(a)分別給出列和行方向的格雷碼編碼示例，(b)為左相機(jī)采集的工件條紋反射圖。 通過(guò)時(shí)序疊加上述條紋圖片，所采集的圖像最終可以分解為多個(gè)4×4大小的區(qū)塊，每個(gè)區(qū)塊有唯一的行列總編號(hào)。

雖然格雷碼本身是一種可靠性編碼，具有一定的防錯(cuò)、糾錯(cuò)能力，但仍然可能因?yàn)閳?chǎng)景交互作用導(dǎo)致采集圖像噪聲和解碼錯(cuò)誤。本文采用一種對(duì)原格雷碼取反，再投影對(duì)照方式。該方法可望消除投影儀內(nèi)“霧化”效果，減少黑白分界處的反射率誤差。最終的投影過(guò)程是：先進(jìn)行列條紋正碼投影，然后進(jìn)行反碼投影，接著投射正碼行條紋，最終是反碼行條紋。依靠正反條紋的交替投射精確定位區(qū)塊邊界，實(shí)現(xiàn)像素點(diǎn)準(zhǔn)確標(biāo)識(shí)和解碼。

2.2 立體匹配

兩個(gè)相機(jī)采集的重疊區(qū)域內(nèi)，需要找到實(shí)際坐標(biāo)在兩幅圖案中的對(duì)應(yīng)點(diǎn)坐標(biāo)。通過(guò)計(jì)算這些對(duì)應(yīng)點(diǎn)在左右兩幅圖片中的坐標(biāo)的差值計(jì)算這些對(duì)應(yīng)點(diǎn)的視差，最終描述物體的三維特征。立體匹配算法主要是通過(guò)建立一個(gè)能量代價(jià)函數(shù)，通過(guò)此能量代價(jià)函數(shù)最小化來(lái)估計(jì)像素點(diǎn)視差值，其實(shí)質(zhì)就是一個(gè)最優(yōu)化求解問題，通過(guò)建立合理的能量函數(shù)，增加一些約束，采用最優(yōu)化理論的方法進(jìn)行方程求解，這也是所有的病態(tài)問題求解方法。構(gòu)建一個(gè)完整的立體匹配算法的4個(gè)步驟：1)廣義匹配基元與特征參數(shù)選擇；2)匹配方法及策略；3)匹配代價(jià)優(yōu)化標(biāo)準(zhǔn)；4)視差細(xì)化方式。

本文采用基于區(qū)域的立體匹配算法，是對(duì)匹配圖中區(qū)域的每一個(gè)特征基元，進(jìn)行視差搜索范圍內(nèi)的特征基元計(jì)算相似性，并從中選擇最優(yōu)的匹配基元。在前文中，已經(jīng)通過(guò)結(jié)構(gòu)光編碼使圖像中每個(gè)搜索區(qū)域具有唯一標(biāo)志。為實(shí)現(xiàn)快速且準(zhǔn)確的像素誤差平方和(SSD)匹配，這里提出一種高效的區(qū)域塊搜索策略。它分為粗匹配和精匹配兩個(gè)步驟：

1)粗匹配。

依據(jù)極線約束，將二維圖像的特征搜索降為一維線性搜索。因?yàn)?，最小條紋單位以像素塊為單位，所以，在極線矯正和結(jié)構(gòu)光對(duì)像素塊編碼標(biāo)識(shí)的基礎(chǔ)上，采用一維的區(qū)域搜索方式，獲得待匹配點(diǎn)區(qū)域，如圖4所示。以左相機(jī)采集的圖片為參考圖，在對(duì)應(yīng)的右相機(jī)圖像中進(jìn)行搜索配對(duì)。為保證算法的通用性，將圖片的分辨率設(shè)定為H×W，x,y方向上的搜索步長(zhǎng)分別為dx,dy，以像素為單位。在格雷碼方案確定時(shí)，最小像素塊大小為4×7個(gè)像素。通過(guò)對(duì)矯正后的圖相對(duì)進(jìn)行粗匹配的流程圖如圖3所示。過(guò)程如下：

(1)首先構(gòu)造一個(gè)小窗口，用此窗口將左邊的圖像覆蓋，選出覆蓋區(qū)域內(nèi)的像素；

(2)同樣用窗口將右邊的圖像覆蓋，選出覆蓋區(qū)域的像素；

圖3 投影序列和左攝像機(jī)的編碼工件圖像

(3)比較左右覆蓋區(qū)域的格雷碼解碼值；

(4)以搜索步長(zhǎng)分別從y向和x向移動(dòng)右邊圖像的窗口，重復(fù)第3步，直至解碼值相等或超出搜索范圍時(shí)跳出；

(5)找到右圖像對(duì)應(yīng)的窗口，即找到了左邊圖像的最佳匹配的像素塊。依次進(jìn)行迭代，找到左邊所有的像素塊相對(duì)應(yīng)的右邊像素塊。

2)精匹配。

在粗匹配成功的基礎(chǔ)上，左右圖像對(duì)像素塊的位置已經(jīng)確定好，此時(shí)需要對(duì)每個(gè)像素塊里的像素進(jìn)行一一匹配。針對(duì)滑動(dòng)窗口的方式，以像素為匹配基元，在匹配點(diǎn)的一維方向上以SSD值為相似性原則進(jìn)行計(jì)算搜索，得到最匹配的點(diǎn)。通過(guò)上述步驟，來(lái)進(jìn)一步精準(zhǔn)匹配的精確度。

2.3 視差圖像后處理

由于物體表面復(fù)雜的紋理，會(huì)導(dǎo)致在有效的測(cè)量范圍內(nèi)，出現(xiàn)對(duì)局部區(qū)域無(wú)法測(cè)量的現(xiàn)象，這種區(qū)域又稱為測(cè)量死區(qū)。在搭建硬件平臺(tái)時(shí)考慮到測(cè)量的有效區(qū)域，所以本文出現(xiàn)的測(cè)量死角為投影儀可以投影但兩個(gè)相機(jī)不能采集到的區(qū)域。

對(duì)于此現(xiàn)象，左相機(jī)采集的圖像中匹配失敗的點(diǎn)，將應(yīng)用插值的方法來(lái)進(jìn)行視差填充處理。

對(duì)于這種測(cè)量死區(qū)最精確的方法是旋轉(zhuǎn)待測(cè)物件，通過(guò)在不同的角采集來(lái)消除遮擋效果。對(duì)比幾種插值方法，Lanczos插值具有速度快，效果好，性價(jià)比最高的優(yōu)點(diǎn)，為了考慮視差圖像的完整性，進(jìn)行圖像的Lanczos插值[14]。

每個(gè)輸入樣本對(duì)插值的影響由插值重構(gòu)核L(x)定義，稱為L(zhǎng)anczos核。核函數(shù)由歸一化的正弦函數(shù)sin(x)與sin(x/a)相乘所得，公式(2)所示。 其中參數(shù)a是正整數(shù)，通常為2或3，決定了Lanczos核的大小。

(2)

為補(bǔ)充視差圖中空白部分如點(diǎn)(xs,ys)處的像素值，首先在x方向上進(jìn)行插值產(chǎn)生4個(gè)中間值，I0,I1,I2,I3:

(3)

其中：S(xsi,ysk)為(xsi,ysk)點(diǎn)的像素值。然后利用公式(4)沿y軸內(nèi)插中間值Ik來(lái)計(jì)算該點(diǎn)的像素值D(xs,ys)。

(4)

其中：ai=L(xs-xsi),bk=L(ys-ysi),L(x)為L(zhǎng)anczos核函數(shù)，這里使用的核函數(shù)尺寸參數(shù)a為2。

3 實(shí)驗(yàn)結(jié)果與分析

圖4為三維測(cè)量平臺(tái)實(shí)物圖，測(cè)量裝置由兩個(gè)工業(yè)相機(jī)和一個(gè)投影儀組成：兩個(gè)相機(jī)分辨率為3856×2764，以0.3-0.8 m的距離觀察物體，配套鏡頭焦距為12 mm，基線長(zhǎng)度約為120 mm，其中，一臺(tái)DLP數(shù)字投影儀置于兩相機(jī)之間，分辨率為854×480，最大光強(qiáng)為200流明。以壓力容器為例，采用本文系統(tǒng)和方法進(jìn)行三維測(cè)量與重建。

圖4 三維測(cè)量系統(tǒng)實(shí)例

使用本文改進(jìn)格雷碼結(jié)構(gòu)光雙目視覺成像方法進(jìn)行測(cè)量：先標(biāo)定出系統(tǒng)的參數(shù)，再對(duì)工件進(jìn)行了極線校準(zhǔn)，格雷碼結(jié)構(gòu)光編碼解碼，塊匹配，處理后獲得了噴涂工件形狀數(shù)據(jù)。待測(cè)工件因表面非連續(xù)且為金屬，對(duì)投影的圖案會(huì)產(chǎn)生相應(yīng)的反光區(qū)域，部分區(qū)域可見性不強(qiáng)。采用的是面結(jié)構(gòu)光，所以投影計(jì)算只針對(duì)物體的投影區(qū)域，但通過(guò)旋轉(zhuǎn)工件可以分別得到不同角度的數(shù)據(jù)。現(xiàn)通過(guò)MeshLab軟件顯示出了其不同角度的渲染結(jié)果，如圖5(a)所示，可以看出，此方法能基本重建出該工件形狀。

為了驗(yàn)證此方法，對(duì)另一工件進(jìn)行了實(shí)驗(yàn)，結(jié)果如圖5(b)所示，工件形狀結(jié)果與原物體大體一致，可以實(shí)現(xiàn)測(cè)量重建功能。因工件表面對(duì)投影圖案接受較弱，相機(jī)并未采集到部分區(qū)域的信息，故三維數(shù)據(jù)有些丟失?？赏ㄟ^(guò)選取流明數(shù)更大的投影儀進(jìn)行投影成像并計(jì)算。

圖5 工件的三維數(shù)據(jù)測(cè)量結(jié)果

4 結(jié)束語(yǔ)

本文對(duì)格雷碼雙目三維測(cè)量方法進(jìn)行了研究，針對(duì)傳統(tǒng)格雷碼結(jié)構(gòu)光二值邊界處模糊問題，采用黑白取反二次投影方式，從而獲得清晰的格雷碼黑白碼邊界；接著，采用一種快速區(qū)域塊搜索策略對(duì)編碼后的圖像進(jìn)行立體匹配得到視差圖。最后，針對(duì)雙目測(cè)量死角問題，采用雙線性插值方法填充視差圖，得到補(bǔ)全后的深度信息。實(shí)驗(yàn)結(jié)果表明，采用上述改進(jìn)的格雷碼雙目三維測(cè)量方法能夠很好快速得出工件的三維數(shù)據(jù)，算法易于實(shí)現(xiàn)，可為工業(yè)噴涂、焊接、打磨等提供定位和幾何測(cè)量數(shù)據(jù)信息。