蔣 斌 趙子龍, 宋 展 谷飛飛

1(湖南大學(xué) 信息科學(xué)與工程學(xué)院 長沙 410082)

2(中國科學(xué)院深圳先進技術(shù)研究院 深圳 518055)

1 引 言

隨著移動設(shè)備計算能力與計算機視覺技術(shù)的飛速發(fā)展，三維(Three-Dimensional，3D)重建技術(shù)已逐漸應(yīng)用于機器人技術(shù)、人機交互、面部識別、面部支付以及增強現(xiàn)實(AR)、虛擬現(xiàn)實(VR)等領(lǐng)域[1-3]。智能終端的 3D 視覺技術(shù)正朝著集成化、小型化和高精度等方向逐步發(fā)展。目前，3D 動態(tài)重建技術(shù)主要包括飛行時間[4-5]、雙目立體視覺[6-8]和結(jié)構(gòu)光(Structured Light，SL)技術(shù)[9-10]等。其中，飛行時間法具有集成度高和響應(yīng)時間快的優(yōu)點，但缺點是深度分辨率較低、存在大量噪聲，且存在混合像素和多路徑干擾問題。雙目立體視覺系統(tǒng)稱為被動視覺系統(tǒng)，其通過由兩個相機構(gòu)成的三角測量結(jié)構(gòu)來恢復(fù) 3D 點云。該技術(shù)的難點在于特征提取和匹配，雖然近年來涌現(xiàn)了很多成熟的匹配算法，但算法匹配效率均較低，限制了雙目立體視覺測量系統(tǒng)的實時性；另外，大多數(shù)算法只能提取稀疏特征，因此只能進行稀疏重建。SL 技術(shù)是一種主動式測量技術(shù)，通過在傳統(tǒng)被動視覺技術(shù)的基礎(chǔ)上增加光投射器，實現(xiàn)基于三角測量原理進行三維重建。與雙目立體視覺技術(shù)相比，SL 技術(shù)解決了雙目相機之間的特征匹配問題，并提高了弱紋理以及重復(fù)紋理等問題區(qū)域的重建精度。

根據(jù)所使用的編碼方式的不同，SL 技術(shù)可以分為時間編碼和空間編碼兩種。其中，時間編碼 SL 技術(shù)通過投射多幅編碼圖像，可以實現(xiàn)高密度和高精度的 3D 重建，但不適用于動態(tài)重建[11-12]；空間編碼 SL 只需要單張編碼圖像即可實現(xiàn) 3D 重建，是重要的動態(tài)測量手段之一?？臻g編碼圖案一般可使用顏色、灰階、幾何圖形作為編碼元素[13-14]，但重建的點云比較稀疏。因此，另一種基于光學(xué)投射散斑的空間編碼 SL 技術(shù)被提出[2]。散斑 SL 技術(shù)使用光學(xué)投影儀將單張散斑圖案投射到目標(biāo)物體表面，然后利用雙目相機實現(xiàn)特征匹配和三維重建。該方法在編碼圖案上的每個像素生成局部唯一特征，并且可以通過分析統(tǒng)計圖案來唯一定位每個相機像素的對應(yīng)位置，因此可實現(xiàn)高密度的動態(tài)三維重建。其中，隨機散斑圖案是最常使用的光學(xué)投射圖案之一。相關(guān)研究中，Du 等[15]對紅外散斑的設(shè)計和散斑的密度分布進行了深入研究；毛佳紅等[16]針對工業(yè)元件的非接觸體積測量問題，基于雙目視覺設(shè)計了線結(jié)構(gòu)光三維測量系統(tǒng)，其點云精度達到毫米級；湯其劍等[17]介紹關(guān)于數(shù)字散斑的相關(guān)技術(shù)以及重建方法，使用投影儀作為散斑發(fā)射器，分析并實現(xiàn)了亞像素級的三維重建；李靖等[18]設(shè)計了一種使用零均值歸一化互相關(guān)算子(ZNCC)的快速深度信息恢復(fù)方法，并提出結(jié)合雙目視覺與編碼結(jié)構(gòu)光的三維重建方法，重建平面的平均誤差為 3.2 mm；Lim[19]針對雙目立體視覺在弱紋理以及無紋理區(qū)域失效的缺點，使用投影儀投射非重復(fù) De Bruijn 序列人為地創(chuàng)造紋理信息，搭建了一套工業(yè)相機的重建平臺。

但是，上述涉及的視覺系統(tǒng)體積都比較大，且系統(tǒng)成本也比較高，故不適用于消費級別的移動智能終端。本文設(shè)計了一個具有短基線的低成本微型結(jié)構(gòu)光系統(tǒng)。首先，采用“激光＋衍射光學(xué)元件(Diffraction Optical Element，DOE)”的微型投射系統(tǒng)投射散斑圖案，并利用低成本的雙目相機模塊采集圖像；其次，提出一種高精度的雙目立體標(biāo)定方法獲取雙目相機的內(nèi)部參數(shù)和外部參數(shù)；再次，提出一種準(zhǔn)確的立體極線校正算法，實現(xiàn)了左右圖像的極線校正；最后，基于三角測量原理得到三維輪廓測量數(shù)據(jù)。

2 理論基礎(chǔ)

如上所述，大多數(shù)結(jié)構(gòu)光系統(tǒng)都依賴于昂貴且高功率的投影設(shè)備。為了降低系統(tǒng)成本，本文在所提出的結(jié)構(gòu)化光系統(tǒng)中使用了 DOE 發(fā)射器(圖 1(a))。一般采用散斑 SL 技術(shù)進行三維重建的步驟包括:左右相機的立體標(biāo)定、極線校正、立體匹配和三維重建。其中，影響三維重建精度的核心因素主要包括立體標(biāo)定、極線校正和立體匹配算法，而立體標(biāo)定精度和極線校正精度是實現(xiàn)圖像特征準(zhǔn)確匹配的前提。因此，本文著重研究高精度的雙目標(biāo)定算法和極線校正算法。本文系統(tǒng)算法流程如圖 1(b)所示。

2.1 系統(tǒng)標(biāo)定

圖 1 本文結(jié)構(gòu)光系統(tǒng)示意圖(a)和算法流程圖(b)Fig. 1 Schematic diagram (a) and algorithm flow (b) of the proposed structured light system

基于散斑結(jié)構(gòu)光的高精度測量在很大程度上取決于雙目相機是否精確校準(zhǔn)。校準(zhǔn)過程通常涉及恢復(fù)內(nèi)部參數(shù)(即兩個相機的光心、焦距和鏡頭畸變)和外部參數(shù)(即兩個攝像機之間的剛性變換)。根據(jù)圖 2 雙目成像模型以及針孔成像模型，以左相機為例，左相機坐標(biāo)系(Camera Coordinate System of the Left Camera，CCSL)的原點 OL為光心、左相機焦距為 fL，得到世界坐標(biāo)點 與圖像坐標(biāo)點 的投影關(guān)系，如公式(1)所示。

圖 2 雙目成像模型Fig. 2 Binocular imaging model

2.2 非線性優(yōu)化

優(yōu)化過程中，最復(fù)雜的工作之一是計算 Jacobian 矩陣，該矩陣涉及針對未知相機參數(shù)的一組偏導(dǎo)數(shù)的計算。在本文中，偏導(dǎo)數(shù)通過使用一系列變換鏈[23]來計算，如公式(6～9)所示。

其中，公式(6)和(7)表示圖像點坐標(biāo)的歸一化過程，公式(8)表示鏡頭畸變校正過程，公式(9)表示恢復(fù) 3D 點。鏈?zhǔn)睫D(zhuǎn)換表達式的優(yōu)勢在于可以使用鏈?zhǔn)揭?guī)則獲得所有必需的偏導(dǎo)數(shù)，具體如公式(10)所示。

2.3 圖像校正

為了加快立體圖像之間的特征匹配過程，本文提出一種基于兩次旋轉(zhuǎn)的極線校正方法。極線校正前后雙目相機的變換如圖 3 所示。在這種情況下，校正后右圖像中的所有候選匹配點與校正后左圖像保持在同一行。將左相機坐標(biāo)系(CCSL)作為參考坐標(biāo)系，校正之前右相機坐標(biāo)系(CCSR)相對于左相機坐標(biāo)系的變換為 。為了滿足匹配過程中所有極線平行的目的，校正后的左相機坐標(biāo)系和右相機坐標(biāo)系應(yīng)該在水平對齊。這也意味著校正后的左、右相機坐標(biāo)系之間只有平移關(guān)系，而不存在旋轉(zhuǎn)變換關(guān)系。

首先，假設(shè)雙目相機光軸的夾角為 2θ。為了水平對齊左、右相機坐標(biāo)系，需要將左、右光軸

圖 3 立體圖像的極線校正Fig. 3 Epipolar rectification of stereo images

圖 4 極線校正的兩次旋轉(zhuǎn)Fig. 4 Two rectification of stereo rectification

對于左相機坐標(biāo)系的平移關(guān)系 T 變化為式(13):

在第一次旋轉(zhuǎn)之后，假設(shè)左、右相機光心 CLCR之間連線為 軸，雖然新光軸指向相同方向，但是不能滿足新光軸與 軸的垂直關(guān)系。因此，需要對雙目相機再進行一次角度為 β 的旋轉(zhuǎn)(圖 4(b))，且表示為 Rβ。假設(shè) ＝[1, 0, 0]T，第二次旋轉(zhuǎn)能夠滿足平移向量與 軸的對齊關(guān)系。新旋轉(zhuǎn)軸 的方向可以通過 和 表示，如公式(14)所示。

其中， 為反余弦函數(shù)?？梢杂?唯一表示第二次的旋轉(zhuǎn)軸，其中第二次的旋轉(zhuǎn)角度 β 也可以通過式(15)計算得到。

通過本文提出的兩次旋轉(zhuǎn)法完成極線校正，可以得到新的旋轉(zhuǎn)矩陣和平移矩陣，如公式(16)所示:

其中，rec 表示極線校正后的參數(shù)。通常選取雙目相機光心平均值作為校正后的光心位置[24]，但實際上平均法并不準(zhǔn)確。這是因為經(jīng)過校正的圖像會受到扭曲和旋轉(zhuǎn)的影響，而相應(yīng)地，圖像中心點也會遭受扭曲和旋轉(zhuǎn)的影響，如圖 5 所示。因此，當(dāng)確定其他內(nèi)部參數(shù)和外部參數(shù)后，應(yīng)該通過已知參數(shù)求出圖像中心坐標(biāo)。首先，假設(shè)校正后的圖像中心坐標(biāo)為(0, 0)T，將原始圖像的 4 個頂點{p1, p2, p3, p4}投影在校正后的相機坐標(biāo)系中，得到:

2.4 3D 重建

根據(jù)第 2.1、2.2、2.3 節(jié)，可以得到最優(yōu)的雙目相機內(nèi)部參數(shù)和外部參數(shù)。如圖 7 雙目針孔模

圖 5 極線校正后成像中心的變化Fig. 5 Changes in imaging center after stereo rectification

圖 6 極線校正例子Fig. 6 One example of image rectification in our system

圖 7 三維重建的三角法則Fig. 7 Triangle rule for 3D reconstruction

3 結(jié)構(gòu)光系統(tǒng)標(biāo)定

3.1 試驗設(shè)備

本文結(jié)構(gòu)光系統(tǒng)原型由一臺分辨率為 1 280×960 的雙目紅外模塊和一臺奧比中光 Astra Pro DOE 發(fā)射器組成，其中將發(fā)射器安裝在雙目紅外模塊中間，具體如圖 8 所示。每個相機的尺寸為 12 mm×12 mm，相應(yīng)基線為 50 mm。

圖 8 實驗平臺搭建Fig. 8 Experimental setup

3.2 標(biāo)定結(jié)果與分析

在雙目標(biāo)定階段，將一張包含 16×11 個角點，每個方格大小為 15 mm×15 mm 的標(biāo)定板擺放至視場中的不同位置，共拍攝 25 張圖像用于本文結(jié)構(gòu)光系統(tǒng)的標(biāo)定，具體如圖 9 所示。由于相機只能采集紅外圖像，此時可見光標(biāo)定板圖像無法清晰顯示，因此實驗中使用紅外光源輔助打光，以使兩個相機可以清晰地采集到標(biāo)定板圖像。系統(tǒng)的初始參數(shù)根據(jù) Zhang[20]提出的方法進行標(biāo)定，隨后使用本文提出的優(yōu)化算法對雙目相機的焦距和光心參數(shù)以及相機之間的平移向量進行非線性優(yōu)化，優(yōu)化后的內(nèi)部參數(shù)以及畸變系數(shù)如表 1 所示。其中，左右相機的焦距分別為 fL和 fR、光心分別為 cL和 c、畸變參數(shù)分別為 kL和 kR。優(yōu)化后的外部參數(shù)如表 2 所示，其中 Tvec表示左右相機的平移向量，om 表示左右相機的旋轉(zhuǎn)向量。經(jīng)過兩次旋轉(zhuǎn)的極線校正后，雙目系統(tǒng)的內(nèi)部參數(shù)和外部參數(shù)如表 3 所示。

圖 9 擺放方向不同的標(biāo)定版Fig. 9 Calibration images with different orientation

表 1 結(jié)構(gòu)光系統(tǒng)的內(nèi)部參數(shù)和畸變校正系數(shù)Table 1 Intrinsic parameters and distortion coefficients of structured light system

表 2 結(jié)構(gòu)光系統(tǒng)外部參數(shù)Table 2 Extrinsic parameters of structured light system

表 3 極線校正后的結(jié)構(gòu)光系統(tǒng)參數(shù)Table 3 Rectified stereo parameters of structured light system

圖 10 角點擬合平面誤差Fig. 10 Corner fitting plane error

為驗證優(yōu)化算法的有效性，根據(jù)優(yōu)化前后系統(tǒng)的標(biāo)定參數(shù)對每幅棋盤格角點進行平面擬合。圖 10(a)為每幅棋盤格角點平面擬合誤差，圖 10(b)為平面擬合誤差下降百分比?？梢钥吹剑趦?yōu)化后對標(biāo)定板的角點進行平面擬合，雖然有 5 張圖的擬合誤差上升，但優(yōu)化后的平面擬合誤差平均降低了 8.09%，說明標(biāo)定精度提高了。

4 三維重建

4.1 靜態(tài)物體的三維重建

在本節(jié)中，選擇表面彎曲的靜態(tài)物體(如花瓶、圓錐和圓柱)進行重建實驗以測試本文結(jié)構(gòu)光重建系統(tǒng)。首先，原始捕獲的圖像放置如圖 11(a-c)所示，DOE 發(fā)射器投射的斑點圖案如圖 11(d-f)所示，得到相應(yīng)的深度圖如圖 11(g-i)所示。從圖 11 可以看出，本文系統(tǒng)在復(fù)雜的表面上運行良好。圖 12 為基于三角法則的重構(gòu)帶紋理的點云和 3D 模型的相應(yīng)結(jié)果?？梢钥吹?，采用本文所提出的 SL 算法和系統(tǒng)，可以準(zhǔn)確地重建出紋理豐富表面和紋理不豐富表面的三維輪廓數(shù)據(jù)。

圖 11 三種曲面物體的深度估計Fig. 11 Depth estimation results of three curved objects by using the proposed system

圖 12 三種曲面物體的試驗結(jié)果Fig. 12 Reconstruction result of three curved objects by using the proposed system

4.2 動態(tài)物體三維重建

除了靜態(tài)物體外，動態(tài)物體也是本文的測試對象。本文系統(tǒng)采用圖 13(a)中捕獲的揮動手臂進行動態(tài)物體三維重建。其中，設(shè)計的散斑投射在揮動手臂上如圖 13(b)所示，得到的深度估計、帶紋理的點云以及 3D 模型分別如圖 13(c-e)所示。本文結(jié)構(gòu)光系統(tǒng)面對動態(tài)物體的單幀重建速度為 0.1 s，可以滿足部分場景，如人臉解鎖等的實時重建需求。

4.3 對比試驗

為了測試本文結(jié)構(gòu)光系統(tǒng)的重建精度，分別使用本文提出的高精度標(biāo)定算法和極線校正算法得到的優(yōu)化標(biāo)定參數(shù)，與傳統(tǒng)標(biāo)定方法[20]得到的標(biāo)定參數(shù)進行三維重建并作對比。如圖 14 所示，將標(biāo)準(zhǔn)球體、圓錐和圓柱作為重建的目標(biāo)對象，在 60 cm 距離下進行精度對比，結(jié)果如圖 15 所示。其中，球體直徑為 15 cm，加工精度可達±20 μm；圓錐的直徑為 15 cm，圓柱的直徑為 10 cm，加工精度可達±10 μm。

從圖 15 和表 4 可以看出，本文提出的系統(tǒng)具有更好的精度。其中，本文系統(tǒng)對球體重建誤差為 1.05 mm，而傳統(tǒng)方法的誤差為 1.60 mm(比本文的高出 52.38%)。對于圓錐體，本文系統(tǒng)的測量誤差為 1.58 mm，而傳統(tǒng)方法的誤差為 1.82 mm(比本文的高出 15.19%)。對于標(biāo)準(zhǔn)圓柱體，傳統(tǒng)方法的重建誤差比本文系統(tǒng)的高出 63.98%。由此可見，本文結(jié)構(gòu)光系統(tǒng)在測量精度方面具有較明顯的優(yōu)勢。

表 4 精度對比Table 4 Accuracy comparison

圖 13 本文系統(tǒng)重建揮動手臂的實驗結(jié)果Fig. 13 Reconstruction result of a waving arm by using the proposed system

圖 14 三種標(biāo)準(zhǔn)體的圖片F(xiàn)ig. 14 Picture of three standard objects

圖 15 本文方法與傳統(tǒng)方法的精度對比Fig. 15 Accuracy comparison with traditional methods

5 討論與分析

本文提出一種微型結(jié)構(gòu)光三維重建系統(tǒng)，相比于文獻[15-19]搭建的測量系統(tǒng)，本文系統(tǒng)在極大地縮小硬件體積的基礎(chǔ)上，實現(xiàn)了更高的測量精度。具體地，本系統(tǒng)采用更加精確的 BPP 投影模型實現(xiàn)了雙目相機的高精度標(biāo)定，同時采用基于兩次旋轉(zhuǎn)的極線校正方法，有效提高了極線對準(zhǔn)的準(zhǔn)確度。本文提出的校正方法具有以下 3 點優(yōu)勢:首先，雙目相機每次旋轉(zhuǎn)相同角度，所以能夠最小化左右圖像的特征差異；其次，校正前后的圖像能夠保持相同的分辨率，這對要求相同圖像大小的密集匹配方法非常有利；最后，擴大可見區(qū)域確保了極線校正過程中圖像的損失最小。相較于采用傳統(tǒng)標(biāo)定方法[20]的雙目測量系統(tǒng)，采用標(biāo)準(zhǔn)體進行精度測試的結(jié)果表明，本文提出的系統(tǒng)具有更好的精度。其中，對于標(biāo)準(zhǔn)球體，傳統(tǒng)方法的重建誤差為 1.60 mm，而本文系統(tǒng)僅為 1.05 mm，精度提高了 52.38%；對于標(biāo)準(zhǔn)圓錐體，傳統(tǒng)方法的重建誤差為 1.82 mm，而本文系統(tǒng)的誤差為 1.58 mm，精度提高了 15.19%；對于標(biāo)準(zhǔn)圓柱體，傳統(tǒng)方法的重建誤差為 2.64 mm，而本文系統(tǒng)僅為 1.61 mm，精度提高了 63.98%。由此可見，本文提出的微型結(jié)構(gòu)光系統(tǒng)在測量精度方面具有明顯的優(yōu)勢。

然而，本文系統(tǒng)在掃描速度方面還有待提升，單幀重建速度目前約為 0.1 s，相比于其他實時掃描系統(tǒng)，如 Intel RealSense 系列 3D 深度相機[2,25]、Microsoft Kinect 系列 3D 深度相機[4,26]等仍有一定的差距。這主要是由于本系統(tǒng)目前主要關(guān)注了系統(tǒng)標(biāo)定參數(shù)的高精度標(biāo)定，而采用的雙目特征匹配算法效率較低導(dǎo)致的。接下來的工作中將嘗試優(yōu)化匹配算法，實現(xiàn)掃描速度的提升。

6 結(jié) 論

本文搭建了一套基于偽隨機散斑編碼的結(jié)構(gòu)光系統(tǒng)，通過將帶有偽隨機斑點的單張圖案投影到目標(biāo)對象的表面上，并通過雙目相機成像，利用特征匹配和三角原理恢復(fù)目標(biāo)的深度和輪廓信息。為提高系統(tǒng)的測量精度，提出一種高精度的雙目立體視覺標(biāo)定算法和極線校正方法。經(jīng)測試，所提出的結(jié)構(gòu)光系統(tǒng)在使用優(yōu)化的標(biāo)定和校正參數(shù)的條件下，對圓球、圓柱等標(biāo)準(zhǔn)體的測量精度相比傳統(tǒng)標(biāo)定方法顯著提升。其中，對球體的重建精度提高了 52.38%，對圓柱體的重建精度提高了 64.98%。本文系統(tǒng)在對不同紋理對象、靜態(tài)物體和動態(tài)目標(biāo)的重建中，均取得了較好的效果。在下一步工作中，將深入研究在短基線下的測量精度提高問題，以及大分辨率圖像下雙目特征匹配算法的效率提升問題。