亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        低成本微型結(jié)構(gòu)光動態(tài)三維重建系統(tǒng)研究

        2020-06-09 06:26:44趙子龍谷飛飛
        集成技術(shù) 2020年3期
        關(guān)鍵詞:系統(tǒng)

        蔣 斌 趙子龍, 宋 展 谷飛飛

        1(湖南大學(xué) 信息科學(xué)與工程學(xué)院 長沙 410082)

        2(中國科學(xué)院深圳先進技術(shù)研究院 深圳 518055)

        1 引 言

        隨著移動設(shè)備計算能力與計算機視覺技術(shù)的飛速發(fā)展,三維(Three-Dimensional,3D)重建技術(shù)已逐漸應(yīng)用于機器人技術(shù)、人機交互、面部識別、面部支付以及增強現(xiàn)實(AR)、虛擬現(xiàn)實(VR)等領(lǐng)域[1-3]。智能終端的 3D 視覺技術(shù)正朝著集成化、小型化和高精度等方向逐步發(fā)展。目前,3D 動態(tài)重建技術(shù)主要包括飛行時間[4-5]、雙目立體視覺[6-8]和結(jié)構(gòu)光(Structured Light,SL)技術(shù)[9-10]等。其中,飛行時間法具有集成度高和響應(yīng)時間快的優(yōu)點,但缺點是深度分辨率較低、存在大量噪聲,且存在混合像素和多路徑干擾問題。雙目立體視覺系統(tǒng)稱為被動視覺系統(tǒng),其通過由兩個相機構(gòu)成的三角測量結(jié)構(gòu)來恢復(fù) 3D 點云。該技術(shù)的難點在于特征提取和匹配,雖然近年來涌現(xiàn)了很多成熟的匹配算法,但算法匹配效率均較低,限制了雙目立體視覺測量系統(tǒng)的實時性;另外,大多數(shù)算法只能提取稀疏特征,因此只能進行稀疏重建。SL 技術(shù)是一種主動式測量技術(shù),通過在傳統(tǒng)被動視覺技術(shù)的基礎(chǔ)上增加光投射器,實現(xiàn)基于三角測量原理進行三維重建。與雙目立體視覺技術(shù)相比,SL 技術(shù)解決了雙目相機之間的特征匹配問題,并提高了弱紋理以及重復(fù)紋理等問題區(qū)域的重建精度。

        根據(jù)所使用的編碼方式的不同,SL 技術(shù)可以分為時間編碼和空間編碼兩種。其中,時間編碼 SL 技術(shù)通過投射多幅編碼圖像,可以實現(xiàn)高密度和高精度的 3D 重建,但不適用于動態(tài)重建[11-12];空間編碼 SL 只需要單張編碼圖像即可實現(xiàn) 3D 重建,是重要的動態(tài)測量手段之一??臻g編碼圖案一般可使用顏色、灰階、幾何圖形作為編碼元素[13-14],但重建的點云比較稀疏。因此,另一種基于光學(xué)投射散斑的空間編碼 SL 技術(shù)被提出[2]。散斑 SL 技術(shù)使用光學(xué)投影儀將單張散斑圖案投射到目標(biāo)物體表面,然后利用雙目相機實現(xiàn)特征匹配和三維重建。該方法在編碼圖案上的每個像素生成局部唯一特征,并且可以通過分析統(tǒng)計圖案來唯一定位每個相機像素的對應(yīng)位置,因此可實現(xiàn)高密度的動態(tài)三維重建。其中,隨機散斑圖案是最常使用的光學(xué)投射圖案之一。相關(guān)研究中,Du 等[15]對紅外散斑的設(shè)計和散斑的密度分布進行了深入研究;毛佳紅等[16]針對工業(yè)元件的非接觸體積測量問題,基于雙目視覺設(shè)計了線結(jié)構(gòu)光三維測量系統(tǒng),其點云精度達到毫米級;湯其劍等[17]介紹關(guān)于數(shù)字散斑的相關(guān)技術(shù)以及重建方法,使用投影儀作為散斑發(fā)射器,分析并實現(xiàn)了亞像素級的三維重建;李靖等[18]設(shè)計了一種使用零均值歸一化互相關(guān)算子(ZNCC)的快速深度信息恢復(fù)方法,并提出結(jié)合雙目視覺與編碼結(jié)構(gòu)光的三維重建方法,重建平面的平均誤差為 3.2 mm;Lim[19]針對雙目立體視覺在弱紋理以及無紋理區(qū)域失效的缺點,使用投影儀投射非重復(fù) De Bruijn 序列人為地創(chuàng)造紋理信息,搭建了一套工業(yè)相機的重建平臺。

        但是,上述涉及的視覺系統(tǒng)體積都比較大,且系統(tǒng)成本也比較高,故不適用于消費級別的移動智能終端。本文設(shè)計了一個具有短基線的低成本微型結(jié)構(gòu)光系統(tǒng)。首先,采用“激光+衍射光學(xué)元件(Diffraction Optical Element,DOE)”的微型投射系統(tǒng)投射散斑圖案,并利用低成本的雙目相機模塊采集圖像;其次,提出一種高精度的雙目立體標(biāo)定方法獲取雙目相機的內(nèi)部參數(shù)和外部參數(shù);再次,提出一種準(zhǔn)確的立體極線校正算法,實現(xiàn)了左右圖像的極線校正;最后,基于三角測量原理得到三維輪廓測量數(shù)據(jù)。

        2 理論基礎(chǔ)

        如上所述,大多數(shù)結(jié)構(gòu)光系統(tǒng)都依賴于昂貴且高功率的投影設(shè)備。為了降低系統(tǒng)成本,本文在所提出的結(jié)構(gòu)化光系統(tǒng)中使用了 DOE 發(fā)射器(圖 1(a))。一般采用散斑 SL 技術(shù)進行三維重建的步驟包括:左右相機的立體標(biāo)定、極線校正、立體匹配和三維重建。其中,影響三維重建精度的核心因素主要包括立體標(biāo)定、極線校正和立體匹配算法,而立體標(biāo)定精度和極線校正精度是實現(xiàn)圖像特征準(zhǔn)確匹配的前提。因此,本文著重研究高精度的雙目標(biāo)定算法和極線校正算法。本文系統(tǒng)算法流程如圖 1(b)所示。

        2.1 系統(tǒng)標(biāo)定

        圖 1 本文結(jié)構(gòu)光系統(tǒng)示意圖(a)和算法流程圖(b)Fig. 1 Schematic diagram (a) and algorithm flow (b) of the proposed structured light system

        基于散斑結(jié)構(gòu)光的高精度測量在很大程度上取決于雙目相機是否精確校準(zhǔn)。校準(zhǔn)過程通常涉及恢復(fù)內(nèi)部參數(shù)(即兩個相機的光心、焦距和鏡頭畸變)和外部參數(shù)(即兩個攝像機之間的剛性變換)。根據(jù)圖 2 雙目成像模型以及針孔成像模型,以左相機為例,左相機坐標(biāo)系(Camera Coordinate System of the Left Camera,CCSL)的原點 OL為光心、左相機焦距為 fL,得到世界坐標(biāo)點 與圖像坐標(biāo)點 的投影關(guān)系,如公式(1)所示。

        圖 2 雙目成像模型Fig. 2 Binocular imaging model

        2.2 非線性優(yōu)化

        優(yōu)化過程中,最復(fù)雜的工作之一是計算 Jacobian 矩陣,該矩陣涉及針對未知相機參數(shù)的一組偏導(dǎo)數(shù)的計算。在本文中,偏導(dǎo)數(shù)通過使用一系列變換鏈[23]來計算,如公式(6~9)所示。

        其中,公式(6)和(7)表示圖像點坐標(biāo)的歸一化過程,公式(8)表示鏡頭畸變校正過程,公式(9)表示恢復(fù) 3D 點。鏈?zhǔn)睫D(zhuǎn)換表達式的優(yōu)勢在于可以使用鏈?zhǔn)揭?guī)則獲得所有必需的偏導(dǎo)數(shù),具體如公式(10)所示。

        2.3 圖像校正

        為了加快立體圖像之間的特征匹配過程,本文提出一種基于兩次旋轉(zhuǎn)的極線校正方法。極線校正前后雙目相機的變換如圖 3 所示。在這種情況下,校正后右圖像中的所有候選匹配點與校正后左圖像保持在同一行。將左相機坐標(biāo)系(CCSL)作為參考坐標(biāo)系,校正之前右相機坐標(biāo)系(CCSR)相對于左相機坐標(biāo)系的變換為 。為了滿足匹配過程中所有極線平行的目的,校正后的左相機坐標(biāo)系和右相機坐標(biāo)系應(yīng)該在水平對齊。這也意味著校正后的左、右相機坐標(biāo)系之間只有平移關(guān)系,而不存在旋轉(zhuǎn)變換關(guān)系。

        首先,假設(shè)雙目相機光軸的夾角為 2θ。為了水平對齊左、右相機坐標(biāo)系,需要將左、右光軸

        圖 3 立體圖像的極線校正Fig. 3 Epipolar rectification of stereo images

        圖 4 極線校正的兩次旋轉(zhuǎn)Fig. 4 Two rectification of stereo rectification

        對于左相機坐標(biāo)系的平移關(guān)系 T 變化為式(13):

        在第一次旋轉(zhuǎn)之后,假設(shè)左、右相機光心 CLCR之間連線為 軸,雖然新光軸指向相同方向,但是不能滿足新光軸與 軸的垂直關(guān)系。因此,需要對雙目相機再進行一次角度為 β 的旋轉(zhuǎn)(圖 4(b)),且表示為 Rβ。假設(shè) =[1, 0, 0]T,第二次旋轉(zhuǎn)能夠滿足平移向量與 軸的對齊關(guān)系。新旋轉(zhuǎn)軸 的方向可以通過 和 表示,如公式(14)所示。

        其中, 為反余弦函數(shù)??梢杂?唯一表示第二次的旋轉(zhuǎn)軸,其中第二次的旋轉(zhuǎn)角度 β 也可以通過式(15)計算得到。

        通過本文提出的兩次旋轉(zhuǎn)法完成極線校正,可以得到新的旋轉(zhuǎn)矩陣和平移矩陣,如公式(16)所示:

        其中,rec 表示極線校正后的參數(shù)。通常選取雙目相機光心平均值作為校正后的光心位置[24],但實際上平均法并不準(zhǔn)確。這是因為經(jīng)過校正的圖像會受到扭曲和旋轉(zhuǎn)的影響,而相應(yīng)地,圖像中心點也會遭受扭曲和旋轉(zhuǎn)的影響,如圖 5 所示。因此,當(dāng)確定其他內(nèi)部參數(shù)和外部參數(shù)后,應(yīng)該通過已知參數(shù)求出圖像中心坐標(biāo)。首先,假設(shè)校正后的圖像中心坐標(biāo)為(0, 0)T,將原始圖像的 4 個頂點{p1, p2, p3, p4}投影在校正后的相機坐標(biāo)系中,得到:

        2.4 3D 重建

        根據(jù)第 2.1、2.2、2.3 節(jié),可以得到最優(yōu)的雙目相機內(nèi)部參數(shù)和外部參數(shù)。如圖 7 雙目針孔模

        圖 5 極線校正后成像中心的變化Fig. 5 Changes in imaging center after stereo rectification

        圖 6 極線校正例子Fig. 6 One example of image rectification in our system

        圖 7 三維重建的三角法則Fig. 7 Triangle rule for 3D reconstruction

        3 結(jié)構(gòu)光系統(tǒng)標(biāo)定

        3.1 試驗設(shè)備

        本文結(jié)構(gòu)光系統(tǒng)原型由一臺分辨率為 1 280×960 的雙目紅外模塊和一臺奧比中光 Astra Pro DOE 發(fā)射器組成,其中將發(fā)射器安裝在雙目紅外模塊中間,具體如圖 8 所示。每個相機的尺寸為 12 mm×12 mm,相應(yīng)基線為 50 mm。

        圖 8 實驗平臺搭建Fig. 8 Experimental setup

        3.2 標(biāo)定結(jié)果與分析

        在雙目標(biāo)定階段,將一張包含 16×11 個角點,每個方格大小為 15 mm×15 mm 的標(biāo)定板擺放至視場中的不同位置,共拍攝 25 張圖像用于本文結(jié)構(gòu)光系統(tǒng)的標(biāo)定,具體如圖 9 所示。由于相機只能采集紅外圖像,此時可見光標(biāo)定板圖像無法清晰顯示,因此實驗中使用紅外光源輔助打光,以使兩個相機可以清晰地采集到標(biāo)定板圖像。系統(tǒng)的初始參數(shù)根據(jù) Zhang[20]提出的方法進行標(biāo)定,隨后使用本文提出的優(yōu)化算法對雙目相機的焦距和光心參數(shù)以及相機之間的平移向量進行非線性優(yōu)化,優(yōu)化后的內(nèi)部參數(shù)以及畸變系數(shù)如表 1 所示。其中,左右相機的焦距分別為 fL和 fR、光心分別為 cL和 c、畸變參數(shù)分別為 kL和 kR。優(yōu)化后的外部參數(shù)如表 2 所示,其中 Tvec表示左右相機的平移向量,om 表示左右相機的旋轉(zhuǎn)向量。經(jīng)過兩次旋轉(zhuǎn)的極線校正后,雙目系統(tǒng)的內(nèi)部參數(shù)和外部參數(shù)如表 3 所示。

        圖 9 擺放方向不同的標(biāo)定版Fig. 9 Calibration images with different orientation

        表 1 結(jié)構(gòu)光系統(tǒng)的內(nèi)部參數(shù)和畸變校正系數(shù)Table 1 Intrinsic parameters and distortion coefficients of structured light system

        表 2 結(jié)構(gòu)光系統(tǒng)外部參數(shù)Table 2 Extrinsic parameters of structured light system

        表 3 極線校正后的結(jié)構(gòu)光系統(tǒng)參數(shù)Table 3 Rectified stereo parameters of structured light system

        圖 10 角點擬合平面誤差Fig. 10 Corner fitting plane error

        為驗證優(yōu)化算法的有效性,根據(jù)優(yōu)化前后系統(tǒng)的標(biāo)定參數(shù)對每幅棋盤格角點進行平面擬合。圖 10(a)為每幅棋盤格角點平面擬合誤差,圖 10(b)為平面擬合誤差下降百分比??梢钥吹剑趦?yōu)化后對標(biāo)定板的角點進行平面擬合,雖然有 5 張圖的擬合誤差上升,但優(yōu)化后的平面擬合誤差平均降低了 8.09%,說明標(biāo)定精度提高了。

        4 三維重建

        4.1 靜態(tài)物體的三維重建

        在本節(jié)中,選擇表面彎曲的靜態(tài)物體(如花瓶、圓錐和圓柱)進行重建實驗以測試本文結(jié)構(gòu)光重建系統(tǒng)。首先,原始捕獲的圖像放置如圖 11(a-c)所示,DOE 發(fā)射器投射的斑點圖案如圖 11(d-f)所示,得到相應(yīng)的深度圖如圖 11(g-i)所示。從圖 11 可以看出,本文系統(tǒng)在復(fù)雜的表面上運行良好。圖 12 為基于三角法則的重構(gòu)帶紋理的點云和 3D 模型的相應(yīng)結(jié)果??梢钥吹?,采用本文所提出的 SL 算法和系統(tǒng),可以準(zhǔn)確地重建出紋理豐富表面和紋理不豐富表面的三維輪廓數(shù)據(jù)。

        圖 11 三種曲面物體的深度估計Fig. 11 Depth estimation results of three curved objects by using the proposed system

        圖 12 三種曲面物體的試驗結(jié)果Fig. 12 Reconstruction result of three curved objects by using the proposed system

        4.2 動態(tài)物體三維重建

        除了靜態(tài)物體外,動態(tài)物體也是本文的測試對象。本文系統(tǒng)采用圖 13(a)中捕獲的揮動手臂進行動態(tài)物體三維重建。其中,設(shè)計的散斑投射在揮動手臂上如圖 13(b)所示,得到的深度估計、帶紋理的點云以及 3D 模型分別如圖 13(c-e)所示。本文結(jié)構(gòu)光系統(tǒng)面對動態(tài)物體的單幀重建速度為 0.1 s,可以滿足部分場景,如人臉解鎖等的實時重建需求。

        4.3 對比試驗

        為了測試本文結(jié)構(gòu)光系統(tǒng)的重建精度,分別使用本文提出的高精度標(biāo)定算法和極線校正算法得到的優(yōu)化標(biāo)定參數(shù),與傳統(tǒng)標(biāo)定方法[20]得到的標(biāo)定參數(shù)進行三維重建并作對比。如圖 14 所示,將標(biāo)準(zhǔn)球體、圓錐和圓柱作為重建的目標(biāo)對象,在 60 cm 距離下進行精度對比,結(jié)果如圖 15 所示。其中,球體直徑為 15 cm,加工精度可達±20 μm;圓錐的直徑為 15 cm,圓柱的直徑為 10 cm,加工精度可達±10 μm。

        從圖 15 和表 4 可以看出,本文提出的系統(tǒng)具有更好的精度。其中,本文系統(tǒng)對球體重建誤差為 1.05 mm,而傳統(tǒng)方法的誤差為 1.60 mm(比本文的高出 52.38%)。對于圓錐體,本文系統(tǒng)的測量誤差為 1.58 mm,而傳統(tǒng)方法的誤差為 1.82 mm(比本文的高出 15.19%)。對于標(biāo)準(zhǔn)圓柱體,傳統(tǒng)方法的重建誤差比本文系統(tǒng)的高出 63.98%。由此可見,本文結(jié)構(gòu)光系統(tǒng)在測量精度方面具有較明顯的優(yōu)勢。

        表 4 精度對比Table 4 Accuracy comparison

        圖 13 本文系統(tǒng)重建揮動手臂的實驗結(jié)果Fig. 13 Reconstruction result of a waving arm by using the proposed system

        圖 14 三種標(biāo)準(zhǔn)體的圖片F(xiàn)ig. 14 Picture of three standard objects

        圖 15 本文方法與傳統(tǒng)方法的精度對比Fig. 15 Accuracy comparison with traditional methods

        5 討論與分析

        本文提出一種微型結(jié)構(gòu)光三維重建系統(tǒng),相比于文獻[15-19]搭建的測量系統(tǒng),本文系統(tǒng)在極大地縮小硬件體積的基礎(chǔ)上,實現(xiàn)了更高的測量精度。具體地,本系統(tǒng)采用更加精確的 BPP 投影模型實現(xiàn)了雙目相機的高精度標(biāo)定,同時采用基于兩次旋轉(zhuǎn)的極線校正方法,有效提高了極線對準(zhǔn)的準(zhǔn)確度。本文提出的校正方法具有以下 3 點優(yōu)勢:首先,雙目相機每次旋轉(zhuǎn)相同角度,所以能夠最小化左右圖像的特征差異;其次,校正前后的圖像能夠保持相同的分辨率,這對要求相同圖像大小的密集匹配方法非常有利;最后,擴大可見區(qū)域確保了極線校正過程中圖像的損失最小。相較于采用傳統(tǒng)標(biāo)定方法[20]的雙目測量系統(tǒng),采用標(biāo)準(zhǔn)體進行精度測試的結(jié)果表明,本文提出的系統(tǒng)具有更好的精度。其中,對于標(biāo)準(zhǔn)球體,傳統(tǒng)方法的重建誤差為 1.60 mm,而本文系統(tǒng)僅為 1.05 mm,精度提高了 52.38%;對于標(biāo)準(zhǔn)圓錐體,傳統(tǒng)方法的重建誤差為 1.82 mm,而本文系統(tǒng)的誤差為 1.58 mm,精度提高了 15.19%;對于標(biāo)準(zhǔn)圓柱體,傳統(tǒng)方法的重建誤差為 2.64 mm,而本文系統(tǒng)僅為 1.61 mm,精度提高了 63.98%。由此可見,本文提出的微型結(jié)構(gòu)光系統(tǒng)在測量精度方面具有明顯的優(yōu)勢。

        然而,本文系統(tǒng)在掃描速度方面還有待提升,單幀重建速度目前約為 0.1 s,相比于其他實時掃描系統(tǒng),如 Intel RealSense 系列 3D 深度相機[2,25]、Microsoft Kinect 系列 3D 深度相機[4,26]等仍有一定的差距。這主要是由于本系統(tǒng)目前主要關(guān)注了系統(tǒng)標(biāo)定參數(shù)的高精度標(biāo)定,而采用的雙目特征匹配算法效率較低導(dǎo)致的。接下來的工作中將嘗試優(yōu)化匹配算法,實現(xiàn)掃描速度的提升。

        6 結(jié) 論

        本文搭建了一套基于偽隨機散斑編碼的結(jié)構(gòu)光系統(tǒng),通過將帶有偽隨機斑點的單張圖案投影到目標(biāo)對象的表面上,并通過雙目相機成像,利用特征匹配和三角原理恢復(fù)目標(biāo)的深度和輪廓信息。為提高系統(tǒng)的測量精度,提出一種高精度的雙目立體視覺標(biāo)定算法和極線校正方法。經(jīng)測試,所提出的結(jié)構(gòu)光系統(tǒng)在使用優(yōu)化的標(biāo)定和校正參數(shù)的條件下,對圓球、圓柱等標(biāo)準(zhǔn)體的測量精度相比傳統(tǒng)標(biāo)定方法顯著提升。其中,對球體的重建精度提高了 52.38%,對圓柱體的重建精度提高了 64.98%。本文系統(tǒng)在對不同紋理對象、靜態(tài)物體和動態(tài)目標(biāo)的重建中,均取得了較好的效果。在下一步工作中,將深入研究在短基線下的測量精度提高問題,以及大分辨率圖像下雙目特征匹配算法的效率提升問題。

        猜你喜歡
        系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無人機系統(tǒng)
        ZC系列無人機遙感系統(tǒng)
        北京測繪(2020年12期)2020-12-29 01:33:58
        基于PowerPC+FPGA顯示系統(tǒng)
        基于UG的發(fā)射箱自動化虛擬裝配系統(tǒng)開發(fā)
        半沸制皂系統(tǒng)(下)
        FAO系統(tǒng)特有功能分析及互聯(lián)互通探討
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        一德系統(tǒng) 德行天下
        PLC在多段調(diào)速系統(tǒng)中的應(yīng)用
        国产裸体美女永久免费无遮挡| 精品免费久久久久国产一区| 亚洲精品在线观看一区二区| 中文字幕高清不卡视频二区| 午夜精品久久久久久久99热| www插插插无码免费视频网站| 久久精品国产亚洲av大全相关| 黄页免费人成网址大全| 尤物yw午夜国产精品视频| 草草浮力地址线路①屁屁影院| 国产99久久无码精品| 人妻av不卡一区二区三区| 国产黄色av一区二区三区| 黄网站欧美内射| 欧美在线日韩| 日韩女同一区二区三区久久| 日韩av精品视频在线观看| 欧美人与物videos另类| 曰韩精品无码一区二区三区| 久久网站在线免费观看| 国产一区二区三区在线综合视频| 亚洲av成人中文无码专区| 国内精品人妻无码久久久影院94| 内射中出后入内射极品女神视频| 日韩人妻无码精品一专区二区三区 | 视频一区视频二区亚洲| 国产精品久久久久久久久电影网| 国产色秀视频在线播放| 国产视频最新| 极品少妇高潮在线观看| 朝鲜女人大白屁股ass孕交| 国产精品99久久久久久宅男| 欧美熟妇与小伙性欧美交| 日本中文字幕精品久久| 国产女人的高潮国语对白| 久久久久中文字幕无码少妇| 91亚洲精品久久久中文字幕| 久久久久人妻一区二区三区| 久热在线播放中文字幕| 美女扒开内裤露黑毛无遮挡| 国产一区高清在线观看|