蔡桂航 陳強(qiáng) 吳林鋒

摘 ?要：通過(guò)對(duì)雙目視覺(jué)原理及亞像素插值技術(shù)的深入分析，研究如何在雙目視覺(jué)圖像的基礎(chǔ)上實(shí)現(xiàn)場(chǎng)景的高精度3D重建。實(shí)驗(yàn)以Intel RealSense D435相機(jī)作為采集工具，完成攝像機(jī)標(biāo)定和圖像預(yù)處理，相機(jī)拍攝的圖像為本次研究提供了較為清晰的數(shù)據(jù)展現(xiàn)，利用OpenCV和SIFT算法完成立體匹配，獲取點(diǎn)云圖。從實(shí)驗(yàn)結(jié)果來(lái)看，該技術(shù)能夠較好地實(shí)現(xiàn)雙目視覺(jué)條件下的3D重建。

關(guān)鍵詞：三維重建;點(diǎn)云圖;OpenCV;SIFT算法

中圖分類(lèi)號(hào)：TP391.4 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）21-0094-04

Abstract： Through the in-depth analysis of binocular vision principle and sub-pixel interpolation technology， this paper studies how to realize high-precision 3D reconstruction of scene based on binocular vision image. The experiment takes Intel RealSense D435 camera as the acquisition tool， completes camera calibration and image preprocessing， the images taken by the camera provide a clearer data display for this study， uses OpenCV and SIFT algorithm to complete stereo matching and obtain point cloud map. The experimental results show this technology can better realize 3D reconstruction under the condition of binocular vision.?

Keywords： 3D reconstruction; point cloud map; OpenCV; SIFT algorithm

0 ?引 ?言

20世紀(jì)70年代，神經(jīng)系統(tǒng)學(xué)家Marr將神經(jīng)心理學(xué)與人工智能的知識(shí)相結(jié)合，提出了具有跨時(shí)代意義的“計(jì)算機(jī)視覺(jué)理論”，自此計(jì)算機(jī)視覺(jué)發(fā)展成一門(mén)獨(dú)立學(xué)科。其中，基于雙目視覺(jué)的三維重建技術(shù)是計(jì)算機(jī)視覺(jué)的一個(gè)重要內(nèi)容。三維重建的主要任務(wù)是針對(duì)從攝像機(jī)獲取的二維圖像，利用像差獲取圖像的深度信息，從而恢復(fù)三維物體的表面形狀。此領(lǐng)域的研究者們提出了各種立體特征匹配的算法和重建算法。目前，計(jì)算機(jī)視覺(jué)已經(jīng)廣泛應(yīng)用于工業(yè)生產(chǎn)和人們的日常生活之中，其中包括自動(dòng)駕駛、機(jī)器人、物體自動(dòng)識(shí)別、三維測(cè)量等多個(gè)領(lǐng)域。

1 ?技術(shù)原理

1.1 ?相機(jī)標(biāo)定

相機(jī)標(biāo)定是指建立相機(jī)圖像像素位置與場(chǎng)景點(diǎn)位置之間的關(guān)系，由于攝像機(jī)的坐標(biāo)與世界坐標(biāo)和圖像坐標(biāo)不一致，并且攝像機(jī)本身會(huì)造成圖像失真，因此有必要校準(zhǔn)攝像機(jī)系統(tǒng)。在攝像機(jī)標(biāo)定過(guò)程中創(chuàng)建攝像機(jī)顯示的幾何模型，以確定空間位置參數(shù)與相應(yīng)點(diǎn)坐標(biāo)之間的關(guān)系。該幾何模型的相關(guān)參數(shù)包括內(nèi)部參數(shù)和外部參數(shù)，與所使用的相機(jī)有關(guān)，一般簡(jiǎn)稱(chēng)為相機(jī)參數(shù)。攝像機(jī)標(biāo)定可以測(cè)量出相機(jī)參數(shù)。根據(jù)攝像機(jī)圖像處理關(guān)系，可以獲得成像坐標(biāo)系與世界坐標(biāo)系之間的關(guān)聯(lián)公式為：

攝像機(jī)校準(zhǔn)后，應(yīng)使用校準(zhǔn)表獲取每個(gè)校準(zhǔn)圖像的角度（或亞像素角度）信息，繪制發(fā)現(xiàn)的內(nèi)部角度，確定校準(zhǔn)圖像映射之間的連接，并獲取攝像機(jī)的內(nèi)部和外部參數(shù)。在后續(xù)的圖像預(yù)處理中，可以利用相機(jī)的內(nèi)參和外參系數(shù)對(duì)相機(jī)拍攝的圖像進(jìn)行矯正，以減小圖像立體匹配和視差計(jì)算之間的誤差。在后續(xù)的三維重建中，只有在得知兩臺(tái)相機(jī)相對(duì)位置關(guān)系的情況下，才能夠進(jìn)行距離的計(jì)算。

1.2 ?圖像畸變

從理論上來(lái)說(shuō)，雙目相機(jī)在拍攝完圖像后，在成像時(shí)，一條直線的投影應(yīng)該也是一條直線。然而，在實(shí)際的透鏡成像過(guò)程中，透鏡會(huì)由于制造精度及組裝工藝的偏差而發(fā)生畸變，導(dǎo)致拍攝圖像的失真。就好比光從空氣射入水中，由于水質(zhì)的不同而使光的路徑產(chǎn)生偏折。距離圖像中心越遠(yuǎn)的部分，圖像畸變程度越大。通常，畸變分為徑向畸變和切向畸變，如圖1所示。

其中，dl為徑向失真;dr為切向失真。

在只考慮因透鏡工藝產(chǎn)生的圖像畸變時(shí)，基于畸變模型，像素與畸變像素在坐標(biāo)軸上的位置關(guān)系由以下公式表示：

圖像發(fā)生徑向畸變時(shí)會(huì)存在一個(gè)中心點(diǎn)，沿著該中心點(diǎn)徑向產(chǎn)生的圖像像素會(huì)引起位置的變化，在成像時(shí)圖像會(huì)發(fā)生一定程度的變化。徑向畸變是透鏡方面的因素造成的，圖像成像時(shí)所發(fā)生的畸變大多為徑向畸變，其對(duì)圖像成像后的結(jié)果往往會(huì)造成較大的影響。徑向畸變不僅會(huì)影響圖像的視覺(jué)效果，也不利于后續(xù)工作中對(duì)圖像的進(jìn)一步處理。圖像徑向畸變一般分為兩種，枕型畸變和桶型畸變，圖像發(fā)生徑向畸變時(shí)的畸變模型由以下公式表示：

圖像切向畸變?cè)跀z像機(jī)鏡頭與其所拍攝圖像的平面不完全平行時(shí)就會(huì)發(fā)生。切向畸變包括離心畸變和薄透鏡畸變等。其中，薄透鏡畸變是由透鏡傾斜引發(fā)的，一般發(fā)生在透鏡組內(nèi)。其畸變模型可以表示為：

可以推導(dǎo)出理想坐標(biāo)與實(shí)際坐標(biāo)的關(guān)系為：

至此，相機(jī)標(biāo)定的第二個(gè)目的就是獲得相機(jī)的畸變參數(shù)（如上式中的k1、k2、k3、p1、p2等），進(jìn)而對(duì)拍攝的圖片進(jìn)行畸變處理，降低乃至消除畸變對(duì)圖像所產(chǎn)生的影響，以方便后續(xù)的立體匹配工作。

1.3 ? 雙目視覺(jué)基本原理

雙目視覺(jué)的靈感來(lái)源于人類(lèi)的雙眼，人類(lèi)的視覺(jué)不僅可以分辨出外形、顏色等特征，還可以分辨出深度特征，原因是人有雙目，通過(guò)雙目看到不同圖像之間的差別，分辨出該物體位于人的前面還是后面，也就是物體的深度信息。與人眼一樣，雙目視覺(jué)技術(shù)可以實(shí)現(xiàn)目標(biāo)物的三維重建，使用兩個(gè)攝像機(jī)同時(shí)拍攝一個(gè)物體，通過(guò)三角測(cè)量原理，計(jì)算出圖像像素之間的位置偏差，從兩個(gè)攝像機(jī)的圖像中重現(xiàn)三維世界坐標(biāo)中的深度信息。舉例來(lái)說(shuō)，智能汽車(chē)可以通過(guò)對(duì)兩幅圖像視差的計(jì)算，直接對(duì)前方的景物（攝像機(jī)所能拍攝到的范圍內(nèi)）進(jìn)行距離測(cè)量，對(duì)于該汽車(chē)而言，無(wú)須判斷前方出現(xiàn)的是什么類(lèi)型的障礙物。因此無(wú)論任何類(lèi)型的障礙物，智能汽車(chē)都能根據(jù)距離信息的變化，進(jìn)行必要的預(yù)警或制動(dòng)，輔助駕駛員駕駛。雙目立體視覺(jué)原理如圖2所示，其中，Ol、Or分別為左、右攝像機(jī)的光心;P為物體上的一個(gè)目標(biāo)點(diǎn);Pl、Pr為目標(biāo)點(diǎn)在左右攝像機(jī)圖像平面內(nèi)的像點(diǎn)。三維重建的本質(zhì)是利用視場(chǎng)的幾何關(guān)系計(jì)算視覺(jué)平面的三維坐標(biāo)。

根據(jù)攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系的幾何關(guān)系可以得到：

其中，X和Y為圖像空間坐標(biāo)系中的坐標(biāo);Z為圖像深度的坐標(biāo);?為相機(jī)焦距，d為左右相機(jī)圖像的像差（視差）;B為左右攝像頭之間的光學(xué)中心。

從上面的公式可以看出，若要計(jì)算深度坐標(biāo)P，必須在左右攝像機(jī)上獲得像差。

1.4 ?SIFT立體匹配算法

立體匹配是將雙目相機(jī)中左右兩張圖像上的特征點(diǎn)進(jìn)行匹配，尋找邊緣、點(diǎn)、線等特征之間的相似度，當(dāng)相似度滿(mǎn)足所設(shè)置的閾值時(shí)，即認(rèn)為是特征點(diǎn)。哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)系教授David Lowe于1999年提出了尺度不變特征轉(zhuǎn)換算法，簡(jiǎn)稱(chēng)為SIFT算法;David Lowe于2004年完善了該算法。隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷成熟，時(shí)至今日，SIFT算法已廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域的諸多方面，如圖像追蹤、圖像識(shí)別等關(guān)于圖像處理的方向，都可以運(yùn)用SIFT算法進(jìn)行特征點(diǎn)篩選。SIFT（Scale-invariant feature transform）是一種應(yīng)用于計(jì)算機(jī)視覺(jué)的算法，用來(lái)偵測(cè)并描述影像中的局部特征。在OpenCV中有數(shù)十種立體匹配算法，其中比較常用的有SIFT、SGBM、SURF等，本次采用的是SIFT立體匹配算法，相較于其他立體匹配算法，SIFT算法具有良好的特征點(diǎn)穩(wěn)定性和方向不變性，能夠適應(yīng)尺度的旋轉(zhuǎn)、縮放和亮度的變化，一定程度上不受角度變化、仿射變換以及噪聲干擾的影響。

一般來(lái)說(shuō)，在對(duì)圖像?（x，y）進(jìn)行特征檢測(cè)時(shí)，根據(jù)尺度各異的高斯差分核，用高斯差分算子檢測(cè)特征點(diǎn)：

其中，D（x，y，k，σ）是尺度空間函數(shù)。

檢測(cè)處的特征點(diǎn)并非全都可以描述場(chǎng)景，需要根據(jù)高斯差分算子特性去除偽特征點(diǎn)，通過(guò)Hessian矩陣得到主曲率：

設(shè)α1和α2為H矩陣的特征值，當(dāng)N滿(mǎn)足所設(shè)定的閾值時(shí)，就可能是所找的特征點(diǎn)：

接著，對(duì)特征點(diǎn)的方向重新分配，計(jì)算出方向φ與梯度L：

上面公式中，D為關(guān)鍵點(diǎn)所在的尺度空間值。

完成關(guān)鍵點(diǎn)的梯度和方向計(jì)算后，統(tǒng)計(jì)出其中各個(gè)像素的梯度和方向，檢測(cè)出含有位置、尺度和方向的關(guān)鍵點(diǎn)即是該圖像的SIFT特征點(diǎn)。

2 ?技術(shù)及算法實(shí)現(xiàn)

2.1 ?立體匹配算法及實(shí)現(xiàn)

立體匹配算法的關(guān)鍵是找到左右圖像對(duì)應(yīng)的匹配的特征點(diǎn)。這些特征點(diǎn)是一些非常突出的點(diǎn)，不會(huì)因?yàn)槭芄饩€、比例、旋轉(zhuǎn)和其他因素的影響而丟失，如角度、邊緣點(diǎn)、暗區(qū)亮點(diǎn)和亮區(qū)黑點(diǎn)。所有比例空間中搜索圖像位置，通過(guò)高斯微分函數(shù)，可以識(shí)別具有尺度和旋轉(zhuǎn)不變性的潛在特征點(diǎn)。特征點(diǎn)的選擇取決于它們的穩(wěn)定性。在圖像的特征點(diǎn)中，SIFT特征能滿(mǎn)足旋轉(zhuǎn)不變性和尺度不變性的要求，幾乎不受光照變化的影響。

特征點(diǎn)的匹配是通過(guò)比較特征點(diǎn)的特征向量實(shí)現(xiàn)的，當(dāng)兩個(gè)特征向量的誤差小于某個(gè)設(shè)定的值時(shí)，則可確定其為匹配的特征點(diǎn)。找到多個(gè)兩兩相匹配的特征點(diǎn)，就可以確定場(chǎng)景之間的對(duì)應(yīng)關(guān)系。其匹配算法的實(shí)現(xiàn)過(guò)程圖如圖3所示。

2.2 ?視差及點(diǎn)云圖計(jì)算

采集到左右圖像后，需要進(jìn)行攝像機(jī)校準(zhǔn)和預(yù)處理。由于獲取的原始圖像會(huì)受到各種條件的約束和干預(yù)，因此還需要對(duì)圖像進(jìn)行預(yù)處理。對(duì)于圖像的預(yù)處理，應(yīng)單獨(dú)檢測(cè)每個(gè)干擾圖像并將其分配給識(shí)別模塊，以消除圖像中的非必要信息，恢復(fù)有用的信息，改進(jìn)相關(guān)信息的檢測(cè)并盡可能簡(jiǎn)化數(shù)據(jù)。

用OpenCV中的SIFT算法或SGBM算法計(jì)算視差圖。由于SIFT算法在這方面的表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于SGBM算法，因此采用SIFT算法獲取視差圖，完成立體匹配，獲得相應(yīng)的視差圖。

接著，對(duì)點(diǎn)云進(jìn)行去噪、簡(jiǎn)化點(diǎn)云、配準(zhǔn)點(diǎn)云、填充點(diǎn)云洞等操作，有效地消除點(diǎn)云中的噪聲和外部點(diǎn)，通過(guò)保持幾何特性來(lái)簡(jiǎn)化點(diǎn)云數(shù)據(jù)，將從不同角度掃描的點(diǎn)云連接到同一坐標(biāo)系。視差計(jì)算和點(diǎn)云圖計(jì)算算法流程圖如圖4所示。

3 ?實(shí)驗(yàn)結(jié)果及分析

我們針對(duì)以上算法開(kāi)發(fā)了測(cè)試程序，雙目攝像頭采用Intel Realsence D435，編程環(huán)境為windows10+OpenCV 3.4.0，程序?qū)崿F(xiàn)了從圖像采集到三維重建的一個(gè)完整過(guò)程，圖5為本次實(shí)驗(yàn)中采集的原圖，圖6為原圖生成的深度圖，圖7為點(diǎn)云清理后的網(wǎng)格圖，圖8為重構(gòu)出來(lái)的最終結(jié)果圖。

4 ?結(jié) ?論

本文研究的基于OpenCV雙目視覺(jué)的三維重建算法，實(shí)現(xiàn)了從雙目圖像到點(diǎn)云圖的計(jì)算過(guò)程，可以較好地從雙目視覺(jué)圖像中獲取深度信息。本文詳細(xì)闡述了從圖像采集、相機(jī)標(biāo)定、圖像預(yù)處理、立體匹配、視差計(jì)算、深度圖計(jì)算到點(diǎn)云圖生成的三維重構(gòu)圖的全過(guò)程以及涉及的算法原理。從效果上看，較好地實(shí)現(xiàn)了物體的三維重建。

參考文獻(xiàn)：

[1] 譚健勝.基于雙目立體視覺(jué)的三維重建技術(shù)研究及實(shí)現(xiàn) [D].廣州：華南理工大學(xué)，2017.

[2] 李杰.基于雙目視覺(jué)的深度重建技術(shù)的研究和應(yīng)用 [D].長(zhǎng)春：吉林大學(xué)，2016.

[3] 李彪.基于雙目立體視覺(jué)三維重建技術(shù)研究 [D].西安：西安科技大學(xué)，2018

[4] 吉玲.雙目立體視覺(jué)中三維重建關(guān)鍵技術(shù)研究 [D].天津：天津理工大學(xué)，2015.

[5] WANG Q Y，WANG Z Y，SHANG Z D. Parameter calibration of a vision sensor with a geometric similarity constraint [J].Measurement Science and Technology，2020，31（3）：1-8.

[6] 曾文獻(xiàn)，郭兆坤.立體匹配算法研究綜述 [J].河北省科學(xué)院學(xué)報(bào)，2018，35（2）：43-48.

[7] YOO J C，HAN T H. Fast normalized cross-correlation [J].Circuits Systems and Signal Processing，2009，28（6）：819-843.

作者簡(jiǎn)介：蔡桂航（2000—），男，漢族，廣東佛山人，本科在讀，研究方向：計(jì)算機(jī)視覺(jué)。