李先祥 陳思琪 肖紅軍 黃道平

基于SGBM算法與BM算法的三維重建分析

李先祥1陳思琪1肖紅軍1黃道平2

（1.佛山科學(xué)技術(shù)學(xué)院 2.華南理工大學(xué)）

立體匹配是雙目立體視覺三維重建的重要部分，其算法的選用直接影響匹配的效率與重建結(jié)果的準(zhǔn)確性。對(duì)SGBM和BM兩種常見的立體匹配算法展開討論；采用Matlab及OpenCV搭建的實(shí)驗(yàn)平臺(tái)，對(duì)真實(shí)場景下的物體分別進(jìn)行基于SGBM算法與BM算法的三維重建。由仿真實(shí)驗(yàn)結(jié)果可知：BM算法的運(yùn)行效率高于SGBM算法；SGBM算法的三維重建結(jié)果比BM算法視差更連續(xù)、輪廓恢復(fù)更清晰。

SGBM算法；BM算法；雙目立體視覺；三維重建；立體匹配

0　引言

雙目立體視覺是機(jī)器視覺的重要分支，在航天航空、人臉識(shí)別、生物醫(yī)學(xué)等領(lǐng)域應(yīng)用廣泛[1]?；陔p目立體視覺的三維重建是利用雙目相機(jī)獲取具有二維信息的圖片對(duì)，再通過立體匹配算法計(jì)算得到三維結(jié)構(gòu)信息的過程。其主要工作包括5個(gè)方面：圖像采集、相機(jī)標(biāo)定、立體校正、立體匹配和三維重建。其中核心步驟為立體匹配——根據(jù)左右相機(jī)獲取的兩幅圖像，建立周圍環(huán)境中的物體在兩幅圖像間投影點(diǎn)的對(duì)應(yīng)關(guān)系，并由立體幾何原理計(jì)算出投影點(diǎn)的視差，從而得到最終的視差圖[2]。立體匹配根據(jù)匹配計(jì)算策略的不同可大致分為局部算法與全局算法2類。局部算法效率與匹配窗口大小和形狀選取有關(guān)，典型的局部算法有BM算法等；全局算法根據(jù)匹配代價(jià)計(jì)算和能量函數(shù)求取最優(yōu)解得到，典型的全局算法有動(dòng)態(tài)規(guī)劃與置信傳播等。這些匹配算法都存在各自的優(yōu)缺點(diǎn)，而算法的選擇會(huì)影響三維場景恢復(fù)的準(zhǔn)確性和真實(shí)性。如動(dòng)態(tài)規(guī)劃算法常由于極線與極線約束不夠，在重建過程中存在明顯的橫向條紋現(xiàn)象[1]。SGBM算法是動(dòng)態(tài)規(guī)劃算法的優(yōu)化，保留了運(yùn)算復(fù)雜度低的優(yōu)點(diǎn)，較好地應(yīng)用于三維重建[2]。本文利用SGBM與BM兩種典型的立體匹配算法進(jìn)行三維重建，并對(duì)比分析這2種算法的優(yōu)缺點(diǎn)與三維重建應(yīng)用的效果。

1　三維重建基礎(chǔ)理論

1.1　雙目立體視覺原理

相機(jī)模型獲取的物體在真實(shí)世界的三維信息需關(guān)聯(lián)到4個(gè)坐標(biāo)系以及對(duì)應(yīng)的相機(jī)模型。4個(gè)坐標(biāo)系分別是世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系。坐標(biāo)間轉(zhuǎn)換關(guān)系如圖1所示。利用坐標(biāo)間的轉(zhuǎn)換關(guān)系可由已知的二維信息得到物體的三維坐標(biāo)信息。

圖1　坐標(biāo)間的轉(zhuǎn)換關(guān)系

雙目立體視覺系統(tǒng)中相機(jī)的放置模式有會(huì)聚式和平行式2種。本文2部相機(jī)采用平行式工作模式。該模式下的相機(jī)光軸相互平行，且在同一水平高度上，成像平面平行共面，也被稱為標(biāo)準(zhǔn)式[1]。

平行式雙目立體視覺系統(tǒng)模型如圖2所示。2部相機(jī)的參數(shù)相同：是基線；L、R分別為左右相機(jī)的光學(xué)中心，可根據(jù)左相機(jī)的位置沿著軸平移距離來定義右相機(jī)位置，因此左右相機(jī)在相機(jī)坐標(biāo)系的投影中心分別為（0,0,0）和（,0,0）；和分別為點(diǎn)（真實(shí)三維空間的點(diǎn)）在2部相機(jī)成像平面上的成像點(diǎn)；L和R分別對(duì)應(yīng)投影點(diǎn)和的像素橫坐標(biāo)；R，與三點(diǎn)在同一條直線上，L，與三點(diǎn)在同一條直線上，的位置由射線R與射線L的交點(diǎn)唯一確定；為焦距；是點(diǎn)對(duì)應(yīng)的深度，2部相機(jī)的光軸相互平行并垂直于基線。

圖2　平行式雙目立體視覺系統(tǒng)模型

通過相似三角形LR和建立深度與視差之間的關(guān)系，如式(1)所示。

通過求解得到為

1.2 圖像獲取

利用圖2模型放置的雙目相機(jī)在同一場景同時(shí)獲取多幅圖像，其中每次左右相機(jī)分別獲取的2幅圖像稱為立體圖像對(duì)。

1.3 相機(jī)標(biāo)定

相機(jī)標(biāo)定就是從世界坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系的過程，即求取最終投影矩陣的過程[2]。在實(shí)際應(yīng)用中，由于相機(jī)結(jié)構(gòu)、相機(jī)制造工藝和外部環(huán)境等因素影響，鏡頭存在不同程度的畸變。雙目立體視覺系統(tǒng)標(biāo)定就是根據(jù)2部相機(jī)的內(nèi)部參數(shù)，獲取2部相機(jī)之間的相互位置數(shù)據(jù)，利用這些數(shù)據(jù)建立空間物體點(diǎn)與圖像平面之間關(guān)系并進(jìn)行相機(jī)畸變校正[3]。

利用圖像對(duì)中二維坐標(biāo)求得三維信息坐標(biāo)如式(3)所示。

本文使用Matlab標(biāo)定工具箱TOOLBOX_calib進(jìn)行相機(jī)標(biāo)定。先通過單目標(biāo)定，分別得到左右相機(jī)的內(nèi)參數(shù).mat文件；再進(jìn)行雙目標(biāo)定得到雙目相機(jī)標(biāo)定結(jié)果。其中內(nèi)外參數(shù)只隨2部相機(jī)的焦距和相對(duì)空間位置改變而變換。雙目相機(jī)與標(biāo)定板的相對(duì)位置如圖3所示。

2　SGBM算法與BM算法對(duì)比分析

立體匹配是雙目立體視覺三維重建的關(guān)鍵環(huán)節(jié)。通過空間場景中點(diǎn)在2個(gè)不同視角下投影點(diǎn)的對(duì)應(yīng)關(guān)系，找到左右圖像對(duì)中的匹配點(diǎn)，輸出視差圖。視差圖可直接反映場景中物體的遠(yuǎn)近，視差圖與相機(jī)標(biāo)定信息結(jié)合可完成三維重建恢復(fù)。在相同場景下，匹配算法決定了匹配結(jié)果的速度和視差圖的精確度。本文分別采用SGBM算法和BM算法進(jìn)行立體匹配計(jì)算，得到2種算法的深度輸出圖并進(jìn)行對(duì)比分析。

圖3　雙目相機(jī)與標(biāo)定板的相對(duì)關(guān)系

2.1　SGBM算法

SGBM算法是由Hirschmuller等人提出的半全局匹配方法，使用互信息的像素匹配，近似于全局二維平滑度約束。算法核心步驟有：匹配成本計(jì)算、成本合計(jì)、視差計(jì)算、多基線匹配和視差優(yōu)化。

1）匹配成本計(jì)算。根據(jù)圖像對(duì)中相匹配的同名像素點(diǎn)進(jìn)行匹配成本函數(shù)計(jì)算。

2）成本合計(jì)。設(shè)置一個(gè)能量函數(shù)()來表示像素方向和平滑度約束：

3）視差計(jì)算。根據(jù)相鄰像素點(diǎn)、進(jìn)行視差計(jì)算。通過為每個(gè)像素選擇具有最小成本的視差來獲取相對(duì)應(yīng)的視差圖像D。沿像素的對(duì)極線使用相同的成本計(jì)算確定對(duì)應(yīng)的視差圖像D。比較D，D檢測遮擋和錯(cuò)誤匹配，若不滿足式(5)，則視差無效。

4）多基線匹配。通過計(jì)算基礎(chǔ)圖像和匹配圖像之間所有對(duì)應(yīng)關(guān)系的組合像素匹配成本來完成多基線匹配。

5）視差優(yōu)化。可采用峰值濾波消除異常值、選擇強(qiáng)度一致的視差和保留不連續(xù)性的插值[3]3種方法實(shí)現(xiàn)視差優(yōu)化。

2.2　BM算法

常規(guī)匹配算法模式串移動(dòng)方向是從左到右，進(jìn)行比較時(shí)也是相同的移動(dòng)方向。BM算法在匹配時(shí)，比較方向與移動(dòng)方向相反——從右到左。

BM算法包含好后綴算法和壞字符算法2個(gè)跳轉(zhuǎn)規(guī)則。原串為待匹配的圖像灰度數(shù)據(jù)，模式串P為用于匹配的圖像灰度模板。當(dāng)模式串和原串中的字符不匹配時(shí)，原串T中的字符就稱為壞字符。好后綴是指模式串和原串的字符相匹配時(shí)所有的字符串。

好后綴算法：模式串P與原串T已匹配了一個(gè)好后綴；若P中還有相同好后綴，則把下一個(gè)好后綴移動(dòng)到當(dāng)前位置。該過程存在2種情況如圖4、圖5所示。

圖4　子串和好后綴完全匹配

圖5　不存在和好后綴完全匹配的子串

壞字符算法：當(dāng)出現(xiàn)一個(gè)壞字符時(shí)，BM算法向右移動(dòng)模式串P，讓模式串P中最靠左的字符與壞字符相對(duì)，然后繼續(xù)匹配。壞字符算法也有2種情況如圖6、圖7所示。

圖6　存在對(duì)應(yīng)的壞字符

圖7　不存在壞字符

2.3　算法對(duì)比分析

利用OpenCV以及Matlab相機(jī)標(biāo)定數(shù)據(jù)完成真實(shí)場景圖像對(duì)的立體匹配：對(duì)圖8所包含的場景進(jìn)行圖像預(yù)處理，得到立體校正后的圖9；然后分別對(duì)圖9進(jìn)行SGBM算法和BM算法的立體匹配計(jì)算，得到的輸出深度圖如圖10、圖11所示。

通過分析立體匹配算法得到圖像的視差圖，可以根據(jù)圖中像素點(diǎn)的灰度值來確定該點(diǎn)距離相機(jī)的位置。由式(2)可知，深度值與視差成反比，灰度值較大則表示距離相機(jī)較近，即深度值小；灰度值小則表示該點(diǎn)距離相機(jī)較遠(yuǎn)，即深度值大。

圖8　真實(shí)三維場景圖

圖9　立體校正后的場景圖

圖10　SGBM深度圖

圖11　BM深度圖

匹配結(jié)果表明：處理速度方面，根據(jù)表1可知，BM算法較SGBM算法快；在處理效果方面，通過對(duì)圖10和圖11結(jié)果分析，BM算法深度圖輪廓模糊，信息丟失，表面粗糙，變形嚴(yán)重，處理效果較差；SGBM算法處理得到的深度圖層次分明、輪廓清晰，深度信息相對(duì)完整。由于真實(shí)場景中光線影響較大，導(dǎo)致深度信息不夠精確，視差不連續(xù)等誤匹配問題，但總體恢復(fù)效果較好。

表1　SGBM與BM運(yùn)算時(shí)間

3　基于SGBM算法與BM算法的三維重建

3.1　實(shí)驗(yàn)平臺(tái)搭建

基于雙目立體視覺的三維重建平臺(tái)硬件主要包括：2部CCD彩色相機(jī)、圖像采集卡、計(jì)算機(jī)、標(biāo)定板和三腳架等。軟件主要包括：圖像獲取、相機(jī)標(biāo)定、圖像校正與立體匹配和三維重建4個(gè)模塊?；陔p目立體視覺的三維重建平臺(tái)工作流程圖如圖12所示。

圖12　基于雙目立體視覺的三維重建平臺(tái)工作流程圖

1）圖像獲取。選取放置標(biāo)定板或重建物體的合適位置與環(huán)境；調(diào)整雙目相機(jī)焦距與基線；運(yùn)行OpenCV相應(yīng)程序代碼進(jìn)行圖像對(duì)的獲取并將其保存在根目錄。

2）相機(jī)標(biāo)定。將獲取的圖像對(duì)信息導(dǎo)入至Matlab標(biāo)定工具箱TOOLBOX_calib，完成相機(jī)標(biāo)定工作。

3）圖像校正與立體匹配。將相機(jī)標(biāo)定數(shù)據(jù)輸入OpenCV中，對(duì)圖像對(duì)進(jìn)行立體校正后，運(yùn)行SGBM或BM算法得到深度視差圖。

4）在Matlab工作環(huán)境下，利用深度圖進(jìn)行三維點(diǎn)云計(jì)算和視差融合得到三維重建結(jié)果。

3.2　實(shí)驗(yàn)結(jié)果分析

圖10與圖11為物體的三維世界坐標(biāo)點(diǎn)集，若將這些三維坐標(biāo)點(diǎn)集圖直接用于三維重建中，復(fù)原的物體會(huì)出現(xiàn)較多的分割間斷區(qū)域，影響物體整體性[3]。

本文采用Matlab進(jìn)行三角測量，對(duì)深度圖進(jìn)行均勻取點(diǎn)計(jì)算得到三維點(diǎn)云圖，再進(jìn)行視差融合得到三維重建模型，如圖13、圖14所示。

圖13　基于SGBM算法的三維重建

圖14　基于BM算法的三維重建

圖13和圖14為真實(shí)場景下進(jìn)行三維重建的效果圖，圖中重建位置分別代表場景在世界坐標(biāo)系下軸、軸和軸方向的坐標(biāo)值。對(duì)比分析圖13和圖14可知，基于BM算法的三維重建復(fù)原圖由于立體匹配后的深度圖不夠平滑，深度跳躍較大，導(dǎo)致重建效果誤差較大，三維重建場景位置深度信息缺失，不夠逼真；基于SGBM算法的三維重建效果更加平滑，深度信息復(fù)原完整，有較為明顯的三維效果，然而由于弱紋理和光照等外界影響下導(dǎo)致視差不夠連續(xù)、三維重建準(zhǔn)確率降低。若想達(dá)到更加逼真準(zhǔn)確的重建效果，在三維重建方法選用、場景紋理、遮擋以及光強(qiáng)變化等方面應(yīng)進(jìn)行更加深入研究。

4　結(jié)論

本文利用基于Matlab和OpenCV的雙目立體視覺三維平臺(tái)，完成了從圖像采集、相機(jī)標(biāo)定、立體校正與立體匹配到三維重建的真實(shí)場景恢復(fù)。通過圖像數(shù)據(jù)信息可知，BM算法運(yùn)算效率較高但誤匹配度也較高，重建結(jié)果存在視差不連續(xù)、不逼真等問題，因此推斷其適用于匹配精度要求不高，但匹配處理速度較快的應(yīng)用領(lǐng)域；SGBM運(yùn)算效率和匹配精度較高，重建效果相比BM算法視差較平滑、信息完整、較逼真，其適用于處理精度要求較高，處理效率較快的應(yīng)用領(lǐng)域。因此可根據(jù)不同的應(yīng)用領(lǐng)域需求使用合適立體匹配算法，實(shí)現(xiàn)其在領(lǐng)域的高效應(yīng)用。

[1] 杜若霞.基于雙目立體視覺的三維重建[D].邯鄲:河北工程大學(xué),2018.

[2] 郭永彩,魏朋玉,高潮.采用多級(jí)動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)立體匹配[J].光學(xué)精密工程,2009,17(7):1745-1751.

[3] 俞力.雙目視覺中立體匹配算法研究[D].武漢:武漢理工大學(xué),2018.

[4] 陽蘭.雙目視覺三維重建中特征匹配算法研究[D].南寧:廣西大學(xué),2018.

[5] 張如如,葛廣英,申哲,等.基于雙目立體視覺的三維重建方法[J].揚(yáng)州大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,21(3):5-10.

[6] 張歡,安利,張強(qiáng),等.SGBM算法與BM算法分析研究[J].測繪與空間地理信息,2016,39(10):214-216.

[7] 宋春華,彭泫知.機(jī)器視覺研究與發(fā)展綜述[J].裝備制造技術(shù),2019(6):213-216.

[8] 王先節(jié),趙立宏.基于MATLAB和Opencv的雙目視覺系統(tǒng)研究[J].數(shù)字通信世界,2019(2):46-47.

[9] Klette R . Concise Computer Vision - An Introduction into Theory and Algorithms[M]. Springer Publishing Company, Incorporated, London, 2014.

[10] Cyganek B . An Introduction to 3D Computer Vision Techniques and Algorithms[M]. John Wiley & Sons, 2009.

3D Reconstruction Analysis Based on SGBM Algorithm and BM Algorithm

Li Xianxiang1Chen Siqi1Xiao Hongjun1Huang Daoping2

(1. Foshan University 2. South China University of Technology)

Stereo matching is an important part of binocular stereoscopic 3D reconstruction. The choice of algorithm will directly affect the matching efficiency and the accuracy of reconstruction results. Aiming at this problem, this paper discusses two common stereo matching algorithms, SGBM and BM. Under the experimental platform built by MTALAB and OpenCV, the three-dimensional reconstruction based on SGBM algorithm and BM algorithm is performed on the objects in real scene. It can be seen from the simulation results that the running efficiency of the BM algorithm is higher than that of the SGBM algorithm, but the SGBM algorithm is more continuous and clearer in contour recovery than the BM algorithm in the 3D reconstruction results.

SGBM Algorithm; BM Algorithm; Binocular Stereo Vision; 3D Reconstruction；Stereo Matching

李先祥，男，1965年生，碩士生導(dǎo)師，教授，主要研究方向：電力電子與運(yùn)動(dòng)控制。

陳思琪，女，1995年生，碩士研究生，主要研究方向：圖像處理與智能檢測。E-mail: 1216731296@qq.com