周思達(dá),談海浪,唐嘉寧,蔣聰成
(云南民族大學(xué) 電氣信息工程學(xué)院,昆明 650500)
在即時(shí)定位與即時(shí)建圖(SLAM)中,三維重建是地圖構(gòu)建的重要組成部分,即時(shí)地圖構(gòu)建是實(shí)現(xiàn)移動(dòng)機(jī)器人自主化的核心技術(shù)之一.目前,有關(guān)即時(shí)三維地圖構(gòu)建技術(shù)的應(yīng)用逐步由室內(nèi)小規(guī)模環(huán)境向室外大規(guī)模環(huán)境發(fā)展.相比之下,室外大規(guī)模環(huán)境由于所需傳感器作用距離遠(yuǎn),環(huán)境非結(jié)構(gòu)特征顯著,因此更加復(fù)雜,實(shí)時(shí)構(gòu)建的難度更大.為此,將立體視覺(jué)傳感器用于室外三維重建具有重要的研究意義,而通過(guò)雙目立體匹配得到精確視差圖成為了三維重建的主要研究?jī)?nèi)容.
近年來(lái),三維重建研究領(lǐng)域產(chǎn)生了不少新方法[1],如基于深度相機(jī)的三維重建方法[2],基于深度學(xué)習(xí)的三維重建方法[3]等.在視覺(jué)測(cè)量、工業(yè)生產(chǎn)、人工智能、大規(guī)模SLAM等各個(gè)領(lǐng)域有著廣泛的應(yīng)用.基于雙目視覺(jué)的三維重建大致可按照如圖1的工作步驟進(jìn)行.
一般來(lái)說(shuō),基于雙目視覺(jué)的三維重建的效果仍要受到立體匹配方法[4]所得到視差圖以及視覺(jué)傳感器的影響,而有關(guān)視覺(jué)傳感器的工業(yè)制造技術(shù)和相機(jī)標(biāo)定方法[5]相對(duì)成熟,因此獲取精確的視差圖是實(shí)現(xiàn)室外三維環(huán)境重建亟需解決的問(wèn)題.對(duì)于獲取視差圖的匹配方法,存在幾類經(jīng)典的匹配方法, 如半全局立體匹配(SGBM)算法、塊匹配(BM)算法以及絕對(duì)差之和(SAD)算法[6].利用立體匹配得到的視差圖或多或少都會(huì)受到光照等環(huán)境因素影響,出現(xiàn)失真、空洞等誤差.因此,進(jìn)一步優(yōu)化立體匹配得到的視差圖必不可少.視差圖優(yōu)化的方法可大致分為3類,基于深度卷積網(wǎng)絡(luò)的方法、基于最優(yōu)化理論的方法、基于濾波器的方法.如Song等[7]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的立體匹配視差優(yōu)化訓(xùn)練的方法,利用視差不連續(xù)信息來(lái)優(yōu)化視差圖,在一定程度上提高了視差的精度;Yang等[8]在基于深度學(xué)習(xí)的基礎(chǔ)上提出了傳統(tǒng)的圖像處理 技術(shù)與深度學(xué)習(xí)相結(jié)合的立體匹配方法.基于深度網(wǎng)絡(luò)的方法往往需進(jìn)行大量數(shù)據(jù)訓(xùn)練,且與視差匹配一體而不再已有視差圖的基礎(chǔ)上優(yōu)化.Wang等[9]提出一種基于區(qū)域協(xié)同優(yōu)化的匹配算法,該方法得到的視差圖精度較高;Reynosa[10]等通過(guò)利用進(jìn)化優(yōu)化算法估計(jì)視差圖,并將全局圖像特征作為描述符,可估計(jì)出精度較高的視差圖.基于最優(yōu)化理論的方法需不斷迭代優(yōu)化,計(jì)算代價(jià)較高.基于濾波器的方法計(jì)算代價(jià)較小,可直接應(yīng)用,但效果依賴于濾波器的設(shè)計(jì),如Xu等[11]提出一種基于改進(jìn)引導(dǎo)濾波器的視差優(yōu)化算法來(lái)平滑視差圖像,提高了視差圖在梯度區(qū)域的平滑性并有效的保留了圖像的邊緣信息,但該方法在視差精度上提高的并不明顯;汪神岳[12]等提出了一種雙線性插值修復(fù)視差失真點(diǎn),并結(jié)合了數(shù)學(xué)形態(tài)學(xué)[13]平滑方法完成進(jìn)一步的細(xì)化處理,該方法在修復(fù)視差變化較大區(qū)域的失真點(diǎn)部分,存在誤修復(fù)問(wèn)題;張一飛等[14]通過(guò)搜尋距離最近的非遮擋點(diǎn)中較小的值填充奇異點(diǎn),并采用中值濾波的方法平滑、檢測(cè)和恢復(fù)視差圖,該方法能恢復(fù)視差圖中誤匹配導(dǎo)致小黑洞區(qū)域,但無(wú)法解決空洞失真點(diǎn)所形成的較大黑洞區(qū)域且易因中值濾波過(guò)度平滑而導(dǎo)致視差值失真.
圖1 結(jié)構(gòu)圖Fig.1 Structure diagram
本文將在立體匹配的基礎(chǔ)上,對(duì)視差圖進(jìn)行優(yōu)化,提出一種基于自適應(yīng)窗的視差優(yōu)化方法.通過(guò)對(duì)匹配方法得到的左右視差圖進(jìn)行左右一致性檢測(cè),篩選出左視差圖的失真點(diǎn),以失真點(diǎn)周圍像素點(diǎn)為代價(jià),比較并優(yōu)化該點(diǎn);對(duì)于誤匹配造成的黑洞區(qū)域,分別從水平和垂直方向找到最近非零視差值的像素點(diǎn),從而根據(jù)該失真點(diǎn)坐標(biāo)以及找到的像素點(diǎn)坐標(biāo)形成自適應(yīng)的矩陣窗口并以其均值填充黑洞區(qū)域,完成對(duì)視差圖的優(yōu)化.由實(shí)驗(yàn)結(jié)果表明:本文提出的視差圖優(yōu)化方法,優(yōu)化后得到的視差圖相比優(yōu)化前呈現(xiàn)效果有所提升且降低了誤匹配率,以此重建出八叉樹(shù)數(shù)據(jù)結(jié)構(gòu)的三維地圖準(zhǔn)確度更高,效果更好.
本文是基于SGBM的立體匹配方法,采用校準(zhǔn)后的圖像對(duì)匹配得到原始左右視差圖,通過(guò)左右一致性檢測(cè)左視差圖失真點(diǎn),完成對(duì)視差圖的優(yōu)化并得到深度信息,以實(shí)現(xiàn)三維地圖重建.
實(shí)際情況下,相機(jī)得到原始圖像往往都會(huì)出現(xiàn)畸變,獲取的雙目圖像對(duì)的共軛極線并不是在同一水平上,通過(guò)加入極線約束[15]條件,使得左右圖像的對(duì)極線在同一水平線上,再經(jīng)過(guò)一定的變換進(jìn)行校準(zhǔn)[16],糾正相機(jī)引入的誤差.因此,根據(jù)相機(jī)標(biāo)定后得到的相機(jī)內(nèi)參矩陣、畸變參數(shù)以及相機(jī)外參(旋轉(zhuǎn)矩陣和平移向量)對(duì)左右圖像進(jìn)行校準(zhǔn).具體步驟為:首先對(duì)原彩色圖像進(jìn)行灰度處理,得到單通道的灰色圖像,然后通過(guò)調(diào)用基于OpenCV[17]的stereoRectify(1)https://docs.opencv.org/master/d9/d0c/group__calib3d.html#ga617b1685d4059c6040827800e72ad2b6立體校準(zhǔn)函數(shù)得到校正后的旋轉(zhuǎn)矩陣和投影矩陣,接著調(diào)用initUndistortRectifyMap(2)https://docs.opencv.org/master/d9/d0c/group__calib3d.html#ga7dfb72c9cf9780a347fbe3d1c47e5d5a映射變換計(jì)算函數(shù)得到X、Y方向上映射變換矩陣,最后調(diào)用remap(3)https://docs.opencv.org/master/da/d54/group__imgproc__transform.html#gab75ef31ce5cdfb5c44b6da5f3b908ea4幾何變換函數(shù)得到校準(zhǔn)后的左右圖像.
本文采用基于SGBM的方法,以校準(zhǔn)后圖像對(duì)作為立體匹配原圖輸入,得到相對(duì)應(yīng)的視差圖,并獲取正確的環(huán)境深度信息.
1)立體匹配原理.立體匹配是根據(jù)左右圖像重疊區(qū)域所提取的特征點(diǎn)來(lái)建立圖像對(duì)之間的一種對(duì)應(yīng)關(guān)系,從而找到三維物理空間點(diǎn)位置,并根據(jù)左右圖像所對(duì)應(yīng)的二維成像點(diǎn),最終得到物理空間點(diǎn)對(duì)應(yīng)的二維視差圖.
2)基于SGBM的視差計(jì)算方法原理.半全局立體匹配方法SGBM[18]主要源于SGM(semi-global matching)算法,是由Hirschmuller[19]于2005年提出的一種立體匹配方法,SGM算法是計(jì)算像素匹配點(diǎn)的成本,合計(jì)來(lái)自8個(gè)或者16個(gè)方向的匹配代價(jià),根據(jù)相鄰點(diǎn)進(jìn)行計(jì)算視差,視差圖更真實(shí).方法核心步驟:匹配成本計(jì)算、成本合計(jì)、視差計(jì)算、優(yōu)化及校正.SGM算法核心思想是基于最優(yōu)化能量函數(shù)估計(jì)視差值,采用的能量函數(shù)如下:
(1)
式中,E(D)是半全局能量函數(shù),p為匹配目標(biāo)像素點(diǎn),q是點(diǎn)p的鄰域像素點(diǎn),C(p,Dp)是像素點(diǎn)p與匹配點(diǎn)視差Dp的匹配代價(jià)函數(shù),Dp為目標(biāo)像素點(diǎn)對(duì)應(yīng)的視差值,Dq是鄰域點(diǎn)對(duì)應(yīng)的視差值,P1是對(duì)相鄰像素點(diǎn)視差等于1的懲罰因子,P2是對(duì)相鄰像素點(diǎn)視差大于1的懲罰因子,P2大于P1.
根據(jù)式(1)的能量函數(shù)可知,在本質(zhì)上,SGBM算法屬于全局算法的一種擴(kuò)展,它結(jié)合了局部和全局算法的優(yōu)勢(shì),采用多條路徑下的一維代價(jià)聚合問(wèn)題來(lái)解決全局能量函數(shù)的最優(yōu)問(wèn)題,即將全局算法中的視差計(jì)算步驟簡(jiǎn)化并作為代價(jià)聚合步驟,算法既保證了精度又降低了計(jì)算復(fù)雜度.
相比SGM算法,SGBM算法是半全局塊匹配方法,在計(jì)算匹配代價(jià)函數(shù)時(shí),根據(jù)圖像對(duì)中相匹配的同名像素點(diǎn)進(jìn)行匹配成本函數(shù)計(jì)算,并通過(guò)采用塊匹配算法(SAD).SGBM算法沒(méi)有采用基于互熵信息的匹配代價(jià)的方法,增加了預(yù)處理方法,且SGBM算法采用SAD(sum of absolute differences)方法完成匹配代價(jià)聚合,其表達(dá)式如下:
SAD(u,v)=Sum{|left(u,v)-right(u,v)|}
(2)
其中SAD窗口的大小決定了視差圖的匹配的效率和誤匹配的大小,并在選定區(qū)域內(nèi)通過(guò)選擇匹配代價(jià)聚合的最小值的點(diǎn)作為與之對(duì)應(yīng)的匹配點(diǎn).
在雙目立體匹配過(guò)程中,由于多種因素導(dǎo)致獲取的原圖 像對(duì)存在不同的遮擋區(qū)域和紋理平滑區(qū)域,可能無(wú)法計(jì)算得到準(zhǔn)確視差,從而會(huì)造成部分視差失真或在孔洞點(diǎn)形成的黑洞區(qū)域,如圖2所示(黑色是視差為零的黑洞區(qū)域,且顏色越接近黑色視差越小).
為了消除失真點(diǎn)和孔洞點(diǎn),首先通過(guò)左右一致性從左右視差圖檢測(cè)出誤匹配導(dǎo)致的失真點(diǎn),然后根據(jù)周圍像素點(diǎn)的視差值來(lái)填充該失真點(diǎn),并提出一種均值自適應(yīng)窗口的方法來(lái)修復(fù)視差圖黑洞區(qū)域,平滑濾波過(guò)程采用中值濾波的方法.
圖2 原始視差圖Fig.2 Original parallax map
首先,遍歷檢測(cè)像素點(diǎn)w(x,y),通過(guò)左右一致性[20]檢測(cè)出失真點(diǎn),如公式(3)所示,若公式不成立且檢測(cè)點(diǎn)視差不為零則為非零失真點(diǎn);若公式不成立且檢測(cè)點(diǎn)視差為零,則為孔洞點(diǎn);
DL(x,y)=DR(x-DL(x,y),y)
(3)
其中,DL(x,y)表示左視差圖對(duì)應(yīng)像素點(diǎn)視差值,DR(x,y)表示右視差圖對(duì)應(yīng)坐標(biāo)點(diǎn)視差值.
圖3 失真點(diǎn)修復(fù)模型Fig.3 Distortion point repair model
第二,根據(jù)圖3失真點(diǎn)修復(fù)模型,若式(3)不成立且不為零,則檢測(cè)點(diǎn)w非零失真點(diǎn),以該點(diǎn)為中心取周圍鄰域8個(gè)點(diǎn)對(duì)應(yīng)的視差值,比較大小,標(biāo)記出該鄰域所在的最大值Nmax和最小值Nmin,并計(jì)算出最大最小平均值Nmean,表達(dá)式如下:
(4)
(5)
其中,數(shù)集A表示失真點(diǎn)w鄰域視差值的集合.
此時(shí)有關(guān)非零失真點(diǎn)填充,可由式(4)、式(5)得到如下表達(dá)式:
(6)
根據(jù)式(6)可知,若DL(w)
圖4 孔洞點(diǎn)填充模型Fig.4 Hole point filling model
第三,由圖4的孔洞點(diǎn)填充模型可知,若檢測(cè)點(diǎn)w的視差值為0,則標(biāo)記該點(diǎn)為孔洞點(diǎn),并分別從x,y方向遍歷,直到找到視差值不為0的點(diǎn)wx和wy,其坐標(biāo)值分別wx(x,y′)、wx(x′,y)和下角點(diǎn)wxy(x′,y′).令dx=(x′-x),dy=(y′-y),構(gòu)造一個(gè)以孔洞點(diǎn)w(x,y)的坐標(biāo)為起點(diǎn),dx為寬,dy為高的矩陣Mdx×dy,從而形成一個(gè)可變的自適應(yīng)的窗口矩陣M,于是有:
(7)
第四,根據(jù)式(7)得到矩陣M的非零元素個(gè)數(shù)n,以及矩陣M對(duì)應(yīng)元素?cái)?shù)值總和S,并求出平均值smean,表達(dá)式如下:
(8)
最后,根據(jù)上述方法步驟及公式,直到檢測(cè)完所有像素點(diǎn)并修復(fù)好所有的視差后,進(jìn)一步采用中值濾波[21]平滑去除椒鹽噪聲,并調(diào)用基于OpenCV庫(kù)中的copyMakeBorder[注]https://docs.opencv.org/master/d2/de8/group__core__array.html#ga2ac1049c2c3dd25c2b41bffe17658a36函數(shù)進(jìn)行邊界處理,得到優(yōu)化后的左視差圖.
根據(jù)本文方法優(yōu)化后的左視差圖,結(jié)合標(biāo)定參數(shù)和雙目測(cè)距原理[22]以獲取深度信息[23]并用于三維重建,而重建出的三維非結(jié)構(gòu)化的點(diǎn)云數(shù)據(jù)是不規(guī)則、無(wú)序的,為此采用一種用于三維空間細(xì)化分層的八叉樹(shù)數(shù)據(jù)結(jié)構(gòu)來(lái)壓縮存儲(chǔ)點(diǎn)云數(shù)據(jù).八叉樹(shù)[24,25]是一種遞歸,軸對(duì)稱且空間分開(kāi)的數(shù)據(jù)結(jié)構(gòu),通過(guò)將三維地圖的整體環(huán)境場(chǎng)景作為一個(gè)樹(shù)狀模型根節(jié)點(diǎn),依次將每個(gè)節(jié)點(diǎn)分為8份,直到滿足停止條件讓所有節(jié)點(diǎn)都細(xì)分成葉子節(jié)點(diǎn)或達(dá)到設(shè)定的劃分樹(shù)枝個(gè)數(shù),最后可達(dá)到加速分解運(yùn)算且節(jié)省空間的效果,并實(shí)現(xiàn)八叉樹(shù)數(shù)據(jù)結(jié)構(gòu)的三維重建.
下面通過(guò)4個(gè)算例對(duì)本文提出的視差圖優(yōu)化方法進(jìn)行分析.實(shí)驗(yàn)數(shù)據(jù)采用的是Middlebury[26]提供的4組標(biāo)準(zhǔn)圖像對(duì)Venus、Bull、Teddy、Cones,以及目前國(guó)際上最大的室外自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺(jué)方法評(píng)測(cè)數(shù)據(jù)集—KITTI的部分?jǐn)?shù)據(jù)集,其中實(shí)驗(yàn)結(jié)果都是在相同的參數(shù)設(shè)定下完成的,4個(gè)算例實(shí)驗(yàn)中的灰度圖,顏色越接近黑色視差越小,黑色的表示視差為零或者接近零的視差區(qū)域.
本算例通過(guò)以校準(zhǔn)后圖像對(duì)作為立體匹配原圖輸入,按照第3節(jié)的步驟進(jìn)行失真檢測(cè)和視差圖優(yōu)化,說(shuō)明本文所提出方法的思路和工作流程:
1)通過(guò)左右視差一致性,檢測(cè)出失真點(diǎn);
2)若該失真點(diǎn)視差值不為0,則根據(jù)該非零失真點(diǎn)周圍8像素點(diǎn)坐標(biāo)對(duì)應(yīng)的視差值,通過(guò)與該失真點(diǎn)的視差值作代價(jià)比較,進(jìn)而優(yōu)化失真點(diǎn)的視差,如圖5(c)和圖5(d)所示;
3)若篩選出的失真點(diǎn)視差值為0,則該點(diǎn)為孔洞點(diǎn),且多個(gè)空洞點(diǎn)會(huì)形成黑洞區(qū)域,如圖5中(e)所示;
4)以孔洞點(diǎn)坐標(biāo)位起點(diǎn),以X、Y方向分別遍歷并找到一個(gè)非零的視差值的像素點(diǎn)坐標(biāo),并將X方向所找到的非零視差點(diǎn)的x′坐標(biāo)減去起點(diǎn)x坐標(biāo)的值記為w,將Y方向所找到的非零視差點(diǎn)的y′坐標(biāo)減去起點(diǎn)y坐標(biāo)的值記為h,最后在所在視差圖像上形成一個(gè)以孔洞點(diǎn)為起點(diǎn),w為寬,h為高的自適應(yīng)窗的矩陣;
5)根據(jù)步驟4得到自適應(yīng)矩陣,并以矩陣內(nèi)元素對(duì)應(yīng)的視差值與非零視差值個(gè)數(shù)的比值用于優(yōu)化孔洞點(diǎn),如圖5(f)所示;
6)最后采用中值濾波和copyMakeBorder函數(shù)完成對(duì)上述結(jié)果的濾波和邊界處理,優(yōu)化后的視差圖如圖5(g)所示.
圖5 視差圖優(yōu)化過(guò)程Fig.5 Disparity map optimization process
本算例采用的實(shí)驗(yàn)數(shù)據(jù)是Middlebury[26]提供的4組標(biāo)準(zhǔn)圖像對(duì)Venus、Bull、Teddy、Cones,對(duì)其利用傳統(tǒng)方法得到的視差圖作了優(yōu)化處理并與未處理前和文獻(xiàn)[11,12,14]的視差優(yōu)化結(jié)果作了對(duì)比.同時(shí)為了客觀評(píng)價(jià)本文算法的處理效果,表1中數(shù)據(jù)是計(jì)算的視差結(jié)果與真實(shí)視差誤差大于1的統(tǒng)計(jì)結(jié)果[27],其結(jié)果可用誤匹配率E進(jìn)行表示,如公式(9)所示.
(9)
式中:dc(x,y)表示像素點(diǎn)坐標(biāo)(x,y)的視差值,dT(x,y)為實(shí)際視差值,δ為設(shè)定的閾值,一般為1.
實(shí)驗(yàn)結(jié)果如圖6和表1所示,通過(guò)對(duì)實(shí)驗(yàn)結(jié)果分析可知,圖6(a)是原始圖像,圖6(b)是真實(shí)視差圖,圖6(c)是SGBM算法得到原始視差圖,圖6(d)是文獻(xiàn)[11]的視差圖優(yōu)化結(jié)果,圖6(e)是文獻(xiàn)[12]的視差圖優(yōu)化結(jié)果,圖6(f)是文獻(xiàn)[14] 的視差圖優(yōu)化結(jié)果,圖6(g)是本文方法優(yōu)化結(jié)果,根據(jù)視差圖優(yōu)化的圖像顯示以及表1中數(shù)據(jù)對(duì)比可知:本文方法對(duì)基于SGBM算法得到的原始視差圖完成了優(yōu)化,并降低了誤匹配率;從誤匹配率比較分析,本文方法相比文獻(xiàn)[11,12,14]的方法,對(duì)于標(biāo)準(zhǔn)圖像中絕大多數(shù)數(shù)據(jù),誤匹配率是最小的.
表1 Middlebury標(biāo)準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(誤匹配率%)
Table 1 Experimental results of Middlebury standard dataset(Mismatch rate %)
方法圖像對(duì)名稱VenusBullTeddyConesSGBM10.2210.2622.4314.00文獻(xiàn)[11]7.834.3518.1815.08文獻(xiàn)[12]7.586.9217.9417.18文獻(xiàn)[14]10.4410.1616.9313.95本文7.384.6316.9114.52
圖6 標(biāo)準(zhǔn)數(shù)據(jù)集視差優(yōu)化結(jié)果Fig.6 Disparity optimization results of standard dataset
為說(shuō)明方法對(duì)室外場(chǎng)景的適應(yīng)情況,本節(jié)算例采用的實(shí)驗(yàn)數(shù)據(jù)是目前國(guó)際上最大的室外自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺(jué)方法評(píng)測(cè)數(shù)據(jù)集—KITTI數(shù)據(jù)集.圖7(a)是KITTI原始圖像,圖7(b)是SGBM算法得到原始視差圖,圖7(c)、圖7(d)和圖7(e)分別是文獻(xiàn)[11,12,14]得到優(yōu)化后的視差圖,圖7(f)本文方法優(yōu)化后的視差圖.實(shí)驗(yàn)結(jié)果表明,優(yōu)化后的視差圖(f)視差更密集,相比SGBM算法得到原始視差圖(b)優(yōu)化后的得到的視差圖效果更好.其中,優(yōu)化后的視差圖(f)與圖 7(d)相比,后者最上面出現(xiàn)了明顯的矩形區(qū)域誤差,因此,本文方法能得到較好的結(jié)果(采用的KITTI數(shù)據(jù)集沒(méi)有相對(duì)應(yīng)的真實(shí)視差圖,因此本算法不作誤匹配率分析).
圖7 KITTI數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of KITTI dataset
為說(shuō)明以本文方法得到的優(yōu)化視差圖優(yōu)點(diǎn),并以視差圖為基礎(chǔ)建立三維地圖的情況,本節(jié)算例中通過(guò)分析由原始視差圖和本文優(yōu)化方法得到視差圖分別完成對(duì)環(huán)境的三維重建并進(jìn)行對(duì)比.圖8(a)是KITTI原始左圖像,圖8(b)是SGBM算法得到原始左視差圖,圖8(c)是本方法優(yōu)化后的左視差圖,圖8(d)是由原始左視差圖重建的八叉樹(shù)圖,圖8(e)是由本文方法優(yōu)化后的左視差圖重建的八叉樹(shù)圖.由實(shí)驗(yàn)結(jié)果對(duì)比分析可知,利用本文方法優(yōu)化后的視差圖重建的八叉樹(shù)效果更好.
圖8 三維八叉樹(shù)地圖重建比較Fig.8 Comparison of 3D octree map reconstruction
本文以雙目立體視覺(jué)理論為基礎(chǔ),提出一種基于自適應(yīng)窗口的視差圖優(yōu)化方法,結(jié)合KITTI數(shù)據(jù)集圖像對(duì)的標(biāo)定參數(shù)計(jì)算得到室外場(chǎng)景下的三維坐標(biāo),完成了基于八叉樹(shù)的三維重建.本文方法對(duì)SGBM方法得到原始視差圖進(jìn)行了優(yōu)化,并通過(guò)對(duì)比實(shí)驗(yàn)結(jié)果分析,結(jié)果表明本文方法在原本的立體匹配方法上完成了進(jìn)一步優(yōu)化,能有效的保證原始圖像在視差圖的紋理性并進(jìn)一步完善了誤匹配導(dǎo)致的黑洞區(qū)域,提高了室外環(huán)境下三維重建的真實(shí)性,以此建立的三維八叉樹(shù)地圖更完整、效果更好.未來(lái)將對(duì)低或無(wú)紋理區(qū)域的視差圖優(yōu)化開(kāi)展進(jìn)一步的工作.