高凱
(長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院,長(zhǎng)春 130022)
稠密雙目立體匹配是計(jì)算機(jī)視覺(jué)領(lǐng)域中廣泛研究的問(wèn)題之一。稠密立體匹配是三維重建、立體導(dǎo)航、非接觸測(cè)距等技術(shù)的關(guān)鍵步驟,并且廣泛應(yīng)用于無(wú)人駕駛汽車(chē)(測(cè)距,導(dǎo)航)、機(jī)器人智能控制、遙感圖像分析、安防監(jiān)控、工業(yè)生產(chǎn)自動(dòng)化、流水線控制等方面。立體匹配的目的就是找到在同一個(gè)場(chǎng)景中,兩個(gè)攝像機(jī)采集到的圖片之間的相應(yīng)的匹配點(diǎn),而這些相應(yīng)點(diǎn)之間的位置差異就構(gòu)成了視差圖。一般來(lái)說(shuō),立體匹配算法包含四步[1]:匹配代價(jià)計(jì)算,代價(jià)聚合,視差計(jì)算和視差修正。第一,計(jì)算所有可能視差范圍內(nèi)的匹配代價(jià);第二,計(jì)算每個(gè)像素支持區(qū)域內(nèi)的代價(jià)聚合,而支持區(qū)域由局部匹配算法和全局匹配算法進(jìn)行選擇;第三,視差通過(guò)局部或者全局優(yōu)化計(jì)算;第四,通過(guò)各種后處理方法進(jìn)行視差結(jié)果修正。
根據(jù)能否得到基于區(qū)域的解,匹配算法可以分為全局算法和局部算法。一般來(lái)說(shuō),全局算法可以得到更精確的視差圖。典型的全局算法是圖割法[2],置信度傳播法[3,4]和動(dòng)態(tài)規(guī)劃法[5,6],這些算法需要在能量函數(shù)中包含平滑因子。典型的局部算法是基于窗的代價(jià)聚合。基于自適應(yīng)權(quán)值的局部立體匹配算法[7]提出了通過(guò)計(jì)算支持窗中像素值相似度和幾何空間相似度來(lái)獲得每個(gè)像素的權(quán)值。相比于全局方法,局部方法具有簡(jiǎn)單高效的特點(diǎn),并獲得了較好的視差結(jié)果。為了減少由Lab空間到RGB空間的信息損失,Geng等提出了RGB矢量空間中的立體匹配算法,其應(yīng)用像素值相似度、空間幾何距離相似度和梯度相似度來(lái)計(jì)算像素權(quán)值,獲得了較精確的結(jié)果。受到Geng等的思想的啟示,前期工作中提出了亮度法線的概念[9],繼而提出了基于亮度法線相似度、梯度相似度、像素值相似度和空間幾何距離相似度的立體匹配方法,因?yàn)榱炼确ň€反映了圖像的高頻信息,因此算法改進(jìn)了視差圖的邊緣精度。本文在前期研究的基礎(chǔ)上,分析了RGB三分量的特性,并提出了基于RGB三分量亮度法線矢量的局部立體匹配算法來(lái)改進(jìn)視差圖的精度。算法從RGB三分量亮度法線矢量反映的各分量的高頻信息入手,分析其影響了立體匹配環(huán)節(jié)中的圖片邊緣的匹配精度,經(jīng)與文獻(xiàn)[8]比較,實(shí)驗(yàn)結(jié)果顯示,本文提出的算法提高了圖像邊緣位置的匹配精度。
在前期工作中[9],提出了二維灰度圖像的亮度法線矢量的概念。而對(duì)于RGB彩色空間的彩色圖像,可以視為三個(gè)灰度圖像的疊加,每一個(gè)分量都有一個(gè)亮度法線矢量,因此,提出了RGB三分量亮度法線矢量的概念。如圖1所示,點(diǎn)A是含有RGB彩色分量的當(dāng)前點(diǎn),R平面代表R分量,G平面代表G分量,B平面代表B分量。
圖1 計(jì)算RGB三分量亮度法線矢量示意圖
例如,A可以表示為A(AR,AG,AB),其中AR,AG和AB分別為RGB空間中A點(diǎn)的紅、綠、藍(lán)彩色分量。B(BR,BG,BB)和C(CR,CG,CB)分別是計(jì)算A點(diǎn)法線矢量的臨近點(diǎn)。A點(diǎn)到C點(diǎn)和A點(diǎn)到B點(diǎn)的矢量分別為:
A點(diǎn)的R,G和B分量的法線矢量通過(guò)矢量vec1i和vec2i的叉乘獲得:
歸一化A點(diǎn)的R,G和B分量亮度法線矢量:
其中,i∈{R,G,B}。
圖2 RGB三分量法線相關(guān)結(jié)果
圖2顯示了彩色圖像對(duì)的紅綠藍(lán)三分量的法線圖像相關(guān)結(jié)果。圖2(a)(b)分別是立體彩色圖像的左右圖像。圖2(c)(d)(e)的第一行分別是左圖像對(duì)應(yīng)的紅綠藍(lán)成分,圖2(f)(g)(h)的第一行分別是右圖像對(duì)應(yīng)的紅綠藍(lán)成分。圖2(c)的第二行是紅色分量的法線圖像,圖2(c)的最底一行是法線圖像的模圖像。其他圖像依次類(lèi)推。
根據(jù)圖2顯示,相同圖像的RGB分量的灰度值是不同的,但立體圖像對(duì)之間的R(BC)平面的灰度值確是相近的。圖 2(c)(d)(e)(f)(g)(h)的第二行圖像顯示了法線矢量圖像,其反映了第一行圖像的高頻信息,而高頻信息對(duì)于立體匹配算法是有重要意義的,因此本文將RGB分量的法線矢量應(yīng)用于立體匹配算法當(dāng)中。
本文提出通過(guò)計(jì)算彩色圖像像素值相似度、空間幾何距離相似度、梯度相似度和RGB亮度法線相似度的多相似度測(cè)量方法來(lái)計(jì)算支持窗權(quán)值。
支持窗內(nèi)像素的權(quán)值計(jì)算通過(guò)如下公式:
參考圖像與目標(biāo)圖像之間的窗內(nèi)像素的權(quán)值計(jì)算用差異點(diǎn)函數(shù)E表示:
其中,Δcq→q→d,Δ gradxq→q→d,Δ gradyq→q→d和 Δnq,qd分別通過(guò)(9)(10)(11)(12)獲得,λc,λgradx,λgrady,λn是常數(shù)。
其中D={dmin,…,dmax}是視差搜索范圍。
將左右兩幅原圖像分別作為目標(biāo)圖像和參考圖像,進(jìn)行兩次匹配運(yùn)算。會(huì)存在遮擋問(wèn)題,因此為了修正視差,對(duì)兩幅視差圖進(jìn)行一致性檢測(cè):
其中,dL(x,y)和dR(x,y)分別是左圖像和右圖像作為參考圖像得出的視差。在一致性檢測(cè)當(dāng)中,如果失敗,則視為是壞點(diǎn),則用重新計(jì)算后的最大支持權(quán)重的像素的視差作為壞點(diǎn)位置的新視差。圖3顯示了修正后的視差結(jié)果。圖3(e)是修正后的結(jié)果優(yōu)于圖3(b)初始結(jié)果.
圖3 視差圖修正
圖4 實(shí)驗(yàn)比較結(jié)果
立體圖像對(duì)‘tsukuba’,‘venus’,‘teddy’,‘cones’由Middlebury測(cè)試平臺(tái)提供。支持窗尺寸為35×35,常數(shù)τc=30,λc=40,τd=10,λgradx=20,λgrady=10 ,τg=30[8],τn=40 ,λn=1對(duì)于測(cè)試圖像對(duì)都是一致的。為了評(píng)價(jià)提出的算法,采用了Ground truth[1]和文獻(xiàn)[7]中結(jié)果進(jìn)行比較,圖4為主觀比較結(jié)果。圖4(a)和圖4(b)分別是彩色圖像和ground truth。圖4(c)和圖4(d)分別是文獻(xiàn)[8]和本文提出的視差圖。本文實(shí)驗(yàn)中的誤差門(mén)限Th=1.灰色和黑色區(qū)域越少,視差圖精度越高,從圖4(c)和圖4(d)可以看出,本文提出的方法得到的結(jié)果優(yōu)于文獻(xiàn)[8]。特別強(qiáng)調(diào)的是,本文結(jié)果的邊緣位置匹配精度明顯提高。
為了獲得客觀的評(píng)價(jià),Middlebury測(cè)試平臺(tái)給出了相應(yīng)的結(jié)果,視差圖可以分為三個(gè)部分:所有像素,非遮擋區(qū)域,和深度不連續(xù)區(qū)。當(dāng)生成的視差圖和Groundtruth之間的絕對(duì)差小于Th,生成的視差圖被認(rèn)為是正確的。表1和表2分別是Th=1和Th=0.5對(duì)應(yīng)的結(jié)果。為了評(píng)價(jià)提出算法的客觀性,將提出的算法與其他局部自適應(yīng)權(quán)值方法[7,8,10,11-13]進(jìn)行比較。比較結(jié)果如表1和表2所示。提出的算法(ASW-N)提高了匹配精度,結(jié)果顯示提出的算法得到的誤匹配點(diǎn)低于其他方法,尤其是Th=0.5時(shí),更為明顯。提高的精度歸功于RGB法線矢量相似度,也驗(yàn)證了其高頻信息影響立體圖像對(duì)的匹配精度的猜想。
本文中,提出了基于彩色像素值相似度、空間距離相似度、梯度相似度和RGB三分量亮度法線矢量相似度的改進(jìn)型自適應(yīng)權(quán)值算法,通過(guò)對(duì)RGB三分量法線的分析,凸顯了法線信息反映了圖像的高頻信息分量。通過(guò)增加法線信息來(lái)改進(jìn)自適應(yīng)權(quán)值計(jì)算方法。實(shí)驗(yàn)結(jié)果顯示,相比于其他自適應(yīng)權(quán)值算法,本文提出的算法可以提高匹配精度,尤其在含有紋理區(qū)域更為明顯。從總體上來(lái)看,平均提高誤匹配率達(dá)到0.4%。在今后的研究當(dāng)中,會(huì)進(jìn)一步根據(jù)圖像的特點(diǎn),研究相應(yīng)的光學(xué)特性來(lái)改進(jìn)算法。
表1 提出方法在Middlebury stereo benchmark中的特性比較(誤差門(mén)限為1.0)
表2 提出方法在Middlebury stereo benchmark中的特性比較(誤差門(mén)限為0.5)
[1]Scharstein D,Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].InternationalJournal of ComputerVision,2002.47(1-3):7-42.
[2]Hong L,Chen G.Segment-based stereo matching using graph cuts[C].in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.2004.1(1):74-78.
[3]Yang Q,Wang L,Ahuja N.A constant-space belief propagation algorithm forstereo matching[C].in Proceedings of IEEE Conference Computer Vision and Pattern Recognition,2010:1458-1465.
[4]Sun J,Zheng N.-N.,Shum H.-Y..Stereo matching using beliefpropagation[J].IEEE Trans.Pattern Anal.Machine Intell,2003,25(7):787-800.
[5]Lei C,Selzer J,Yang Y.Region-tree based stereo using dynamic programming optimization[J].ComputerVision and Pattern Recognition,2006(2):2378-2385.
[6]Chang X,Zhou Z,Wang L,et al.Real-time accurate stereo matching using modified two-pass aggregation and winner-take-all guided dynamic programming[C].International Conference on 3D Imaging,Modeling,Processing,Visualization and Transmission,2011:73-79.
[7]Yoon K.-J.,Kweon I.-S..Adaptive support-weight approach for correspondence search[J].IEEE Trans.Pattern Anal.Mach.Intell,2006,28(4):650-656.
[8]Yingnan Geng,Yan Zhao,Hexin Chen.Stereo matching based on adaptive support-weightapproach in RGB vectorspace[J].Applied Optics,2012,51(16):3538-3545.
[9]Kai Gao,Yan Zhao,He-xin Chen,et al.Stereo matching algorithm based on illumination normal similarity and adaptive support-weight[J].Optical Engineering,2013.52(2):027201-1--027201-7.
[10]De-MaeztuL,VillanuevaA,CabezaR.Stereo matching using gradient similarity and locally adaptive support-weight[J].Pattern Recognition Letters,2011,32(13):1643-1651.
[11]Gu Z,Su X,Liu Y,et al.Local stereo matching with adaptive support-weight,rank transform and disparity calibration[J].Pattern Recogn.Lett,2008,29(9):1230-1235.
[12]Hu W,Zhang K,Sun L,et al.Virtual support window for adaptive-weight stereo matching[J].Visual Communications and Image Processing,2011(8):1-4.
[13]L.Nalpantidis,A.Gasteratos.Biologically and psychophysically inspired adaptive support weights algorithm for stereo correspondence[J].Robot.Auton.Syst,2010(58):457-464.
長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版)2018年1期