鄭豫楠
(四川大學(xué)計(jì)算機(jī)學(xué)院,成都 610065)
基于分割樹的視差圖修復(fù)算法研究
鄭豫楠
(四川大學(xué)計(jì)算機(jī)學(xué)院,成都610065)
作為一項(xiàng)重要的研究領(lǐng)域,立體匹配在近十年有了明顯的發(fā)展。許多新的算法被提出并且效果顯著。Scharstein和Szeliski[1]提出了立體匹配算法的框架,并且將立體匹配算法分成了兩種類型:局部算法和全局算法。局部算法(如經(jīng)典的自適應(yīng)權(quán)重算法[2])利用局部區(qū)域像素的顏色信息和梯度信息進(jìn)行特征匹配,具有運(yùn)算速度快、易于實(shí)現(xiàn)的優(yōu)點(diǎn),但缺點(diǎn)是在無紋理區(qū)域算法容易失效。全局算法利用全圖的整體信息約束代價(jià)函數(shù)來計(jì)算視差,利用的全局優(yōu)化算法有圖割(graph cuts)[3]、置信度傳播(belief propagation)[4]、動(dòng)態(tài)規(guī)劃[5]等,可以獲得效果較好的視差圖,但缺點(diǎn)是計(jì)算時(shí)間長(zhǎng),難以實(shí)現(xiàn)實(shí)時(shí)性。
局部立體匹配算法框架可以歸納為以下4個(gè)步驟:(1)初始代價(jià)計(jì)算;(2)代價(jià)聚合;(3)視差計(jì)算;(4)視差圖修復(fù)。立體匹配研究發(fā)展至今,大部分的論文是關(guān)于第二步代價(jià)聚合的,但關(guān)于第四步視差圖修復(fù)的論文并不多見。此外,通過局部立體匹配算法得到的視差圖一般都會(huì)受到遮擋的影響,對(duì)于遮擋區(qū)域的像素難以估計(jì)出準(zhǔn)確的視差值。
針對(duì)以上問題,本文提出了一種基于分割樹的立體匹配修復(fù)算法。算法對(duì)象為局部立體匹配算法得到的視差圖,先對(duì)輸入視差圖進(jìn)行左右一致性檢測(cè)將不一致的像素標(biāo)記為不一致點(diǎn),之后對(duì)視差圖進(jìn)行過分割處理,再利用高斯混合模型對(duì)每一個(gè)過分割區(qū)域進(jìn)行視差值分配,最后利用過分割區(qū)域內(nèi)像素視差一致性對(duì)不一致像素的視差值進(jìn)行重新估計(jì)。
為了檢測(cè)出受遮擋或其他因素影響導(dǎo)致的視差圖中存在不準(zhǔn)確的像素,算法的第一步是對(duì)輸入的左右兩張視差圖進(jìn)行一致性檢測(cè)。對(duì)左視差圖中的每一個(gè)像素,找到右視差圖中對(duì)應(yīng)位置的像素,比較兩者視差差值的絕對(duì)值。如果差值絕對(duì)值在可接受的范圍內(nèi),那么這個(gè)像素的視差值被認(rèn)為是可靠的,反之,將其標(biāo)記為不一致點(diǎn)。
在左右一致性檢測(cè)結(jié)束后,根據(jù)(1)對(duì)被檢測(cè)出的不一致點(diǎn)對(duì)代價(jià)聚合矩陣進(jìn)行更新。
顏色信息接近的區(qū)域,視差信息一般也較為接近,利用顏色信息對(duì)彩色圖像進(jìn)行分割,每一個(gè)分割區(qū)域內(nèi)的像素的視差值會(huì)較為接近并且變化平滑。利用此先驗(yàn)知識(shí),可以對(duì)檢測(cè)出的不一致點(diǎn)的視差值進(jìn)行修復(fù),因此需要先對(duì)輸入的視差圖對(duì)應(yīng)的彩色圖像進(jìn)行分割處理。
本文利用了 P.F.Felzenszwalb和 D.P.Huttenlocher[6]提出的方法進(jìn)行分割處理,并且采取了過分割策略,即分割后的區(qū)域足夠小,目的是使得上述先驗(yàn)盡可能成立。效果如圖1。
在過分割處理結(jié)束后,會(huì)檢測(cè)每一個(gè)分割區(qū)域內(nèi)存在的不一致點(diǎn)的數(shù)量,如果不一致點(diǎn)的數(shù)量大于一定比例,會(huì)將這個(gè)區(qū)域標(biāo)記為不可靠區(qū)域。
此外,還需要對(duì)每一個(gè)分割區(qū)域所對(duì)應(yīng)的視差值和彩色值進(jìn)行估計(jì),以評(píng)估不同分割區(qū)域的相關(guān)性。本文采取的方法是通過高斯混合模型對(duì)視差圖進(jìn)行聚類處理,選取每一個(gè)區(qū)域?qū)儆谕粋€(gè)聚類數(shù)量最多的像素的視差值均值來作為其對(duì)應(yīng)的視差信息,同時(shí)用每個(gè)區(qū)域所有像素彩色值的均值來作為其對(duì)應(yīng)的顏色信息。
圖1
不可靠區(qū)域的視差值信息并不可用,因此需要利用臨近可靠區(qū)域的視差值對(duì)其進(jìn)行估計(jì)。因此需要得到相鄰分割區(qū)域的相關(guān)性,對(duì)每一個(gè)不可靠區(qū)域選取其相關(guān)性最大的臨近區(qū)域的視差值作為它的視差值。
本文用Wi(Sp)表示分割區(qū)域Sp的第i個(gè)鄰域?qū)p的相關(guān)性:
其中σ是預(yù)先設(shè)定的參數(shù),用以歸一化,Dr和Ir分別表示分割區(qū)域?qū)?yīng)的視差值和彩色值,α表示Sp和Si的相鄰程度:
其中Ni表示Si與Sp的公共區(qū)域長(zhǎng)度,Nall表示Sp的周長(zhǎng)。
因?yàn)椴豢煽繀^(qū)域的視差值存在一定不準(zhǔn)確性,因此對(duì)每一個(gè)不可靠區(qū)域選取其相關(guān)性最高的可靠區(qū)域的視差值作為其新的視差值。
在得到不可靠區(qū)域的視差值之后,就可以對(duì)不可靠區(qū)域內(nèi)部的不一致像素的視差值進(jìn)行重新估計(jì)了。本文利用了一種先驗(yàn),即在一個(gè)分割區(qū)域內(nèi)部,所有像素的視差值均位于一個(gè)區(qū)間,即:
為了驗(yàn)證這種先驗(yàn)的正確性,可以使用真實(shí)視差圖做實(shí)驗(yàn)。在本文所涉及的實(shí)驗(yàn)中,γ取值為5,R為255。結(jié)果表明99.2%的像素都符合這一先驗(yàn)假設(shè),如圖2。
圖2 為真實(shí)視差圖,紅色標(biāo)記的像素為不符合先驗(yàn)假設(shè)的像素
利用上述先驗(yàn)和更新后的不可靠區(qū)域的視差值,可以估計(jì)出每一個(gè)不可靠區(qū)域中的不一致點(diǎn)的視差值:
其中p表示不一致點(diǎn),di∈[Dr(Sp)-Δd,Dr(Sp)+Δd],Cnew在左右一致性檢測(cè)之后得到。每一個(gè)不一致點(diǎn)p的視差值都會(huì)使得新的代價(jià)聚合矩陣Cnew最小。
本文的實(shí)驗(yàn)使用Middlebury[7]提供的圖片和真是視差圖進(jìn)行評(píng)測(cè),實(shí)驗(yàn)結(jié)果如圖3所示。
在實(shí)驗(yàn)中,使用Mei X,Sun X,Dong W等人[8]提出的方法來獲得初始視差圖。結(jié)果表明本文的算法提升了一定效果,但部分區(qū)域和真實(shí)結(jié)果還有一些差距,仍有繼續(xù)改善的空間。
圖3
[1]D.Scharstein and R.Szeliski.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].IJCV,2002,47 (1-3):7-42.
[2]K.-J.Yoon and I.-S.Kweon.Adaptive Support-Weight Approach for Correspondence Search[J].PAMI,2006,28(4):650-656
[3]V.Kolmogorov and R.Zabih.Computing Visual Correspondence with Occlusions Via Graph Cuts[C].ICCV,2001:508-515.
[4]J.Sun,N.Zheng,and H.Shum.Stereo Matching Using Belief Propagation[M].ECCV,2002:510-524.
[5]郭永彩,魏朋玉,高潮.采用多級(jí)動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)立體匹配[J].光學(xué)精密工程,2009,17(7):1745.
[6]P.F.Felzenszwalb and D.P.Huttenlocher.Efficient graphbased image segmentation[J].IJCV,2004,59(2):167-181.
[7]Middlebury Stereo Vision Page.http://vision.middlebury.edu/stereo/
[8]Mei X,Sun X,Dong W,et al.Segment-Tree Based Cost Aggregation for Stereo Matching[C].CVPR,2013:313-320.
Stereo Vision;Segment-Tree;Stereo Matching
Research on Disparity Map Refinement Algorithm Based on Segment Tree
ZHENG Yu-nan
(College of Computer Science,Sichuan University,Chengdu 610065)
1007-1423(2016)03-0068-04
10.3969/j.issn.1007-1423.2016.03.016
鄭豫楠(1990-),男(漢族),天津人,碩士,研究方向?yàn)橛?jì)算機(jī)視覺與圖像處理
2015-12-08
2016-01-12
立體匹配是計(jì)算機(jī)視覺研究領(lǐng)域中的一項(xiàng)重要的研究問題。雖然已經(jīng)存在很多立體匹配的相關(guān)方法,但是諸如遮擋之類的問題仍然沒有被徹底解決。基于分割樹的視差圖修復(fù)方法,可以修復(fù)通過非全局性立體匹配算法得到的視差圖。實(shí)驗(yàn)結(jié)果顯示所提出的方法可減輕遮擋的影響。
立體視覺;分割樹;立體匹配
四川省科技創(chuàng)新苗子工程(No.2015-095)
Stereo matching is an important problem in computer vision research field.Though many stereo matching methods have been proposed, but some problems such as occlusion are still unresolved.Proposes a method using segment-tree to refine a disparity map got from a nonglobal stereo matching algorithm.Experiment results shows that the proposed method alleviates the effect of occlusion.