何 川， 余 燁， 段瑞青， 劉曉平

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009）

0 引言

立體匹配是近年來計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重點(diǎn)研究方向，其主要目的是尋找2幅圖像中的對(duì)應(yīng)點(diǎn)。由于存在著遮擋不連續(xù)、鏡面反射、紋理重復(fù)或弱紋理、投影畸變和傾斜平面等匹配問題，往往出現(xiàn)匹配過程中多點(diǎn)對(duì)應(yīng)著一點(diǎn)的現(xiàn)象。而立體匹配是要解決上述問題，并尋找最優(yōu)匹配解。

根據(jù)所采用優(yōu)化方法的不同，立體匹配算法可以分為全局匹配算法和局部匹配算法。文獻(xiàn)［1］把立體匹配分為匹配代價(jià)計(jì)算、支持能量聚合、視差計(jì)算和優(yōu)化、視差的精細(xì)和評(píng)價(jià)4個(gè)步驟，但并不是每種匹配算法都必須包含這4個(gè)步驟，例如，全局匹配算法沒有能量聚合步驟，而局部匹配算法沒有視差優(yōu)化和視差精細(xì)步驟。

全局匹配算法主要是采用全局的優(yōu)化理論方法估計(jì)視差，建立全局能量函數(shù)，通過最小化全局能量函數(shù)得到最優(yōu)視差值。該算法的匹配結(jié)果比較精確，但運(yùn)行效率低，不具有實(shí)時(shí)性。文獻(xiàn)［2］利用馬爾科夫網(wǎng)絡(luò)和置信傳播方法進(jìn)行立體匹配，獲得了不錯(cuò)的結(jié)果。文獻(xiàn)［3］提出一種利用顏色分割進(jìn)行匹配的新算法，使用分層平面描述場(chǎng)景，可以有效地處理大片無紋理區(qū)域和深度不連續(xù)處。文獻(xiàn)［4］提出一種改進(jìn)的基于圖像分割的匹配算法，可以有效地處理大片低紋理區(qū)域和視差圖的邊界，但無法準(zhǔn)確地處理有噪聲的圖像。文獻(xiàn)［5］提出一種平行配置系統(tǒng)的快速匹配算法，利用視差的分段連續(xù)性，極大地減少了運(yùn)算量，但視差圖存在“線條”特征，在視差緩變處精度低。文獻(xiàn)［6］提出了一種采用自適應(yīng)平滑約束的匹配算法，利用平滑約束有效地保持視差圖的非連續(xù)區(qū)域，可以有效地處理弱紋理區(qū)域，但算法沒有結(jié)合圖像的上下文信息。文獻(xiàn)［7］提出了一種基于圖像分割塊之間的幾何約束和視差值的概率分布信息的視差估算方法，有效地解決傾斜平面或曲面的匹配問題，但對(duì)細(xì)小物體的匹配效果很差。

局部匹配算法采用局部?jī)?yōu)化方法進(jìn)行視差估計(jì)，得到的視差估計(jì)是局部最優(yōu)解。文獻(xiàn)［8］提出一種新的基于區(qū)域增長(zhǎng)的稠密匹配算法，可以很好地處理未校正圖像對(duì)或低紋理區(qū)域。文獻(xiàn)［9］提出一種僅利用灰度信息即可確定窗口的簡(jiǎn)單方法，保證得到最佳的匹配窗口，且使計(jì)算量與窗口大小無關(guān)。文獻(xiàn)［10］提出一種基于窗口的匹配算法，根據(jù)相似性和接近性自適應(yīng)地調(diào)整支持窗口中像素的支持權(quán)重，以減少圖像匹配時(shí)的二義性，效果在局部匹配算法中較優(yōu)。文獻(xiàn)［11］提出一種新的基于區(qū)域內(nèi)協(xié)同優(yōu)化的立體匹配算法，將區(qū)域作為匹配基元，利用區(qū)域間的遮擋、平滑約束和區(qū)域內(nèi)的顏色統(tǒng)計(jì)構(gòu)造能量函數(shù)，再利用區(qū)域間的協(xié)同和競(jìng)爭(zhēng)機(jī)制減少匹配代價(jià)，算法產(chǎn)生的視差圖接近標(biāo)準(zhǔn)結(jié)果。文獻(xiàn)［12］提出并實(shí)現(xiàn)了一套精度高和速度快的基于GPU立體匹配系統(tǒng)，通過多步優(yōu)化減少視差估計(jì)的各種錯(cuò)誤，并采用并行程序設(shè)計(jì)和CUDA加速，在立體匹配交流平臺(tái)上該算法的效果最佳。文獻(xiàn)［13］提出了更加合理的加權(quán)因子，并根據(jù)相似性對(duì)圖像進(jìn)行修復(fù)，使得修復(fù)效果更好，并縮短了修復(fù)時(shí)間。

鑒于立體匹配算法的準(zhǔn)確性需求，本文在前人研究的基礎(chǔ)上，提出一種基于多因素的自適應(yīng)支持權(quán)重匹配算法。首先分析出傳統(tǒng)自適應(yīng)支持權(quán)重匹配算法效果的3個(gè)影響因素，即顏色模型、底數(shù)因子和顏色分量的加權(quán)因子，通過合理選取這3個(gè)因素，并以恰當(dāng)?shù)慕M合方式應(yīng)用到該匹配算法中以得到進(jìn)一步的優(yōu)化，從而使匹配算法得到的視差圖獲得更加準(zhǔn)確的效果。

1 算法的基本思想

本文的匹配算法參照文獻(xiàn)［10］中算法的核心思想，通過選擇固定大小的匹配窗口，針對(duì)窗口內(nèi)的每個(gè)像素計(jì)算其支持權(quán)重，通過該權(quán)重進(jìn)行像素間的相異度計(jì)算，再確定每個(gè)像素的視差值。

1.1 窗口內(nèi)像素的支持權(quán)重計(jì)算

在立體匹配過程中，本文選用的匹配窗口為固定大小的矩形窗口。窗口中像素的支持權(quán)重可以衡量周圍支持像素和中心像素的視差值差異程度。由格式塔規(guī)則中的相似性規(guī)則（顏色信息的相似）和接近性規(guī)則（幾何距離的接近）可知，像素的支持權(quán)重正比于相似性和接近性的組合強(qiáng)度。即對(duì)于周圍支持像素，與中心像素的顏色信息越相似，其支持權(quán)重越大；與中心像素的幾何距離越接近，其支持權(quán)重越大。支持權(quán)重的計(jì)算過程是自適應(yīng)的，無需用戶干預(yù)。支持權(quán)重可表示為：

1.2 相異度計(jì)算和視差選擇

在進(jìn)行相異度計(jì)算時(shí)，需要考慮在左圖和右圖中像素的支持權(quán)重計(jì)算，可更好地處理深度不連續(xù)的問題，如圖1所示，圖1中，p和q為左圖中引用支持窗口中的像素，而和為右圖中對(duì)應(yīng)的目標(biāo)支持窗口中的像素，左圖中的像素p和q具有視差d。

圖1 引用支持窗口與目標(biāo)支持窗口的關(guān)系

在相異度計(jì)算后，每個(gè)像素的視差值可以通過 WTA（Winner－Take－All）方法來計(jì)算。即對(duì)于像素p，在視差值的取值范圍Sd內(nèi)，選擇最小的相異度計(jì)算結(jié)果dp，這時(shí)的視差值d即為該像素的最終視差值，其關(guān)系式為：

2 算法的優(yōu)化

在相異度計(jì)算時(shí)，大多數(shù)的立體匹配算法都需要利用源圖像的顏色信息，然而不同顏色模型表示顏色信息的方式不同，顏色模型的多個(gè)不同分量對(duì)顏色信息的貢獻(xiàn)大小也不同，這使得相異度的計(jì)算結(jié)果有所差異。本文通過對(duì)大量實(shí)驗(yàn)結(jié)果的分析得出，影響匹配結(jié)果的因素分別為顏色模型、底數(shù)因子和顏色分量的加權(quán)因子，通過合理選取這3個(gè)因素，對(duì)匹配算法［10］進(jìn)行進(jìn)一步的優(yōu)化，從而獲得效果更佳的視差圖。

2.1 顏色模型的選取

本文的匹配算法利用圖像的顏色信息進(jìn)行相異度的計(jì)算，這就需要選取合適的顏色模型去描述顏色信息。目前，常用的顏色模型主要有計(jì)算顏色模型、工業(yè)顏色模型和視覺顏色模型。計(jì)算顏色模型主要應(yīng)用于純理論研究和計(jì)算推導(dǎo)，工業(yè)顏色模型主要側(cè)重于實(shí)際應(yīng)用的技術(shù)；視覺顏色模型用于與人的直接交互，其中，有代表性的顏色模型有CIELab、RGB和HSV。

通過大量實(shí)驗(yàn)可得出，不同的顏色模型可以得到效果有差異的視差圖。實(shí)驗(yàn)中相關(guān)參數(shù)設(shè)置如下：匹配窗口大小為35×35，底數(shù)因子為e，無加權(quán)計(jì)算。由一般常識(shí)可知，相比于顏色模型RGB和HSV，顏色模型CIELab得到的視差圖有更加平滑的效果。

2.2 底數(shù)因子的選取

對(duì)于每個(gè)像素的支持權(quán)重，文獻(xiàn)［10］推導(dǎo)出的計(jì)算公式為：

文獻(xiàn)［10］提出了匹配效果最好的自適應(yīng)支持權(quán)重立體匹配算法，其中，它的底數(shù)因子exp值為常數(shù)e。經(jīng)過大量實(shí)驗(yàn)發(fā)現(xiàn)，不同的底數(shù)因子會(huì)得到效果有差異的視差圖，具體實(shí)驗(yàn)結(jié)果如圖2所示。實(shí)驗(yàn)中相關(guān)參數(shù)設(shè)置如下：匹配窗口大小為35×35，顏色模型為CIELab，無加權(quán)計(jì)算。

從圖2可看出，隨著底數(shù)因子的增大，視差圖中物體的輪廓更加清楚，但其平滑性減弱。

圖2 不同底數(shù)因子對(duì)匹配算法的影響

2.3 顏色分量加權(quán)因子的選取

本文的匹配算法在進(jìn)行相異度計(jì)算時(shí)，計(jì)算像素間顏色信息的差異。如在RGB顏色模型下，像素p和q之間的顏色差異Δcpq公式為：

其中，α、β、γ為顏色模型 RGB下3個(gè)分量R、G、B的加權(quán)因子。

經(jīng)過實(shí)驗(yàn)可知，不同的加權(quán)因子會(huì)得到效果有差異的視差圖，具體實(shí)驗(yàn)結(jié)果如圖3所示。實(shí)驗(yàn)中相關(guān)參數(shù)設(shè)置如下：匹配窗口大小為35×35，顏色模型為RGB，底數(shù)因子為e。

圖3 不同加權(quán)因子對(duì)匹配算法的影響

從圖3可知，在相異度計(jì)算時(shí)，采用合適的加權(quán)因子可以使得到的視差圖有更加平滑的效果。

3 實(shí)驗(yàn)結(jié)果

在整個(gè)立體匹配實(shí)驗(yàn)中，為保證算法對(duì)比結(jié)果的客觀性，沒有添加任何預(yù)處理或后處理等優(yōu)化步驟，只是核心匹配算法的對(duì)比。實(shí)驗(yàn)使用Middlebury大學(xué)立體視覺算法評(píng)測(cè)網(wǎng)站提供的標(biāo)準(zhǔn)測(cè)試圖像。該網(wǎng)站為立體匹配算法測(cè)試提供了一個(gè)公認(rèn)的客觀評(píng)價(jià)平臺(tái)。

3組實(shí)驗(yàn)處理的圖像分別為 “venus”、“teddy”和“cones”，相關(guān)參數(shù)設(shè)置如下：Rc＝7.0，Rg＝36.0，T ＝40，窗口大小為35×35。在文獻(xiàn)［10］匹配算法的實(shí)驗(yàn)中，采用RGB顏色模型，底數(shù)因子為e，沒有進(jìn)行加權(quán)計(jì)算。而在本文匹配算法中，采用CIELab顏色模型，底數(shù)因子為3，加權(quán)因子分別為0.2、0.4、0.4。不同算法的匹配結(jié)果進(jìn)行對(duì)比，結(jié)果如圖4～圖6所示。Middlebury大學(xué)立體匹配算法評(píng)測(cè)網(wǎng)站給出了不同算法的評(píng)測(cè)結(jié)果，見表1所列，表1中“nonocc”表示nonoccluded pixels，“all”表示all pixels，“disc”表示pixels in depth discontinuities。針對(duì)3組標(biāo)準(zhǔn)測(cè)試圖像，通過視差圖的效果和算法的評(píng)測(cè)結(jié)果可以看出，本文匹配算法比文獻(xiàn)［10］的匹配算法有一定的改進(jìn)，能得到更平滑和準(zhǔn)確的視差圖。

圖4 venus圖像的匹配結(jié)果對(duì)比

圖6 cones圖像的匹配結(jié)果對(duì)比

表1 本文算法對(duì)標(biāo)準(zhǔn)測(cè)試圖像視差估計(jì)的結(jié)果與文獻(xiàn)［10］算法的比較 %

4 結(jié)束語(yǔ)

本文提出了一種基于多因素的自適應(yīng)支持權(quán)重匹配算法，首先分析了匹配算法的3個(gè)影響因素為顏色模型、底數(shù)因子和顏色分量的加權(quán)因子，通過借鑒傳統(tǒng)自適應(yīng)支持權(quán)重匹配算法的核心思想，并結(jié)合以恰當(dāng)方式組合的3個(gè)因素，進(jìn)一步地優(yōu)化了原有的匹配算法，以得到效果更加平滑和準(zhǔn)確的視差圖。對(duì)標(biāo)準(zhǔn)測(cè)試圖像進(jìn)行匹配實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文算法與傳統(tǒng)自適應(yīng)支持權(quán)重匹配算法相比，不管是針對(duì)無遮擋像素、處于深度不連續(xù)處的像素還是其他的像素，本文算法中獲得的“壞像素”比例與傳統(tǒng)自適應(yīng)支持權(quán)重算法相比，明顯減少，由此可以證明本文匹配優(yōu)化算法的有效性和優(yōu)越性。

［1］Scharstein D，Szeliski R.A taxonomy and evaluation of dense two－frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47（1／2／3）：7－42.

［2］Sun J，ShuMH Y，Zheng N N.Stereo matching using belief propagation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（7）：787－800.

［3］Bleyer M，Gelautz M.A layered stereo matching algorithMusing image segmentation and global visibility constraints［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2005，59（3）：128－150.

［4］尹傳歷，劉冬梅，宋建中.改進(jìn)的基于圖像分割的立體匹配算法 ［J］.計(jì) 算 機(jī) 輔 助 設(shè) 計(jì) 與 圖 形 學(xué) 學(xué) 報(bào)，2008，20（6）：808－812.

［5］狄紅衛(wèi)，柴 穎，李 逵.一種快速雙目視覺立體匹配算法［J］.光學(xué)學(xué)報(bào)，2009，29（8）：2180－2184.

［6］馬祥音，査紅彬.采用自適應(yīng)平滑約束的立體匹配方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（1）：108－113.

［7］翟振剛，陸 耀，趙 紅.利用塊幾何約束及視差概率的立體匹配算法［J］.軟件學(xué)報(bào)，2010，21（11）：2985－2998.

［8］唐 麗，吳成柯，劉侍剛，等.基于區(qū)域增長(zhǎng)的立體像對(duì)稠密匹配算法［J］.計(jì)算機(jī)學(xué)報(bào)，2004，27（7）：936－943.

［9］周秀芝，文貢堅(jiān)，王潤(rùn)生.自適應(yīng)窗口快速立體匹配［J］.計(jì)算機(jī)學(xué)報(bào)，2006，29（3）：473－479.

［10］Yoon K J，Kweon I S.Adaptive support－weight approach for correspondence search［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（4）：650－656.

［11］Wang Z F，Zheng Z G.A region based stereo matching algorithMusing cooperative optimization［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2008：1－8.

［12］Mei X，Sun X，Zhou MC，et al.On building an accurate stereo matching systeMon graphics hardware［C］／／GPUCV，2011：467－474.

［13］陳曉冬，朱曉臨.基于改進(jìn)優(yōu)先級(jí)的加權(quán)匹配圖像修復(fù)算法［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，36（1）：113－118.