余嘉昕，王春媛，韓 華，高 燕

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

0 概述

雙目立體匹配是雙目立體視覺的重要研究?jī)?nèi)容之一，通過對(duì)雙目相機(jī)所拍攝并經(jīng)過極線校正的左、右圖進(jìn)行逐點(diǎn)匹配，計(jì)算各像素點(diǎn)的視差值，其精度影響了后續(xù)立體場(chǎng)景形狀和大小的恢復(fù)，被廣泛應(yīng)用于三維重建、無(wú)人駕駛、生物醫(yī)學(xué)、機(jī)器人等領(lǐng)域［1-3］。SCHARSTEIN 等［4］將立體匹配算法分為匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和視差優(yōu)化4 個(gè)步驟，并根據(jù)約束條件的不同，將立體匹配算法分為局部立體匹配算法和全局立體匹配算法。

全局立體匹配算法通過最小化全局能量函數(shù)得到最佳的視差值，常用的全局立體匹配算法有置信度傳播法［5］、動(dòng)態(tài)規(guī)劃法［6］、圖割法［7］等。全局立體匹配算法的優(yōu)缺點(diǎn)均很明顯，其優(yōu)點(diǎn)為精度較高，缺點(diǎn)為算法較復(fù)雜，計(jì)算速度緩慢，因此不適合實(shí)時(shí)性要求高的場(chǎng)合。局部立體匹配算法大多根據(jù)像素點(diǎn)確定局部變換域（也稱變換窗口），根據(jù)局部變換域中像素點(diǎn)的灰度、梯度等特征量計(jì)算匹配代價(jià)。局部立體匹配算法誤匹配率較高、視差結(jié)果精度較低，但是它比全局立體匹配算法的計(jì)算量更小、速度更快，這些優(yōu)點(diǎn)使其能達(dá)到實(shí)時(shí)匹配的要求，可以被更好地應(yīng)用到實(shí)際中。

匹配代價(jià)計(jì)算是局部立體匹配算法的第1 步，其重要性不言而喻。常用的匹配代價(jià)算法有絕對(duì)差（Absolute Difference，AD）、絕對(duì)差之和（Sum of Absolute Difference，SAD）［8］、歸一化互相關(guān)（Normalized Cross Correlation，NCC）和Census 變換算法等。其中，AD 變換和SAD 變換可以較好地反應(yīng)像素點(diǎn)的灰度變化，但對(duì)光照強(qiáng)度的變化以及噪聲較敏感，NCC 算法對(duì)窗口大小的依賴性較高，Census 變換對(duì)光照具有良好的抗干擾性，但在重復(fù)紋理和相似紋理區(qū)域的匹配精度不高。為克服單一匹配代價(jià)的缺陷，近年來不少學(xué)者采用復(fù)合代價(jià)作為初始匹配代價(jià)。MEI 等［9］針對(duì)AD 變換和Census變換的不足，提出AD-Census 變換算法，彌補(bǔ)了單個(gè)變換的不足，但是兩代價(jià)的權(quán)重為固定值。在此基礎(chǔ)上，WANG 等［10］提出與像素點(diǎn)的區(qū)域特性相結(jié)合的自適應(yīng)權(quán)重AD-Census 變換匹配代價(jià)。ZHANG等［11］通過融合梯度信息、AD 變換和Census 變換來構(gòu)造匹配代價(jià)，提升了匹配的效果。

經(jīng)匹配代價(jià)計(jì)算所得的初始匹配代價(jià)含有的信息較少，只能體現(xiàn)像素間的局部相關(guān)性，經(jīng)代價(jià)聚合得到的代價(jià)能夠更準(zhǔn)確地反應(yīng)出像素間的相似關(guān)系。ZHANG 等［12］通過設(shè)置空間和顏色閾值自適應(yīng)地構(gòu)造十字交叉域，以進(jìn)行代價(jià)聚合。在此基礎(chǔ)上，MEI 等［9］設(shè)置更為嚴(yán)苛的約束條件來構(gòu)建十字交叉域，提升了聚合的效果。但兩者都需先計(jì)算十字臂長(zhǎng)度且各像素代價(jià)以同等權(quán)重參與聚合。HOSNI等［13］提出利用引導(dǎo)濾波器進(jìn)行代價(jià)聚合，該算法計(jì)算量較小，可以很好地保持邊緣，但由于引導(dǎo)濾波的線性系數(shù)受選定的正則化參數(shù)的影響，導(dǎo)致代價(jià)聚合效果不理想，從而影響最終視差圖的精度。

近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，國(guó)內(nèi)外學(xué)者通過卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）來估算視差［14］，如GC-Net［15］、PSM-Net［16］、GANet［17］、AA-Net［18］等?；谏疃葘W(xué)習(xí)的立體匹配算法雖然匹配精度較高，但訓(xùn)練時(shí)需要大量數(shù)據(jù)，且泛化能力較差，因此在實(shí)際生活中的應(yīng)用受限。

為提升視差圖的精度，本文提出一種基于融合代價(jià)與優(yōu)化引導(dǎo)濾波的立體匹配算法。在匹配代價(jià)計(jì)算階段，將多指標(biāo)梯度代價(jià)和精細(xì)化Census 變換匹配代價(jià)按一定權(quán)重進(jìn)行融合，并將其作為初始匹配代價(jià)。其中，多指標(biāo)梯度代價(jià)依據(jù)窗口內(nèi)像素的梯度、梯度平均值和梯度標(biāo)準(zhǔn)差3 個(gè)指標(biāo)進(jìn)行計(jì)算，精細(xì)化Census 變換匹配代價(jià)根據(jù)設(shè)定的閾值將窗口內(nèi)兩像素的差值劃分為7 個(gè)等級(jí)，生成左圖、右圖窗口中心像素的精細(xì)化Census 變換字符串，并計(jì)算兩字符串的漢明距離，將其作為匹配代價(jià)。在代價(jià)聚合階段，利用梯度變化對(duì)引導(dǎo)濾波的線性系數(shù)進(jìn)行自適應(yīng)優(yōu)化，提升代價(jià)聚合效果，最后通過視差計(jì)算和視差優(yōu)化得到視差圖。

1 匹配代價(jià)計(jì)算

1.1 精細(xì)化Census 變換匹配代價(jià)

Census 變換是一種非參數(shù)的局部變換，它通過以變換像素點(diǎn)為中心建立鄰域窗口（大小為n×n，n為奇數(shù)），比較鄰域窗口內(nèi)像素點(diǎn)與中心像素點(diǎn)的灰度值大小，把灰度大于或等于中心像素點(diǎn)灰度的標(biāo)記為0，否則標(biāo)記為1，得到一個(gè)由0 和1 組成的字符串，計(jì)算匹配點(diǎn)與其對(duì)應(yīng)點(diǎn)的字符串的漢明距離，并將其作為Census 變換匹配代價(jià)。由Census 變換字符串的生成原理可以看出，Census 變換在對(duì)窗口中心像素點(diǎn)與窗口內(nèi)其他像素點(diǎn)的灰度值進(jìn)行大小比較時(shí)，只是籠統(tǒng)地進(jìn)行大小分類，對(duì)于大小的差異等級(jí)并沒有進(jìn)一步區(qū)分，極易出現(xiàn)誤匹配的情況。

針對(duì)該問題，本文提出精細(xì)化Census（簡(jiǎn)稱RCensus）變換，在比較鄰域窗口內(nèi)像素點(diǎn)(r，l)與中心像素點(diǎn)(u，v)的灰度值大小時(shí)，首先設(shè)定閾值t1和t2（t1＜t2），并根據(jù)設(shè)定的閾值將兩像素點(diǎn)的灰度值差異程度劃分為7 個(gè)等級(jí)，然后根據(jù)劃分的等級(jí)生成對(duì)應(yīng)的編碼。最后再將編碼按位連接，得到變換后的由1、2、3、4、5、6、7 組成的字符串，即為窗口中心像素點(diǎn)的RCensus 變換字符串。同樣方法求取右圖中對(duì)應(yīng)像素點(diǎn)(u-d，v)的RCensus 變換字符串，兩字符串之間的漢明距離即為像素點(diǎn)(u，v)的RCensus 變換匹配代價(jià)，計(jì)算式如下：

其中：ξ為比較函數(shù)；I為像素點(diǎn)的灰度值；CT(u，v)為像素點(diǎn)(u，v)經(jīng)過RCensus 變換得到的字符串；?表示位連接運(yùn)算；ωRCensus(u，v)表示以像素點(diǎn)(u，v)為中心的窗口變換域；(r，l)為該窗口內(nèi)的像素點(diǎn)；(u，v)、(ud，v)分別為左圖中像素點(diǎn)(u，v)和右圖中像素點(diǎn)(ud，v)的RCensus 變換字符串；CRCensus(u，v，d)為像素點(diǎn)(u，v)的RCensus 變換匹配代價(jià)。

以3×3 窗口為例，Census變換和RCensus變換字符串生成過程和漢明距離的計(jì)算過程如圖1 所示，其中t1、t2的取值分別為6和16?？梢钥闯?，例中兩點(diǎn)不是同名點(diǎn)，但它們的Census 變換匹配代價(jià)均為0，產(chǎn)生誤匹配的概率很大。而該兩點(diǎn)的RCensus 變換匹配代價(jià)為6，可避免誤匹配的產(chǎn)生。

圖1 Census 變換和RCensus 變換字符串生成過程和漢明距離的計(jì)算過程Fig.1 String generation process and the Hamming distance calculation process of Census transformation and RCensus transformation

1.2 多指標(biāo)梯度代價(jià)

梯度能反映圖像的邊緣、紋理等結(jié)構(gòu)信息且對(duì)光照失真不敏感。為進(jìn)一步提高匹配代價(jià)的全面性和準(zhǔn)確性，本文提出多指標(biāo)的梯度代價(jià)。首先計(jì)算左右圖像各像素點(diǎn)的梯度值，再計(jì)算匹配窗口內(nèi)像素梯度平均值和標(biāo)準(zhǔn)差，然后計(jì)算左、右圖的匹配窗口內(nèi)各像素點(diǎn)梯度絕對(duì)差之和、窗口內(nèi)梯度平均值的絕對(duì)差以及窗口內(nèi)梯度標(biāo)準(zhǔn)差的絕對(duì)差，將三者之和作為多指標(biāo)梯度代價(jià)。梯度值反映了相鄰像素點(diǎn)的灰度值變化程度，梯度平均值反映了窗口內(nèi)像素梯度的整體集中趨勢(shì)，梯度標(biāo)準(zhǔn)差反映了窗口內(nèi)像素梯度的離散程度，三者的結(jié)合可以精準(zhǔn)地預(yù)測(cè)出待匹配點(diǎn)鄰域窗口內(nèi)的詳細(xì)結(jié)構(gòu)，這樣計(jì)算的代價(jià)也更加全面。多指標(biāo)梯度代價(jià)計(jì)算式如式（4）所示：

其中：gL(x，y)為左圖中像素點(diǎn)(x，y)的梯度；gR(xd，y)為右圖中像素點(diǎn)(x-d，y)的梯度；為窗口內(nèi)像素梯度平均值；s為窗口內(nèi)像素梯度標(biāo)準(zhǔn)差；ωgrad(u，v)是以(u，v)為中心像素點(diǎn)的多指標(biāo)梯度代價(jià)窗口。

1.3 多指標(biāo)梯度代價(jià)與RCensus變換匹配代價(jià)的融合

為了讓匹配代價(jià)在反映待匹配像素之間的相似性時(shí)更加精準(zhǔn)和全面，本文將多指標(biāo)梯度代價(jià)與RCensus 變換匹配代價(jià)按一定的權(quán)重進(jìn)行融合，并作為初始匹配代價(jià)，表達(dá)式如下：

其中：λgrad和λRCensus分別為多指標(biāo)梯度代價(jià)與RCensus 變換匹配代價(jià)的權(quán)重。

2 代價(jià)聚合

2.1 引導(dǎo)濾波

引導(dǎo)濾波［19］是一種基于局部線性模型的邊緣保持算法，其表達(dá)式如式（7）所示：

其中：I為引導(dǎo)圖像；q為輸出圖像；ωk為以像素點(diǎn)k為中心的局部窗口；ak和bk為引導(dǎo)濾波模型在該局部窗口的線性系數(shù)；i為窗口ωk內(nèi)的點(diǎn)。因此，可以通過構(gòu)造損失函數(shù)求得最優(yōu)的ak和bk，其表達(dá)式如下：

其中：μk和分別為引導(dǎo)圖像I在窗口ωk中的平均值和方差；|ω|為窗口ωk的像素點(diǎn)個(gè)數(shù)；正則化參數(shù)ε用來防止ak過大；pi為輸入圖像上像素點(diǎn)i的像素值；為輸入圖像在窗口ωk內(nèi)的像素平均值。

將式（7）兩邊同時(shí)求梯度，可以得到：

由式（10）可以看出，引導(dǎo)濾波可以使輸出圖像q的梯度信息與引導(dǎo)圖像I的梯度信息保持一致。ak越大，梯度信息所占的權(quán)重越大，此時(shí)，濾波器的邊緣保持能力越強(qiáng)，平滑力度越小。反之，ak越小，梯度信息所占的權(quán)重越小，濾波器的邊緣保持能力越弱，平滑力度越大。由式（8）可以看出，固定的正則化參數(shù)ε使得ak不能根據(jù)圖像區(qū)域的不同進(jìn)行完全的自適應(yīng)調(diào)整，導(dǎo)致濾波后的圖像出現(xiàn)局部平滑過度或平滑不足的現(xiàn)象。

2.2 引導(dǎo)濾波的優(yōu)化

為了讓引導(dǎo)濾波能夠?qū)吘墔^(qū)域的邊緣保持能力和對(duì)平滑區(qū)域的平滑性能進(jìn)行自適應(yīng)調(diào)節(jié)，本文對(duì)引導(dǎo)濾波中的系數(shù)ak附加一個(gè)權(quán)重wk進(jìn)行優(yōu)化，權(quán)重wk由引導(dǎo)圖像中某點(diǎn)的梯度和局部窗口ωk中梯度平均值計(jì)算得到，優(yōu)化后ak′的表達(dá)式如下：

其中：gk為中心像素點(diǎn)k的梯度；為窗口ωk的梯度平均值；α和β為預(yù)先設(shè)定的參數(shù)。

由式（12）可以看出，當(dāng)某像素與計(jì)算窗口內(nèi)各像素處于灰度不一致的邊緣區(qū)域時(shí)，其梯度值與窗口內(nèi)像素的梯度平均值之比勢(shì)必會(huì)遠(yuǎn)大于1 或遠(yuǎn)小于1，這時(shí)wk增大，增大，加強(qiáng)了引導(dǎo)濾波的邊緣保持能力。當(dāng)某像素與計(jì)算窗口內(nèi)各像素處于灰度一致的平滑區(qū)域時(shí)，其梯度值與窗口內(nèi)像素的梯度平均值之比接近于1，這樣wk值減小，減小，加強(qiáng)了引導(dǎo)濾波的平滑能力。當(dāng)=0 時(shí)，表明局部窗口處于絕對(duì)平滑區(qū)域，此時(shí)wk=0，=0，相當(dāng)于對(duì)此局部窗口進(jìn)行均值濾波。因此，優(yōu)化引導(dǎo)濾波器可達(dá)到依據(jù)不同區(qū)域自適應(yīng)調(diào)節(jié)濾波功能的目的，能夠提升濾波的質(zhì)量。

最后，使用勝者為王算法（Winner-Take-All，WTA）在代價(jià)空間中選取最小聚合代價(jià)所對(duì)應(yīng)的視差值作為初始視差，再使用左右一致性檢測(cè)（Left-Right Consistency check，LRC check）判斷初始視差圖的誤匹配點(diǎn)，并對(duì)其進(jìn)行修正填充，使用加權(quán)中值濾波對(duì)視差圖進(jìn)行優(yōu)化。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)對(duì)象為Middlebury V3［20-21］立體評(píng)估平臺(tái)提供的training set 中的15 組經(jīng)過極線校正后的圖像對(duì)。本文采用誤匹配率（percentage of bad matching pixels）作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，表達(dá)式如下：

其中：dC(u，v)為計(jì)算所得的視差圖中像素點(diǎn)的視差值；dGT(u，v)為對(duì)應(yīng)像素點(diǎn)在真實(shí)視差圖（Ground Truth）中的視差值；σd為誤匹配評(píng)判閾值；N為真實(shí)視差圖中有效像素點(diǎn)的總數(shù)。

實(shí)驗(yàn)涉及的參數(shù)設(shè)置：t1=6，t2=16，λRCensus=15，λgrad=20，ε=0.001，α=1，β=0.2，nRCensus=9，ngrad=7，nfiltering=9，σd=4。

3.1 初始匹配代價(jià)效果驗(yàn)證

將Census 變換匹配代價(jià)算法、本文提出的RCensus 變換匹配代價(jià)算法以及本文提出的融合代價(jià)算法進(jìn)行比較，驗(yàn)證所提融合代價(jià)算法的效果。3 種算法均不進(jìn)行代價(jià)聚合與視差優(yōu)化，只通過WTA 算法得到初始視差圖，以Teddy 圖像為例，其初始視差圖如圖2 所示。

圖2 不同匹配代價(jià)算法的初始視差圖對(duì)比Fig.2 Comparison of initial disparity maps of different matching cost algorithms

圖2 中第1 行是不同匹配代價(jià)算法得到的Teddy圖像的視差圖，圖2 中第2 行是視差圖的細(xì)節(jié)放大圖。可以看到，相較于傳統(tǒng)算法，本文算法的視差圖邊緣較清晰，在相似紋理區(qū)域、弱紋理區(qū)域和視差不連續(xù)區(qū)域的噪聲較小。3 種算法中，融合代價(jià)算法的表現(xiàn)效果最好。

為了對(duì)以上3 種匹配代價(jià)算法進(jìn)行定量比較，計(jì)算3 種方法所得15 組圖像的初始視差圖在非遮擋區(qū)域（non）和全部區(qū)域（all）的加權(quán)平均誤匹配率，結(jié)果如圖3所示。可以看出，不論是本文所提的RCensus 變換算法還是融合代價(jià)算法，其精度都優(yōu)于傳統(tǒng)Census算法。

圖3 不同匹配代價(jià)算法的加權(quán)平均誤匹配率Fig.3 Weighted average of percentage of bad matching pixels of different matching cost algorithms

3.2 代價(jià)聚合的效果驗(yàn)證

為驗(yàn)證所提優(yōu)化引導(dǎo)濾波代價(jià)聚合算法的效果，將所提算法與引導(dǎo)濾波代價(jià)聚合算法進(jìn)行比較。兩種算法均使用本文所提融合匹配代價(jià)計(jì)算方法計(jì)算初始匹配代價(jià)，分別用引導(dǎo)濾波和優(yōu)化引導(dǎo)濾波進(jìn)行代價(jià)聚合，均通過WTA 算法計(jì)算視差，且均不進(jìn)行視差優(yōu)化。兩種不同代價(jià)聚合算法所得15 組圖像的視差圖在非遮擋區(qū)域和全部區(qū)域的加權(quán)平均誤匹配率如表1 所示?？梢钥闯?，本文所提算法優(yōu)于傳統(tǒng)算法。

表1 不同代價(jià)聚合算法的加權(quán)平均誤匹配率Table 1 Weighted average of percentage of bad matching pixels of different cost aggregation algorithms %

3.3 不同算法對(duì)比分析

將本文算法與其他4 種現(xiàn)有的立體匹配算法（Cens5［22］、IGF［23］、ISM［24］和ADSR_GIF［25］）進(jìn)行對(duì)比，進(jìn)一步驗(yàn)證本文算法的有效性。5 種算法的部分視差圖如圖4 所示?？梢钥闯觯疚乃惴ㄋ媒Y(jié)果都比較清晰、完整?？傮w來看，本文算法的邊緣保持效果較好，噪聲較小，物體表面較平滑，視差圖效果優(yōu)于其他算法。

圖4 不同算法得到的視差圖對(duì)比Fig.4 Comparison of disparity maps obtaincd by different algorithms

將5 種算法所得15 組圖像的視差圖在非遮擋區(qū)域和全部區(qū)域的誤匹配率進(jìn)行比較，結(jié)果如表2 和表3 所示?？梢钥闯觯疚乃惴ㄔ诜钦趽鯀^(qū)域和全部區(qū)域的加權(quán)平均誤匹配率均低于另外4 種算法，因此，本文算法精度較高，穩(wěn)定性較好。

表2 不同算法在非遮擋區(qū)域的誤匹配率對(duì)比Table 2 Comparison of percentage of bad matching pixels of different algorithms in non-occlusion regions %

表3 不同算法在全部區(qū)域的誤匹配率對(duì)比Table 3 Comparison of percentage of bad matching pixels of different algorithms in all regions %

為進(jìn)一步說明算法的實(shí)用性，使用本文算法在遙感圖像中進(jìn)行立體匹配，實(shí)驗(yàn)結(jié)果如圖5 所示。可以看出，本文算法所得視差圖與真實(shí)視差圖基本一致，可以很好地保留圖像的輪廓信息，具有一定的實(shí)用性。

圖5 本文算法在遙感圖像中的應(yīng)用Fig.5 Application of algorithm in this paper in remote sensing images

4 結(jié)束語(yǔ)

基于現(xiàn)有局部立體匹配算法，本文提出一種基于融合代價(jià)和優(yōu)化引導(dǎo)濾波的立體匹配算法。在匹配代價(jià)計(jì)算階段依據(jù)梯度信息、梯度的平均值和梯度的標(biāo)準(zhǔn)差計(jì)算多指標(biāo)梯度代價(jià)，并將7 等級(jí)編碼的精細(xì)化Census 變換匹配代價(jià)與之融合形成初始匹配代價(jià)，以更加全面地體現(xiàn)像素點(diǎn)的區(qū)域特性，顯著降低誤匹配率。在代價(jià)聚合階段提出一種優(yōu)化引導(dǎo)濾波算法，該算法具有自適應(yīng)調(diào)節(jié)濾波性能的優(yōu)點(diǎn)，能夠提升計(jì)算準(zhǔn)確性。在Middlebury V3 立體評(píng)估平臺(tái)上的實(shí)驗(yàn)結(jié)果表明，本文算法可以獲得精度較高的視差圖，在遙感圖像上也能很好地解決匹配問題。下一步將收集或拍攝不同環(huán)境下的雙目圖像數(shù)據(jù)，對(duì)立體匹配算法進(jìn)行多方面測(cè)試與優(yōu)化，使其能更好地運(yùn)用于實(shí)際生產(chǎn)和生活中。