歐永東，謝小鵬

(華南理工大學(xué)機(jī)械與汽車(chē)工程學(xué)院,廣東 廣州 510640)

1 引言

近年來(lái)，人工智能發(fā)展迅猛，機(jī)器視覺(jué)又是其中的一大焦點(diǎn)領(lǐng)域。對(duì)于機(jī)器視覺(jué)來(lái)說(shuō)，立體匹配是機(jī)器視覺(jué)的基礎(chǔ)和研究熱點(diǎn)之一，是通過(guò)匹配雙目或多目圖像中的對(duì)應(yīng)點(diǎn)進(jìn)而獲得場(chǎng)景深度信息的過(guò)程，在軌跡規(guī)劃、虛擬現(xiàn)實(shí)以及三維重建等領(lǐng)域得到了廣泛應(yīng)用[1]。Scharstein等[2]曾闡述了立體匹配的主要過(guò)程，一般可分為4個(gè)階段，即初始代價(jià)匹配、代價(jià)聚合、視差計(jì)算和視差優(yōu)化。依據(jù)匹配范圍的大小，現(xiàn)有立體匹配算法可概括為全局立體匹配和局部立體匹配。全局立體匹配算法的準(zhǔn)確率較高，但是計(jì)算有著復(fù)雜度高、耗時(shí)長(zhǎng)的弊端；局部立體匹配算法雖然運(yùn)算速度快，便于實(shí)現(xiàn)，但匹配準(zhǔn)確率還不夠高。

全局立體匹配算法主要有動(dòng)態(tài)規(guī)劃DP(Dynamic Programming)[3]、置信度傳播BP(Belief Propagation)[4]以及圖割法GC(Graph-Cut)[5]等算法，其優(yōu)勢(shì)在于能達(dá)到較高的定位精度，但是由于其計(jì)算復(fù)雜度高，往往不能滿足實(shí)時(shí)視覺(jué)系統(tǒng)的要求，因而大多數(shù)的視覺(jué)系統(tǒng)都傾向于采用運(yùn)算速度快的局部立體匹配算法。而對(duì)于局部立體匹配算法，初始匹配代價(jià)的計(jì)算作為匹配算法的第一步有著舉足輕重的作用。在初始匹配代價(jià)計(jì)算階段，應(yīng)用最多最廣的3種匹配代價(jià)為：計(jì)算復(fù)雜度低的絕對(duì)差值和SAD(Sum of Absolute Differences)、截?cái)嘟^對(duì)差值和STAD(Sum of Truncated Absolute Differences)以及相對(duì)計(jì)算較復(fù)雜的差值平方和SSD(Sum of Squared Differences)。此外，另有基于梯度信息GBM(Gradient Based Measure)、歸一化互相關(guān)NCC(Normalized Cross Correlation)的匹配代價(jià)。其中，SAD和 SSD 對(duì)光照強(qiáng)度的均勻性和噪聲較敏感；GBM則建立在圖像的梯度差異上，對(duì)圖像的邊緣信息有很好的保留作用，但依舊對(duì)噪聲和光照變化敏感。Census變換因?qū)庹站哂辛己玫目垢蓴_性，得到了廣泛的應(yīng)用，并在此基礎(chǔ)上衍生出了一系列優(yōu)質(zhì)算法。竇燕等[6]總結(jié)出了反色均值化的非參數(shù)Census匹配算法；彭俊新等[7]通過(guò)剔除異常值進(jìn)一步改進(jìn)Census變換，提高了算法匹配準(zhǔn)確率。

以上傳統(tǒng)方法所采用的均為單一匹配代價(jià)，近年來(lái)的研究表明，單獨(dú)運(yùn)用一種匹配代價(jià)往往不能得到高精度的視差圖，匹配精度仍有待提高。為了克服單一匹配代價(jià)的缺陷，近年來(lái)不少學(xué)者都紛紛采用復(fù)合代價(jià)作為初始匹配代價(jià)。王云峰等[8]指出AD代價(jià)與Census代價(jià)相結(jié)合能獲得更好的匹配精度，提出了一種自適應(yīng)權(quán)重的AD-Census匹配算法；鄒進(jìn)貴等[9]探索出了一種自適應(yīng)權(quán)重SAD與Census融合的匹配算法；而在文獻(xiàn)[10]的立體匹配算法中，在初始匹配代價(jià)階段融合了Census與主梯度信息，進(jìn)一步提高了匹配精度。

對(duì)于局部匹配算法來(lái)說(shuō)，其核心就在于初始匹配代價(jià)的計(jì)算和代價(jià)聚合算法，為了更進(jìn)一步取得高精度的視差圖，本文主要針對(duì)這2個(gè)階段進(jìn)行改進(jìn)，由此提出了一種基于改進(jìn)Census變換的多特性立體匹配算法。首先，在初始代價(jià)計(jì)算時(shí)，將改進(jìn)Census變換、色彩測(cè)度和梯度信息進(jìn)行賦權(quán)計(jì)算，取得高可靠性的初始匹配代價(jià)；其次，在代價(jià)聚合階段，本文利用快速最小生成樹(shù)算法進(jìn)行代價(jià)聚合；然后，依據(jù)勝者為王WTA(Winner Take All)法則來(lái)確定初始視差；最后是視差優(yōu)化，經(jīng)由左右一致性檢測(cè)策略減少誤匹配點(diǎn)，提高遮擋點(diǎn)視差精度，最終得到精細(xì)化的視差圖。

2 算法實(shí)施步驟

據(jù)Scharstein等[2]所歸納綜合的視差圖獲取順序，以下將依照初始匹配代價(jià)計(jì)算、代價(jià)聚合、初始視差獲取和視差優(yōu)化4個(gè)步驟進(jìn)行闡明。

2.1 初始匹配代價(jià)

2.1.1 改進(jìn)的Census變換

經(jīng)典的Census變換在整幅圖像中依次以某一像素p為中心參考點(diǎn)，構(gòu)建一個(gè)小范圍的局部窗口，將窗口內(nèi)的像素灰度值順次與中心像素p進(jìn)行數(shù)值比較，將灰度值大于p的記為1，小于p的記為0，獲得一個(gè)以p像素為中心的二進(jìn)制數(shù)字串。轉(zhuǎn)換公式為：

(1)

其中，p為中央?yún)⒖枷袼?，q為p的鄰近像素，I(p)、I(q)分別為p、q的灰度值。由轉(zhuǎn)換判別式(1)可得到相應(yīng)的二進(jìn)制比特串，變換連接式如下所示：

(2)

其中，CT(p)為經(jīng)Census轉(zhuǎn)變后的比特串，?表示將轉(zhuǎn)變位按位鄰接，Np表示p的窗口變換域。

經(jīng)上述2步即可將一定窗口大小的原始像素轉(zhuǎn)換為一定位數(shù)的比特串。詳細(xì)流程如圖1所示，這里示意的是3*3窗口的Census變換。

Figure 1 Census transform process圖1 Census變換過(guò)程

由上述過(guò)程可知,傳統(tǒng)的Census變換主要依賴于中心像素，極易受到外界的噪聲干擾，抗干擾能力弱。Chang等[11]提出用變換窗口內(nèi)的所有像素灰度值的均值替代中心像素，作為參考變換值的算法MCT(Modified Census Transform)，提高了初始匹配代價(jià)的可靠性，但未能充分考慮各個(gè)鄰域像素與參考像素的其他特征關(guān)系。祝世平等[12]在MCT的基礎(chǔ)上考慮了噪聲容限的變換效應(yīng)，增添了噪聲容限的R-MCT(Revised Modified Census Transform)算法，進(jìn)一步改善了單像素匹配的抗干擾能力，但依舊未能充分考慮各個(gè)鄰域像素與中心像素的特征關(guān)系。

針對(duì)上述算法存在的問(wèn)題，本文提出為每個(gè)鄰域像素賦予一定的權(quán)重，然后求和得到參考像素值。具體計(jì)算公式如下所示：

(3)

wpq=exp(-(rs2+cs2)/(2·v))

(4)

其中，Ipm為p加權(quán)后的參考像素值，wpq為各個(gè)鄰域像素的權(quán)重，W為窗口內(nèi)所有權(quán)重之和，rs、cs分別為中心像素p與像素q的橫向、縱向距離，v為空間控制參數(shù)。

當(dāng)視差為d時(shí)，2個(gè)像素之間的漢明距離為：

HD(p,d)=hamming(CTL(p),CTR(p,d))

(5)

其中，CTL、CTR各為左右圖像經(jīng)Census變換后的比特串矩陣。CTL(p)為左圖像中像素p的比特串，CTR(p,d)為右圖像在左圖像相應(yīng)位置的像素p偏移d距離后的比特串值，即若左圖像中像素p坐標(biāo)為(x,y),則右圖像中的(p,d)坐標(biāo)為(x+d,y)。依此，改進(jìn)后的Census變換的匹配代價(jià)為：

CT(p,d)=1-exp(-HD(p,d)/λc)

(6)

其中，λc為Census代價(jià)控制參數(shù)。

2.1.2 色彩信息

Census變換僅僅只考慮了圖像的灰度信息，為了進(jìn)一步提高單像素的匹配度，本文將圖像的三通道R、G、B的顏色信息加入匹配代價(jià)計(jì)算。其匹配代價(jià)為：

(7)

其中，Ccolor(p,d)是像素p在視差為d時(shí)的顏色匹配代價(jià)，IML、IMR分別為左右圖像在M通道的像素值矩陣，IML(p)為左圖像在M通道的p的像素值，IMR(p,d)為右圖像相應(yīng)位置的p偏移d距離后的M通道的像素值，Tcolor為截?cái)嚅撝怠?/p>

2.1.3 梯度信息

梯度信息能有效地保留圖像的邊緣信息，對(duì)改善深度不連續(xù)區(qū)域的匹配準(zhǔn)確性有較好的效果。而傳統(tǒng)的梯度信息代價(jià)通常只是將x、y方向的梯度進(jìn)行絕對(duì)值求和或平方求和，沒(méi)有考慮兩者的權(quán)重關(guān)系。本文將梯度信息引入，并給予一定的權(quán)重，使得邊緣像素能更好地凸顯邊緣的偏向。單一的梯度信息的匹配代價(jià)為：

(8)

2.1.4 多特性匹配代價(jià)

單一特性的匹配代價(jià)往往匹配精度不高，故本文將上述改進(jìn)Census變換、顏色信息、梯度信息進(jìn)行融合，形成可靠性高的初始匹配代價(jià)。加權(quán)交融后的初始匹配代價(jià)計(jì)算如下所示：

C(p,d)=μ1CT(p,d)+

μ2Ccolor(p,d)+μ3CG(p,d)

(9)

其中，μ1,μ2,μ3代表對(duì)應(yīng)特性的權(quán)重值，C(p,d)表示像素p在視差為d時(shí)的初始匹配代價(jià)。

由圖2可以看出，僅僅使用一種匹配代價(jià)所得的視差圖比較粗糙，邊緣保持性較差，而本文算法所得的視差圖整體更為平滑，在深度不連續(xù)區(qū)域的匹配精度更高。故而，本文的多特性匹配算法具有更高的匹配精度，適應(yīng)性更強(qiáng)。

Figure 2 Comparison of disparity maps obtained from a single matching cost with the algorithm in this paper圖2 單一匹配代價(jià)與本文算法所得的視差圖對(duì)比

2.2 代價(jià)聚合

經(jīng)上述初始匹配代價(jià)計(jì)算后，得到的只是單一像素的匹配代價(jià)，并沒(méi)有考慮相鄰像素的作用。單一匹配獲得的視差并不可靠，往往會(huì)因遭到噪聲干擾而出現(xiàn)莫大的誤匹配點(diǎn)。代價(jià)聚合便是將相鄰像素的初始匹配代價(jià)依照一定的方法聚合計(jì)算，取得高匹配度的匹配代價(jià)，使得2點(diǎn)之間的匹配可靠性更高。代價(jià)聚合階段應(yīng)用廣泛的典型方法有盒子濾波、引導(dǎo)濾波[13]等。這些聚合方法大部分是只在支持窗口內(nèi)進(jìn)行聚合，只考慮了窗口內(nèi)像素匹配代價(jià)的相互作用，而徹底忽視了窗口外的像素信息。

本文采用最小生成樹(shù)的聚合方法，將聚合代價(jià)擴(kuò)展至整幅圖像，更全面、有效地利用圖像的整體信息，提高匹配代價(jià)聚合精度。詳細(xì)的做法是：首先把待匹配圖像I用無(wú)向圖G(V,E)表示，V是圖像像素節(jié)點(diǎn)，E是節(jié)點(diǎn)的毗連邊，其權(quán)重為：

w(m,n)=w(n,m)=|I(m)-I(n)|

(10)

其中，I(m)、I(n)為圖像中連接節(jié)點(diǎn)m、n的灰度像素值。這2個(gè)節(jié)點(diǎn)之間的最小生成樹(shù)經(jīng)由Kruskal算法或prim算法來(lái)優(yōu)化，進(jìn)而算出2個(gè)節(jié)點(diǎn)之間的最小連接方式，即最小生成樹(shù)。所得最小連接中，內(nèi)部節(jié)點(diǎn)p、q之間的親近程度是2個(gè)節(jié)點(diǎn)之間的連接邊的權(quán)重之和，記為D(p,q)。則p、q之間的相近度為:

(11)

其中，σ為調(diào)節(jié)相似度常數(shù)。故對(duì)于像素p，聚合后的匹配代價(jià)為:

(12)

最后在不同尺度下分別對(duì)匹配代價(jià)圖進(jìn)行代價(jià)聚合。文獻(xiàn) [14]描述了其類(lèi)似的具體實(shí)施步驟，最終的聚合代價(jià)為:

(13)

2.3 視差獲取與優(yōu)化

本文采用勝者為王策略(WTA)選取視差，即選取匹配代價(jià)圖中最小匹配代價(jià)對(duì)應(yīng)的視差作為該點(diǎn)的視差，其公式為：

(14)

其中，dend代表最小匹配代價(jià)下確定的最優(yōu)視差值，dmax表示視差搜索區(qū)間的最大值，pn表示當(dāng)前像素。

因獲得的初始視差圖必然會(huì)存在遮擋點(diǎn)和誤匹配點(diǎn)，對(duì)其進(jìn)行優(yōu)化也是提高精度的重要一步。這里采納左右一致性檢測(cè)策略減少誤匹配點(diǎn)，具體做法為：憑借左右2幅待匹配輸入圖像，分別獲得左右2幅視差圖。對(duì)左圖中的一個(gè)像素psr，求得的視差值是dL，那么psr在右圖中的理論對(duì)應(yīng)點(diǎn)坐標(biāo)應(yīng)該是(psr-dL)，其視差值記作dR,若:

dL-dR≤thresh

(15)

則斷定psr為誤匹配點(diǎn)，需要重新確定視差值;閾值thresh通常取1。

(16)

其中，dcor為修正后的視差值。

3 實(shí)驗(yàn)

本節(jié)在VS2013下C++軟件平臺(tái)上對(duì)所提算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)的計(jì)算機(jī)硬件配置為64位Windows10家庭中文版，Intel(R) core(TM) i5-9300H的CPU處理器，運(yùn)行內(nèi)存為8 GB。實(shí)驗(yàn)所用到的標(biāo)準(zhǔn)圖像匹配對(duì)Tsukuba、Venus、Teddy、Cones來(lái)源于學(xué)術(shù)界公認(rèn)的Middlebury測(cè)試平臺(tái)。4組標(biāo)準(zhǔn)圖像的視差搜索范圍為：[0,15],[0,19],[0,59],[0,59]。初始匹配代價(jià)所用的窗口大小為55，實(shí)驗(yàn)中所用參數(shù){v，λc，w1，w2，μ1，μ2，μ3}={0.7121，35，0.9，0.1，0.11，0.89，1}。

3.1 匹配代價(jià)計(jì)算驗(yàn)證

為了驗(yàn)證匹配代價(jià)的有效性，本文選取了傳統(tǒng)算法[1]、自適應(yīng)權(quán)重算法[9]、SAD+IGMCT[15]、RinCensus[16]、AdpDP[17]、三測(cè)度融合的算法[18]，對(duì)4組源自Middlebury測(cè)試平臺(tái)的標(biāo)準(zhǔn)圖像對(duì)進(jìn)行測(cè)試，將所得結(jié)果與本文算法的結(jié)果進(jìn)行對(duì)比分析。這里通過(guò)非遮擋區(qū)域與所有區(qū)域的誤匹配率來(lái)對(duì)比算法的優(yōu)劣，結(jié)果如表1和表2所示。

由表1和表2結(jié)果可知，本文算法未經(jīng)過(guò)視差優(yōu)化時(shí)的非遮擋區(qū)域平均誤匹配率為3.43%，全部區(qū)域的平均誤匹配率為5.56%，相比其他算法具有更高的匹配代價(jià)可靠性。圖3為實(shí)驗(yàn)所得的視差圖與標(biāo)準(zhǔn)視差圖的對(duì)比示意。

Table 1 Percentage of false match in nooccluded region of different matching cost algorithms表1 非遮擋區(qū)域不同匹配代價(jià)計(jì)算方法誤匹配率 %

Table 2 Percentage of false match in all regions of different matching cost algorithms表2 所有區(qū)域不同匹配代價(jià)計(jì)算方法誤匹配率 %

Figure 3 Comparison of the disparity map obtained by the algorithm with the standard disparity map圖3 本文算法所得視差圖與標(biāo)準(zhǔn)視差圖的對(duì)比

3.2 15組數(shù)據(jù)測(cè)試集結(jié)果

為了更全面地驗(yàn)證本文算法的可靠性，本文還選取了Middlebury3.0平臺(tái)的15組測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，對(duì)比非遮擋區(qū)域的誤匹配率來(lái)驗(yàn)證算法的好壞。圖4所示是Recycle圖像對(duì)的實(shí)驗(yàn)結(jié)果，其中圖4b為標(biāo)準(zhǔn)的視差圖，圖4c為本文算法所得的視差圖，接近真實(shí)的視差圖，最終所得的誤差匹配率低于4%，相比其他對(duì)比算法更為優(yōu)良，性能得到了提升。最終的所有實(shí)驗(yàn)結(jié)果如表3和表4所示。

Figure 4 Disparity maps of Recycle圖4 Recycle圖像對(duì)的視差圖

表3和表4結(jié)果表明，本文算法在15組測(cè)試數(shù)據(jù)集上的平均誤匹配率最低，僅為6.81%。實(shí)驗(yàn)測(cè)試圖像中的Jadeplant圖像對(duì)最高誤匹配率高達(dá)54.2%，而本文算法僅為11.3%，相比降低了42.9%，極大地提高了匹配的準(zhǔn)確性。

4 結(jié)束語(yǔ)

本文提出了一種基于Census變換的多特性立體匹配算法，以變換窗口內(nèi)的加權(quán)均值為Census變換的中心參考值，增強(qiáng)了Census變換的抗干擾能力；并且將色彩測(cè)度與梯度測(cè)度加權(quán)融合進(jìn)初始匹配代價(jià)中，進(jìn)一步提高了初始匹配代價(jià)中2點(diǎn)單一匹配的可靠性。進(jìn)而，在聚合階段用最小生成樹(shù)算法分別在不同分辨率尺度下進(jìn)行代價(jià)聚合，充分考慮了圖像的細(xì)節(jié)信息，使得視差不連續(xù)及弱紋理區(qū)域的誤匹配率進(jìn)一步降低。驗(yàn)證時(shí)，把本文算法與相關(guān)算法進(jìn)行對(duì)比，結(jié)果表明本文算法的匹配精度相較其他算法更高。但是，從算法所得的視差圖中可以看出，本文算法在細(xì)節(jié)區(qū)域中的匹配精度仍有待提高，今后將在這方面進(jìn)行更深入的研究。

Table 3 Average disparity errors of non-occlusion pixels表3 不同算法非遮擋像素點(diǎn)的視差平均誤差比較

Table 4 Average disparity errors of all pixels表4 不同算法全部像素點(diǎn)的視差平均誤差比較