安 耿,楊?yuàn)^林,周夢園,竇信瑞

(1.吉首大學(xué)通信與電子工程學(xué)院,湖南 吉首 416000;2.吉首大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,湖南 吉首 416000)

雙目立體匹配技術(shù)利用雙目圖像可以得到物體世界坐標(biāo)系下的信息.近年來,雙目立體匹配技術(shù)廣泛應(yīng)用于智能駕駛、三維重建和機(jī)器人輔助等領(lǐng)域[1-3].立體匹配算法根據(jù)計(jì)算區(qū)域的不同,可大致分為全局匹配算法[4-5]與局部匹配算法.全局匹配算法采用全局最優(yōu)化理論,可獲得較高精度的視差圖,但計(jì)算復(fù)雜度高,匹配速度慢;局部匹配算法的計(jì)算量小,實(shí)時(shí)性好,但受計(jì)算區(qū)域和噪聲的影響較大,致使視差圖存在深度不連續(xù),形狀模糊[6].為了兼顧匹配精度與實(shí)時(shí)性,筆者受文獻(xiàn)[7-9]啟發(fā),選用雙邊濾波的模板值替代傳統(tǒng)Census變換窗口中心點(diǎn)灰度值,以避免噪聲影響而導(dǎo)致誤匹配;為了提升匹配精度,加入Sobel算子,將其與灰度絕對(duì)誤差和 (Sum of Absolute Differences,SAD)算法的匹配代價(jià)進(jìn)行代價(jià)融合.

1 傳統(tǒng)Census變換

傳統(tǒng)Census變換是一種利用局部窗口的非參數(shù)區(qū)域變換.首先對(duì)于校準(zhǔn)好的左、右圖像按照視差范圍劃分計(jì)算區(qū)域,局部窗口中心點(diǎn)p的灰度值I(p)和窗口鄰域q的灰度值I(q)在區(qū)域內(nèi)進(jìn)行比較,鄰域灰度值大于或等于中心點(diǎn)灰度值,就將該點(diǎn)設(shè)置為0,反之設(shè)置為1;然后依次按位串聯(lián)生成2串二進(jìn)制比特串;最后依次進(jìn)行異或運(yùn)算得到漢明距離,用漢明距離作為像素點(diǎn)的匹配代價(jià).

傳統(tǒng)Census變換表示為：

Ccen(p)=?ζ(I(p),I(q))q∈Np.

其中：?是按位串聯(lián)符;Np為像素點(diǎn)P的鄰域.像素點(diǎn)p的匹配代價(jià)為

C(p,d)=Hamming(CLcen(p),CRcen(p,d))d∈[dmin,dmax].

其中：CLcen(p)為左圖的比特串;CRcen(p,d)為右圖在視差為d的比特串;dmin,dmax分別為最小視差和最大視差.

2 改進(jìn)算法的設(shè)計(jì)

2.1 改進(jìn)的Census變換

傳統(tǒng)Census變換利用窗口中心點(diǎn)灰度值和鄰域點(diǎn)灰度值的相對(duì)關(guān)系來計(jì)算匹配代價(jià),當(dāng)中心點(diǎn)灰度值受到外界干擾時(shí),會(huì)導(dǎo)致匹配代價(jià)較原來結(jié)果出現(xiàn)差別.筆者將采用雙邊濾波的模板值替代傳統(tǒng)Census變換窗口中心點(diǎn)灰度值.

雙邊濾波由一個(gè)能反映像素點(diǎn)空間距離的空間域核和一個(gè)能反映像素值距離的值域核組成,可以在有效去除噪聲影響的同時(shí)保留圖像邊緣信息.空間域核和值域核分別表示為

2.2 Sobel算子代價(jià)計(jì)算

由于傳統(tǒng)Census變換會(huì)導(dǎo)致像素點(diǎn)之間的紋理信息丟失,因此筆者選用Sobel算子補(bǔ)充視差圖的紋理信息.

Sobel算子使用縱向梯度卷積核和橫向梯度卷積核對(duì)每個(gè)像素點(diǎn)做卷積和運(yùn)算：

2.3 SAD算法代價(jià)計(jì)算

傳統(tǒng)Census變換具有灰度不變性,這使得傳統(tǒng)Census變換能夠容納一定的光照變化和噪聲,但會(huì)導(dǎo)致整體匹配精度降低.SAD算法能反映區(qū)域內(nèi)灰度值的變化,有較好的整體匹配效果.該算法是在左圖和右圖分別選擇1個(gè)窗口,2個(gè)窗口每個(gè)位置的灰度值對(duì)應(yīng)相減求得差值,再將每個(gè)位置上的差值取絕對(duì)值后累加起來作為視差值.這個(gè)過程用公式表示為

其中w為匹配窗口大小,IL(x,y)和IR(x,y)分別為左、右圖在(x,y)點(diǎn)的灰度值.

2.4 代價(jià)融合

融合改進(jìn)后的Census變換、Sobel算子和SAD算法三者的匹配代價(jià)為

Cf(p,d)=ρ(CRcensus(p,d),λRcensus)+ρ(CSobel(p,d),λSobel)+ρ(CSAD(p,d),λSAD).

(1)

其中：CRcensus(p,d)為改進(jìn)后的Census變換的匹配代價(jià);CSobel(p,d)為Sobel算子的匹配代價(jià);CSAD(p,d)為SAD算法的匹配代價(jià);λRcensus,λSobel和λSAD分別為改進(jìn)后的Census變換、Sobel算子和SAD算法的權(quán)重[10];ρ是歸一化函數(shù).

3 改進(jìn)算法的立體匹配流程

Scharstein等[11]將立體匹配流程總結(jié)為匹配代價(jià)計(jì)算、匹配代價(jià)聚合、視差計(jì)算和視差后處理這4個(gè)步驟.

(1)匹配代價(jià)計(jì)算.通過(1)式得到初始的代價(jià)空間.

(2)匹配代價(jià)聚合.目的是建立相鄰視差之間的聯(lián)系.筆者使用動(dòng)態(tài)十字交叉域代價(jià)聚合,以計(jì)算左臂長為例：

(2)

D(p,q)

(3)

(4)

方程組(2)表示臂長延伸時(shí),要求I(p)和I(q)的差值要小于閾值τ1;(3)式限制臂長D(p,q)小于最大臂長l1;方程組(4)表示當(dāng)臂長超過設(shè)定臂長l2,小于最大臂長l1時(shí),取更加嚴(yán)格的閾值τ2.

(3)視差計(jì)算.采用贏家通吃策略選擇最優(yōu)視差,表示為

dp=argminC(p,d)d∈[dmin,dmax].

(4)視差后處理.使用左右一致性檢驗(yàn)和引導(dǎo)濾波對(duì)視差圖進(jìn)行優(yōu)化.左右一致性檢驗(yàn)可描述為

|dL-dR|≤Td,d(p)=min{d(pL),d(pR)}.

其中：dL和dR分別為左、右視差圖的視差;Td為閾值,對(duì)于不滿足閾值的像素點(diǎn)標(biāo)記為異常點(diǎn);d(pL)和d(pR)分別表示異常點(diǎn)p在左、右方向第1個(gè)非異常點(diǎn)的視差.

4 實(shí)驗(yàn)部分

為了驗(yàn)證改進(jìn)算法的可行性,選取Middlebury網(wǎng)站提供的Tsukuba,Teddy,Cones等3組標(biāo)準(zhǔn)雙目圖像進(jìn)行測試,3組圖像的原始圖像及真實(shí)視差圖像如圖1所示.在Intel Core i5-7300HQ主頻2.5 GHz、內(nèi)存8 GB、Windows 10、Python3.7.2環(huán)境下運(yùn)行,采用改進(jìn)算法和傳統(tǒng)Census變換分別對(duì)3組圖像進(jìn)行匹配,結(jié)果如圖2所示.

圖1 原始圖像和真實(shí)視差圖像Fig. 1 Original Image and True Parallax Image

圖2 傳統(tǒng)Census變換和改進(jìn)算法的匹配結(jié)果Fig. 2 Matching Results of Traditional Census Transform and Improved Algorithm

由圖2可見,相比傳統(tǒng)Census變換,改進(jìn)算法在無紋理和弱紋理區(qū)域的匹配效果更好,邊緣更清晰,說明改進(jìn)算法在不同場景下都具有較好的匹配精度.

設(shè)置誤差閾值為1 pixel,表1展示了3組雙目圖像分別使用傳統(tǒng)Census變換和改進(jìn)算法的誤匹配率.由表1可知,改進(jìn)算法的平均誤匹配率比傳統(tǒng)Census變換的降低了約46%.為了驗(yàn)證改進(jìn)算法的抗噪性能,給3組雙目圖像加入均值為0、方差為0.02的高斯噪聲,實(shí)驗(yàn)結(jié)果見表2.由表2可知,在高斯噪聲影響下,改進(jìn)算法的平均誤匹配率比傳統(tǒng)Census變換的降低了約53%,說明改進(jìn)算法對(duì)于噪聲場景有良好的抗噪性.

表1 傳統(tǒng)Census變換和改進(jìn)算法的誤匹配率Table 1 Mismatch Rate of Traditional Census Transform and Improved Algorithm %

表2 高斯噪聲情況下的誤匹配率Table 2 Mismatch Rate in Gaussian Noise %

5 結(jié)語

針對(duì)傳統(tǒng)Census變換窗口中心點(diǎn)值易受噪聲影響等問題,筆者引入雙邊濾波模板值替代窗口中心點(diǎn)值,同時(shí)加入Sobel算子,將其與SAD算法的匹配代價(jià)進(jìn)行代價(jià)融合,有效地利用了圖像的灰度與梯度信息.實(shí)驗(yàn)結(jié)果表明,在無噪聲和含噪聲的情況下,改進(jìn)算法的平均誤匹配率比傳統(tǒng)Census變換的分別降低了約46%和53%,改進(jìn)算法具有更好的匹配精度和抗噪能力.未來考慮設(shè)計(jì)不同紋理場景下的動(dòng)態(tài)十字交叉域,并加入子像素優(yōu)化等視差后處理算法,以得到更高精度的視差圖.