趙 蕓，莊振華，徐 興,張 云,呂曉姝

(1.浙江科技學(xué)院 信息與電子工程學(xué)院，浙江 杭州 310023; 2.浙江科技學(xué)院 機(jī)械與能源工程學(xué)院，浙江 杭州 310023; 3.芬蘭阿爾托大學(xué)，芬蘭 阿爾托 02130)

0 引言

隨著智能制造的發(fā)展以及智能化機(jī)器人的廣泛應(yīng)用，基于視覺的工業(yè)抓取設(shè)備、物流車和機(jī)器人等系統(tǒng)成為了研究熱點(diǎn)[1]。獲得精確的自身位置信息是這些系統(tǒng)共同的關(guān)鍵技術(shù)，而在視覺系統(tǒng)中獲得稠密圖是獲取自身位置不可或缺的一步[2]。立體匹配計算出兩幅或多幅圖像的視差，是獲得稠密圖的重要方法，也是深度獲取和立體視覺的基礎(chǔ)。

Scharstein[3]把立體匹配主要分為4個步驟：代價計算、代價聚合、視差計算、后處理。全局立體匹配算法通常會跳過代價聚合步驟而關(guān)注視差的計算，通過構(gòu)建一個全局的能量函數(shù)來求取視差，但計算時需要對圖形從整體上進(jìn)行分析和處理，速度比較慢；局部立體匹配算法通過代價聚合優(yōu)化視差，利用像素點(diǎn)周圍的局部信息估計視差，得到視差的局部最優(yōu)解，速度較快[4]。

代價聚合是局部立體匹配最具有研究意義的步驟。早期代價聚合通過對支持窗口內(nèi)的初始代價卷進(jìn)行求和或取加權(quán)平均來提高匹配可靠性，速度較快，如盒式濾波和高斯濾波[5]。但由于盒式濾波和高斯濾波是同性濾波器，視差圖的物體邊緣會出現(xiàn)模糊[6]。為解決該問題，將具有保持邊緣性質(zhì)的雙邊濾波[7-9]以及引導(dǎo)濾波[10]引入了代價聚合中,但由于這些算法只在單一的尺度層進(jìn)行代價聚合，沒有考慮和視覺系統(tǒng)一樣的從粗到精的過程[11]，導(dǎo)致算法整體在低紋理區(qū)域、無紋理區(qū)域匹配的錯誤率很高[12-14]?？紤]到視覺系統(tǒng)，Zhang等[15]將跨尺度的思想引入立體匹配過程，搭建了跨尺度的代價聚合(Cross-Scale Cost Aggregation, CSCA)框架，將多個尺度的代價卷融合得到目標(biāo)代價卷，其中使用

引導(dǎo)濾波(Guided Filter, GF)等代價聚合方法取得了較好的視差圖，但在低紋理區(qū)域、無紋理區(qū)域匹配的錯誤率依舊較高，而且聚合代價耗時較長。

為此，本文將快速引導(dǎo)濾波(Fast Guide Filter, FGF)[16]應(yīng)用到代價聚合，同時受文獻(xiàn)[15]的啟發(fā)，在不同尺度層分別采用區(qū)域樹聚合(Segment Tree, ST)[17]和快速引導(dǎo)濾波的算法，所提算法降低了低紋理區(qū)域、無紋理區(qū)域匹配的誤匹配率，獲得了更為精確的視差圖，并極大地減少了計算耗時。

1 算法

本文針對文獻(xiàn)[15]提出的多尺度代價聚合框架進(jìn)行了改進(jìn)，原算法的主要流程如下:

(1)首先將左右圖像均通過高斯金字塔下采樣。

(2)分別對每一個下采樣層的左右圖像進(jìn)行代價計算得到的初始代價卷[18]。

(3)對初始代價卷進(jìn)行代價聚合，文獻(xiàn)[15]使用了引導(dǎo)濾波、區(qū)域樹濾波等代價聚合方法中的某一種。

(4)將各個尺度聚合后的代價卷融合得到最終代價卷。

(5)由最終匹配代價卷計算視差圖并進(jìn)行后處理。

本文基于跨尺度代價聚合框架[15]主要有兩點(diǎn)改進(jìn)：第一，將快速引導(dǎo)濾波引入到立體匹配的代價聚合階段；第二，提出一種在不同下采樣層交替使用快速引導(dǎo)濾波和區(qū)域樹代價聚合方法的立體匹配算法，而原作者在所有的下采樣層只采用同一種代價聚合方法。因此，原算法的步驟3變?yōu)樵谂紨?shù)下采樣層使用快速引導(dǎo)濾波，在奇數(shù)下采樣層使用區(qū)域樹代價聚合。其流程如圖1所示。

其中WTA(winner take all)表示勝者為王策略，具體將在1.3節(jié)介紹。流程圖中省略了2，3下采樣層，在這些下采樣層對初始代價卷進(jìn)行代價聚合時分別使用ST，F(xiàn)GF算法。s表示處于高斯金字塔中的層數(shù)。對于高斯金字塔，第s分解層圖像與第s-1分解層圖像之間滿足：

Gs-1(2i+m,2j+n)。

(1)

其中：像素的坐標(biāo)(i,j)滿足1≤i≤Rs-1/2，1≤j≤Cs-1/2；Rs-1，Cs-1分別是第s-1層的行數(shù)和列數(shù)[18]。第s層的分解圖像Gs比s-1層圖像Gs-1的縮小了4倍。w(m,n)是大小為奇數(shù)k(k=3,5,7,…)的生成核，可以看作一個低通二位濾波器，是一個窗函數(shù)，m,n是在窗口中的位置，一個典型的5×5w(m,n)窗口如下所示:

(2)

1.1 代價計算

下面采用將像素強(qiáng)度和梯度加權(quán)的方法來計算代價。對于一組相同寬度和高度的圖片，左圖中第i像素即坐標(biāo)為(xi,yi)的像素在視差等級為l時的代價值C(i,l)可以表示為：

C(i,l)=(1-α)·min[‖I(i)-I′(il)‖,τ1]+

α·min[‖xI(i)-xI′(il)‖,τ2]。

(3)

式中：il是右圖中對應(yīng)左圖第i像素的點(diǎn)，其像素坐標(biāo)為(xi-l,yi)，I(i)和I(il)分別是表示像素i和il的強(qiáng)度值，xI(i)和xI′(il)為像素i和il的梯度值,τ1、τ2為截斷值。α用來調(diào)節(jié)像素強(qiáng)度和梯度各占的比例。

通過式(3)可以得到維度為W×H×L的初始代價卷C∈W×H×L，其中W是圖像的寬，H是圖像的高，L是視差的數(shù)量。

1.2 改進(jìn)的跨尺度代價聚合

由于通過上述方法直接獲得的初始代價卷C總是有噪聲的，要對其進(jìn)行降噪，Zhang等[15]提出了一個最小二乘(Weighted Least Squares, WLS)框架來重塑初始代價卷，如下所示：

(4)

(5)

針對目前的所有方法在高紋理區(qū)域表現(xiàn)很好，在低紋理區(qū)域或無紋理區(qū)域卻誤匹配率很高的問題。CSCA還建立了一個結(jié)合不同下采樣圖片的多尺度代價卷。除此之外，CSCA通過增加層間約束項增強(qiáng)了不同尺度層之間的聯(lián)系。在尺度空間為0和s之間時，最優(yōu)化問題表示為

(6)

(7)

ST算法作為一種非傳統(tǒng)的全局算法，它具有較為準(zhǔn)確且速度快的特點(diǎn)，但由于需要對圖像進(jìn)行分割，不能很好地保持邊緣特性，在區(qū)域信息不能很好引入的情況下會導(dǎo)致視差圖某些區(qū)域的空白。FGF算法能夠在保持速度的同時，具有保持邊緣特性且能夠取得較好的代價聚合效果，但速度和ST算法仍有差距。綜上所述，本文在偶數(shù)下采樣層引用了快速引導(dǎo)濾波，在保證聚合效果的同時加快了聚合速度，奇數(shù)下采樣層使用區(qū)域樹濾波，如式所示：

(8)

其中：kFGF(is,js)表示使用快速引導(dǎo)濾波作為相似核，kST(is,js)表示使用區(qū)域樹濾波作為相似核。

進(jìn)一步地將式(6)表示為關(guān)于z的函數(shù)如式(9):

(9)

2λ(zs-zs-1)-2λ(zs+1-zs)

(10)

(11)

同理，可得s=0和s=S的表達(dá)式，在考慮各個尺度下的式后，可以用矩陣運(yùn)算表達(dá)整個運(yùn)算,如下所示：

(12)

(13)

1.3 視差計算和視差后處理

采用勝者為王的方法，選擇匹配代價最小的視差為最終視差，其公式為:

(14)

式中：dfinal為最終視差，代價卷C(j,l)是第j像素在視差等級l下的代價值，lmax是最大視差。

視差后處理對所得到的視差值進(jìn)行進(jìn)一步的優(yōu)化與處理,有左右一致性檢測(Left-Right Consistency, LRC),遮擋過濾和中值濾波等一系列方法,能夠彌補(bǔ)之前算法的不足。本文主要的改進(jìn)在代價聚合部分，為了測試本文算法最終的效果。所以不進(jìn)行任何的視差后處理。

1.4 快速引導(dǎo)濾波

和引導(dǎo)濾波相同，快速引導(dǎo)濾波的引導(dǎo)核由局部線性模型確定，如下所示：

qi=akIi+bk,?i∈wk。

(15)

式中：qi為輸出圖像中第i像素的強(qiáng)度,即除去噪聲或者紋理后的圖片，wk為第k以r為半徑的窗口，ak和bk為第k窗口下的系數(shù)，Ii為引導(dǎo)圖像的第i像素的像素強(qiáng)度。

分別將p和I帶入式(1)可以得到下采樣后的ps和Is。其中：p是輸入圖像，I是引導(dǎo)圖像，ps是s下采樣層的輸入圖像，Is是s下采樣層的引導(dǎo)圖像，本文取s=1。為確定式(15)的線性系數(shù)，問題轉(zhuǎn)化為使s尺度下的輸入圖像ps和輸出圖像qs差異最小的最優(yōu)化問題：

(16)

(17)

(18)

(19)

在本文提出的算法中，輸入圖像為各個尺度下經(jīng)過代價聚合的代價卷，引導(dǎo)圖像為左圖。

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法降低低紋理區(qū)域，無紋理區(qū)域匹配的誤匹配率、獲得更精確的視差圖，以及減少計算耗時方面的有效性，本文采用Middlebury[1,19]測試集來驗(yàn)證全部區(qū)域誤差，非遮擋區(qū)域誤差，以及算法的計算所用時間。誤差閾值選擇為2。實(shí)驗(yàn)環(huán)境為Win10系統(tǒng)，中央處理器為i5-8400，為了驗(yàn)證速度，均不使用CPU多線程和GPU并行加速。

分別得到全部區(qū)域誤匹配率表1，非遮擋區(qū)域誤匹配率表2，以及本文算法和跨尺度框架下使用GF算法所用時間表3。其中全部區(qū)域誤匹配率是將算法得到的視差與真實(shí)視差對比。若相差的值大于閾值2，則記為誤匹配點(diǎn)。最后結(jié)果為誤匹配點(diǎn)數(shù)目占全部像素點(diǎn)數(shù)目的百分比，計算非遮擋區(qū)域誤匹配率時去除了被遮擋的區(qū)域。圖2所示為venus原圖；圖3所示為venus的真實(shí)視差圖；圖4所示為跨尺度框架下使用GF算法的視差圖；圖5所示為本文提出算法的視差圖；圖6所示為跨尺度框架下使用GF算法在非遮擋區(qū)域的誤差圖；圖7所示為本文提出算法在非遮擋區(qū)域的誤差圖。

表1 全部區(qū)域視差誤匹配率 %

表1中：ST表示僅使用ST代價聚合，不使用跨尺度代價聚合框架；GF表示僅使用GF代價聚合，不使用跨尺度代價聚合框架；SSCA+ST表示在跨尺度代價聚合框架下使用ST聚合算法；SSCA+GF表示在跨尺度代價聚合框架下使用GF聚合算法。

表2 非遮擋區(qū)域視差誤匹配率 %

從表1和表2可以看出，所提算法無論在全部區(qū)域還是在非遮擋區(qū)域都取得了更低的視差誤匹配率。全部區(qū)域視差誤匹配率只有跨尺度代價聚合框架下使用GF聚合算法的2/3，非遮擋區(qū)域視差誤匹配率只有跨尺度代價聚合框架下使用GF聚合算法的73%。還可以看出，算法的誤匹配率的高低還與場景的復(fù)雜程度以及遮擋程度相關(guān)，在不考慮遮擋點(diǎn)的前提下tsukuba場景最為復(fù)雜且有大量的無紋理區(qū)域，因此取得的誤匹配率最高。

結(jié)合圖4、圖5以及上文的誤匹配率分析可以看出，本文算法在不加任何的視差后處理前提下取得了比跨尺度框架下使用GF聚合的算法更精確的視差圖。圖6和圖7中白色點(diǎn)的位置是誤匹配的位置，從兩圖閾值為2的非遮擋區(qū)域的誤匹配點(diǎn)可以看出，所提算法在低紋理區(qū)域、無紋理區(qū)域(矩形輪廓區(qū)域內(nèi))的誤匹配率遠(yuǎn)低于在跨尺度代價聚合框架下使用GF聚合算法，在相應(yīng)的區(qū)域，本文算法的誤匹配率只有聚合框架下使用GF聚合算法誤匹配率63%。

表3 算法整體時間 s

表3的時間是獲得最終視差圖的所用的整體時間，本文算法的平均計算速度是跨尺度框架下使用GF聚合的算法的2.5倍，其中在Teddy上達(dá)到了3倍的速度。

表4給出了所提算法的全部區(qū)域平均視差誤匹配率隨選定閾值的變化情況?？梢钥闯?，隨著閾值的上升，對誤匹配點(diǎn)的條件更加寬松，誤匹配率逐步降低。

表4 閾值對提出算法精度的影響

綜合來看，相較于傳統(tǒng)的基于跨尺度代價聚合框架的立體匹配算法，本文提出的算法降低了低紋理區(qū)域，無紋理區(qū)域誤匹配率，取得了更精確的視差圖，同時提高了計算速度。

3 結(jié)束語

為了提高室內(nèi)自動物流裝置以及工業(yè)抓取設(shè)備的準(zhǔn)確性與速度，本文提出了一種改進(jìn)的基于跨尺度代價聚合的立體匹配算法，算法在偶數(shù)下采樣層使用快速引導(dǎo)濾波，在奇數(shù)下采樣層使用區(qū)域樹代價聚合，研究證明在不同的代價卷中結(jié)合不同的代價聚合方法，能夠?qū)Ω鱾€下采樣層起到相互融合與抑制的作用，能有效提高算法性能。本文算法降低了低紋理區(qū)域、無紋理區(qū)域的誤匹配率，獲得了更精確的視差圖，并極大地減少了跨尺度框架下使用GF算法的計算耗時。本文對提出的算法在全部區(qū)域誤匹配率、非遮擋區(qū)域誤匹配率以及算法運(yùn)行時間方面進(jìn)行深入分析，并將結(jié)果與多種經(jīng)典算法、以及傳統(tǒng)的基于跨尺度代價聚合框架的立體匹配算法進(jìn)行對比分析。未來，考慮將跨尺度框架與卷積網(wǎng)絡(luò)相結(jié)合，進(jìn)一步降低算法的誤匹配率并減少算法的運(yùn)行時間，并將立體匹配技術(shù)運(yùn)用到避障場景中。