茆 看，靜大海

（河海大學 計算機與信息學院，江蘇 南京 211110）

基于擴展雙權重聚合的實時立體匹配

茆 看，靜大海

（河海大學 計算機與信息學院，江蘇 南京 211110）

基于在保證實時性的前提下提高匹配精確度的目的，本文采用了一種基于擴展雙權重聚合的實時立體匹配方法。擴展雙權重聚合是基于以下2個新的想法。第一，擴展雙權重聚合越過顏色邊界連接相似區(qū)域，對于一個給定的像素給予一個很大的支持區(qū)域。第二，它不包括支持區(qū)域中的預估異常值，從而制作一個高質量的支持區(qū)域。通過實驗將擴展雙權重聚合的實時立體匹配方法和其他實時立體匹配方法的精確性相比較。實驗結果表明，所提出的立體匹配方法顯示了一個平均5.10%的壞像素率，是這些實時立體匹配方法中精確度最高的。

立體匹配；雙權重聚合；遠程連接聚合；異常排除聚合

立體匹配是對給定的一對立體圖像計算視差圖的過程。目前許多立體匹配的應用程序需要實時處理，但事實上立體匹配需要經歷大規(guī)模的計算。幸運的是，無論硬件還是軟件方面并行處理技術已經非常先進。因此，在最近幾年實時立體匹配的方法被廣泛研究。

立體匹配可以分為兩種類型[1]：全局和局部方法。全局方法[2-3]通過一個能量函數來表示需要解決的立體匹配問題，然后通過使能量函數最小化來找到最優(yōu)的解決方案[4]。局部方法[5-6]計算每個像素的異同，然后確定每個像素的最優(yōu)視差。局部方法本質上是容易計算和適當并行化的。因此，大多數最近的實時立體匹配的方法都采用的是局部方法。一般情況下，局部立體匹配方法包括以下4個步驟[7]：代價計算，代價聚合，視差計算，視差精化。

文中，提出了一種高精度的實時立體匹配方法。為了實現該方法，采用了容易計算的雙權重，聚合步驟中刪除現有雙權重方法的連通性約束。然而在現有的雙權重方法中所有雙權重應都需要與中心像素相關聯。該方法會導致聚合變得復雜但擁有高精度性。

1 傳統聚合方法

聚合步驟對局部立體匹配方法的性能的精度和運算速度方面有顯著影響。根據權重類型，將聚合方法分為2類：雙權重聚合和真值權重聚合。雖然雙權重聚合一般精度不高，但它的計算復雜度較低。相反的，高精度的實時值權重聚合也有較高計算復雜度。

1.1 雙權重聚合

最初，在聚合步驟中使用一個固定大小的正方形窗口，使窗口中的所有代價平均。然而，隨著窗口大小的增加邊緣區(qū)域變得更加模糊，隨著窗口尺寸減小平滑區(qū)域的錯誤隨之增加。

為了克服一個固定大小的窗口帶來的缺點，提出可變窗口和多窗口。一個可變窗口分配一個正方形窗口尺寸能夠自適應每個像素的代價函數和方差。多窗口方法將一個固定大小的窗口分為子窗口，然后選擇一些子窗口作為支持區(qū)域，即這些像素將被聚合。

為了克服矩形支持區(qū)域這一局限性，提出了更加靈活的多邊形區(qū)域。從中心像素向四向量或八向量的每個方向上的移動，直到遇到一個與中心像素顏色差異很大的像素。多邊形支持區(qū)域是通過連接的所有頂點而生成的。

最近提出的雙權重聚合使用一個基于交叉的支持區(qū)域，由其分配像素單元的雙權重[8]。用“基于交叉”這個詞是因為每個像素都有一個十字形元素。為了生成每個像素的元素，沿著4個方向擴展直到遇到一個顏色差異很大的像素作為中心像素。支持區(qū)域是通過收集水平穿過垂直交叉的中心像素從而動態(tài)合成的，如圖1所示。這樣使得分配雙權重的形狀更適合于每個像素，從而增加精確度。

圖1 基于交叉支持區(qū)域的示意圖

現有的雙權重聚合都有連通性約束，因為在權重分配時，所有像素應與中心像素相關聯。這個約束是能夠快速運算速度的關鍵原因。然而，連通性約束也是精度較差的原因之一。由于連通性約束，有很多不屬于聚合目標的像素。

1.2 實值權重聚合

一種自適應權重算法[9-10]根據比較中心像素的色差和空間距離給支持窗口中所有像素分配權重。自適應權重算法的基本假設是，與中心像素比只有較小的顏色和空間距離的像素視為與中心像素有相同的差距。自適應權重算法的準確性有很大的改善，但需要大量的計算。

許多各樣的自適應權重算法需要考慮有效的計算方法?？焖匐p邊立體（FBS）通過為每個子窗口設置統一的重量降低了計算復雜度，從O（W2）降低到O（W2/），W是一個聚集窗口的大小。雙通聚合[11]是利用水平聚集隨后垂直聚集，同時代替二維聚合?？梢詫⒕酆系挠嬎銖碗s度降低到O（W）。此外，指數逐步自適應權重（ESAW）將目標的數量呈指數增加的代價分層結合，從而降低計算復雜度到O(logW)[12]。然而，FBS，雙通聚合，ESAW都帶來不可避免的降低了它們的近似精度。真值權重聚合通常比雙權重聚合更準確，因為真值權重聚合是不受連通性約束的。

2 基于擴展雙權重聚合的立體匹配方法

所提出的方法包括以下4個步驟：代價計算，代價聚合，視差計算，視差精化。整體框圖如圖2所示。所提出的方法的主要改進點是它的聚合步驟，聚合步驟在精度和計算復雜度起著重要作用。

圖2 該立體匹配方法的整體框圖

2.1 代價計算

SAD和HD是兩個被廣泛使用的用來構建綜合代價。將SAD和HD合并使用比分開單獨使用它們效果更好[13]。然而，在結合兩者之前，它們應該被截斷以避免代價過大忽略掉聚合步驟的其他代價。此外，異常檢測，聚合步驟中最重要的一個方面，取決于代價比例。因此，兩者的代價應該被截斷，使它們產生的影響有限。最后，綜合代價為兩個代價的截斷總和：

τSAD和τHD分別代表SAD和HD的截斷值閾值，下標init表示初始代價，用來區(qū)分它和聚合代價。

2.2 代價聚合

代價聚合步驟結合像素的代價，像素代價期望有相同差值從而提高匹配的精度?，F有的雙權重聚合都具有連通性約束，因為所有像素的雙權重分配都要與中心像素相聯系。然而，這種約束是得到一個準確視差圖的一個主要障礙，因為它阻礙了雙權重的靈活分配。與現有的雙權重聚合相比通過移除連通性約束的該聚合方法提供了更高的精度。此擴展雙權重聚合主要有兩種方法：遠程連接聚合和異常排除聚合。遠程連接聚合將聚合目標擴展到顏色邊界的外部，異常排除聚合主要是刪除異常值的雙權重。使用這些方法可以克服雙權重聚合相對較低的精確度，同時可以保持其快速的運算速度。

2.2.1 遠程連接聚合

雙權重聚合根據顏色的相似性和空間約束來確定支持區(qū)域。我們希望同一個對象中的像素都能有相似的顏色。然而，在真實場景中，同一個對象中的許多像素顏色區(qū)別較大，盡管人們不能識別出來。當然，這些像素可以通過降低顏色相似的邊界線的閾值來包含進支持區(qū)域中，但它可能會導致過度聚合而產生一個模糊的視差圖。遠程連接聚合方法要合理地擴展支持區(qū)域，而不是通過放寬的顏色閾值引起過度聚合。

現有的基于交叉的聚合方法中支持區(qū)域設置為每個像素的預定義窗口大小為。如果像素滿足與中心像素顏色相似性和連通性這兩個條件，雙權重將分配給每個像素的4個方向，aggr_pts定義來表示雙權重分配像素端點如下：

下標E表示正確方向，W是聚合窗口的大小，τcolor是顏色閾值。其他3個方向aggr_pts計算方法與它本身方向計算方式相同。函數diff定義如下：

為了降低計算復雜度，在水平聚集后進行垂直聚集，因此，聚合步驟的計算復雜度變成O（W）。因為顏色邊界，很多顏色相似的像素都不能分配到雙權重，如圖3（a）。如果它們屬于聚合目標，錯誤率將會降低。

遠程連接聚合設置雙權重時可以越過顏色邊界。如果它們顏色類似中心像素，不管連通性如何雙權重分配給每個像素在4個方向上。要做到這一點，aggr_pts要擴展到三維數據，定義如下：

aggr_ptE（x，y，1）的定義同（2）式。其他3個方向aggr_pts計算方法與它們自己方向計算方式相同。所提出的方法也是先水平聚集再垂直聚集以保持計算復雜度為O（W）。運算過程通過圖3（b）以圖形方式描述。當比較圖3（a）和圖3（b）時，很明顯可以看出遠程連接聚合方法能夠更合理分配更多雙權重。

圖3 雙權重分配圖形化描述

黑點顯示的是中心像素，而由黑體線包圍的封閉區(qū)域則是聚集的目標像素。

2.2.2 異常排除聚合

一個視差圖的精確度一般是可以通過聚合步驟來提高，因為在其聚集目標中大多數的像素都有一個明顯正確的代價。然而，一些像素的聚合目標組成一個顯然錯誤的代價，導致一個不一樣的錯誤分配。在所提出的方法中，錯誤的代價在聚合之前就已被排除。

排除異常聚合的關鍵是異常值檢測的準確性。因此，各種異常值檢測方法都應進行測試，以找到一個理想的異常值檢測法。在本文中，是通過結合左右一致性檢測（LRC）和平均峰值比（APKR）來找出異常值的。

LRC是最廣泛使用的異常值檢測法。如果某一點在左、右視差圖中的差異不一致，則該點是一個離群點，如下面所示：

dispL和dispR分別代表左，右視差圖。LRC的基本思想是任意一點的視差都必須是唯一的。

APKR是最近提出的立體置信度，它在發(fā)現異常值上顯示出了最佳性能[14]。它被定義為一個像素的二次最低代價和最小代價的比。APKR不僅考慮原始峰率還要考慮周圍像素代價分布的一致性，如下所示：

其中d1和d2分別對應中心像素最小代價和二次最低代價視差，WAPKR是APKR的參考窗口。值得注意的是，APKR不是簡單的平均峰值比。如果一個像素的APKR值比預定閾值低，這個像素將被視為一個異常點。

異常值可以被分為兩類，一類是遮擋一類是不匹配。遮擋發(fā)生在由于立體相機拍攝的不同景象時背景被前景對象隱藏時。不匹配發(fā)生在立體匹配方法出現錯誤導致一個錯誤的預估視差。LRC專門用來找遮擋區(qū)域因為它主要利用左右視差圖的差異。另一方面，APKR主要是搜索不匹配地區(qū)因為不匹配像素的代價分配通常與周圍像素不一致。因此，我們盡量結合LRC和APKR來加強兩項指標的強度，如下：

其中τL和τH分別代表閾值。即使LRC確定一個像素為非離群，當APKR值太小時像素仍可能是異常值，因此，APKR的τL就是用來過濾這種異常值的。

刪除雙權重的異常值之后雙權重將稀疏分布。因此很難有效地計算聚合步驟。但是，利用離群圖和聚合過濾代價，我們可以很容易通過過濾總代價的方法解決這個問題。

2.3 視差計算

正如前面提到的，代價與像素之間的相似性成反比。因此，將最小代價看作是視差是合理。在該方法中，計算視差采用贏者全勝策略，如下：

2.4 視差精化

視差通過3個階段進行優(yōu)化：異常檢測，異常校正和中值濾波。異常值檢測是利用異常排除聚合的相同的標準篩選的；然而，LRC和APKR是在聚合步驟后從聚合代價中重新計算的。

對于一個異常值的校正，是通過對每個異常像素向左右兩個方向搜索最近的非離群像素點。異常值的視差就被具有更相似的顏色的像素視差替換掉。這是因為具有相似的顏色的像素可能有著相同的視差。之后，使用垂直中值濾波處理異常值，以消除因異常值校正而產生的水平劃痕類型的錯誤。最后，利用平方中值濾波對整個視差圖進行平滑處理。

3 實驗結果

通過比較4種不同的情況下，對兩種方法在精確度方面的影響進行了評價：方法0：直接連接聚合不用任何方法；方法1：遠程連接聚合；方法2：異常排除聚合和直接連接聚合；方法3：擴展雙權重聚合（遠程連接聚合和異常排除聚合兩者相結合）。后續(xù)處理步驟也在實驗中進行。實驗結果見表1。每種方法都明顯地降低了錯誤率。當這兩種方法都應用時我們得到了最好的結果。因為這兩種方法是以一種互補的方式進行的。方法1從顏色邊界的外部包含進了更多的聚合目標，而方法2排除了現有聚合目標中的錯誤代價。

表1 各種聚合方法的精度比較

表2顯示了所提出的立體匹配方法和其他實時立體匹配方法的精確性。HEBF，RTAdaptWgt，FastBilateral，RealtimeBFV，ESAW and RT-ColorAW[15]被用作檢測方法。精確度是通過預估壞像素的平均百分比，它的絕對視差錯誤是大于1的。對于每一個圖像，壞像素率是對無遮擋的（NOCC），全部的（all），和不連續(xù)（disc）區(qū)域進行評估，然后取平均值。

表2 各種聚合方法的精度比較

所提出的方法顯示了一個平均5.10%個壞像素率，是這些實時立體匹配方法中精確度最高的。設置，τSAD=30，τHD=40，ω=2，產生初始代價，采用遠程連接聚合的顏色閾值為 13，采用結合LRC和 APKR相結合的異常排除聚合設置為，τH=1.35，τL= 1.05。最后，最后一步的中值濾波在3*3大小的窗口中進行。圖4中提供了本文結果與參考圖像和標準視差圖。

圖4 本文結果與參考圖像和標準視差圖

4 結 論

在本文中，提出了一個新的使用擴展的雙權重聚合的實時立體匹配方法。它有兩個主要的方法來實現高精度：遠程連接聚合設置雙權重越過顏色邊界和異常排除聚合在聚合之前重置異常值的雙權重。該立體匹配方法克服現有的雙權重聚合方法的連通性約束，表現出非常精確的結果，同時可以通過GPU采用CUDA平臺實現，提供快速的運行速度。

[1]馬頌德，張友正.計算機視覺[M].北京:北京科學出版社,1998.

[2]Saygili Gorkem,van der Maaten Laurens,Hendriks Emile A.Feature-based stereo matching using graph-cuts[C]//Conference on Asian Society of Cardiovascular Imaging,Hong Kong,2011:14-15.

[3]KlausA,SormannM,KarnerK.Segment-based stereo matching using belief propagation and a selfadapting dissimilarity measure[C]//The 18th International Conference on Pattern Recognition, Hong Kong,2006:15-18.

[4]Sharstein D,Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal on Computer Vision,2002,47(1-3):7-42.

[5]Yoon K J,Kweon S.Adaptivesupport-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[6]Humenberger M,Zinner C,Weber M,et al.A fast stereo matching algorithm suitable for embedded real-time systems[J].Computer Vision and Image Understanding,2010,114(11):1180-1202.

[7]Einecke N,Eggert J.A two-stage correlation method for stereoscopic depth estimation[C]//International Conference on Digital Image Computing: Techniquesand Applications,Sydney,New South Wales,2010:227-234.

[8]Zhang K,Lu J,Lafruit G.Cross-based local stereo matching using orthogonal integral images[J].IEEE Trans.Circuits Syst.Video Technol，2009，19（7）:1073-1079.

[9]Yoon K J,Kweon I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[10]Rhemann C,Hosni A,Bleyer M,et al.Fast costvolume filtering for visual correspondence and beyond[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2011: 3017-3024.

[11]Zhang K,Lu J,Yang Q,et al.Van Gool,Real-time and accurate stereo:a scalable approach with bitwise fast voting on CUDA [J].IEEE Trans. Circuits Syst.Video Technol,2011,21(7):867-878.

[12]Yu W,Chen T,Franchetti F,et al.High performance stereo vision designed for massively data parallel platforms[J]IEEE Trans.Circuits Syst.Video Technol.2010,20(11):1509-1519.

[13]Sun X,Mei X,Jiao S,et al.Stereo matching with reliabledisparitypropagation [J].International Conference on 3D Imaging,Modeling,Processing, Visualization and Transmission,2011:132-139.

[14]Kim S,Yoo D,Kim Y H.Stereo confidence metrics using the costs of surrounding pixels[J].Interna’tional Conference on Digital Signal Processing, 2014:98-103.

[15]Chang X,Zhou Z,Wang L,et al.Real-time accurate stereo matching using modified two-pass aggregation and winner-take-all guided dynamic programming[J].International Conference on 3D Imaging, Modeling,Processing,Visualization and Transmission,2011:73-79.

Real-time stereo matching based on extended binary weighted aggregation

MAO Kan，JING Da-hai
（Computer and Information Institute，Hohai University，Nanjing 211110，China）

In order to ensure the accuracy of real-time to improve the matching accuracy，this paper puts forward a real-time stereo matching method based on extended binary weighted aggregation.The extended binary weighted aggregation is based on the following two new ideas.First，the extended binary weighted aggregation connects distant regions over color boundaries to make them one large support region for a given pixel.Second，it excludes outliers in the support region to make a high quality support region.The extended binary weighted aggregation and other real-time stereo matching methods are compared by the experiment. Experimental results show that，the proposed stereo matching method shows an average of 5.10%of the bad pixel rate，it is the highest accuracy of these all existing real-time stereo matching methods.

stereo matching；binary weighted aggregation；remotely connected aggregation；outlierexcluded aggregation

TN91

：A

：1674－6236（2017）06-0160-05

2016-03-07稿件編號：201603070

茆 看（1992—），男，江蘇鹽城人，碩士研究生。研究方向：圖像信息處理。