陸 瑋，劉 翔，薛 冕

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201600)

立體匹配的目的是通過(guò)匹配雙目圖像中的對(duì)應(yīng)像素點(diǎn)，得到左右相機(jī)圖片的視差圖。這不僅是雙目立體視覺(jué)技術(shù)的關(guān)鍵，也是目前三維重建領(lǐng)域的研究重點(diǎn)[1]。為了提高匹配精度，需要克服圖像中存在的弱紋理區(qū)域、遮擋區(qū)域以及邊緣深度不連續(xù)等諸多問(wèn)題[2]。主流立體匹配算法框架分為以下4個(gè)步驟[3]：

(1)匹配代價(jià)計(jì)算。代價(jià)計(jì)算目的是獲得左右圖像間視差的灰度相似性，通常情況下，匹配代價(jià)越低則越相似；

(2)代價(jià)聚合。匹配代價(jià)聚合是使用聚合窗口與視差平面卷積。由初始匹配代價(jià)來(lái)構(gòu)造能量函數(shù)，然后通過(guò)局部算法對(duì)窗口進(jìn)行疊加處理，將能量函數(shù)優(yōu)化為全局最小值，從而提高匹配代價(jià)聚合計(jì)算的可靠性；

(3)視差計(jì)算。目前主流的視差計(jì)算分為基于全局和半全局兩個(gè)方向[4]?；谌值乃惴ㄊ褂冒瑪?shù)據(jù)項(xiàng)與平滑項(xiàng)全局能量函數(shù)。數(shù)據(jù)項(xiàng)是像素的匹配代價(jià)值，平滑項(xiàng)則對(duì)視差值的波動(dòng)進(jìn)行了抑制，使之平滑，然后通過(guò)最小化全局能量函數(shù)，得到最優(yōu)的視差圖。而半全局的算法(Semi-Global Matching，SGM)使用基于像素、互信息(Mutual Information，MI)作為匹配代價(jià)，然后通過(guò)能量函數(shù)進(jìn)行代價(jià)聚合，并采用動(dòng)態(tài)規(guī)劃來(lái)最小化能量函數(shù)以尋找最佳視差[5]，局部立體匹配實(shí)時(shí)性較好，應(yīng)用較為廣泛；

(4)視差優(yōu)化。初始視差被提取之后精度比較低。對(duì)于一些精度要求較高的需求，可以在初始視差的基礎(chǔ)上，采用亞像素增強(qiáng)等方法進(jìn)行細(xì)化求精。同時(shí)也可以通過(guò)中值濾波、左右一致交叉檢測(cè)算法等后處理過(guò)程，去除遮擋區(qū)域以及誤匹配點(diǎn)，修正和濾除計(jì)算后的視差值，從而獲得較高的精確度。

隨著深度學(xué)習(xí)方法向計(jì)算機(jī)視覺(jué)研究領(lǐng)域的引入，從2016年文獻(xiàn)[6]首次將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)技術(shù)應(yīng)用到立體匹配算法之后，基于深度學(xué)習(xí)的方法逐漸展現(xiàn)出優(yōu)勢(shì)。下面將分別對(duì)半全局匹配算法、AD-Census算法以及本文提出的基于超像素分割的孿生網(wǎng)絡(luò)方法進(jìn)行介紹和對(duì)比。

1 半全局匹配算法

半全局匹配算法是一種基于動(dòng)態(tài)規(guī)劃方法改進(jìn)的立體匹配算法[7]。該方法使用 8個(gè)方向均勻的一維路徑對(duì)圖像做動(dòng)態(tài)規(guī)劃計(jì)算，然后再將各個(gè)方向的計(jì)算結(jié)果進(jìn)行合并。立體匹配問(wèn)題可以變成尋找最小能量問(wèn)題，能量函數(shù)為

(1)

(2)

其中，r是單位方向向量。

半全局匹配算法雖然能夠獲得較為準(zhǔn)確的視差圖，但在噪聲環(huán)境和視差圖紋理邊緣的準(zhǔn)確度仍存在局限性。

2 AD-Census算法

Census變換是一種非參數(shù)化變換，用來(lái)表征圖像的局部結(jié)構(gòu)特征[8]。其以一個(gè)矩形窗口遍歷圖像，然后比較窗口中鄰域像素與中心像素灰度值的大小。若灰度值小于中心像素的記為1；大于等于中心像素的記為0。將這些值按位連接成一個(gè)矢量作為中心像素的特征值，用漢明距離來(lái)表示相似度測(cè)量。

2.1 AD-Census聯(lián)合匹配代價(jià)

計(jì)算式如下

(3)

其中，Ccensus(p,d)是Census變換的匹配代價(jià)；CAD(p,d)是SAD(Sum of Absolute Differences)的匹配代價(jià)；λcensus與λAD是調(diào)節(jié)Census與SAD之間比重的參數(shù)。函數(shù)ρ(c,λ)用于控制每個(gè)變換結(jié)果的取值范圍為[0,1]。

2.2 Cross-based代價(jià)聚合

圖1 半全局匹配算法基本流程Figure 1. SGM algorithm flow

圖2 動(dòng)態(tài)十字交叉域Figure 2. Dynamic cross field

聚合代價(jià)計(jì)算式為式(4)。

(4)

相比于單獨(dú)使用基于SAD或Census變換的代價(jià)計(jì)算，基于AD-Census的代價(jià)計(jì)算可以產(chǎn)生更精確的匹配結(jié)果。Census變換在重復(fù)或相似的區(qū)域結(jié)構(gòu)會(huì)產(chǎn)生錯(cuò)誤匹配，而SAD對(duì)于大面積缺乏紋理特征的區(qū)域很難完成有效的匹配。結(jié)合兩者優(yōu)點(diǎn)的AD-Census匹配算法可以減少其單獨(dú)使用所產(chǎn)生的錯(cuò)誤匹配。改進(jìn)之后的視差圖對(duì)比如圖3所示。

(a) (b)圖3 視差對(duì)比(a) SGM方法 (b) AD-Census方法Figure 3. Disparity comparation (a)SGM method (b)AD-Census method

3 Siamese孿生網(wǎng)絡(luò)

本文使用結(jié)合超像素邊緣信息的Siamese孿生網(wǎng)絡(luò)視差預(yù)測(cè)方法[10]。該方法網(wǎng)絡(luò)左右兩個(gè)通道同時(shí)接收兩張圖片的輸入，通過(guò)多級(jí)的卷積、激活函數(shù)結(jié)構(gòu)進(jìn)行特征的提取、變換、融合，最后得到一個(gè)低分辨率、高通道數(shù)的圖像特征，完成全局信息融合與理解。然后，利用提取特征的描述算子來(lái)計(jì)算兩個(gè)圖片特征向量，通過(guò)Loss函數(shù)計(jì)算，從而判斷相似度。相似度計(jì)算函數(shù)由兩個(gè)特征向量構(gòu)成的距離度量函數(shù)決定，計(jì)算式為式(5)。

(5)

最后匹配得到代價(jià)體積(Cost Volume)并獲得視差圖。整個(gè)算法流程如圖4所示。

圖4 超像素分割的孿生網(wǎng)絡(luò)立體匹配算法流程Figure 4. Super-pixel segmentation of the Siamese network stereo matching algorithm flow

3.1 訓(xùn)練集構(gòu)建

本文使用Middlebury中的雙目圖像數(shù)據(jù)集作為訓(xùn)練集。完整的圖像數(shù)據(jù)無(wú)法直接作為網(wǎng)絡(luò)的輸入，需裁剪為圖5的正負(fù)樣本像素塊。

圖5 訓(xùn)練樣本 (a)正樣本像素塊 (b)負(fù)樣本像素塊Figure 5. Training sample (a) Positive sample pixel block (b) Negative sample pixel block

3.2 樣本標(biāo)準(zhǔn)化

圖像樣本在裁剪后的范圍為[0,255]，通過(guò)標(biāo)準(zhǔn)化將式(6)～式(8)處理到[-1,1]范圍內(nèi)。

(6)

(7)

(8)

式中，xi是原始圖像X中各像素灰度值；S是標(biāo)準(zhǔn)差；X是經(jīng)剪裁后的灰度矩陣；U是標(biāo)準(zhǔn)化后的灰度值矩陣。

4 基于超像素分割代價(jià)聚合改進(jìn)

針對(duì)局部立體匹配算法在光照不均勻、紋理缺乏等復(fù)雜環(huán)境下，容易造成物體邊緣的視差圖存在大量誤匹配點(diǎn)的問(wèn)題，本文提出基于SLIC(Simple Linear Iterative Clustering)超像素分割[11]的立體匹配改進(jìn)算法。該方法采用均值濾波預(yù)處理基準(zhǔn)圖像，并使用SLIC算法進(jìn)行超像素分割，把圖像分割成像素塊作為Siamese孿生卷積網(wǎng)絡(luò)的代價(jià)聚合的輸入。在代價(jià)聚合步驟中，根據(jù)基準(zhǔn)圖像的超像素分割結(jié)果，動(dòng)態(tài)地調(diào)整能量函數(shù)的平滑系數(shù)。

4.1 SLIC算法

邊緣特征是計(jì)算機(jī)視覺(jué)等領(lǐng)域中經(jīng)常使用的重要信息。相較于點(diǎn)特征，邊緣特征具有以下優(yōu)點(diǎn)：(1)直線在遮擋的情況下不會(huì)受到很大影響；(2)在紋理匱乏的區(qū)域，特征點(diǎn)難以檢測(cè)，而邊緣線則相對(duì)比較容易；(3)直線之間存在幾何關(guān)系，可以作為約束條件來(lái)提高處理精度。

對(duì)于立體匹配得到的深度信息，利用顏色相似區(qū)域有相同的視差這一原理，可認(rèn)為超像素體中的像素塊有相同的視差。SLIC簡(jiǎn)單線性迭代聚類(lèi)方法相對(duì)于其他超像素分割算法，具備較高的運(yùn)算效率和可并行的特性，計(jì)算復(fù)雜度低，可應(yīng)用于實(shí)時(shí)的立體匹配[12]。

SLIC算法流程如下：

(1)把圖像從RGB色彩空間轉(zhuǎn)換到CIE-Lab色彩空間，每個(gè)像素的(L,a,b)顏色值和(x,y)位置坐標(biāo)組成5維向量V[L,a,b,x,y]。兩個(gè)像素的相似性可以通過(guò)向量距離來(lái)判斷，距離越大，相似性越小；

(2)聚類(lèi)初始化中參數(shù)值k表示大小相等的超像素個(gè)數(shù)。在間隔S像素的規(guī)則網(wǎng)格上采樣，其中網(wǎng)格間隔為

(9)

(3)為了避免將超像素定位在邊緣上，同時(shí)盡可能地減少使用噪聲像素，將中心移動(dòng)到與3×3鄰域中最低梯度位置相對(duì)應(yīng)的種子位置；

(4)將聚類(lèi)中心調(diào)整為窗口內(nèi)像素的平均向量V[L,a,b,x,y]，然后在2S×2S的預(yù)期空間范圍內(nèi)，進(jìn)行類(lèi)似像素的搜索。相對(duì)于K-means聚類(lèi)，該方法縮小了搜索范圍，降低了距離計(jì)算復(fù)雜度，兩個(gè)方法的像素搜索對(duì)比如圖7所示。

SLIC相較于其他算法的優(yōu)點(diǎn)包括：(1)將具有相似亮度、顏色、紋理等特征的像素聚集成像素塊，得到良好的物體邊緣輪廓；(2)可以分割彩色圖和灰度圖；(3)參數(shù)量非常少，只需要設(shè)置一個(gè)預(yù)分割的聚類(lèi)中心數(shù)量k；(4)加權(quán)距離度量組合顏色和空間接近度，生成超像素圖像的尺寸、緊湊性和輪廓都比較理想。SLIC超像素分割圖像結(jié)果如圖8所示。

4.2 基于超像素分割的代價(jià)聚合方法改進(jìn)

基于同一超像素內(nèi)物體表面的相鄰像素視差值變化較小，而不同超像素之間的空間連續(xù)性較差的特點(diǎn)[13]。本文對(duì)基準(zhǔn)圖像使用 SLIC 算法進(jìn)行超像素分割，獲得具有良好紋理邊緣的分割圖像。然后根據(jù)超像素分割結(jié)果，對(duì)代價(jià)值聚合方法進(jìn)行改進(jìn)，動(dòng)態(tài)調(diào)整原來(lái)立體匹配能量函數(shù)的平滑系數(shù)。具體方法如下：

(1)對(duì)于同一超像素內(nèi)，或者屬于不同超像素但相鄰像素色彩差值小于設(shè)定閾值的情況，令能量函數(shù)中的平滑系數(shù)P2保持不變；

(2)對(duì)屬于不同超像素并且相鄰像素色彩差值大于設(shè)定閾值的情況，把能量函數(shù)中的平滑系數(shù)P2減小為P1。改進(jìn)之后的能量函數(shù)表達(dá)式如下

(10)

(11)

(12)

式中，Ip、Iq分別是相鄰像素p、q的RGB顏色值；segp、segq分別是相鄰像素p、q所在的區(qū)域；It為色彩差值閾值。

通過(guò) SLIC 超像素分割方法的改進(jìn)，可以有效減少圖像紋理邊緣處的視差誤匹配問(wèn)題。

5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性和可行性，對(duì)該算法和原半全局匹配算法進(jìn)行實(shí)驗(yàn)與比較[14-15]。

實(shí)驗(yàn)數(shù)據(jù)采用的是學(xué)術(shù)界公認(rèn)的Middlebury立體視覺(jué)數(shù)據(jù)庫(kù)。該平臺(tái)提供多種場(chǎng)景雙目圖像，同時(shí)提供了雙目圖像的真實(shí)視差圖和標(biāo)定參數(shù)[16]?，F(xiàn)將本文改進(jìn)后的算法與SGM算法、AD-Census算法分別提交到Middlebury平臺(tái)中，用Teddy、Cones、Tsukuba共3組圖像的標(biāo)準(zhǔn)視差圖進(jìn)行對(duì)比分析。

圖9～圖11是利用本文算法和傳統(tǒng)方法對(duì)3組測(cè)試圖像進(jìn)行立體匹配的直觀結(jié)果對(duì)比。其中，圖9(a)～圖9(d)分別為原始圖像、本文改進(jìn)算法視差圖、SGM算法視差圖以及AD-Census算法視差圖。

(a) (b)圖6 樣本裁剪示意圖 (a)左圖 (b)右圖Figure 6. Sample clipping diagram (a) Left diagram (b) Right diagram

(a) (b)圖7 像素搜索區(qū)域?qū)Ρ?(a)K均值算法 (b)SLIC算法Figure 7. Pixel search area comparison(a) K-means algorithm (b) SLIC algorithm

(a) (b)圖8 SLIC超像素分割 (a)原圖 (b)SLIC分割結(jié)果Figure 8. SLIC super-pixel segmentation(a) Original image (b) SLIC segment result

(a) (b) (c) (d)圖9 Teddy樣本視差圖對(duì)比(a)原圖 (b)本文算法 (c)SGM (d)AD-CensusFigure 9. Teddy disparity map comparison (a)Original image (b)Proposed algorithm (c)SGM (d)AD-Census

(a) (b) (c) (d)圖10 Cones樣本視差圖對(duì)比(a)原圖 (b)本文算法 (c)SGM (d)AD-CensusFigure 10. Cones disparity map comparison (a)Original image (b)Proposed algorithm (c)SGM (d)AD-Census

(a) (b) (c) (d)圖11 Tsukuba樣本視差圖對(duì)比(a)原圖 (b)本文算法 (c)SGM (d)AD-CensusFigure 11. Tsukuba disparity map comparison (a)Original image (b)Proposed algorithm(c)SGM (d)AD-Census

從實(shí)驗(yàn)對(duì)比結(jié)果可以看出，本文改進(jìn)的基于超像素分割的孿生網(wǎng)絡(luò)立體匹配方法與傳統(tǒng)的SGM算法、AD-Census算法相比，在Nocc和Disc區(qū)域[17]的平均誤匹配率明顯較低，對(duì)不同的場(chǎng)景均能生成較好的視差圖。在Tsukuba測(cè)試圖像中，本文算法視差圖的邊緣更加平滑。而在Cones、Teddy測(cè)試圖像中，本文算法獲得的視差圖邊緣區(qū)域和遮擋區(qū)域的匹配精度都得到了較好提升，相比傳統(tǒng)方法取得了更好的改進(jìn)效果。

本文所提算法的平均視差誤差和平均錯(cuò)誤率[18-19]都有所降低，結(jié)果如表1所示。

表1 匹配代價(jià)算法對(duì)比

6 結(jié)束語(yǔ)

本文對(duì)雙目立體匹配算法進(jìn)行了深入的研究和分析，對(duì)主流方法進(jìn)行了對(duì)比和論述。針對(duì)紋理缺乏、邊緣深度不連續(xù)等情況容易導(dǎo)致雙目匹配精度低的問(wèn)題，提出了基于超像素分割的Siamese孿生網(wǎng)絡(luò)匹配算法。該方法對(duì)前端的輸入圖像進(jìn)行預(yù)處理分割，確保同一個(gè)分割區(qū)域內(nèi)是連續(xù)的像素塊，然后分別對(duì)分割之后正負(fù)樣本的像素塊進(jìn)行訓(xùn)練。

實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)Middlebury公開(kāi)數(shù)據(jù)集的平均視差誤差和平均錯(cuò)誤率都有降低，相較于其他算法具有更好的魯棒性，并且在深度不連續(xù)區(qū)域得到了有效的匹配，匹配準(zhǔn)確率有一定地提升。但在前景顏色與背景顏色較為接近的區(qū)域，由于容易引起錯(cuò)誤分割，導(dǎo)致在此類(lèi)情況下的匹配效果并不理想，這也是下一步研究中需要改進(jìn)的地方。