亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于控制點和RGB向量差聯(lián)合梯度Census變換的立體匹配算法

        2022-02-17 05:55:58孟令江
        模式識別與人工智能 2022年1期
        關(guān)鍵詞:立體匹配視差代價

        王 森 危 輝 孟令江

        立體匹配是計算機視覺領(lǐng)域的重要研究方向和熱門研究領(lǐng)域,模擬人的兩只眼睛的雙目立體相機的立體匹配也受到密切關(guān)注.

        雙目立體匹配通過雙目相機拍攝左右兩幅圖像,通過算法對兩幅圖像進行匹配,求取視差圖,根據(jù)雙目成像原理求出三維世界坐標(biāo),并還原三維場景.因此行業(yè)應(yīng)用非常廣泛,例如:輔助視覺障礙人士避障、自動駕駛、虛擬現(xiàn)實、移動機器人等[1~6].

        雙目立體匹配算法分為2種:基于深度學(xué)習(xí)的立體匹配算法和傳統(tǒng)方式的立體匹配算法.基于深度學(xué)習(xí)的立體匹配算法利用神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練,判斷兩幅圖像的相似匹配.傳統(tǒng)方式的立體匹配算法通過非神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練的方式,直接計算兩幅圖像的相似匹配.

        基于深度學(xué)習(xí)的立體匹配算法分為有監(jiān)督學(xué)習(xí)的立體匹配算法和無監(jiān)督學(xué)習(xí)的立體匹配算法[7].有監(jiān)督學(xué)習(xí)的立體匹配算法一般使用激光雷達獲得樣本的準(zhǔn)確視差信息,作為真值圖參與訓(xùn)練.無監(jiān)督學(xué)習(xí)的立體匹配算法不需要視差的真值圖,只需要左右圖像進行迭代訓(xùn)練.Han等[8]利用孿生網(wǎng)絡(luò)判斷圖像塊的相似性,實現(xiàn)立體匹配.Kendall等[9]利用三維卷積網(wǎng)絡(luò)構(gòu)建匹配代價,進行端到端的訓(xùn)練,實現(xiàn)立體匹配.Menze等[10]提出Disp-Net(Convolu-tional Networks for Disparity,Optical Flow, and Scene Flow Estimation),利用光流網(wǎng)絡(luò),抽象語義特征,對不同的特征圖輔助監(jiān)督以完成訓(xùn)練,實現(xiàn)立體匹配.Seki等[11]利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)并且加入半全局匹配(Semi-global Matching, SGM)的置信函數(shù)進行訓(xùn)練,對訓(xùn)練后的結(jié)果再進行代價聚合處理,實現(xiàn)立體匹配.

        基于深度學(xué)習(xí)的立體匹配算法由于需要大量的圖像進行訓(xùn)練,計算量巨大,對電腦硬件要求較高,訓(xùn)練非常耗時[12],立體匹配的效果依賴于訓(xùn)練的數(shù)據(jù)集,因此不適用于可變場景且硬件成本不高的系統(tǒng)中,如殘障人士避障裝置、小型企業(yè)級機械臂抓取等.

        傳統(tǒng)方式的立體匹配算法主要分為局部立體匹配算法和全局立體匹配算法[13].

        局部立體匹配算法主要利用算法計算圖像的特征角點、邊緣、局部平面的信息,并計算視差.由于參與計算的圖像中的區(qū)域較少,魯棒性較差,因此得到的視差圖較稀疏,計算精度較低,但計算速度較快.

        全局立體匹配算法主要基于全局能量函數(shù)求解全局最優(yōu)解,把立體匹配轉(zhuǎn)化為求解全局能量函數(shù)最優(yōu)解的問題,計算精度較高,但計算量較大且復(fù)雜.

        局部立體匹配算法對于初始代價的計算主要有SAD(Sum of Absolute Differences)[14]、SSD(Single Shot Multi-box Detector)[15]、NCC(Normalized Cross Correlation)[16]、自適應(yīng)權(quán)重的學(xué)習(xí)模型[17]等.然而,當(dāng)圖像存在光線變化、弱紋理場景、遮擋情況時效果會受到影響.將RGB三通道彩色圖像壓縮為灰度圖,得到一個灰度值對應(yīng)的彩色圖,在圖像的弱紋理區(qū)域會大幅降低匹配準(zhǔn)確率,應(yīng)保留更多的彩色維度,使色彩信息更具體、匹配更精確.而使用RGB三向量計算匹配代價,保留更多的色彩信息,使像素點之間的匹配結(jié)果差異更大,得到更精確的匹配結(jié)果.

        Census變換[18]對光照具有較強的魯棒性,但Census變換較依賴中心像素,如果中心像素受到噪聲影響,精度會隨之受到影響.Ma等[19]提出改進的Census變換,為基于領(lǐng)域相關(guān)性的匹配算法,在一定程度上提高效果精度,但在單一紋理區(qū)域和視差不連續(xù)的區(qū)域表現(xiàn)效果不佳.Lü等[20]提出基于HSV空間的Census變換,對光照噪音有一定的魯棒性,但丟失很多顏色信息,在視差不連續(xù)區(qū)域效果不佳.

        為了提高立體匹配的抗噪聲性并提高匹配精度,本文提出基于控制點和RGB向量差聯(lián)合梯度Census的立體匹配算法.首先,使用基于動態(tài)時間歸整(Dynamic Time Warping, DTW)[21]的行匹配算法,尋找最優(yōu)匹配路徑,經(jīng)過扭曲對齊選取匹配特征點作為控制點.再使用基于RGB向量差代價聯(lián)合基于梯度Census變換代價作為非控制點的匹配代價,基于梯度Census變換增加像素點的魯棒性,RGB三向量保留圖像三維色彩信息,求得的代價精度更高.然后,融合求得的控制點與非控制點的匹配代價,作為初始匹配代價,基于RGB三向量差求得針對不同紋理區(qū)域的自適應(yīng)窗口,在該窗口內(nèi)以一次水平方向和豎直方向代價聚合的方式進行初始代價優(yōu)化,同時使用多步驟優(yōu)化,減少視差錯誤率.最后,在Middlebury數(shù)據(jù)集上對不同區(qū)域測試視差錯誤率和在真實機器人場景上求取視差,將求得的視差利用三維成像原理進行三維重建測試,理論分析和實驗表明,本文算法明顯降低弱紋理區(qū)域和邊界的誤匹配率.

        1 基于控制點和RGB向量差聯(lián)合梯度Census變換的立體匹配算法

        本文提出基于控制點和RGB向量差聯(lián)合梯度Census變換的立體匹配算法.算法主要包括DTW行匹配、控制點計算和選取、初始代價計算、控制點融合、代價聚合、計算視差和視差優(yōu)化.對于控制點的計算,使用基于DTW的行匹配算法篩選大量可靠的視差匹配點,初始代價計算采用RGB三向量的向量差和基于梯度的Cencus變換結(jié)合的方式.使用基于RGB顏色三向量的自適應(yīng)紋理區(qū)域進行代價聚合,使用半全局算法[22]中的掃描線算法對匹配代價進行水平方向和豎直方向代價優(yōu)化,采用贏者通吃策略(Winner Take All, WTA)[23]計算視差.最后使用左右一致性校驗、子像素擬合、中值濾波計算視差優(yōu)化.算法具體框圖如圖1所示.

        圖1 本文算法框圖Fig.1 Framework of the proposed algorithm

        1.1 基于動態(tài)時間歸整的行匹配算法

        動態(tài)時間歸整(DTW)[21]最初是用于衡量兩個長度不同時間序列相似度的方法,是孤立詞識別的技術(shù).對于兩段不同的語音,不同人對不同的發(fā)音長度不同.通常,兩個語音序列具有相似的形狀,但這些形狀在時間上并不是對齊的,所以在對比它們的相似度之前,需要將其中一個或兩個序列在時間軸上扭曲,使它們對齊.DTW就是實現(xiàn)這種扭曲的有效方法,達到特征點與特征點的對齊.DTW不要求樣本具有同樣的長度及范圍,只要給定樣本的起始邊界,保證連續(xù)單向進行,最后可尋找一條路徑,使樣本之間的距離總和最小.

        在立體匹配時,需要取左右兩圖的其中一行進行行匹配,而由于遮擋、傾斜情況的出現(xiàn),會產(chǎn)生不同長度段的匹配,因此要實現(xiàn)不同長度段的匹配就需要對段進行扭曲對齊匹配.DTW可應(yīng)用到立體匹配的行匹配過程中,從中獲取匹配的特征點.對于左圖像一行序列Q和右圖像一行序列C,令

        Q=q1,q2,…,qn,C=c1,c2,…,cn,

        其中,n表示圖像寬度,由于左右兩圖像的寬度確定并相同,在這里處理的圖像認(rèn)為是行對齊以后的圖像,因此左右兩幅圖像對應(yīng)的任意兩行的長度均為n.

        為了對齊這兩個序列,需要構(gòu)造n×n的矩陣網(wǎng)格,矩陣元素(i,j)表示qi到cj的距離:

        兩序列形成的矩陣網(wǎng)格最小的路徑定義為W,W中包含的每個元素組成的路徑代價最小,定義的W中第k個元素wk=(i,j)k,則

        其中n為序列Q和C的長度.

        根據(jù)雙目成像原理匹配的特性,這條路徑需要滿足如下3個約束條件.

        1)邊界條件.由于雙目相機基線的影響,左圖的起始位置在右圖會有一部分不存在,右圖的結(jié)束位置在左圖會有一部分不存在.假設(shè)左圖與右圖開始為start,結(jié)束匹配為end,則邊界條件

        w1=(start,1),wK(n,end).

        2)連續(xù)性.假設(shè)wk-1=(a′,b′),對于路徑的下個點wk=(a,b),需要滿足

        (a-a′)and(b-b′)≤1,

        保證序列Q、C中的每個像素都在W中出現(xiàn).

        3)單調(diào)性.假設(shè)wk-1=(a′,b′),對于路徑中下一個點wk=(a,b),需要滿足

        0≤(a-a′)and(b-b′).

        這是因為匹配滿足順序一致性,已匹配過的像素點后面不會再出現(xiàn)匹配.

        匹配問題就變成在該矩陣網(wǎng)格中n×n條路徑中找到代價最小的路徑:

        結(jié)合連續(xù)性和順序性的約束,對于像素點(qi,cj),有3種路徑走法:

        (qi,cj+1),(qi+1,cj+1),(qi+1,cj).

        采用動態(tài)規(guī)劃的方式求最相似路徑可將本來O(n3)的復(fù)雜度降至O(n2),定義動態(tài)規(guī)劃轉(zhuǎn)移方程如下:

        Mc(qi,cj)=

        min(Mc(qi-1,cj-1),Mc(qi-1,cj),Mc(qi,cj-1))+

        d(qi,cj),

        其中Mc為動態(tài)轉(zhuǎn)移矩陣.找到的最優(yōu)路徑如圖2所示,以teddy圖像為例,(a)表示求得的矩陣網(wǎng)格,顏色越深表示值越小,顏色越淺表示值越大,呈現(xiàn)的結(jié)果類似一個復(fù)雜的山谷地形.由圖可看出,在復(fù)雜的山谷地形中存在一條路徑,這條路徑就是求得的最優(yōu)匹配路徑,(b)中紅色的線表示找到的路徑.

        (a)矩陣山谷地形圖(a)Topographic map of matrix valley

        (b)路徑圖(b)Path map圖2 山谷地形路徑圖Fig.2 Valley path map

        1.2 基于控制點融合的立體匹配算法

        1.2.1 控制點的作用和選取

        Bobick等[24]提出控制點的概念,最初應(yīng)用在動態(tài)規(guī)劃立體匹配過程中,用于處理大遮擋情況,使用約束和閾值選擇算法提高控制點正確匹配的概率,控制點越多越正確,修正的效果越優(yōu).使用DTW行匹配得到最小路徑后,只需對所求最小路徑進行特征選取,盡可能多地選取可靠的控制點.

        DTW行匹配算法尋找最優(yōu)路徑之前必須要給予一個起始點,以便尋找最優(yōu)的匹配路徑,最初默認(rèn)一行中左圖的第一個像素點和右圖的第一個起始點為匹配點,之后再逐步過渡到正確匹配.因為算法會導(dǎo)致所求控制點的不可靠,所以匹配開始會造成很多誤差,需要設(shè)置一個截斷閾值排除這些錯誤的起始點,即

        DD={(pi,j,dp)|(dp=i-j)∧((i,j)∈DTW*)∧dp>α},

        其中, (pi,j,dp)為選取的控制點,α為選取控制點的截斷視差閾值,這里α=10.

        同時,由于需要使長短不同的段扭曲以達到對齊的目的,就會出現(xiàn)多對一和一對多的情況.左圖Teddy的一行,與右圖Teddy中的某一行進行匹配的情況如圖3所示.由于像素太多,為了清晰描述,直接以10個像素匹配1次,圖中灰線表示一一匹配的結(jié)果,黑線表示多對一匹配的結(jié)果.這些點都認(rèn)為是誤匹配點,在選擇特征點時需剔除,定義

        ?〈pi,j,dp〉∈DD, 〈pk,m,dp〉∈DD,
        D1={〈pi,j,dp〉∈DD|i=korj=m},
        D2=D1?DD,

        其中,i=k表示左圖的點出現(xiàn)的多對一,j=m表示右圖的點出現(xiàn)多對一.

        圖3 行匹配情況Fig.3 Row matching

        1.2.2 融合控制點的聯(lián)合匹配代價

        求完控制點后還需要處理非控制點,而代價計算是立體匹配都要計算的步驟.求取兩個像素點之間的代價,絕對值差(Absolute Difference, AD)[14]為快速計算兩像素相似程度的方法,即求出左右兩幅圖對應(yīng)的兩個像素值之差的絕對值.由于單個像素點計算會忽略周圍的信息,通常會計算一個像素塊內(nèi)的像素值差的絕對值的和,常用的計算方式如下:

        其中,A(x+l,y+k)、B(x+i+l,y+j+k)表示當(dāng)前M×N搜索區(qū)域的像素點值,(i,j)表示當(dāng)前像素塊(x,y)內(nèi)的像素點.以(x,y)作為左圖窗口的錨點,將該窗口覆蓋右圖的圖像區(qū)域,遍歷整幅圖,求出不同的差值之和作為AD值.

        AD容易受到光照的影響,邊界不清晰.Census變換在光照和邊界體現(xiàn)較好的魯棒性,但會丟失很多像素點的信息.梯度信息可較好地判定邊界,但對無紋理區(qū)域和大面積顏色相似的區(qū)域有很多誤差.本文提出Census變換方式,結(jié)合RGB三向量差計算代價.對于像素點p,在視差d下,根據(jù)RGB三通道計算AD的匹配代價:

        CAD(px,y,dp)=

        使用RGB向量差的方式表示代價是為了得到更多的顏色信息,減少噪聲對匹配正確性的影響.

        傳統(tǒng)的Census變換是對比除中心像素點p以外的q組成的匹配窗口:如果q的灰度值大于p,表示為1;如果q的灰度值小于p,表示為0.

        本文使用像素的梯度值進行Census變換:如果q的梯度值大于p,表示為1;如果q的梯度值小于p,表示為0.通過Census變換可得到基于中心像素點p的比特序列,經(jīng)過Census變換后,通過漢明(Hamming)距離表示兩個像素的相似程度,漢明距離越小,相似度越低,否則相似度越高.定義

        Np表示除中心像素點p以外的匹配窗口內(nèi)的其它像素,gradient(p)表示像素點p處的梯度,?表示異或運算.

        得到Census變換的比特序列后,使用漢明距離計算相似度, 使用左圖像窗口的Census變換序列Tleft(px,y)和右圖像窗口的Census變換序列Tright(px,y+dp),Census變換的初始匹配代價為

        由AD匹配代價和基于梯度的Census變換匹配代價可看出,兩者對像素點匹配具有不同的代價標(biāo)準(zhǔn),為了讓匹配代價能準(zhǔn)確描述像素點的特征并控制某一特征占比過于重要而帶來誤差,將匹配代價歸一化,融合二者的匹配代價并映射到[0,1],即

        C(px,y,dp)=ρ(Ccensus(px,y,dp),λcensus)+

        ρ(CAD(px,y,dp),λAD),

        其中,CAD(px,y,dp)為左圖像像素p和右圖像視差dp的RGB三向量差,Ccensus(px,y,dp)為漢明距離,Census變換窗口取9×7,

        使用灰度值進行Census變換和使用平均值梯度進行Census變換,效果差別如圖4所示.由于基于灰度值的Census變化容易受中心點的像素影響,中心點的像素值受光照影響較嚴(yán)重,會帶來誤差,而使用梯度值進行Census變換除考慮到變換中心像素四周的情況以外,同時四周的像素點也考慮四周的周圍像素點的信息,增加像素點匹配的魯棒性,減少在低紋理區(qū)域像素點的誤匹配率.

        (a)基于灰度的Census變換 (b)基于梯度的Census變換(a)Census transform based on gray (b)Census transform based on gradient圖4 不同Census變換熱值圖Fig.4 Different heat maps of different Census transform

        求得視差空間圖像(Disparity Space Image, DSI)初始視差變化空間后,還需要將求得的控制點融入初始視差變化空間,這些控制點是最優(yōu)代價.將控制點融入DSI視差變化空間,只需要在DSI空間將控制點的代價值設(shè)為最小,將控制點與代價進行融合,即

        C(px,y,pd)=η, (px,y,pd)∈D2,

        其中,η為當(dāng)前DSI視差空間中最優(yōu)的代價值,為了獲得更好效果,這里取η=0.

        加入控制點效果如圖5所示.由圖可見,融合控制點和初始代價后有效減少匹配錯誤率.

        (a)未加入控制點 (b)加入控制點(a)Without control point (b)With control point圖5 初始代價加入控制點前后的效果對比Fig.5 Comparison of initial matching cost with and without control point

        1.3 代價聚合優(yōu)化

        1.3.1 基于RGB三向量的自適應(yīng)聚合窗口

        聚合代價的窗口可決定匹配的正確性,基于固定窗口的代價聚合方式會因為邊界誤差導(dǎo)致聚合造成誤差,窗口大小不易選取.

        為了讓立體匹配的結(jié)果更正確,需要根據(jù)不同紋理的區(qū)域自適應(yīng)調(diào)節(jié)聚合窗口的大小,本文參考文獻[25]聚合窗口區(qū)域,在此基礎(chǔ)上進行改進,定義

        其中:Dc(p,q)表示像素p、q之間的顏色差異,使用三向量差異的向量和表示是為了使用更多的顏色信息,減少誤差;?1、?2表示顏色差異的閾值,?1>?2;p+(1.0)是為了防止穿過邊界造成較大的誤差,保證聚合窗口在一片顏色相似的區(qū)域;Ds=|q-p|,表示像素之間的空間距離;L1、L2表示臂長閾值,L2>L1,當(dāng)遇到大面積無紋理區(qū)域時,需設(shè)置一個更小的顏色閾值,約束聚合區(qū)域確保它們具有相似的顏色特征.

        聚合窗口不同時的效果如圖6所示.(a)顯示固定聚合窗口為7×7時水平方向和豎直方向的聚合效果,(b)為本文方法的自適應(yīng)聚合窗口水平方向和豎直方向的聚合效果.由圖可看出,由于是窗口,會因為固定窗口太小或太大導(dǎo)致誤差,同時因為固定窗口包含邊界,也會帶來較大誤差,導(dǎo)致聚合效果較差.

        (a)固定聚合區(qū)域 (b)自適應(yīng)聚合區(qū)域(a)Fixed aggregation area (b)Adaptive aggregation area圖6 不同聚合區(qū)域的效果Fig.6 Results of different aggregation areas

        1.3.2 代價聚合

        在融合特征點的代價基礎(chǔ)上進行代價聚合,本文參考文獻[26]的聚合方式,在改進的聚合窗口區(qū)域進行代價聚合.首先構(gòu)建自適應(yīng)聚合窗口,對像素點p進行水平方向和豎直方向的代價聚合:1)對于象素p的自適應(yīng)聚合窗口支持區(qū)域內(nèi)所有的像素,將水平方向上的像素代價值相加,存儲在像素點p的豎直方向作為臨時值.2)將1)得到的臨時值在像素點p的豎直方向代價相加.如圖7(a)所示,藍色箭頭表示1)中的代價聚合,橙色箭頭表示2)中代價聚合.先豎直方向聚合再水平方向聚合,如(b)所示.

        最后,為了讓最終的聚合代價值在一個較小的可控范圍內(nèi),對聚合后的代價進行歸一化,將最終的聚合代價值除以支持區(qū)的總像素數(shù).本文算法因為加入控制點,只需要聚合1次就可得到較精確的結(jié)果.最后代價定義如下:

        其中,N表示像素p的自適應(yīng)窗口的總像素數(shù),Ud(p)表示像素p的自適應(yīng)窗口的DSI視差空間.

        (a)先水平聚合 (b)先豎直聚合 (c)水平豎直聚合(a)Horizontal aggregation first (b)Vertical aggregation first (c)Horizontal and vertical aggregation圖7 不同的代價聚合方式Fig.7 Different cost aggregation ways

        1.4 多步驟視差優(yōu)化

        1.4.1 掃描線優(yōu)化

        為了消除模糊的匹配代價,得到更精確的匹配代價,在計算視差之前使用基于Hirschmuller的半全局方法的匹配,進行兩方向的掃描線優(yōu)化,即水平方向和豎直方向,更新后的代價為C2(p,d).

        再采用WTA策略求解視差,對于像素點p,視差可表示為

        1.4.2 左右一致性檢驗

        首先計算得到左右兩圖的視差圖.對于左視差圖的每個像素Il(x,y),根據(jù)視差值計算該像素右圖視差圖對應(yīng)的位置Ir(x,y),判斷視差差值絕對值之差是否小于一個閾值:如果在閾值內(nèi),認(rèn)為是有效值;如果超過閾值,一致性檢查不通過,將像素點的視差值置為無效值.定義如下:

        其中,a為左圖像,b為右圖像,p、q為左右視差圖對應(yīng)的同名點,ε為視差閾值,這里ε=1.

        1.4.3 子像素擬合優(yōu)化

        由于視差在連續(xù)的區(qū)域內(nèi)連續(xù)變化,在DSI視差空間中求解的視差最小單位是1,造成一定誤差.為了讓像素的變化更連續(xù),引入子像素擬合優(yōu)化[27].子像素擬合優(yōu)化是根據(jù)WTA策略找到最小的視差代價值后,再記錄該最小代價值左邊的代價值和右邊的代價值,根據(jù)3個代價進行1次一元二次曲線擬合.

        由開口向上的二次曲線可知,存在一個唯一的極小值——視差值的子像素位置:

        其中,c1表示視差值為d-1的代價值,c2表示視差值為d+1的代價值,c0表示視差值為d的代價值.

        1.4.4 中值濾波

        在視差優(yōu)化的最后使用中值濾波平滑最后的視差效果,可剔除視差圖中一些孤立的離群點,同時填充前面步驟得到的無效點,得到更優(yōu)結(jié)果.

        2 實驗及結(jié)果分析

        為了驗證本文算法在邊界和弱紋理區(qū)域的表現(xiàn)效果,采用Middlebury測評網(wǎng)站[28-29]中14組標(biāo)準(zhǔn)圖像作為實驗對象.實驗均在Intel Xeon CPU e5-2640 2.6 GHz 的windows 10環(huán)境下運行,編程語言使用Matlab語言和C++編程語言.對比算法選擇跨尺度雙邊濾波(Cross-Scale Bilateral Filter, CSBF)[17]、鄰域相關(guān)信息的改進Census變換(Census Transform Based on the Related Information of Neigh-borhood, RINCensus)[19]、分割樹(Segment-Tree, ST)[19]、SGM[22]、非局部代價聚合(Non-local Cost Aggregation, NLCA)[30]、更全面全局匹配(More Global Matching, MGM)[31]、顏色+Census變換+梯度信息(AD+Census+Gradient, CG)[32]、樹動態(tài)規(guī)劃(Dynamic Programming on a Tree, TreeDP)[33]、自組織神經(jīng)網(wǎng)絡(luò)(Stereo Correspondence by Self-Orga-nizing Neural Network, Stereo-SONN)[34].

        SGM、NLCA、MGM、本文算法在8個圖像上的對比效果如圖8所示.

        (a)原始圖像(a)Original images

        (b)真值圖(b)Ground truth images

        (c)NLCA

        (d)MGM

        (e)SGM

        (f)本文算法(f)The proposed algorithm圖8 各算法在8個圖像上的效果對比Fig.8 Result comparison of different algorithms on 8 images

        除了圖像效果,為了讓本文算法更具有說服性,以Middlebury標(biāo)準(zhǔn)數(shù)據(jù)集提供的真值圖計算匹配誤差.Middlebury網(wǎng)站提供誤差計算的軟件開發(fā)工具包(Software Development Kit, SDK),首先將算法的計算結(jié)果與真實的視差圖相比,給定一個誤差閾值,判斷匹配得到的視差值大于閾值的像素點占整幅視差圖的比重,即誤差

        其中,dc(x,y)表示本文算法計算的視差值,dt(x,y) 表示圖像的真實視差圖,N表示圖像包含的像素總數(shù),δd表示視差誤差閾值,本文取δd=1,大于該值認(rèn)為是誤差點.

        為了使本文算法更具有針對性地驗證弱紋理區(qū)域的效果,根據(jù)Middlebury數(shù)據(jù)集上提供的不同區(qū)域劃分的圖像,計算不同區(qū)域的誤匹配率:

        其中,Bk表示不同區(qū)域的誤匹配率,Nk表示不同區(qū)域總的像素個數(shù),dc(x,y)表示計算視差,dt(x,y)表示真實視差.

        通過誤匹配率計算可得到3個區(qū)域的誤匹配率.

        為了驗證本文算法的有效性,對比各算法計算的3個區(qū)域的圖像誤匹配率,如表1所示,表中黑體數(shù)字表示最優(yōu)結(jié)果.通過對比算法在不同區(qū)域的誤匹配率可知,本文算法在非遮擋區(qū)域具有較好效果,在不連續(xù)區(qū)域誤匹配率有一定程度的提高.

        表1 各算法在4個圖像上的誤匹配率對比Table 1 Disparity error rate comparison of different algorithms on 4 image pairs %

        本文算法的誤差分布如圖9所示,圖(b)中,灰色表示視差不連續(xù)區(qū)域誤差,黑色表示無遮擋區(qū)域誤差.融合控制點后的實驗結(jié)果更清晰地反映像素的真實視差.

        (a)視差圖(a)Disparity maps

        (b)誤差率分布圖(b)Disparity error maps圖9 本文算法的誤差分布圖Fig.9 Disparity error distribution of the proposed algorithm

        為了更好地驗證本文算法的有效性,使用Middlebury網(wǎng)站2006數(shù)據(jù)集上提供的左右兩幅真值圖,經(jīng)過左右一致性檢驗后得到遮擋圖,對其不同區(qū)域計算錯誤率,各算法的誤匹配率對比如表2所示,表中黑體數(shù)字表示誤匹配率最低.由表可知,本文算法在非遮擋區(qū)域平均誤匹配率最低(3.2%),在所有區(qū)域的平均誤匹配率也最低(8.6%),這表明本文算法的有效性.

        表2 各算法在Middlebury數(shù)據(jù)集上的誤匹配率對比Table 2 Disparity error rate comparison of different algorithms on Middlebury dataset %

        為了更好地驗證本文算法在視差不連續(xù)區(qū)域的效果,分別對3個區(qū)域進行誤差分布統(tǒng)計,針對不同的算法進行對比驗證.不同區(qū)域的誤差數(shù)量分布如圖10所示.誤差統(tǒng)計的區(qū)間分為(1,2]、(2,3]、(3,4]、(4,5]和(5,+∞).由圖可看出,相比其它算法,本文算法在各區(qū)域誤差數(shù)量最低,且本文算法在視差不連續(xù)區(qū)域的誤差69%以上都集中在(1,5]中,而SGM和MGM分別為59%和57%,由此可知,本文算法不僅降低視差不連續(xù)區(qū)域的誤差率,而且在非遮擋區(qū)域的效果表現(xiàn)較優(yōu).

        (a)視差不連續(xù)區(qū)域 (b)非遮擋區(qū)域 (c)所有區(qū)域(a)Regions of discontinuity (b)Non-occluded regions (c)All regions圖10 各算法在不同區(qū)域的誤差數(shù)量分布Fig.10 Disparity error counts of different algorithms on different regions

        除了準(zhǔn)確率方面,各算法在14組圖像上的平均運行時間如下:本文算法為5.49 s,SGM為34.16 s,NLCA為1.94 s,MGM為2.31 s.本文算法在計算控制點時稍有耗時,但還有優(yōu)化空間.控制點的質(zhì)量決定整個視差圖的效果,在提高正確匹配效率的同時也可能帶來誤差.

        最后在實驗室的機器人工業(yè)機械臂上進行三維重建實驗,實驗所用雙目相機型號為SVCamhr-29050彩色工業(yè)相機.首先使用雙目相機拍攝15組標(biāo)定板照片進行相機標(biāo)定,對雙目相機標(biāo)定使用Matlab 2020a自帶的工具箱Stereo Camera Calibrator進行標(biāo)定和相機參數(shù)獲取,使用本文算法獲取視差圖,利用相機參數(shù)和視差圖進行三維重建實驗,各算法實驗結(jié)果如圖11所示.在機器人工業(yè)機械臂的真實場景中存在大量的弱紋理區(qū)域和反光區(qū)域,圖中紅色圓圈是弱紋理和反光區(qū)域.由圖可看出,本文算法能得到較好的三維重建效果,在弱紋理區(qū)域和反光區(qū)域的效果更優(yōu).

        (a)原始圖像(a)Original images

        (b)MGM

        (c)SGM

        (d)NLCA

        (e)本文算法(e)The proposed algorithm圖11 各算法基于機器人場景的三維重建結(jié)果Fig.11 Three-dimensional reconstruction results of robot scene by different algorithms

        3 結(jié) 束 語

        本文提出基于控制點和RGB向量差聯(lián)合梯度Census變換的立體匹配算法.針對局部立體匹配算法視差效果較依賴于初始代價的計算,將控制點融入初始代價計算中,提高初始代價計算視差的正確率.控制點可提高正確匹配的效率,但如果對控制點選取不正確也會帶來誤差.針對基于灰度的Census變換較依賴于中心像素點,未考慮周圍像素的信息,中心像素點會因為光照而帶來誤差的問題,本文提出基于梯度的Census變換算法.為了減少中心像素點帶來的誤差,采用平均梯度值代替原有梯度值,再使用RGB三向量保留更多的色彩信息以計算聚合區(qū)域,并對聚合區(qū)域進行一次水平方向和豎直方向代價聚合.最后多步驟優(yōu)化視差.實驗表明本文算法在弱紋理區(qū)域和邊界區(qū)域都有較好效果.今后將考慮優(yōu)化控制點的選取,期望更進一步提高獲得視差的正確率,降低誤匹配率.

        猜你喜歡
        立體匹配視差代價
        基于自適應(yīng)窗的立體相機視差圖優(yōu)化方法研究
        基于梯度域引導(dǎo)濾波的視差精煉迭代算法
        愛的代價
        海峽姐妹(2017年12期)2018-01-31 02:12:22
        影像立體匹配中的凸優(yōu)化理論研究
        基于互補不變特征的傾斜影像高精度立體匹配
        代價
        基于分割樹的視差圖修復(fù)算法研究
        改進導(dǎo)向濾波器立體匹配算法
        立體視差對瞳孔直徑影響的研究
        成熟的代價
        秋霞午夜无码鲁丝片午夜精品| 18禁止进入1000部高潮网站| а天堂中文最新一区二区三区 | 热久久这里只有| 久久国产精品一区二区| 男奸女永久免费视频网站| 久久久国产打桩机| 亚洲精品国产美女久久久| 宅男久久精品国产亚洲av麻豆| 99久久久69精品一区二区三区 | 亚洲爆乳无码专区www| 99久久99久久精品国产片果冻| 亚洲五月婷婷久久综合| 中文字幕成人精品久久不卡91| 成年美女黄的视频网站| 亚洲av伊人久久综合密臀性色| 久久精品中文字幕久久| 成人av一区二区三区四区| 岛国av无码免费无禁网站| 国产精品午睡沙发系列| 中日韩字幕中文字幕一区| 日韩中文字幕一区二区二区| 亚洲综合激情五月丁香六月| 亚洲午夜精品a区| 亚洲精品AⅤ无码精品丝袜无码| 日韩精品人妻视频一区二区三区 | 久久亚洲精品成人无码| 肉体裸交丰满丰满少妇在线观看 | 乱码窝窝久久国产无人精品| 国产尤物精品福利视频| 国产精美视频| 国产乱老熟视频乱老熟女1| 女优av一区二区在线观看| 国产激情综合在线观看| 国产精品密播放国产免费看| 久久免费精品视频老逼| 婷婷久久av综合一区二区三区| 欧美色欧美亚洲另类二区| 久久青草伊人精品| 蜜桃成人精品一区二区三区| 无码人妻精品一区二区三区东京热|