宋 坤,易懷安,舒愛(ài)華,宋欣茹,黃杰鋒

(1.桂林理工大學(xué)機(jī)械與控制工程學(xué)院,桂林 541006;阜陽(yáng)師范大學(xué)計(jì)算機(jī)與信息工程,阜陽(yáng) 236000)

0 引言

雙目立體視覺(jué)技術(shù)是計(jì)算機(jī)視覺(jué)中的一個(gè)重要領(lǐng)域,其原理是利用雙目相機(jī)模仿人的雙眼獲取一對(duì)二維圖像,通過(guò)立體匹配算法從一對(duì)二維圖像中計(jì)算出三維結(jié)構(gòu)信息。該技術(shù)具備操作簡(jiǎn)單、效率高、成本低的優(yōu)點(diǎn),因此有廣泛的應(yīng)用領(lǐng)域,如計(jì)算機(jī)視覺(jué)[1-2]、機(jī)器人工業(yè)[3]、自動(dòng)駕駛技術(shù)[4-5]、遙感測(cè)繪[6-7]等方面。雙目立體視覺(jué)技術(shù)的主要工作流程包括5個(gè)步驟:圖像采集、相機(jī)標(biāo)定[8]、立體校正、立體匹配和三維重建[9]。其中,最核心的步驟為立體匹配。它是根據(jù)左右相機(jī)獲取的一對(duì)圖像,建立被拍攝物體在左右圖像之間投影點(diǎn)的對(duì)應(yīng)關(guān)系,通過(guò)立體幾何原理計(jì)算投影點(diǎn)的視差,從而得到視差圖。根據(jù)視差圖可以恢復(fù)其深度信息,重構(gòu)物體的三維空間幾何。因此,立體匹配獲得視差圖的精度直接決定三維重建得到立體場(chǎng)景的精確度,所以,提高立體匹配的精度成為了當(dāng)前研究的熱點(diǎn)。

為了提高立體匹配的精度,科研人員進(jìn)行了一系列的研究。根據(jù)優(yōu)化理論方法的不同可分為全局立體匹配、局部立體匹配和半全局立體匹配。全局立體匹配算法使用全局優(yōu)化算法進(jìn)行視差估計(jì),主要有DP[10]、GC[11]、BP[12]算法。該類(lèi)算法是在能量函數(shù)框架下,把立體匹配問(wèn)題轉(zhuǎn)換為求解能量函數(shù)最小化問(wèn)題。該算法雖然有較高的精度,但是該算法復(fù)雜程度較高,耗時(shí)長(zhǎng),難以達(dá)到實(shí)時(shí)性。而局部立體匹配使用的是局部?jī)?yōu)化,主要是利用SSD、SAD、Census等局部代價(jià)函數(shù)進(jìn)行視差估計(jì)[13],該類(lèi)算法靈活多變且運(yùn)算速度快,但是精度較低。因此,HEIKO[14]提出一種半全局立體匹配(SGM)的方法,該算法通過(guò)沿圖像上的多條(通常為4或8條)獨(dú)立路徑求解一維最小化問(wèn)題來(lái)近似全局解。雖然較好地中和局部匹配和全局匹配的優(yōu)缺點(diǎn),但在處理遮擋區(qū)域以及視差不連續(xù)區(qū)域的能力較弱,在遮擋區(qū)域的地方出現(xiàn)較大的偏差。近幾年由于深度學(xué)習(xí)的快速發(fā)展,CAO、CHEN等[15-17]提出了AMDCNet、PGNet、PSNet等立體匹配方法,雖然該方法能很好的解決以上問(wèn)題,且匹配精度也很高,但是該類(lèi)方法泛化能力不足,需要依賴大量的訓(xùn)練數(shù)據(jù)集,立體匹配數(shù)據(jù)集采集難度大,成本高,且應(yīng)用的場(chǎng)景也過(guò)于局限。因此該類(lèi)方法不能很好的應(yīng)用到實(shí)際場(chǎng)景。

本文針對(duì)SGM算法在圖像匹配中遮擋區(qū)域以及視差不連續(xù)區(qū)域的能力較弱問(wèn)題,在SGM算法基礎(chǔ)上進(jìn)行視差優(yōu)化,提出一種基于SGM算法結(jié)合泛洪填充算法[18-20]和中值平滑的視差優(yōu)化方法。泛洪填充算法是模擬流體擴(kuò)散過(guò)程用特定的顏色填充聯(lián)通區(qū)域的一種算法,該算法被廣泛應(yīng)用在二維空間中確定連通區(qū)域的圖像處理中,且該算法填充不僅效率高且有較高的準(zhǔn)確性,因此利用該算法對(duì)視差圖中的遮擋區(qū)域以及視差不連續(xù)區(qū)域進(jìn)行空洞填充,接著對(duì)視差圖進(jìn)行中值平滑處理,進(jìn)一步對(duì)視差進(jìn)行細(xì)化的方案,大大增加了視差圖的匹配準(zhǔn)確度和適用性。

1 算法原理

本文算法流程如圖1所示,輸入左右相機(jī)采集的圖像對(duì),經(jīng)過(guò)Sobel算子處理、代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算、唯一性檢測(cè)、泛洪填充算法、中值平滑及左右一致性檢測(cè)等步驟最終生成視差圖。首先,本文在代價(jià)計(jì)算過(guò)程中使用BT代價(jià)計(jì)算,相較于傳統(tǒng)的互信息像素代價(jià)計(jì)算降低運(yùn)行時(shí)間的同時(shí)也提高匹配的精度。然后通過(guò)對(duì)多路徑的一維約束進(jìn)行求解各路徑的能量函數(shù)計(jì)算像素點(diǎn)總的匹配代價(jià)。采用WTA算法進(jìn)行視差計(jì)算。本文在視差優(yōu)化階段使用唯一性檢測(cè)、亞像素插值對(duì)錯(cuò)誤的視差進(jìn)行剔除,接著通過(guò)泛洪填充算法對(duì)視差弱紋理、重復(fù)紋理以及視差不連續(xù)區(qū)域進(jìn)行填充,利用中值平滑在剔除噪點(diǎn)的同時(shí)保留物體的邊緣特征,最后生成視差圖。

1.1 SGM算法

1.1.1 預(yù)處理

本文在采用Sobel算子對(duì)初始圖像進(jìn)行水平處理,該算子根據(jù)相鄰點(diǎn)灰度的加權(quán)差,在邊緣處達(dá)到極值這一現(xiàn)象檢測(cè)邊緣。對(duì)噪聲具有平滑作用,可以精準(zhǔn)的計(jì)算出邊緣信息,因此使用SobelX水平算子對(duì)輸入圖像的邊緣進(jìn)行提取,水平方向進(jìn)行梯度濾波處理。

然后再經(jīng)過(guò)一個(gè)函數(shù)將SobelX處理后圖像上像素點(diǎn)的像素值P,映射到一個(gè)新的圖像,像素值為Pnew,映射函數(shù)為:

(1)

式中:preFilterCap是一個(gè)參數(shù),可以根據(jù)不同的需求進(jìn)行調(diào)整,經(jīng)過(guò)上述處理,可以得到圖像的梯度信息,用于下一步的代價(jià)計(jì)算。

1.1.2 匹配代價(jià)計(jì)算

(2)

(3)

取兩個(gè)代價(jià)的最小值:

C(xR,y,d)=min(cos1,cos2)

(4)

1.1.3 代價(jià)聚合

通過(guò)圖像上多個(gè)方向上的一維路徑約束,建立一個(gè)類(lèi)似全局的馬爾科夫能量方程,代替全局匹配中的能量函數(shù),每個(gè)像素最終的匹配代價(jià)是所有路徑的疊加,每個(gè)方向方向都按照動(dòng)態(tài)規(guī)劃的方法進(jìn)行能量積累,如式(5)所示。

(5)

式中:C(P,d)代表的是基于BT代價(jià)計(jì)算的初始代價(jià)項(xiàng),P是像素點(diǎn)(xR,y),r代表聚合路徑,P1,P2是懲罰因子,數(shù)學(xué)模型如式(6)所示。

P=x*number*SAD*SAD

(6)

式中:x為常數(shù),number為待匹配圖像通道數(shù),SAD是代價(jià)計(jì)算的窗口大小。

將每個(gè)方向的匹配代價(jià)進(jìn)行累加得到該像素點(diǎn)總的匹配代價(jià),公式為:

S(P,d)=∑rLr(P,d)

(7)

1.1.4 視差計(jì)算

在本文算法中,采用贏家通吃(WTA)算法進(jìn)行視差計(jì)算,即每個(gè)像素都選擇最小的代價(jià)聚合值所對(duì)應(yīng)的視差作為初始視差(D(p)),一般會(huì)把每個(gè)像素計(jì)算到的視差以左圖為參考存儲(chǔ)視差值,再結(jié)合圖像的內(nèi)外參數(shù)即可轉(zhuǎn)換為深度圖,計(jì)算公式為:

(8)

1.1.5 后處理

SGM算法中后處理階段主要包括:唯一性檢驗(yàn)、亞像素插值、左右一致性檢測(cè)。本文在后處理階段做了大量的處理,在經(jīng)過(guò)左右一致性檢驗(yàn)后,視差圖會(huì)有大量的無(wú)效區(qū)域,對(duì)此本文加入泛洪填充算法與中值平滑,對(duì)泛弱紋理、重復(fù)紋理以及視差不連續(xù)區(qū)域進(jìn)行填充,再用中值平滑對(duì)圖像的噪點(diǎn)進(jìn)行剔除。

左右一致性檢查即把左右圖像的位置進(jìn)行對(duì)調(diào),對(duì)右圖像進(jìn)行視差圖計(jì)算,并對(duì)照兩個(gè)視差圖的同名點(diǎn)對(duì)是否能夠相互匹配,一般是把左視差圖的每一個(gè)像素點(diǎn)計(jì)算出同名點(diǎn)在右視差圖中的像素點(diǎn)的位置。再判斷視差值之差的絕對(duì)值是否小于一個(gè)閾值,如果超過(guò)閾值則視為不一致,即該位置視差為無(wú)效值。計(jì)算公式為:

(9)

1.2 泛洪填充算法

泛洪填充算法[15-16]是模擬流體擴(kuò)散過(guò)程用特定的顏色填充聯(lián)通區(qū)域的一種算法,該算法被廣泛應(yīng)用在二維空間中確定連通區(qū)域的圖像處理中。從一個(gè)選定的像素點(diǎn)F(x,y)出發(fā),根據(jù)該像素點(diǎn)與周?chē)袼攸c(diǎn)灰度值的差值對(duì)周?chē)繕?biāo)像素點(diǎn)判斷是否屬于該聯(lián)通區(qū)域,滿足判斷則對(duì)該點(diǎn)進(jìn)行填充,并將該目標(biāo)點(diǎn)作為新的種子點(diǎn)進(jìn)行下一輪填充過(guò)程,直到完全填充該聯(lián)通區(qū)域。泛洪填充最常見(jiàn)的有四連通和八連通兩種填充算法,如圖2所示。

(a) 四連通填充方向 (b) 四連通填充區(qū)域

由圖2可以看出,四連通填充算法是指從選定的像素點(diǎn)F(x,y)出發(fā),對(duì)上、下、左、右4個(gè)填充方向上的相鄰像素點(diǎn)進(jìn)行判斷,以確定是否對(duì)該填充方向進(jìn)行擴(kuò)展,見(jiàn)圖2a。八連通填充算法則是在四聯(lián)通填充的基礎(chǔ)上加入了左上、左下、右上、右下4個(gè)填充方向,見(jiàn)圖2b;圖2c和圖2d分別為四連通和八連通填充區(qū)域。相比較兩種算法,后者會(huì)出現(xiàn)跨區(qū)域填充的情況,對(duì)于細(xì)節(jié)較多的視差圖來(lái)說(shuō)會(huì)增大視差圖的誤差,而且計(jì)算量較大、耗時(shí)較長(zhǎng)。而四聯(lián)通不僅會(huì)減少計(jì)算量在對(duì)視差圖空洞填充中的“魯棒性”較強(qiáng),因此本文選用四聯(lián)通填充算法對(duì)視差圖中的空洞進(jìn)行填充,在視差圖中圖像中,由于無(wú)效點(diǎn)(其灰度值為0)與有效點(diǎn)之間的灰度值是存在突變,可以利用泛洪填充算法找到空洞中的某一非零灰度像素點(diǎn)作為起始像素點(diǎn),對(duì)該聯(lián)通區(qū)域進(jìn)行填充以獲取匹配度更高的視差圖。

1.3 中值平滑

中值平滑是一種基于排序統(tǒng)計(jì)理論的圖像處理技術(shù),同時(shí)也是一種鄰域運(yùn)算,是生成一個(gè)濾波模板,通過(guò)從視差圖中的二維模板取出奇數(shù)個(gè)像素點(diǎn)的灰度值進(jìn)行排序,用排序后的中值取代該滑動(dòng)窗口中心像素的灰度值,從而達(dá)到對(duì)視差圖的平滑處理。假設(shè)w為輸入的二維模板,能夠在整幅圖像上滑動(dòng),通常尺寸為3*3或5*5區(qū)域,也可以是不同的形狀如線狀、圓形、十字形、圓環(huán)形等。一般設(shè){xij(i,j)∈I2}表示視差圖各點(diǎn)的灰度值。窗口大小為A,yij是窗口A在xij像素點(diǎn)的中值,則有:

yij=Med{xij}=Med{xi+r,(i,s),(r,s)∈A,(i,j)∈I2}

(10)

中值平滑是一種經(jīng)典的平滑處理方式,它的目的是保護(hù)視差圖邊緣特征的同時(shí)可以填補(bǔ)視差圖中噪聲點(diǎn),能夠克服線性濾波器帶來(lái)的視差圖像中細(xì)節(jié)模糊等弊端。

2 評(píng)價(jià)指標(biāo)

為了驗(yàn)證算法參數(shù)的有效性,我們引入均方根誤差(RMSE)、峰值信噪比(PSNR)對(duì)視差圖進(jìn)行分析[18],同時(shí)為了更詳細(xì)地量化匹配結(jié)果,引入平均結(jié)構(gòu)相似性(MSSIM)評(píng)價(jià)指標(biāo)計(jì)算本文算法得到的視差圖與真實(shí)視差圖像相似性。

2.1 均方根誤差

均方根誤差反映的是變量間的差異程度,是一種基于像素誤差的圖像質(zhì)量客觀評(píng)價(jià)指標(biāo),用于衡量生成視差圖像和真實(shí)視差圖像之間的差異,MSE越小,表示生成的視差圖像效果越好。表達(dá)式如下:

(11)

2.2 峰值信噪比

峰值信噪比,用于衡量圖像有效信息與噪聲之間的比率,是衡量圖像失真或噪聲水平的客觀指標(biāo),能夠反映圖像是否失真。PSNR的值越大,表示圖像的匹配質(zhì)量越好。公式為:

(12)

式中:M*N表示圖像的大小,X(i,j)和Y(i,j)表示兩幅圖像的灰度值。

2.3 結(jié)構(gòu)相似性

結(jié)構(gòu)相似性是一種用以衡量?jī)蓮垐D像相似程度的指標(biāo),它分別從亮度、對(duì)比度、結(jié)構(gòu)3個(gè)方面度量圖像相似性,尤其反映了圖像的輪廓,細(xì)節(jié)等的相似度,很適合在本實(shí)驗(yàn)中用來(lái)衡量生成視差圖與真實(shí)視差圖之間的相似程度的客觀評(píng)價(jià)指標(biāo),MSSIM值越大,說(shuō)明與真實(shí)視差圖像更接近,視差圖效果越好,計(jì)算公式為:

MSSIM(X,Y)=

(13)

式中:μXk、μYk分別表示圖像X和Y的均值,σXk、σYk分別表示圖像X和Y的方差,σXkYk表示圖像X和Y的協(xié)方差,C1、C2、C3為常數(shù),為了避免分母為零的情況。

2.4 實(shí)驗(yàn)參數(shù)選取

在SGM算法的參數(shù)中,有3個(gè)關(guān)鍵參數(shù)對(duì)視差生成效果有很大影響,即SADNowSize、NumDisparities和UniquenessRatio。

(1)SADNowSize(SWS):計(jì)算成本步驟中SAD窗口的大小SW應(yīng)該是奇數(shù),一般在范圍(3,11)內(nèi)。

(2)NumDisparities(NDis):視差窗口,即最大和最小視差值之間的差值,必須是16的整數(shù)倍。

(3)UniquenessRatio(UniR):主要是為了防止不匹配,這個(gè)參數(shù)對(duì)最終的匹配結(jié)果有很大的影響。在立體匹配中,如果存在不匹配,遇到障礙物檢測(cè)應(yīng)用程序?qū)⒎浅Ｂ闊?。此參?shù)不能為負(fù),可在范圍(5,15)內(nèi)獲得。

因此,我們將重點(diǎn)分析SWS、NDis和UniR的參數(shù),以選擇最佳算法參數(shù)。利用MSSIM與RMSE對(duì)視差圖進(jìn)行了評(píng)估。首先,在程序中,我們?cè)O(shè)置參數(shù)的初始值,然后調(diào)整其中一個(gè)參數(shù)(保持其他參數(shù)不變),使值變化最大。同樣,我們調(diào)整其他參數(shù)以使其達(dá)到最佳狀態(tài),最后選擇所有最佳參數(shù)。設(shè)置參數(shù)的初始值:SWS=5、NDis=64和UniR=10。我們僅以teddy的視差圖為例,圖3是配重參數(shù)SWS=5和UniR=10時(shí)。更改NDis值時(shí)Teddy視差圖所對(duì)應(yīng)的MSSIM與RMSE的評(píng)價(jià)指標(biāo),NDis的值范圍為:(16～112)。

圖3 相對(duì)于Ndis的teddy變化(SWS=5,UniR=10)

從圖3可以看出,當(dāng)Ndis=16、32、48時(shí),teddy的視差圖中的RMSE值在不斷的下降,MSSIM值在不斷的提高,視差圖在隨著Ndis值的增大精度在不斷地提高,當(dāng)Ndis=80、96、112時(shí),teddy的視差圖中的RMSE值在不斷的上升,MSSIM值在不斷的下降,視差圖在隨著Ndis值的增大精度在降低,由此看見(jiàn),當(dāng)Ndis=64時(shí),teddy的圖像匹配效果與真實(shí)視差最接近,此時(shí)的匹配效果最好。

圖4是配重參數(shù)Ndis=64和UniR=10時(shí)。更改SWS值時(shí)Teddy視差圖所對(duì)應(yīng)的MSSIM與RMSE的評(píng)價(jià)指標(biāo)。

從圖4可以看出。當(dāng)SWS=3、5、7、9、11時(shí),teddy的視差圖中的RMSE值在不斷的上升,MSSIM值在不斷的下降,由此可見(jiàn)當(dāng)SWS增大時(shí)視差誤差越大,但是視差圖的相似性越大。為平衡二者的優(yōu)劣,本文取SWS=5。

圖5是配重參數(shù)Ndis=64和SWS=5時(shí)。更改UniR值時(shí)Teddy視差圖所對(duì)應(yīng)的MSSIM與RMSE的評(píng)價(jià)指標(biāo)。

從圖5可以看出,當(dāng)參數(shù)UniR改變時(shí),teddy的圖像匹配效果沒(méi)有顯著變化。為了評(píng)估生成的teddy視差圖像的全局精度,平衡二者的優(yōu)劣,本文取UniR=12。結(jié)果表明,組合(Ndis=64,SWS=5,UniR=12)產(chǎn)生的結(jié)果最準(zhǔn)確。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文提出的視差圖像優(yōu)化算法的性能,進(jìn)行3組實(shí)驗(yàn)。分別選用teddy、Books、Dolls、Cloth進(jìn)行實(shí)驗(yàn)驗(yàn)證,該實(shí)驗(yàn)的目的是通過(guò)評(píng)價(jià)指標(biāo)定量評(píng)估算法性能;本文算法的代碼通過(guò)PyCharm Community Edition 2021.3.2中OpenCV庫(kù)實(shí)現(xiàn),在配備Intel(R) Core(TM) i5-10400F 2.90 GHz的CPU以16GB內(nèi)存的計(jì)算機(jī)上運(yùn)行。

3.1 實(shí)驗(yàn)結(jié)果

在Middlebury立體匹配數(shù)據(jù)集中選取teddy、Books、Dolls、Cloth場(chǎng)景,參考以上實(shí)驗(yàn)中的主要參數(shù)取值,用原始SGM算法與本文改進(jìn)SGM算法分別進(jìn)行實(shí)驗(yàn),得到結(jié)果如圖6所示。

圖6 teddy、Books、Dolls、Cloth的立體匹配結(jié)果

圖7 改進(jìn)前后RMSE、PSNR、MSSIM指標(biāo)平均值變化曲線

通過(guò)與傳統(tǒng)SGM算法所生成的視差圖比較,本文所提的泛洪算法對(duì)視差圖的遮擋區(qū)域有很好的填充效果,如圖6c所示。中值平滑可以剔除對(duì)視差圖中的噪點(diǎn),從而進(jìn)一步改善視差圖,如圖6d所示。

3.2 結(jié)果分析

為了進(jìn)一步驗(yàn)證本文改進(jìn)的SGM算法的優(yōu)越性,利用均方根誤差(RMSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似性(MSSIM)評(píng)價(jià)方法對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行量化評(píng)價(jià)。從而對(duì)本文所改進(jìn)的SGM算法進(jìn)行量化分析。定量評(píng)價(jià)結(jié)果如表1所示,其中b列是傳統(tǒng)SGM算法得到視差圖的量化評(píng)價(jià),c列為在SGM算法的基礎(chǔ)上引入泛洪填充算法所得到視差圖的量化評(píng)價(jià),d列為在c列的基礎(chǔ)上再對(duì)視差圖進(jìn)行中值平滑處理所得到視差圖的量化評(píng)價(jià)。

表1 基于Middlebury數(shù)據(jù)集部分圖像匹配量化指標(biāo)

通過(guò)對(duì)表1中的量化指標(biāo)分析可以看出,所提改進(jìn)SGM算法增加了泛洪填充算法與中值平滑算法的方法,僅在SGM算法中加入泛洪填充算法,RMSE指標(biāo)平均值下降1.66,PSNR指標(biāo)平均值上升4.64;MSSIM指標(biāo)平均值上升8.25%,由于改進(jìn)后的視差圖是根據(jù)空洞邊緣的視差值來(lái)決定空洞的視差值填充,對(duì)于丟失的部分可以得到有效的補(bǔ)充,使得改進(jìn)后的算法所生成的視差圖準(zhǔn)確度得到提升。在后處理階段加入中值平滑后,RMSE指標(biāo)平均值下降0.17;PSNR指標(biāo)平均值上升0.42;MSSIM指標(biāo)平均值上升0.75%,中值平滑可以很好的去除視差中的噪點(diǎn),從而提高視差的精確度。通過(guò)對(duì)3項(xiàng)指標(biāo)的量化分析可以看出,改進(jìn)后的SGM算法,RMSE指標(biāo)平均值下降1.83;PSNR指標(biāo)平均值上升5.06;MSSIM指標(biāo)平均值上升9.00%。與傳統(tǒng)SGM算法相比較之下,本文改進(jìn)的SGM算法在立體匹配中性能有較高的提升。

4 結(jié)論

本文提出一種在SGM算法基礎(chǔ)上引入泛洪填充算法以及中值平滑。在視差后處理階段采用泛洪填充算法對(duì)圖像匹配中遮擋區(qū)域以及視差不連續(xù)區(qū)域中空洞進(jìn)行填充,先是對(duì)空洞邊緣的信息進(jìn)行選取,然后基于空洞的邊緣信息進(jìn)行空洞填充,不僅很好的保留圖像的邊緣信息,而且對(duì)視差圖的空洞很好的進(jìn)行填充,接著再對(duì)圖像進(jìn)行中值平滑處理,對(duì)視差圖中的噪點(diǎn)進(jìn)行剔除。與傳統(tǒng)SGM算法相比本文所改進(jìn)的立體匹配準(zhǔn)確度提高了9.00%。