高 強(qiáng)，盧云朋，楊紅葉

(華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003)

基于差異的視差估計(jì)方法研究

高 強(qiáng)，盧云朋，楊紅葉

(華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003)

視差估計(jì)在立體圖像編碼、視頻檢索、立體圖像分割等領(lǐng)域有重要的應(yīng)用，是進(jìn)行圖像、視頻分析的基礎(chǔ)。首先，基于模糊隸屬度提出了一種基于差異的視差估計(jì)方法；其次，引入模糊隸屬度，把圖像灰度轉(zhuǎn)換為差異值；然后，分析了多塊匹配的優(yōu)越性；提出了基于多塊匹配的視差估計(jì)方法；最后，在Middlebury網(wǎng)站上的測試結(jié)果證明了該方法的有效性。

視差；隸屬度；立體；差異

在雙目立體視覺系統(tǒng)中，視差是空間中的一點(diǎn)投影到左右雙目成像平面上的成像點(diǎn)的位置差矢量，間接反映了景物的深度信息[1-2]。目前，基于窗口的視差估計(jì)方法逐漸受到大多數(shù)學(xué)者的青睞[3-4]。在該類算法中，窗口的選擇是獲得精準(zhǔn)視差圖的關(guān)鍵，窗口既要大到保證在低紋理區(qū)域能涵蓋足夠的灰度信息，又要小到保證在視差不連續(xù)區(qū)域獲得光滑視差場。目前還沒有一種黃金標(biāo)準(zhǔn)用以衡量這兩者之間的矛盾。為了克服窗口選擇的困難，出現(xiàn)了自適應(yīng)窗口和自適應(yīng)權(quán)重的視差估計(jì)方法[5-6]。

在塊匹配中，相似性測度的選擇也是決定視差估計(jì)效果的關(guān)鍵因素。在基于窗口的方法中大多采用的測度有SAD(Sum of Absolute Differences)、SSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)[7]。以上測度是基本也是經(jīng)典的，通常能夠獲得較稠密的視差圖，但在視差不連續(xù)及低紋理區(qū)域的表現(xiàn)能力較差。針對這個(gè)不足很多學(xué)者對測度因子進(jìn)行了改進(jìn)。將模糊理論引入到相似性測度中，能夠降低由于圖像采集過程中帶來的遮擋、光照、反射、陰影等一系列問題的影響[8-9]。本文基于模糊數(shù)學(xué)中的隸屬度，提出了一種新的視差估計(jì)方法。

1 基于差異的視差估計(jì)方法

1.1 差異值的定義式

根據(jù)直觀經(jīng)驗(yàn)知：某個(gè)對象和某個(gè)等級(如優(yōu)、良等)的差異與這個(gè)對象屬于這個(gè)等級的隸屬度密切相關(guān)。如果某個(gè)對象屬于某個(gè)等級的隸屬度越大，則該對象與該等級的差異就會越小；反之，與該等級的差異越大。顯然差異D與隸屬度u之間的關(guān)系具有如下的性質(zhì)：

1) 差異D是隸屬度u的函數(shù)，即D=f(u)。

2) 差異D是隸屬度u的單調(diào)遞減函數(shù)，即u→1時(shí)，D→0；u→0時(shí)，D→1。

3) 如果u(x,y)=u(x)·u(y)，則D(x,y)=D(x)+

D(y)。

4) 差異D具有模糊性、可加性、單調(diào)性和非負(fù)性等屬性。

引理[10]，如果實(shí)函數(shù)滿足以下條件：

1) f(x)≥0；

2) f(x)是嚴(yán)格單調(diào)增函數(shù)，即x≥y?f(x)≥f(y)；

3) f(x·y)=f(x)+f(y)。

則f(x)=c·logax。

1.1.1 定理1

差異值與隸屬度之間的關(guān)系為

(1)

式中：u(0≤u≤1)為屬于某個(gè)等級(如優(yōu)、良、中等)的隸屬度；D(D≥0)為與之對應(yīng)的某個(gè)等級(如優(yōu)、良、中等)的差異；c(c∈R)為系數(shù)；a(a>1)為底數(shù)。

結(jié)合備注1與引理1即可證明定理1。

定義1：為了方便，將定理1的公式定義為u(0≤u≤1)為屬于某個(gè)等級(如優(yōu)、良、中等)的隸屬度；D(D≥0)為與之對應(yīng)的某個(gè)等級(如優(yōu)、良、中等)的差異，c(c=1)為系數(shù)，a(a=10)為底數(shù)時(shí)，差異的單位為“階”。

(2)

定義2：假設(shè)兩個(gè)不同的對象屬于某個(gè)等級(如優(yōu)、良、中、差)的隸屬度分別為u1(0≤u1≤1)，u2(0≤u2≤1)，與之對應(yīng)的差異分別為D1(D1≥0)，D2(D2≥0)，則將兩者之間的差異值定義為

(3)

Dd滿足距離的公理化定義：

1) 0≤Dd(A,B)<∞；

2)A=B?Dd(A,B)=0；

3)Dd(A,B)=Dd(B,A)；

4)Dd(A,C)=Dd(A,B)+Dd(B,C)。

1.1.2 定理2

設(shè)矩陣A=(aij)n×n，矩陣B=(bij)n×n，矩陣C=(cij)n×n，C=A-B，則

(4)

式中：aij(aij∈R)(i,j=1,2,…,n)；bij(bij∈R)(i,j=1,2,…,n)是對象差異值。

證明：由以上可知

cij=aij-bij

(5)

由三角關(guān)系

(6)

可得

(7)

即

(8)

(9)

1.2 新的視差估計(jì)方法的建立

1.2.1 隸屬度函數(shù)

隸屬度函數(shù)的選擇，對圖像模糊化效果產(chǎn)生影響。

(10)

圖1為本文中使用隸屬度函數(shù)曲線。在選擇隸屬度函數(shù)上，本文考慮利用單調(diào)隸屬度函數(shù)，即灰度值和隸屬度一一對應(yīng)，因此本文選擇戒上型隸屬度函數(shù)，灰度值、隸屬度和差異值一一對應(yīng)。典型隸屬度函數(shù)中的戒上型可表達(dá)為

(11)

式中：a，b，c為參數(shù)。在本文中，令a=1，b=3，c=0。

圖1 戒上型隸屬度函數(shù)

1.2.2 差異值和測度SD(Sum of Differences)的建立

本文基于SAD的思想提出一種新的基于隸屬度測度。IR(x,y)為基準(zhǔn)圖中點(diǎn)(x,y)的灰度值，IL(x+d,y)為對準(zhǔn)圖中點(diǎn)(x+d,y)的灰度值；W為以點(diǎn)(m,n)為中心的匹配窗口。則兩個(gè)窗口的SAD的算法表達(dá)式為

(12)

式中：d為視差?；赟AD的表達(dá)式，可得差異測度的表達(dá)式為

(13)

式中：u(IR(x,y))和u(IL(x+d,y))分別是右圖像中點(diǎn)(x,y)和左圖像中點(diǎn)(x+d,y)的隸屬度；lgu(IR(x,y))和lgu·(IL(x+d,y))是相應(yīng)隸屬度的差異值。

SAD視差估計(jì)方法是基于窗口的，處理過程中只是針對圖像灰度進(jìn)行處理，對處于視差不連續(xù)區(qū)域邊界上灰度值進(jìn)行匹配時(shí)，圖2中兩個(gè)匹配窗口的中心點(diǎn)恰好匹配。若中心點(diǎn)向右移動，則會出現(xiàn)圖3中兩個(gè)窗口的中心點(diǎn)原則上匹配，但通過觀察看到兩個(gè)矩形窗口內(nèi)灰度值和差別很大，實(shí)際匹配過程無法正確匹配，造成誤匹配。本文提出的基于模糊隸屬度的視差估計(jì)算法，利用隸屬度函數(shù)將圖像灰度值轉(zhuǎn)化為模糊化的差異值，將圖像的差異值矩陣轉(zhuǎn)換到0～255范圍(見圖4)。由圖4可知，經(jīng)過轉(zhuǎn)換后，原圖像灰度值都被放大，但在低灰度值區(qū)域被放大的倍數(shù)要遠(yuǎn)大于在高灰度區(qū)域的倍數(shù)，即縮小了低灰度區(qū)域與高灰度區(qū)域之間的差距。當(dāng)出現(xiàn)圖3的情況時(shí)，由于低灰度區(qū)域被放大得很多，高灰度區(qū)域被放大得很少，能夠使得兩個(gè)窗口內(nèi)的差異值和基本一致，從而正確匹配，提高在視差不連續(xù)區(qū)域的穩(wěn)健性。

圖2 窗口處于視差連續(xù)區(qū)邊界

圖3 窗口處于視差不連續(xù)區(qū)域

圖4 窗口處于視差不連續(xù)區(qū)域

1.2.3 多塊匹配

假定Ai(i=1,2,3,4)分別代表圖5a中以像素點(diǎn)ai(i=1,2,3,4)為中心的窗口W(n×n)內(nèi)像素的均值；Bi(i=1,2,3,4)分別代表圖5b中以像素點(diǎn)bi(i=1,2,3,4)為中心的窗口W(n×n)內(nèi)像素的均值。

圖5 左、右圖像4塊匹配示意圖

在基于塊匹配的視差估計(jì)方法中通常采用單個(gè)塊之間的匹配為：A1→B1或A2→B2或A3→B3或A4→B4。

如圖5所示，匹配過程中如果滿足

(14)

(15)

(16)

(17)

式中：th為設(shè)定的閾值，則認(rèn)為其相似度較大，即判定對應(yīng)塊匹配。對應(yīng)這樣的匹配可以找到對應(yīng)的塊，但是匹配精度過低。若采用A1A2A3A4→B1B2B3B4之間的匹配，即4個(gè)塊之間合起來進(jìn)行相似性的比較，即

(18)

式中：TH為設(shè)定的閾值，根據(jù)上文定理2，單個(gè)塊之間分別判定相似度與多個(gè)塊聯(lián)合再判斷相似度滿足下列條件

(19)

式(19)說明單個(gè)塊之間的差值的和大于多個(gè)塊之間和的差，由于SAD/SD屬于最小距離測度，距離越小，相似度越大，利用多個(gè)塊進(jìn)行匹配比利用單個(gè)塊進(jìn)行匹配具有更高的可靠性根本原因是多塊匹配利用了塊與塊之間的關(guān)聯(lián)信息。

基于多塊匹配的算法流程如下：

1)以右圖像為參考圖像，在右圖像中選定一個(gè)窗口。

2)在左圖中選定同一大小的窗口。

3)根據(jù)立體匹配外極限約束，兩個(gè)匹配的窗口在同一水平線上，因此移動左圖中的窗口，找到與右圖像中最相似的子窗口，則用單塊匹配原則判定這兩個(gè)窗口的中心點(diǎn)為對應(yīng)匹配點(diǎn)，將這兩個(gè)子窗口做好標(biāo)記。

4)移動右圖中的窗口使其中心點(diǎn)到下一像素點(diǎn)，重復(fù)步驟2)、3)，找到另外兩個(gè)對應(yīng)的子窗口，做好標(biāo)記。

5)找到的被標(biāo)記兩對子窗口，利用多塊匹配方法判斷其相似性，若判斷為相似，則保留這兩對子窗口；若不相似，則放棄這兩對子窗口的匹配結(jié)果。

2 實(shí)驗(yàn)結(jié)果與分析

在為了驗(yàn)證基于差異的視差估計(jì)方法的正確性及有效性，借助標(biāo)準(zhǔn)圖像對比較基于差異視差估計(jì)算法與其他方法的性能。

2.1 與基于SAD的視差估計(jì)方法及參數(shù)不同的新方法的直觀比較

本文提出的SD測度因子是基于SAD測度因子的思想，因此本文首先與SAD的方法進(jìn)行比較。圖6為Tsukuba的左視圖像與真實(shí)視差圖，圖7為SAD與SD的比較結(jié)果。圖7中第1行為基于SAD的視差估計(jì)方法所得結(jié)果，第2行為基于SD的視差估計(jì)方法所得結(jié)果，其中參數(shù)為a=0.1，b=3，c=0。從圖7中可看到基于SD的視差估計(jì)方法誤匹配點(diǎn)較少(圖中黑點(diǎn)代表誤匹配點(diǎn))，即提高了匹配精度。

2.2 實(shí)驗(yàn)數(shù)據(jù)對比與分析

圖6 Tsukuba圖像

圖7 基于SAD與基于SD的視差估計(jì)方法視差圖對比圖

上文從直觀角度說明了基于差異的視差估計(jì)方法的正確性與有效性，在本節(jié)中將從實(shí)驗(yàn)數(shù)據(jù)上分析本文提出方法的正確性與有效性。同時(shí)為了比較本文提出的算法與其他區(qū)域立體匹配算法的優(yōu)劣，本文利用middlebury網(wǎng)站提供的SSD+MF[11]和SAD-IGMCT[12]兩種方法做了比較，這兩種算法都是以區(qū)域匹配算法SAD或SSD作為獲取初始視差圖的方法，而后再利用其他理論的聯(lián)合視差估計(jì)算法。

如表1所示，實(shí)驗(yàn)數(shù)據(jù)為在middlebury網(wǎng)站測試結(jié)果，其中nonocc代表未遮擋區(qū)域誤匹配率，all代表全部區(qū)域誤匹配率，disc代表視差不連續(xù)區(qū)域誤匹配率。從表1實(shí)驗(yàn)數(shù)據(jù)可得以下結(jié)論：

1)本文提出的基于差異的視差估計(jì)方法與基于SAD的視差估計(jì)方法性能有一定提升，主要表現(xiàn)在非遮擋區(qū)(nonocc)誤匹配率由原來的9.3%下降到8.85%；全局(all)由原來的11.2%下降到10.8%；尤其是在視差不連續(xù)區(qū)(disc)由原來的26.2%下降到25.9%，說明了本方法能夠提升視差不連續(xù)區(qū)域的匹配精度，即具有很好的穩(wěn)健性。

2)基于差異的方法中隸屬度函數(shù)參數(shù)不同時(shí)匹配精度略有不同。

3)由表中與SAD-IGMCT的聯(lián)合視差估計(jì)方法相比，基于SD的算法性能仍需進(jìn)一步提高。

表1 Tsukuba圖像在基于SAD及SD視差估計(jì)方法的誤匹配率 %

3 結(jié)論

本文提出了一種基于差異的視差估計(jì)方法。在相似性測度因子中引入了模糊隸屬度，分析了隸屬度的選擇對視差估計(jì)方法的影響，分析了利用多塊匹配代替單塊配的優(yōu)越性。本文提出的方法在視差不連續(xù)區(qū)域具有良好的穩(wěn)健性，適合于邊界模糊的立體圖像的初始視差估計(jì)。本方方法與聯(lián)合視差估計(jì)方法相比匹配精度較低，結(jié)合其他理論以提高匹配精度是今后研究的重點(diǎn)。

[1]段軍，何明一，戴玉超.基于線段分割的圖割立體匹配[J].電視技術(shù)，2012，36(11)：15-18.

[2]吳方，王沛.一種改進(jìn)的自適應(yīng)權(quán)重立體匹配算法與校正[J].電視技術(shù)，2012，36(11)：19-23.

[3]GUPTARK，CHOSY.Window-basedapproachforfaststereocorrespondence[J].IETComputerVision，2013，7(2)：123-134.

[4]SUX，KHOSHGOFIAARTM.Arbitrarily-shapedwindowbasedstereomatchingusingthego-lightoptimizationalgorithm[C]//Proc.IEEEInternationalConferenceonImageProcessing，2007(ICIP2007).[S.l.]：IEEEPress，2007：556-559.

[5]DE-MAEZTUL，VILLANUEVAA，CABEZAR.Stereomatchingusinggradientsimilarityandlocallyadaptivesupport-weight[J].PatternRecognitionLetters，2011，32(13)：1643-1651.

[6]GUZ，SUX，LIUY，etal.Localstereomatchingwithadaptivesupport-weight，ranktransformanddisparitycalibration[J].PatternRecognitionLetters，2008，29(9)：1230-1235.

[7]MEIX，SUNX，ZHOUM，etal.Onbuildinganaccuratestereomatchingsystemongraphicshardware[C]//Proc.IEEEInternationalConferenceonComputerVisionWorkshops，2011(ICCVWorkshops2011).[S.l.]：IEEEPress，2011： 467-474.

[8]DUTTAA，KARA，CHATTERJIBN.Anovelapproachtocornermatchingusingfuzzysimilaritymeasure[C]//Proc.7thInternationalConferenceonAdvancesinPatternRecognition，2009(ICAPR′09).[S.l.]：IEEEPress，2009：57-60.

[9]GALARM，F(xiàn)ERNANDEZJ，BELIAKOVG，etal.Interval-valuedfuzzysetsappliedtostereomatchingofcolorimages[J].IEEETrans.ImageProcessing，2011，20(7)：1949-1961.

[10]SAFFEB，SNIDERAD.Fundamentalsofcomplexanalysiswithapplicationstoengineering，science，andmathematics[M].NJ：PrenticeHall，2003.

[11]SCHARSTEIND，SZELISKIR.Ataxonomyandevaluationofdensetwo-framestereocorrespondencealgorithms[J].InternationalJournalofComputerVision，2002，47(1)：7-42.

[12]AMBROSCHK，KUBINGERW.Accuratehardware-basedstereovision[J].ComputerVisionandImageUnderstanding，2010(11)：1303-1316.

責(zé)任編輯：時(shí) 雯

New Disparity Estimation Method Based on Difference Measurement

GAO Qiang，LU Yunpeng，YANG Hongye

(SchoolofElectricalandElectronicEngineering，NorthChinaElectricPowerUniversity，HebeiBaoding071003，China)

Disparity estimation is a basic analytic method for images and video and is highly used in fields like stereo image coding，video retrieval and stereo image segmentation.A new disparity estimation method based on the membership degree in fuzzy mathematics is proposed.In this paper，the membership degree is introduced,gray values of the image are transformed to difference values.Meanwhile，the superiority of the multi-block matching is analyzed.The new method based on the idea of block matching constructs a multi-block matching algorithm.The experimental results based on the Middlebury stereo datasets demonstrate that this method can achieve a better performance.

disparity；membership degree； stereo； difference

【本文獻(xiàn)信息】高強(qiáng)，盧云朋，楊紅葉.基于差異的視差估計(jì)方法研究[J].電視技術(shù),2015，39(3).

TN911.73；TP391.4

A

10.16280/j.videoe.2015.03.006

2014-02-09