單 潔，唐 垚，姜 暉

(西安郵電大學(xué)通信與信息工程學(xué)院，陜西西安710121)

1 引言

隨著機(jī)器視覺的發(fā)展，立體視覺系統(tǒng)得到越來越廣泛的應(yīng)用［1－2］。雙目立體相機(jī)采用兩臺(tái)相機(jī)，模擬人眼成像原理，先通過尋找兩個(gè)相機(jī)中圖像對(duì)應(yīng)點(diǎn)的光學(xué)，得到各個(gè)點(diǎn)處的視差，再根據(jù)視差信息和相機(jī)的投影模型恢復(fù)出原始景物的深度信息。所以，在通過立體相機(jī)計(jì)算場(chǎng)景信息的深度過程中，圖像獲取、相機(jī)標(biāo)定、圖像匹配和三維重建成為了關(guān)鍵技術(shù)。

根據(jù)匹配基元的不同，圖像匹配可分為區(qū)域匹配［1－2］、特征匹配［1］和相位匹配［2－4］。其中，區(qū)域匹配以區(qū)域相似度為匹配基元，基本原理是在基準(zhǔn)圖上選取一個(gè)模板窗口，在配準(zhǔn)圖上選取同樣大小的一組窗口，再將這些窗口與基準(zhǔn)圖中的模板窗口進(jìn)行相似度比較，找出與模板窗口最相似的窗口，那么該窗口的中心點(diǎn)就是模板窗口中心點(diǎn)的匹配點(diǎn)，兩點(diǎn)的橫坐標(biāo)差即為視差［1］。

區(qū)域匹配直接利用圖像的灰度信息，實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度，并能取得致密的視差場(chǎng)。區(qū)域匹配適用于具有明顯紋理特征的圖像，可以直接獲得稠密的深度圖，但區(qū)域匹配選取一定大小窗口內(nèi)的灰度分布特性作為匹配基元，決定了該算法具有以下局限性［5］:(1)計(jì)算量大;(2)對(duì)左右兩幅圖像中光照不均勻較敏感，在這種情況下容易造成匹配困難;(3)匹配窗大小難選擇。窗口選擇過大，在高度間斷處會(huì)出現(xiàn)誤匹配，選擇過小，區(qū)域內(nèi)的灰度分布特性未得以充分展現(xiàn);(4)對(duì)于視差不連續(xù)處的情況，如物體邊緣附近的區(qū)域，適應(yīng)性較差。文獻(xiàn)［6］、［7］提出了在FPGA上基于SAD匹配準(zhǔn)則的算法實(shí)現(xiàn)?；贔PGA實(shí)現(xiàn)圖像匹配算法，能夠充分發(fā)揮FPGA的特點(diǎn)，利用流水線和并行計(jì)算技術(shù)，提高運(yùn)算效率和系統(tǒng)的吞吐率，解決了計(jì)算量大的問題，達(dá)到實(shí)時(shí)處理的要求。針對(duì)區(qū)域匹配對(duì)因亮度變化、噪聲等因素引起的幅度失真非常敏感的問題，先后有文獻(xiàn)提出了對(duì)幅度失真不敏感的匹配代價(jià)，其中主要有歸一化互相關(guān)(NCC)、互信息和 Rank、Census 非參數(shù)變換［8］等。Hirschmulle通過大量實(shí)驗(yàn)發(fā)現(xiàn):基于Census變換的匹配代價(jià)對(duì)圖像中的噪聲和亮度不一致性有很高的魯棒性，能獲得更優(yōu)的視差結(jié)果［9］。文獻(xiàn)［7］采用基于Census變換的匹配算法實(shí)現(xiàn)了圖像匹配的實(shí)時(shí)處理。此外，傳統(tǒng)的固定窗口存在變換窗口大小的選擇問題，若窗口太小，則匹配代價(jià)區(qū)分度過低，在低紋理區(qū)域容易出現(xiàn)誤匹配;若窗口過大，又會(huì)在深度不連續(xù)區(qū)域出現(xiàn)誤匹配。文獻(xiàn)［10］提出了基于Census變換與自適應(yīng)窗口的局部匹配算法，對(duì)幅度失真具有良好的魯棒性。但是，經(jīng)過研究表明，Census變換由于丟棄了圖像色彩信息而僅保留了像素間大小關(guān)系，容易造成誤匹配［11］，文獻(xiàn)［12］提出了多相關(guān)窗口的匹配方法。

本課題主要應(yīng)用雙目立體相機(jī)進(jìn)行障礙物檢測(cè)，不僅要求對(duì)數(shù)據(jù)的正確性，還要求算法需要較低的復(fù)雜度，同時(shí)還要具有較好的魯棒性，處理好噪聲、目標(biāo)區(qū)域低紋理、遮擋和圖像邊界不連續(xù)等問題，實(shí)現(xiàn)最佳的立體匹配效果。為了解決區(qū)域匹配的局限性，對(duì)立體匹配算法的進(jìn)展進(jìn)行了研究，利用Census度量算法的特點(diǎn)，結(jié)合文中具體立體相機(jī)的硬件結(jié)構(gòu)，提出了一種基于FPGA的并行實(shí)時(shí)Census變換立體匹配算法?；贔PGA的算法實(shí)現(xiàn)結(jié)合了多窗口匹配的方法，通過左右一致性約束，實(shí)現(xiàn)了基于FPGA的立體圖像匹配硬件結(jié)構(gòu)，不僅保證了匹配精度，而且對(duì)幅度失真具有較好的魯棒性，為下一步的三維重建及深度測(cè)量打下了良好的基礎(chǔ)。

2 算法描述

2.1 Census變換

非參數(shù)變換［8］，如 Rank 或 Census，是首先對(duì)圖像進(jìn)行非參數(shù)化變換，提取包含局部紋理信息的描述符。Census變換通過計(jì)算點(diǎn)在窗口中的灰度順序。變換以像素為中心選擇一個(gè)窗口，將窗口中心像素以外的像素變換為一個(gè)比特串。如果窗口中一個(gè)像素的灰度值比中心像素大，則相應(yīng)位置為1，反之，即為0。Census變換公式如式(1)(2)所示:

式中，I(m，n)為變換窗口N對(duì)應(yīng)的中心像素灰度值;I(x，y)為窗口內(nèi)其余像素的灰度值，函數(shù)通過對(duì)這些像素值的比較，將結(jié)果串連(?)成比一個(gè)特向量code(m，n)，它表征了中心像素(m，n)與周圍像素的灰度值的比較關(guān)系。然后再利用Hamming距計(jì)算Census變換后比特串之間的差異程度，Hamming距越小，說明兩點(diǎn)的匹配度越高。

經(jīng)過Census變換后，中心像素的灰度值被替換為一個(gè)0和1的比特串，該比特串僅與變換窗口中心像素和其他各個(gè)像素灰度大小有關(guān)，因此，Census變換對(duì)于幅度失真有著很好的抑制能力。

2.2 多相關(guān)窗口匹配

由于匹配窗口位于深度不連續(xù)的區(qū)域時(shí)會(huì)引入匹配誤差，本文中相關(guān)窗口的選取采用了文獻(xiàn)［10］提出的多相關(guān)窗口的匹配方法。當(dāng)匹配窗口位于深度不連續(xù)的區(qū)域時(shí)，可以通過只采用深度連續(xù)區(qū)域的相關(guān)窗口來減小誤差。如圖2中(b)所示。

圖1 多窗口匹配示意圖

圖2中(c)所示為9窗口匹配方式，其中當(dāng)中心窗口位于深度不連續(xù)的區(qū)域時(shí)，左右兩幅圖像的相關(guān)過程會(huì)存在歧義性。在這種情況下，假設(shè)中心窗口的代價(jià)值為C0，在周圍8個(gè)窗口中選取的代價(jià)值最小的4個(gè)窗口，設(shè)其代價(jià)值分別為分別為C1i1、C1i2、C 1i3和C1i4，那么最終的代價(jià)值C的計(jì)算入式(3)所示。

這種方法還可以擴(kuò)展為25窗口處理的模式，如圖2(d)所示?？梢钥闯?，多匹配窗口可以通過通過小窗口與大窗口結(jié)合的方法以適應(yīng)局部環(huán)境。采用周圍小窗口可以避免在圖像深度不連續(xù)的區(qū)域引入匹配誤差;另一方面，選用較大尺寸的相關(guān)窗口可以減少在弱紋理區(qū)域的錯(cuò)誤匹配。

3 硬件實(shí)現(xiàn)

3.1硬件整體結(jié)構(gòu)

根據(jù)任務(wù)需求，雙目立體相機(jī)中采用了一片F(xiàn)PGA進(jìn)行左右兩路視頻數(shù)據(jù)的同步采集，預(yù)處理，在片上經(jīng)過立體圖像匹配算法后，通過電路中預(yù)留的USB2.0接口，將得到的視差圖傳輸給PC機(jī)。整個(gè)相機(jī)的硬件系統(tǒng)包括視頻接口模塊，USB2.0數(shù)據(jù)傳輸模塊和視頻處理模塊。整個(gè)硬件結(jié)構(gòu)原理圖如圖2所示。

圖2 基于FPGA的硬件結(jié)構(gòu)原理圖

在立體圖像匹配時(shí)，要對(duì)兩組圖像做Census變換和相似度比較，在這幾個(gè)步驟中，采用流水線計(jì)算方式并對(duì)左右兩路圖像采用并行技術(shù)同時(shí)計(jì)算，大大提高了系統(tǒng)的運(yùn)算速度。

3.2 多窗口相關(guān)匹配法在FPGA中的實(shí)現(xiàn)

對(duì)于硬件實(shí)現(xiàn)來說，Census變換和多窗口代價(jià)值計(jì)算是基于窗口的操作，在計(jì)算之前先要緩存與窗口高度相同的圖像行數(shù)。本文實(shí)現(xiàn)結(jié)構(gòu)中采用了3×3子窗口和9個(gè)子窗口進(jìn)行代價(jià)值計(jì)算的方式。首先，需要讀入并緩存3行數(shù)據(jù)，然后對(duì)中間的1行數(shù)據(jù)進(jìn)行Census變換，變換完畢后將Census值緩存到另一個(gè)具有3行數(shù)據(jù)大小的緩存器中，為下一步的相關(guān)匹配窗口代價(jià)計(jì)算做準(zhǔn)備。

進(jìn)行數(shù)據(jù)緩存時(shí)，假設(shè)計(jì)算的是第2行數(shù)據(jù)，在計(jì)算完當(dāng)前y列的數(shù)據(jù)進(jìn)行第(y+1)列數(shù)據(jù)的計(jì)算時(shí)，就可以對(duì)第1行第y列數(shù)據(jù)進(jìn)行更新。同樣，當(dāng)計(jì)算第3行數(shù)據(jù)時(shí)，就可以對(duì)第2行數(shù)據(jù)進(jìn)行同步更新。這樣，Census變換的計(jì)算與圖像像素采集形成了流水線結(jié)構(gòu)，將以與圖像輸出同樣的速度進(jìn)行運(yùn)算，達(dá)到實(shí)時(shí)性。并且在這種情況下，對(duì)于寬度為1024的8bit灰度圖像來說，需要耗費(fèi)的片上存儲(chǔ)資源為1K×3=3Kbyte。

在下一個(gè)相關(guān)匹配的計(jì)算單元中，因?yàn)椴捎?×3的子窗口，也要首先緩存3行Census值，再進(jìn)行窗口代價(jià)的計(jì)算。在這一步中，需要計(jì)算不同視差情況下，匹配子窗口中中心窗口的代價(jià)值和周圍8個(gè)子窗口的代價(jià)值，并且找出其中代價(jià)值最小的4個(gè)，與中心窗口代價(jià)值進(jìn)行累加。

通過以上的判決和累加后，找到代價(jià)值最優(yōu)的情況，就完成了多窗口的相關(guān)匹配，也就是得到了視差值。在本文中，立體視覺試驗(yàn)系統(tǒng)將視差輸出給上位機(jī)，由上位機(jī)根據(jù)此視差值和相機(jī)的標(biāo)定結(jié)果，計(jì)算出實(shí)際場(chǎng)景中物體的景深。圖3所示為FPGA中匹配算法的結(jié)構(gòu)流程圖。

圖3 匹配算法結(jié)構(gòu)流程圖

4 結(jié)果分析

通過流水線技術(shù)，采用循環(huán)數(shù)據(jù)更新結(jié)構(gòu)，不僅使得計(jì)算可以實(shí)時(shí)進(jìn)行，還可以充分利用緩存空間，大大降低了緩存的使用量。對(duì)于一幅尺寸為N×N個(gè)像素的圖像，假設(shè)相關(guān)窗口尺寸n×n，搜索視差的范圍是d，直接進(jìn)行塊匹配計(jì)算時(shí)的復(fù)雜度為 O(N2n2d)，采用本文中的方法完成一幅灰度圖像的匹配所需的計(jì)算復(fù)雜度為 O(N2d)，與窗口尺寸無關(guān)。

在Stratix II FPGA EP2S30實(shí)驗(yàn)板上實(shí)現(xiàn)了的文中提出的硬件結(jié)構(gòu)，如圖4所示。

圖4 立體圖像處理實(shí)驗(yàn)板

左右兩路輸入圖像通過視頻采集接口傳輸?shù)綄?shí)驗(yàn)板，經(jīng)過預(yù)處理后送入FPGA進(jìn)行立體視覺算法的處理。匹配的視差圖像結(jié)果再通過USB2.0送給上位機(jī)，與Matlab變換的結(jié)果進(jìn)行比較，實(shí)驗(yàn)驗(yàn)證了設(shè)計(jì)的正確性。圖5中，圖5(c)、圖5(d)所示為通過硬件仿真，分別將圖5(a)、圖5(b)兩幀圖像送入實(shí)驗(yàn)板，經(jīng)過FPGA變換后的結(jié)果。

通過與Matlab運(yùn)算結(jié)果相比較，變換后的結(jié)果完全一致，驗(yàn)證了硬件運(yùn)算的正確性。FPGA硬件結(jié)構(gòu)的描述全部采用VHDL語言，可以較方便的在不同F(xiàn)PGA平臺(tái)上進(jìn)行移植。綜合和分析采用了QuartusII軟件，采用Modelsim進(jìn)行功能仿真和時(shí)序仿真。實(shí)現(xiàn)1024×1024@30f/s灰度視頻圖像實(shí)時(shí)匹配功能，經(jīng)過綜合，在 Stratix II FPGA EP2S30FPGA平臺(tái)中布局布線后的結(jié)果如表1所示。

圖5 FPGA實(shí)現(xiàn)Census變換結(jié)果

表1 FPGA綜合結(jié)果

5 結(jié)論

本文提出了在雙目立體相機(jī)中基于FPGA實(shí)現(xiàn)立體圖像匹配算法的一種設(shè)計(jì)。采用了改進(jìn)的基于Census變換的方法，結(jié)合多窗口相關(guān)匹配和左右一致性原理，實(shí)現(xiàn)立體圖像匹配的實(shí)時(shí)運(yùn)算。設(shè)計(jì)中結(jié)合FPGA結(jié)構(gòu)的特點(diǎn)，充分利用流水線結(jié)構(gòu)和并行執(zhí)行的思想，減少運(yùn)算量和存儲(chǔ)器的使用，降低了資源的使用量，提高運(yùn)算速度。實(shí)驗(yàn)結(jié)果證明，該匹配算法結(jié)構(gòu)具有較高的吞吐率和變換速度，可以工作在97.3MHz的頻率下，能夠?qū)崿F(xiàn)1024×1024灰度圖像30f/s的圖像實(shí)時(shí)匹配。

［1］ Zhou Xing，Gao Zhi－ jun.Application and Future Development of Stereo Vision Technology［J］.Journal of Graphics，2010，04:50 －55.周星，高志軍.立體視覺技術(shù)的應(yīng)用與發(fā)展［J］.工程圖學(xué)學(xué)報(bào)，2010，04:50 －55.

［2］ You Suya.State of the art and Future the development of stereo vision［J］.Journal of Image and Graphics，1997，01:17－22.游素亞.立體視覺研究的現(xiàn)狀與進(jìn)展［J］.中國(guó)圖象圖形學(xué)報(bào)，1997，01:17 －22.

［3］ Xu Yanjun，Du Limin，Hou Ziqiang.A Scale － Adaptive Phase － Based Stereo Maching Method［J］.Acta Electronica Sinica，1997，07:38 －41.徐彥君，杜利民，侯自強(qiáng).基于相位的尺度自適應(yīng)立體匹配方法［J］，電子學(xué)報(bào)，1997，07:38 －41.

［4］ Zitova B，F(xiàn)lusser J.Image registration methods:a survey［J］.Image and Vision Computing，2003，21(11):977－1000.

［5］ Bai Ming，Zhuang Yan，Wang Wei.Progress in binocular stereo matching algorithms［J］.Control and Decision，2008，23(7):721 －729.(in Chinese)白明，莊嚴(yán)，王偉.雙目立體匹配算法的研究與進(jìn)展［J］.控制與決策，2008，23(7):721 －729.

［6］ Ambrosch K，Humenberger M，Kubinger W，et al.Hardware implementation of an SAD based stereo vision algorithm［C］.Proceedings of the Conference on Computer Vision and Pattern Recognition Workshops，Minneapolis，Jun.17，2007:1 －6.

［7］ Chen L，Jia Yunde.A parallel reconfigurable architecture for real－time stereo vision［C］.Proceedings of the International Conference on Embedded Software and Systems，Hangzhou，May 25，2009:32 －39.

［8］ Zabih R，Woodfill J.Non － parametric local transforms for computing visual correspondence［C］//European Conference on Computer Vision，Stockholm，1994:151 －158.

［9］ Jin S，Cho J，Phan X，et al.FPGA design and implementation of a Real－ Time stereo vision system［J］.IEEE Transaction on Circuits and Systems for Video Technology，2010，20(1):15 －26.

［10］ Zhou L，Xu G L，Li K Y.Stereo matching algorithm based on Census transform and modified adaptive windows［J］.ACTA，2012，33:886 －892.(in Chinese)周龍，徐貴力，李開宇，等.基于Census變換和改進(jìn)自適應(yīng)窗口的立體匹配算法［J］.航空學(xué)報(bào)，2012，33:886－892.

［11］ Xiong G M，Li X.Color rank and census transforms using perceptual color contrast［C］//the 11th International，Conference on Control，Automation，Robotics and Vision，Singapore，2010:1225 －1230.

［12］ Hirschmüller H，Innocent P R，Garibaldi J.Real－ timecorrelation－based stereo vision with reduced border errors［J］.International Journal of Computer Vision，2004，47(1－3):229－246.