王 笛，胡遼林

（西安理工大學(xué)機械與精密儀器工程學(xué)院,陜西西安 710048）

1 引言

雙目立體視覺是模擬人的視覺系統(tǒng)來構(gòu)建現(xiàn)實世界［1］.立體匹配作為三維重建、非接觸測距等技術(shù)的關(guān)鍵，是雙目視覺的核心內(nèi)容之一［2］.通過二維圖像來獲取深度，具有實現(xiàn)簡單、成本低廉、可在非接觸條件下測距等優(yōu)點［3］，在機器人制導(dǎo)系統(tǒng)中可以用于導(dǎo)航判斷、目標(biāo)拾取，在工業(yè)自動化控制系統(tǒng)中可用于零部件安裝、質(zhì)量檢測、環(huán)境檢測，在安防監(jiān)控系統(tǒng)中可用于人流檢測、危害報警等［4］.

立體匹配算法根據(jù)匹配基元和方式的不同分為區(qū)域匹配、特征匹配、相位匹配、能量匹配.區(qū)域匹配受圖像的仿射和輻射畸變影響較大，約束窗口選擇困難，深度不連續(xù)處易產(chǎn)生誤匹配；特征匹配對圖像幾何變換不敏感，具有較強的抗干擾性且復(fù)雜度小［5］，缺陷是視差結(jié)果稀疏，需通過插值、擬合等過程；相位匹配算法對旋轉(zhuǎn)變換非常敏感且奇異點不穩(wěn)定；能量匹配通過構(gòu)建全局能量函數(shù)獲取視差，無法用于較大偏差圖像，且復(fù)雜性過高.當(dāng)前，王陽萍等人提出結(jié)合加速魯棒特征的遙感影像半全局立體匹配，用特征點來引導(dǎo)路徑聚合［6］；Feng 等人提出了一種基于ADCensus 特征的立體匹配算法增強對局部噪聲像素的魯棒性［7］；Hui 等人提出了一種結(jié)合漢明距離和仿射變換的SURF-BRISK算法匹配定位方法［8］；肖進勝等人提出優(yōu)化斜平面的雙目立體匹配算法，提高運算速度［9］.

本文是基于特征的稠密立體匹配，首先采用線性對比度展寬突出圖像重要紋理，用加速分割檢測特征（Features from Accelerated Segment Test，F(xiàn)AST）提取特征信息，對特征進行加速魯棒特征（Speeded Up Robust Feature，SURF）描述后依靠快速近似最近鄰搜索庫［10］（Fast Library for Approximate Nearest Neighbors，F(xiàn)LANN）和K-近鄰（K-Nearest Neighbors，KNN）算法實現(xiàn)特征匹配，再使用隨機抽樣一致性算法［11］（Random Sample Consensus，RANSAC）去除誤匹配；將得到的精確匹配點對作為種子點對依據(jù)視差連續(xù)性準(zhǔn)則進行擴散生長并計算視差，匹配代價利用簡化的零均值歸一化互相關(guān)系數(shù)［12］（Zero-mean Normalized Cross-Correlation，ZNCC）作為相似度量函數(shù)計算，獲取最小代價值點對并通過閾值剔除部分誤匹配，使用極線約束降低搜索復(fù)雜度，采用雙向匹配策略提升匹配的準(zhǔn)確性；對視差值進行亞像素擬合處理［13］得到子像素視差從而提高視差精度，使視差連續(xù)區(qū)域過渡平滑；使用加權(quán)中值濾波［14］（Weighted Median Filter，WMF）消除噪聲點和條紋同時防止邊緣模糊.經(jīng)Middlebury 實驗圖像從主觀與客觀方面對比分析，本文算法解決了特征匹配存在的不足，降低了時間復(fù)雜度和噪聲的干擾，在準(zhǔn)確性和精度上明顯提升，尤其是弱紋理與深度不連續(xù)部分.SURF 算法與ZNCC 算法的魯棒特性使本文方法對亮度變化不敏感.

2 算法流程系統(tǒng)設(shè)計

雙目視覺是在不同視點的兩個相機拍攝同一場景，通過立體匹配找到對應(yīng)的同名點，同名點橫坐標(biāo)之差即為相應(yīng)的視差信息，再根據(jù)三角測量原理獲取深度信息［15］.針對當(dāng)前特征立體匹配算法存在的問題，本文設(shè)計了結(jié)合改進區(qū)域生長等方法的稠密立體匹配.步驟如下：第一，圖像進行灰度化及線性對比度展寬處理；第二，檢測特征點并完成特征匹配；第三，對種子點對進行改進區(qū)域生長獲取稠密視差；第四，對視差進行亞像素擬合、加權(quán)中值濾波等精細化后處理.算法流程如圖1所示.

圖1 算法流程圖

3 結(jié)合改進區(qū)域生長的特征立體匹配方法描述

3.1 圖像預(yù)處理

左右彩色圖像通過將R，G，B 分量加權(quán)平均的過程轉(zhuǎn)化為灰度圖像.

灰度的線性變換可以突出圖像中的重要信息，圖像中重要的紋理因?qū)Ρ榷炔蛔愣粔蚯逦鷷r，通過抑制非重要信息讓期望部分進行對比度展寬.為了特征點檢測均勻、豐富，區(qū)域生長過程代價計算精確，利于弱紋理區(qū)匹配，采用線性對比度展寬對圖像進行預(yù)處理.

3.2 FAST特征檢測

FAST 特征提取算法是利用特征點周圍的圖像灰度差異進行檢測.判別圖中任意一點P 是否為特征點，以該點為圓心，構(gòu)造一個半徑為3 的圓，圓周上的像素點與中心像素點進行比較.

設(shè)I(p)和I(x)分別為中心點與圓周上點的灰度值，εd為設(shè)置的閾值.如果圓周上的16 個像素點至少有N 個連續(xù)都比I(p)+εd大或者比I(p)-εd小，則候選點P是一個特征點.N為滿足公式（1）的點的個數(shù)，一般取12.

本文選擇優(yōu)先檢測P點四鄰域方向圓周上的頂點，減少檢測耗時.如果至少有3 個點滿足式（1），再按上述檢測條件進行判定；如不滿足，則其不是特征點.

3.3 SURF特征描述

特征檢測后，選取特征點的主方向.構(gòu)造一個圓形領(lǐng)域，以特征點為中心、半徑為6s（s 為特征點的尺度值），統(tǒng)計特征領(lǐng)域內(nèi)水平和垂直方向哈爾（Harr）小波特征，對卷積響應(yīng)賦予高斯權(quán)重，獲取60度扇形內(nèi)所有點的水平和垂直方向Haar小波響應(yīng)總和得到了一個矢量.然后進行旋轉(zhuǎn)遍歷，比較得出矢量最長的那個扇形的方向作為該特征點的主方向.

獲得特征點的主方向后，將主方向作為x 軸，建造一個以特征點為中心，邊長為20s 的正方形區(qū)域，再等分為4×4=16個子區(qū)域，計算每個子區(qū)域的Haar小波響應(yīng)，水平和垂直Haar小波響分別記為dx和dy，統(tǒng)計每個子區(qū)域的響應(yīng)總和與響應(yīng)絕對值之和，則每個子區(qū)域表示為四維的特征向量V.

每個特征點就由16 個子區(qū)域的特征向量組成，最終形成一個16×4=64 維的具有尺度、光照不變性［16］的SURF特征向量描述符.

3.4 基于FLANN和KNN的特征匹配

采用基于FLANN 的K（K 取2）近鄰搜索算法實現(xiàn)特征匹配.尋找左圖像對應(yīng)右圖像的最近鄰和次近鄰特征點對，設(shè)定閾值（本文取0.6），若最近鄰與次近鄰的距離比值小于閾值，則接受最近鄰這一匹配點對.本算法在匹配的同時進行去粗取精，刪掉一些誤匹配.

再利用隨機抽樣一致性算法進行單應(yīng)性矩陣映射來剔除誤匹配.從匹配點對中隨機抽出4 個樣本數(shù)據(jù)（樣本之間不能共線），計算出變換矩陣H，用矩陣H測試其他點對估算誤差，設(shè)定一個閾值，若滿足估算的誤差小于設(shè)定閾值，則將其納入內(nèi)點，否則視為外點.對新的內(nèi)點進行上述步驟迭代計算，當(dāng)單應(yīng)性矩陣沒有更改或者達到迭代次數(shù)，那么最終得到的矩陣H就是最佳參數(shù)矩陣.

式（3）中k為迭代次數(shù)，p為置信度（取0.995），w為內(nèi)點的比例，m為計算矩陣最小的樣本數(shù).

圖2是特征點獲取匹配的結(jié)果，可以看出預(yù)處理后FAST 算法檢測的特征點更全面，適合本文算法的實現(xiàn).本文特征匹配算法得到均勻的特征點匹配結(jié)果，將其作為下一步區(qū)域生長的基礎(chǔ).

圖2 特征檢測與匹配結(jié)果

3.5 基于改進區(qū)域生長的視差稠密化

經(jīng)過特征匹配后的準(zhǔn)確稀疏點對作為種子點，按照視差連續(xù)性原則將更多的點并入種子點進行視差稠密化，極大地提高了匹配的速度和準(zhǔn)確性.

如圖3 所示，已知左圖像某點P 在右圖像上的同名點為Q，根據(jù)視差連續(xù)性約束，則P 點相鄰的八鄰域內(nèi)某點P1 的同名點必定在Q 點附近，搜索Q 點相鄰的八個點（八鄰域準(zhǔn)則），又依據(jù)極線約束準(zhǔn)則，即對應(yīng)的同名點都在同一極線上，將搜索范圍由二維降至一維（三個點），降低匹配復(fù)雜度且提升準(zhǔn)確性.使用雙向匹配策略，首先從左到右匹配，若左圖像P1經(jīng)過匹配后得到的同名點為右圖Q1，再用Q1 從右向左匹配，若反向匹配的同名點也是P1，那么就將P1 和Q1 作為一對正確的匹配點對，計算視差并將其納入新的種子點對.

圖3 區(qū)域生長原理圖

采用式（4）零均值歸一化互相關(guān)系數(shù)作為相似度量函數(shù)，如圖4所示，在目標(biāo)像素周圍設(shè)置搜索窗口（本文取4×4）計算匹配代價，設(shè)置一個閾值（本文取2），剔除一些誤匹配點降低噪聲點的影響，若最小的匹配代價滿足閾值，記錄其對應(yīng)匹配點對.從式（4）可以看出，計算匹配窗口的歸一化互相關(guān)系數(shù)，對亮度存在差異的圖像具有較強的魯棒性.

圖4 搜索窗口圖

式（4）中的W表示搜索窗口大小(xL)和(xR)表示左右兩幅圖像上分別以xL和xR為中心的搜索窗口W的平均灰度值，IL(xL+i)和IR(xR+i)是左右兩幅圖像上分別以xL和xR為中心的搜索窗口W內(nèi)點的灰度值.

零均值歸一化函數(shù)計算匹配代價重復(fù)求取匹配窗口灰度值均值，過程煩瑣，使得匹配代價計算復(fù)雜度高，本文對其進行變換得到式（5），利用積分圖簡化計算，很大程度上減少了冗余步驟，降低了匹配耗時.

積分圖由普通數(shù)字圖像生成，尺寸等于原始圖像，而每個像素點保存由原始圖像左上角和當(dāng)前像素點確定的矩形范圍的灰度值總和或者灰度值的平方和.

積分圖的數(shù)學(xué)形式為

其中，J(i，j)為原圖中坐標(biāo)為(i，j)的像素點的灰度值，Jsum(x，y)和Jsquare(x，y)分別為積分圖與平方積分圖中像素點坐標(biāo)為(x，y)的灰度值.

得到積分圖后，根據(jù)圖5計算搜索窗口區(qū)域的所有像素點灰度值和與灰度值的平方和.

圖5 積分圖目標(biāo)區(qū)域值計算原理

其中，S(x，y)表示原圖窗口內(nèi)的所有像素點灰度值之和，(x，y)為搜索窗口的中心點，J是積分圖中對應(yīng)點的灰度值，搜索半徑k取2.

借助積分圖計算匹配代價，避免了許多不必要的計算過程，大大降低了匹配的復(fù)雜度，縮短了匹配時間.

經(jīng)過本文改進的區(qū)域生長立體匹配后，不僅彌補了特征點匹配只能得到稀疏視差的缺陷，還得到了匹配效果較好的視差圖.此時的初始視差圖仍存在一些問題，如噪聲點、精度等，還需要進一步精細化處理，對視差圖進行優(yōu)化和修正，從而獲得準(zhǔn)確性更高效果更佳的結(jié)果.

3.6 視差精細化后處理

多數(shù)立體匹配算法是在一個離散的空間中進行運算而得到整數(shù)視差值.整數(shù)視差基本滿足機器人導(dǎo)航和人類跟蹤等領(lǐng)域的應(yīng)用，但是對于圖像繪制與三維重建等技術(shù)，由于真實場景是連續(xù)且漸變的，這些量化的過程會導(dǎo)致視點綜合的結(jié)果出現(xiàn)錯誤.針對這個問題，在初始視差計算的同時進行亞像素精細化處理來解決這種缺陷.

本文采用擬合曲線法達到子像素精細化的目的.如圖6所示，經(jīng)過立體匹配得到匹配代價最適合的c0所對應(yīng)的整像素視差值d，將其左右兩邊的對應(yīng)的視差匹配代價c1和c2也記錄下來，用三個匹配代價對應(yīng)的點做一元二次曲線擬合，計算擬合曲線的極值點橫坐標(biāo)，即可得到亞像素級的視差值，從而達到提升視差精度的目的.

圖6 曲線擬合示意圖

初始視差圖還存在一些噪聲點和條紋現(xiàn)象，本文采用5×5 窗口加權(quán)中值濾波處理消除部分誤匹配，增加匹配準(zhǔn)確度，使圖像平滑的同時保持圖像邊緣的清晰.使用二維元素以窗口內(nèi)像素點的灰度值為橫坐標(biāo)、特征信息（強度）為縱坐標(biāo)建立聯(lián)合直方圖，直方圖中的元素表示在某一灰度值、某一特征值時的像素點個數(shù)，根據(jù)特征中像素點與中心點的親和度將其與權(quán)值關(guān)聯(lián)，關(guān)聯(lián)函數(shù)采用高斯函數(shù)，統(tǒng)計窗口內(nèi)任意灰度值的權(quán)值和（即同一灰度值時直方圖中所有元素與其所對應(yīng)的特征信息權(quán)值乘積和）.對窗口內(nèi)所有灰度值的總權(quán)值進行累加求和，在總和一半對應(yīng)的像素灰度值就是加權(quán)中值濾波的中值結(jié)果.

雙目視覺立體匹配由于角度和匹配問題生成視差圖時會產(chǎn)生遮擋和空洞現(xiàn)象，對此，使用鄰域視差估計算法填充空洞和遮擋區(qū)域.遮擋區(qū)域一般接近背景部分，尋找遮擋區(qū)域點在其四鄰域方向上值不為零且距離最近的像素點，比較并記錄此類像素內(nèi)的最小值以代替中心被遮擋點和空洞點的像素，使視差圖變得稠密充實.

由圖7 放大區(qū)域（a）（b）（c）可以看出，經(jīng)過本文的亞像素增強和加權(quán)中值濾波處理后，視差連續(xù)區(qū)域過渡變得平滑漸變，消除了噪聲條紋及由視差精度不足產(chǎn)生的分層現(xiàn)象，滿足了視差的精度要求.通過鄰域視差估計值法填補了圖像中遮擋區(qū)域和空洞點，圖像更加準(zhǔn)確可觀.

圖7 視差圖精細化處理結(jié)果對比

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集和實驗設(shè)備

本文實驗在Windows 10 操作系統(tǒng)，Intel（R）Core（TM）i5-5200U，主頻2.20 GHz，內(nèi)存4 GB，64 位操作系統(tǒng)的計算機平臺上進行，開發(fā)軟件為Visual Studio 2013 與Opencv 2.4.9.采用Middlebury 測試官方平臺的圖像集Venus，Bull，Teddy，Cones，Sawtooth 進行實驗，依據(jù)標(biāo)準(zhǔn)視差計算錯誤匹配像素百分比（判定閾值取1）進行客觀評定.實驗中使用歸一化互相關(guān)（Normalized Cross-Correlation，NCC）系數(shù)匹配算法［17］、局部塊匹配算法［18］（Block Matching，BM）、半全局塊匹配算法［19］（Semi-Global Block Matching，SGBM）、動態(tài)規(guī)劃（Dynamic Programming，DP）全局匹配算法［20］這4 個最為常用的算法進行主觀與客觀對比.

4.2 實驗結(jié)果與分析

從圖8～10 和圖11 的結(jié)果圖像可以發(fā)現(xiàn)，其他4 種立體匹配算法在邊緣細節(jié)上的匹配效果較差，同時產(chǎn)生較多的噪聲點和空洞.NCC和DP算法精度存在較大缺陷，出現(xiàn)大量的條紋區(qū)域與大面積紋理錯誤，BM和SGBM 算法的深度不連續(xù)區(qū)域匹配效果不理想.本文提出的算法全面考慮了深度不連續(xù)區(qū)域的準(zhǔn)確度提升與整體精度的優(yōu)化，從圖中可以看出，本文算法獲取的視差結(jié)果更好，在立體匹配時能保證邊緣的細節(jié)紋理和連續(xù)區(qū)域的平滑性，去除了噪聲、條紋和遮擋區(qū)域，提升了視差圖的精度.

圖8 Venus圖像對實驗結(jié)果

圖9 Bull圖像對實驗結(jié)果

圖10 Cones圖像對實驗結(jié)果

圖11 Teddy圖像對實驗結(jié)果

表1 是對4 組實驗圖像的特征檢測和匹配的結(jié)果.從數(shù)據(jù)可以發(fā)現(xiàn)，經(jīng)過線性對比度展寬處理后的圖像提取FAST 特征點更加全面，通過RANSAC 算法剔除錯誤匹配，最終得到準(zhǔn)確的匹配點對.

表1 特征檢測與匹配結(jié)果

NCC，BM，SGBM，DP 算法與本文算法的錯誤匹配百分比由表2 表示.對比表2 數(shù)據(jù)可見，本文算法得到實驗圖像的錯誤匹配率相比于其余算法更低，在匹配準(zhǔn)確性上有大幅提升，匹配效果明顯優(yōu)于對比算法的結(jié)果.

表2 其他算法與本文算法實驗圖像結(jié)果對比

圖12中對Sawtooth圖像對中的右圖增加了50 cd/m2亮度，改變了左右圖像的亮度差異，不同亮度的左右圖像在本文算法下依舊可以進行匹配并得到視差，從結(jié)果來看視差圖保持了較好的質(zhì)量，圖像清晰稠密且沒有出現(xiàn)區(qū)域錯誤匹配的現(xiàn)象.

圖12 Sawtooth圖像對改變亮度差異實驗結(jié)果

表3是改變Sawtooth右圖的亮度，分別增加20 cd/m2，30 cd/m2，40 cd/m2，50 cd/m2后本文算法得到的視差計算結(jié)果與原圖正確匹配率的比較.從數(shù)據(jù)可以發(fā)現(xiàn)，改變亮度差異對視差結(jié)果造成影響很微弱，說明本文算法對光照差異的影響具有較強的魯棒性.

表3 改變右圖亮度的實驗結(jié)果

同時，算法的時間復(fù)雜度經(jīng)改進后大大降低.特征點在檢測前優(yōu)先判斷候選點四鄰域方向的圓周點，提高檢測速度；采用改進的區(qū)域生長算法進行視差稠密化，降低匹配復(fù)雜度；又根據(jù)極線約束將匹配搜索范圍由二維八個點減少到同一極線上的三個點，降低搜索的復(fù)雜度；采用歸一化互相關(guān)系數(shù)函數(shù)計算匹配代價，利用積分圖簡化大量重復(fù)求取匹配窗口灰度值均值的過程，減少計算的復(fù)雜度.采用Middlebury 圖像進行時間復(fù)雜度對比分析，未改進前算法平均耗時7.797 s，本文算法改進后的平均耗時為3.109 s，可以看出，經(jīng)過改進的特征立體匹配算法的時間復(fù)雜度得到大幅降低，平均耗時縮短了60.1%，證明本文算法在復(fù)雜度和耗時上都得到顯著改進.

5 結(jié)論

本文提出改進的雙目特征立體匹配算法，使用少量的匹配點對即可獲得稠密視差，有效地解決了特征匹配只能得到稀疏視差圖的缺陷，利用多種約束條件和雙向匹配策略，提升整體匹配的準(zhǔn)確性，增強了弱紋理區(qū)和深度不連續(xù)處的匹配效果，利用積分圖簡化計算從而減少冗余過程，算法復(fù)雜度大幅度降低，在立體匹配的同時進行精細化后處理提升了視差精度.通過實驗對比發(fā)現(xiàn)，本文算法的準(zhǔn)確性高于其他幾種算法，在圖像邊緣匹配上更加準(zhǔn)確、真實，有效地去除了因精度不足產(chǎn)生的噪聲、細紋與階梯現(xiàn)象，增加了視差信息的平滑性.實驗顯示，本文算法具有較強的抗干擾能力，在一定程度抑制了光亮差異與噪聲影響.當(dāng)前僅對Middlebury 測試平臺圖像進行了立體匹配實驗，下一步將在更多平臺以更廣闊視野進行嘗試，使算法的適用性大大提升，在算法的復(fù)雜度上進一步優(yōu)化提速.