王文浩，張曉林

（1.中國科學(xué)院 上海微系統(tǒng)與信息技術(shù)研究所，上海200042；2.上?？萍即髮W(xué) 上海 201210）

基于像素值調(diào)整的立體匹配算法

王文浩1，2，張曉林1

（1.中國科學(xué)院 上海微系統(tǒng)與信息技術(shù)研究所，上海200042；2.上?？萍即髮W(xué) 上海 201210）

為了提高立體匹配算法在包含斑駁陰影的現(xiàn)實場景中的魯棒性，提出了一種基于顏色調(diào)整的立體匹配改進(jìn)算法。該算法以匹配圖片中的一副為基準(zhǔn)，調(diào)整另一幅圖片的顏色分布，使兩幅圖片在顏色分布上盡可能地保持一致。實驗證明，該算法在處理斑駁陰影區(qū)域時的效果良好，能夠有效地提升立體匹配算法在這種場景中獲得視差圖的準(zhǔn)確性。

立體匹配；視差圖；顏色調(diào)整；斑駁陰影

隨著立體視覺技術(shù)的飛速發(fā)展，越來越多的3D相關(guān)技術(shù)進(jìn)入了人們的視野，如三維重建[1]、運動估計[2]、VR[3]、AR[4]、自動駕駛[5]等。獲取精準(zhǔn)的深度信息是這些技術(shù)得以正確運用基礎(chǔ)。而通過立體匹配獲得的視差圖則是獲取深度的前提，因此如何提升立體匹配算法在各種場景中的魯棒性也是計算機(jī)視覺研究的熱點問題。

立體匹配算法的目標(biāo)是從兩幅校正后的匹配圖片中尋找每個像素點的匹配像素，像素點間的強(qiáng)度信息則是衡量相似度的一個重要因素。如果兩幅匹配圖片在像素強(qiáng)度上存在較大的差異，則很難準(zhǔn)確地估計視差信息。包含斑駁陰影的現(xiàn)實場景中，兩幅匹配圖片就很可能存著像素強(qiáng)度的偏差。文中針對這一問題，提出了一種基于像素值調(diào)整的立體匹配算法以提升從這一場景中獲得的視差信息的準(zhǔn)確率。

1 立體匹配算法

立體匹配算法一般可以分為全局和局部[6]兩種。全局的立體匹配算法以每個像素點自身及其周圍像素視差值的關(guān)系，建立一個能量函數(shù)，通過優(yōu)化能量函數(shù)的最小值來估計視差。而局部的算法則以圖片中每個像素點為目標(biāo)，單獨進(jìn)行匹配并分別計算視差。文中主要針對基于局部匹配的IGSM[7]算法進(jìn)行改進(jìn)。該局部立體匹配算法主要包含下面幾個步驟：

1）輸入匹配左圖IL和右圖IR。

2）計算每個像素點的初始代價Craw。

3）在支撐區(qū)域中聚合初始代價，獲得新的代價Cagg。

4）選擇每個像素點最小的代價視差作為其初始視差draw。

5）消除遮擋、誤匹配，平滑視差，獲得最終視差dfinal。

2 立體匹配算法在斑駁場景中的缺陷

立體匹配算法從提出，發(fā)展到現(xiàn)在已經(jīng)有了較為完整的知識體系，在 Middlebury[8]、KITTI[9]等數(shù)據(jù)集中也有較好的表現(xiàn)。但是在一些特殊的場景中則仍然存在著問題。如圖1所示的匹配圖左圖，它來自于KITTI數(shù)據(jù)集，圖片中存在著大量的斑駁陰影。圖2顯示的是通過IGSM算法經(jīng)過計算得到的視差圖結(jié)果?？梢钥吹揭暡顖D中存在大量的像素點無法找到匹配點，并且也存在許多的誤匹配點，特別是在路面上。圖3是圖1場景的像素灰度值分布圖。通過比較可見，兩幅匹配圖片的分布在中間一段區(qū)域有較大的偏移。

大量實驗表明IGSM算法對KITTI數(shù)據(jù)集中此類含有斑駁陰影的匹配圖的匹配效果不太理想。而匹配結(jié)果較好的匹配圖其像素灰度值分布曲線則大部分重疊在一起，不存在明顯的偏移。因此，由統(tǒng)計結(jié)果可以推測：是由于像素值的偏差最終導(dǎo)致錯誤匹配結(jié)果的產(chǎn)生。后面的章節(jié)中，我們將通過實驗驗證這一推測的正確性。

圖1 含有大面積斑駁陰影的匹配圖片

圖2 通過IGSM算法獲得的視差結(jié)果

3 像素值調(diào)整

在計算初始代價時，像素值的代價為：

其中p代表左圖IL中的一個像素點，q代表在估計視差為d時，匹配圖IR中對應(yīng)的點。像素值代價CADI為此時兩點像素值差的絕對值。兩者的像素值越接近，該代價越接近于0。

由于錯誤的視差結(jié)果可能是由于像素值不匹配造成的，因此可以采用顏色校正的方法來調(diào)整匹配圖。目前有基于概率統(tǒng)計[10]，超定線性系統(tǒng)[11]，亮度色彩曲線匹配[12]，gamma 校正[13]，線性回歸[14]，自適應(yīng)歸一化交叉校正[15]等方法。但這些方法，在含有大面積斑駁陰影的圖片中并不適用。

我們提出使用像素值調(diào)整的方法來重新校正匹配圖。通過遍歷左右匹配圖片的像素信息來獲得灰度圖像素分布，如圖3所示。其中x軸代表像素值即0～255，y軸代表圖片中該像素值的像素個數(shù)。我們?nèi)∑渲幸粋€像素灰度值分布作為標(biāo)準(zhǔn)，按照該分布調(diào)整另一幅圖片的分布。本文中以左圖為準(zhǔn)，首先統(tǒng)計匹配左圖和右圖的像素值，獲得左圖像素灰度值分布DL和右圖像素灰度值分布DR。按照像素灰度分布生成兩個按像素灰度值從小到大排列的矩陣ML和MR，矩陣為2行n列，其中n為圖片中的像素個數(shù)。第一行對應(yīng)每個像素的坐標(biāo)位置，第二行對應(yīng)該點像素灰度值。之后按照左圖的像素灰度值，為右圖的像素點重新從小到大賦值。即：

調(diào)整后MR′按照對應(yīng)的坐標(biāo)位置恢復(fù)成調(diào)整后的右圖的IR′。此時右圖像素灰度值分布即與左圖的分布基本一致。在匹配時可以減少由于像素值偏差造成的誤匹配，從而提升匹配算法的準(zhǔn)確性。

算法的基本步驟如下：

1）分別統(tǒng)計匹配圖片左圖IL和右圖IR的像素灰度值分布DL和DR。

2）分布生成按像素灰度值從小到大排列的矩陣 ML和 MR。

3） 根據(jù) ML調(diào)整 MR獲得 MR′。

4）按照MR′對應(yīng)的坐標(biāo)位置，恢復(fù)成調(diào)整后的右圖 IR′。

5）以IL和IR′作為新的輸入，并通過IGSM算法獲得新的視差圖。

圖3 像素灰度值分布

圖4 像素值調(diào)整后通過IGSM算法獲得的視差圖結(jié)果

4 算法測試

為了驗證文中提出的基于像素值調(diào)整的立體匹配算法在準(zhǔn)確率上的提升進(jìn)行了如下的實驗。采用了KITTI提供的道路場景數(shù)據(jù)集，因為該數(shù)據(jù)庫中許多圖片中都含有陰影。我們選取了提供ground truth的圖片做定量分析，并選取了一些未提供ground truth的圖片做定性分析。圖4顯示的是圖1場景經(jīng)過視差調(diào)整后使用IGSM算法獲得的視差圖。

將圖4與圖2比較，可以觀察到，圖2中大部分無法匹配點和誤匹配點都得到了修正。路面部分原本的空缺基本已被填補(bǔ)，不連續(xù)的區(qū)域也變得平滑。樹葉部分也得到了一定的改善。

我們將KITTI測試集的圖片原圖的與調(diào)整后圖片分別作為IGSM的輸入。將得到的視差圖結(jié)果與ground truth進(jìn)行比較，定量標(biāo)準(zhǔn)采用錯誤匹配像素百分比[6]。未進(jìn)行調(diào)整的數(shù)據(jù)圖片通過IGSM獲得視差圖的平均錯誤率為12.460 1%。而使用我們的算法調(diào)整后的圖片得到的視差圖，在該數(shù)據(jù)集上的平均錯誤率為9.827 1%?？梢姡覀兊乃惴ㄔ谝欢ǔ潭壬咸岣吡薎GSM算法的準(zhǔn)確性。觀察測試集，我們發(fā)現(xiàn)幾乎所有包含斑駁陰影的圖片在使用我們的調(diào)整算法后獲得的視差圖都得到較大的改善，證明我們的算法在應(yīng)對這一場景時是有顯著效果的。圖5為數(shù)據(jù)集中含有大面積斑駁陰影的匹配圖在使用我們提出的調(diào)整方法前后的輸出視差圖結(jié)果對比。上面是數(shù)據(jù)集中的原圖，中間是使用原圖得到的視差圖，下面是使用調(diào)整后的匹配圖作為輸入得到的視差圖。

圖5 KITTI數(shù)據(jù)集結(jié)果實例

5 結(jié) 論

在包含大面積斑駁陰影的場景中，立體匹配算法一般難以找到準(zhǔn)確的匹配點。本文提出的基于像素值調(diào)整的立體匹配算法是以一副匹配圖像作為基準(zhǔn)，調(diào)整另一幅的像素灰度值分布，使得調(diào)整后的兩幅圖片對應(yīng)點間的像素值盡量相近，以減少計算匹配度時，在顏色代價中所產(chǎn)生的誤差。實驗的結(jié)果顯示該算法能夠很好地解決存在斑駁陰影的圖片難以找到準(zhǔn)確匹配點的問題，極大地提升了立體匹配算法在這一場景中的魯棒性。

[1]佟帥，徐曉剛，易成濤，等.基于視覺的三維重建技術(shù)綜述[J].計算機(jī)應(yīng)用研究，2011，28（23707）：2411-2417.

[2]王大偉，嚴(yán)俊，王彬，等.視頻序列的運動估計技術(shù)綜述[J].電視技術(shù)，2012，36（3）：20-23.

[3]趙沁平.虛擬現(xiàn)實綜述[J].中國科學(xué)，2009（1）：2-46.

[4]朱淼良，姚遠(yuǎn)，蔣云良.增強(qiáng)現(xiàn)實綜述[J].中國圖象圖形學(xué)報，2004，9（7）：767-774.

[5]楊殿閣，李克強(qiáng)，鄭四發(fā)，等.智能交通系統(tǒng)中的汽車技術(shù)[J].汽車工程，2003，25（3）：223-226.

[6]Scharstein D，Szeliski R.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[C]//Stereo and Multi-Baseline Vision.2001：131-140.

[7]Zhan Y，Gu Y，Huang K，et al.Accurate Imageguided Stereo Matching with Efficient Matching Cost and Disparity Refinement [J]. IEEE Transactions on Circuits& Systems for Video Technology，2015：1-1.

[8]Scharstein D，Hirschmüller H，Kitajima Y，et al.High-Resolution Stereo Datasets with Subpixel-Accurate Ground Truth[M]//Pattern Recognition.2014：31-42.

[9]Menze M，Geiger A.Object scene flow for autonomous vehicles[C]//Computer Vision and Pattern Recognition.IEEE，2015.

[10]Riem d O M，Sappa A，Santos V.A probabilistic approach for color correction in image mosaicking applications.[J].IEEE Transactionson Image Processing A Publication of the IEEE Signal Processing Society，2015，24（2）：508-523.

[11]Li K，Dai Q，Xu W.Collaborative color calibration for multi-camera systems[J].Signal Processing Image Communication，2011，26（1）：48-60.

[12]Jung J I，Ho Y S.Color Correction for Multi-view Images Using Relative Luminance and Chrominance Mapping Curves[J].Journal of Signal Processing Systems，2013，72（2）：107-117.

[13]Xiong，Yingen，Pulli，K.Color matching for high-quality panoramic images on mobile phones[J].IEEE Transactions on Consumer Electronics，2010，56（2）：298-306.

[14]Shao F，Jiang G Y，Yu M，et al.Fast color correction formulti-view videoby modeling spatio-temporal variation [J].Journal of Visual Communication&Image Representation，2010，21（5-6）：392-403.

[15]Heo Y S，Lee K M，Lee S U.Robust stereo matching using adaptive normalized crosscorrelation.[J].Pattern Analysis & Machine Intelligence IEEE Transactions on，2010，33（4）：807-822.

Stereo matching algorithm based on color adjustment

WANG Wen-hao1，2，ZHANG Xiao-lin1
（1.Shanghai Institute of Microsystem And Information Technology，Shanghai 200042，China；2.ShanghaiTech University，Shanghai 201210，China）

In order to improve the robustnessof stereo matching algorithm applied in realistic scenes which contain dappled shade，we proposed a new method based on color adjustment.This algorithm set one of the stereo images as the standard and adjust another image’s color distribution which make the stereo images have the almost same color distribution.The results show our new method can handle the dappled shade area well and can rise the disparity’s accuracy in these scenes.

color adjustment；stereo matching；dappledshade；disparity

TN919.8

：A

：1674－6236（2017）13-0021-04

2016-05-11稿件編號：201605096

中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項（B類）（XDB02080005）；上海張江國家資助創(chuàng)新示范區(qū)專項發(fā)展資金（ZJ2015-ZD-001）

王文浩（1992—），男，浙江溫州人，碩士研究生。研究方向：計算機(jī)視覺。