王道累，吳懋亮，陳軍

（上海電力學(xué)院 能源與機(jī)械工程學(xué)院，上海200090）

20世紀(jì)80年代，Marr等［1］提出了一種使計(jì)算機(jī)通過二維圖像恢復(fù)三維場(chǎng)景信息的能力視覺計(jì)算理論，并應(yīng)用在雙目或多目匹配上，從而奠定了雙目或多目立體視覺發(fā)展的理論基礎(chǔ).立體匹配是計(jì)算機(jī)視覺關(guān)鍵技術(shù)之一，現(xiàn)有解決立體匹配問題的算法主要分為兩類：基于局部約束的算法和基于全局約束的算法［2－4］.Wu等［5］采用張量投票算法對(duì)PMVS中的特征擴(kuò)展和噪聲過濾進(jìn)行優(yōu)化.Nguyen等［6］提出局部稠密解碼方法，利用45°和90°兩方向?qū)υ摲椒ㄟM(jìn)行求導(dǎo)，獲得視差圖.Xu等［7］提出優(yōu)化局部自適應(yīng)算法，求解圖像對(duì)視差.上述算法都是基于局部算法求解視差，但這類算法對(duì)圖像噪聲較敏感，對(duì)重復(fù)紋理區(qū)域、遮擋區(qū)域和視差不連續(xù)區(qū)域等往往匹配效果不理想，錯(cuò)誤匹配率較高.在此基礎(chǔ)上，很多計(jì)算機(jī)視覺研究專家提出基于全局約束算法，對(duì)整個(gè)圖像數(shù)據(jù)信息進(jìn)行計(jì)算，這樣降低對(duì)局部區(qū)域敏感度，解決重復(fù)紋理的影響，同時(shí)，也可以求解視差不連續(xù)區(qū)域，最終達(dá)到全局最優(yōu)解.基于全局優(yōu)化算法的本質(zhì)是把匹配問題轉(zhuǎn)化為求解能量函數(shù)，然后，通過求解該能量方程的全局最優(yōu)解，并可尋找到匹配點(diǎn).全局算法一般有動(dòng)態(tài)規(guī)劃算法、圖割算法［8］和人工智能算法等.本文研究雙視圖到多視圖立體匹配算法，提出基于全局協(xié)同算法解決多視圖的匹配問題，從而準(zhǔn)確獲得并恢復(fù)三維場(chǎng)景深度.

1 雙目立體視覺匹配

1.1 圖像分割

在圖像分割之前，通過兩個(gè)假設(shè)：每個(gè)分割區(qū)域內(nèi)的視差值變化細(xì)微，平滑過渡；只有在分割區(qū)域邊界存在深度距離的不連續(xù)性.采用mean－shift算法［9］對(duì)參考圖像（兩幅圖像任選一副作為參考圖像）進(jìn)行分割，能很好滿足圖像的匹配假設(shè)條件.

1.2 視差的初始化

由于局部匹配算法速度快、運(yùn)算簡(jiǎn)單，局部匹配算法被用來計(jì)算視差初始值，采用自適應(yīng)相似算法來計(jì)算雙視圖匹配視差值.自適應(yīng)相似算法具體表示為

式（1）中：I和I′分別代表左右圖像中像素坐標(biāo)（x，y）處的灰度；t表示灰度值差和梯度差之間的權(quán)值.視差值初始化代價(jià)方程為

N（x，y）是以像素的（x，y）為中心5×5的矩形窗，使用WTA（winner－takes－all）方法最小化代價(jià)方程，求得像素點(diǎn)（x，y）的視差值.

1.3 視差圖平面擬合

在參考圖像分割之后，以分割區(qū)域?yàn)閱挝贿M(jìn)行視差圖平面擬合.由于假設(shè)在同一個(gè)分割區(qū)域內(nèi)沒有太大視差變化，所以分割區(qū)域內(nèi)每一個(gè)像素的視差可以用一個(gè)模型來表示.Tao等［10］給出了視差圖平面的擬合方程，每一個(gè)分割區(qū)域視差模型表示為

式（3）中：a，b，c是平面的參數(shù)；d是像素點(diǎn)（x，y）相對(duì)應(yīng)的視差值.

對(duì)于分割區(qū)域內(nèi)的各個(gè)像素點(diǎn)可以表示為

式（4）中：矩陣A第i行為［xi，yi，1］；向量B第i行為d（xi，yi）.

對(duì)線性方程（4）進(jìn)行變換，可得

即有

通過奇異值（singular value decomposition，SVD）求解，有

一般情況下，線性方程（5）的對(duì)奇異點(diǎn)非常敏感，所以要對(duì)奇異點(diǎn)進(jìn)行排除.這里制定3種規(guī)則來排除奇異點(diǎn).

1）視差相互比較.對(duì)左右視圖分別通過自適應(yīng)相似算法就得視差圖，然后進(jìn)行相互比較.給定一個(gè)誤差閾值ξ，如果小于該閾值ξ，該像素點(diǎn)為可靠的像素點(diǎn).

2）可靠區(qū)域判斷.在排除奇異點(diǎn)之后，分割區(qū)域內(nèi)的可靠像素點(diǎn)總數(shù)是否可以到達(dá)構(gòu)建擬合平面的要求，即構(gòu)成可靠區(qū)域.這里規(guī)定可靠像素點(diǎn)總數(shù)是整個(gè)區(qū)域像素點(diǎn)數(shù)一半以上.

3）視差距離判斷當(dāng)前獲得視差值與前一次獲得值進(jìn)行比較，在規(guī)定的誤差范圍內(nèi)，該像素點(diǎn)為可靠像素點(diǎn).

通過判斷之后，當(dāng)前獲得平面參數(shù)與前一次獲得值進(jìn)行比較，即

如果在規(guī)定的誤差內(nèi)，循環(huán)結(jié)束，或者繼續(xù)進(jìn)行參數(shù)優(yōu)化.

1.4 視圖協(xié)同優(yōu)化視差值

視圖協(xié)同優(yōu)化是將一個(gè)復(fù)雜目標(biāo)分解為一些相對(duì)簡(jiǎn)單子目標(biāo)，相連區(qū)域?qū)υ撟幽繕?biāo)影響進(jìn)行優(yōu)化［11］.通過mean－shift分割后視圖，如圖1所示.圖1中：s1，s2，…，sn為分割區(qū)域.設(shè)E（x）為整幅圖像的能量方程，根據(jù)協(xié)同優(yōu)化原理，有

式（8）中：Ej（x）（j＝1，2，…，n）是第j個(gè)分割區(qū)域的能量方程.

將一個(gè)復(fù)雜的能量分解為相對(duì)簡(jiǎn)單的子能量方程，通過迭代方程，有

式（9）中：Ei（x）表示第i個(gè)分割區(qū)域的能量方程，分割域sj（j＝1，2，…，n；i≠j）是分割域sj的相連域；0≤κj≤1，0≤μj，1≤1分別是相對(duì)應(yīng)的權(quán)值.

利用協(xié)同原理來優(yōu)化視差值，首先要構(gòu)建視差擬合區(qū)域的能量方程，該能量方程有三部分組成分別是代價(jià)方程、懲罰方程和平滑度方程，具體表示為

上式中的各項(xiàng)可分別表示為：

圖1 通過mean－shift分割后視圖Fig.1 Segmented reference image

各個(gè)參數(shù)定義如下：cdata（x，y，d）的定義同節(jié)1.2；ωocc為遮擋懲罰系數(shù)；Nocc為區(qū)域內(nèi)遮擋像素?cái)?shù)（通過上面3個(gè)規(guī)則判斷得到的不可靠像素?cái)?shù)）；Nr是可靠區(qū)域像素集；I（x，y）和I（x′，y′）分別是像素點(diǎn)（x，y）和（x′，y′）的灰度；N以像素的（x，y）為中心5×5的矩形窗；dis（·）是兩像素點(diǎn)歐幾里得距離；γ是一個(gè)常數(shù)；β定義為

最后，通過Powell方法求解能量方程（9），獲得第j個(gè)分割區(qū)域的最優(yōu)視差平面參數(shù)（aj，bj，cj），就可以獲得優(yōu)化后視差圖.

2 多目立體視覺匹配

利用多視圖進(jìn)行立體匹配求視差，給匹配算法提供更多的信息.有利于提高算法的精度，降低匹配的錯(cuò)誤率.選擇其中一幅為參考圖像，該參考圖像與其他圖像進(jìn)行兩兩匹配求得視差圖，形成了多個(gè)視差集（d（1），d（2），…，d（n）），如何優(yōu)化合并這一系列視差集將是多視圖匹配的關(guān)鍵問題之一.

雙視圖立體算法有3個(gè)匹配步驟.

步驟1對(duì)參考圖像進(jìn)行分割.

步驟2采用自適應(yīng)相似算法求初始化視差，并求得（d（1），d（2），…，d（n））.

步驟3利用視差平面擬合對(duì)多視圖視差集進(jìn)行合并.

對(duì)于多視圖視差平面擬合，平面模型表示為

式（15）中：第j個(gè)分割域在第i個(gè)視差集中的模型.

對(duì)多視差集合并，參考圖像第j個(gè)分割域和其他圖像所形成視差，其區(qū)域內(nèi)各個(gè)像素點(diǎn)的線性方程表示為

式（16）中：p是在第j個(gè)分割域中像素點(diǎn)個(gè)數(shù)；是第i個(gè)視差集的第j個(gè)分割域中第k個(gè)像素點(diǎn)的視差值（i＝1，2，…，n；j＝1，2，…，m和k＝1，2，…，p）；a，b，c是第j個(gè)分割域的擬合平面系數(shù).

從方程（16）獲得到第j個(gè)分割域的擬合視差值是各個(gè)視差集中該分割域的平均值，奇異值分解得到視差擬合平面的系數(shù)，即

以此類推，可以對(duì)參考圖像的其他分割域進(jìn)行同樣平面擬合，最后獲得整副參考圖像的視差圖.

線性方程（16）進(jìn)行奇異點(diǎn)的排除，同理，應(yīng)用雙目視圖匹配的規(guī)則判斷獲得可靠分割區(qū)域.采用協(xié)調(diào)優(yōu)化方法對(duì)多視圖視差進(jìn)行優(yōu)化，多視圖能量方程的建立，具體定義為雙目視圖匹配（方程10），各個(gè)部分具體定義為

各個(gè)參數(shù)定義如雙視圖匹配能量方程，同理，根據(jù)方程（9）定義，利用Powell算法迭代優(yōu)化得到最優(yōu)多視圖視差.

3 實(shí)驗(yàn)結(jié)果及討論

3.1 匹配算法流程圖

算法具體表述為如下5個(gè)步驟.

步驟1視圖組輸入.

步驟2選擇參考圖像進(jìn)行分割處理.

步驟3運(yùn)用局部自適應(yīng)相似算法計(jì)算初始化視差.

步驟4視差平面擬合，并根據(jù)規(guī)則排除奇異點(diǎn)建立可靠區(qū)域集.

步驟5利用協(xié)同優(yōu)化視差平面參數(shù)獲得最優(yōu)視差值.

3.2 實(shí)驗(yàn)結(jié)果

對(duì)述的匹配算法的流程圖進(jìn)行運(yùn)算，雙視圖及多視圖的視差圖采用Middlebury［10］的視圖Tsukuba，Venus，Cones和Teddy，運(yùn)行結(jié)果如圖2所示.圖2（a）為原始圖（Tsukuba，Venus，Cones和Teddy），圖2（b）為對(duì)應(yīng)的ground－truth圖，圖2（c）為建議的雙視圖匹配算法結(jié)果圖.

通過執(zhí)行協(xié)同優(yōu)化匹配算法獲得Tsukuba，Venus，Cones和Teddy的多視圖視差圖，如圖3所示.

圖2 雙視圖視差圖Fig.2 Disparity map of binocular stereo matching

各雙視圖及多視圖的算法結(jié)果，如表1所示.表1中：η為錯(cuò)誤匹配率.由表1可知：利用協(xié)同優(yōu)化匹配算法對(duì)多視圖獲得錯(cuò)誤匹配率最小，雙視圖次之，局部算法獲得的初始化視差錯(cuò)誤率最大.這樣也充分說明了多視圖能提高更多信息，有利于算法改進(jìn)，減少錯(cuò)誤的匹配.局部算法對(duì)圖像匹配比較敏感，速度雖快，單精確度劣于全局的匹配算法.同時(shí)，也比較了GF［13］，ST－1［14］的雙視圖錯(cuò)誤匹配率.結(jié)果表明：匹配算法是可以獲得較好的匹配數(shù)據(jù)，但在參考圖Cones上，算法表現(xiàn)不夠好，需要對(duì)處理遮擋問題作進(jìn)一步優(yōu)化.

圖3 多視圖視差圖Fig.3 Disparity map of multi－ocular stereo matching

表1 各方法求得視圖差比較Tab.1 Compare with results of stereo matching methods

4 結(jié)束語(yǔ)

研究立體視覺匹配算法，利用協(xié)調(diào)優(yōu)化對(duì)雙視圖及多視圖進(jìn)行匹配優(yōu)化.利用SVD 方法對(duì)線性方程進(jìn)行求解，同時(shí)，在多視圖在通過視差平面擬合合并視差集.制定排除奇異點(diǎn)的規(guī)則，能很好判斷遮擋及非可靠像素點(diǎn).本算法不僅可以解決雙視圖匹配問題，也可以推廣到多視圖立體匹配問題的解決.今后，將對(duì)算法進(jìn)一步改進(jìn)及提出更好的平面擬合算法.

［1］MARR D，POGGIO T.A computational theory of human stereo vision［C］∥Proceedings of the Royal Society of London.London：IEEE Press，1979：301－328.

［2］FAUGERAS O，LONG Q.The Geometry of multiple images［M］.Cambridge：Cambridge University Press，2001：1－50.

［3］FURUKAWA Y，PONCE J.Accurate，dense，and robust multi－view steropsis［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2010，32（8）：1362－1376.

［4］LHUILLIER M，QUAN Long.Aquasi－dense approach to surface reconstruction from uncalibrated images［J］.Transactions on Pattern Analysis and Machine Intelligence，2005，27（3）：418－433.

［5］WU Tai－pang，YEUNG S K，YA Jia－jia，et al.Quasi－dense 3Dreconstruction using tensor－based multi－view stereo［C］∥Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco：IEEE Press，2010：1482－1489.

［6］VINH D N，DUC D N，SANG J L，et al.Local density encoding for robust stereo matching［J］.IEEE Transctions on Circuits and Systems for Video Technology，2014，24（12）：2049－2062.

［7］XU Ling－feng，OSCAR C A，SUN Wen－xiu，et al.Stereo matching with optimal local adaptive radiometric compensation［J］.IEEE Signal Processing Letters，2015，22（2）：131－135.

［8］WANG Dao－lei，LIM K B.Obtaining depth map form segment－based stereo matching using graph cuts［J］.Journal of Visual Communication and Image Representation，2002，24（5）：603－619.

［9］COMANICIU D，MEER P.Mean shift：A robust approach toward feature space analysis［J］.Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：603－619

［10］TAO H，SAWHNEY H S，KUMAR R.A global matching framework for stereo computation［C］∥International Conference on Computer Vision.Vancouver：IEEE Press，2001：532－539.

［11］HUANG Xiao－fei.Cooperative optimization for energy minimization：A case study of stereo matching［EB／OL］.［2014－09－23］.http：／／front.math.ucdavis.edu／author／X.Huang，cs.CV／071057.

［12］BLAKE A，ROTHER C，BROWN M，et al.Torr，interactive image segmentation using an adaptive GMMRF model［C］∥Proceedings European Conference of Computer Vision.Prague：Czech Republic，2004：428－441.

［13］RHEMANN C，HOSNI A，BLEYER M C，et al.Gelautz fast cost－volume filtering for visual correspondence and beyond［C］∥Conference on Computer Vision and Pattern Recognition.Colorado Springs：IEEE Press，2011：3017－3024.

［14］MEI Xing，SUN Xun，DONG Wei－ming，el at.Segment－tree based cost aggregation for stereo matching［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Portland：IEEE Press，2013：23－28.