陳新河，周 波，梁寶華

（1.巢湖學(xué)院機(jī)械與電子工程學(xué)院，安徽巢湖238000；2.黑龍江科技大學(xué)計(jì)算機(jī)與信息工程學(xué)院，黑龍江哈爾濱150022）

基于Marr理論的立體視覺(jué)概述

陳新河1，周 波2，梁寶華1

（1.巢湖學(xué)院機(jī)械與電子工程學(xué)院，安徽巢湖238000；2.黑龍江科技大學(xué)計(jì)算機(jī)與信息工程學(xué)院，黑龍江哈爾濱150022）

首先在分析傳統(tǒng)的Marr視覺(jué)理論（立體視覺(jué)基礎(chǔ)）原理的基礎(chǔ)上，指出傳統(tǒng)視覺(jué)理論具有單向性、目的單一性和被動(dòng)性等缺點(diǎn)；然后對(duì)立體視覺(jué)系統(tǒng)的攝像機(jī)標(biāo)定、圖像采集和處理、立體匹配、點(diǎn)云拼合和三角剖分五大組成模塊進(jìn)行介紹，在各模塊的介紹中通過(guò)圖表對(duì)比說(shuō)明該模塊中常見(jiàn)研究方法的依據(jù)條件、特點(diǎn)、應(yīng)用場(chǎng)合和代表算法等信息；最后指出立體視覺(jué)當(dāng)前面臨著標(biāo)定的非線性、匹配精度與匹配密度的矛盾、匹配中的遮擋、拼合精度和重疊點(diǎn)云的處理、海量數(shù)據(jù)剖分精度與速度的制約等難題，立體視覺(jué)將向著高精化、自動(dòng)化、多功能化和智能化方向發(fā)展.

Marr視覺(jué)理論；攝像機(jī)標(biāo)定；立體匹配；點(diǎn)云拼合；三角剖分

立體視覺(jué)是將二維圖像轉(zhuǎn)換為三維場(chǎng)景信息的工具，是機(jī)器視覺(jué)的重要組成.在Marr的視覺(jué)理論框架基礎(chǔ)上，研究工作者經(jīng)過(guò)幾十年不懈的努力，使這個(gè)具有廣泛應(yīng)用領(lǐng)域的高技術(shù)在理論和實(shí)踐上不斷成熟和完善.在前人研究的基礎(chǔ)上，將他們的研究理論和方法做簡(jiǎn)要的歸納和比較，為立體視覺(jué)的科研人員研究提供方便.

1 Marr理論——立體視覺(jué)基礎(chǔ)

Marr視覺(jué)理論[1]從計(jì)算視覺(jué)理論出發(fā)，將立體視覺(jué)分為自上而下的三個(gè)階段，即早期的二維視覺(jué)數(shù)據(jù)獲取、中期的要素處理和后期三維信息的形成和表達(dá).經(jīng)歷如圖1所示的三個(gè)階段的處理，即可完成二維到三維的轉(zhuǎn)換工作.

圖1 Marr理論框架的三個(gè)階段Fig.1 ThethreephasesofMarrtheory’sframe

早期階段的“要素圖”（primarysketch）是由二維圖像中的點(diǎn)、直線、曲線和紋理等特征組成，早期階段的處理是從圖像中獲取這些特征.中期階段的處理是處理特征要素的位置和相互關(guān)系，從而完成對(duì)物體的識(shí)別、運(yùn)動(dòng)分析和形狀恢復(fù)等操作，該階段處理的結(jié)果僅僅是對(duì)空間場(chǎng)景的二維半描述.如若要完成對(duì)空間場(chǎng)景的真正三維描述，還需第三階段的后期視覺(jué)處理，將物體自身坐標(biāo)統(tǒng)一到一個(gè)世界坐標(biāo)系中.

作為立體視覺(jué)的基礎(chǔ)理論，Marr理論具有極其重要的指導(dǎo)作用，但Marr理論自身有缺陷，如單向性（視覺(jué)處理只能從前至后處理）、被動(dòng)性（視覺(jué)處理只能是給什么圖像處理什么圖像）、目的單一性（視覺(jué)處理的目標(biāo)一般只是恢復(fù)空間場(chǎng)景中的物體形狀和位置）等.經(jīng)過(guò)幾十年的發(fā)展，許多學(xué)者紛紛提出了Marr理論的改進(jìn)框架，如在框架前增加圖像拾取模塊，使其能根據(jù)分析要求和分析結(jié)果自主獲取圖像；增加反饋環(huán)節(jié)，使視覺(jué)處理結(jié)果能反向指導(dǎo)圖像獲取環(huán)節(jié)，前后互動(dòng)；增加高層指導(dǎo)模塊和視覺(jué)目的模塊，使整個(gè)視覺(jué)處理按照視覺(jué)目的的要求，在高層指導(dǎo)模塊的指導(dǎo)下完成不同的視覺(jué)處理操作，實(shí)現(xiàn)其功能多樣化.總之，改進(jìn)的Marr理論框架（如圖2所示）使立體視覺(jué)趨于自動(dòng)化、智能化和多功能化.

圖2 改進(jìn)的Marr理論框架Fig.2 TheframeofimprovedMarrtheory

2 立體視覺(jué)研究組成

根據(jù)Marr視覺(jué)理論，要完成對(duì)圖像的獲取、處理和三維理解，立體視覺(jué)系統(tǒng)要通過(guò)攝像機(jī)標(biāo)定、圖像采集和處理、對(duì)應(yīng)點(diǎn)的立體匹配、點(diǎn)云拼合和三角剖分模塊處理.

2.1 攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定就是通過(guò)一系列標(biāo)定操作獲取攝像機(jī)的內(nèi)部和外部參數(shù).攝像機(jī)的內(nèi)部參數(shù)包括透鏡的等效焦距 f、鏡頭畸變系數(shù)k、成像的圖像中心(cx,cy)和成像圖像縱橫比sx.攝像機(jī)的外部參數(shù)包括攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量T.按照標(biāo)定操作過(guò)程中是否使用的參考物，可以將攝像機(jī)標(biāo)定分為被動(dòng)標(biāo)定和主動(dòng)標(biāo)定.被動(dòng)標(biāo)定中需要使用精密的標(biāo)定參照物，為簡(jiǎn)化計(jì)算，一般標(biāo)定參照物表面都畫(huà)有均勻的網(wǎng)格.被動(dòng)標(biāo)定操作時(shí)，將標(biāo)定參照物在攝像機(jī)前作不同位置的旋轉(zhuǎn)和平移，獲得不同的圖像，然后根據(jù)這些圖像上的尺寸和實(shí)際標(biāo)定參照物上的尺寸約束關(guān)系，通過(guò)最小二乘法計(jì)算出攝像機(jī)的參數(shù).主動(dòng)標(biāo)定不需要標(biāo)定參照物，這種標(biāo)定法是通過(guò)攝像機(jī)自身的旋轉(zhuǎn)和平移運(yùn)動(dòng)獲取同一場(chǎng)景中的圖像，然后根據(jù)這些圖像中某些對(duì)象參數(shù)的對(duì)應(yīng)約束關(guān)系和攝像機(jī)參數(shù)本身特性獲取標(biāo)定結(jié)果.方法省去了標(biāo)定參照物，但如果標(biāo)定過(guò)程中的攝像機(jī)運(yùn)動(dòng)參數(shù)T、R未知或者不精確，其標(biāo)定的參數(shù)精度也不高.為提高標(biāo)定精度，一般需要配合一些精確可控的輔助設(shè)備獲取攝像機(jī)和場(chǎng)景中的精確相對(duì)位置（即精確的T、R參數(shù)）或者增加約束關(guān)系來(lái)提高標(biāo)定結(jié)果的精度.被動(dòng)標(biāo)定與主動(dòng)標(biāo)定的特點(diǎn)、適用場(chǎng)合和代表算法見(jiàn)表1.

表1 被動(dòng)標(biāo)定與主動(dòng)標(biāo)定對(duì)比表

2.2 圖像的采集和處理

圖像的采集是圖像采集設(shè)備通過(guò)凸透鏡將物體成像于光敏屏幕上，光敏屏幕將圖像特征（如灰度值）轉(zhuǎn)換為電信號(hào)輸送給圖像采集卡，經(jīng)該卡內(nèi)的簡(jiǎn)單處理（如A/D和去噪），再送往后續(xù)環(huán)節(jié)處理.

由圖像采集卡送來(lái)的圖像信號(hào)中含有較強(qiáng)的噪聲，主要是椒鹽噪聲和隨機(jī)可加白噪聲.椒鹽噪聲可以通過(guò)中值模板濾除，且效果很好；白噪聲可以通過(guò)許多種模板進(jìn)行平滑（例如高斯模板）[1].

圖像特征的提取主要是根據(jù)離散圖像中的特征處的一階微分為最大或二階微分為零的特性進(jìn)行提取特征.特征提取方法可分為一階微分檢測(cè)算子和二階微分檢測(cè)算子.一階微分檢測(cè)算子有[1]：Roberts算子、Sobel算子、Prewitt算子、Kirsch算子、Canny算子.二階微分檢測(cè)算子有：拉普拉斯算子、LoG算子.在圖像處理中常將圖像平滑濾波和圖像特征提取合為一步操作，如Canny算子或LoG算子可同時(shí)實(shí)現(xiàn)平滑和提取的作用.

2.3 對(duì)應(yīng)點(diǎn)的立體匹配

圖像匹配是在同時(shí)獲取的左、右兩幅圖像中，找出物體上同一位置所成像的兩個(gè)像位.其一般方法是將一幅圖像上的像點(diǎn)（源匹配點(diǎn)）作為已知點(diǎn)，在另外一幅圖像上搜索對(duì)應(yīng)的匹配點(diǎn)（同名像點(diǎn)）.根據(jù)左右兩幅圖像中所選的匹配基元的不同，立體匹配算法有區(qū)域匹配、相位匹配、特征匹配和解釋匹配[1]，其中前兩種匹配算法較常使用.

區(qū)域匹配是以源匹配點(diǎn)P1為中心在基準(zhǔn)圖上創(chuàng)建一鄰域窗口W1,以W1中的灰度分布來(lái)代替P1,再在對(duì)準(zhǔn)圖中尋找一個(gè)像素P2,使P2的鄰域窗口W2中的灰度分布與W1的灰度分布按區(qū)域準(zhǔn)則最大相關(guān).常用區(qū)域準(zhǔn)則有最小均方差準(zhǔn)則和最大互相關(guān)準(zhǔn)則等.特征匹配是以圖像中的幾何特征為匹配依據(jù)，在左右兩幅圖像中按照幾何特征的相互位置、尺寸和曲率等參數(shù)，尋找對(duì)應(yīng)匹配特征.用于匹配的特征應(yīng)該具有唯一性和再現(xiàn)性，常用的特征匹配基元有頂點(diǎn)、邊緣線、局部能量、多邊形和圖像結(jié)構(gòu)等.這兩種匹配方法的特點(diǎn)對(duì)比如表2所示.

表2 匹配方法的匹配依據(jù)和特點(diǎn)對(duì)比

實(shí)際的立體匹配方法不僅是上述基本匹配方法的綜合，而且會(huì)利用極線約束、順序性約束等約束減少誤匹配，提高匹配精度和匹配搜索效率.當(dāng)前具體的匹配方法很多，如SIFT和LBP相結(jié)合的匹配算法[6]、極線幾何的對(duì)應(yīng)點(diǎn)匹配方法[7]、多分辨率方法[8]、松弛法[8]等.

2.4 點(diǎn)云拼合

點(diǎn)云拼合是將不同視角的點(diǎn)云數(shù)據(jù)統(tǒng)一到同一全局坐標(biāo)系下，通過(guò)坐標(biāo)旋轉(zhuǎn)和平移即可完成操作，難點(diǎn)在于如何獲得旋轉(zhuǎn)矩陣R和平移矩陣T的參數(shù).目前常用拼合方法有附加標(biāo)記物法和點(diǎn)云數(shù)據(jù)匹配法.附加標(biāo)記物法是尋找出不同視角點(diǎn)云數(shù)據(jù)的公共部分上的標(biāo)記物的對(duì)應(yīng)關(guān)系，以該標(biāo)記物對(duì)應(yīng)關(guān)系基礎(chǔ)確定出不同視角坐標(biāo)系間的位置關(guān)系，并將其統(tǒng)一到同一坐標(biāo)下.點(diǎn)云數(shù)據(jù)匹配法是根據(jù)點(diǎn)法向和最近距離求取不同視角點(diǎn)云數(shù)據(jù)的公共部分上數(shù)據(jù)點(diǎn)的對(duì)應(yīng)關(guān)系，再通過(guò)最近點(diǎn)迭代算法（ICP）求得兩坐標(biāo)系間的位置關(guān)系.

表3說(shuō)明上述兩種點(diǎn)云拼合方法的相關(guān)特性和代表算法.

表3 附加標(biāo)記物法與點(diǎn)云數(shù)據(jù)匹配法兩種點(diǎn)云拼合法關(guān)系對(duì)比

實(shí)際的點(diǎn)云拼合算法往往同時(shí)使用了上述兩種方法，利用附加標(biāo)記物法快速計(jì)算出一個(gè)粗變換矩陣,然后以為迭代初值，使用點(diǎn)云數(shù)據(jù)匹配法進(jìn)行精確變換矩陣的求解；最后利用已知的精確位置關(guān)系進(jìn)行不同點(diǎn)云坐標(biāo)間的有序兩兩拼合.

2.5 三角剖分

三角剖分是對(duì)給定點(diǎn)集P作互不相交的最優(yōu)三角面片連接，用以逼近物體真實(shí)曲面，完成物體的三維描述.三角剖分按是否需要投影可分為平面投影法和直接剖分法.

平面投影法往往需要將三維點(diǎn)云投影到某坐標(biāo)平面，然后對(duì)投影點(diǎn)作平面域的三角剖分，最終將平面域中的三角連接關(guān)系對(duì)應(yīng)到空間點(diǎn)云的連接關(guān)系.這種方法不允許不同位置的空間點(diǎn)在投影平面上的投影相互重疊，否則會(huì)引起剖分錯(cuò)誤.平面投影法按照算法思路可細(xì)化為增量算法和分治算法.增量算法是首先創(chuàng)建能包含整個(gè)投影點(diǎn)的初始三角形,然后每次向已有三角形中增加一個(gè)投影點(diǎn)形成新的剖分三角形，直至點(diǎn)集為空[11]，這種算法往往伴隨著多重三角優(yōu)化準(zhǔn)則[15]，以提高剖分三角形質(zhì)量.增量算法具有算法速度快、占用內(nèi)存小等優(yōu)點(diǎn)，但其算法稍顯復(fù)雜，而且要尋找出能包含所有投影點(diǎn)的初始三角形.分治算法是每次將點(diǎn)云化分為兩個(gè)規(guī)模相當(dāng)子點(diǎn)云，直至子點(diǎn)云最簡(jiǎn)為止，然后對(duì)各最簡(jiǎn)子點(diǎn)云進(jìn)行三角連接，最后對(duì)已剖分的子點(diǎn)云三角網(wǎng)進(jìn)行兩兩拼合，直至形成完整的剖分三角形網(wǎng).該算法中Ed空間快速算法比較典型，它給出了Ed空間分治算法的廣義形式，使分治算法不僅適用于二維,還適用于三維甚至更高維的三角剖分[11].另外還有多種改進(jìn)的分治算法[16-19]，為獲取其增量算法和分治算法的各自優(yōu)點(diǎn)，文獻(xiàn)[20]、[21]中綜合使用了這兩種算法.

直接剖分算法是直接根據(jù)三維點(diǎn)云構(gòu)造三角剖分.1988年Choi首先提出了一種基于增量思維該算法.該算法要進(jìn)行動(dòng)態(tài)球全局搜素，算法速度慢，實(shí)施條件苛刻.當(dāng)前真正實(shí)用的直接三角剖分算法極少，如文獻(xiàn)[22]就為一種.

相比之下，平面投影法發(fā)展的早，算法完善，且具體可實(shí)施的方法多；直接剖分算法復(fù)雜，方法不太成熟，具體可以實(shí)施的較好方法也不多，效果也不比平面投影法好，詳細(xì)比較見(jiàn)表4.

表4 點(diǎn)云三角剖分算法比較

[3]JIQ,DAIST.Self-calibrationofarotatingcamerawithatransla?tionaloffset[J].IEEETransactionsonRoboticsandAutomation, 2004,20(1):1-14.

[4]羅逍,姚遠(yuǎn),張金換.一種毫米波雷達(dá)和攝像頭聯(lián)合標(biāo)定方法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,54(3):289-293.

[5]石陳陳,樓佩煌,武星,等.自動(dòng)導(dǎo)引車多攝像機(jī)主動(dòng)導(dǎo)引系統(tǒng)的協(xié)同標(biāo)定[J].儀器儀表學(xué)報(bào),2014,35(11):2589-2599.

[6]鄭永斌,黃新生,豐松江.SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(2):35-39.

[7]陳冰,趙亦工,李欣.一種新的寬基線圖像匹配方法[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,38(2):79-84.

[8]仇芝.三維重建的匹配技術(shù)[D].南京:南京理工大學(xué),2008.

[9]陳天凡,高誠(chéng)輝,何炳蔚.基于表面貼合的不同視點(diǎn)傳感器點(diǎn)云拼合方法研究[J].中國(guó)機(jī)械工程，2012,23(24):75-79.

[10]宋磊.雙目立體測(cè)量系統(tǒng)中的多視角深度圖配準(zhǔn)方法研究[D].南京:南京航空航天大學(xué),2010.

[11]張永春,達(dá)飛鵬,宋文忠.三維散亂點(diǎn)集的曲面三角剖分[J].中國(guó)圖像圖形學(xué)報(bào),2003(12):1379-1388.

[12]劉湘梅,邵建興,侯維娜,等.基于波前法的球面三角剖分算法[J].重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,22(3):329-333.

[13]張世輝,馬淑靜.一種改進(jìn)的區(qū)域增長(zhǎng)三角剖分方法[J].燕山大學(xué)學(xué)報(bào),2010,34(6):516-522.

[14]王永會(huì),周磊.基于半邊數(shù)據(jù)結(jié)構(gòu)的逐點(diǎn)插入Delaunay三角剖分算法[J].沈陽(yáng)建筑大學(xué)學(xué)報(bào)(自然科學(xué)版),2008,24(6):1103-1108.

[15]陳新河,魯業(yè)頻,袁宗文.互動(dòng)優(yōu)化的增量三角剖分算法[J].巢湖學(xué)院學(xué)報(bào),2011,13(6):48-52.

[16]成宏璟,王慶.基于空間無(wú)序點(diǎn)云的層次構(gòu)造三角化方法[J].科學(xué)技術(shù)與工程,2010,10(9):2114-2118.

[17]陳偉,劉肖琳.一種快速三維散亂點(diǎn)云的三角剖分算法[J].計(jì)算機(jī)仿真,2009,26(9):338-341.

[18]夏冬梅,李小冬.曲面拼接與擴(kuò)展的三角剖分算法的改進(jìn)[J].機(jī)械工程與自動(dòng)化2010,12(6):18-20.

[19]陳新河.改進(jìn)的切片法三角化[J].巢湖學(xué)院學(xué)報(bào),2009,11(3): 54-57.

[20]谷利國(guó),侯振杰.基于三維重建技術(shù)的三角剖分[J].微型機(jī)與應(yīng)用,2010,29(18):44-47.

[21]盧扣,李明峰,管莉莉.基于最小正切值的約束Delaunay三角剖分[J].南京工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,132(5):96-99.

[22]邱春麗,許宏麗.一種散亂點(diǎn)云空間直接剖分算法[J].計(jì)算機(jī)科學(xué),2014,41(2):45-49.

【編校：王露】

3 發(fā)展和展望

本文對(duì)立體視覺(jué)的基礎(chǔ)理論和各個(gè)組成模塊的基本研究方法進(jìn)行了介紹，并對(duì)各個(gè)組成模塊的常見(jiàn)研究方法和這些研究方法的優(yōu)缺點(diǎn)進(jìn)行了討論.目前，雖然各模塊有多種具體實(shí)現(xiàn)方法，但這些方法總體說(shuō)僅是在算法上進(jìn)行了一些改進(jìn)，速度和精度有所提高，但沒(méi)有本質(zhì)的突破.立體視覺(jué)雖經(jīng)幾十年的豐碩發(fā)展，但仍有許多難題，例如標(biāo)定過(guò)程中的非線性問(wèn)題；對(duì)應(yīng)點(diǎn)匹配中的匹配精度和匹配密度之間的矛盾問(wèn)題；對(duì)應(yīng)點(diǎn)匹配中的遮擋問(wèn)題；點(diǎn)云拼合中定位精度的提高和重疊部分點(diǎn)云處理問(wèn)題；海量數(shù)據(jù)三角剖分中的剖分速度和剖分精度之間制約問(wèn)題，所以立體視覺(jué)需要解決的問(wèn)題還很多，其開(kāi)發(fā)空間還很大，有待立體視覺(jué)研究工作者的繼續(xù)努力，使立體視覺(jué)設(shè)備更加高精化、自動(dòng)化和智能化.

[1]張廣軍.機(jī)器視覺(jué)[M].北京:科技出版社,2006.

[2]ZHANGZY.Flexiblecameracalibrationbyviewingaplanefrom unknownorientations[J].TheProceedingsoftheSeventhIEEEIn?ternationalConferenceon,1999:666-673.doi:10.1109/ICCV. 1999.791289.

ASummaryofStereoVisionBasedonMarrTheory

CHENXinhe1,ZHOUBo2,LIANGBaohua1
(1.CollegeofMechanicalandElectronicEngineering,ChaohuUniversity,Chaohu,Anhui238000,China;2.ComputerandInformation EngineeringCollege,HeilongjiangUniversityofScienceandTechnology,Haerbin,Heilongjiang150022,China)

BasedontheprincipleanalysisoftraditionalMarrvisiontheory(thefundamentaltheoryofstereovision),there weredefectssuchasunidirectivity,functionalsinglenessandpassivityintraditionalvisiontheory.Thestereovisionsys?temconsistedofcameracalibration,imageacquisitionandprocessing,stereomatching,point-cloudregistrationand point-cloudtriangulation.Theconditions,features,applyingoccasionsandrepresentativealgorithmsoftheirresearch methodswereillustratedbyfigures.Theticklishproblemsthatstereovisionfacedwerenonlinearcalibration,contradic?tionbetweenmatchingaccuracyandmatchingdensity,matchingocclusion,integrationprecisionandoverlappingpoint cloud,constraintbetweendivisionprecisionanddivisionspeedetc.Thestereovisionsystemwillhavehigheraccuracy, automation,multi-functionandmoreintelligenceinthefuture.

Marrvisiontheory;cameracalibration;stereomatching;cloudpointalignment;triangulation

TP309；TP391

A

1671-5365(2015)12-0041-04

陳新河，周波，梁寶華.基于Marr理論的立體視覺(jué)概述[J].宜賓學(xué)院學(xué)報(bào),2015,15(12):41-44. CHENXH,ZHOUB,LIANGBH.ASummaryofStereoVisionBasedonMarrTheory[J].JournalofYibinUniversity,2015,15 (12):41-44.

2015-05-15修回：2015-07-01

安徽高校省級(jí)科學(xué)研究（KJ2012B113）

陳新河（1976-），男，講師，碩士，研究方向?yàn)槿S立體視覺(jué)

時(shí)間：2015-07-0210:30

http://www.cnki.net/kcms/detail/51.1630.Z.20150702.1030.001.html