盧 毅， 李曉艷， 徐熙平

（長(zhǎng)春理工大學(xué) 光電工程學(xué)院，吉林 長(zhǎng)春 130022）

0 引 言

通過(guò)計(jì)算機(jī)或機(jī)器人實(shí)現(xiàn)像人類那樣靈活、高效的視覺(jué)，是科技工作者多年來(lái)為之努力的目標(biāo)。計(jì)算機(jī)視覺(jué)是計(jì)算機(jī)把采集的圖像經(jīng)過(guò)圖像處理、人工智能等手段來(lái)模擬人類或生物視覺(jué)系統(tǒng)功能，其研究的目標(biāo)是通過(guò)一幅或多幅二維圖像認(rèn)知（識(shí)別、理解、描述和存儲(chǔ)）三維場(chǎng)景信息（如形狀、大小、位置、姿態(tài)等幾何信息）的能力，雙目立體視覺(jué)是其重要分支之一［1－2］。根據(jù)仿生物學(xué)視覺(jué)系統(tǒng)原理，利用兩個(gè)CCD相機(jī)從不同的角度獲取兩幅數(shù)字圖像，通過(guò)立體匹配計(jì)算出兩幅圖像像素的位置偏差（即視差）來(lái)獲取這一場(chǎng)景的立體幾何信息與深度信息，并建立三維坐標(biāo)，重建該場(chǎng)景的三維形狀與位置關(guān)系［3－4］。

雙目立體視覺(jué)系統(tǒng)由圖像采集、攝像機(jī)標(biāo)定、特征提出、立體匹配、三維信息恢復(fù)和三維信息重建等6部分組成［5－6］。Marr認(rèn)為計(jì)算機(jī)視覺(jué)是一個(gè)信息處理的過(guò)程，并分為3個(gè)層次，即計(jì)算理論層次、表達(dá)與算法層次和硬件實(shí)現(xiàn)層次，Marr視覺(jué)系統(tǒng)處理過(guò)程如圖1所示［7－8］。

圖1 Marr視覺(jué)系統(tǒng)處理過(guò)程

1 攝像機(jī)標(biāo)定

雙目立體視覺(jué)系統(tǒng)利用兩臺(tái)CCD相機(jī)獲取兩幅二維圖像，通過(guò)相關(guān)算法，計(jì)算機(jī)得到該場(chǎng)景的三維坐標(biāo)及深度信息，進(jìn)而提取深度信息及三維重建。該場(chǎng)景中某點(diǎn)的三維坐標(biāo)與二維圖像中對(duì)應(yīng)點(diǎn)之間關(guān)系是由CCD相機(jī)的幾何模型決定的，幾何模型的參數(shù)就是攝像機(jī)的參數(shù)，它包括內(nèi)參數(shù)和外參數(shù)。攝像機(jī)的參數(shù)通過(guò)實(shí)驗(yàn)獲得，實(shí)驗(yàn)及計(jì)算的過(guò)程就叫做攝像機(jī)的標(biāo)定［9－10］。

1.1 CCD相機(jī)的成像模型

在雙目立體視覺(jué)系統(tǒng)中，三維場(chǎng)景中的點(diǎn)與二維圖像中對(duì)應(yīng)點(diǎn)之間的聯(lián)系通過(guò)建立相機(jī)成像的幾何模型來(lái)確立。小孔透視成像幾何模型是一種最常用的幾何模型，它包括光心、光軸和成像平面三部分，其原理如圖2所示。

圖2 小孔透視成像幾何模型

1.2 CCD相機(jī)標(biāo)定坐標(biāo)系

從三維場(chǎng)景投影到相機(jī)二維像平面的過(guò)程中，主要涉及以下坐標(biāo)系。

1.2.1 圖像像素坐標(biāo)系

用來(lái)表示三維場(chǎng)景中的點(diǎn)在二維圖像上的投影，坐標(biāo)用（u，v）表示像素在數(shù)組中的行數(shù)和列數(shù)，原點(diǎn)在平面圖像的左上角，u軸水平向右，v軸水平向下。

1.2.2 圖像物理坐標(biāo)系

表征圖像像素的位置而像素沒(méi)有實(shí)際物理意義，用坐標(biāo)（x，y）來(lái)表示，原點(diǎn)在平面圖像中心。圖像坐標(biāo)系如圖3所示。

圖3 圖像坐標(biāo)系

1.2.3 相機(jī)坐標(biāo)系

相機(jī)光心為原點(diǎn)，X、Y軸與圖像坐標(biāo)系X、Y光軸平行，光軸為Z軸與平面圖像的交點(diǎn)稱圖像主點(diǎn)，用（Xc，Yc，Zc）表示。

1.2.4 世界坐標(biāo)系

表示三維場(chǎng)景點(diǎn)的絕對(duì)坐標(biāo)，也叫絕對(duì)坐標(biāo)系，用（Xw，Yw，Zw）表示。相機(jī)坐標(biāo)系與世界坐標(biāo)系如圖4所示。

圖4 相機(jī)坐標(biāo)系與世界坐標(biāo)系

1.3 CCD相機(jī)標(biāo)定參數(shù)

圖3 描述了物理坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系，設(shè)主點(diǎn)O1在u，v坐標(biāo)系的坐標(biāo)為（u0，v0），每一個(gè)像素在u和v軸上物理尺寸為dx和dy，在不考慮畸變的情況下，變換關(guān)系如下：

用矩陣形式表示如下：

圖4描述了相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系，也就是外參數(shù)。外參數(shù)表示相機(jī)在世界坐標(biāo)系中的位置和方向，用旋轉(zhuǎn)矩陣R和平移矢量T來(lái)表示。三維場(chǎng)景中某點(diǎn)P在世界坐標(biāo)系和相機(jī)坐標(biāo)系下的齊次坐標(biāo)分別為（Xw，Yw，Zw，1）T和（Xc，Yc，Zc，1）T，它們之間的關(guān)系為：

由式（1）～式（3）得：

式中：K——相機(jī)內(nèi)參數(shù)；

s——扭轉(zhuǎn)因子；

P——3×4的投影矩陣。

2 雙目視覺(jué)立體匹配技術(shù)

立體匹配研究的主要內(nèi)容是三維場(chǎng)景中不同角度拍攝的二維圖像像素之間的對(duì)應(yīng)關(guān)系，目的在于獲取精確的視差圖，進(jìn)而完成深度檢測(cè)。立體匹配過(guò)程大多采用灰度圖像進(jìn)行匹配，但二維圖像受到鏡頭畸變、圖像噪聲、物體幾何特征和光照等原因的影響，得到的圖像會(huì)有所差異。多種匹配方法都包含3個(gè)基本問(wèn)題，即匹配基元、匹配準(zhǔn)則和匹配算法。

從采集到的二維圖像中提取對(duì)應(yīng)的圖像特征，是立體匹配的核心步驟。用來(lái)描述圖像特征的元素稱之為基元，它包含特征點(diǎn)、邊緣、區(qū)域、相位和灰度圖像等。匹配基元的選取結(jié)果直接影響到視差圖的效果，成功的基元匹配應(yīng)具有唯一性、穩(wěn)定性、不變性、可區(qū)分性和有效解決歧義匹配的能力。

源圖像中的一個(gè)特征點(diǎn)，在對(duì)應(yīng)的待匹配圖像中可能存在多個(gè)相似的候選匹配基元。因此必須引入一定的約束準(zhǔn)則作為輔助判據(jù)，來(lái)得到唯一正確的對(duì)應(yīng)關(guān)系。匹配準(zhǔn)則就是要去除不符合要求的干擾因素，提高抗誤匹配的能力，減少算法的計(jì)算量。采用廣為應(yīng)用的極限約束準(zhǔn)則來(lái)作為匹配準(zhǔn)則，如圖5所示。

圖5 極限約束準(zhǔn)則原理示意圖

立體匹配的實(shí)質(zhì)就是研究如何在一定的約束準(zhǔn)則下，實(shí)現(xiàn)最佳搜索。現(xiàn)有的基于區(qū)域的匹配算法主要分為全局最優(yōu)搜索算法和局部最優(yōu)搜索算法。文獻(xiàn)［11］提出立體匹配算法的實(shí)現(xiàn)過(guò)程分為4步，即匹配代價(jià)計(jì)算、代價(jià)值聚合、視差計(jì)算和視差精度提升。

3 雙目視覺(jué)三維重建方法

雙目立體視覺(jué)的三維重建就是指從采集到的兩幅二維圖像中恢復(fù)目標(biāo)物體的三維坐標(biāo)及幾何形狀的過(guò)程。三維目標(biāo)物體的深度信息隱含在兩幅二維圖像中，通過(guò)深度計(jì)算提取出這些隱含在二維圖像中的深度信息，再經(jīng)過(guò)空間點(diǎn)集的三維重建算法來(lái)進(jìn)行三維重建。雙目成像系統(tǒng)中兩臺(tái)CCD相機(jī)的光學(xué)中心之間的距離為基線B，空間某點(diǎn)坐標(biāo)投射到像平面坐標(biāo)分別為（x1，y1）和（x2，y2），雙目成像系統(tǒng)如圖6所示。

兩臺(tái)CCD相機(jī)拍攝的同一目標(biāo)體上P點(diǎn)的兩幅圖像坐標(biāo)分別為（Xleft，Yleft）和（Xright，Yright），目標(biāo)物體上P點(diǎn)的深度距離為：

式（5）中，視差為Disparity＝Xleft－Yleft，基線B和焦距f為已知量，可以計(jì)算出P點(diǎn)的三維坐標(biāo)。這種通過(guò)左右投影點(diǎn)計(jì)算出空間點(diǎn)坐標(biāo)的方法，稱為點(diǎn)對(duì)點(diǎn)運(yùn)算。利用相關(guān)軟件對(duì)目標(biāo)體的三維坐標(biāo)進(jìn)行計(jì)算，顯示出三維模型經(jīng)過(guò)紋理粘貼得到真實(shí)三維模型。

圖6 雙目成像系統(tǒng)示意圖

雙目立體成像視差圖如圖7所示。

應(yīng)用本系統(tǒng)對(duì)復(fù)雜目標(biāo)進(jìn)行三維重構(gòu)，實(shí)驗(yàn)結(jié)果如圖8所示。

圖7 雙目立體成像視差圖

圖8 復(fù)雜目標(biāo)的三維重建圖像

圖8 （a）為未經(jīng)過(guò)旋轉(zhuǎn)的立體圖，立體感不強(qiáng)，效果不明顯；（b）和（c）為三維空間內(nèi)經(jīng)過(guò)旋轉(zhuǎn)的圖像，圖中直線為物體旋轉(zhuǎn)的中心軸線，立體感較強(qiáng)；（d）為被測(cè)目標(biāo)的三維點(diǎn)云圖像。

4 結(jié) 語(yǔ)

介紹了基于雙目立體視覺(jué)對(duì)目標(biāo)體進(jìn)行三維重建的方法，著重分析了相機(jī)的標(biāo)定、立體匹配算法及深度信息的提取，實(shí)現(xiàn)了通過(guò)拍攝兩幅二維圖像重建三維場(chǎng)景的目標(biāo)，并達(dá)到了良好的效果。

［1］ Minglun Gong，Yee－Hong Yang.Genetic－ased stereo algorithm and disparity map evaluation［J］.International Journal of Computer Vision，2002（1／3）：63－77.

［2］ Krystian Mikolajczyk，Cordelia Schmid.Scale ＆affine invariant interest point detectors［J］.International Journal of Computer Vision，2004（1）：63－86

［3］ 劉慶華，唐伯良，董戎萍.雙目立體匹配圖像對(duì)的預(yù)處理研究［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2005，26（3）：793－795.

［4］ 邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)綜述［J］.自動(dòng)化學(xué)報(bào)，2000，26（1）：43－45.

［5］ 羅桂娥，劉小群.區(qū)域與特征相結(jié)合的立體匹配算法［J］.計(jì)算機(jī)安全，2011（5）：14－17.

［6］ 裴婭男.單幅圖像三維目標(biāo)定位及重建［J］.長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，35（6）：660－667.

［7］ 曹之樂(lè)，嚴(yán)中紅，王洪.雙目立體視覺(jué)匹配技術(shù)綜述［J］.重慶理工大學(xué)學(xué)報(bào)，2015，29（2）：14－17.

［8］ 張梁，徐錦法，夏青元.雙目立體視覺(jué)的無(wú)人機(jī)位姿估計(jì)算法及驗(yàn)證［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2014，46（5）：66－71.

［9］ 戴玉艷，朱燦焰，季愛(ài)明，等.一種基于圖像處理的雙目視覺(jué)校準(zhǔn)方法［J］.電子設(shè)計(jì)工程，2015，23（16）：178－181.

［10］ 尚倩，阮秋琦，李小利.雙目立體視覺(jué)的目標(biāo)識(shí)別與定位［J］.智能系統(tǒng)學(xué)報(bào)，2011，6（4）：303－311.

［11］ Richard Szeliski.Computer vision：algorithms and applications［M］.Germany：Springer－Verlag，2010：238－249.