牟科瀚，王澤勇

（西南交通大學(xué)物理科學(xué)與技術(shù)學(xué)院光電工程研究所，四川成都，610031）

0 引言

光學(xué)三維測量分為被動(dòng)三維測量技術(shù)和主動(dòng)三維測量技術(shù)兩大類。被動(dòng)測量技術(shù)在照明方式上不需要借助結(jié)構(gòu)光的照明，可以從一個(gè)或多個(gè)現(xiàn)成的攝錄系統(tǒng)中直接使用已經(jīng)捕獲到的二維數(shù)字圖像中還原出物體的形貌。主動(dòng)測量技術(shù)需要結(jié)構(gòu)光的照射，從攜帶有待測物體表面三維形貌信息的數(shù)字圖像中，通過一些別的算法得到待測物體的三位形貌。

雙目視覺是基于人眼成像理論的被動(dòng)三維成像技術(shù)。它是基于視差原理，利用成像設(shè)備從不同位置獲取被測物體的兩幅圖像，通過圖像對(duì)應(yīng)點(diǎn)之間的關(guān)系，來計(jì)算三維信息的[1]。其具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡單、成本低等優(yōu)點(diǎn)，非常適合于制造現(xiàn)場的在線、非接觸產(chǎn)品檢測和質(zhì)量控制系統(tǒng)。由于圖像獲取是在瞬間完成的，因此是一種有效的快速三維測量方法。

鐵路在我國經(jīng)濟(jì)社會(huì)發(fā)展中的地位和作用至關(guān)重要。為了使列車走行部在運(yùn)行時(shí)保持良好的狀態(tài)，需要在列車行駛前對(duì)走行部進(jìn)行細(xì)致的檢查工作，以滿足列車安全行駛條件[2]。在日常的一級(jí)檢修過程中，通常是使用目視、人工的方式來進(jìn)行檢查，這樣的方式費(fèi)時(shí)費(fèi)力，列車需要在動(dòng)車段或機(jī)務(wù)段停留很長時(shí)間完成檢測，同時(shí)車底部件繁多，環(huán)境黑暗，對(duì)檢修員的安全也造成了威脅[3]。因此，為了節(jié)省檢測時(shí)間、保證檢測安全，需要設(shè)計(jì)一個(gè)圖像檢測方案，使檢測員可以直接在電腦端上觀察車底部件的三維圖像。

一個(gè)完整的雙目立體視覺系統(tǒng)主要有一下六個(gè)部分組成：（1）攝像機(jī)標(biāo)定；（2）圖像獲?。唬?）特征提??；（4）立體匹配；（5）深度計(jì)算；（6）內(nèi)插與重構(gòu)[4]。針對(duì)這六個(gè)步驟，國內(nèi)外學(xué)者進(jìn)行了大量的研究，以提升雙目視覺測量效果。

本文基于SIFT雙目匹配，進(jìn)行了雙目三維成像技術(shù)研究。針對(duì)雙目視覺的匹配難問題，通過引入結(jié)構(gòu)光投影的方式作了改進(jìn)，大幅度提高了匹配精度，對(duì)三維成像效果有較大提升。將該雙目三維成像的方式用于的列車底的部件檢測，進(jìn)行了三維成像驗(yàn)證。

1 雙目視覺模型

雙目視覺三維成像的數(shù)學(xué)模型如下圖所示。為了數(shù)學(xué)推導(dǎo)的簡便，這先做兩個(gè)假設(shè)：①透鏡成像無畸變；②兩攝像機(jī)成像是行對(duì)準(zhǔn)的?；谶@兩個(gè)假設(shè)，得到空間點(diǎn)P( X, Y, Z)的深度與該店在左右視圖中的坐標(biāo)點(diǎn)和的數(shù)學(xué)關(guān)系。

圖1 雙目視覺系統(tǒng)數(shù)學(xué)模型

下面基于以上兩個(gè)假設(shè)，進(jìn)行數(shù)學(xué)推導(dǎo)。

假設(shè) P( X, Y, Z)為空間中的待測點(diǎn)，其在左右相機(jī)中的成像點(diǎn)分別為兩攝像機(jī)的主點(diǎn)分別為注意，主點(diǎn)是主光線與像平面的交點(diǎn)，該交點(diǎn)在鏡頭的光軸上。由于機(jī)械安裝無法保證鏡頭光軸與CCD成像中心法線完全重合，所以像主點(diǎn)并不與圖像中心完全重合，即Cl和Cr并不是左右視圖的中心點(diǎn)。

三組比較，年齡、性別、受教育年限、糖尿病病程、BMI、空腹血糖、C肽、血脂差異均無統(tǒng)計(jì)學(xué)意義（P＞0.05）。與Non-DPN組相比，Painful DPN組有更低的HbA1C（P＜0.05）。三組患者M(jìn)oCA評(píng)分差異均無統(tǒng)計(jì)學(xué)意義（P＞0.05）。與Non-DPN組相比，Painful DPN及Painless DPN組SDS、SAS、SRSS得分均顯著增高（P＜0.05，表1）。

在圖中共有三個(gè)坐標(biāo)系： xlolyl， xroryr和XOY。為 左 攝 像 機(jī) 的 坐 標(biāo) 系， 其 中為ol坐標(biāo)原點(diǎn)。 xroryr為右攝像機(jī)的坐標(biāo)系，其中，以or為坐標(biāo)原點(diǎn)。XOY為世界坐標(biāo)系，其中P( X , Y, Z)以O(shè)坐標(biāo)原點(diǎn)。

根據(jù)三角形相似原理，我們可以得知： ?P PlPr～ ?P OO′。

那么將物理世界中的點(diǎn)投影到攝像機(jī)上，可以用下式表示：a=QA

需要注意的是，實(shí)際情況是兩攝像頭的水平中心距應(yīng)寫為Tx,此處為假設(shè)條件下的簡化推導(dǎo)，世界坐標(biāo)系的X軸就取在OO′上，所以Tx=T。

xl, xr分別是P點(diǎn)在左右攝像機(jī)的成像視圖上的水平像素位置，其差 xl?xr即為通常所說的視差，由于待測物體的多樣性與復(fù)雜性，求取視差往往成為整個(gè)三維成像中的關(guān)鍵點(diǎn)。

結(jié)合相機(jī)畸變，根據(jù)針孔相機(jī)模型，物體目標(biāo)世界坐標(biāo)點(diǎn)與計(jì)算機(jī)圖像上對(duì)應(yīng)像素點(diǎn)之間的關(guān)系如下：

其中：K為相機(jī)內(nèi)參矩陣；

R =[r1r2r3]為相機(jī)的旋轉(zhuǎn)矩陣；

T為相機(jī)的平移向量。

上式中內(nèi)參矩陣包含了相機(jī)的焦距、畸變等信息，而雙目相機(jī)的旋轉(zhuǎn)、平移等信息則包含在外參矩陣中。將內(nèi)參矩陣與外參矩陣整合，可得到下式：

其中M為投影矩陣（又稱為單應(yīng)性矩陣）。

該式子展開可以得到3個(gè)線性關(guān)系式，消除尺度因子s后留下兩個(gè)關(guān)系式，而未知量有3個(gè)，所以至少需要兩臺(tái)相機(jī)才可以完成深度的測量。

2 SIFT特征匹配算法

SIFT的全稱是Scale Invariant Feature Transform，尺度不變特征變換，由加拿大教授David G.Lowe提出的。SIFT特征對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化等保持不變性，是一種非常穩(wěn)定的局部特征。該算法首先建立圖像的尺度空間描述，通過高斯微分函數(shù)來識(shí)別潛在的對(duì)尺度和選擇不變的極值點(diǎn)，根據(jù)其局部的梯度方向，建立特征描述向量，是一種具有放縮、旋轉(zhuǎn)和仿射不變性的特征檢測描述方法。

將圖像I與不同高斯核的二維高斯函數(shù)G做卷積得到不同尺度下的尺度空間L，兩兩相減得到高斯差圖像D( x, y, )，其中的每個(gè)像素與它的上層、下層以及鄰域共26 個(gè)像素點(diǎn)做灰度值的比較，將最大或者最小值作為候選特征點(diǎn)。為了增強(qiáng)匹配的穩(wěn)定性還需要在候選特征點(diǎn)中去除低對(duì)比度的極值點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，從而精確定位極值點(diǎn)獲得局部特征點(diǎn)。

以每個(gè)局部特征點(diǎn)為中心，在其鄰域取 16×16的窗口，劃分為 4×4 的像素塊，在每個(gè)像素塊上計(jì)算 8 個(gè)方向的梯度直方圖分屬 8 個(gè)區(qū)間，每個(gè)區(qū)間的值為各個(gè)梯度幅度的高斯加權(quán)后的累加值。因此每個(gè) 4×4 的像素塊都可以用一個(gè)長度為 8 維的描述向量來表示，這樣每個(gè)局部特征點(diǎn)就會(huì)產(chǎn)生一個(gè)長度為 128 的 SIFT 特征向量。將特征向量長度進(jìn)行歸一化處理，進(jìn)一步去除光照的影響。

特征向量的匹配就是通過計(jì)算待匹配的兩幅圖像中局部特征點(diǎn)的歐氏距離對(duì)SIFT特征向量進(jìn)行相似性度量，即查找第一幅圖像的每個(gè)局部特征點(diǎn)在另一幅圖像中的最近鄰。設(shè)定比例閾值R, 0

3 實(shí)驗(yàn)驗(yàn)證

■3.1 雙目三維成像實(shí)驗(yàn)

在進(jìn)行三維成像前，需要先對(duì)雙目相機(jī)進(jìn)行標(biāo)定，即計(jì)算出相機(jī)的單應(yīng)性矩陣。本文采用張正友標(biāo)定法。標(biāo)定用棋盤格如圖2所示。

計(jì)算得到相機(jī)參數(shù)：

圖2 相機(jī)標(biāo)定棋盤格

完成了相機(jī)參數(shù)標(biāo)定后，通過雙目相機(jī)采集到的兩幅圖像，如圖3所示。

圖3 待測部件圖像對(duì)

圖中為列車車底部件，整體環(huán)境偏暗，大量平面區(qū)域，可提取的特征點(diǎn)較少。直接對(duì)圖像進(jìn)行雙目匹配，結(jié)果如圖4所示。

圖4 雙目匹配結(jié)果

從匹配結(jié)果可以看到，在平面區(qū)域有大量未匹配的空隙，未能達(dá)到三維成像的標(biāo)準(zhǔn)。為了提高匹配效果，增加特征點(diǎn)，此處引用了結(jié)構(gòu)光投影。投影圖像為隨機(jī)散斑，如圖5所示。

圖5 散斑投影部件圖像對(duì)

對(duì)投影后的圖像進(jìn)行雙目匹配，得到的結(jié)果如圖6所示。

圖6 雙目匹配結(jié)果

比較之前未投影圖像的匹配結(jié)果，可以發(fā)現(xiàn)投影了隨機(jī)散斑的圖像幾乎匹配完全，結(jié)合相機(jī)標(biāo)定參數(shù)即可進(jìn)行三維重構(gòu)，結(jié)果如圖7所示。

圖7 三維形貌復(fù)原

可以看到，該方法取得了很好的恢復(fù)效果。

■3.2 與傅里葉輪廓術(shù)對(duì)比實(shí)驗(yàn)

傅里葉輪廓術(shù)，是一種主動(dòng)式三維測量技術(shù)。利用快速傅里葉變換計(jì)算光柵條紋圖像的頻譜，經(jīng)過濾波處理后，從頻譜中提取出被測物體表面的相位值，進(jìn)而計(jì)算出物體的三維外形數(shù)據(jù)。

雙目三維成像其關(guān)鍵因素在于匹配點(diǎn)的精確度與亢余度，在特征點(diǎn)較多，類似于邊緣處其復(fù)原結(jié)果較好，而特征點(diǎn)較少的平面處（連續(xù)光滑面，如車輪踏面），恢復(fù)的三維圖像會(huì)比較稀疏其有一定的雜點(diǎn)產(chǎn)生，這是由于匹配的不準(zhǔn)確造成的。而傅里葉輪廓術(shù)，由于光柵的周期特性，在處理相位截?cái)鄥^(qū)域（實(shí)際物體中的不連續(xù)部分，如截面、斷面處）是不準(zhǔn)確的，該方法在針對(duì)連續(xù)面，如車輪踏面，有較好的恢復(fù)效果，當(dāng)區(qū)域內(nèi)部件較為復(fù)雜時(shí)，就不能得出準(zhǔn)確的三維圖像了。總體而言，雙目視覺有著更加優(yōu)越的成像性能。

4 總結(jié)

本文從雙目視覺的數(shù)學(xué)模型出發(fā)，推導(dǎo)了相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系。利用SIFT匹配算法進(jìn)行了雙目三維成像。針對(duì)匹配過程中，特征量少、匹配結(jié)果差難以進(jìn)行三維成像的問題，引入了主動(dòng)式投影。通過投影隨機(jī)散斑的方式，增加了匹配特征，從而使匹配質(zhì)量大幅度提升。最后針對(duì)列車走行部的部件進(jìn)行了三維成像實(shí)驗(yàn)，取得了較好的成像結(jié)果。并于主動(dòng)式三維成像技術(shù)中的傅里葉輪廓術(shù)作了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表面采用了結(jié)構(gòu)光投影的雙目三維成像有著更好的效果。

* [1]陳濟(jì)棠.雙目視覺三維測量技術(shù)研究[D].廣東工業(yè)大學(xué)，2011

* [2]王明慧.高速鐵路質(zhì)量安全事故案例[M].西南交通大學(xué)出版社，2014

* [3]吳應(yīng)永.基于SIFT的火車車底螺栓圖像識(shí)別技術(shù)研究[D].西南交通大學(xué)，2016

* [4]羅佳娥.雙目立體視覺深度感知與三維重建若干問題研究[D].中南大學(xué)，2012