劉麗偉，馬松全，馬麗蓉

(1.長春工業(yè)大學(xué)計算機科學(xué)與工程學(xué)院，長春130012;2.空軍航空大學(xué)，長春130022)

獲取空間三維場景［1］的距離信息是計算機視覺研究中最基礎(chǔ)的內(nèi)容，而立體視覺是計算機視覺中測距方法中最重要的距離感知技術(shù)，它直接模擬人類視覺處理景物的方式，可在多種條件下靈活的獲取景物的立體信息。雙目立體視覺直接模擬人類雙眼處理景物的方式，可靠簡便，在許多領(lǐng)域均極具應(yīng)用價值，如微操作系統(tǒng)的檢測與控制、機器人的導(dǎo)航與航測、車載攝像頭、三維測量學(xué)和虛擬現(xiàn)實等。

雙目立體視覺是計算機視覺的一個重要分支其思想起源于對人的雙眼視覺的研究，是指由不同位置的兩臺攝像機拍攝同一幅場景，通過計算空間點在兩幅圖像中的視差，獲得該點的三維坐標值。若空間一物點在不同方位所投影得兩個該物點的投影圖像坐標，根據(jù)這兩個圖像坐標，即可求得該物點的三維坐標。要實現(xiàn)這種坐標變換過程，必須知道坐標之間的變換關(guān)系，這主要由攝像機內(nèi)外參數(shù)描述，確定攝像機內(nèi)外參數(shù)的過程叫做攝像機標定。

此外，還需要得到同一物點在兩幅圖像中的圖像坐標，要根據(jù)一物點在一幅圖像中的坐標得到該物點在另外一副圖像中的圖像坐標，這個過程叫圖像匹配。一套完整的雙目立體系統(tǒng)可分為以下主要部分:圖像獲?。?］、攝像機標定、特征提取、立體匹配和深度計算。其中攝像機標定、圖像角點的提取與匹配是雙目立體視覺實現(xiàn)過程中重要步驟。

筆者通過采用雙TMS320DM642數(shù)字信號處理器，在硬件平臺上實現(xiàn)了實時數(shù)字圖像處理系統(tǒng)的結(jié)構(gòu)和相關(guān)算法。

1 雙DSP實時數(shù)字圖像處理系統(tǒng)硬件的構(gòu)成

該系統(tǒng)采用了美國TI公司的高速數(shù)字信號處理器，以兩片TMS320DM642為核心，以可編程邏輯陣列CPLD和現(xiàn)場可編程門陣列FPGA以及高速視頻A/D和D/A等器件構(gòu)成了實時高速數(shù)字圖像處理系統(tǒng)。系統(tǒng)的工作原理是:由CCD輸出模擬視頻信號，經(jīng)過時序產(chǎn)生及圖像預(yù)處理后，通過高速視頻A/D將模擬信號轉(zhuǎn)換為數(shù)字信號。分離出來的同步信號由CPLD地址發(fā)生器產(chǎn)生數(shù)字圖像的存儲地址，在可選擇的任意大小的范圍內(nèi)，圖像數(shù)據(jù)依照地址發(fā)生器產(chǎn)生的地址依次存入圖像存儲器(雙口RAM)。數(shù)字信號處理器DSP1將圖像存儲器(雙口RAM)中的圖像以EDMA方式存在同步動態(tài)存儲器 SDRAM中。SDRAM為4M Byts×64 Byts，時鐘主頻為 166 MByt MHz，這樣保證了工作時所需要的存儲容量和實時性要求。由DSP1和SDRAM組成的數(shù)字處理單元1將數(shù)據(jù)通過MCBSP傳遞給數(shù)字信號處理器DSP2及其所帶的SDRAM;數(shù)據(jù)處理單元2在對所傳來的目標圖像數(shù)據(jù)進行處理后，通過高速D/A轉(zhuǎn)化成為模擬視頻信號，以用于輸出。

圖1 雙DSP系統(tǒng)硬件原理框圖Fig.1 Dual DSP system hardware block diagram

1.1 雙DSP之間的通信

雙DSP之間的通信是保證數(shù)字圖像處理系統(tǒng)性能的關(guān)鍵。只有保證了雙DSP通信的正常，才能保證系統(tǒng)的工作狀態(tài)和系統(tǒng)的實時性。在系統(tǒng)設(shè)計時，采用MCBSP同步串口方式進行雙DSP之間通信。

1.2 A/D和D/A的轉(zhuǎn)換

模擬全視頻信號，經(jīng)高速A/D視頻芯片進行數(shù)字化轉(zhuǎn)換后，存入圖像存儲器中，供DSP處理。高速視頻D/A芯片將DSP處理完畢的數(shù)字視頻圖像信號轉(zhuǎn)化為模擬的全視頻信號輸出。A/D的最高采樣頻率為40 MHz，數(shù)字輸出格式為YUV，確保了所產(chǎn)生的模擬視頻信號輸出的可用性。

1.3 通訊接口

DSP1是由16C550擴展出的對外通訊串口，采用RS422串口和RS232串口兩種模式，上位控制機通過串口將控制命令傳輸給DSP，保證了系統(tǒng)按照要求進行工作，同時系統(tǒng)又把圖像處理的結(jié)果，如目標位置等，通過串口傳輸給上位控制機。

2 雙目立體視覺三維測量原理

雙目視覺模型［3－6］，是指把2個參數(shù)相同攝像頭且光心平行放于一條直線上，構(gòu)成平行雙目立體視覺系統(tǒng)。再通過各個部分的幾何關(guān)系分析，從而獲取目標物的距離信息。幾何關(guān)系的獲得關(guān)鍵在于找出左右圖像中對于同一個物體對應(yīng)的兩個像素點，然后根據(jù)投影中心、焦距、攝像機的幾何位置等，由三角幾何測距原理恢復(fù)物體的三維信息。

圖2 雙目視覺成像原理Fig.2 Binocular vision imaging principle

根據(jù)照相機成像的線性理論［1］可推導(dǎo)出像素坐標和世界坐標之間的關(guān)系

其中G1、G2分別為點P在左右兩個攝像機坐標系中光軸上的坐標;(u1v11)、(u2v21)分別為圖2中P點在左右圖像坐標系下的齊次坐標，N1和N2分別為兩個攝像頭的內(nèi)參矩陣;和分別為兩個攝像頭之間的旋轉(zhuǎn)平移矩陣;(XwYwZw1)是圖2中空間點P在世界坐標系下的齊次坐標。

兩幅圖像的投影變換矩陣［4］如下:

將式(3)、式(4)與式(1)、式(2)式聯(lián)立可得:

由解析幾何知，三維空間的平面方程為線性方程，兩個平面方程聯(lián)立得到空間的直線方程，式(5)和式(6)的幾何意義是圖2中過點P到兩攝像機焦點的直線方程。所以聯(lián)立式(5)、(6)可求出空間點P點的三維坐標。由此，通過兩幅圖片便可得到現(xiàn)場的三維信息，其中就是所要求的距離。

3 圖像的角點提取與匹配

根據(jù)雙目視覺的原理，系統(tǒng)需要獲取同一物體的2幅圖像。并對2幅圖像進行預(yù)處理以提供高質(zhì)量的圖像，然后進行角點提取。角點通常是圖像中周圍亮度變化劇烈的點或者圖像邊界曲線上具有足夠大曲率的點。角點也是圖像三維信息的控制點，它們描述了物體的輪廓和紋理，計算他們的三維信息也就計算出了物體的三維信息。而且角點的數(shù)據(jù)量一般是非常少的，可有效的減少信息的數(shù)據(jù)量，提高運算的速度，然后進行角點匹配。最后綜合攝像機的參數(shù)，得出物體的三維深度信息。整個系統(tǒng)的框架如圖3所示。

在整個系統(tǒng)中，角點提取算法與角點匹配算法，是影響整個系統(tǒng)的測量精度和實時性最重要，也是最核心的算法。

圖3 雙目視覺系統(tǒng)Fig.3 Binocu lar vision system

如果用傳統(tǒng)的匹配［2］，模板會從圖像的原點開始，從上到下從左到右遍歷搜索，直到匹配成功。這樣算法的復(fù)雜度就非常大，不利于快速處理。但是根據(jù)平行光軸的雙目視覺系統(tǒng)的特點，匹配的點在左右2副圖像中，縱向坐標是一致的(即雙目視覺中的Y坐標是相等的)。所以把模板從平面的二維移動，限制在直線的一維運動。模板只需要按自己的縱坐標位置，做水平移動模板，就一定能在這條直線上找到匹配點。

在平行雙目視覺中，兩副圖像是通過固定的位置，是平行的攝像頭采集獲得的，所以同一物點在左右圖像橫坐標都相差一個常數(shù)。當(dāng)然角點也在左右圖像中的橫坐標都相差一個相同的數(shù)值，這個條件也可以簡化搜索的策略達到快速定位。設(shè)左圖像中的一個角點坐標為I(x，y)，那么該點的橫坐標水平方向平移一定的位移m，就可在右圖像中的T(x+m，y)附近(左右5個像素點)找到其匹配點。位于右圖像中T(x，y)的特征點，可在左圖像中的I(x－m，y)附近找到與之匹配的特征點。根據(jù)這個約束條件，就不必每次模板從左到右開始水平移動，可從一個固定值m處附近尋找匹配點，這樣加快了系統(tǒng)的效率。

4 實驗數(shù)據(jù)及結(jié)果

筆者選用兩個規(guī)格相同的攝像機。以橫向平行的方式固定在支架上，兩個攝像機之間的基線距離取50 cm，取左攝像機坐標系為世界坐標系，建立雙目立體視覺距離測量模型。選擇張正友標定法［4］，對80×80 cm的棋盤格進行角點提取與標定，圖4、圖5分別是距離為15 m時的角點提取與標定圖片，根據(jù)標定結(jié)果算出最優(yōu)的投影變換矩陣M，進而計算出前方目標的距離。

圖4 15 m時的角點提取Fig.4 15 m Corner extraction

圖5 15 m時的圖像標定Fig.5 15 m Image calibration

雙目視覺測量的數(shù)據(jù)統(tǒng)計如表1所示。

表1 實驗結(jié)果數(shù)據(jù)表Table 1 The experimental results data table

該實驗選取間隔為10 m的5組距離進行實驗，通過所得的數(shù)據(jù)可知，測得的距離與實際距離相差不大，但隨著距離的增大，圖像的畸變嚴重，誤差也隨之增大。其誤差的主要原因是采集到的圖片模糊導(dǎo)致提取的坐標值不精確，所以圖像的預(yù)處理就顯得非常重要。實驗結(jié)果表明，該系統(tǒng)能夠滿足實際距離較短的檢測精度及實時性要求。

5 結(jié)論

以嵌入式平臺作為實驗平臺，對關(guān)鍵算法提出了自己的解決方法。使用筆者的研究方法對實際物體的三維信息進行了測量，測量結(jié)果驗證了系統(tǒng)的正確性。但是筆者的雙目視覺三維測量技術(shù)現(xiàn)在還處于簡單的針對單一背景，紋理簡單的測量物體，如何針對多樣化，復(fù)雜的測量物體，仍然要進行大量的實驗。

［1］趙光興，于春雨.基于雙目視覺三維測量系統(tǒng)平臺的搭建與實現(xiàn)［J］.合肥工業(yè)大學(xué)學(xué)報，2009，26(4): 403－404.

Zhao Guang－xing，Yu Chun－yu.3D measurement system platform based on binocular vision to build and Implementation［J］.Journal of Hefei Technology University，2009，26(4):403－404.

［2］陳利軍.圖像角點檢測和匹配算法的研究［D］.西安:西安電子科技大學(xué)通信工程學(xué)院，2008.

Chen Li－jun.The image cornermonitoring and matching algorithm［D］.Xi’an:School of Telecommunications Engineering，Xidian University，2008.

［3］Myron Z，Darius B，Gregory D.Advances in computational stereo［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(8):993－1008.

［4］Zhang Zheng－you.A flexible new technique for camera calibration［J］.IEEE Trans on PAMI，2000，22(11): 374－376.

［5］岡薩雷斯.數(shù)字圖像處理［M］，北京:電子工業(yè)出版社，2010.

［6］劉濤.基于平行雙目視覺的目標距離計算［J］.青島大學(xué)學(xué)報，2009，23(4):13－17.

Liu Tao.Calculated based on the the parallel binocular visual target distance［J］.Journal of Qingdao University，2009，23(4):13－17.