劉 艷，曹光靜，朱金秀，李 航

（河海大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 常州 213022）

雙目立體視覺作為計(jì)算機(jī)視覺的重要形式，與人眼視覺類似，利用光學(xué)成像設(shè)備、基于雙目視差原理從兩個(gè)不同位置獲取被觀測(cè)目標(biāo)的兩幅圖像，通過相應(yīng)計(jì)算得到同一目標(biāo)點(diǎn)在不同視圖中的位置偏差，以獲取目標(biāo)三維信息，得到可視場(chǎng)景中的物體原貌[1]。雙目視覺技術(shù)主要包括圖像獲取、特征提取、相機(jī)標(biāo)定、立體匹配、三維重建等，涉及投影幾何、光學(xué)成像、攝像機(jī)標(biāo)定、特征提取與匹配等知識(shí)點(diǎn)。為了解并掌握雙目視覺相關(guān)技術(shù)，本文搭建相應(yīng)的硬件平臺(tái)并配套實(shí)驗(yàn)項(xiàng)目。該實(shí)驗(yàn)平臺(tái)，將雙目攝像機(jī)及支架、雙目圖像傳輸模塊、標(biāo)定板、電源、計(jì)算機(jī)等硬件進(jìn)行有機(jī)組合，計(jì)算機(jī)中安裝 Visual Studio、OpenCV、OpenGL 等軟件或開源程序包；結(jié)合數(shù)字信號(hào)處理、程序設(shè)計(jì)語言、數(shù)字圖像處理等相關(guān)課程的知識(shí)，設(shè)計(jì)了雙目視覺平臺(tái)的搭建及圖像獲取、雙目相機(jī)標(biāo)定、立體匹配、單一目標(biāo)的三維測(cè)量及重建4 個(gè)基本實(shí)驗(yàn)。

1 雙目視覺基本理論

雙目立體視覺借助 2 個(gè)參數(shù)和型號(hào)一致的攝像機(jī)，從2 個(gè)不同的位置同時(shí)拍攝同一場(chǎng)景，獲取2 幅不同角度的圖像，通過對(duì)2 幅圖像的偏差進(jìn)行處理與計(jì)算，得到該場(chǎng)景的三維信息。如圖1 所示，若用左右攝像機(jī)同時(shí)觀察P點(diǎn)，可得到該點(diǎn)分別在左右兩幅圖像中的成像點(diǎn)P1、P2。假設(shè)O1、O2分別為左右攝像機(jī)的光心，則P點(diǎn)一定是直線O1P1和直線O2P2的交點(diǎn)，P點(diǎn)的三維位置即可確定。因此，只要確定左右攝像機(jī)圖像中的某像點(diǎn)為空間中同一個(gè)點(diǎn)的圖像點(diǎn)，即可計(jì)算出該點(diǎn)的三維坐標(biāo)[2]。

圖1 雙目立體視覺原理圖

立體視覺技術(shù)中，圖像到真實(shí)空間的映射和計(jì)算涉及多個(gè)坐標(biāo)系，攝像機(jī)坐標(biāo)與圖像坐標(biāo)系的關(guān)系如圖2 所示。攝像機(jī)坐標(biāo)系以攝像機(jī)的光心O為原點(diǎn)，Xc軸和Yc軸分別平行于圖像坐標(biāo)系中的x軸和y軸，Zc軸為攝像機(jī)的光軸且垂直于圖像平面，與圖像平面的交點(diǎn)為圖像坐標(biāo)系的原點(diǎn)Oxy。設(shè)世界坐標(biāo)系（真實(shí)坐標(biāo)系）中的P點(diǎn)與攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)分別為二者的轉(zhuǎn)換關(guān)系可用一個(gè) 3×3 的正交單位矩陣和平移向量T表 示[3]，關(guān)系式如下：

式（1）中，R為 3×3 的正交單位矩陣，表示 2 個(gè)攝像機(jī)的相對(duì)空間角度；T為三維的平移向量，表示 2個(gè)攝像機(jī)在水平方向上的距離關(guān)系；M為4×4 矩陣，表示世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的映射關(guān)系，即攝像機(jī)的外部參數(shù)矩陣。若要得到世界真實(shí)坐標(biāo)，首先要對(duì)2 個(gè)攝像機(jī)進(jìn)行參數(shù)標(biāo)定，根據(jù)攝像機(jī)模型及投影原理計(jì)算得到旋轉(zhuǎn)矩陣、平移向量、重投影矩陣等內(nèi)外參數(shù)。

圖2 攝像機(jī)坐標(biāo)與圖像坐標(biāo)系關(guān)系

圖像立體匹配的目的找出同一個(gè)目標(biāo)在不同成像面上的特征對(duì)應(yīng)關(guān)系，進(jìn)而求出視差，恢復(fù)圖像的深度信息[4]。立體匹配算法本質(zhì)上是以最小的代價(jià)在 2幅圖像上找到相同的像素點(diǎn)。因此匹配算法的設(shè)計(jì)就是構(gòu)建一種優(yōu)化模型，并求解最優(yōu)解的過程。立體匹配算法可分為局部和全局兩大類，全局立體匹配算法通常隨機(jī)生成或利用圖像某一全局特征生成粗略視差圖，再采用置信度傳播、動(dòng)態(tài)規(guī)劃、生成樹等方法進(jìn)行視差優(yōu)化。局部立體匹配算法常以像素點(diǎn)為中心的窗口像素（即局部窗口）信息來獲取該像素點(diǎn)的初始視差，再利用左右一致性檢測(cè)、視差傳播、中值濾波等方法進(jìn)行視差優(yōu)化[5]。

結(jié)合標(biāo)定得到的參數(shù)，將式（1）中的參數(shù)矩陣M作反投影，得到矩陣Q，可根據(jù)下式將立體匹配過程獲取的稠密視差圖作坐標(biāo)轉(zhuǎn)換，即可得到場(chǎng)景內(nèi)任一點(diǎn)的世界坐標(biāo)：

其中，(x,y)為視差圖中某點(diǎn)的二維坐標(biāo)，d為該點(diǎn)視差值，圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的絕對(duì)坐標(biāo)值可以表示為

利用圖像分割將圖像中的目標(biāo)物體提取出來，并計(jì)算三維空間中目標(biāo)上2 個(gè)點(diǎn)的歐式距離，即可求得所需的尺寸大小?？筛鶕?jù)求得的世界坐標(biāo)與攝像機(jī)原圖進(jìn)行表面生成與紋理重建，即可實(shí)現(xiàn)場(chǎng)景的三維重建，得到真實(shí)的三維模型。

2 雙目視覺實(shí)驗(yàn)平臺(tái)設(shè)計(jì)

2.1 設(shè)計(jì)目標(biāo)及原則

基于雙目視覺的實(shí)驗(yàn)平臺(tái)及實(shí)驗(yàn)項(xiàng)目針對(duì)具備數(shù)字信號(hào)處理、程序設(shè)計(jì)語言、計(jì)算機(jī)仿真等相關(guān)知識(shí)的學(xué)生而設(shè)計(jì)。通過該實(shí)驗(yàn)，不僅能讓學(xué)生加深機(jī)器視覺的理解，提高學(xué)生的知識(shí)應(yīng)用能力，讓學(xué)生在實(shí)驗(yàn)中自主探索、交流合作中提高發(fā)現(xiàn)問題和解決問題的能力，提高學(xué)生的工程應(yīng)用和科技創(chuàng)新意識(shí)[6]。

為鍛煉學(xué)生的自主學(xué)習(xí)能力和實(shí)踐動(dòng)手能力，要求學(xué)生將每個(gè)項(xiàng)目的實(shí)驗(yàn)要求和具體目標(biāo)，通過各種互聯(lián)網(wǎng)、圖書等途徑查閱相關(guān)知識(shí)，自主設(shè)計(jì)實(shí)驗(yàn)方案并獨(dú)立完成實(shí)驗(yàn)內(nèi)容。教師作為引導(dǎo)者和答疑者，精力集中在解決學(xué)生的疑難問題上[7]。學(xué)生可以自主研究并選擇實(shí)驗(yàn)方案，這有利于學(xué)生的學(xué)習(xí)熱情和信心的增強(qiáng)，提高學(xué)習(xí)積極性[8]；學(xué)有余力的學(xué)生還可以借助該實(shí)驗(yàn)平臺(tái)自由設(shè)計(jì)實(shí)驗(yàn)項(xiàng)目，或參與學(xué)科競(jìng)賽、教師科研項(xiàng)目等，實(shí)現(xiàn)教學(xué)多樣化。

2.2 實(shí)驗(yàn)平臺(tái)的組成與使用

雙目視覺實(shí)驗(yàn)平臺(tái)包括雙目攝像機(jī)及支架、雙目圖像采集與傳輸模塊、計(jì)算機(jī)等硬件，操作系統(tǒng)為Windows，同時(shí)安裝Visual Studio、OpenCV、OpenGL等軟件或開源程序包，輔以標(biāo)定板、固定形狀和尺寸的目標(biāo)作為拍攝對(duì)象，由學(xué)生自主編程實(shí)現(xiàn)各實(shí)驗(yàn)內(nèi)容。平臺(tái)的結(jié)構(gòu)見圖3。

圖3 雙目視覺實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)

雙目攝像機(jī)系統(tǒng)（見圖 4）自主搭建。為實(shí)現(xiàn)高精度測(cè)量，所選攝像機(jī)分辨率為4000×3000 像素，配以8 mm、12 mm、16 mm、25 mm、35 mm 多種鏡頭，供不同遠(yuǎn)近的目標(biāo)拍攝選擇；雙目相機(jī)基線的調(diào)節(jié)范圍為8～30 cm。為了獲取更多的目標(biāo)信息，基礎(chǔ)實(shí)驗(yàn)中提供焦距為12 mm 的鏡頭。

圖4 雙目攝像機(jī)結(jié)構(gòu)

攝像機(jī)的數(shù)據(jù)傳輸模式為以太網(wǎng)，需要在計(jì)算機(jī)中安裝千兆網(wǎng)卡，圖像采集采取軟觸發(fā)方式實(shí)現(xiàn)圖像同步獲取。所有圖片或視頻的獲取和處理由編程實(shí)現(xiàn)，并作為實(shí)驗(yàn)項(xiàng)目讓學(xué)生自主完成。

立體匹配中，左右兩幅圖像在平面上完全對(duì)準(zhǔn)的前提下計(jì)算視差的難度最低[9]。因而必須先采集標(biāo)定板的左右圖像，并進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，再進(jìn)行圖像校正。將攝像機(jī)與計(jì)算機(jī)的數(shù)據(jù)線、電源線分別進(jìn)行連接后，設(shè)置好相機(jī)的訪問地址，使用 Visual Studio 軟件編程進(jìn)行圖像采集。為了使攝像機(jī)標(biāo)定參數(shù)不變，必須保持?jǐn)z像機(jī)位置在所有實(shí)驗(yàn)中不變?；陔p目視覺平臺(tái)獲取不同角度、20 組以上的標(biāo)準(zhǔn)棋盤格圖像，根據(jù)張氏標(biāo)定原理[10]，求解出相機(jī)的內(nèi)外參數(shù)及畸變系數(shù)。后續(xù)實(shí)驗(yàn)將利用這些參數(shù)進(jìn)行圖像校正，對(duì)校正后的左右視圖進(jìn)行立體匹配算法得到視差圖，結(jié)合標(biāo)定參數(shù)即可計(jì)算出三維坐標(biāo)，實(shí)現(xiàn)目標(biāo)尺寸和距離測(cè)量，也可利用重建算法實(shí)現(xiàn)三維重建，得到目標(biāo)或場(chǎng)景真實(shí)的三維模型[11]。

3 教學(xué)項(xiàng)目設(shè)計(jì)

3.1 教學(xué)目的與要求

通過教學(xué)，讓學(xué)生了解雙目視覺的圖像處理相關(guān)技術(shù)，掌握雙目視覺系統(tǒng)中涉及的系統(tǒng)搭建、相機(jī)標(biāo)定、立體匹配、尺寸測(cè)量及三維重建等基本概念和相關(guān)方法，為在計(jì)算機(jī)視覺領(lǐng)域中進(jìn)行深入學(xué)習(xí)和研究打下必要的基礎(chǔ)。實(shí)驗(yàn)結(jié)合硬件平臺(tái)和搭建、軟件使用和編程等實(shí)踐環(huán)節(jié)，主要目的是鍛煉和培養(yǎng)學(xué)生實(shí)際操作技能和綜合利用所學(xué)過的知識(shí)解決實(shí)際問題的能力[12]。具體要求：

（1）加深對(duì)數(shù)字圖像處理相關(guān)知識(shí)點(diǎn)的理解，熟練鞏固數(shù)字圖像處理的相關(guān)技術(shù)和方法；

（2）熟悉所用Visual Studio 等軟件的開發(fā)、編譯環(huán)境及編程方法，掌握?qǐng)D像處理工具箱、OpenCV 的基本函數(shù)和命令；

（3）學(xué)會(huì)雙目視覺平臺(tái)的搭建及程序調(diào)試方法，善于發(fā)現(xiàn)錯(cuò)誤，并且能很快地排除錯(cuò)誤，使軟硬件程序能正確運(yùn)行。

3.2 教學(xué)內(nèi)容

雙目視覺實(shí)驗(yàn)項(xiàng)目的實(shí)驗(yàn)?zāi)康暮蛢?nèi)容見表 1。每個(gè)項(xiàng)目安排課內(nèi)2 學(xué)時(shí)完成，總實(shí)驗(yàn)時(shí)數(shù)為8 學(xué)時(shí)。

3.3 教學(xué)范例——雙目相機(jī)標(biāo)定

實(shí)驗(yàn)開始前，學(xué)生已查閱雙目相機(jī)標(biāo)定的相關(guān)資料，了解了基于棋盤格圖像的標(biāo)定原理及方法，重點(diǎn)理解了張氏標(biāo)定法的基本原理。實(shí)驗(yàn)教學(xué)過程中，先介紹相機(jī)標(biāo)定相關(guān)知識(shí)，解答學(xué)生預(yù)習(xí)中的疑難；再結(jié)合實(shí)驗(yàn)演示，講解標(biāo)定過程的主要步驟，讓學(xué)生掌握基本的實(shí)驗(yàn)操作；提醒學(xué)生實(shí)驗(yàn)過程中的注意事項(xiàng)及可能會(huì)遇到的問題。以Visual Studio 軟件為工具，雙目相機(jī)標(biāo)定的實(shí)驗(yàn)過程如下：

（1）利用實(shí)驗(yàn)一搭建好的雙目視覺平臺(tái)和棋盤格，獲取不同角度、20 組以上的棋盤格圖像，粗略提取出棋盤的角點(diǎn)，角點(diǎn)檢測(cè)結(jié)果見圖5。

（2）根據(jù)棋盤格的尺寸和格子數(shù)量，分別提取每個(gè)角點(diǎn)亞像素位置，遍歷所有圖像，將棋盤格大小角點(diǎn)位置信息的圖像坐標(biāo)系轉(zhuǎn)化成世界坐標(biāo)系。初始化3×3 的對(duì)角矩陣、畸變參數(shù)、旋轉(zhuǎn)矩陣R、平移矩陣T、本征矩陣E、基礎(chǔ)矩陣F、r、t等參數(shù)，并記錄得到的參數(shù)。由于相機(jī)的制造工藝等問題，左右攝像機(jī)的內(nèi)參矩陣和畸變參數(shù)可能不同，需要分別記錄。標(biāo)定結(jié)果見表2。

表1 雙目視覺實(shí)驗(yàn)教學(xué)項(xiàng)目

圖5 一幅棋盤格圖像的角點(diǎn)檢測(cè)結(jié)果

表2 雙目攝像機(jī)標(biāo)定結(jié)果

（3）檢查標(biāo)定結(jié)果的誤差，通過檢查圖像上的點(diǎn)與另一幅圖像的極線的距離遠(yuǎn)近來評(píng)價(jià)標(biāo)定精度。

（4）初始化坐標(biāo)映射表，對(duì)圖像進(jìn)行校正處理。校正結(jié)果如圖6 所示。

本實(shí)驗(yàn)作為后續(xù)2 個(gè)實(shí)驗(yàn)項(xiàng)目及自主設(shè)計(jì)性實(shí)驗(yàn)的基礎(chǔ)，要求學(xué)生間相互合作，在理解標(biāo)定原理的基礎(chǔ)上完成張氏標(biāo)定法的C 語言實(shí)現(xiàn)。實(shí)驗(yàn)難度適中，實(shí)驗(yàn)操作完成后對(duì)標(biāo)定精度的評(píng)價(jià)可加深學(xué)生對(duì)影響立體匹配效果原因的理解；圖像校正的結(jié)果將作為下一實(shí)驗(yàn)所需的立體匹配源圖像，起著承上啟下的作用。因此，該實(shí)驗(yàn)項(xiàng)目有非常高的連續(xù)性和延展性。

圖6 校正后的左右圖像對(duì)

3.4 教學(xué)效果

每個(gè)實(shí)驗(yàn)都要求學(xué)生自主完成預(yù)習(xí)、實(shí)驗(yàn)和總結(jié)。完成4 個(gè)實(shí)驗(yàn)項(xiàng)目后，進(jìn)行問卷調(diào)查，調(diào)查結(jié)果表明，學(xué)生對(duì)計(jì)算機(jī)視覺的學(xué)習(xí)興趣和解決圖像處理能力得到顯著提高，對(duì)相關(guān)知識(shí)點(diǎn)的理解更加深入，掌握了基于Visual Studio 的計(jì)算機(jī)仿真方法。本次實(shí)踐教學(xué)實(shí)驗(yàn)得到了學(xué)生的高度認(rèn)可，達(dá)到了學(xué)生自主學(xué)習(xí)并完成實(shí)驗(yàn)教學(xué)的目的。

4 結(jié)語

雙目視覺實(shí)驗(yàn)平臺(tái)涉及信息獲取與處理方向的多門課程知識(shí)，以工程教育目標(biāo)為基準(zhǔn)設(shè)計(jì)，面向具備相關(guān)知識(shí)的高年級(jí)本科生及低年級(jí)研究生開設(shè)。配套設(shè)計(jì)的教學(xué)項(xiàng)目緊密結(jié)合相關(guān)理論，循序漸進(jìn)、由淺入深，學(xué)生通過實(shí)驗(yàn)不僅能夠掌握系統(tǒng)搭建、相機(jī)標(biāo)定、立體匹配、尺寸測(cè)量及三維重建等基本概念和相關(guān)方法，還能在此基礎(chǔ)上開展復(fù)雜的工程性實(shí)驗(yàn)。學(xué)生的自主學(xué)習(xí)能力及工程創(chuàng)新能力得到提高。