王嘉輝，李佼洋，周延桂，梁浩文，黃梓釗，蔡志崗,

(中山大學(xué) 物理學(xué)院 a.實(shí)驗(yàn)教學(xué)中心;b.光電材料與技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510275)

三維攝像與顯示綜合實(shí)驗(yàn)

王嘉輝a，李佼洋a，周延桂b，梁浩文b，黃梓釗b，蔡志崗a,b

(中山大學(xué) 物理學(xué)院 a.實(shí)驗(yàn)教學(xué)中心;b.光電材料與技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510275)

以雙目視覺為基礎(chǔ)設(shè)計(jì)了三維攝像與顯示的綜合實(shí)驗(yàn)，包括演示型和研究型的兩層次實(shí)驗(yàn)內(nèi)容，涵蓋低年級演示物理和高年級專業(yè)物理的實(shí)驗(yàn)教學(xué). 學(xué)生通過自行搭建雙攝像頭的拍攝平臺進(jìn)行實(shí)驗(yàn)，了解立體視覺生理與心理原理，學(xué)會不同場景對應(yīng)的最佳拍攝參量組合.

立體視覺；雙攝像頭；三維顯示；評價(jià)量表

立體(又稱三維，即3D)顯示是能讓觀眾產(chǎn)生強(qiáng)烈沉浸感的目標(biāo)與場景再現(xiàn)技術(shù)，近年來隨著電影《阿凡達(dá)》熱映和虛擬現(xiàn)實(shí)(VR)技術(shù)的普及，立體顯示已經(jīng)在影視娛樂、醫(yī)療衛(wèi)生、軍事訓(xùn)練等場合獲得應(yīng)用與推廣[1-4]. 與立體顯示和VR技術(shù)的蓬勃發(fā)展帶來的專業(yè)技術(shù)人員缺口相比，相應(yīng)的教學(xué)嚴(yán)重滯后，特別是實(shí)驗(yàn)教學(xué)內(nèi)容更是處于空白狀態(tài). 鑒于現(xiàn)狀，本文提出了以雙目視覺為基礎(chǔ)的三維攝像實(shí)驗(yàn)，并制作了相應(yīng)的實(shí)驗(yàn)設(shè)備. 該設(shè)備可以完成多種三維攝像、立體圖像記錄與再現(xiàn)等功能，能讓學(xué)生掌握立體顯示與VR技術(shù)的基本視覺原理，研究優(yōu)化的拍攝條件.

1 實(shí)驗(yàn)原理

1.1雙目視差

雙目視差是立體顯示與VR技術(shù)成像的生理基礎(chǔ)[5]. 所謂雙目視差，指的是雙眼在看同一物體時(shí)，因?yàn)樽笥覂裳垡暰€方位不同，而導(dǎo)致兩眼的成像略有差異，這種差異稱為雙眼視差. 根據(jù)雙眼視差的方向，可以分為水平和垂直2類，其中水平視差是形成立體視覺的生理因素. 人眼觀看物體時(shí)，左右眼能看到該物體的不同側(cè)面，但是有一定的差異，通過大腦融像，所感知的物體如同在正前方所見的一樣. 而物體在視覺中的感知距離則直接與視線夾角相關(guān)，夾角越大則物體的像越靠近觀眾；反之，則遠(yuǎn)離觀眾.

根據(jù)雙視差原理，當(dāng)屏幕上面同時(shí)展示某個(gè)物體對應(yīng)左、右視角的2個(gè)側(cè)面圖像，并且通過輔助眼鏡(即3D眼鏡)的選擇特性將這2幅圖像分別分離和過濾，然后傳送到觀眾的左、右眼進(jìn)行融像. 這2幅側(cè)面圖像稱為立體圖像對. 根據(jù)立體圖像對的相互位置的差異(如圖1所示)，即可以再現(xiàn)目標(biāo)物平面(2D)、出屏(3D)和入屏(3D)3種狀態(tài).

(a)2D (b)出屏 (c)入屏圖1 雙目視差原理

1.2三維攝像

三維攝像(即立體攝像)是對人眼雙目視差的模擬過程[6-7]. 利用2臺攝像機(jī)替代人眼進(jìn)行立體圖像對的捕獲. 根據(jù)2臺攝像機(jī)放置方式的差異，可以將三維攝像分為平行光軸、會聚光軸和共光軸3種情況. 共光軸系統(tǒng)常用于形貌獲取，不易產(chǎn)生直觀的視差圖像對. 平行光軸是目前市面上的商用3D攝像機(jī)和相機(jī)采用的方案，雖然結(jié)構(gòu)簡單，但是拍攝的視差較大，對于近距離(長焦)的場景容易產(chǎn)生視差過大導(dǎo)致難以融像的問題. 鑒于以上情況，在設(shè)計(jì)實(shí)驗(yàn)時(shí)，采用了兼顧平行光軸和會聚光軸2種結(jié)構(gòu)的方案，讓學(xué)生了解不同拍攝方式之間的差異及其適用場景.

1.2.1 平行光軸三維拍攝系統(tǒng)

在光軸平行的立體視覺系統(tǒng)中(如圖2所示)，左右攝像機(jī)焦距及內(nèi)部參量均相等，平行放置，攝像機(jī)的水平方向重合，垂直方向相互平行，左攝像機(jī)沿著其x軸方向平移一段距離(稱為攝影基線)后與右攝像機(jī)重合，這樣的攝像系統(tǒng)稱為平行光軸三維拍攝系統(tǒng).

(a)

(b)圖2 雙目立體視覺幾何模型

圖2所示為用左、右(即L,R)兩攝像機(jī)觀測同一景物時(shí)的情形. 物體上的點(diǎn)P在左攝像機(jī)中的成像點(diǎn)為PL(P點(diǎn)與透鏡中心CL的連線與圖像平面的交點(diǎn))；對應(yīng)在右攝像機(jī)中的成像點(diǎn)為PR. 由光路可逆，若已知圖像平面上的一點(diǎn)PL和透鏡中心CL可唯一地確定1條射線CLPL，使得所有可成像在PL點(diǎn)的物體點(diǎn)必定在這條CLPL射線上. 對于右攝像機(jī)若能找到成像點(diǎn)PR，那么根據(jù)射線CRPR與CLPL的交點(diǎn)就是物體點(diǎn)P的位置. 因此，若已知2臺攝像機(jī)的幾何位置，且攝像機(jī)是線性的，那么利用三角原理就可以計(jì)算物體在空間的位置. 射線CLPL上各點(diǎn)在右攝像機(jī)圖像平面中的成像是1條直線PRPR′，即外極線. 同理，CRPR上各點(diǎn)在左攝像機(jī)圖像平面中的成像也形成外極線. 因此，如果已知空間點(diǎn)在一個(gè)圖像平面中的成像點(diǎn)要尋找在另一圖像平面中的對應(yīng)點(diǎn)時(shí)，只需沿此圖像平面中的外極線搜索即可. 設(shè)P點(diǎn)在左、右圖像平面中成像點(diǎn)相對于坐標(biāo)原點(diǎn)OL和OR(即左、右攝像機(jī)透鏡光軸與圖像平面的交點(diǎn))的距離分別為x1和x2，而這2個(gè)成像點(diǎn)位置差x1-x2被稱為視差. 由圖中幾何關(guān)系得：

(1)

(2)

由式(1)和式(2)得

(3)

將式(3)代入式(2)得到物點(diǎn)P離透鏡中心的距離z為

(4)

式(4)中f為透鏡焦距，d為兩透鏡光軸之間的距離，稱為攝影基線. 當(dāng)攝像機(jī)幾何位置固定時(shí)，視差只與距離z有關(guān)，而與P點(diǎn)離相機(jī)光軸的距離無關(guān). 視差越大說明物點(diǎn)離相機(jī)近，反之越遠(yuǎn).

1.2.2 會聚光軸三維拍攝系統(tǒng)

圖3是相交光軸的雙目視覺系統(tǒng)結(jié)構(gòu). 左右兩攝像機(jī)的光軸成一定的角度布置，采用這種結(jié)構(gòu)形式的攝像機(jī)安裝方便，可以根據(jù)被測對象的特點(diǎn)和系統(tǒng)的要求靈活調(diào)節(jié)2臺攝像機(jī)之間的距離及攝像機(jī)的傾斜方向，不過該結(jié)構(gòu)不利于左右圖像匹配.

圖3 會聚光軸雙目立體系統(tǒng)

1.3偏振式三維顯示

三維顯示是還原雙目視差效果實(shí)現(xiàn)立體影像輸出的過程. 實(shí)現(xiàn)三維顯示的方法有多種，而偏振式(圖4)是目前最常用的三維顯示方式，又名光分法. 它可分為投影和平面顯示2種格式，但都是利用光的偏振性，通過偏光濾鏡濾除特定角度偏振光外的所有光，實(shí)現(xiàn)立體圖像對的分離. 實(shí)驗(yàn)中使用的平面顯示光分法是在液晶平面顯示的基礎(chǔ)上，將原有液晶面板前端的單向偏振濾光片改為隔行排布的雙向偏振濾光片. 其奇偶數(shù)行的偏振濾色片的方向相反，恰好與輔助眼鏡的雙目鏡片的方向一致，所以立體圖像對可以通過眼鏡進(jìn)行分離，并在觀眾的大腦融像[8].

圖4 偏振式3D平面顯示原理

2 系統(tǒng)搭建與程序設(shè)計(jì)

根據(jù)前述拍攝立體圖像對的需求，本文采用2臺大恒圖像水星MER-040-60UC工業(yè)攝像機(jī)作為圖像記錄器件，配合旋轉(zhuǎn)臺、平移軌道等光學(xué)調(diào)節(jié)架和三腳架建立可調(diào)度高的拍攝平臺. 攝像機(jī)拍攝的立體圖像對實(shí)時(shí)傳輸?shù)接?jì)算機(jī)，經(jīng)過圖像處理與合成后將在LG D2342P偏振式3D顯示器進(jìn)行再現(xiàn)，如圖5所示.

從2臺攝像機(jī)拍到的立體圖像對需要經(jīng)過處理才能在偏振式3D顯示器上再現(xiàn). 處理包括相機(jī)匹配校正和圖像融合2部分. 由于2臺攝像機(jī)之間的鏡頭和感光芯片存在差異，例如鏡頭的畸變、感光芯片的偏色及其對亮度的靈敏度都不一致，所以導(dǎo)致拍攝出來的立體圖像對之間的亮度和顏色存在一定差異. 當(dāng)上述差異過大時(shí)，將導(dǎo)致實(shí)驗(yàn)者出現(xiàn)視覺不適甚至融像困難. 因此，需要將立體圖像對的亮度和白平衡進(jìn)行匹配. 此外，由于偏振式三維顯示器是需要在1臺顯示設(shè)備上利用隔行方式立體圖像對的2幅圖像，因此，也需要利用圖像處理的方法，將上述2幅圖像進(jìn)行合并.

(a)結(jié)構(gòu)原理圖

(b)拍攝平臺實(shí)物圖圖5 三維拍攝實(shí)驗(yàn)系統(tǒng)結(jié)構(gòu)原理與實(shí)物圖

利用OpenCV與Microsoft VC++聯(lián)合編程(圖6)，實(shí)現(xiàn)了對2臺工業(yè)攝像機(jī)的控制及立體圖像對拍攝，并調(diào)整相機(jī)的快門、白平衡配置和電子增益等參量(表1)，使得立體圖像對的亮度與顏色初步協(xié)調(diào). 立體圖像對經(jīng)過USB接口送入計(jì)算機(jī)后，經(jīng)過程序進(jìn)一步校正它們的亮度和顏色差異，提高實(shí)驗(yàn)者的視覺舒適度.

圖6 圖像處理與顯示程序的前臺界面

參量數(shù)值相機(jī)分辨率752(H)×480(V)相機(jī)幀率60s-1顯示器分辨率1920×1080立體圖像對分辨率1920×960顯示器顯示幀率60s-1運(yùn)行環(huán)境要求32位WinXP或Win7系統(tǒng),OpenCV2.2或以上,2G內(nèi)存

經(jīng)過校正后的立體圖像對首先將調(diào)整圖像分辨率，使之與偏振式3D顯示屏幕的分辨率匹配，再通過隔行抽樣和插值，將原有的立體圖像對生成1張包含2個(gè)側(cè)面視角圖像的立體照片，最后實(shí)時(shí)顯示在屏幕上. 圖7為學(xué)生實(shí)驗(yàn)場景，學(xué)生調(diào)節(jié)相機(jī)之間的視差，可以從屏幕監(jiān)控實(shí)時(shí)生成的3D影像(即重影的部分).

圖7 學(xué)生實(shí)驗(yàn)現(xiàn)場

3 實(shí)驗(yàn)設(shè)計(jì)

三維攝像與顯示實(shí)驗(yàn)不僅要讓學(xué)生通過學(xué)習(xí)了解視差產(chǎn)生立體(3D視覺)的生理機(jī)理，掌握立體圖像對拍攝與融合的方法，還要學(xué)生通過對不同立體拍攝方式的橫向?qū)嶒?yàn)對比，尋找不同場景和拍攝條件下匹配的三維攝影方式. 針對實(shí)驗(yàn)設(shè)計(jì)目標(biāo)，三維攝像與顯示實(shí)驗(yàn)將分為2部分內(nèi)容：視差原理演示和三維拍攝對比與評價(jià).

如前述，視差是產(chǎn)生立體(3D)視覺的起源. 所以本實(shí)驗(yàn)的第一部分作為演示型的內(nèi)容，計(jì)劃安排學(xué)生通過使用平移軌道、旋轉(zhuǎn)臺、桿座及接桿等光學(xué)元件和工業(yè)相機(jī)組合，自行搭建可以改變基線距離、調(diào)整攝像頭間視角夾角的拍攝平臺，并開展初步的立體圖像對紀(jì)錄實(shí)驗(yàn). 在初步實(shí)驗(yàn)中，注重讓學(xué)生通過改變目標(biāo)物的遠(yuǎn)近和相互位置，掌握視差產(chǎn)生立體的生理立體原理，同時(shí)了解遠(yuǎn)近、遮蔽、陰影、幾何透視等的心理立體原理；指導(dǎo)學(xué)生調(diào)整攝像頭之間的相對高度，消除垂直視差，了解垂直視差對立體視角的減弱作用. 圖8是學(xué)生實(shí)驗(yàn)時(shí)紀(jì)錄的立體圖像，為了便于印刷已轉(zhuǎn)為紅藍(lán)3D格式，該圖片選擇長傘作為目標(biāo)，在約1.5 m遠(yuǎn)的距離拍攝. 從圖8可見，傘的前后部分視差存在差異，讓學(xué)生了解視差的形成以及視差與物體遠(yuǎn)近的關(guān)系，同時(shí)傘和背景之間的遮蔽效應(yīng)、幾何透視(近大遠(yuǎn)小)等心理立體因素也能在本照片中清晰展示，供學(xué)生學(xué)習(xí)掌握.

圖8 實(shí)驗(yàn)所拍三維圖像

三維拍攝的目的是將目標(biāo)物或者場景進(jìn)行模擬人眼視覺的紀(jì)錄和再現(xiàn)，因此拍攝的圖片需滿足既能提供明顯的出屏感[9-10]，又能讓觀看者視覺舒適. 所以針對實(shí)踐應(yīng)用中的技術(shù)要求，本實(shí)驗(yàn)的第二部份是研究型的內(nèi)容，讓學(xué)生在不同的拍攝環(huán)境(即距離和目標(biāo)尺寸)下，嘗試不同的基線距離及其對應(yīng)的夾角，并對該拍攝條件所獲的三維圖像進(jìn)行視覺立體感(即出屏感)和舒適感的評分. 此外，本實(shí)驗(yàn)還安排學(xué)生在各個(gè)拍攝環(huán)境中更換不同焦距的鏡頭，進(jìn)行立體感和舒適感的評價(jià). 這樣就可以通過基線和焦距2個(gè)變量的分離研究，通過雙方面評分找出不同環(huán)境下合適的拍攝條件(焦距與基線)的組合.

圖9是實(shí)驗(yàn)中采用相同基線距離(6 cm)對距離基線1 m的食物模型使用不同夾角所拍攝的立體圖像，它們的視角夾角θ分別為0.9°,1.2°,1.5°,1.9°,2.4°,3°. 在常規(guī)觀看距離(0.6 m)下，圖9(a)～(f)中模型的出屏距離分別為3.6，6.3，8.1，9.2，11.7，13.5 cm.

為了實(shí)現(xiàn)拍攝條件對立體視覺感知和舒適度影響的定性半定量研究，實(shí)驗(yàn)采用了測評量表(如表2)讓學(xué)生在觀看拍攝的立體影像后，進(jìn)行評價(jià). 測評量表是心理學(xué)的主要研究工具，它可以通過科學(xué)、客觀、標(biāo)準(zhǔn)的測量手段對人的特定素質(zhì)進(jìn)行測量、分析、評價(jià). 由于立體視覺屬于心理學(xué)中邏輯與認(rèn)知這一重要分支，因此采用心理學(xué)的常用工具進(jìn)行交叉研究具有可行性和可信度.

圖9 不同基線和夾角下所拍攝三維圖像

表2 拍攝距離1 m，基線距離6 cm，不同視角夾角下拍攝方式評價(jià)量表示例(f=8 mm)

結(jié)合圖9和表2的結(jié)果分析可知，立體圖像對視差(即模型的紅、藍(lán)兩色影像的間距)隨著視角夾角增大而逐漸增大. 根據(jù)學(xué)生的實(shí)驗(yàn)結(jié)果分析，當(dāng)視角夾角小時(shí)[9(a)]，出屏感不顯著，但是視覺舒適；當(dāng)視差增大后，如9(b)～(d)，出屏感逐步增強(qiáng)，伴隨著視覺舒適度稍有減退，是這個(gè)場景下可取的拍攝條件組合；當(dāng)視差較大時(shí)，如9(e)和(f)，出屏感極為強(qiáng)烈，人眼卻出現(xiàn)難以融像、甚至頭暈等視覺不適，表明此時(shí)視差已經(jīng)超過人眼布魯姆融像區(qū)，不適合作為三維顯示. 而表2的數(shù)據(jù)也體現(xiàn)了拍攝條件出屏感和舒適度存在相同的變化規(guī)律.

通過兩步驟的實(shí)驗(yàn)內(nèi)容設(shè)置，不僅讓學(xué)生由淺入深地掌握立體視覺產(chǎn)生的生理和心理機(jī)理，學(xué)會拍攝立體圖像對的方法，更能半定量地通過評分表的方式對比研究，探索對應(yīng)不用場景的優(yōu)化三維拍攝參量(基線、視角夾角和焦距)的組合，并能很好地與以后的實(shí)踐接軌. 此外，本實(shí)驗(yàn)的第一部分還適合單獨(dú)拆分作為演示物理實(shí)驗(yàn)，向低年級本科生講授立體視覺的內(nèi)容.

4 結(jié)束語

針對一方面3D顯示應(yīng)用和虛擬現(xiàn)實(shí)技術(shù)蓬勃發(fā)展，而另一方面與之對應(yīng)的教學(xué)內(nèi)容嚴(yán)重缺失，特別是實(shí)驗(yàn)教學(xué)處于空白的現(xiàn)狀，設(shè)計(jì)了三維拍攝與顯示實(shí)驗(yàn)，并制作了相應(yīng)的實(shí)驗(yàn)儀器. 實(shí)踐證實(shí)，該實(shí)驗(yàn)可以讓學(xué)生完成演示型和研究型的實(shí)驗(yàn)內(nèi)容，掌握立體視覺生理與心理原理，學(xué)會不同場景對應(yīng)的最佳拍攝參量組合，能與工業(yè)和商業(yè)、文化實(shí)踐良好接軌.

本自制儀器獲得全國高等學(xué)校物理實(shí)驗(yàn)教學(xué)自制儀器二等獎(jiǎng)和高等學(xué)校國家級實(shí)驗(yàn)教學(xué)示范中心十年建設(shè)成果展示一等獎(jiǎng).

[1] Bernardo A, Preul M C, Zabramski J M, et al. A three-dimensional interactive virtual dissection model to simulate transpetrous surgical avenues [J]. Neurosurgery, 2003,52(3):499-505.

[2] Henn J S, Lemole G M Jr, Ferreia M A, et al. Interactive stereoscopic virtual reality: a new tool for neurosurgical education [J]. J. Neurosurg., 2002,96(1):144-149.

[3] Smith R, Day A, Rockall T, et al. Advanced stereoscopic projection technology significantly improves novice performance of minimally invasive surgical skills [J]. Surg. Endosc., 2012,26(6):1522-1527.

[4] 腹腔鏡手術(shù)即將進(jìn)入3D時(shí)代[EB/OL]. http://www.syshospital.com/Item/3567.aspx.

[5] Wang J, Liang H, Fan H, et al. High-quality autostereoscopic display with spatial and sequential hybrid control [J]. Appl. Opt., 2013,52:8549-8553.

[6] Elliott S D, Phillip L. Inside 3D Studio Release 4 [M]. 汪亞文譯. 北京:學(xué)苑出版社,1995:328.

[7] 王式孟. 立體攝影的關(guān)鍵技術(shù)[J]. 影視技術(shù),1998(2):8-11.

[8] 王瓊?cè)A. 3D顯示技術(shù)與器件[M]. 北京：科學(xué)出版社,2011:210-214．

[9] Emoto M, Nojiri Y, Okano F. Changes in fusionalvergence limit and its hysteresis after viewing stereoscopic TV [J]. Displays, 2004,25(2):67-76.

[10] Emoto M, Niida T, Okano F. Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television [J]. Journal of Display Technology, 2005,1(2):328-340.

[責(zé)任編輯：任德香]

Experimentofstereoscopicimagecaptureanddisplay

WANG Jia-huia, LI Jiao-yanga, ZHOU Yan-guib, LIANG Hao-wenb, HUANG Zi-zhaob, CAI Zhi-ganga,b

(a. Physics Experimental Education Center; b. State Key Laboratory of Optoelectronics Materials and Technologies, School of Physics, Sun Yat-sen University, Guangzhou 510275, China)

A stereoscopic imaging and display experimental system was designed, which was suitable to physics demonstration and specialty experiment. It could let students to set up an image recording system based on binocular cameras and capture stereoscopy images by themselves. Through this experiment, students could comprehend the physical and psychological causes of stereoscopic vision, acquire the experience on optimization condition of stereoscopic image capture in different scenes.

stereoscopic vision; binocular cameras; stereoscopy display; mark sheet

2017-04-03；修改日期：2017-04-27

王嘉輝(1979-),男，廣東廣州人，中山大學(xué)物理學(xué)院實(shí)驗(yàn)師，博士，研究方向?yàn)轱@示光學(xué)、圖像處理及光電子技術(shù).

O436；TN141.9

：A

：1005-4642(2017)09-0006-06