尹業(yè)超，趙悟翔，王瓊?cè)A

(1. 四川大學 電子信息學院，四川 成都 610065； 2. 北京航空航天大學 儀器科學與光電工程學院，北京 100191)

1 引 言

與二維(2D)顯示相比，裸眼3D顯示對現(xiàn)實世界有較直觀的描述，顯示的效果更加逼真[1-4]。應(yīng)用無人機獲取裸眼3D實時場景技術(shù)提供清晰的地形地貌是當前軍事和民用領(lǐng)域研究的熱點[5-11]。目前通過實景3D建模、虛擬3D建模以及其他的傳統(tǒng)3D建模技術(shù)來實現(xiàn)高精度的重建效果需要耗費大量的人力和時間，而通過攝像機陣列拍攝視頻制作成立體播放器所需的立體視頻片源格式，可以大大減小這方面的消耗，實現(xiàn)高精度的裸眼3D實景重現(xiàn)[12-13]。平行攝像機陣列法是攝像機陣列法主要的擺放方式之一[14]。平行攝像機陣列法的各相機光軸互相平行，物平面重合，獲取的視差圖像沒有楔形失真和垂直視差。但是攝像機陣列的相機間距會影響立體顯示觀看效果，間距太小立體感會較弱甚至觀看不到立體效果，間距太大會產(chǎn)生視疲勞甚至還會超出人眼融合范圍失去立體感。為了獲得較好的立體顯示效果，針對不同被拍攝場景的距離就需要設(shè)置不同的相機間距[15-17]。然而攝像機陣列體積較為龐大，信號流遠程傳輸之間具有串擾，難以搭載在無人機之上，即使可以搭載攝相機陣列，無人機在空中飛行時調(diào)整相機間距也將變得較為困難，目前用于航拍的無人機主要搭載的都是單攝像機，這樣就制約了航拍3D場景技術(shù)的發(fā)展。

針對上面提到的單攝像機普通無人機的立體拍攝問題，本文提出一種單攝像機無人機獲取裸眼3D視頻的方法，并制作出裸眼3D顯示器的立體視頻片源。該方法在解決目前單攝像機無人機難以搭載相機陣列獲取裸眼3D視頻問題的同時，避免了平行攝相機陣列法針對不同被拍攝場景調(diào)整相機間距不便的缺陷。

2 原 理

單攝像機無人機獲取裸眼3D視頻的方法是在平行攝像機陣列法的基礎(chǔ)上，針對不同被拍攝場景的距離選取不同的計算所得相應(yīng)幀，相應(yīng)幀模擬的是平行攝相機陣列進行3D拍攝時的視差圖像，最終將多段視差視頻制作成一段多視點的裸眼3D立體視頻片源用于裸眼3D顯示器的播放。

當單攝像機無人機在空中水平飛行時，其原理結(jié)構(gòu)如圖1所示，其中D表示模擬的立體相機間距，α表示攝像機的水平視場角，L表示攝像機與被拍攝場景的距離，d表示空間坐標中的真實視差，S表示相機世界對焦平面寬度。無人機保持勻速水平飛行，其飛行速度為V，攝像機獲取視頻的幀率為f。通過無人機在空中勻速水平飛行，其不同時刻獲取的圖像可以等效看作相機陣列在同一時刻獲取的同一物體的視差圖像。根據(jù)幾何光學原理可以得到各個參數(shù)之間的關(guān)系如式(1)、式(2)所示：

(1)

d=D.

(2)

圖1 單攝像機無人機獲取視差圖像原理示意圖Fig.1 Schematic diagram of parallax image acquisition by single-camera unmanned aerial vehicle

假設(shè)視差圖像在裸眼3D顯示器上顯示時的水平寬度為H，空間坐標中的真實視差d對應(yīng)裸眼3D顯示器的水平視差值為ΔX，H和ΔX單位均為像素。則有：

(3)

圖2 拍攝視頻取幀獲取視差原理示意圖Fig.2 Schematic diagram of parallax acquisition by shooting video frame

單攝像機拍攝視頻獲取視差視頻的原理示意圖如圖2所示。無人機在空中水平勻速拍攝一段視頻，經(jīng)過完整取幀后得到視頻的所有幀。其中每相鄰兩個視差視頻起始幀數(shù)之間的差值稱為幀距，用字母p表示。為了獲取多段等視差的視頻圖像制作裸眼3D立體視頻片源，截取視頻中的第1幀到第k幀為Video-1，第p+1幀到第p+k幀為Video-2，以此類推，第p×(n-1)+1幀到第p×(n-1)+k幀為Video-n。本實驗為8視點裸眼3D顯示器提供裸眼3D視頻，因此，n取8，并按以上提取視頻幀的方法，獲取8段幀距為p的k幀視頻圖像。模擬的相機間距如下：

(4)

由式(1)～(4)可得：

(5)

對于參數(shù)確定的無人機和裸眼3D顯示器，顯然式(5)中的α、V、H、f是可以確定的。針對特定的L，根據(jù)所需的ΔX值就可以求出相應(yīng)的p值。這樣就得到了水平視差值ΔX與幀距p之間的定量關(guān)系，從而對不同拍攝距離的場景通過幀距的選取獲得較為理想的視差。

3 實 驗

為了證明提出的單攝像機無人機獲取視差視頻方法的可行性，我們制作了一臺165 cm(65 in)柱透鏡光柵裸眼3D顯示器，其主要參數(shù)如表1所示。

此外，在本實驗中采用如圖3所示的大疆御MAVIC進行圖像拍攝。其中無人機攝像機的視場角為78.8°，視場角是以成像面的對角線計算，相機成像面的長寬比為16∶9，由此計算出α=71°。已知無人機獲取視頻的幀率f=30 Hz，在無風無氣流的理想狀態(tài)下V=1 m/s，制作的裸眼3D顯示器H=3 840，根據(jù)裸眼3D顯示器的參數(shù)選取視差大小為單個像素即ΔX=1。將式(5)代入數(shù)值則有：

表1 裸眼3D顯示器的主要參數(shù)Tab.1 Main parameters of the naked-eye 3D display

(6)

因此，根據(jù)不同拍攝距離L，只需選取不同的幀距p即可獲得合適的視差圖像。

圖3 無人機Fig.3 Unmanned aerial vehicle

我們?nèi)×藘蓚€拍攝場景進行實驗，分別為場景1和場景2。如圖4(a)、(b)所示，場景1的拍攝距離約為L1=300 m，場景2的拍攝距離約為L2=90 m，其數(shù)據(jù)由百度地圖測距得到。將L1=300 m、L2=90 m代入式(6)可得p1=3.3、p2=1，實驗過程中幀距無法取小數(shù)位，故本實驗中幀距p1取整為3，按照上述提取視頻幀的方法分別對兩個場景的拍攝視頻進行截取，獲得8段視差視頻，將這8段視頻制作成裸眼3D顯示器的立體播放器所規(guī)定格式的立體視頻片源，可得場景1和場景2的立體視頻片源單幀圖像分別如圖5(a)、(b)所示。

圖4 攝像機與拍攝場景測距圖。(a) L1=300 m；(b) L2=90 m。Fig.4 Ranging diagram of camera and shooting scene. (a) L1=300 m；(b) L2=90 m.

圖5 立體視頻片源單幀圖像。(a)場景1；(b)場景2。Fig.5 Stereo video source single frame image. (a) Scene 1；(b) Scene 2.

在最佳觀看距離3.5 m處，場景1通過裸眼3D顯示器在同一時刻同一位置左右視角觀看到的圖像如圖6(a)、(b)所示，圖6(a)中兩棟建筑物后場景有部分被遮擋，圖6 (b)中可以清晰地看到兩棟建筑物后的場景，雙眼進行融合時可以看到較佳的立體顯示效果；場景2通過裸眼3D顯示器在同一時刻同一位置左右視角觀看到的圖像如圖6(c)、(d)所示，可以觀看到兩幅圖像中樹木對車輛的遮擋稀疏密度不一致，圖6(c)中最下方車輛幾乎完全被遮擋，圖6 (d)中可以看到最下方車輛的大致輪廓，同樣雙眼進行融合時可以觀看到較佳的立體顯示效果。為了驗證根據(jù)計算所得幀距p選取的相應(yīng)幀合成的視差圖像可以達到最佳的立體顯示效果，針對場景1選取了p=2，3，4，5四種情況進行了另外一組對比實驗，在裸眼3D顯示器上的顯示效果分別如圖7(a)～(d)所示。當p=2時，雖然圖像較清晰，但立體顯示效果較弱，基本觀看不到；當p=3時，圖像也較為清晰，且立體顯示效果較佳；當p=4時，視差略大，觀看一段時間會產(chǎn)生眩暈感；當p=5時，視差過大，超過人眼融合范圍失去立體感。實驗結(jié)果與理論分析相吻合，從而驗證了該方法的可行性。

圖6 立體視頻片源單幀圖像顯示效果。(a) 場景1左視圖；(b) 場景1右視圖；(c) 場景2左視圖；(d) 場景2右視圖。Fig.6 Display effect of stereo video source single frame image. (a) Left view image of scene 1；(b) Right view image of scene 1；(c) Left view image of scene 2；(d) Right view image of scene 2.

圖7 不同幀距合成視差圖像的顯示效果。(a) p=2；(b) p=3；(c) p=4；(d) p=5。Fig.7 Display effect at different frame distance composite parallax image. (a) p=2；(b) p=3；(c) p=4；(d) p=5.

4 結(jié) 論

本文提出了一種單攝像機無人機獲取裸眼3D視頻的方法，該方法在平行攝像機陣列法的基礎(chǔ)上，推導(dǎo)出拍攝距離與幀距之間的定量關(guān)系，針對兩個不同場景的拍攝距離分別計算出各自的幀距值，提取各自相應(yīng)幀制作成裸眼3D立體視頻片源，在裸眼3D顯示器播放時都能觀看到清晰逼真的裸眼3D實景重現(xiàn)，從而驗證了該方法的可行性。該方法在解決目前單攝像機無人機難以搭載相機陣列獲取裸眼3D視頻問題的同時，避免了平行攝相機陣列法針對不同被拍攝場景難以調(diào)整相機間距的缺陷，從而為普通無人機拍攝真實3D場景制作成裸眼3D立體視頻片源提供了參考。