張海彬， 余 燁， 李 琳， 劉曉平

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院VCC研究室，安徽 合肥 230009）

魚眼鏡頭是指視角范圍超過140°的鏡頭，由于其觀察范圍廣泛，利用魚眼鏡頭可以對(duì)半球空間的場(chǎng)景進(jìn)行無盲區(qū)的顯示，因而廣泛應(yīng)用于視頻監(jiān)控[1]、虛擬現(xiàn)實(shí)[2]、虛擬景觀、機(jī)器人導(dǎo)航、軍事觀察、攝影攝像、工程測(cè)量等領(lǐng)域。魚眼鏡頭是根據(jù)非相似成像原理設(shè)計(jì)的，因此在具有大視角的同時(shí)也會(huì)使成像發(fā)生畸變，導(dǎo)致對(duì)場(chǎng)景的觀看不直觀。此外，由于魚眼圖像分辨率受限，其對(duì)場(chǎng)景中具體細(xì)節(jié)部分的描述不夠充分?；谏鲜鲈?，本文以還原半球空間中的場(chǎng)景信息為目標(biāo)，在對(duì)魚眼圖像進(jìn)行校正的基礎(chǔ)上，進(jìn)行半球空間的實(shí)時(shí)漫游。

本文首先對(duì)魚眼圖像校正算法進(jìn)行了研究，在此方面國(guó)內(nèi)外研究者已經(jīng)進(jìn)行了很多研究。Zorin和 Barr[3]提出利用軸對(duì)稱映射來對(duì)曲線和歪曲的區(qū)域進(jìn)行校正的方法，校正后的圖像可以達(dá)到無失真的效果，但他們的方法局限于線性透視投影區(qū)域。傅丹等[4]提出一種基于直線的幾何不變性標(biāo)定攝像機(jī)參數(shù)，先用直線的攝影不變性糾正了魚眼畸變，然后用直線的相似不變性糾正了透視變形，從而標(biāo)定攝像機(jī)的內(nèi)部參數(shù)，此方法速度快、精度高，但是對(duì)于某些包含直線較少的場(chǎng)景，則不能夠充分地運(yùn)用直線的幾何不變性，最后得到的校正結(jié)果不能很好地滿足要求。Carroll等[5]提出一個(gè)基于網(wǎng)格的非線性優(yōu)化技術(shù)來減少直線的畸變和保留局部的形狀，其校正效果明顯。但是其校正映射和圖像邊緣對(duì)圖像的內(nèi)容和用戶指定的約束具有很強(qiáng)的依賴性，而且校正速度慢，不能滿足實(shí)時(shí)性的要求。

在高真實(shí)感的虛擬環(huán)境中進(jìn)行實(shí)時(shí)漫游一直是圖形界關(guān)注的焦點(diǎn)，其問題的關(guān)鍵在于如何有效地表達(dá)場(chǎng)景，從而在漫游階段進(jìn)行實(shí)時(shí)、高質(zhì)量的繪制[6]。由于魚眼在視頻監(jiān)控、軍事觀察等領(lǐng)域的廣泛應(yīng)用，要求能夠?qū)︳~眼圖像中感興趣的區(qū)域進(jìn)行瀏覽，這就需要對(duì)魚眼圖像進(jìn)行漫游。崔漢國(guó)等[7]用掃描線逼近的輪廓提取算法提取魚眼圖像輪廓，通過對(duì)魚眼圖像進(jìn)行重采樣來獲得實(shí)時(shí)漫游的效果。但是，在瀏覽過程中由于沒有進(jìn)行校正導(dǎo)致不能直觀的瀏覽。汪嘉業(yè)等[8]提出先對(duì)魚眼圖像進(jìn)行校正然后將所有校正后的圖像存放在一定的數(shù)據(jù)結(jié)構(gòu)中，建立球面、柱面等數(shù)據(jù)結(jié)構(gòu)中，實(shí)現(xiàn)不同的漫游方法。但由于其空間的復(fù)雜度較高，不能滿足在視頻監(jiān)控等領(lǐng)域的應(yīng)用需求。

本文通過建立魚眼鏡頭的球面映射模型，對(duì)以視點(diǎn)為中心的觀察區(qū)域進(jìn)行實(shí)時(shí)校正。在對(duì)魚眼圖像校正的基礎(chǔ)上通過構(gòu)建一個(gè)數(shù)據(jù)結(jié)構(gòu)來提高漫游的速度，該數(shù)據(jù)結(jié)構(gòu)中存儲(chǔ)的是魚眼圖像的參數(shù)信息。漫游過程的求解，即通過視點(diǎn)的連續(xù)移動(dòng)找出對(duì)應(yīng)視平面的球面坐標(biāo)與數(shù)據(jù)結(jié)構(gòu)中參數(shù)信息之間的一一對(duì)應(yīng)關(guān)系。最后對(duì)視平面進(jìn)行像素賦值，達(dá)到根據(jù)視點(diǎn)移動(dòng)漫游的效果，實(shí)驗(yàn)結(jié)果證明漫游的過程能夠滿足實(shí)時(shí)性的要求。

1 算法思想

1.1 魚眼鏡頭的投影模型

魚眼鏡頭常用的投影模型有四種：等距投影、等立體角投影、體視投影和正交投影[9]，本文中所使用的魚眼鏡頭投影模型為等距投影，如圖1所示。

圖1 魚眼鏡頭投影模型

其中，f為魚眼鏡頭的焦距，則魚眼圖像上點(diǎn)C(imagex,imagey)與其對(duì)應(yīng)的球面坐標(biāo)如式(1)所示：

1.2 基于視點(diǎn)的魚眼圖像校正

魚眼圖像包含半球空間的場(chǎng)景信息，按照透視變換原理，無法將魚眼圖像上的全部信息顯示在一張無畸變的透視圖像上。因此，本文提出一種基于視點(diǎn)糾正的魚眼圖像場(chǎng)景化漫游方法，即模擬人眼觀察的效果，以視點(diǎn)為中心進(jìn)行可觀察區(qū)域圖像的校正。如圖2所示，假設(shè)觀察視點(diǎn)在魚眼圖像上的成像點(diǎn)為C，記以C為中心的可觀察區(qū)域校正后的圖像為T，T是以C點(diǎn)在球面上的投影點(diǎn)M為中心的平面。基于視點(diǎn)的魚眼圖像校正的目標(biāo)為：給定視點(diǎn)C，計(jì)算校正后的圖像T。具體計(jì)算過程如下所述：

假設(shè)B點(diǎn)為平面T上需要進(jìn)行計(jì)算的任一像素點(diǎn)，D點(diǎn)為B點(diǎn)在魚眼圖像上的投影，且位于以視點(diǎn)C為中心的可視區(qū)域內(nèi)。則圖像校正的目標(biāo)可表述為：針對(duì)任一點(diǎn)B，獲取B點(diǎn)的對(duì)應(yīng)點(diǎn)D的圖像坐標(biāo)（D點(diǎn)為B點(diǎn)在魚眼圖像上的投影點(diǎn)），并將D點(diǎn)的像素賦給B點(diǎn)。

圖2 魚眼圖像校正模型

如圖2所示為魚眼圖像的校正模型，在校正平面T上選取點(diǎn)A使得AB⊥AM，則A點(diǎn)在視平面的中心線上，由 A點(diǎn)、M 點(diǎn)→坐標(biāo)可以得出AM的直線方程（其平行向量為n）。D、E、C分別為B、A、M點(diǎn)在魚眼圖像平面上的投影點(diǎn)，AB與底面平行，故由平行向量得T 與球面相切于 M 點(diǎn)，則有由AB⊥AM、OM ⊥AB，可得AB垂直于平面AOM，則AB⊥OA，可知由AB⊥OA、AB⊥AE得AB垂直于平面AOE，則DE垂直于平面AOE，得出DE⊥OE，可知∠ X OD = ∠ X OE + ∠ D OE。如圖3所示為底面投影示意圖，視平面的寬在底面的投影FH與球心構(gòu)成等腰三角形OFH，F(xiàn)H的中心點(diǎn)為C點(diǎn)，則∠ X OE = ∠X OC + ∠C OE， 由，可推出B點(diǎn)對(duì)應(yīng)的魚眼圖像上點(diǎn)D(x,y)，如式(2)所示：

圖3 半球底面投影表示

通過式(2)獲得了校正后平面上任一點(diǎn) B對(duì)應(yīng)的點(diǎn)D，從而對(duì)整個(gè)校正后的平面像素進(jìn)行賦值，實(shí)現(xiàn)指定區(qū)域的校正。圖4(a)為魚眼圖像，點(diǎn) C為指定的視點(diǎn)，則其對(duì)應(yīng)的校正平面如圖4(b)所示。可以看出校正的效果明顯，滿足直線特征[10]，達(dá)到了普通透視圖的效果。

圖4 魚眼圖像校正效果圖

1.3 魚眼圖像的實(shí)時(shí)漫游

基于魚眼圖像的漫游實(shí)際上是通過視點(diǎn)的連續(xù)移動(dòng)獲取不同的校正平面來達(dá)到漫游的效果，為了保證漫游的實(shí)時(shí)性，本文在對(duì)魚眼圖像校正的基礎(chǔ)上構(gòu)建一個(gè)存儲(chǔ)魚眼圖像上像素點(diǎn)球面坐標(biāo)的數(shù)據(jù)結(jié)構(gòu)。通過視點(diǎn)的連續(xù)移動(dòng)找出對(duì)應(yīng)視平面的球面坐標(biāo)與數(shù)據(jù)結(jié)構(gòu)中參數(shù)信息的一一對(duì)應(yīng)關(guān)系，最后對(duì)視平面進(jìn)行像素賦值，達(dá)到視點(diǎn)移動(dòng)過程中漫游的效果。

本文提出的基于視點(diǎn)糾正的魚眼圖像場(chǎng)景化漫游方法，通過建立視點(diǎn)的移動(dòng)模型來確定視平面的位置。如圖5所示，令視點(diǎn)對(duì)應(yīng)的視平面的方程為 A x+ B y+ C z+ D = 0，視平面在空間中的位置可以用九元組 （θ,φ ,ω,n1,n 2 ,n3 ,v1,v2 ,v3）來表示。其中，θ為視平面中心點(diǎn)入射角，φ為視平面中心點(diǎn)的方向角，ω為視平面的視場(chǎng)角（如圖6所示），（n1 ,n 2 ,n3 ）為視平面的→平行向量 （v1,v2,v3）為視平面的垂直向量V。通過入射角和方向角可以得到視平面與球面相切處的坐標(biāo) O （Ox ,O y,Oz），如式(3)所示：

圖5 魚眼圖像漫游模型

圖6 視平面對(duì)應(yīng)的視場(chǎng)角

令width為視平面的長(zhǎng)，height為視平面的寬，可以根據(jù)視場(chǎng)角ω求得，|OO'|為半O′球的半徑，如式(4)所示：

得到視平面左上角第一點(diǎn)的坐標(biāo)后，通過視平面的水平向量和垂直向量即可獲得視平面上任意一點(diǎn)的坐標(biāo)。設(shè) B點(diǎn)為視平面上的任意一點(diǎn)，其空間坐標(biāo)(B x,B y,B z)由式(6)得出，如下所示：

其中，(i,j)為B點(diǎn)在視平面上的像素坐標(biāo)，通過式(6)得到視平面任意一點(diǎn)的三維坐標(biāo)，將三維坐標(biāo)轉(zhuǎn)化為球面坐標(biāo)。通過查找與數(shù)據(jù)結(jié)構(gòu)中球面坐標(biāo)的關(guān)系，得出視平面的像素信息并進(jìn)行賦值，這就實(shí)現(xiàn)了通過視點(diǎn)的連續(xù)移動(dòng)達(dá)到漫游的效果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 魚眼圖像的校正

本文提出的一種基于視點(diǎn)糾正的魚眼圖像場(chǎng)景化漫游方法，可以實(shí)現(xiàn)對(duì)指定視點(diǎn)所在區(qū)域的校正。通過魚眼鏡頭拍攝的魚眼圖像寬度為1600，高度為1200，為了證明在魚眼圖像上不同視點(diǎn)的校正效果，本文進(jìn)行了以下的實(shí)驗(yàn)，如圖7所示為本文提出的基于視點(diǎn)的魚眼圖像漫游方法所開發(fā)的魚眼圖像校正和實(shí)時(shí)漫游軟件的界面，如圖8所示在初始的魚眼圖像中指定了A、B、C、D四個(gè)不同的視點(diǎn)。

圖7 軟件界面

圖8 指定視點(diǎn)的魚眼圖像

圖9(a～d)四幅圖對(duì)應(yīng)于在A、B、C、D四個(gè)不同的視點(diǎn)校正的效果圖，可以看出校正效果明顯，滿足直線約束標(biāo)準(zhǔn)。校正的過程在內(nèi)存為4 GB和3.4 GHz的4核PC機(jī)上運(yùn)行，通過多線程加速技術(shù)校正一張圖像需要40.2 ms。

2.2 魚眼圖像的漫游

在視頻監(jiān)控中采集的視頻幀率一般不低于25幀/秒，為了滿足實(shí)時(shí)漫游觀察效果，并保證漫游過程的順暢自然，本文采用了預(yù)處理和多線程技術(shù)來提高計(jì)算的速度，處理后漫游的速度可以達(dá)到26幀/秒。圖10為標(biāo)注視點(diǎn)移動(dòng)軌跡的魚眼圖像，A、B、C、D、E、F、G、H 為軌跡上的視點(diǎn)。

圖9 不同視點(diǎn)校正后的圖像

圖10 漫游軌跡

圖11展示了漫游過程中A、B、C、D、E、F、G、H八個(gè)視點(diǎn)處的圖像，可以看出本文漫游過程中圖像清晰，易于觀看，而且實(shí)驗(yàn)可以證明我們?cè)诼芜^程中達(dá)到了視頻播放的效果，滿足實(shí)時(shí)性的要求。

圖11 魚眼圖像的漫游

3 結(jié) 論

本文提出了一種基于視點(diǎn)糾正的魚眼圖像場(chǎng)景化漫游方法，實(shí)現(xiàn)了對(duì)指定視點(diǎn)區(qū)域的魚眼圖像的校正和實(shí)時(shí)漫游。通過獲取不同的視點(diǎn)位置得到對(duì)應(yīng)視平面的數(shù)據(jù)信息，得到不同視點(diǎn)區(qū)域校正后的圖像。與文獻(xiàn)[11]相比，本文的實(shí)驗(yàn)結(jié)果中校正的效果能夠很好地滿足直線約束，利用視點(diǎn)的連續(xù)移動(dòng)帶動(dòng)對(duì)應(yīng)視平面的移動(dòng)。通過對(duì)魚眼圖像進(jìn)行重采樣得到不同位置視平面的數(shù)據(jù)信息，實(shí)現(xiàn)場(chǎng)景化的實(shí)時(shí)漫游。實(shí)驗(yàn)表明能夠滿足實(shí)時(shí)性的要求，并且漫游過程中能夠保持圖像的清晰、高質(zhì)量。本文提出的方法能夠在視頻監(jiān)控、虛擬現(xiàn)實(shí)、軍事觀察等領(lǐng)域得到很好的應(yīng)用。

[1] Glatt T L. Video surveillance system: European Patent EP 0714081[P]. 2001-6-27.

[2] Xiong Yalin,Turkowski K. Creating image-based VR using a self-calibrating fisheye lens[C]//Computer Vision and Pattern Recognition,1997. Proceedings,1997 IEEE Computer Society Conference on,1997:237-243.

[3] Zorin D,Barr A H. Correction of geometric perceptual distortions in pictures[C]//Proceedings of the 22nd annual conference on Computer graphics and interactive techniques. ACM,1995: 257-264.

[4] 傅 丹,周 劍,邱志強(qiáng),于起峰. 基于直線的幾何不變性標(biāo)定攝像機(jī)參數(shù)[J]. 中國(guó)圖象圖形學(xué)報(bào),2009,14(6): 1058-1063.

[5] Carroll R,Agrawal M,Agarwala A. Optimizing content-preserving projections for wide-angle images[C]//ACM Transactions on Graphics (TOG).ACM,2009,28(3): 43-51.

[6] 張嚴(yán)辭,劉學(xué)慧,吳恩華. 基于圖像的實(shí)時(shí)漫游[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2003,13(1): 132-133.

[7] 崔漢國(guó),陳 軍,王大宇. 基于魚眼圖像的虛擬漫游研究[J]. 系統(tǒng)仿真學(xué)報(bào),2007,19(5): 1053-1056.

[8] 汪嘉業(yè),楊興強(qiáng),張彩明. 基于魚眼鏡頭拍攝的圖像生成漫游模型[J]. 系統(tǒng)仿真學(xué)報(bào),2001,13: 66-68

[9] Kannala J,Brandt S. A generic camera calibration method for fish-eye lenses[C]//Pattern Recognition,2004. ICPR 2004. Proceedings of the 17th International Conference on,2004,1: 10-13.

[10] Wei Jin,Li Chenfeng,Hu Shimin,Ralph R M,Tai C L. Fisheye video correction [J]. Visualization and Computer Graphics,IEEE Transactions on,2012,18(10): 1771-1783.

[11] 黃有度,蘇化明. 大視角魚眼鏡頭圖像中的漫游[J].工程圖學(xué)學(xué)報(bào),2006,27(5): 44-49.