詹總謙，王　鑫，彭　敏

(武漢大學(xué)測繪學(xué)院，湖北 武漢 430079)

The Key Measurable Algorithm Research Based on Panoramic Image of

Fish-eye Lens

ZHAN Zongqian,WANG Xin,PENG Min

?

魚眼鏡頭全景影像可測量關(guān)鍵算法研究

詹總謙，王鑫，彭敏

(武漢大學(xué)測繪學(xué)院，湖北 武漢 430079)

TheKeyMeasurableAlgorithmResearchBasedonPanoramicImageof

Fish-eyeLens

ZHANZongqian,WANGXin,PENGMin

摘要：魚眼鏡頭具有短焦距、大視場的優(yōu)點(diǎn)，在虛擬實(shí)景、視頻監(jiān)控、智能交通、機(jī)器人導(dǎo)航等領(lǐng)域得到廣泛的應(yīng)用。隨著測繪科學(xué)技術(shù)的發(fā)展，希望在廣視角圖片上有更多的信息，同時(shí)通過這些信息的獲取能夠更好地服務(wù)社會(huì)。魚眼鏡頭攝像機(jī)拍攝的影像具有非常嚴(yán)重的變形，需要通過一定的方法將其糾正。本文提出了一種基于球面模型魚眼影像畸變差修正、共線條件方程及相似三角形原理的全景影像可量測性方法,使全景圖像在測繪領(lǐng)域的應(yīng)用更加廣泛。

關(guān)鍵詞：魚眼鏡頭;全景影像;球面模型;共線方程;相似三角形;可量測性

一、引言

隨著測繪技術(shù)和社會(huì)需求的不斷發(fā)展，全景相機(jī)及其360°全景影像已經(jīng)廣泛應(yīng)用于測繪生產(chǎn)和其他社會(huì)服務(wù)中[1]。然而，目前的全景影像主要充當(dāng)虛擬場景的角色，全景影像可視化軟件通常只提供漫游和查詢等功能,而基于影像的LBS(localbasedservice)則越來越受到人們的追捧[2]。

從場景中獲取深度信息一直是機(jī)器視覺研究領(lǐng)域中最重要的問題之一[3]。地全景地圖系統(tǒng)是數(shù)字城市建設(shè)的重要組成部分, 它不僅對政府監(jiān)管部門在道路養(yǎng)護(hù)、城市管理及安保任務(wù)執(zhí)行等方面具有輔助作用，還能為社會(huì)公眾的出行提供便利[4]。

魚眼鏡頭影像的改正和可量測算法是本文主要的研究問題[5]。在魚眼鏡頭影像變形改正中，通過一種球面模型將原始影像重新經(jīng)過一個(gè)投影以重新得到一幅改正以后的圖像，這幅圖像糾正了原始圖像的橫向和縱向的各種變形。另外一個(gè)重要技術(shù)，是對改正后的影像通過相機(jī)中心、像方點(diǎn)、物方點(diǎn)三點(diǎn)共線的共線方程及相似三角形的方法提出一種簡單的、有效的測量方法。

二、 魚眼圖像改正

1. 球面模型原理及方法

球面模型的成像方式簡單且校正起來比較容易。本文采用球面模型來改正魚眼鏡頭影像的變形[6]。如圖1所示，OZ為魚眼鏡頭的主光軸，XOY面是成像平面， f是焦距，O(0,0,0)為坐標(biāo)原點(diǎn)，也是相機(jī)中心所處的位置，M(x,y,z)為空間一點(diǎn)。連接OM交球面于P，過P點(diǎn)作OZ的平行線交XOY面于點(diǎn)Q(x,y)，點(diǎn)Q即為空間點(diǎn)M(x,y,z)的球面投影，圖中平面是切于鏡頭的一個(gè)平面，OM與其交于P′(x′,y′)，O′(x′,y′)是切平面與主光軸OZ的交點(diǎn)。

圖1　糾正模型

在原始影像平面內(nèi)，以圖像中心為原點(diǎn)，Q點(diǎn)坐標(biāo)為(x,y)，則Q到圖像中心的距離為

(1)

β=r/f

(2)

R=tanβ×f

(3)

P′在投影切平面以O(shè)′為中心的坐標(biāo)值為

(4)

式中，β為O′OP對應(yīng)的弧度；Q點(diǎn)對應(yīng)在投影切平面上P′點(diǎn)到圖片中心距離R。由以上4個(gè)公式可以推出由原始影像經(jīng)投影后，投影影像的高和寬分別為H、W。

根據(jù)以上原理，也可以通過已知投影切平面上一點(diǎn)P′(x′,y′)的坐標(biāo)反算出該點(diǎn)對應(yīng)于原始影像上某一點(diǎn)的坐標(biāo)Q(x,y)，以下是解算公式

(5)

式中，α為在投影切平面內(nèi)P′點(diǎn)跟OX′軸的夾角；S為P′點(diǎn)到圖像中心O′的距離；κ為O′OP對應(yīng)的弧度；L為在圖像原始平面內(nèi)P′對應(yīng)點(diǎn)Q到圖像中心的距離；x、y為對應(yīng)的橫縱坐標(biāo)值。

2. 試驗(yàn)結(jié)果

圖2和圖3分別為原始影像和經(jīng)過畸變糾正后的影像對比。

圖2　原始影像

圖3　糾正后影像

本次試驗(yàn)使用的數(shù)據(jù)是全景相機(jī)ladybug3所采集的數(shù)據(jù)，ladybug3相機(jī)采用的就是魚眼鏡頭，其焦距為3.3mm，像元大小為4.4×10-6m，拍攝時(shí)相機(jī)中心距地面的距離為1.205m。經(jīng)過重采樣[7]，通過對圖2與圖3對比試驗(yàn)發(fā)現(xiàn)通過球面模型方法能很好地改正魚眼鏡頭帶來的變形。

三、 全景影像可測量關(guān)鍵算法

1. 全景可測量算法

在全景測量中，根據(jù)在物方點(diǎn)、像點(diǎn)、相機(jī)中心在成像空間的特點(diǎn)——三點(diǎn)共線[8-9]，提出一種簡單的相似三角形方法來解決全景測量技術(shù)問題。在全景測量中一共可以分為三種直線的距離測量，分別是：①地面任意兩點(diǎn)之間距離測量；②過地面某點(diǎn)豎直直線距離量測；③在某一豎直面內(nèi)非豎直線距離量測。不同的直線類型所用到的測量方法有所不同，但是基本思想都是攝影測量共線方程和三角形相似的原理。

2. 地面任意兩點(diǎn)之間距離量測

地面任意兩點(diǎn)之間的距離量測，根據(jù)圖4提出一種更簡單實(shí)用的方法。

圖4　地面量測

在圖4中，半圓代表魚眼鏡頭；S為投影切平面；S′為地面；A、B分別是圖像上的兩點(diǎn)；O′為投影切平面的中心點(diǎn)；A′、B′則是在地面上對應(yīng)的兩個(gè)物方點(diǎn)；L1、L2分別是過兩物方點(diǎn)做沿相片橫向方向的垂直線。AO′的距離可以根據(jù)投影A點(diǎn)在投影切平面的縱坐標(biāo)位置y以及投影后影像高H來確定，公式如下

O′A=|y-H/2|×d

(6)

(7)

由于P為S平面與直線P′A′的交點(diǎn)，所以P′P=f，OP=h(h為相機(jī)中心高)。由以上已知條件可以換算出

L1=f×h/|yA×d-H/2×d|

(8)

L2=f×h/|yB×d-H/2×d|

(9)

(10)

利用相似三角形，令A(yù)、B在投影切平面內(nèi)沿橫向方向到中心距離為m1、m2，令A(yù)′、B′在沿著相片橫向方向上到D的值為M1、M2

(11)

(12)

因此

由A′M和B′M可以得到地面任意兩點(diǎn)之間的距離

(13)

3. 豎直直線之間兩點(diǎn)之間的距離

在過地面某一點(diǎn)與地面垂直的一條直線的距離也是可以直接量測的。這種直線的特點(diǎn)是與地面必須有一個(gè)交點(diǎn)且這個(gè)交點(diǎn)作為直線的一個(gè)端點(diǎn)，如圖5所示。

圖5　豎直量測

在圖5中，O′M是與地面平行且垂直于A′B′的直線；A′、B′則是在地面上對應(yīng)的兩個(gè)物方點(diǎn)；L1是過物方點(diǎn)A′做沿相片橫向方向的垂直線，因此利用式(8)即能求出L1的距離，定義L1為物方點(diǎn)A′到投影切平面的縱深距離，由于物方點(diǎn)B′與A′的連線與地面相互垂直，因此從圖2、圖3可以得出，B′到投影切平面的縱深距離也是L1。由相似三角形原理

(14)

由式(8)中L1的距離公式可以推出

因此其豎直距離為

(15)

4. 在某一豎直面內(nèi)非豎直線距離量測

任意豎直平面內(nèi)斜直線的距離量測是相對于其他方法來說最復(fù)雜的一種，從上述兩種直線的距離求解中不難發(fā)現(xiàn)，求解距離的關(guān)鍵在于到投影切平面縱深距離的確定，如果兩物方點(diǎn)的縱深距離確定了，確定直線的距離根據(jù)相似三角形原理以及歐氏距離公式即可求解。如圖6所示。

圖6　任意非豎直直線量測

圖6中，S″是某任意與地面垂直的豎直平面；A′、B′是豎直平面內(nèi)任意某兩點(diǎn)；L1、L2分別是過兩物方點(diǎn)做沿相片橫向方向的垂直線；L為豎直平面與地面的交線，過物方兩點(diǎn)分別作L的垂線交于a、b兩點(diǎn)，過b點(diǎn)作L1的直線垂線交于n點(diǎn)。

從圖6中無法直接求出兩物方點(diǎn)到投影切平面的縱深距離，但是不難發(fā)現(xiàn)，A′、B′到投影切平面的距離等于a、b兩點(diǎn)到投影切平面的距離L1、L2，根據(jù)式(8)可知，即是要求得a、b對應(yīng)的縱坐標(biāo)。

本文提出一種網(wǎng)格法：①在原始影像上確定S"與地面的相交線。首先在原始圖像上選取過這條相交線的兩個(gè)點(diǎn)，然后根據(jù)式(1)—式(4)求出在投影切平面的坐標(biāo)以得出在地面的距離，即可求出這條相交線即L與投影切平面橫向的夾角，再在這兩點(diǎn)以某段距離分別向兩端作n次延伸，這時(shí)就有2n+2個(gè)地面點(diǎn)，根據(jù)式(6)—式(12)反算出在投影切平面的坐標(biāo)，根據(jù)式(5)反算出在原始圖像的坐標(biāo)，將這些點(diǎn)連起來就是一條線，在原始圖片上應(yīng)該是沿著這條交線的曲線。②過這2n+2個(gè)點(diǎn)作地面垂線，然后以某段距離作n次延伸，同步驟①，根據(jù)式(14)和式(15)確定這2n+2個(gè)點(diǎn)的縱坐標(biāo)，然后把這2n+2個(gè)點(diǎn)相連，在原始圖像上就有一個(gè)代表S"面的網(wǎng)格出現(xiàn)。③獲取S′面(地面)的網(wǎng)格。原理同步驟②，在確定完2n+2個(gè)點(diǎn)后，每個(gè)點(diǎn)對應(yīng)著一個(gè)到投影切平面的縱深L，只要再沿著這個(gè)縱深方向取某一個(gè)長度的距離選點(diǎn)，根據(jù)式(1)—式(4)就能反算出這些點(diǎn)在投影切平面的坐標(biāo)，然后再利用式(5)反算出在原始圖片上的坐標(biāo)，最后，將這些點(diǎn)連接，即形成一個(gè)代表著地面的網(wǎng)格。

(16)

四、測量結(jié)果及分析

1. 試驗(yàn)量測結(jié)果

(1) 地面距離量測

如圖7所示，圖(a)中的2.960 038是斑馬線的準(zhǔn)確距離，圖(b)、圖(c)是量測結(jié)果，圖(b)量測的斑馬線就是圖(a)中的斑馬線，而圖(c)中的斑馬線是與圖(a)中平行的一條斑馬線。

(2) 垂直距離量測

圖7　地面量測結(jié)果對比

圖8　垂直量測結(jié)果對比

在圖8中，圖(a)中的7.941 086是電線桿的準(zhǔn)確值，圖(b)、圖(c)是測量結(jié)果，這兩幅圖從不同的地方出發(fā)量測電線桿的高度，圖(b)和圖(c)的測量結(jié)果相差了近10cm左右，由于在圖(b)中是從電線桿臺階下面的路面開始測量，而在圖(c)中測量則是在臺階上從路燈的底部就開始測量，這兩個(gè)測量值之間實(shí)際上相差一個(gè)臺階的高度，從這個(gè)測量結(jié)果可以得出，臺階大概的高度為10cm左右。

(3) 某豎直面內(nèi)非豎直直線量測

圖9　非豎直直線量測

2. 試驗(yàn)量測結(jié)果分析

在上述3種直線的量測試驗(yàn)過程中，其試驗(yàn)結(jié)果說明通過本文使用的測量方法，測量誤差在10%以內(nèi)，在地面直線、垂直于地面的豎直直線及任意豎直平面內(nèi)任意直線的量測結(jié)果都具有一定的可靠性。

五、結(jié)束語

在本次試驗(yàn)中，首次嘗試?yán)敏~眼鏡頭拍攝的影像資料進(jìn)行一定精度的近景量測，解決了魚眼鏡頭變形改正及近景量測兩個(gè)難題。在解決魚眼鏡頭

變形問題中，利用球面投影的方法，將原始影像上的信息經(jīng)過一個(gè)以焦距f為半徑的球面投影可以較好地改正魚眼鏡頭的變形。在距離量測部分，首先利用攝影測量中的共線方程證明了全景可測量性，然后根據(jù)相機(jī)中心、像點(diǎn)、物方點(diǎn)三點(diǎn)共線的關(guān)系及相似三角形的原理用簡單易懂的方法得到直線的量測方法，使得全景圖像在測繪地理信息系統(tǒng)領(lǐng)域的應(yīng)用更加廣泛。

參考文獻(xiàn)：

[1]向澤君，羅再謙，李波.基于連續(xù)全景影像航向與俯仰角速度的計(jì)算與應(yīng)用[J].測繪通報(bào)，2012(9):48-54.

[2]徐辛超，徐愛功，蘇麗娟.基于影像服務(wù)的LBS應(yīng)用研究[J].測繪通報(bào)，2012(1)：29-32.

[3]陸斌，劉波.動(dòng)態(tài)全景圖像在模擬跟蹤測量中的應(yīng)用[J].微處理機(jī)，2006(1):60-62.

[4]伍春紅，游福成，楊揚(yáng).一種基于3維全景圖像技術(shù)的深度測量方法[J].中國圖象圖形學(xué)報(bào)，2006，11(4):563-569.

[5]WANGXF,FENGWJ,LIUQJ，etal.CalibrationResearchonFish-eyeLens[C]∥IEEEInternationalConferenceonInformationandAutomation.Harbin：IEEEComputerSociety,2010.

[6]英向話，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計(jì)算機(jī)學(xué)報(bào)，2003,26(12):1702-1708.

[7]郝麗，孔祥維 .數(shù)字圖像重采樣檢測研究[D].大連：大連理工大學(xué)，2010.

[8]王佩軍，徐亞明.攝影測量學(xué)[M].武漢：武漢大學(xué)出版社，2010.

[9]馮文灝.近景攝影測量[M]. 武漢：武漢大學(xué)出版社，2002.

引文格式： 詹總謙，王鑫，彭敏. 魚眼鏡頭全景影像可測量關(guān)鍵算法研究[J].測繪通報(bào)，2015(1)：70-74.DOI:10.13474/j.cnki.11-2246.2015.0014

作者簡介：詹總謙(1978—)，男，副教授，研究方向?yàn)閿?shù)字?jǐn)z影測量與計(jì)算機(jī)視覺。E-mail：543147143@qq.com

基金項(xiàng)目：國家自然基金(41101418；41071292)；國家科技支撐計(jì)劃(2012BAJ23B03)

收稿日期：2013-12-30

中圖分類號：P23

文獻(xiàn)標(biāo)識碼：B

文章編號：0494-0911(2015)01-0070-05