朱寧寧，楊必勝，陳 馳，董 震

武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079

全景圖像能夠反映攝影位置360°球型范圍內(nèi)的所有景致，在無(wú)人駕駛、街景地圖和虛擬現(xiàn)實(shí)(VR)等領(lǐng)域有廣泛的應(yīng)用[1-5]。將全景相機(jī)中不同方向鏡頭采集的普通或魚眼圖像進(jìn)行投影變換，如球面投影、柱面投影，通過(guò)拼接可獲取全景圖像[6-11]。全景圖像的位置和姿態(tài)參數(shù)是后期目標(biāo)定位、場(chǎng)景重建等工作的前提，因此，準(zhǔn)確、穩(wěn)健地獲取全景圖像的位姿參數(shù)是一項(xiàng)基礎(chǔ)且關(guān)鍵的工作[12-13]。

文獻(xiàn)[14]研究了基于車載全景相機(jī)的影像自動(dòng)匹配和光束法區(qū)域網(wǎng)平差，對(duì)全景相機(jī)所能達(dá)到的定位精度做了詳細(xì)的分析；文獻(xiàn)[15]對(duì)廣泛使用的5點(diǎn)法相對(duì)定向算法[16]進(jìn)行改進(jìn)，使其適用于球面全景影像，并提出一種適合球面全景成像特點(diǎn)的相對(duì)定向計(jì)算流程，試驗(yàn)表明相對(duì)定向解算的姿態(tài)和平移參數(shù)能夠達(dá)到較高的精度；文獻(xiàn)[17]根據(jù)多鏡頭組合型全景相機(jī)的嚴(yán)格成像機(jī)理，分析了廣泛采用的全景理想成像模型系統(tǒng)誤差的來(lái)源，推導(dǎo)出誤差分布規(guī)律，并深入比較了嚴(yán)格成像模型和理想成像模型之間的差異；文獻(xiàn)[18]指出多鏡頭圖像變換拼接全景圖像會(huì)破壞成像中的共線條件，使拼接后的全景圖像難以精確進(jìn)行攝影測(cè)量中的三維重建等工作，并通過(guò)仿真試驗(yàn)詳細(xì)分析了姿態(tài)誤差和位置誤差對(duì)柱面全景成像的影響。

在影像位姿參數(shù)的解算中，線特征具有很好的優(yōu)化作用[19-24]。文獻(xiàn)[19]通過(guò)提取建筑物邊緣的直線特征作為配準(zhǔn)基元，利用LiDAR點(diǎn)云空間中的線特征替代傳統(tǒng)配準(zhǔn)模型中的點(diǎn)特征，實(shí)現(xiàn)高分辨率航空影像與機(jī)載激光雷達(dá)的一步配準(zhǔn)；文獻(xiàn)[20]利用高精度的規(guī)則化道路矢量線，解算新的影像外方位元素，實(shí)現(xiàn)機(jī)載激光雷達(dá)數(shù)據(jù)和高分辨率航空影像自動(dòng)配準(zhǔn)；文獻(xiàn)[21]通過(guò)提取建筑物頂面的線特征，實(shí)現(xiàn)了無(wú)人機(jī)影像與激光點(diǎn)云的粗配準(zhǔn)，削弱現(xiàn)有配準(zhǔn)方法對(duì)慣導(dǎo)系統(tǒng)輸出值的依賴；文獻(xiàn)[22]利用從全景圖像和激光點(diǎn)云中提取的天際線特征，通過(guò)迭代優(yōu)化的方式實(shí)現(xiàn)天際線的最優(yōu)匹配，從而獲取全景圖像精確的位姿參數(shù)，但并未給出基于線特征的全景圖像位姿解算模型。

綜上所述，目前線特征在航空影像的位姿解算中得到了較為廣泛的應(yīng)用，但全景圖像的位姿解算仍多基于點(diǎn)特征，而真實(shí)場(chǎng)景中普遍存在的線特征尚未得到充分利用，如建筑物輪廓、桿狀地物等，且缺少點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型。因此，本文提出一種點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，其中，點(diǎn)特征可直接計(jì)算位置和姿態(tài)參數(shù)，線特征可對(duì)姿態(tài)參數(shù)進(jìn)行約束，將點(diǎn)-線特征結(jié)合有利于提高全景圖像位姿解算的精度和穩(wěn)健性。本文方法流程如圖1所示。

圖1 本文方法流程

1 點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型

本節(jié)首先論述基于點(diǎn)特征的全景圖像位姿解算模型(簡(jiǎn)稱“點(diǎn)模型”)；其次，研究基于線特征的全景圖像位姿解算模型(簡(jiǎn)稱“線模型”)；然后，構(gòu)建點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型(簡(jiǎn)稱“聯(lián)合模型”)，并針對(duì)水平線和垂直線這兩類特殊的線特征，獲取簡(jiǎn)化后的聯(lián)合模型；最后，給出聯(lián)合模型的精度評(píng)價(jià)指標(biāo)。

1.1 點(diǎn)模型

根據(jù)幾何成像模型的不同，全景圖像可分為球面全景圖像、柱面全景圖像和立方體全景圖像等，目前最常用的是球面全景圖像，如圖2所示，球面模型分別以豎直角(v)和水平角(h)表示全景圖像的行和列坐標(biāo)，屬于等角投影成像。

圖2 全景圖像的位置和姿態(tài)參數(shù)

球面全景圖像的成像模型如式(1)所示[25]

(1)

式中，r、c為地物點(diǎn)p(x,y,z)在全景圖像上的行和列坐標(biāo)；R為全景圖像的成像姿態(tài)矩陣，由姿態(tài)參數(shù)(ex,ey,ez)構(gòu)成；(XS,YS,ZS)為全景圖像的成像位置；D為弧度和像素之間的轉(zhuǎn)換參數(shù)，單位為像素/rad。式(1)中

(1)對(duì)式(1)適當(dāng)變換可得到點(diǎn)模型，如式(2)所示

(2)

式中，v、h為地物點(diǎn)(x,y,z)在全景圖像上的俯仰角和水平角。其中，v=r/D，h=c/D。

(2)在點(diǎn)模型中，令r′=tanh，c′=tanv/cosh，則式(2)可表示為

(3)

(3)使用直接線性變換(DLT)方法解算式(3)中的姿態(tài)矩陣R和位置參數(shù)(XS,YS,ZS)，如式(4)所示

(4)

式中，li(i=1,2,…,11)是內(nèi)外方位元素的表達(dá)式。li、r1、r2、r3的計(jì)算公式為

則點(diǎn)模型可表示為

G2p×11·X11×1=W2p×1

(5)

式中，G、X、W的計(jì)算公式如下

點(diǎn)模型中的待求解矩陣X包含11個(gè)參數(shù)(l1,l2,…,l11)，因此至少需要6對(duì)同名特征點(diǎn)(p≥6)進(jìn)行解算。在計(jì)算出X后，由式(6)求解姿態(tài)矩陣R和位置參數(shù)(XS,YS,ZS)

(6)

式中，γ2、Rv的計(jì)算公式如下

1.2 線模型

線模型是使用同名特征線求解成像參數(shù)，由于三維空間中直線上的任意兩點(diǎn)p1(x1,y1,z1)、p2(x2,y2,z2)與全景圖像中對(duì)應(yīng)直(曲)線上的任意兩點(diǎn)pm(rm,cm)、pn(rn,cn)滿足共面條件，線模型不要求點(diǎn)對(duì)滿足對(duì)應(yīng)關(guān)系。三維空間中直線上任意兩點(diǎn)p1、p2和成像位置(XS,YS,ZS)的共面方程可表示為

(7)

(1)對(duì)式(3)進(jìn)行變換可得

(8)

(9)

式中，Δx、Δy、Δz的計(jì)算公式如下

(3)將式(9)展開(kāi)計(jì)算可得

[Δck-Δr]·Rv·[ΔxΔyΔz]T=0

(10)

式中，Δr、Δc、k的計(jì)算公式如下

則線模型可表示為

Qt×11·X11×1=Ut×1

(11)

式中，Q、U的計(jì)算公式如下

式(11)為t條線組成的線模型，該模型為奇次方程，無(wú)法單獨(dú)求解，必須結(jié)合點(diǎn)模型進(jìn)行解算；此外，該模型中l(wèi)4和l8的系數(shù)為0，其余未知參數(shù)的系數(shù)不為0，表明線特征主要用于約束姿態(tài)參數(shù)。

1.3 聯(lián)合模型

綜合點(diǎn)特征和線特征的全景圖像位姿解算模型，可得點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型，如式(12)所示

(12)

式(12)為p對(duì)同名點(diǎn)和t對(duì)同名線組成的聯(lián)合模型，點(diǎn)模型為非齊次方程，線模型為齊次方程，兩者結(jié)合的點(diǎn)-線聯(lián)合模型為非齊次方程。在聯(lián)合模型的求解中，要求2p+t≥11，為保證有非零解，p≥1。在平差求解出X后，可由式(6)計(jì)算姿態(tài)矩陣R和位置參數(shù)(XS,YS,ZS)。

入院后當(dāng)日或次日清晨采集空腹血標(biāo)本，采用自動(dòng)生化分析儀測(cè)定空腹血糖、甘油三酯(TG)、總膽固醇(TC)和高密度脂蛋白膽固醇(HDL-C)水平。酶聯(lián)免疫吸附試驗(yàn)測(cè)定脂蛋白(a)[Lp(a)]水平。用標(biāo)準(zhǔn)方法直接測(cè)定低密度脂蛋白膽固醇(LDL-C)水平。

針對(duì)垂直線特征，即Δx=Δy=0，聯(lián)合模型可簡(jiǎn)化為

(13)

針對(duì)水平線特征，即Δz=0，聯(lián)合模型可簡(jiǎn)化為

(14)

式中，vi表示水平線的斜率，計(jì)算公式如下

vi=Δyi/Δxi

在垂直線簡(jiǎn)化的聯(lián)合模型中，線特征僅Δr、Δc和k未知，3個(gè)變量只與全景圖像的坐標(biāo)相關(guān)，與三維場(chǎng)景坐標(biāo)無(wú)關(guān)，因此在實(shí)際應(yīng)用中具有極大的實(shí)用性。

1.4 聯(lián)合模型的精度評(píng)價(jià)

由全景圖像的姿態(tài)矩陣R可計(jì)算(ex,ey,ez)，此時(shí)位姿參數(shù)均已得到。但應(yīng)指出，DLT解算方法本身的缺陷會(huì)對(duì)位姿參數(shù)求解的精度產(chǎn)生影響，理論上6個(gè)未知參數(shù)(ex,ey,ez,XS,YS,ZS)至少需要3對(duì)控制點(diǎn)求解，但本文中使用的DLT解法至少需要6對(duì)控制點(diǎn)解算，或者同時(shí)滿足2p+t≥11&p≥1。此外，使用檢查點(diǎn)對(duì)聯(lián)合模型的精度進(jìn)行評(píng)價(jià)，在解算出X后無(wú)須計(jì)算(ex,ey,ez)和(XS,YS,ZS)，可將其直接代入式(4)中計(jì)算(r′,c′)，并由式(15)獲取檢查點(diǎn)在全景圖像中的俯仰角和水平角(v′,h′)

(15)

使用式(16)計(jì)算各個(gè)檢查點(diǎn)的模型誤差(δi)和模型求解中誤差(δ)，δ為聯(lián)合模型的精度評(píng)價(jià)指標(biāo)

(16)

2 聯(lián)合模型的仿真分析

使用仿真數(shù)據(jù)檢驗(yàn)聯(lián)合模型的適用性和容差性。首先，仿真道路場(chǎng)景點(diǎn)云，由此可獲取不同位姿參數(shù)下的虛擬全景圖像；然后，從特征點(diǎn)和線的不同組合方式以及大姿態(tài)角兩方面分析聯(lián)合模型的適用性；最后，通過(guò)人工引入不同類型與量級(jí)的點(diǎn)-線誤差分析該模型的容差性。

2.1 仿真道路場(chǎng)景

仿真的道路場(chǎng)景以路面中軸線為基準(zhǔn)，分別生成道路、路邊護(hù)欄、道旁樹(shù)和建筑物4種地物的點(diǎn)云，約300萬(wàn)點(diǎn)，為了易于分析，將建筑物和道路等面狀地物使用格網(wǎng)表達(dá)[26-29]。如圖3所示，路面長(zhǎng)度和寬度分別為900和24 m，以路面作為高程基準(zhǔn)，護(hù)欄高度為2 m，樹(shù)木高度位于8～12 m，建筑物高度位于20～50 m，將各條線的交點(diǎn)作為控制點(diǎn)或檢查點(diǎn)，如建筑物角點(diǎn)、路面格網(wǎng)交點(diǎn)等。圖3(a)、(b)分別從不同視角展示了仿真點(diǎn)云，圖3(c)為該場(chǎng)景下生成的虛擬全景圖像(2000×4000像素，D=2000/π像素/rad，下同)，成像位置在道路中間距路面3 m高度處，其中的黑色方塊表示特征點(diǎn)，場(chǎng)景中共有1608個(gè)特征點(diǎn)，任意兩個(gè)特征點(diǎn)構(gòu)成特征線。

圖3 仿真道路場(chǎng)景

2.2 聯(lián)合模型的適用性分析

(1)特征點(diǎn)和線的組合方式分析。聯(lián)合模型要求特征點(diǎn)和線的組合必須滿足兩個(gè)條件：2p+t≥11和p≥1，在特征點(diǎn)和線最少條件下檢驗(yàn)該模型的適用性，分別試驗(yàn)2點(diǎn)+7線、3點(diǎn)+5線、4點(diǎn)+3線和5點(diǎn)+1線這4種組合方式，由于特征點(diǎn)的數(shù)量均小于6個(gè)，點(diǎn)模型無(wú)法使用(p≥6)。將全景成像的姿態(tài)參數(shù)(ex,ey,ez)設(shè)為(1.0°,-2.0°,3.0°)，位置參數(shù)(XS,YS,ZS)設(shè)為(300.0 m, 400.0 m, 3.0 m)。場(chǎng)景中共有1600多個(gè)特征點(diǎn)，選取與成像位置平面距離小于100 m的特征點(diǎn)共136個(gè)，再?gòu)闹须S機(jī)選取特征點(diǎn)分別構(gòu)建4種特征點(diǎn)和線的組合，特征線由隨機(jī)選取的兩個(gè)特征點(diǎn)組成，為避免偶然誤差，每種組合進(jìn)行10次試驗(yàn)，取平均誤差作為最終精度評(píng)價(jià)指標(biāo)。圖4(a)—(d)分別展示了4種組合下特征點(diǎn)和線的分布，紅色數(shù)字與對(duì)應(yīng)的紅色方塊為選取的特征點(diǎn)(圖4(a)中1～2)；黑色數(shù)字與對(duì)應(yīng)的黑色連線為特征線(圖4(a)中1～7)。使用136個(gè)特征點(diǎn)進(jìn)行模型精度評(píng)價(jià)，經(jīng)過(guò)10次試驗(yàn)取平均值的方式，結(jié)果表明4種組合下模型誤差均為0像素，由此證明聯(lián)合模型在不同特征點(diǎn)和線組合情況下的適用性，同時(shí)也表明聯(lián)合模型可用于點(diǎn)特征缺失場(chǎng)景中全景圖像位姿參數(shù)的解算。

圖4 特征點(diǎn)和線的不同組合方式

(2)大姿態(tài)角分析。使用2點(diǎn)+7線的組合方式，檢驗(yàn)聯(lián)合模型在大姿態(tài)角情況下的適用性。如圖5(a)—(d)所示，分別試驗(yàn)(a)ex=30°,ey=0°,ez=0°；(b)ex=0°,ey=30°,ez=0°；(c)ex=0°,ey=0°,ez=30°；(d)ex=30°,ey=30°,ez=30°這4種大姿態(tài)角情況，由于僅選取2個(gè)特征點(diǎn)，無(wú)法使用點(diǎn)模型進(jìn)行求解。將全景成像的位置參數(shù)(XS,YS,ZS)均設(shè)為(300.0 m, 400.0 m, 3.0 m)，特征點(diǎn)和特征線的選擇方法跟上文一致，且每種情況仍隨機(jī)進(jìn)行10次試驗(yàn)，取平均誤差作為評(píng)價(jià)指標(biāo)。使用136個(gè)特征點(diǎn)進(jìn)行模型精度評(píng)價(jià)，結(jié)果表明4種大姿態(tài)角情況下聯(lián)合模型誤差均為0像素，由此證明了聯(lián)合模型在大姿態(tài)角情況下的適用性。

圖5 不同情況的大姿態(tài)角分析

2.3 聯(lián)合模型的容差性分析

表1 垂直線輔助的聯(lián)合模型精度與可靠性分析

圖6 全景圖像坐標(biāo)誤差分析

圖7 三維場(chǎng)景坐標(biāo)誤差分析

由表1、圖6和圖7可得出以下6條結(jié)論：

(4)不同量級(jí)(0.5～5.0像素)的一類誤差試驗(yàn)表明，兩條垂直線效果優(yōu)于1條垂直線，3條垂直線效果與兩條垂直線相似，不同數(shù)量垂直線的加入均優(yōu)化了解算結(jié)果。

(6)綜上可知，無(wú)論是一類誤差還是二類誤差，無(wú)論是多控制點(diǎn)、均控制點(diǎn)還是少控制點(diǎn)，每種情況10 000次試驗(yàn)的結(jié)果表明，理論上聯(lián)合模型在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點(diǎn)模型。

3 點(diǎn)-線特征聯(lián)合全景圖像位姿解算方法的應(yīng)用

點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法可應(yīng)用于全景圖像與激光點(diǎn)云的融合，使用真實(shí)場(chǎng)景的車載激光點(diǎn)云和兩幅全景圖像進(jìn)行試驗(yàn)，同時(shí)驗(yàn)證點(diǎn)-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點(diǎn)特征解算方法[31]。圖8展示了真實(shí)場(chǎng)景的激光點(diǎn)云，約1800萬(wàn)點(diǎn)，包含建筑物、路燈和道旁樹(shù)等地物，道路長(zhǎng)度約為500 m，場(chǎng)景中的建筑物輪廓、燈桿等可提供垂直線信息。圖9為該場(chǎng)景中采集的兩幅全景圖像(4096×8192像素)，分別為全景圖像Ⅰ和Ⅱ，兩幅全景圖像中各選取了兩條垂直線。

圖8 真實(shí)場(chǎng)景的激光點(diǎn)云

圖9 真實(shí)場(chǎng)景的全景圖像及其垂直線信息

從激光點(diǎn)云和全景圖像中手動(dòng)選取同名特征點(diǎn)，全景圖像Ⅰ和Ⅱ中各選取了20對(duì)同名點(diǎn)，此外分別從兩幅全景圖像中選取兩條垂直線。在聯(lián)合模型中，無(wú)須從激光點(diǎn)云中選取垂直線上的特征點(diǎn)，僅從全景圖像中選取垂直線上、下兩端點(diǎn)的圖像坐標(biāo)。為避免點(diǎn)位分布的影響，從20對(duì)特征點(diǎn)中隨機(jī)選取p=6、10對(duì)點(diǎn)，分別進(jìn)行500次有垂直線(δa)和無(wú)垂直線(δb)的試驗(yàn)，每次試驗(yàn)均使用20對(duì)特征點(diǎn)進(jìn)行精度評(píng)價(jià)。將500次試驗(yàn)的結(jié)果劃分為4個(gè)等級(jí)，即強(qiáng)優(yōu)化(δa?δb)、弱優(yōu)化(δa<δb)、弱退化(δa>δb)和強(qiáng)退化(δa?δb)，在此以|δa-δb|>5像素作為強(qiáng)弱區(qū)分指標(biāo)。

如表2所示，在均控制點(diǎn)情況下(p=6)，兩條垂直線的加入可以極大地優(yōu)化點(diǎn)特征解算方法，兩幅全景圖像的優(yōu)化率均在90%左右，且強(qiáng)優(yōu)化率在70%左右，遠(yuǎn)遠(yuǎn)大于弱優(yōu)化率的20%左右；在多控制點(diǎn)情況下(p=10)，兩幅全景圖像的優(yōu)化率均在75%左右，且弱優(yōu)化率大于強(qiáng)優(yōu)化率，表明在控制點(diǎn)較多的情況下，垂直線的加入仍然可以優(yōu)化融合效果，但不如控制點(diǎn)較少的情況下明顯。試驗(yàn)中出現(xiàn)的少量弱退化和極少數(shù)強(qiáng)退化的原因，首先是全景圖像與激光點(diǎn)云的融合精度跟特征點(diǎn)的空間分布有關(guān)，當(dāng)隨機(jī)選擇的特征點(diǎn)過(guò)于集中，會(huì)導(dǎo)致融合出現(xiàn)較大偏差，即使附加垂直線也不能達(dá)到優(yōu)化效果；其次，全景圖像本身存在拼接誤差，特征點(diǎn)的選取若位于拼接誤差較大的區(qū)域也會(huì)影響融合結(jié)果，導(dǎo)致垂直線特征輔助作用的削弱。圖10展示了使用點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，實(shí)現(xiàn)全景圖像與激光點(diǎn)云融合的局部效果，圖中的黑色點(diǎn)為激光點(diǎn)云。

圖10 全景圖像(局部)與激光點(diǎn)云的融合

表2 點(diǎn)-線特征聯(lián)合全景圖像位姿解算方法的應(yīng)用分析

4 結(jié) 論

本文提出了一種點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，通過(guò)仿真道路場(chǎng)景證明了該方法具有優(yōu)異的適用性和容差性，將該模型應(yīng)用于全景圖像與激光點(diǎn)云的融合，從理論和實(shí)踐兩方面證明了點(diǎn)-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點(diǎn)特征解算方法。本文的結(jié)論如下：①點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法中，使用線上的任意兩點(diǎn)表示線特征，且不要求選點(diǎn)具有對(duì)應(yīng)關(guān)系，因此易于選取，具有較高的實(shí)用性；②點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法適用于任意姿態(tài)角下全景成像位姿參數(shù)的解算，具有極大的適用性；③點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點(diǎn)特征解算方法。