季順平，史 云

1.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢430079；2.東京大學(xué) 空間信息研究中心，日本 東京

1 引 言

傳統(tǒng)膠片和CCD面陣相機(jī)由于平面成像的方式、視場狹窄，易受遮擋影響，有時無法滿足特定的應(yīng)用需求。而具有大視場的成像設(shè)備，如魚眼鏡頭和全景鏡頭等，則能夠克服視場狹窄的問題；特別是全景視覺成像具有成像一體化、360°大視場、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)，已經(jīng)在機(jī)器人、計算機(jī)視覺等相關(guān)領(lǐng)域中逐步得到應(yīng)用，如用于視頻監(jiān)控、交通監(jiān)督、虛擬現(xiàn)實(shí)、機(jī)器人導(dǎo)航、場景重建等，和傳統(tǒng)成像系統(tǒng)相比具有明顯的優(yōu)越性。全景視覺亦成為計算機(jī)視覺領(lǐng)域一個重要的研究分支［1－2］。

基于車載傳感器的高精度城市三維場景重建一直是熱點(diǎn)問題。傳統(tǒng)的方法是在車體上安裝立體相機(jī)或更多的平面相機(jī)，然后對單相機(jī)影像進(jìn)行精確匹配［3］、平差、定位、拼接，最后再建立場景模型［4］。顯然，這種方法所建立場景模型的精度依賴于前期的單相機(jī)的定位以及拼接的結(jié)果。由于平面單相機(jī)間具有較大的旋角，導(dǎo)致配準(zhǔn)困難，特別是拐彎時易造成部分場景成像缺失，使得影像間的精確拼接成為難點(diǎn)之一。相反的，全景相機(jī)一個投影中心，360°全景成像的特性，不存在場景缺失和場景拼接問題，其優(yōu)勢是顯而易見的。目前，全景相機(jī)和全景視覺的研究在測繪領(lǐng)域仍處于起步階段，主要集中在全景相機(jī)幾何標(biāo)定、輻射分辨率改善等前期步驟，多數(shù)情況下僅被用于全景成像［5］，應(yīng)用相對較少。文獻(xiàn)［1］針對全景相機(jī)投影過程的非線性特點(diǎn)，以相機(jī)運(yùn)動估計和場景重建為應(yīng)用背景，提出了新的標(biāo)定方法。文獻(xiàn)［2］ 建立了單反射面全景成像的幾何模型并分析了不同反射面的特性，提出了全景超分辨率圖像復(fù)原算法。文獻(xiàn)［6］提出了一種使用極線幾何與三角幾何相結(jié)合的方法，實(shí)現(xiàn)基于全景圖像的視覺伺服運(yùn)用于移動機(jī)器人的研究。文獻(xiàn)［5］研究了旋轉(zhuǎn)式全景相機(jī)的傳感器成像模型和自檢校方法，并對定位精度作了詳細(xì)的分析。這些方法和試驗(yàn)主要根據(jù)室內(nèi)檢校場進(jìn)行，為全景相機(jī)的檢校、標(biāo)定打下了良好的基礎(chǔ)。

從以上文獻(xiàn)可以看出，全景相機(jī)的研究工作仍集中于輻射改善與幾何標(biāo)定等前期步驟，在實(shí)際應(yīng)用中的研究和分析較少，如車載全景相機(jī)的影像處理方法、精確定位理論、場景建模技術(shù)等。其中，全景相機(jī)的精確定位是后期場景重建等工作的前提。本文著重研究了基于車載全景相機(jī)的影像自動匹配和光束法區(qū)域網(wǎng)平差，并對全景相機(jī)所能達(dá)到的定位精度作了較詳細(xì)的分析。

2 魚眼相機(jī)影像多特征匹配

本文采用的全景相機(jī)系統(tǒng)Ladybug［7］由6個獨(dú)立的相機(jī)組成。5個相機(jī)按照72°水平角環(huán)形布設(shè)于車四周，第6個相機(jī)指向天空。車行駛方向的相機(jī)為0號相機(jī)，其他依次為1～4號相機(jī)。所有的相機(jī)在幾何上共享一個投影中心，形成全景相機(jī)。每個獨(dú)立的相機(jī)為魚眼相機(jī)，以合成高精度的全景影像。單魚眼影像及對應(yīng)的全景影像如圖1。

圖1 全景影像和獨(dú)立魚眼影像Fig.1 Panoramic and mono－scene images

相對于平面成像而言，魚眼相機(jī)的形變較大，而全景影像形變更大，本文首先在單景魚眼影像中初匹配，再投影到統(tǒng)一的全景坐標(biāo)進(jìn)行粗剔除和二次精匹配。匹配的常用算法包括基于局部窗口的亮度相關(guān)及最小二乘匹配［9，10］，這種局部窗口灰度相關(guān)技術(shù)需要較好的匹配初值；或者具有初始幾何參數(shù)，可用于立體像對間的初步糾正，然后再進(jìn)行相關(guān)［11，12］。

近景影像由于拍攝角度的任意性，不再具有恒定的重疊度和旋轉(zhuǎn)角。不僅需要考慮窗口灰度間的平移和灰度線性變化，還需要處理窗口間的旋轉(zhuǎn)、縮放、仿射等形變；在幾何關(guān)系未知的前提下，使用更為高級的特征匹配方法，如SIFT［13－15］、SURF［16］等。

針對魚眼影像自身的特性，本文選擇采用多特征的匹配算法進(jìn)行，以獲得可靠匹配點(diǎn)。

2.1 多特征初匹配

首先采用抗縮放抗旋轉(zhuǎn)的SIFT算子進(jìn)行匹配，獲得了一定數(shù)量的匹配點(diǎn)。然后，引入GPS／IMU數(shù)據(jù)進(jìn)行多光線前方交會，借助前方交會的誤差橢圓初步剔除誤匹配點(diǎn)。若GPS／IMU數(shù)據(jù)精度較低，則利用相對定向和模型連接進(jìn)行幾何約束，同時進(jìn)行粗差剔除。粗差剔除后可保證不存在明顯的粗差點(diǎn)對。

SIFT算子雖然可以克服旋轉(zhuǎn)和縮放，并能夠獲得一些可靠的同名點(diǎn)，但SIFT所提取的道路特征很少（圖4中的十字為SIFT特征）。對于SIFT的特征提取方式而言，直角特征過于簡單，且道路背景色彩單一，因此這些斑馬線角點(diǎn)不屬于SIFT特征。由于無法識別大部分道路特征，SIFT所獲得的匹配點(diǎn)一般位于較遠(yuǎn)的建筑上。由之而來的問題是：通過測量中交會角與交會精度的關(guān)系可知，交會角越小，交會精度越低。特別是0號相機(jī)正前方的遠(yuǎn)距離區(qū)域，交會角接近于0，因此，某些超遠(yuǎn)距離的匹配點(diǎn)對后面的平差步驟幾乎毫無用處，甚至可能降低平差精度。

本文采用Forstner角點(diǎn)提取算子，以獲得更多近距離的道路特征點(diǎn)。Forstner特征提取后，進(jìn)行灰度相關(guān)以獲得正確的匹配點(diǎn)。通過以上對車載影像的分析可知，立體像對間存在較大的比例尺變化，傳統(tǒng)的灰度相關(guān)無法處理。本文采取兩種改進(jìn)策略以保證匹配的正確性。首先，根據(jù)路面條件約束搜索窗口。采用LiDAR掃描數(shù)據(jù)獲得道路高度，再聯(lián)合GPS／IMU數(shù)據(jù)來確定搜索區(qū)域，即主要搜索道路上的特征。若Forstner特征明顯高于地面，則在搜索區(qū)域內(nèi)無法搜索到同名點(diǎn)。其次，選擇較小的匹配窗口，以保證只匹配角點(diǎn)區(qū)域。雖然相鄰兩幅影像中斑馬線縮放在2倍以上，但是在角點(diǎn)匹配窗口內(nèi)，不受縮放的影響。通過對搜索窗口和匹配窗口的調(diào)節(jié)，可獲得較多高質(zhì)量的道路特征點(diǎn)（圖4中的圓為Forstner角點(diǎn)）。

2.2 物方約束的精匹配

SIFT和Forstner特征匹配精度在像素級，可在初步平差后進(jìn)行最小二乘匹配，以提高連接點(diǎn)精度；并且，精匹配步驟考慮道路拐彎或交叉時車輛的行駛方向改變而造成同一場景出現(xiàn)在相鄰魚眼相機(jī)上的情形（如0號相機(jī)的場景位于1號相機(jī)中）。借助相機(jī)的全景成像，旋轉(zhuǎn)不變性的優(yōu)勢，以給定最小二乘參數(shù)初值。如圖2所示，在兩個不同角度的攝站點(diǎn)S1、S2對同一物體O曝光，全景影像間的只存在一個水平角度k的形變，其夾角等于兩攝站與物體間的夾角，該角度可通過已知的物點(diǎn)坐標(biāo)和外方位元素根據(jù)三角公式計算。因此最小二乘平差的初值可根據(jù)下式設(shè)置

式中，λ為縮放系數(shù)，即兩攝站到物點(diǎn)的距離之比。計算得到最小二乘仿射系數(shù)

圖2 全景影像的水平角形變Fig.2 Horizontal angle changes between stereo panoramic images

在解求最小二乘參數(shù)的同時，利用基于多片前方交會的物方約束的幾何方程求解物點(diǎn)的坐標(biāo)增量（ΔX，ΔY，ΔZ），實(shí)現(xiàn)全景影像物方約束的二次匹配。式（3）為對應(yīng)的線性化公式，vg為灰度方程改正數(shù)，ci為系數(shù)項(xiàng)，vG為幾何方程改正數(shù)，幾何方程如式（7）所示

3 全景相機(jī)光束法平差

3.1 全景相機(jī)成像幾何模型

本文中連接點(diǎn)在魚眼圖像坐標(biāo)系獲得，而區(qū)域網(wǎng)平差則是在全景球面坐標(biāo)系中進(jìn)行，首先需要將魚眼坐標(biāo)轉(zhuǎn)換為全景坐標(biāo)。

在幾何上，從6個不同球心、不同半徑的獨(dú)立魚眼相機(jī)所在的球面直接到的全景坐標(biāo)系的轉(zhuǎn)換非常復(fù)雜。因此，連接點(diǎn)需要經(jīng)過兩步轉(zhuǎn)換，即從單獨(dú)魚眼圖像坐標(biāo)系到理想平面坐標(biāo)系、再到統(tǒng)一的全景坐標(biāo)系。如式（4）所示，Kr為從第r個魚眼相機(jī)拍攝的圖像坐標(biāo)X到理想平面坐標(biāo)的轉(zhuǎn)換矩陣，包括徑向、切向畸變多項(xiàng)式、像主點(diǎn)偏移量；Rr為第r個魚眼相機(jī)理想平面到全景相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣；Tr為第r個魚眼相機(jī)中心到全景相機(jī)中心的偏移矢量，以上3組參數(shù)都經(jīng)過嚴(yán)密的內(nèi)業(yè)檢校，為固定值。λ為從平面坐標(biāo)到全景球面的比例系數(shù)，每個像點(diǎn)各不相同

如圖3所示，相鄰的獨(dú)立魚眼相機(jī)間有微小的重疊，投影中心分別為Tc、T′c，uc、u′c為一對同名像點(diǎn)，根據(jù)式（4）轉(zhuǎn)換到以G為中心的全景坐標(biāo)時，需保證其全景坐標(biāo)相同，即Sc、S′c重合。顯然，過x點(diǎn)的球面將是最佳的選擇。當(dāng)全景球面不過x點(diǎn)或者對于其他同名點(diǎn)，則可能產(chǎn)生投影誤差。然而，由于各獨(dú)立相機(jī)的投影中心與G距離很近，該投影誤差是微小值，在一定的距離內(nèi)仍遠(yuǎn)小于1像素。全景球面半徑的最佳距離可通過式（5）進(jìn)行計算。式（5）中，ΔSg表示魚眼相機(jī)投影中心到G的距離，N為水平相機(jī)個數(shù)。Ladybug全景成像系統(tǒng)中N為5，ΔSg事先已經(jīng)過嚴(yán)密的室內(nèi)檢校獲得，代入計算得到最佳成像距離位于距全景相機(jī)中心24m處。獲得投影球面后，根據(jù)全景坐標(biāo)?′位于球面上的約束條件，將式（4）代入球面方程可計算出每個像點(diǎn)的比例系數(shù)λ，同時也計算了?′。

獲得全景相機(jī)坐標(biāo)X′后，建立全景相機(jī)與大地坐標(biāo)之間的幾何關(guān)系。全景成像與傳統(tǒng)膠片／數(shù)碼相機(jī)成像方式區(qū)別在于，傳統(tǒng)像片成像于一個理想平面上，所有的z坐標(biāo)絕對值都等于焦距f。而全景像片的坐標(biāo)X′位于球面上，z坐標(biāo)都互不相同。但三點(diǎn)共線的幾何關(guān)系依然成立，即像點(diǎn)與對應(yīng)物方點(diǎn)的坐標(biāo)仍然滿足透視變換，如式（6）所示。式中R、T分別為地面點(diǎn)XA與X′的旋轉(zhuǎn)矩陣與平移矢量。代數(shù)形式如式（7）所示

圖3 獨(dú)立相機(jī)理想平面坐標(biāo)到全景相機(jī)的轉(zhuǎn)換示意圖Fig.3 Coordinate transform from rectified monocamera to panoramic camera

3.2 全景相機(jī)GPS／IMU輔助光束法平差

式（4）和式（7）構(gòu)成了全景相機(jī)的共線條件方程。全景坐標(biāo)系下每個像點(diǎn)具有獨(dú)立的z坐標(biāo)，并且所有像點(diǎn)位于同一球面上。以方程（7）為基礎(chǔ)，構(gòu)建GPS／IMU約束的無地面控制光束法區(qū)域網(wǎng)平差方程

式中，Vx為像點(diǎn)坐標(biāo)觀測值的改正數(shù)；t＝［ΔXSΔYSΔZSΔφΔωΔκ］、x＝［ΔXΔYΔZ］分別為外方位元素增量和加密點(diǎn)地面坐標(biāo)增量；A、B為相應(yīng)的系數(shù)矩陣，由公式（4）線性化獲得；Lx為常數(shù)項(xiàng)。

第2個方程為GPS觀測方程，C為設(shè)計矩陣，從下式線性化獲得

式中，XA、YA、ZA為GPS觀測值；R為旋轉(zhuǎn)矩陣；U、V、W為固定值，是通過精檢校獲得的投影中心與GPS中心的3個距離分量；Pg為相對于像點(diǎn)坐標(biāo)觀測值的權(quán)。第3個方程為IMU觀測方程。設(shè)計矩陣D，從下式線性化獲得

式中，φA、ωA、κA為IMU 觀測值；φ、ω、κ為待求外方位元素角元素；Pu為相對于像點(diǎn)坐標(biāo)觀測值的權(quán)。

根據(jù)誤差方程（8）構(gòu)建法方程（11），并進(jìn)行求解

式為稀疏帶狀矩陣，消去加密點(diǎn)未知數(shù)x，可獲得帶寬為像片最大重疊度的、只含有像片外方位元素的改化法陣［18］。然后求解出像片未知數(shù)t，再回代求解出x。通過選權(quán)迭代法［19］，逐步修正像點(diǎn)坐標(biāo)觀測值的權(quán)，或采用RANSAC方法［20］，剔除錯誤的匹配點(diǎn)對，直到結(jié)果收斂。

3.3 全景坐標(biāo)觀測權(quán)的設(shè)定

在式（8）中，Pt為像點(diǎn)觀測值初始權(quán)，平差中一般初值設(shè)為單位陣。在本文的全景相機(jī)平差中，顧及兩方面因素，需為其設(shè)定初值。一方面，攝站間基線很短而特征點(diǎn)景深變化非常大。例如，前視魚眼相機(jī)所拍攝的車輛正前方的特征點(diǎn)間的交會角非常小，交會精度很差，當(dāng)這類點(diǎn)個數(shù)很多時，將可能影響平差結(jié)果。另一方面，從圖3可以看出，各獨(dú)立相機(jī)投影到理想的球面形成全景坐標(biāo)，距離該理想球面越遠(yuǎn)，相機(jī)間的拼接誤差越大，在到達(dá)一定距離之后，拼接誤差將大于1像素。由于這兩方面的影響都與距離有關(guān)，本文根據(jù)物體到全景投影中心的距離設(shè)定觀測值的初始權(quán)

式中，Pi為第i點(diǎn)的初始權(quán)值；Di為第i點(diǎn)的物距，權(quán)值在平差過程中由選權(quán)迭代法自動更新。

4 試驗(yàn)結(jié)果和分析

4.1 試驗(yàn)設(shè)計

為驗(yàn)證本文方法的正確性、LadyBug全景成像系統(tǒng)的定位精度以及GPS、IMU數(shù)據(jù)的穩(wěn)定性，選用500張全景影像序列進(jìn)行了自動匹配和GPS／IMU約束的無地面控制平差試驗(yàn)，共包含3000張獨(dú)立魚眼影像，總拍攝長度約1km。由于天空上沒有特征點(diǎn)，匹配時未匹配天空的影像，故匹配一共在2500張影像上進(jìn)行，而平差則是在全景坐標(biāo)系中進(jìn)行。所采用的GPS／IMU系統(tǒng)的定位精度約5～20像素。

LadyBug拍攝魚眼影像大小為1616像素×1232像素，像元分辨率為0.009mm，顏色分辨率為8bit量化的RGB色彩空間、采用每秒15幀壓縮JPG格式。獨(dú)立魚眼相機(jī)的焦距為3.3mm，投影中心相互距離約40mm，全景影像球面成像于距離球心24m處。

4.2 試驗(yàn)結(jié)果和分析

4.2.1 影像匹配試驗(yàn)和分析

圖4為魚眼相機(jī)匹配結(jié)果。

連接點(diǎn)提取在0～4號水平相機(jī)影像上進(jìn)行，為加快匹配速度，只匹配影像中間的感興趣區(qū)域，影像上方的天空和影像下方的測量車所處區(qū)域已經(jīng)被濾除，如圖4所示。其中，十字表示SIFT匹配點(diǎn)，圓圈表示Forstner匹配點(diǎn)。Forstner特征僅考慮道路上明顯的角點(diǎn)。根據(jù)GPS／IMU及LiDAR精度，確定搜索區(qū)間為31像素×31像素。根據(jù)斑馬線角點(diǎn)的大小，匹配窗口選擇為11像素×11像素。

分析匹配結(jié)果可以發(fā)現(xiàn)：

（1）圖4中1、2、3號的立體像對的場景中含有較為豐富的地物特征，包括路旁的建筑物和大量道路上的交通標(biāo)志線。無論是SIFT特征或者Forstner特征都匹配出了很多同名點(diǎn)。但SIFT特征點(diǎn)大都出現(xiàn)在結(jié)構(gòu)比較復(fù)雜的建筑物和一些樹木上，近距離的道路匹配點(diǎn)很少；而Forstner特征匹配彌補(bǔ)了這部分區(qū)域的匹配點(diǎn)，充分保證近距離可靠的連接點(diǎn)對平差的貢獻(xiàn)度。

（2）在圖4（d）中，由于沒有建筑物，匹配點(diǎn)集中于主干道和人行道的邊界上。而在4（e）中，一共只有5對同名點(diǎn)獲得正確匹配，這由缺少人工地物以及影像間存在巨大的變形引起。因此，如果采用傳統(tǒng)的平面相機(jī)成像、獨(dú)立平差后再拼接的方法，則無法處理圖4（e）這種缺乏連接點(diǎn)的影像，從而導(dǎo)致定位失敗和場景缺失；4（d）由于連接點(diǎn)分布不均也可能導(dǎo)致平差無法正確收斂。而全景相機(jī)優(yōu)勢體現(xiàn)在將所有單相機(jī)拼接成整幅全景影像之后，再進(jìn)行平差，因此，借助于0、1、2號影像中的大量連接點(diǎn)，部分單獨(dú)相機(jī)的匹配失敗不會對平差結(jié)果造成影響。

圖4 魚眼相機(jī)匹配結(jié)果Fig.4 Matching results of mono－scene images

4.2.2 光束法平差試驗(yàn)和分析

在驗(yàn)證本文匹配和平差方法在全景影像序列處理中的可行性的同時，還與和以下兩種傳統(tǒng)的處理方法進(jìn)行對比。第一，只采用計算機(jī)視覺中經(jīng)典的SIFT特征提取連接點(diǎn)，然后用SIFT連接點(diǎn)進(jìn)行平差。第二，采用本文的方法進(jìn)行匹配，但權(quán)陣初值設(shè)定為單位陣。3種方法的平差結(jié)果一并列于表1。在物方殘差一欄中，只有小于60m的連接點(diǎn)被統(tǒng)計。

表1 平差結(jié)果Tab.1 Adjustment result comparison of three methods

從LadyBug全景成像的幾何理論而言，距離理想全景球面越遠(yuǎn)，成像效果越差、定位精度越低。為評價該全景成像系統(tǒng)在不同距離上的定位精度，對連接點(diǎn)物方坐標(biāo)殘差作了統(tǒng)計，如表2所示。

表2 不同距離連接點(diǎn)的物方殘差Tab.2 RMS differences of object coordinates in different range m

為評價LadyBug全景成像系統(tǒng)所采用的GPS／IMU組合導(dǎo)航系統(tǒng)的內(nèi)部穩(wěn)定性，統(tǒng)計了原始外方位元素與平差后的外方位元素的殘差，如表3所示。

表3 GPS／IMU外方位元素殘差Tab.3 Differences between GPS／IMU and EOs after adjustment

分析以上結(jié)果可以發(fā)現(xiàn)：

（1）從表1可以看出，3種方法對外方位元素未知數(shù)的解算精度都是非常高的，反映方程解算的正確性和區(qū)域網(wǎng)內(nèi)部的精度一致性；本文方法（加權(quán)）和本文方法（未加權(quán)）的精度基本一致，SIFT匹配方法平差獲得的外方位精度相對較低。

當(dāng)僅采用SIFT進(jìn)行連接點(diǎn)的自動提取時，其觀測值的平差中誤差最大，接近1像素，這和SIFT自身的定位精度是相當(dāng)?shù)?；由于大部分的連接點(diǎn)位于距離較遠(yuǎn)的建筑物上，交會精度和全景拼接精度較低，導(dǎo)致很多可能正確的匹配特征被剔除，每張影像只有平均19個連接點(diǎn)。并且，物點(diǎn)的交會殘差在3種方法中也是最大的。

采用本文的多特征匹配策略，觀測值中誤差明顯提高，達(dá)到0.29像素。同樣的，加密點(diǎn)物方交會的精度也獲得了明顯的提高，3個方向的殘差都在4cm以下，z方向的殘差甚至達(dá)到了5mm。然而，由于沒有設(shè)置正確的初始權(quán)值，導(dǎo)致大量的連接點(diǎn)被剔除，最終每張像片只有27個連接點(diǎn)被保留。

采用本文的多特征匹配策略和加權(quán)方法，觀測值中誤差得到進(jìn)一步的提高，達(dá)到0.22像素，并且交會精度在3個方向上都高于4cm。雖然和未加權(quán)方法的精度相當(dāng)，但由于按照距離設(shè)置了初始權(quán)，使得連接點(diǎn)的個數(shù)得到了明顯的提升，達(dá)到75個。因此，對加密點(diǎn)距離的遠(yuǎn)近進(jìn)行加權(quán)，和實(shí)際情況相符，所以加權(quán)后能夠保證大量的連接點(diǎn)被正確保留。

（2）表2進(jìn)一步證實(shí)了受交會角、全景相機(jī)拼接技術(shù)的綜合影響，成像距離對全景相機(jī)平差精度影響明顯。隨著距離較遠(yuǎn)的物方點(diǎn)加入統(tǒng)計，3個方向的交會精度都逐漸降低，且其拐點(diǎn)出現(xiàn)在60m左右。當(dāng)?shù)孛纥c(diǎn)到攝站的距離小于60m時，空間交會精度可達(dá)到4.5cm，而當(dāng)距離增加到80m，交會精度則降到了17.4cm。因此，LadyBug全景成像系統(tǒng)的最佳定位范圍在50～60m之內(nèi)，超過該距離不適宜將全景幾何模型應(yīng)用在精確定位中。

事實(shí)上，根據(jù)全景相機(jī)的成像原理也可從理論上進(jìn)一步驗(yàn)證該結(jié)論。將系統(tǒng)參數(shù)代入式（5）可知，全景投影球面位于24m處，此時求的交會角約0.048°，距離60m時，投影誤差約3cm。距離100m時，投影誤差為8.3cm。物體距離該投影球越遠(yuǎn)，同名點(diǎn)間投影誤差越大。隨著同名點(diǎn)精度的下降，該投影誤差在平差過程中實(shí)際上被進(jìn)一步放大。

（3）從表3可以看出，線元素的平均殘差高于4mm；φ、ω角元素的平均殘差分別為16″和12″；κ角精度稍低，為25″；總體而言，穩(wěn)定性非常好。但是也存在個別誤差較大的外方位元素，線元素最大殘差接近4cm，是平均殘差的10倍左右；角元素最大殘差也達(dá)到了平均殘差的10倍。雖然本文將GPS／IMU約束的區(qū)域網(wǎng)平差結(jié)果作為真值與GPS／IMU原始值進(jìn)行比較，但平差結(jié)果與實(shí)際真值之間差異很小，說明LadyBug系統(tǒng)所采用的GPS／IMU系統(tǒng)的內(nèi)部穩(wěn)定性是非常高的。

5 結(jié) 論

由于成像機(jī)理的差異，全景相機(jī)影像的匹配和平差過程都和傳統(tǒng)近景平面相機(jī)有一定的區(qū)別。本文通過多特征匹配的方法，利用Forstner特征、SIFT特征進(jìn)行聯(lián)合匹配和全景幾何約束的二次精匹配，獲得了高穩(wěn)定度的連接點(diǎn)。然后推導(dǎo)了全景相機(jī)的幾何成像模型，并聯(lián)合GPS／IMU數(shù)據(jù)進(jìn)行了光束法區(qū)域網(wǎng)平差。通過試驗(yàn)，驗(yàn)證了本文方法具有匹配可靠性好、平差結(jié)果穩(wěn)定且交會精度高于5cm。此外，還獲得了Lady－Bug全景成像所獲取場景在60m內(nèi)可獲得最佳的定位精度的結(jié)論。若需要獲取更高精度的定位結(jié)果，應(yīng)當(dāng)采取在獨(dú)立魚眼相機(jī)進(jìn)行平差的方法，而不適宜在全景坐標(biāo)下進(jìn)行。

本文的GPS／IMU輔助區(qū)域網(wǎng)平差能夠較好地說明網(wǎng)形的內(nèi)部精度，但GPS／IMU的實(shí)際精度評價、場景定位精度檢查以及系統(tǒng)誤差改正只能通過引入控制點(diǎn)平差完成，這是后續(xù)要開展的工作。

［1］ ZHANG Lei.Central Catadioptric Imaging System Modeling［D］.Hangzhou：Zhejiang University，2010.（張雷.單視點(diǎn)折反射成像系統(tǒng)的建模、標(biāo)定與應(yīng)用［D］.杭州：浙江大學(xué)，2010.）

［2］ XIAO Xiao.High Resolution Panoramic Imaging System and Visual Application［D］.Hangzhou：Zhejiang University，2009.（肖瀟.高分辨率全景成像系統(tǒng)及其視覺應(yīng)用研究［D］.杭州：浙江大學(xué)，2009.）

［3］ ZHANG Ka，SHENG Yehua，YE Chun.Digital Close－range Stereo Image Matching Based on Digital Parallax Model and Improved SIFT Feature ［J］.Acta Geodaetica et Cartographica Sinica，2010，39（6）：624－630.（張卡，盛業(yè)華，葉春.基于數(shù)字視差模型和改進(jìn)SIFT特征的數(shù)字近景立體影像匹配［J］.測繪學(xué)報，2010，39（6）：624－630.）

［4］ TU Zhenbiao，LIU Yongcai，SU Kang，et al.A Modeling Method for Large Scale Terrain Oriented 3DDisplay［J］.Acta Geodaetica et Cartographica Sinica，2004，33（1）：71－76.（涂震飚，劉永才，蘇康，等.一種面向大場景3維顯示的地形建模方法［J］.測繪學(xué)報，2004，33（1）：71－76.）

［5］ PARIAN L A，GRUEN A.Sensor Modeling，Self－calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners ［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2010，65（1）：60－76.

［6］ YANG Shaoping，CHEN Xiong，KONG Qingsheng.Imagebased Visual Serving for Mobile Robots with Central Panoramic Camera ［J］.Computers Engineering and Design，2010，31（19）：4261－4264.（楊少平，陳 雄，孔慶生.采用全景相機(jī)的移動機(jī)器人視覺伺服［J］.計算機(jī)工程與設(shè)計.2010，31（19）：4261－4264.）

［7］ IKEDA S，SATO T，YOKOYA N.High－resolution Panoramic Movie Generation from Video Streams Acquired by an Omnidirectional Multi－camera System ［C］∥Proceedings of the Multisensor Fusion and Integration for Intelligent Systems.［S.l.］：IEEE，2003.

［8］ SATO T，IKEDA S，YOKOYA N.Extrinsic Camera Parameter Recovery from Multiple Image Sequences Captured by an Omni－directional Multi－camera System ［C］∥Proceedings of the 8th European Conference on Computer Vision.［S.l.］：Springer，2004.

［9］ ACKERMANN F.High Precision Image Correlation［C］∥In the Proceedings of the 39th Photogrammetric Week.Stuttgart：［s.n.］，1984.

［10］ ZHANG Li，GRUEN A.Multi－image Matching for DSM Generation from IKONOS Imagery［J］.ISPRS Journal of Photogrammetry ＆ Remote Sensing，2006（60）：195－211.

［11］ JI Shunping，YUAN Xiuxiao.Automatic Matching of High Resolution Satellite Images Based on RFM ［J］.Acta Geodaetica et Cartographica Sinica，2010，39（6）：592－598.（季順平，袁修孝.基于RFM的高分辨率衛(wèi)星遙感影像自動匹配研究［J］.測繪學(xué)報，2010，39（6）：592－598.）

［12］ KORNUS W，ALAM U′S R，RUIZ A，et al.DEM Generation from SPOT－5 3－fold along Track Stereoscopic Imagery Using Autocalibration［J］.ISPRS Journal of Photogrammetry ＆ Remote Sensing，2006，60（3）：147－159.

［13］ LOWE D G.Object Recognition from Local Scale－invariant Features［C］∥Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra：［s.n.］，1999.

［14］ LOWE D G.Distinctive Image Features from Scale－Invariant Keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［15］ SINHA S N，F(xiàn)RAHM J M，POLLEFEYS M，et al.GPU－based Video Feature Tracking and Matching［R］［S.l.］：UNC Chapel Hill，2006.

［16］ BAY H，ESS A，TUYTELAARS T，et al.Speed－Up Robust Features（SURF）［J］.Computer Vision and Image Understanding，2008（110）：346－359.

［17］ KANNALA B.IEEE Transactions on Pattern Analysis and Machine Intelligence ［J］.TPAMI，2006（28）：1335－1340.

［18］ LI Deren，ZHENG Zhaobao.Analytical Photogrammetry［M］.Beijing：Suveying and Mapping Press，1992.（李德仁，鄭肇葆.解析攝影測量學(xué)［M］.北京：測繪出版社，1992.）

［19］ LI Deren，YUAN Xiuxiao.Error Processing and Reliability Theory［M］.Wuhan：Wuhan University Press，2002.（李德仁，袁修孝.誤差處理與可靠性理論［M］.武漢：武漢大學(xué)出版社，2002.）

［20］ FISCHLER M A，BOLLES R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］.CACM，1981，24（6）：381－395.