邸凱昌 張重陽 劉召芹

（1 中國科學(xué)院遙感應(yīng)用研究所，北京 100101）

（2 航天飛行動力學(xué)技術(shù)重點實驗室，北京 100094）

1 引言

著陸巡視探測是深空探測的主要方式之一，近年來最引人注目的深空著陸巡視探測活動是美國國家航空航天局火星探測巡視器勇氣號和機遇號的火星表面巡視探測，好奇心號火星巡視器于2012年8月6日著陸火星，開啟了人類深空探測的新篇章。在中國嫦娥工程的第二期探月活動中，也將開展月面著陸器探測和月面巡視器探測［1］。深空探測巡視器在探測活動中，需要接近和到達(dá)科學(xué)家指定的科學(xué)目標(biāo)并且部署相關(guān)儀器對目標(biāo)進行就位探測或者取樣［2］。在勇氣號和機遇號火星探測巡視器任務(wù)中，火星巡視器自確定目標(biāo)到接近目標(biāo)部署科學(xué)儀器至少需要3個指令周期，即3個火星日（一個火星日為24h39min 35s）［3］。科學(xué)家一般先從火星巡視器全景相機影像中，確定一定距離外（如幾十米以外）所關(guān)注的目標(biāo)（如石塊、巖層、沙丘等），在接近目標(biāo)途中，通過導(dǎo)航相機獲取目標(biāo)影像，對其進行識別和交接，接近目標(biāo)時，再將目標(biāo)從導(dǎo)航相機影像交接到避障相機影像，科學(xué)目標(biāo)在相機間的交接，是由科學(xué)家和工程師通過人機交互的方式實現(xiàn)的，最終根據(jù)科學(xué)目標(biāo)在避障相機影像中的位置，用機械臂上的科學(xué)儀器進行就位探測。目前的好奇心號火星巡視器也基本沿用了上述目標(biāo)接近方法，未來的深空探測巡視器需要更加高效、智能地接近目標(biāo)部署科學(xué)儀器，如果可以實現(xiàn)目標(biāo)在影像間的自動交接，便可大幅度縮短深空探測巡視器接近目標(biāo)部署儀器的時間（例如縮短到一個指令周期），從而提高科學(xué)探測的效率。

美國噴氣推進實驗室（JPL）的研究者們，近年來開始研究火星巡視器單指令周期接近目標(biāo)和部署儀器的技術(shù)［3-4］，其技術(shù)路線包括確定和量測目標(biāo)、追蹤目標(biāo)、目標(biāo)交接和部署科學(xué)儀器幾個過程，文獻［4］中的自動交接方法，是通過前一個位置拍攝的桅桿相機（mast camera）立體影像，計算出目標(biāo)點及其周圍像點的三維坐標(biāo)，然后生成巡視器相機（body camera）的虛擬圖像，并與后一個位置實際拍攝的巡視器相機影像進行匹配，實現(xiàn)目標(biāo)交接，其交接精度為幾個像素。此目標(biāo)交接方法需要在交接前連續(xù)追蹤目標(biāo)，也就需要連續(xù)獲取影像，資源消耗較多；目標(biāo)交接在相距很近拍攝的桅桿相機和巡視器相機影像間進行，難以應(yīng)用于相距較遠(yuǎn)拍攝的影像間交接；另外，直接通過匹配追蹤和交接目標(biāo)，沒有充分利用影像中其它的明顯特征點，因此交接的精度和可靠性都有待提高。

本文提出利用SIFT 匹配和光束法平差方法，實現(xiàn)多相機間的圖像配準(zhǔn)和目標(biāo)交接，以利于提高目標(biāo)交接精度和可靠性，同時，還可用于相距較遠(yuǎn)拍攝的影像間交接。

2 多相機間目標(biāo)交接算法

2．1 火星巡視器相機

典型的深空探測巡視器一般都配有多對立體相機，以勇氣號和機遇號火星巡視器為例，巡視器上配有四對立體相機（如圖1）：全景相機（panoramic camera，Pancam）和導(dǎo)航相機（navigation camera，Navcam）安裝于同一根相機橫桿上，統(tǒng)稱為桅桿相機，分別用來對遠(yuǎn)、中距離和中、近距離的地物進行成像；兩對避障相機（hazard-avoidance camera，Hazcam）分別安裝在火星巡視器車頭和車尾、太陽能電池板下，稱為巡視器相機，用來對近距離的地物進行成像。Navcam 是一對中視場角（45°）全色相機，主要用于導(dǎo)航；Pancam 是一對窄角（16．8°）多光譜相機，主要用于對地質(zhì)、地形、地貌等的科學(xué)研究；Hazcam 是寬角（120°）全色相機，主要用于探測和避開障礙物，以及布設(shè)機械臂上儀器前的近距離量測。文獻［5-6］對于這些相機的具體參數(shù)，以及在地形測圖和火星巡視器定位方面的應(yīng)用有更為詳細(xì)的介紹。

圖1 火星巡視器上的相機及其它儀器Fig．1 Cameras and other instruments on the Mars rover

2．2 目標(biāo)交接概念

多相機影像的目標(biāo)交接（camera handoff），指的是將某一個相機影像內(nèi)的特定目標(biāo)傳遞到在另一個位置拍攝的另一個相機的影像上，兩個相機的影像間要有一定的重疊度。如圖2所示，當(dāng)探測巡視器距離目標(biāo)10 m 左右時，首先用焦距較長的全景相機對目標(biāo)拍照；隨著火星巡視器向前行進，如在距離目標(biāo)5m 左右時，用導(dǎo)航相機拍照，并將目標(biāo)從全景相機傳遞到導(dǎo)航相機；而隨著火星巡視器進一步接近目標(biāo)，如距目標(biāo)1 m 以內(nèi)時，由于太陽能電池板的遮擋，全景相機和導(dǎo)航相機均難以拍攝到目標(biāo)物，因此采用避障相機拍照，并需要將目標(biāo)從導(dǎo)航相機傳遞到避障相機；最后，根據(jù)避障相機對目標(biāo)的量測，部署機械臂上的相關(guān)科學(xué)探測儀器進行就位探測。

圖3給出了目標(biāo)交接的一個示例，圖3（a）、（b）分別為火星巡視器導(dǎo)航相機、避障相機在由遠(yuǎn)到近不同位置獲取的同一地區(qū)的影像，由于兩個相機在火星巡視器上安裝的位置不同及拍照的時間不同，兩幅圖像的視角和尺度均有較大差異，導(dǎo)航相機到避障相機的目標(biāo)交接，就是要確定導(dǎo)航相機中所關(guān)注的目標(biāo)點（如圖3（a）中十字標(biāo)示的點）在避障相機影像（如圖3（b））上的位置。在美國的勇氣號和機遇號火星探測巡視器任務(wù)中，這一過程是由人工實現(xiàn)的。下文中探討了自動化、高精度實現(xiàn)這一交接過程的方法。

圖2 相機交接概念圖Fig．2 A conceptual illustration of camera handoff

圖3 目標(biāo)交接示例Fig．3 An example of camera handoff

2．3 基于SIFT匹配和光束法平差的多相機目標(biāo)交接

本文提出的方法，首先在不同位置多相機圖像間進行SIFT 匹配，提取同名點并剔除粗差，將不同相機所拍攝的影像連接起來，構(gòu)成影像區(qū)域網(wǎng)，通過對影像網(wǎng)的光束法平差，提高所有相機影像姿態(tài)位置參數(shù)的一致性；然后，根據(jù)平差后的影像外方位元素，將目標(biāo)從一個相機的立體影像上精確地投影到另一個相機的影像上，實現(xiàn)目標(biāo)的高精度交接。圖4以火星巡視器上導(dǎo)航相機影像和避障相機影像間的目標(biāo)交接為例，給出了所提出方法的流程圖。

圖4 目標(biāo)交接流程圖Fig．4 Flowchart of the proposed camera handoff method

2．3．1 SIFT 特征匹配

由于探測巡視器上裝載的不同相機（例如避障相機和導(dǎo)航相機）在不同位置拍攝同一目標(biāo)時，距離目標(biāo)的距離不同、視角不同，光照條件也不同，因此不同相機間影像的差異較大，常規(guī)的相關(guān)系數(shù)等匹配算法，不適合用于多相機間影像的匹配。SIFT 關(guān)鍵點特征對圖像平移、縮放和旋轉(zhuǎn)保持不變性［7］，對差異較大的圖像具有穩(wěn)定的特征匹配能力，在遙感影像［8］、醫(yī)學(xué)影像［9］的匹配中也得到了廣泛應(yīng)用。本文中，采用SIFT 匹配來實現(xiàn)火星巡視器多相機間影像的特征匹配。提取SIFT 關(guān)鍵點后，用關(guān)鍵點特征向量的歐式距離作為兩幅圖像中關(guān)鍵點的相似性判定度量，如果最近距離與次近距離的比值小于某個比例閾值，則認(rèn)為最近距離的點是匹配點。匹配閾值越大，匹配點數(shù)目越多，誤匹配的可能性也就越大，閾值越小，匹配點的數(shù)目也相應(yīng)減少，但匹配的正確率也越高［7］。根據(jù)勇氣號火星巡視器相機影像的特點，SIFT 匹配的閾值取0．75時，一般可以獲取足夠數(shù)目的匹配點，能夠滿足目標(biāo)交接要求。以上設(shè)置的閾值為多次試驗得到的經(jīng)驗值，處理其它巡視器影像時可能需要調(diào)整。

2．3．2 隨機抽樣一致性方法剔除匹配粗差

SIFT 關(guān)鍵點匹配結(jié)果中難免有錯誤匹配點，即粗差。粗差會嚴(yán)重影響后續(xù)的光束法平差和目標(biāo)交接，需要設(shè)法剔除。隨機抽樣一致性（RANdom SAmple Consensus，RANSAC）算法，對包含大量粗差的數(shù)據(jù)仍能有效地估計參數(shù)［10］，其過程如下：首先，針對具體問題設(shè)計一個目標(biāo)函數(shù)；然后，反復(fù)迭代抽取盡可能少但有足夠多的數(shù)據(jù)點集，來估算目標(biāo)函數(shù)參數(shù)的初始值，并利用這些初始值把數(shù)據(jù)劃分為所謂的內(nèi)點（Inliers，滿足參數(shù)估計的點）和外點（Outliers，不滿足估計參數(shù)的點，即粗差）；最后，反過來用所有的內(nèi)點重新估算目標(biāo)函數(shù)的參數(shù)值。與傳統(tǒng)優(yōu)化算法所不同的是，RANSAC算法最開始是利用一小部分?jǐn)?shù)據(jù)作為內(nèi)點得到參數(shù)初始值，然后根據(jù)初始值尋找數(shù)據(jù)集合中其他的內(nèi)點，這樣可以最大限度地減少噪聲和外點的影像，算法具有很強的抗粗差能力。

根據(jù)導(dǎo)航相機立體像對的左片與避障相機立體像對的左片，通過SIFT 關(guān)鍵點匹配得到的同名點坐標(biāo)，分別在同一立體像對右片通過相關(guān)系數(shù)和最小二乘匹配尋找同名像點，前方交會求解出匹配點的三維坐標(biāo)［11］。對于同一點在不同立體模型下的平面坐標(biāo)X、Y滿足一個簡單的旋轉(zhuǎn)、平移變換，故用相似變換模型構(gòu)建RANSAC 算法，對于不滿足相似變換的三維坐標(biāo)，作為粗差剔除。

對于剔除粗差后的SIFT 匹配點，在圖像上用50×50像素大小的格網(wǎng)進行分塊，在每一個格網(wǎng)內(nèi)隨機選取一個點，這樣，可以自動選取出足夠數(shù)目分布均勻的模型連接點用于后續(xù)的光束法平差。

2．3．3 光束法平差和目標(biāo)交接

將正確匹配和選取的同名特征點作為連接點，把火星巡視器不同位置、不同相機獲取的影像連接起來，構(gòu)建成影像網(wǎng)，對影像網(wǎng)進行攝影測量光束法平差，提高影像位置和姿態(tài)參數(shù)的精度和一致性。本文實驗中，為了實現(xiàn)目標(biāo)從導(dǎo)航相機到避障相機的交接，固定導(dǎo)航相機影像的外方位元素，平差調(diào)整避障相機的外方位元素。最后，將導(dǎo)航相機內(nèi)科學(xué)目標(biāo)的三維坐標(biāo)，根據(jù)避障相機平差后的外方位元素，投影到避障相機影像上，實現(xiàn)目標(biāo)交接。

對于光束法平差中的連接點，每個像點可列兩個誤差方程［11］：

式中：vx、vy為像點誤差；a11～a26為誤差方程系數(shù)；ΔXs、ΔYs、ΔZs、Δw、Δφ、Δκ分別為外方位線元素和角元素的改正數(shù)；ΔX、ΔY、ΔZ為對應(yīng)物方點三維坐標(biāo)的改正值；lx、ly為像點觀測坐標(biāo)觀測值與迭代過程中坐標(biāo)近似值之差。誤差方程組聯(lián)立后，最小二乘迭代求解影像外方位的改正數(shù)，最終得出較高精度影像外方位元素。

3 實驗驗證與分析

實驗的數(shù)據(jù)采用勇氣號火星巡視器在2004年2月間，接近一個叫“Humphrey”的石頭時，獲取的全景、導(dǎo)航和避障相機共10對立體影像，其中全景相機影像2對，導(dǎo)航相機影像4對，避障相機影像4對。數(shù)據(jù)從MER Analyst’s Notebook網(wǎng)站［12］下載得到，選取的是經(jīng)過處理的核線影像。影像文件中，包含了由里程計和慣性測量器件（IMU）數(shù)據(jù)，根據(jù)航跡推算（dead reckoning）方法得到的影像的外方位元素，由于巡視器輪打滑和IMU 漂移的影響，這些外方位元素的精度一般不高［13］。

以上文提到的導(dǎo)航相機和避障相機影像的交接為例，圖5是圖3中兩幅影像SIFT 特征點匹配結(jié)果，連線的兩端是匹配的同名點，共得到51對匹配點，顯然存在匹配粗差。圖6 是用RANSAC 方法剔除粗差后得到的42對正確匹配點。在正確匹配的SIFT關(guān)鍵點格網(wǎng)分塊，共選擇出14對分布比較均勻的點作為模型連接點進行光束法平差，因為兩幅圖像的視角、光照等相差較大，人工選取檢查點會引入較大誤差，故將SIFT 匹配其余的28 個匹配點，作為檢查點檢驗?zāi)繕?biāo)交接的精度。

圖5 SIFT 匹配結(jié)果（含粗差）Fig．5 SIFT matching results（including outliers）

圖6 剔除粗差后的SIFT 匹配結(jié)果和光束法平差后的目標(biāo)交接結(jié)果Fig．6 SIFT matching results after outlier elimination and handoff result after bundle adjustment

為了檢驗?zāi)繕?biāo)交接的精度，將導(dǎo)航相機影像與避障相機影像匹配的28個檢查點的像點坐標(biāo)作為真值，由導(dǎo)航相機三維點投影到避障相機影像的坐標(biāo)與真值的差值作為相機目標(biāo)交接的像方誤差。分別用光束法平差前后導(dǎo)航相機的外方位元素進行投影，以對比平差前后交接的精度。實驗表明，平差前，交接的精度為X方向16．49像素，Y方向12．23像素，平差后交接的精度為X方向3．49像素，Y方向1．49像素。導(dǎo)航相機、避障相機間的距離為3．63m。本次實驗根據(jù)獲取的10對立體像對，進行了不同類型相機的交接實驗，實驗結(jié)果匯總見表1。

從實驗結(jié)果可以看到，當(dāng)2個拍攝站點距離較近時（1m 以內(nèi)），光束法平差前的交接精度為3～4個像素，表明在很短距離航跡推算得到影像位置和姿態(tài)累積誤差不大，而本文方法交接的精度更高，為2個像素；拍攝站點距離不斷增大（大于3m），傳統(tǒng)的直接反投的誤差迅速增大，有20～40個像素之多，而本文提出方法的交接精度仍然保持在2～3個像素，與直接利用航跡推算得到的影像位置和姿態(tài)交接相比精度大幅度提高。因為在火星巡視器前進的過程中，基于航跡推算的定位、姿態(tài)等誤差會不斷累積，因而降低直接交接的精度，而通過光束法平差，可以大幅度提高方位參數(shù)的一致性，從而顯著提高了目標(biāo)交接精度。一般2～3個像素的交接精度，能夠滿足部署就位探測儀器的要求。

表1 交接誤差統(tǒng)計Table 1 Statistics of camera handoff errors

4 結(jié)束語

本文提出了一種基于SIFT 匹配和光束法平差的深空探測巡視器多相機目標(biāo)自動交接方法，能夠顯著提高目標(biāo)交接的精度和可靠性，滿足布設(shè)機械臂上儀器進行就位探測的要求。經(jīng)過進一步完善和測試，可應(yīng)用于未來深空巡視器探測任務(wù)中，實現(xiàn)單指令周期接近目標(biāo)和部署就位探測儀器，提高科學(xué)探測的效率和自動化程度。

（References）

［1］歐陽自遠(yuǎn)．月球探測進展與我國的探月行動［J］．自然雜志，2005，27（5）：253-257

Ouyang Ziyuan．Review of lunar exploration and introduction of Chinese lunar exploration project［J］．Nature Magazine，2005，27（5）：253-257（in Chinese）

［2］Di K C，Ge Z J．A brief review of Sprit’s six years of Mars roving and scientific discoveries［J］．Journal of Remote Sensing，2011，15（4）：651-658

［3］Kim W，Ansar A，Steele R．Rover mast calibration，exact camera pointing，and camera handoff for visual target tracking［C］／／IEEE International Conference on Robotics and Automation（ICRA）．New York：IEEE，2005

［4］Bajracharya M，Diaz-Calderon A，Robinson M，et al．Target tracking，approach，and camera handoff for automated instrument placement［C］／／IEEE Aerospace Conference．New York：IEEE，2005

［5］Li R X，Di K C，Matthies L H，et al．Rover localization and landing site mapping technology for 2003 Mars Exploration Rover mission［J］．Photogrammetric Engineering and Remote Sensing，2004，70（1）：77-90

［6］Di K C，Xu F L，Wang J，et al．Photogrammetric processing of rover imagery of the 2003 Mars Exploration Rover mission［J］．Journal of Photogrammetry and Remote Sensing，2008，63（2）：181-201

［7］Lowe D．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60（2）：91-110

［8］李曉明，鄭鏈，胡占義．基于SIFT 特征的遙感影像自動配準(zhǔn)［J］．遙感學(xué)報，2006，10（6）：885-892

Li Xiaoming，Zheng Lian，Hu Zhanyi．SIFT based automatic registration of remotely-sensed imagery［J］．Journal of Remote Sensing，2006，10（6）：885-892（in Chinese）

［9］張少敏，支力佳，趙大哲，等．融合SIFT 特征的熵圖像估計醫(yī)學(xué)圖像非剛性配準(zhǔn)［J］．中國圖像圖形學(xué)報，2012，17（3）：412-418

Zhang Shaomin，Zhi Lijia，Zhao Dazhe，et al．Entropic graph estimation integrated with SIFT features for medical image non-rigid registration［J］．Journal of Image and Graphics，2012，17（3）：412-418（in Chinese）

［10］Fischler M A，Bolles R C．Random sample consensus：aparadigm for model fitting with applications to image analysis and automated cartography［J］．Graphics and Image Processing，1981，24（6）：381-395

［11］李德仁，王樹根，周月琴．?dāng)z影測量與遙感概論［M］．2版．北京：測繪出版社，2008

Li Deren，Wang Shugen，Zhou Yueqin．Introduction to photogrammetry and remote sensing［M］．2nd ed．Beijing：Publishing House of Surveying and Mapping，2008（in Chinese）

［12］NASA Planetary Data System Geosciences Node．MER analyst’s notebook ［EB／OL］．［2004-02-29］．http：／／an．rsl．wustl．edu／mer／

［13］邸凱昌．火星車定位與制圖技術(shù)現(xiàn)狀以及對發(fā)展中國月球車／火星車定位制圖技術(shù)的建議［J］．遙感學(xué)報，2009，13（s1）：101-112

Di Kaichang．Review of mars exploration rover localization and mapping technology and suggestions for developing Chinese lunar／Mars rover localization and mapping technology［J］．Journal of Remote Sensing，2009，13（s1）：101-112（in Chinese）