侯一凡 王棟 邢帥 徐青 葛忠孝

摘要：為了滿足深空探測器實(shí)時(shí)測量天體表面形貌的需求，設(shè)計(jì)并實(shí)現(xiàn)了一套基于立體視覺的在線實(shí)時(shí)測量原型系統(tǒng)。該系統(tǒng)通過立體相機(jī)實(shí)時(shí)獲取空間天體的立體影像，利用每次觀測的一組立體影像來重建其局部表面形狀；再對(duì)每次重建的局部模型進(jìn)行連接，得到空間天體完整的表面形貌模型。通過仿真實(shí)驗(yàn)驗(yàn)證了該系統(tǒng)的可行性， 數(shù)據(jù)處理的速度與精度可以滿足對(duì)深空目標(biāo)進(jìn)行實(shí)時(shí)測量的需要。

關(guān)鍵詞：立體視覺；實(shí)時(shí)測量；模型連接；影像匹配；序列立體影像

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

Abstract：In order to satisfy the realtime demand of deep space probe map topography of celestial body， an online mobile realtime mapping prototype system based on image stereo vision was designed and implemented in this paper. Stereo images of space object was obtained in realtime by the stereo camera， a group of observed stereo images was used to reconstruct its surface shape， and then the local reconstructed model was connected to generate the whole surface topography model of the space object. The feasibility， accuracy and speed were proved by experiment. The results show that it can meet the demend of realtime mapping.

Key words：stereo vision； realtime mapping； model connection； image matching； sequence stereo image

0 引言

目前，深空探測器在空間天體的抵近過程中主要依據(jù)單個(gè)高分辨率光學(xué)傳感器與激光測距儀等科學(xué)儀器來測量其表面信息[1-3]。這種方式雖然有機(jī)械結(jié)構(gòu)簡單、易操作的特點(diǎn)，但是存在處理速度慢、地形點(diǎn)稀疏等不足，無法滿足探測器精確著陸和避障導(dǎo)航的需求。其原因是單個(gè)光學(xué)傳感器必須依靠在不同位置的多次成像來進(jìn)行攝影測量處理，而探測器位置與姿態(tài)的變化會(huì)使影像內(nèi)容存在明顯差異，導(dǎo)致后續(xù)的密集匹配與坐標(biāo)解算十分困難；現(xiàn)有的激光測距數(shù)據(jù)往往比較稀疏，在空間天體表面的密集測量中只能起到輔助作用， 因此，有學(xué)者提出采用立體視覺測量的方法來對(duì)空間天體進(jìn)行實(shí)時(shí)測量[3-6]。

華盛頓大學(xué)與微軟公司[7]合作為火星衛(wèi)星“探測者”號(hào)研制了寬基線立體視覺系統(tǒng)，系統(tǒng)使用同一個(gè)攝像機(jī)在“探測者”的不同位置上拍攝圖像對(duì)，根據(jù)兩次拍攝圖像時(shí)攝像機(jī)的相對(duì)位置，利用高效的圖像匹配計(jì)算得到圖像對(duì)中各點(diǎn)的三維坐標(biāo)，使“探測者”號(hào)能夠在火星上對(duì)其即將跨越的幾千米內(nèi)的地形進(jìn)行精確的定位和導(dǎo)航。傳統(tǒng)的目標(biāo)分割算法難以在高速實(shí)時(shí)環(huán)境中得到令人滿意的結(jié)果，麻省理工學(xué)院計(jì)算機(jī)系針對(duì)這一特點(diǎn)，提出了一種用于智能交通工具的傳感器融合方法，由雷達(dá)系統(tǒng)提供目標(biāo)深度的大致范圍，利用雙目立體視覺提供粗略的目標(biāo)深度信息，結(jié)合改進(jìn)的圖像分割算法，能夠在高速環(huán)境下對(duì)視頻圖像中的目標(biāo)位置進(jìn)行分割[8]。日本大阪大學(xué)自適應(yīng)機(jī)械系統(tǒng)研究院研制了一種自適應(yīng)雙目視覺伺服系統(tǒng)，利用雙目立體視覺的原理，識(shí)別每幅圖像中相對(duì)靜止的三個(gè)標(biāo)志，以預(yù)測出目標(biāo)下一步運(yùn)動(dòng)方向，實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)方式未知目標(biāo)的自適應(yīng)跟蹤[9]。國內(nèi)哈爾濱工業(yè)大學(xué)等[10-11]構(gòu)建了一套異構(gòu)雙目活動(dòng)視覺系統(tǒng)，通過將一個(gè)固定攝像機(jī)和一個(gè)可以水平旋轉(zhuǎn)的攝像機(jī)分別安裝在機(jī)器人的頂部和中下部，利用雙目協(xié)調(diào)技術(shù)使機(jī)器人同時(shí)捕捉多個(gè)有效目標(biāo)，實(shí)現(xiàn)了全自主足球機(jī)器人導(dǎo)航。

以上系統(tǒng)和方法有自己的優(yōu)缺點(diǎn)和適用性，在各自的領(lǐng)域都取得了一定的成功，但是還存在以下問題：

1）獲取的場景三維信息不完整。有的系統(tǒng)僅獲取場景中部分標(biāo)志物的三維信息，有的系統(tǒng)僅獲取場景中部分物體的三維信息，有的系統(tǒng)雖然獲取了整個(gè)場景的三維信息但密度不夠，不能表達(dá)場景中的一些細(xì)節(jié)信息。

2）獲取的場景三維信息未能整合。立體相機(jī)每一次拍攝的立體圖像均可以生成對(duì)應(yīng)場景的三維模型，但隨著立體相機(jī)的移動(dòng)，并沒有考慮模型之間的關(guān)系，將每次重建的三維模型整合在一起，以實(shí)現(xiàn)對(duì)大范圍場景的整體測量。

3）系統(tǒng)實(shí)時(shí)性不足。上述系統(tǒng)中，對(duì)于僅獲取場景中部分標(biāo)志物三維信息的系統(tǒng)來說，基本可滿足實(shí)時(shí)響應(yīng)的要求，但對(duì)于需要獲取全部場景精細(xì)三維信息的系統(tǒng)來說，其處理往往是線下的，還不能滿足實(shí)時(shí)響應(yīng)的要求。

為此，結(jié)合深空目標(biāo)的實(shí)時(shí)精確測量，本文設(shè)計(jì)并實(shí)現(xiàn)了一套立體視覺在線移動(dòng)實(shí)時(shí)測量原型系統(tǒng)，即通過立體相機(jī)獲取空間天體的序列立體影像，并經(jīng)過影像處理以得到其表面完整的三維信息。

1 在線實(shí)時(shí)測量系統(tǒng)的設(shè)計(jì)

1.1 硬件平臺(tái)構(gòu)建

本系統(tǒng)設(shè)計(jì)由影像數(shù)據(jù)采集模塊、立體視覺實(shí)時(shí)處理模塊和結(jié)果輸出模塊等構(gòu)成，下面給出本系統(tǒng)的設(shè)計(jì)示意圖（如圖1所示）。其中，影像數(shù)據(jù)采集模塊是由一對(duì)立體相機(jī)和一個(gè)影像采集卡組成，立體視覺實(shí)時(shí)處理模塊應(yīng)用計(jì)算機(jī)來進(jìn)行數(shù)據(jù)處理，而結(jié)果輸出模塊是利用OpenGL開發(fā)庫來構(gòu)建2.5維演示場景并由顯示器演示出來。

立體相機(jī)與計(jì)算機(jī)之間用路由器、千兆網(wǎng)線進(jìn)行連接，既提高數(shù)據(jù)傳輸?shù)乃俣龋挚稍鲩L數(shù)據(jù)傳輸?shù)木嚯x。立體視覺實(shí)時(shí)處理模塊由通用的CPU和存儲(chǔ)器組成，主要負(fù)責(zé)立體影像數(shù)據(jù)的接收、運(yùn)算處理以及三維信息的輸出。最后，由效果顯示模塊演示本系統(tǒng)在移動(dòng)過程中在線處理所得到的結(jié)果。

1.2 軟件設(shè)計(jì)與流程

立體視覺的基本原理是從兩個(gè)或多個(gè)視點(diǎn)觀察同一景物，以獲取物體在不同視角下的圖像，通過三角測量原理計(jì)算圖像像素間的位置偏差（即視差）來獲得三維信息。通過序列立體影像對(duì)的模型連接，可以將每次拍攝后生成的天體局部形貌模型統(tǒng)一起來，生成完整的天體形貌信息，其難點(diǎn)在于精確確定相鄰兩組立體影像對(duì)之間的幾何關(guān)系。本文通過相鄰立體影像對(duì)之間的模型匹配，提取出一定數(shù)量的同名模型點(diǎn)，據(jù)此建立相鄰立體影像對(duì)模型之間的空間變換模型，并通過模型糾正將兩組模型歸化至同一坐標(biāo)系下。下面給出系統(tǒng)實(shí)現(xiàn)的具體流程（如圖2所示）。

單個(gè)立體影像重建目標(biāo)天體三維信息的步驟包括相機(jī)標(biāo)定、核線影像糾正、影像匹配以及前交模型坐標(biāo)等，為了獲取密集的三維信息，本文采用了半全局匹配方法來獲取立體影像的密集同名點(diǎn)。而單個(gè)立體模型之間的連接是通過稀疏匹配前后影像間的同名點(diǎn)，以解算模型之間的連接參數(shù)，進(jìn)而可將各個(gè)單獨(dú)模型規(guī)劃至同一坐標(biāo)系中。下面具體給出立體影像密集匹配與模型連接的具體實(shí)現(xiàn)方法。

2 關(guān)鍵技術(shù)實(shí)現(xiàn)

2.1 半全局匹配

目前，常用的逐像素影像匹配算法有置信傳播（Belief Propagation， BP）算法、圖例（Graph Cut， GC）算法和半全局匹配（Semi Globel Matching， SGM）算法等。通過參閱相關(guān)文獻(xiàn)對(duì)比發(fā)現(xiàn)， SGM作為一種基于互信息和多方向動(dòng)態(tài)規(guī)劃的影像匹配算法，具有匹配效果好、速度快、魯棒性強(qiáng)等特點(diǎn)， 因此，本文采用SGM算法作為空間天體表面立體影像的匹配算法，基本思想是：先基于互信息執(zhí)行逐像素代價(jià)計(jì)算，再用多個(gè)一維的平滑約束來近似一個(gè)二維的平滑約束。

2.2 序列立體模型的連接

通過相鄰立體影像對(duì)之間的模型匹配，提取出一定數(shù)量的同名模型點(diǎn)，據(jù)此建立相鄰立體影像對(duì)模型之間的空間變換模型，并通過模型糾正將兩組模型歸化至同一坐標(biāo)系下。其原理是依據(jù)同一相機(jī)在相鄰時(shí)刻獲取的影像中存在同名像點(diǎn)及其對(duì)應(yīng)的模型三維坐標(biāo)，以此為連接點(diǎn)，通過相似變換可以將得到的連續(xù)立體模型連成一個(gè)整體。而相鄰時(shí)刻前后影像間的同名像點(diǎn)需要匹配獲得，快速魯棒性特征（Speeded Up Robust Feature， SURF）算子是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域應(yīng)用較多的一種特征點(diǎn)提取與匹配算法，其具有穩(wěn)定性好、速度快且正確率高的特點(diǎn)， 因此，本文采用SURF算子匹配前后影像間的稀疏同名點(diǎn)，進(jìn)而得到立體模型間對(duì)應(yīng)的連接點(diǎn)。

由式（4）可知，式中含有7個(gè)未知參數(shù)，而一對(duì)連接點(diǎn)的方程個(gè)數(shù)為3，因而解算它們就至少需要3個(gè)不在一條直線上的同名特征點(diǎn)。在實(shí)際處理過程中，為了保證精度、可靠性，常需要4個(gè)或4個(gè)以上的同名特征點(diǎn)來答解變換參數(shù)。由式（4）的線性化方程就可以計(jì)算出前后立體模型之間的變換關(guān)系，即7個(gè)變換參數(shù)，反過來由這些參數(shù)可將后一個(gè)模型三維點(diǎn)云轉(zhuǎn)換至前一個(gè)模型中，序列立體模型連接的處理流程如圖4所示。經(jīng)過序列立體模型的連接，探測器在移動(dòng)過程中所重建的目標(biāo)天體局部模型可以整合到第1組立體模型的坐標(biāo)系中，形成整個(gè)探測區(qū)域完整的三維模型。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)條件

為了模擬深空探測器測繪天體形貌和識(shí)別其表面特征，課題組構(gòu)建了一套行星表面抵近測繪綜合仿真實(shí)驗(yàn)系統(tǒng)，其硬件平臺(tái)由高精度三維運(yùn)動(dòng)平臺(tái)、高精度姿態(tài)調(diào)整平臺(tái)、運(yùn)動(dòng)控制單元、光學(xué)測量系統(tǒng)、激光雷達(dá)測量系統(tǒng)以及地形沙盤等部分構(gòu)成，其地面仿真實(shí)驗(yàn)平臺(tái)整體結(jié)構(gòu)及行星表面地形模擬沙盤如圖5所示。

為了模擬深空探測器遞進(jìn)小行星天體并對(duì)其表面形貌進(jìn)行測繪的過程，本實(shí)驗(yàn)堆建了該小行星的局部形貌模型。為了驗(yàn)證小行星天體表面形貌測量的精度，本文在形貌模型表面設(shè)置了圓形標(biāo)志點(diǎn)，以便后續(xù)與激光測距數(shù)據(jù)進(jìn)行精度對(duì)比。

3.2 實(shí)驗(yàn)數(shù)據(jù)及其處理

通過控制綜合仿真實(shí)驗(yàn)系統(tǒng)的三維運(yùn)動(dòng)平臺(tái)，就可以由立體相機(jī)獲取形貌模型光學(xué)序列立體影像對(duì)，下面給出部分影像數(shù)據(jù)如圖6所示。

結(jié)合已知的標(biāo)定結(jié)果，可以直接糾正獲取的立體影像對(duì)，每幀影像對(duì)糾正所花費(fèi)的時(shí)間約為18ms。由于影像對(duì)糾正時(shí)間只與其大小有關(guān)，因而不同影像對(duì)糾正的時(shí)間是基本一致的。接著，利用前文所述的SGM算法對(duì)糾正后的立體影像對(duì)進(jìn)行逐像素匹配，其深度范圍設(shè)置為0至64像素，得到相應(yīng)的視差圖如7所示。由于目標(biāo)地形是連續(xù)起伏的，從而立體影像的匹配點(diǎn)與參考點(diǎn)的順序是基本一致的，因此本系統(tǒng)在數(shù)據(jù)處理過程中將視差值為負(fù)或大于64的匹配結(jié)果視為誤匹配并剔除它。據(jù)統(tǒng)計(jì)，應(yīng)用SGM算法匹配立體影像所花費(fèi)的時(shí)間為120～150ms，隨機(jī)對(duì)30組立體影像進(jìn)行匹配，平均耗時(shí)為137.3ms。其原因是不同立體影像對(duì)得到的有效同名點(diǎn)個(gè)數(shù)存在差異，誤差點(diǎn)剔除與同名點(diǎn)匹配所花費(fèi)時(shí)間不一樣。但是，一般情況下，立體影像對(duì)的匹配時(shí)間小于150ms，由同名像點(diǎn)計(jì)算對(duì)應(yīng)的三維坐標(biāo)所費(fèi)時(shí)間僅為30～35ms。而立體影像對(duì)拍攝的間隔時(shí)間往往大于1s，顯然立體影像對(duì)重建三維信息滿足在線實(shí)時(shí)測量要求。

由SURF匹配算法獲取序列立體像對(duì)間的模型連接點(diǎn)，上面4組影像對(duì)之間的連接點(diǎn)個(gè)數(shù)分別為1298、1370和1552，分別花費(fèi)了189ms、201ms和233ms。根據(jù)前文序列立體模型的連接方法，將各個(gè)獨(dú)立模型統(tǒng)一規(guī)劃至第1個(gè)模型坐標(biāo)系中，連接順序按照立體相機(jī)獲取立體影像的順序進(jìn)行。實(shí)驗(yàn)中共獲取立體影像為51對(duì)，包含3條航帶且每個(gè)航帶17對(duì)立體影像，從立體影像對(duì)獲取、獨(dú)立模型生成至模型坐標(biāo)的歸一化共花費(fèi)時(shí)間約61s，其中部分時(shí)間消耗在模型坐標(biāo)轉(zhuǎn)換上。下面給出整個(gè)探測區(qū)域的三維形貌模型及其疊加紋理后的結(jié)果（如圖8和圖9所示）。

圖8是通過分層設(shè)色的方法來表示形貌模型的高程變化，從低到高采用了由藍(lán)至紅色彩來漸進(jìn)表示；圖9是結(jié)合構(gòu)像方程將影像紋理映射到重建的形貌模型上，更好地展示了小行星表面模型的形貌特征，如撞擊坑、小山丘以及溝壑等形貌，同時(shí)可以顯示出標(biāo)志點(diǎn)的位置。

由圖10可見，BP算法、GC算法主要存在兩點(diǎn)不足：首先，因算法中無一致性檢查，造成匹配深度中存在不同程度的漏匹配區(qū)域；其次，因其算法為像素級(jí)匹配，使得匹配結(jié)果出現(xiàn)較為明顯的深度層次。在效率方面，其他算法匹配耗時(shí)為260～310ms之間，約為SGM算法耗時(shí)的兩倍。由上實(shí)驗(yàn)可以看，SGM算法匹配結(jié)果不僅無漏匹配區(qū)域，而且深度圖的灰度變化相對(duì)平滑，耗時(shí)較少，能夠達(dá)到準(zhǔn)實(shí)時(shí)的效果，是一種較好的密集匹配算法。

3.3.2三維信息重建精度的對(duì)比

為了評(píng)價(jià)地形形貌重建的精度，本實(shí)驗(yàn)利用激光掃描儀獲取了模擬地形的三維激光點(diǎn)云數(shù)據(jù)（如圖11所示），其坐標(biāo)精度可達(dá)毫米級(jí)，可作為重建形貌模型的參考標(biāo)準(zhǔn)。

首先，分別從序列立體影像對(duì)重建的形貌模型和激光掃描儀獲取的形貌模型中提取出對(duì)應(yīng)的標(biāo)志點(diǎn)，應(yīng)用空間相似變換原理將兩個(gè)模型統(tǒng)一至統(tǒng)一坐標(biāo)系下；再任意選擇其中部分對(duì)應(yīng)的標(biāo)志點(diǎn)坐標(biāo)進(jìn)行比較，計(jì)算出它們的高程差，給出相應(yīng)的精度評(píng)價(jià)。實(shí)驗(yàn)中，隨機(jī)抽取了10個(gè)相對(duì)離散的檢查點(diǎn)，其結(jié)果如表3所示。

從表3中可看出，序列立體影像重建的形貌結(jié)果與激光掃描儀獲取的結(jié)果之間相差不超過10%，最大誤差為31.9mm。其誤差產(chǎn)生的原因：一方面，重建結(jié)果與掃描結(jié)果統(tǒng)一坐標(biāo)系時(shí)所使用的對(duì)應(yīng)三維點(diǎn)坐標(biāo)是通過人工交互選取而得的，存在一定的主觀誤差；另一方面，立體影像和相鄰影像的匹配精度都是像素級(jí)的，雖然匹配速度有所提高但降低了匹配精度，加上模型間連接會(huì)進(jìn)一步傳遞誤差。

4 結(jié)語

結(jié)合未來空間小天體的探測需求，本文設(shè)計(jì)并實(shí)現(xiàn)了一套立體視覺在線移動(dòng)實(shí)時(shí)測量原型系統(tǒng)，其創(chuàng)新之處在于該系統(tǒng)利用立體相機(jī)代替了傳統(tǒng)的單相機(jī)，可以同時(shí)獲取天體表面的立體影像并實(shí)時(shí)重建其三維信息；通過匹配相鄰立體影像的同名點(diǎn)，以此作為連接點(diǎn)將立體模型歸化至統(tǒng)一坐標(biāo)系中，形成探測區(qū)域整體的三維模型。實(shí)驗(yàn)結(jié)果顯示，本文方法能夠生成獨(dú)立形貌模型并將各個(gè)模型規(guī)劃至一個(gè)整體，且能夠滿足在線實(shí)時(shí)測量的應(yīng)用需求。

當(dāng)然，在實(shí)驗(yàn)過程中我們發(fā)現(xiàn)了該系統(tǒng)主要存在兩大問題，即影像匹配的精度問題和數(shù)據(jù)處理的速度問題。隨著探測器獲取的影像數(shù)據(jù)越來越多，重建生成模型的數(shù)據(jù)量越來越大，系統(tǒng)處理的速度隨之越來越慢。下一步，研究重點(diǎn)是采用子像素級(jí)匹配方法來提高立體影像和前后影像的匹配精度，采用數(shù)據(jù)分塊處理策略來提高系統(tǒng)運(yùn)行的速度。

參考文獻(xiàn)：

[1]MELOSH H J. Planetary Surface Processes[M]. Cambridge： Cambridge University Press， 2011：124-135.

[2]ZUBER M T， SMITH D E， CHENG A F， et al. The shape of 433 eros from the NEARshoemaker laser rangefinder[J]. Science， 2000， 289（5487）： 2097-2101.

[3]徐偉彪， 趙海斌. 小行星深空探測的科學(xué)意義和展望[J]. 地球科學(xué)進(jìn)展， 2005， 20（11）： 1183-1190.（XU W B， ZHAO H B. Deep space exploration of asteroids the science perspectives[J].Advances in Earth Science， 2005， 20（11）： 1183-1190.）

[4]PREUSKER F， SCHOLTEN F， MATZ K D， et al. Global shape of （4） vesta from dawn FC stereo images [J]. LPI Contributions， 2014， 1773：2027.

[5]藍(lán)朝楨， 耿迅， 徐青，等. 基于序列影像的小天體三維形狀重建方法研究[J]. 深空探測學(xué)報(bào)， 2014， 1（2）： 140-145.（LAN C Z，GENG X，XU Q， et al. 3D shape reconstruction for small celestial body based on sequence images[J]. Journal of Deep Space Exploration， 2014， 1（2）：140-145.）

[6]張廣軍.視覺測量[M].北京： 科學(xué)出版社， 2008： 55-61.（ZHANG G J. Vision Measurement[M]. Beijing： Science Press， 2008： 55-61.）

[7]OLSON C F， ABIRACHED H， YE M， et al. Widebaseline stereo vision for Mars rovers[C]// Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway， NJ： IEEE， 2003： 1302-1307.

[8]FANG Y J， MASAKI I， HORN B. Depthbased target segmentation for intelligent vehicles： fusion of radar and binocular stereo[J]. IEEE Transactions on Intelligent Transportation Systems， 2002， 3（3）：196-202.

[9]ASADA M， TANAKA T， HOSODA K. Visual tracking of unknown moving object by adaptive binocular visual servoing[C]// Proceedings of the 1999 IEEE International Conference on Multisensor Fusion and Intelligent Systems. Piscataway：IEEE，1999：249-254.

[10]高慶吉，洪炳熔，阮玉峰.基于異構(gòu)雙目視覺的全自主足球機(jī)器人導(dǎo)航[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2003， 35（9）： 1029-1032. （GAO Q J， HONG B R， RUAN Y F. Navigation of smallsize autonomous soccer robot based on isovision system with two cameras[J]. Journal of Harbin Institute of Technology， 2003：35（9）： 1029-1032.）

[11]崔躍軍. 基于雙目相機(jī)的小行星軟著陸導(dǎo)航方法及其仿真平臺(tái)研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2009.（CUI Y J. Research and simulation platform on navigation algorithms based on binocular vision for softlanding asteroid [D]. Harbin： Harbin Institute of Technology，2009.）