宋江波，姚荷雄，李婉清，朱祥維，戴志強

衛(wèi)慣視組合導(dǎo)航技術(shù)發(fā)展趨勢

宋江波1，姚荷雄2，李婉清2，朱祥維2，戴志強2

（1. 中山大學(xué) 系統(tǒng)科學(xué)與工程學(xué)院，廣州 510006；2. 中山大學(xué)（深圳） 電子與通信工程學(xué)院，廣東 深圳 518107）

針對在無人機導(dǎo)航和自動駕駛等領(lǐng)域的大尺度場景中，視慣組合導(dǎo)航系統(tǒng)表現(xiàn)不穩(wěn)定或因無法閉環(huán)而產(chǎn)生誤差累積的問題，提出融合衛(wèi)星導(dǎo)航全局測量優(yōu)勢是實現(xiàn)大尺度室內(nèi)外無縫導(dǎo)航的重要手段，并從衛(wèi)星-視覺-慣性（GVI）組合導(dǎo)航數(shù)據(jù)融合算法角度出發(fā)，對GVI組合導(dǎo)航技術(shù)研究現(xiàn)狀和發(fā)展趨勢進行總結(jié)展望：首先，借鑒同時定位與建圖（SLAM）架構(gòu)，給出GVI組合導(dǎo)航系統(tǒng)的基本理論和框架；接著，從數(shù)據(jù)融合算法入手，對比分析基于濾波和基于優(yōu)化方法的方案；然后，探討不同場景下GVI+組合導(dǎo)航系統(tǒng)在無人系統(tǒng)上的應(yīng)用潛力；最后，對該領(lǐng)域近年來的發(fā)展進行討論總結(jié)并展望發(fā)展趨勢。

同時定位與建圖（SLAM）；全球衛(wèi)星導(dǎo)航系統(tǒng)（GNSS）；衛(wèi)慣視組合；狀態(tài)估計；傳感器融合

0 引言

近年來，慣性導(dǎo)航系統(tǒng)（inertial navigation system，INS）已被廣泛應(yīng)用于傳感平臺的位置和姿態(tài)的估計，特別是在全球衛(wèi)星導(dǎo)航系統(tǒng)（global navigation satellite system，GNSS）拒止環(huán)境中。大多數(shù)INS使用六軸慣性測量單元對與其剛性連接平臺的局部線性加速度和角速度進行測量。隨著硬件設(shè)計和制造的發(fā)展，低成本、低體量的慣性測量單元（inertial measurement unit，IMU）應(yīng)用越來越廣泛[1-2]。這使得移動設(shè)備和微型飛行器（miniature unmanned aerial vehicle，MAV）等[3]能夠?qū)崿F(xiàn)高精度定位，在移動增強現(xiàn)實（augmented reality, AR）[4-6]、虛擬現(xiàn)實（virtual reality, VR）[7]以及自動駕駛[8-11]等廣泛新興應(yīng)用中意義重大。IMU通過對高頻率輸出的加速度和角速度進行積分得到載體的位置姿態(tài)信息。慣性導(dǎo)航作為一種無源的航跡推算方法，缺點是容易受振動、零偏和自身溫度的影響從而導(dǎo)致累計誤差，對于長期導(dǎo)航并不可靠[12]。雖然存在高精度的戰(zhàn)術(shù)級IMU，但是對于大規(guī)模部署帶來的高成本而言顯得較不現(xiàn)實。

純視覺導(dǎo)航定位技術(shù)是另一種無源的導(dǎo)航定位方式，只依靠單目相機、雙目相機或深度相機（RGB-D相機）等提供量測信息[13-14]。其優(yōu)點是能夠從圖像提取豐富的信息，相機靜止時無積累誤差產(chǎn)生，以及成本較為低廉。但其具有的易受到光照和動態(tài)物體的干擾，單目尺度不確定[15]，以及因相機快速運動而導(dǎo)致目標(biāo)丟失等視覺傳感器固有的缺陷也不可忽視。

視覺信息與IMU的結(jié)合具有優(yōu)勢互補性。一方面，體積小、重量輕的相機能夠提供豐富的環(huán)境感知信息，常作為慣性導(dǎo)航系統(tǒng)的輔助系統(tǒng)。另一方面，IMU測量值的輔助可以顯著提高運動跟蹤性能，彌補一些由于照明變化、無紋理區(qū)域或運動模糊造成的視覺軌跡偏差。因此，視覺慣性導(dǎo)航系統(tǒng)（vision-inertial navigation system，VINS）解決了單一傳感器的不足。然而，VINS存在以下固有短板：1）VINS的準(zhǔn)確性在高度動態(tài)環(huán)境、弱紋理和暗光環(huán)境中會嚴(yán)重下降；2）相機和IMU估計中的誤差積累不可避免，并且在大尺度場景中運行VINS時，回環(huán)常常無法發(fā)生而導(dǎo)致誤差持續(xù)積累；3）全局位置不可觀測，VINS得到的是局域坐標(biāo)系下的位姿。因此，需要全局測量方法的輔助來實現(xiàn)對大尺度軌跡的精確估計。

目前，在大尺度戶外場景的定位服務(wù)中, GNSS因其獲取大地坐標(biāo)的能力和在開闊區(qū)域的穩(wěn)定性能而得到了廣泛的開發(fā)，如自動駕駛[16]、無人機導(dǎo)航[17]等領(lǐng)域。但是在一些挑戰(zhàn)環(huán)境中，如水下、室內(nèi)、城市峽谷、地下洞穴等，GNSS信號薄弱甚至缺失導(dǎo)致全局測量失效，而視覺和慣性等局域測量起到了輔助作用。近年來，多傳感器組合導(dǎo)航定位技術(shù)成為研究熱點，它利用各傳感器的互補特性，可實現(xiàn)更為精確和魯棒的狀態(tài)估計。目前，衛(wèi)慣組合導(dǎo)航的研究已經(jīng)較為成熟[18]，但是在衛(wèi)星拒止的場景中，慣性導(dǎo)航的累積誤差會導(dǎo)致導(dǎo)航定位不可靠。而視覺測量信息的約束會消除一部分慣導(dǎo)的誤差漂移。因此，衛(wèi)慣視3種傳感器在不同適用的導(dǎo)航尺度和場景方面具有很強的互補性。在實際應(yīng)用中，融合GNSS、IMU和視覺的衛(wèi)慣視（GNSS-vision-inertial，GVI）導(dǎo)航系統(tǒng)有望在城市峽谷、室內(nèi)外、水下、洞穴等挑戰(zhàn)性環(huán)境中實現(xiàn)精確的局部和全局一致的定位。

本文基于GVI組合導(dǎo)航技術(shù)，圍繞數(shù)據(jù)融合方法對該領(lǐng)域的研究工作進行總結(jié)梳理。首先，簡述GVI組合導(dǎo)航的基本原理；其次，對基于濾波和優(yōu)化方法的方案進行對比分析；然后介紹該領(lǐng)域相關(guān)的應(yīng)用；最后對該領(lǐng)域近年來的發(fā)展進行討論和展望。

1 GVI組合導(dǎo)航系統(tǒng)的基本原理

本文所述GVI組合導(dǎo)航系統(tǒng)借鑒同步定位和制圖（simultaneous location and mapping，SLAM）框架進行構(gòu)建。GVI-SLAM的狀態(tài)估計方案是整個系統(tǒng)的技術(shù)核心，根據(jù)狀態(tài)估計方法不同，主要分為基于濾波和基于優(yōu)化2類。本節(jié)首先簡要概述了基于GVI的SLAM基本概念和框架，其次對數(shù)據(jù)融合算法的分類進行說明，最后對狀態(tài)估計中系統(tǒng)狀態(tài)變量選擇和最大后驗估計理論進行闡述。

1.1 基本框架

SLAM作為一種局域測量技術(shù)，是指在沒有先驗信息的位置環(huán)境中，移動機器人根據(jù)自身搭載的傳感器提供的測量信息來實現(xiàn)自主定位[19]。SLAM技術(shù)是GNSS拒止環(huán)境下提供導(dǎo)航定位的有效解決手段。SLAM中常用的局部測量傳感器可分為感知自身運動信息的本體傳感器，如IMU、輪速計等，以及感知外部環(huán)境的傳感器，如相機、激光雷達(dá)等。但是，在大尺度場景下，實現(xiàn)長時間大規(guī)模無漂移的SLAM，需要融合GNSS等全局測量技術(shù)。

GVI組合導(dǎo)航系統(tǒng)框架借鑒經(jīng)典的SLAM框架，包括傳感器數(shù)據(jù)讀取端、前端、后端、回環(huán)檢測與建圖，如圖1所示。其中，前端將衛(wèi)慣視傳感器的數(shù)據(jù)抽象成適用于估計的模型，并進行數(shù)據(jù)關(guān)聯(lián)。短期數(shù)據(jù)關(guān)聯(lián)是指特征點的追蹤，而回環(huán)檢測就是進行一個長期數(shù)據(jù)關(guān)聯(lián)?；丨h(huán)檢測用來判斷機器人是否經(jīng)過已知的位置。但是在大尺度場景下可能不會發(fā)生回環(huán)，此時GNSS起到了約束漂移誤差的作用。后端的作用是對接受到的不同時刻的位姿和回環(huán)檢測信息進行優(yōu)化得到全局一致的軌跡，同時向前端提供反饋，用于回環(huán)的檢測和驗證。建圖則是根據(jù)狀態(tài)估計得到的位姿和地圖點信息建立與任務(wù)要求相對應(yīng)的地圖。通常，通過狀態(tài)估計只得到載體位姿信息。僅提供定位功能，不包含建圖部分的系統(tǒng)稱為里程計。而帶有回環(huán)檢測和全局后端（同時優(yōu)化位姿和地圖點）的完整框架被稱為SLAM。本文使用的3個典型術(shù)語為：視慣里程計（vision-inertial odometry，VIO）和視慣SLAM（vision-inertial SLAM，VI-SLAM）、衛(wèi)慣視里程計（GNSS-vision-inertial odometry，GVIO）、衛(wèi)慣視SLAM （GNSS-vision-inertial SLAM, GVI-SLAM）。

圖1 GVI-SLAM基本框架

1.2 數(shù)據(jù)融合算法的分類

SLAM問題的本質(zhì)是根據(jù)觀測值對機器人的位姿和路標(biāo)進行估計。當(dāng)有多個傳感器同時提供觀測值時，如GVI-SLAM問題，首先考慮各觀測值的融合問題，然后將融合后的觀測值通過濾波方法或優(yōu)化方法進行位姿和路標(biāo)的求解。數(shù)據(jù)融合算法的分類，根據(jù)不同融合方法，分為松耦合和緊耦合；根據(jù)不同求解方法，分為濾波和優(yōu)化。

1.2.1 松耦合和緊耦合

在實際應(yīng)用中，機器人或者硬件設(shè)備一般情況都不會只搭載某一種傳感器，而是多種傳感器的組合。根據(jù)參與融合的參數(shù)不同，GVI組合系統(tǒng)的傳感器數(shù)據(jù)融合方式可分為2個大類，即松耦合和緊耦合。

松耦合是指相機、IMU和GNSS分別進行自身系統(tǒng)的運動估計，然后將三者位姿估計的結(jié)果進行融合。雖然這種方式計算效率較高，但衛(wèi)慣視的解耦會導(dǎo)致信息丟失。其制定過程中使用了偽距和載波相位觀測值，精密星歷、軌道、鐘差等產(chǎn)品來提高精度。上述所有工作都依賴于GNSS解決方案來執(zhí)行估計；因此，在跟蹤衛(wèi)星數(shù)量低于 4顆的情況下，一旦GNSS解不可用，就會發(fā)生系統(tǒng)故障。

相比之下，緊耦合將相機、IMU以及GNSS原始數(shù)據(jù)融合在在一起，共同構(gòu)建運動方程和觀測方程，再進行狀態(tài)估計，從而達(dá)到更高精度。這類方法在視覺端和GNSS端都采用了緊密耦合，即圖像的特征點和GNSS原始測量值都可以作為基于濾波器或基于優(yōu)化的框架中的測量值。

1.2.2 濾波和優(yōu)化

根據(jù)后端狀態(tài)估計求解位姿和路標(biāo)方法的不同，可分為基于濾波和基于優(yōu)化2個大類。

在濾波方法中，擴展卡爾曼濾波器（extended Kalman filter，EKF）、無跡卡爾曼濾波器（unscented Kalman filter，UKF）、粒子濾波（particle filter，PF）等都有一定的成果。濾波方法中基于EKF的多狀態(tài)約束卡爾曼濾波器（multi-state constraint Kalman filter，MSCKF）研究比較廣泛，基于MSCKF的改進方法也比較多。

特征提取和圖像匹配是基于優(yōu)化的方法常用的圖像處理技術(shù)。自平行追蹤和建圖方法[20-21]（parallel tracking and mapping，PTAM）之后，IMU數(shù)據(jù)則被視為先驗項或者正則化項。批量非線性優(yōu)化方法一般都分為2個線程，即跟蹤和建圖。三維空間中的點、線或其他路標(biāo)特征在跟蹤線程中通過各種特征檢測方法（直接法、非直接法、半直接法）從圖像中被提取出來。然后，針對檢測到的所有特征，在2個圖像之間定義重投影誤差，用該誤差建立優(yōu)化的代價函數(shù)，優(yōu)化得到特征或地標(biāo)的坐標(biāo)，即光束平差法[22]（bundle adjustment，BA）。在建圖線程，地圖中特征和路標(biāo)的坐標(biāo)被用于定義2幅圖像之間的重投影誤差，然后再次應(yīng)用優(yōu)化算法得到移動機器人位姿變化量。因為跟蹤部分需要實時響應(yīng)圖像數(shù)據(jù)來快速獲得跟蹤結(jié)果，而地圖的優(yōu)化可以放在后端緩慢運行沒有必要實時計算，所以優(yōu)化問題可以分為2個并行的線程?；趦?yōu)化的方法通常使用通用圖優(yōu)化庫[23]（general graphic optimization，g2o）、谷歌的非線性優(yōu)化庫Ceres[24]、佐治亞理工學(xué)院平滑和建圖方法[25]（Georgia Tech smoothing and mapping，GTSAM）以及增量平滑和建圖方法[26]（incremental smoothing and mapping，iSAM）等非線性優(yōu)化庫實現(xiàn)優(yōu)化。

濾波方法與優(yōu)化方法各有優(yōu)勢。一方面，濾波方法可以實現(xiàn)快速推斷，但其準(zhǔn)確性會因線性化誤差的累積而下降。另一方面，基于非線性優(yōu)化的完全平滑方法是精確的，但計算量大。固定滯后平滑提供了準(zhǔn)確性與效率之間的折衷。然而，目前還不清楚如何設(shè)置評估窗口的長度以保證給定的性能水平?，F(xiàn)階段，隨著計算機性能的提升，基于優(yōu)化的方法在精度和魯棒性方面占據(jù)更多的優(yōu)勢，逐漸成為了主流。

1.3 系統(tǒng)狀態(tài)變量

1.4 最大后驗估計

在概率框架下制定和推導(dǎo)狀態(tài)估計問題。整個GVI組合導(dǎo)航問題被表述為一個因子圖，來自傳感器的測量形成一系列因子，這些因子反過來約束系統(tǒng)狀態(tài)。

將最優(yōu)系統(tǒng)狀態(tài)定義為給定所有測量值后驗概率最大化的狀態(tài)。假設(shè)所有測量值相互獨立，且每個測量值的噪聲均為零均值高斯分布，則最大后驗概率估計問題可進一步轉(zhuǎn)化為最小化一系列代價函數(shù)的總和，每個代價函數(shù)對應(yīng)一個具體的測量值，推導(dǎo)過程如下：

假設(shè)測量值是獨立的，即對應(yīng)的噪聲是不相關(guān)的，式（4）可分解為

對式（6）取負(fù)對數(shù)，求最小化負(fù)對數(shù)等價于求解高斯分布的最大似然，進而等價于求解最大后驗概率，即

式（7）是一個非線性最小二乘問題。即最大后驗概率估計問題最終轉(zhuǎn)化為最小化一系列代價函數(shù)的總和，每個代價函數(shù)對應(yīng)一個具體的測量值。式（7）可表示不同的傳感器模型，例如，IMU、相機、GNSS等。因此，可以將GVI-SLAM優(yōu)化問題分解為與狀態(tài)變量和觀測值相關(guān)的單個因子。如圖2所示，用因子圖表示GVI-SLAM：表示本體連續(xù)時刻的位姿；表示路標(biāo)；表示鐘差和時鐘漂移；因子用黑色方塊表示，其中有慣性因子、視覺因子[28]以及GNSS因子[29]和先驗因子。

2 基于GVI組合導(dǎo)航系統(tǒng)的方案

本節(jié)主要梳理基于GVI組合導(dǎo)航的發(fā)展。在早期的研究中，濾波技術(shù)是研究的重點，而隨著硬件以及算法的發(fā)展，優(yōu)化方法逐漸展現(xiàn)出精度和魯棒優(yōu)勢。在很多案例中，GVI組合都是由VI組合系統(tǒng)發(fā)展而來，GNSS的融合方式也由松耦合向緊耦合演化。

2.1 基于濾波的VI系統(tǒng)發(fā)展

濾波方法通過更新最新的狀態(tài)來進行有效的估計。VINS緊耦合方法的研究最早可以追溯到多狀態(tài)約束卡爾曼濾波[30]。MSCKF是一種基于EKF的狀態(tài)估計器，它利用多姿態(tài)之間的幾何約束來有效地優(yōu)化系統(tǒng)狀態(tài)，其中通過特征邊緣化避免了EKF在特征數(shù)量上的二次代價。后來MSCKF應(yīng)用于航天器下降著陸[31]和快速無人機自主飛行[32]。該方法使用基于四元數(shù)的慣性動力學(xué)進行狀態(tài)傳播，并與有效的EKF更新緊密耦合。具體來說，將視覺方位測量投影到特征雅可比矩陣的零空間（即線性邊緣化[33]），從而在狀態(tài)向量[34]中保留僅與隨機克隆的相機姿態(tài)相關(guān)的運動約束的方法優(yōu)于將攝像機圖像上檢測和跟蹤的特征添加到狀態(tài)向量的方法。在消除對成百上千個點特征的潛在聯(lián)合估計的過程中大大減小了計算成本，但這種操作阻止了非線性測量后特征的線性化，導(dǎo)致近似性能下降。

MSCKF 2.0[35]在MSCKF的基礎(chǔ)上進行完善，提出一種新的、實時的基于EKF的VIO算法，通過確保其線性化系統(tǒng)模型的正確可觀測性，以及在線估計相機到IMU校準(zhǔn)參數(shù)，來實現(xiàn)一致性估計?；贛SCKF的VINS后來又?jǐn)U展到立體相機[36-37]、卷簾相機、RGB-D相機[38-39]、多相機[36-37,40]和多IMU[41]。2020年，文獻(xiàn)[42]開源了一個基于MSCKF視慣融合的開發(fā)平臺，稱為OpenVINS，為學(xué)術(shù)界和工業(yè)界的相關(guān)人員提供了快速上手的視慣融合估計研究平臺。

除了使用非直接法提取特征點的方案，魯棒視覺慣性里程計[43-44]（robust visual inertial odometry，ROVIO）使用直接數(shù)據(jù)關(guān)聯(lián)提供一個帶有光度誤差的迭代EKF，將IMU測量值與來自一個或多個相機的視覺數(shù)據(jù)緊密融合。

基于濾波的VINS由于其高效率的優(yōu)點，也常被擴展到GVI組合的系統(tǒng)。

2.2 基于濾波的GVI系統(tǒng)發(fā)展

在室外開闊環(huán)境下，文獻(xiàn)[45-46]研究以無人機為載體，通過松耦合方式描述的在EKF框架下融合GNSS解與視覺和慣性數(shù)據(jù)的狀態(tài)估計系統(tǒng)。文獻(xiàn)[47]提出了一種魯棒自適應(yīng)EKF，基于低成本傳感器，由獨立的視覺測程算法估計的位姿與慣性和GPS測量值在隨后的估計步驟中融合。上述方法在視覺端和GNSS端都應(yīng)用松耦合，在可觀測衛(wèi)星不足的情況下，GNSS解失效，系統(tǒng)將無法解算。

在挑戰(zhàn)環(huán)境中，如城市峽谷和室內(nèi)，由于建筑物的遮擋，可觀測衛(wèi)星數(shù)少于4個。文獻(xiàn)[48]提出了將有限的GNSS測量值與單目和雙目相機[49]圖像中提取的特征相結(jié)合的緊耦合方法，證明有限的GNSS測量值也可以提高視覺定位的性能。文獻(xiàn)[50]將其擴展到GNSS測量值與向上的相機結(jié)合，更適合城市環(huán)境的定位。文獻(xiàn)[51]在此基礎(chǔ)上，基于EKF的方法又加入IMU測量值，使用IMU測量進行狀態(tài)預(yù)測，并使用特征點以及偽距和多普勒頻移測量更新狀態(tài)。文獻(xiàn)[52]將MSCKF視覺測量模型與雙差分GNSS測量模型相結(jié)合，對積分濾波器進行更新，實時動態(tài)測量技術(shù)（real time kinematic，RTK）解決方案通常具有厘米級的精度，采用緊耦合的多GNSS RTK/INS/Vision集成大大提高了速度和姿態(tài)精度，特別是偏航角。雖然與單點GNSS相比，雙差GNSS提供了更精確的定位測量，但它需要額外的基站。相似的工作如文獻(xiàn)[53]使用緊耦合方式結(jié)合相機、IMU和GNSS RTK在EKF框架下進行定位。文獻(xiàn)[54]提出了一種無跡卡爾曼濾波算法，該算法融合了視覺、慣性、激光雷達(dá)和GNSS解決方案，在不同的環(huán)境中產(chǎn)生平滑一致的軌跡。文獻(xiàn)[27]提出了一種基于緊耦合MSCKF的估計器，融合慣性、相機和異步GPS測量值。該系統(tǒng)可以從室內(nèi)VIO開始，可在任意延遲的時間步長將參考框架轉(zhuǎn)換為ENU框架，當(dāng)GPS全局測量值可用時，可實現(xiàn)室內(nèi)外無縫銜接定位。

基于濾波的方法，效率高、占用較少的計算資源，在多傳感器融合的案例中，依然有著蓬勃的生命力。但是隨著人們對系統(tǒng)定位精度和魯棒性的要求的提高，以及長時間大規(guī)模的導(dǎo)航定位或建圖的需求，基于優(yōu)化的方案成為研究主流。與濾波方法相比，優(yōu)化方法通過重線性化減少誤差，具有更好的性能[55]。

2.3 基于優(yōu)化的VI系統(tǒng)發(fā)展

第一個基于關(guān)鍵幀和BA的緊耦合視覺里程計系統(tǒng)是關(guān)鍵幀視慣SLAM[56]（open keyframe-based visual-inertial SLAM，OKVIS），它也可以使用單目和立體視覺，關(guān)鍵幀和BA的概念之后擴展到VINS。其中，VINS-Mono[57]是一個非常精確和魯棒的單目慣性測量系統(tǒng)，使用詞袋算法DBoW2和4自由度位姿圖優(yōu)化和地圖合并，特征跟蹤是用Lucas-Kanade光流算法執(zhí)行的，比描述子匹配稍微魯棒一些。在VINS-Fusion[58]中，它已經(jīng)擴展到雙目慣性和GNSS松耦合。

直接法稀疏視慣里程計[59]（direct sparse visual-inertial odometry，VI-DSO）將直接法稀疏里程計[60]（direct sparse odometry，DSO）擴展到視覺慣性里程計，提出一種視覺慣性里程測量方法，通過在一個綜合能量函數(shù)中最小化光度和IMU測量誤差，從而提供了非常好的精度。在成功利用像素信息的同時，增強了對紋理較差場景區(qū)域的魯棒性。其初始化方法依賴于視慣BA，在20 ～ 30 s內(nèi)收斂于1%的尺度誤差范圍內(nèi)。

Basalt[61]是一種立體慣性里程計系統(tǒng)，它從視覺慣性里程計中提取非線性因素，并將其用于BA中，并使用快速特征點提取和描述算法（oriented FAST and rotated BRIEF，ORB），實現(xiàn)了非常好的精度。

ORB-SLAM-VI[62]首次提出了一種視覺慣性SLAM系統(tǒng)，能夠重用具有短期、中期和長期數(shù)據(jù)關(guān)聯(lián)的地圖，并在基于IMU預(yù)積分[63]的精確的局部視覺慣性BA中使用它們[64]?；贠RB-SLAM-VI、ORB-SLAM[65]、ORB-SLAM2[66]等的工作，ORBSLAM3[67]是第一個可以運行視覺、視覺慣性和多地圖，支持單目、雙目和RGB-D相機，且支持針孔和魚眼鏡頭模型的SLAM系統(tǒng)；該算法可以在不同面積的室內(nèi)和室外環(huán)境中魯棒、實時地運行，精度上相比于以前的方法提升了2～5倍；多地圖系統(tǒng)可以讓系統(tǒng)在視覺信息缺乏的場景下長時間運行。比如當(dāng)跟蹤丟失的時候，它會重新建立新的地圖，并在重新訪問之前的地圖時，無縫合并之前的地圖。文獻(xiàn)[68]在水下航行體上實現(xiàn)了ORB-SLAM3算法，并評估其在水下環(huán)境中的性能；ORB-SLAM3的純視覺模塊可以有效地對水下機器人進行結(jié)構(gòu)化區(qū)域定位，其視覺慣性模塊可以很好地對水下機器人進行非結(jié)構(gòu)化區(qū)域定位。

2.4 基于優(yōu)化的GVI系統(tǒng)發(fā)展

基于優(yōu)化的VI組合系統(tǒng)發(fā)展已經(jīng)較為成熟，特別是ORB-SLAM3，是目前視慣融合方案中集大成之作。而融合GNSS的測量信息，是實現(xiàn)大規(guī)模高精度定位或建圖的關(guān)鍵。

文獻(xiàn)[58, 69-70]在滑動窗口位姿圖優(yōu)化中，首先將全局位置測量與VIO估計融合，這意味著相對位姿更新由VIO算法獨立于全局位置信息進行估計，然后通過位姿圖優(yōu)化與全局幀對齊。文獻(xiàn)[71]將精密單點定位（precise point positioning，PPP）的結(jié)果與立體VIO相結(jié)合，實現(xiàn)低漂移估計。

然而，這些系統(tǒng)在視慣端和GNSS端是松耦合，或視覺端與慣性端松耦合，松耦合并沒有考慮所有傳感器測量之間的相關(guān)性而導(dǎo)致次優(yōu)的結(jié)果。文獻(xiàn)[72]表明，在視覺慣性情況下，考慮所有GNSS測量值相關(guān)性對于高精度估計是至關(guān)重要的。

文獻(xiàn)[73]從原始GNSS測量值中獲得位置，并將它們與圖像中的特征點融合。利用IMU預(yù)積分算法將全局位置測量值緊耦合，有效地導(dǎo)出全局位置因子。這允許在滑動窗口的每個關(guān)鍵幀中添加多個全局因子，而額外的計算成本可以忽略不計。文獻(xiàn)[74]通過GNSS偽距測量值與相機特征點的緊密耦合來實現(xiàn)自運動估計，提出了一種基于流形的10自由度聯(lián)合優(yōu)化方法，實現(xiàn)了相機原始測量數(shù)據(jù)與GNSS數(shù)據(jù)的緊密融合。然而，上述緊耦合方案并沒有考慮更多參與融合的GNSS原始測量值。

文獻(xiàn)[75]提出了一個基于優(yōu)化的全球定位系統(tǒng)-視覺-慣性緊耦合里程計系統(tǒng)，并提出了一種快速參考幀初始化方法和一種GPS-IMU外部和時間偏差的在線標(biāo)定方法，提高了系統(tǒng)的效率和魯棒性，相比于ORB-SLAM3和VINS-Fusion，定位精度更高。文獻(xiàn)[28]首先提出一種基于優(yōu)化的VI-SLAM與GNSS原始測量值（偽距和多普勒頻移）緊耦合的系統(tǒng)。在滑動窗口內(nèi)，考慮圖像與原始GNSS測量數(shù)據(jù)之間的異步性，將重投影誤差、IMU預(yù)積分誤差和GNSS原始測量誤差聯(lián)合最小化。此外，也考慮了邊緣化、測量噪聲消除以及處理脆弱情況等問題。相似的研究如文獻(xiàn)[29]提出了基于非線性優(yōu)化的衛(wèi)視慣導(dǎo)航系統(tǒng)（GNSS-visual-inertial navigation system，GVINS），將GNSS的原始測量與視覺和慣性信息緊密耦合，用于實時和無漂移的狀態(tài)估計；提出了一個從粗到細(xì)的初始化GNSS過程，對GNSS偽距和多普勒頻移測量值，以及視覺和慣性信息進行建模，并用于在因子圖框架中約束系統(tǒng)狀態(tài)，能夠無縫地應(yīng)對室內(nèi)外環(huán)境的過渡。相比文獻(xiàn)[28]的方案，GVINS的定位精度和魯棒性更高。

3 濾波和優(yōu)化方法的對比分析

梳理歸納了該領(lǐng)域近10 a的部分代表方案，并進行對比分析，主要側(cè)重點在于后端數(shù)據(jù)融合方法的比較，如表1所示。從表1可以看出，基于濾波的方法，特別是EKF，在早期的VI或GVI組合研究中占據(jù)重要位置。但是隨著計算機水平的發(fā)展，用可接受的計算量的增加換來了更高的精度和魯棒性，基于優(yōu)化的方法逐漸成為了后端處理技術(shù)的主流。但不可否認(rèn)的是，基于濾波的技術(shù)，由于其計算量相對較小、計算效率高的優(yōu)勢，在計算資源貧乏的平臺如移動設(shè)備、穿戴設(shè)備等上有著很好的應(yīng)用前景。相較于松耦合，緊耦合的方案更為有效，因為GVI緊耦合在場景轉(zhuǎn)換、挑戰(zhàn)環(huán)境下有著更高的容錯性和更好的精度表現(xiàn)。而SLAM技術(shù)與深度學(xué)習(xí)的結(jié)合，也逐漸成為研究熱點，在區(qū)分多徑信號[76-77]、語義分割[78]等方向有著很好的研究前景。

可以預(yù)見的是，更輕量且高性能的多傳感器融合算法結(jié)合便攜式平臺將成為熱門研究方向。

表1 近10 a代表性方案比較

4 基于GVI+組合導(dǎo)航系統(tǒng)的應(yīng)用展望

為了適應(yīng)更多挑戰(zhàn)環(huán)境下無人系統(tǒng)導(dǎo)航定位和建圖的需求，應(yīng)對不同的特殊環(huán)境，需要搭載GVI+其他傳感器用于環(huán)境的感知和自身的定位。

水下無人系統(tǒng)的應(yīng)用：GVI+聲學(xué)定位或感知傳感器。精準(zhǔn)地感知海洋動態(tài)和開發(fā)利用海洋資源已成為各國發(fā)展的緊迫需求，而水下的環(huán)境復(fù)雜多變，如水下洞穴、沉船和海底峽谷等，需要無人環(huán)境的水下機器人來執(zhí)行完成任務(wù)。多普勒計程儀、聲學(xué)定位系統(tǒng)和多波束測深系統(tǒng)等聲學(xué)傳感器以及深度傳感器等可以和視覺慣性傳感器很好地結(jié)合，以彌補其視覺在水中光照不夠和慣導(dǎo)長時間工作易產(chǎn)生漂移等不足[79-81]。GVI+組合導(dǎo)航在海洋考古學(xué)、海底打撈救援、海洋資源勘測、南北極科考和海洋生物考察等多個領(lǐng)域都具有重要意義。

自動駕駛應(yīng)用：GVI+激光雷達(dá)等傳感器。集成多種傳感器與人工智能的自動駕駛技術(shù)是現(xiàn)代科技背景下的一次革命性發(fā)展，也是未來智慧城市的重要支撐技術(shù)之一。自動駕駛的基礎(chǔ)是利用傳感器對周圍的環(huán)境進行感知。目前常使用的傳感器有車載攝像頭、毫米波雷達(dá)、激光雷達(dá)和輪式里程計、IMU、GNSS接收機等[82-83]。隨著GVI+其他多傳感器融合的組合導(dǎo)航技術(shù)日益完善，自動駕駛將大大減少人為誤差，提升交通安全性和交通效率，為人們提供最優(yōu)的出行方案。

空中無人系統(tǒng)應(yīng)用：GVI+氣壓高度計等傳感器?？罩袩o人系統(tǒng)在國防和國民經(jīng)濟建設(shè)中都有廣泛的應(yīng)用。衛(wèi)慣視+磁羅盤+氣壓高度計組合導(dǎo)航系統(tǒng)[84-85]具有為空中無人系統(tǒng)提供高精度導(dǎo)航定位的能力。在軍事中，微型無人機憑借其體積小、噪聲小和隱蔽性強等特點成為了空中作業(yè)平臺的良好選擇。根據(jù)任務(wù)需求可以搭載不同設(shè)備，實現(xiàn)偵察定位、電子戰(zhàn)、對地攻擊以及通信等功能。在民用上，其他各種形態(tài)的無人機還在航空攝影、氣象探測、勘探測繪、環(huán)境研究和農(nóng)業(yè)植保等方面發(fā)揮作用，具有極為廣闊的市場前景。

根據(jù)不同形態(tài)的無人系統(tǒng)[86]（水下機器人、無人艇、輪式無人車、四足機器人、人型機器人、無人機等）以及不同應(yīng)用環(huán)境（水下、陸地、洞穴、室內(nèi)、空中等），搭載GVI+其他傳感器可滿足不同的定位導(dǎo)航需求。

5 結(jié)束語

本文對衛(wèi)星導(dǎo)航、視覺導(dǎo)航和慣性導(dǎo)航的組合應(yīng)用進行了歸納總結(jié)。重點探討了后端數(shù)據(jù)融合算法研究進展，分析了基于濾波和基于優(yōu)化的組合導(dǎo)航技術(shù)發(fā)展以及2種技術(shù)路線的優(yōu)缺點和對應(yīng)的代表性方案。通過對近10 a來的代表性方案的梳理和分析，基于優(yōu)化的方法已成為研究主流，但是基于濾波的方案在特定平臺依然具有優(yōu)勢。最后，對基于GVI+組合導(dǎo)航的相關(guān)應(yīng)用進行了介紹和展望。多傳感器融合導(dǎo)航技術(shù)已成為了導(dǎo)航定位領(lǐng)域的發(fā)展趨勢，在相關(guān)研究中擁有巨大的應(yīng)用潛力。

[1] MAENAKA K. MEMS inertial sensors and their applications[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 20085th International Conference on Networked Sensing Systems. IKanazawa, Japan: IEEE, 2008: 71-73[2022-06-30].

[2] AHMAD N, GHAZILLA R A R, KHAIRI N M, et al. Reviews on various inertial measurement unit (IMU) sensor applications[J]. International Journal of Signal Processing Systems, 2013, 1(2): 256-262.

[3] LING Y, LIU T, SHEN S. Aggressive quadrotor flight using dense visual-inertial fusion[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2016 IEEE International Conference on Robotics and Automation (ICRA). Stockholm, Sweden: IEEE, 2016: 1499-1506[2022-06-30].

[4] NEGES M, KOCH C, K?NIG M, et al. Combining visual natural markers and IMU for improved AR based indoor navigation[J]. Advanced Engineering Informatics, 2017, 31: 18-31.

[5] NAKANISHI H, HASHIMOTO H J, MECHATRONICS. AR-Marker/IMU hybrid navigation system for tether-powered UAV[J]. Journal of Robotics and Mechatronics, 2018, 30(1): 76-85.

[6] XU G, MENG X. The MEMS IMU error modeling analysis using support vector machines[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2009 Second International Symposium on Knowledge Acquisition and Modeling. Wuhan, China: IEEE, 2009: 335-337[2022-06-30].

[7] BIERBAUM A, JUST C, HARTLING P, et al. VR Juggler: a virtual platform for virtual reality application development[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the IEEE Virtual Reality 2001. Yokohama, Japan: IEEE, 2001: 89-96[2022-06-30].

[8] WU K J, GUO C X, GEORGIOU G, et al. Vins on wheels[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA). Singapore: IEEE, 2017: 5155-5162[2022-06-30].

[9] DANG Z, WANG T, PANG F. Tightly-coupled data fusion of vins and odometer based on wheel slip estimation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO). Brisbane, QLD, Australia: IEEE, 2018: 1613-1619[2022-06-30].

[10] YU Z, ZHU L, LU G. Tightly-coupled fusion of VINS and motion constraint for autonomous vehicle[J]. IEEE Transactions on Vehicular Technology, 2022, 71(6):5799-5810.

[11] BRESSON G, ALSAYED Z, YU L, et al. Simultaneous localization and mapping: a survey of current trends in autonomous driving[J]. IEEE Transactions on Intelligent Vehicles, 2017, 2(3): 194-220.

[12] 司書斌, 趙大偉, 徐婉瑩, 等. 視覺—慣性導(dǎo)航定位技術(shù)研究進展[J]. 中國圖象圖形學(xué)報, 2021, 26(6): 13.

[13] FUENTES-PACHECO J, RUIZ-ASCENCIO J, RENDóN-MANCHA J M. Visual simultaneous localization and mapping: a survey[J]. Artificial Intelligence Review, 2015, 43(1): 55-81.

[14] CHEN Z, SAMARABANDU J, RODRIGO R. Recent advances in simultaneous localization and map-building using computer vision[J]. Advanced Robotics, 2007, 21(3-4): 233-265.

[15] DAVISON A J. Real-time simultaneous localisation and mapping with a single camera[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the Ninth IEEE International Conference on Computer Vision. France: IEEE, 2003: 1403-1408[2022-06-30].

[16] LEVINSON J, ASKELAND J, BECKER J, et al. Towards fully autonomous driving: systems and algorithms[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2011 IEEE Intelligent Vehicles Symposium (IV). Baden-Baden, Germany: IEEE, 2011: 163-168[2022-06-30].

[17] LI R, LIU J, ZHANG L, et al. LIDAR/MEMS IMU integrated navigation (SLAM) method for a small UAV in indoor environments[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2014 DGON Inertial Sensors and Systems (ISS). Karlsruhe, Germany: IEEE, 2014: 1-15[2022-06-30].

[18] 寧津生, 姚宜斌, 張小紅. 全球?qū)Ш叫l(wèi)星系統(tǒng)發(fā)展綜述[J]. 導(dǎo)航定位學(xué)報, 2013, (1): 6.

[19] CADENA C, CARLONE L, CARRILLO H, et al. Past, present, and future of simultaneous localization and mapping: toward the robust-perception age[J]. IEEE Transactions on Robotics, 2016, 32(6): 1309-1332.

[20] SHENG J, TANO S, JIA S. Mobile robot localization and map building based on laser ranging and PTAM[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2011 IEEE International Conference on Mechatronics and Automation. Beijing, China: IEEE, 2011: 1015-1020[2022-06-30].

[21] PIRE T, FISCHER T, CASTRO G, et al. S-PTAM: stereo parallel tracking and mapping[J]. Robotics and Autonomous Systems, 2017, 93: 27-42.

[22] TRIGGS B, MCLAUCHLAN P F, HARTLEY R I, et al. Bundle adjustment-a modern synthesis[C]//Lecture Notes in Computer Science. Proceedings of the International Workshop on Vision Algorithms. Berlin Heidelberg: Springer, 1999: 298-372[2022-06-30].

[23] GRISETTI G, KüMMERLE R, STRASDAT H, et al. G2o: a general framework for (hyper) graph optimization[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2011 IEEE International Conference on Robotics and Automation (ICRA). Shanghai, China: IEEE, 2011:9-13[2022-06-30].

[24] AGARWAL S, MIERLE K J G I. Ceres solver: tutorial & reference[J]. Google Inc, 2012, 2(72): 8.

[25] DELLAERT F. Factor graphs and GTSAM: a hands-on introduction[R].Georgia Institute of Technology, 2012.

[26] KAESS M, RANGANATHAN A, DELLAERT F. iSAM: incremental smoothing and mapping[J]. IEEE Transactions on Robotics, 2008, 24(6): 1365-1378.

[27] LEE W, ECKENHOFF K, GENEVA P, et al. Intermittent gps-aided vio: online initialization and calibration[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2020 IEEE International Conference on Robotics and Automation (ICRA). France: IEEE, 2020: 5724-5731[2022-06-30].

[28] LIU J, GAO W, HU Z. Optimization-based visual-inertial SLAM tightly coupled with raw GNSS measurements[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2021 IEEE International Conference on Robotics and Automation (ICRA). Xi'an, China: IEEE, 2021: 11612-11618[2022-06-30].

[29] CAO S, LU X, SHEN S. GVINS: Tightly coupled GNSS–visual–inertial fusion for smooth and consistent state estimation[J]. IEEE Transactions on Robotics, 2022: 1-18.

[30] MOURIKIS A I, ROUMELIOTIS S I. A multi-state constraint Kalman filter for vision-aided inertial navigation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2007 IEEE International Conference on Robotics and Automation (ICRA). Italy: IEEE, 2007: 6[2022-06-30].

[31] MOURIKIS A I, TRAWNY N, ROUMELIOTIS S I, et al. Vision-aided inertial navigation for spacecraft entry, descent, and landing[J]. IEEE Transactions on Robotics, 2009, 25(2): 264-280.

[32] SUN K, MOHTA K, PFROMMER B, et al. Robust stereo visual inertial odometry for fast autonomous flight[J]. IEEE Robotics and Automation Letters, 2018, 3(2): 965-972.

[33] YANG Y, MALEY J, HUANG G. Null-space-based marginalization: analysis and algorithm[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vancouver, BC, Canada: IEEE, 2017: 6749-6755[2022-06-30].

[34] ROUMELIOTIS S I, BURDICK J W. Stochastic cloning: a generalized framework for processing relative state measurements[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2002 IEEE International Conference on Robotics and Automation (Cat No 02CH37292). Washington, DC, USA: IEEE, 2002: 1788-1795[2022-06-30].

[35] LI M, MOURIKIS A I. High-precision, consistent EKF-based visual-inertial odometry[J]. The International Journal of Robotics Research, 2013, 32(6): 690-711.

[36] PAUL M K, WU K, HESCH J A, et al. A comparative analysis of tightly-coupled monocular, binocular, and stereo VINS[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA). Singapore: IEEE, 2017: 165-172[2022-06-30].

[37] PAUL M K, ROUMELIOTIS S I. Alternating-stereo VINS: observability analysis and performance evaluation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 4729-4737[2022-06-30].

[38] GUO C X, ROUMELIOTIS S I. IMU-RGBD camera navigation using point and plane features[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Japan: IEEE, 2013: 3164-3171[2022-06-30].

[39] GUO C X, ROUMELIOTIS S I. IMU-RGBD camera 3D pose estimation and extrinsic calibration: observability analysis and consistency improvement[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2013 IEEE International Conference on Robotics and Automation. Karlsruhe, Germany: IEEE, 2013: 2935-2942[2022-06-30].

[40] ECKENHOFF K, GENEVA P, BLOECKER J, et al. Multi-camera visual-inertial navigation with online intrinsic and extrinsic calibration[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2019 International Conference on Robotics and Automation (ICRA). Montreal, QC, Canada: IEEE, 2019: 3158-3164[2022-06-30].

[41] ECKENHOFF K, GENEVA P, HUANG G. Sensor-failure-resilient multi-imu visual-inertial navigation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2019 International Conference on Robotics and Automation (ICRA). Montreal, QC, Canada: IEEE, 2019: 3542-3548[2022-06-30].

[42] GENEVA P, ECKENHOFF K, LEE W, et al. Openvins: a research platform for visual-inertial estimation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2020 IEEE International Conference on Robotics and Automation (ICRA). France: IEEE, 2020: 4666-4672[2022-06-30].

[43] BLOESCH M, BURRI M, OMARI S, et al. Iterated extended Kalman filter based visual-inertial odometry using direct photometric feedback[J]. The International Journal of Robotics Research, 2017, 36(10): 1053-1072.

[44] BLOESCH M, OMARI S, HUTTER M, et al. Robust visual inertial odometry using a direct EKF-based approach[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Hamburg, Germany: IEEE, 2015: 298-304[2022-06-30].

[45] LYNEN S, ACHTELIK M W, WEISS S, et al. A robust and modular multi-sensor fusion approach applied to mav navigation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Japan: IEEE, 2013: 3923-3929[2022-06-30].

[46] ANGELINO C V, BARANIELLO V R, CICALA L. UAV position and attitude estimation using IMU, GNSS and camera[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 201215th International Conference on Information Fusion. Singapore: IEEE, 2012: 735-742[2022-06-30].

[47] WEISS S, ACHTELIK M W, CHLI M, et al. Versatile distributed pose estimation and sensor self-calibration for an autonomous MAV[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2012 IEEE International Conference on Robotics and Automation. Paul, MN, USA: IEEE, 2012: 31-38[2022-06-30].

[48] WON D H, LEE E, HEO M, et al. GNSS integration with vision-based navigation for low GNSS visibility conditions[J]. GPS Solutions, 2014, 18(2): 177-187.

[49] SCHREIBER M, K?NIGSHOF H, HELLMUND A-M, et al. Vehicle localization with tightly coupled GNSS and visual odometry[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2016 IEEE Intelligent Vehicles Symposium (IV). Gothenburg, Sweden: IEEE, 2016: 858-863[2022-06-30].

[50] GAKNE P V, O’KEEFE K J S. Tightly-coupled GNSS/vision using a sky-pointing camera for vehicle navigation in urban areas [J]. Sensors, 2018, 18(4): 1244.

[51] WON D H, LEE E, HEO M, et al. Selective integration of GNSS, vision sensor, and INS using weighted DOP under GNSS-challenged environments[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(9): 2288-2298.

[52] LI T, ZHANG H, GAO Z, et al. Tight fusion of a monocular camera, MEMS-IMU, and single-frequency multi-GNSS RTK for precise navigation in GNSS-challenged environments[J]. Remote Sensing, 2019, 11(6): 610.

[53] SHEPARD D P, HUMPHREYS T E. High-precision globally-referenced position and attitude via a fusion of visual SLAM, carrier-phase-based GPS, and inertial measurements[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2014 IEEE/ION Position, Location and Navigation Symposium-PLANS 2014. Monterey, CA, USA: IEEE, 2014: 1309-1328[2022-06-30].

[54] SHEN S, MULGAONKAR Y, MICHAEL N, et al. Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft MAV[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2014 IEEE International Conference on Robotics and Automation (ICRA). Hong Kong, China: IEEE, 2014: 4974-4981[2022-06-30].

[55] HUANG G. Visual-inertial navigation: a concise review[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2019 International Conference on Robotics and Automation (ICRA). Montreal, QC, Canada: IEEE, 2019: 9572-9582[2022-06-30].

[56] LEUTENEGGER S, LYNEN S, BOSSE M, et al. Keyframe-based visual–inertial odometry using nonlinear optimization[J]. The International Journal of Robotics Research, 2015, 34(3): 314-334.

[57] QIN T, LI P, SHEN S J I T O R. Vins-mono: a robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.

[58] QIN T, CAO S, PAN J, et al. A general optimization-based framework for global pose estimation with multiple sensors[J]. arXiv preprint arXiv:190103642, 2019.

[59] VON STUMBERG L, USENKO V, CREMERS D. Direct sparse visual-inertial odometry using dynamic marginalization[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane, QLD, Australia: IEEE, 2018: 2510-2517[2022-06-30].

[60] WANG R, SCHWORER M, CREMERS D. Stereo DSO: large-scale direct sparse visual odometry with stereo cameras[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 3903-3911[2022-06-30].

[61] USENKO V, DEMMEL N, SCHUBERT D, et al. Visual-inertial mapping with non-linear factor recovery[J]. IEEE Robotics and Automation Letters, 2019, 5(2): 422-429.

[62] MUR-ARTAL R, TARDóS J D, LETTERS A. Visual-inertial monocular SLAM with map reuse[J]. IEEE Robotics and Automation Letters, 2017, 2(2): 796-803.

[63] FORSTER C, CARLONE L, DELLAERT F, et al. On-manifold preintegration for real-time visual--inertial odometry[J]. IEEE Transactions on Robotics, 2016, 33(1): 1-21.

[64] LUPTON T, SUKKARIEH S. Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions[J]. IEEE Transactions on Robotics, 2011, 28(1): 61-76.

[65] MUR-ARTAL R, MONTIEL J M M, TARDOS J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

[66] MUR-ARTAL R, TARDóS J D. Orb-slam2: an open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.

[67] CAMPOS C, ELVIRA R, RODRíGUEZ J J G, et al. Orb-slam3: an accurate open-source library for visual, visual–inertial, and multimap slam[J]. IEEE Transactions on Robotics, 2021, 37(6): 1874-1890.

[68] LI Y, HONG X, LIU J, et al. Implementation and evaluation of the ORB-SLAM3 in the underwater environment[C]//The international society for optics and photonics. Proceedings of the International Conference on Electronic Information Engineering and Computer Communication (EIECC 2021). SPIE, 2022: 121720G-1[2022-06-30].

[69] MASCARO R, TEIXEIRA L, HINZMANN T, et al. Gomsf: graph-optimization based multi-sensor fusion for robust uav pose estimation[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane, QLD, Australia: IEEE, 2018: 1421-1428[2022-06-30].

[70] YU Y, GAO W, LIU C, et al. A gps-aided omnidirectional visual-inertial state estimator in ubiquitous environments[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Macau, China: IEEE, 2019: 7750-7755[2022-06-30].

[71] LI X, WANG X, LIAO J, et al. Semi-tightly coupled integration of multi-GNSS PPP and S-VINS for precise positioning in GNSS-challenged environments[J]. Satellite Navigation, 2021, 2(1): 1-14.

[72] LEUTENEGGER S, LYNEN S, BOSSE M, et al. Keyframe-based visual–inertial odometry using nonlinear optimization[J]. The International Journal of Robotics Research, 2015, 34(3): 314-334.

[73] CIOFFI G, SCARAMUZZA D. Tightly-coupled fusion of global positional measurements in optimization-based visual-inertial odometry[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vegas, NV, USA: IEEE, 2020: 5089-5095[2022-06-30].

[74] GONG Z, YING R, WEN F, et al. Tightly coupled integration of GNSS and vision SLAM using 10-DoF optimization on manifold[J]. IEEE Sensors Journal, 2019, 19(24): 12105-12117.

[75] HAN S, DENG F, LI T, et al. Tightly coupled optimization-based GPS-visual-inertial odometry with online calibration and initialization[J]. arXiv preprint arXiv: 220302677, 2022.

[76] KATO S, KITAMURA M, SUZUKI T, et al. Nlos satellite detection using a fish-eye camera for improving gnss positioning accuracy in urban area[J]. Journal of Robotics and Mechatronics, 2016, 28(1): 31-39.

[77] SUZUKI T, AMANO Y J S. NLOS multipath classification of GNSS signal correlation output using machine learning[J]. Sensors, 2021, 21(7): 2503.

[78] YU C, LIU Z, LIU X-J, et al. DS-SLAM: a semantic visual SLAM towards dynamic environments[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid, Spain: IEEE, 2018: 1168-1174[2022-06-30].

[79] VARGAS E, SCONA R, WILLNERS J S, et al. Robust underwater visual SLAM fusing acoustic sensing[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2021 IEEE International Conference on Robotics and Automation (ICRA). Xi'an, China: IEEE, 2021: 2140-2146[2022-06-30].

[80] RAHMAN S, LI A Q, REKLEITIS I. Svin2: an underwater slam system using sonar, visual, inertial, and depth sensor[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Macau, China: IEEE, 2019: 1861-1868[2022-06-30].

[81] RAHMAN S, LI A Q, REKLEITIS I. Sonar visual inertial slam of underwater structures[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane, QLD, Australia: IEEE, 2018: 5190-5196[2022-06-30].

[82] LIANG Y, MüLLER S, SCHWENDNER D, et al. A scalable framework for robust vehicle state estimation with a fusion of a low-cost IMU, the GNSS, radar, a camera and lidar[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vegas, NV, USA: IEEE, 2020: 1661-1668[2022-06-30].

[83] WANG T, SU Y, SHAO S, et al. GR-fusion: multi-sensor fusion SLAM for ground robots with high robustness and low drift[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of the 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Prague, Czech Republic: IEEE: 5440-5447[2022-06-30].

[84] LI Y, ZAHRAN S, ZHUANG Y, et al. IMU/magnetometer/barometer/mass-flow sensor integrated indoor quadrotor UAV localization with robust velocity updates[J]. Remote Sensing, 2019, 11(7): 838.

[85] MOSTAFA M, ZAHRAN S, MOUSSA A, et al. Radar and visual odometry integrated system aided navigation for UAVS in GNSS denied environment[J]. Sensors, 2018, 18(9): 2776.

[86] AGHA A, OTSU K, MORRELL B, et al. Nebula: quest for robotic autonomy in challenging environments; team costar at the darpa subterranean challenge[J]. arXiv preprint arXiv: 210311470, 2021.

Development of GVI integrated navigation system

SONG Jiangbo1, YAO Hexiong2, LI Wanqing2, ZHU Xiangwei2, DAI Zhiqiang2

（1. School of System Science and Engineering, Sun Yat-Sen University, Guangzhou 510006, China；2. School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-Sen University, Shenzhen, Guangdong 518107, China）

Aiming at the problem that visual-inertial navigation systems perform unstably or have error accumulation problems due to the inability to close the loop in large-scale scenarios of fields such as unmanned aerial vehicle (UAV) navigation and autonomous driving, the paper proposed that fusing the advantages of global measurement of satellite navigation is an important method to achieve seamless navigation in large-scale indoor and outdoor scenarios, and summarized the research status and development trend of the GNSS (global navigation satellite system)-vision-inertial (GVI) navigation technology, starting from the data fusion algorithm of the GVI navigation system: the basic theory and framework of the GVI navigation system were established based on simultaneous localization and mapping (SLAM) architecture; and the data fusion algorithms based on filtering and optimization methods were comparatively analyzed; then the application potential of GVI+ navigation system in unmanned systems under different scenarios was discussed; finally, the recent developments in this field were discussed and summarized, and the development trend was anticipated.

simultaneous localization and mapping (SLAM); global navigation satellite system (GNSS); GNSS-vision-inertial (GVI) integrated; state estimation; sensor fusion

P228

A

2095-4999(2023)02-0036-13

宋江波, 姚荷雄, 李婉清, 等. 衛(wèi)慣視組合導(dǎo)航技術(shù)發(fā)展趨勢[J]. 導(dǎo)航定位學(xué)報, 2023, 11(2): 36-48.（SONG Jiangbo, YAO Hexiong, LI Wanqing, et al. Development of GVI integrated navigation system[J]. Journal of Navigation and Positioning, 2023, 11(2): 36-48.）DOI:10.16547/j.cnki.10-1096.20230205.

2022-06-20

宋江波（1993—），男，河南駐馬店人，博士研究生，研究方向為多源融合導(dǎo)航定位。

朱祥維（1980—），男，山東日照人，博士，教授，研究方向為組合導(dǎo)航、時間同步、智能信號處理和儀器設(shè)計等。