亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合視覺的智能車組合導(dǎo)航技術(shù)分析

        2017-06-10 07:22:23曾慶喜馮玉朋杜金枝李中兵
        導(dǎo)航定位學(xué)報(bào) 2017年2期
        關(guān)鍵詞:單目里程計(jì)慣導(dǎo)

        曾慶喜,馮玉朋,杜金枝,方 嘯,李中兵

        (1.南京航空航天大學(xué) 無人駕駛車輛研究中心,南京 210016;2.奇瑞汽車股份有限公司 前瞻技術(shù)研究院,安徽 蕪湖 241009;3.汽車仿真與控制國家重點(diǎn)實(shí)驗(yàn)室,長春 130012)

        ?

        融合視覺的智能車組合導(dǎo)航技術(shù)分析

        曾慶喜1,2,3,馮玉朋1,3,杜金枝2,方 嘯2,李中兵2

        (1.南京航空航天大學(xué) 無人駕駛車輛研究中心,南京 210016;2.奇瑞汽車股份有限公司 前瞻技術(shù)研究院,安徽 蕪湖 241009;3.汽車仿真與控制國家重點(diǎn)實(shí)驗(yàn)室,長春 130012)

        為了進(jìn)一步研究無人駕駛智能車輛的導(dǎo)航定位技術(shù),對視覺里程計(jì)技術(shù)在車載組合導(dǎo)航系統(tǒng)中的應(yīng)用進(jìn)行綜述:首先對視覺里程計(jì)的原理進(jìn)行概述;然后較為完整地分析了融合視覺里程計(jì)的車載組合導(dǎo)航系統(tǒng)的3個(gè)主要研究方向:視覺里程計(jì)與慣導(dǎo)系統(tǒng)組合、視覺里程計(jì)與衛(wèi)星導(dǎo)航系統(tǒng)組合,以及融合視覺里程計(jì)的多傳感器組合導(dǎo)航系統(tǒng);最后對視覺里程計(jì)技術(shù)在智能車組合導(dǎo)航系統(tǒng)中的發(fā)展進(jìn)行展望。

        視覺里程計(jì);組合導(dǎo)航;衛(wèi)星導(dǎo)航;慣性導(dǎo)航;智能車

        0 引言

        組合導(dǎo)航是近代導(dǎo)航理論和技術(shù)發(fā)展的結(jié)果。通過將不同的導(dǎo)航方式組合在一起可以獲得比單獨(dú)使用任一系統(tǒng)時(shí)更高的導(dǎo)航性能,也因此組合導(dǎo)航系統(tǒng)得到了越來越廣泛的研究和應(yīng)用。對于無人駕駛智能車的導(dǎo)航來說,車輛在運(yùn)動過程中的自主定位能力非常重要,是保障智能車完成自主行為的前提。傳統(tǒng)的定位方法一般采用全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system, GNSS)、慣性導(dǎo)航系統(tǒng)(inertial navigation system, INS)以及里程計(jì)等方法獲得智能車的位置信息;然而各種定位技術(shù)都有不同的優(yōu)缺點(diǎn),在某些特殊環(huán)境下(如隧道、輪胎打滑等)會出現(xiàn)失誤,不能確保得到精確的車輛位姿估計(jì)[1]。

        隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,視覺傳感器越來越多地被用于進(jìn)行車輛的定位和運(yùn)動估計(jì)。視覺傳感器相對于其他傳感器來說具有成本低、體積小等優(yōu)點(diǎn),且視覺傳感器可以提供豐富的感知信息,既可以滿足車輛的自定位要求,又能夠同時(shí)為其他重要的任務(wù)提供信息,如目標(biāo)檢測、避障等[2]。此外,視覺傳感器具有較好的隱蔽性和抗干擾能力。融合視覺里程計(jì)的組合導(dǎo)航系統(tǒng)成為最近幾年導(dǎo)航領(lǐng)域的一個(gè)新的研究熱點(diǎn)。

        1 視覺里程計(jì)概述

        視覺里程計(jì)(visual odometry,VO)是以單個(gè)或多個(gè)攝像機(jī)在運(yùn)動過程中釆集的圖像為輸入信息來估計(jì)攝像機(jī)旋轉(zhuǎn)和平移運(yùn)動的定位方法[3]。視覺里程計(jì)的作用與傳統(tǒng)的輪式里程計(jì)類似,用以增量式地估計(jì)載體的運(yùn)動參數(shù)。文獻(xiàn)[4]最早運(yùn)用視覺導(dǎo)航的方法,利用一個(gè)可滑動相機(jī)獲取視覺信息作為輸入項(xiàng),完成了機(jī)器人室內(nèi)導(dǎo)航。文獻(xiàn)[5]提出了視覺里程計(jì)的概念,基本步驟包括特征提取、特征匹配、坐標(biāo)變換和運(yùn)動估計(jì),當(dāng)前大多數(shù)視覺里程計(jì)仍然基于此框架[6]。文獻(xiàn)[7]于2004年提出一種基于雙目立體視覺的里程計(jì)估計(jì)方法,它第一次實(shí)現(xiàn)了魯棒地去除外點(diǎn)的實(shí)時(shí)視覺里程計(jì)系統(tǒng),并進(jìn)行了長距離的測試;同時(shí)也對單目視覺和雙目視覺進(jìn)行了比較,指出雙目相機(jī)在尺度估計(jì)方面的優(yōu)勢,將視覺里程計(jì)的發(fā)展推到一個(gè)新的階段。之后視覺里程計(jì)的研究主要圍繞單目視覺和立體視覺各自進(jìn)行,其中立體視覺里程計(jì)絕大多數(shù)指的是雙目視覺。單目與立體視覺里程計(jì)系統(tǒng)各有優(yōu)缺點(diǎn);但大部分情況下立體視覺系統(tǒng)的效果要優(yōu)于單目系統(tǒng),最主要原因在于:使用單目視覺會碰到的尺度歧義問題,采用立體視覺便不復(fù)存在[8-11]。隨著RGB-D攝像機(jī)的問世,特別是微軟Kinect的發(fā)布,單目的深度信息得到補(bǔ)充,使得單目視覺得到更廣泛的應(yīng)用[12-13]。

        經(jīng)典的視覺里程計(jì)系統(tǒng)大多是基于2幀計(jì)算框架[2],其工作流程一般包括特征的選擇與關(guān)聯(lián),以及基于所獲得的特征關(guān)聯(lián)集合進(jìn)行幀間位姿估計(jì)。以單目視覺為例,單目視覺相機(jī)安裝在智能車平臺上,以時(shí)間間隔k拍攝圖像序列,記相機(jī)圖像為I0:k={I0,…,Ik}。則在2個(gè)相鄰時(shí)刻k-1和k,相機(jī)的位姿變化量可以通過剛體變換Tk-1,k∈R4×4關(guān)聯(lián),表示為

        (1)

        式中:Rk-1,k為3×3的旋轉(zhuǎn)矩陣,代表姿態(tài)變化量; tk-1,k為3×1的平移向量,代表位置變化量。集合T0,…,M={T0,1,…,TM-1,M}包含了所有的總幀數(shù)為M的序列運(yùn)動。最終,相機(jī)位姿的集合C0,…,M={C0,1,…,CM-1,M}包含了相機(jī)相對于初始時(shí)刻k=0時(shí)的變換。當(dāng)前位姿CM可以通過累計(jì)所有的變換Tk-1,k(k=1,…,M)得到

        (2)

        并且C0是相機(jī)在k=0時(shí)的位姿。

        計(jì)算幀間位姿變換的Tk-1,k主要有2種方法:基于表面的方法,需要利用所輸入2幀圖像所有像素的灰度信息;基于特征的方法,只利用所提取的顯著和可重復(fù)的特征。基于特征的方法比表面方法更快也更準(zhǔn)確,絕大部分的視覺里程計(jì)都是基于特征的[2]?;谔卣鞯囊曈X里程計(jì)系統(tǒng)的詳細(xì)流程如圖1所示。

        視覺里程計(jì)技術(shù)發(fā)展至今已經(jīng)逐漸成熟,具備直接在實(shí)時(shí)系統(tǒng)中應(yīng)用的可能;但是單純依靠視覺的智能車輛定位與導(dǎo)航技術(shù)還不夠成熟。視覺里程計(jì)技術(shù)目前仍然有許多問題存在,如特征檢測與跟蹤算法效率與精度的權(quán)衡、遞歸算法的累計(jì)誤差缺陷,以及難以處理的復(fù)雜動態(tài)環(huán)境等?;诖?,視覺里程計(jì)的研究一方面可以從算法的各個(gè)模塊技術(shù)出發(fā),以期改善整體系統(tǒng)性能;另一方面,可以通過融合其他傳感器的方式來彌補(bǔ)視覺里程計(jì)的缺陷。下文對有望應(yīng)用于無人駕駛車輛且融合了視覺里程計(jì)的組合導(dǎo)航系統(tǒng)進(jìn)行介紹。

        2 融合視覺的組合導(dǎo)航系統(tǒng)研究現(xiàn)狀

        組合導(dǎo)航是指將2種或2種以上的導(dǎo)航系統(tǒng)組合起來的導(dǎo)航方式[1]。相對于單獨(dú)使用的導(dǎo)航系統(tǒng),組合導(dǎo)航系統(tǒng)具有定位精度高、可靠性好,成本低等優(yōu)點(diǎn)。近年來,基于視覺的組合導(dǎo)航系統(tǒng)的研究已經(jīng)取得許多進(jìn)展。下文從系統(tǒng)構(gòu)成的角度對視覺里程計(jì)與慣導(dǎo)組合系統(tǒng)、視覺里程計(jì)與衛(wèi)星組合導(dǎo)航系統(tǒng),及多傳感器組合導(dǎo)航系統(tǒng)進(jìn)行分析,并介紹現(xiàn)有融合視覺的組合導(dǎo)航系統(tǒng)的研究進(jìn)展。

        2.1 視覺與慣導(dǎo)組合系統(tǒng)

        自文獻(xiàn)[14-15]提出視覺與慣性系統(tǒng)組合的方法后,視覺/慣性組合系統(tǒng)開始受到廣泛關(guān)注。視覺/慣導(dǎo)組合導(dǎo)航系統(tǒng)雖然在精度上不及目前普遍使用的GNSS/INS組合導(dǎo)航,但其自主性更強(qiáng),尤其是在衛(wèi)星信號中斷、被屏蔽或低置信度的隧道以及城市建筑物密集區(qū)域[16]。VO/INS系統(tǒng)框架如圖2所示,根據(jù)組合系統(tǒng)中攝像機(jī)數(shù)量的不同,可以將組合系統(tǒng)主要分為單目視覺系統(tǒng)和雙目視覺系統(tǒng)。

        在單目視覺里程計(jì)與慣導(dǎo)組合導(dǎo)航系統(tǒng)中,由于單目視覺里程計(jì)只有方向信息是可恢復(fù)的,而平移的絕對尺度無法恢復(fù)[16];因此,一般算法都借助慣導(dǎo)的信息來實(shí)現(xiàn)絕對尺度的位姿估計(jì)。文獻(xiàn)[17]提出了用于無人機(jī)控制的基于視覺和慣性組合的導(dǎo)航方法,利用攝像機(jī)從已知位姿信息的目標(biāo)飛行器獲得的導(dǎo)航參數(shù)與慣性傳感器測量的導(dǎo)航參數(shù)融合,得到修正的導(dǎo)航參數(shù)。文獻(xiàn)[18]提出了把慣性速率測量和基于一個(gè)特征信息的單目視覺測量相融合的算法,用于測量載體的相對運(yùn)動。文獻(xiàn)[19]提出基于多位置極點(diǎn)約束單目視覺/慣性組合導(dǎo)航算法,將多位置觀測的攝像機(jī)位姿擴(kuò)展為狀態(tài)量,通過左零空間投影得到線性觀測方程。為了克服單純由視覺估計(jì)攝像機(jī)姿態(tài)精度低造成的長距離導(dǎo)航誤差大的問題,文獻(xiàn)[20]提出了一種基于單目視覺里程計(jì)/慣性組合導(dǎo)航定位算法,通過配準(zhǔn)和時(shí)間同步,用INS解算的速度和視覺計(jì)算的速度之差作為組合導(dǎo)航的觀測量,利用卡爾曼濾波修正導(dǎo)航信息。大部分單目視覺里程計(jì)與慣導(dǎo)組合系統(tǒng)都是緊組合系統(tǒng),將視覺和慣導(dǎo)的的原始數(shù)據(jù)融合在一個(gè)優(yōu)化的濾波器中,因此不同傳感器間的耦合關(guān)系被考慮了;不足之處在于算法的實(shí)時(shí)性不夠好,且不利于處理外部較大躍變的校正信息。松組合則相對比較容易實(shí)現(xiàn),使用獨(dú)立的視覺和慣導(dǎo)模塊,這2個(gè)模塊以不同的數(shù)據(jù)速率運(yùn)算,然后再將它們的運(yùn)算結(jié)果融合。如:文獻(xiàn)[21]將單目視覺和慣導(dǎo)當(dāng)成獨(dú)立模塊,然后用擴(kuò)展卡爾曼濾波器估計(jì)位移的尺度,減少位置估計(jì)誤差;文獻(xiàn)[22]通過視覺里程計(jì)和慣導(dǎo)估計(jì)的速度差來計(jì)算系統(tǒng)位移尺度和重力加速度方向,使用間接濾波方法對誤差進(jìn)行最優(yōu)估計(jì),并利用誤差估計(jì),值對里程計(jì)系統(tǒng)進(jìn)行校正,以提高系統(tǒng)的定位性能。

        與單目視覺里程計(jì)的情況相反,雙目視覺里程計(jì)能夠?qū)崿F(xiàn)高精度絕對尺度的六自由度位姿解算,松組合不會破壞它的模塊特性且易于對其進(jìn)行單獨(dú)優(yōu)化,所以雙目視覺里程計(jì)與慣導(dǎo)組合系統(tǒng)多采用松組合方式。文獻(xiàn)[23]使用一個(gè)濾波器來融合視覺與慣導(dǎo)的位姿信息,用慣導(dǎo)的位移、速度、姿態(tài)航向、陀螺儀零漂、加速度計(jì)零漂、重力加速度的模組成的狀態(tài)矢量,研究用于無人機(jī)的視覺慣導(dǎo)融合定位算法。文獻(xiàn)[24]用線性卡爾曼濾波器融合慣導(dǎo)的陀螺儀和加速度計(jì)來無漂移地估計(jì)慣導(dǎo)的姿態(tài),然后用擴(kuò)展卡爾曼濾波(extendedKalmanfilter,EKF)融合視覺與慣導(dǎo)的姿態(tài)航向信息,以姿態(tài)航向的單位四元數(shù)作為EKF的狀態(tài)矢量,以視覺里程計(jì)的旋轉(zhuǎn)運(yùn)動估計(jì)做濾波器預(yù)測,以慣導(dǎo)的姿態(tài)方位估計(jì)做濾波器觀測,沒有考慮位移信息的融合,通過將視覺與一個(gè)高精度的導(dǎo)航級慣導(dǎo)融合,實(shí)現(xiàn)了數(shù)千米的高精度定位。文獻(xiàn)[25]用一個(gè)濾波器將視覺里程計(jì)與慣導(dǎo)估計(jì)的姿態(tài)及高度計(jì)估計(jì)的高度進(jìn)行融合,用于在GPS失效時(shí)對飛行器的位姿進(jìn)行估計(jì),其中視覺里程計(jì)有別于一般的從運(yùn)動信息中恢復(fù)三維場景結(jié)構(gòu)的視覺里程計(jì),并非是基于特征的檢測與匹配來實(shí)現(xiàn)位姿估計(jì),而是基于對平面運(yùn)動的若干假設(shè)來運(yùn)算的。文獻(xiàn)[26]將視覺里程計(jì)與慣導(dǎo)及多普勒計(jì)程儀進(jìn)行融合,用于水下機(jī)器人的定位,其融合方式是用慣導(dǎo)和計(jì)程儀估計(jì)的運(yùn)動來減小圖像匹配的搜索區(qū)域,以提高算法的實(shí)時(shí)性。文獻(xiàn)[27]使用一種“Delayed”卡爾曼濾波器融合視覺里程計(jì)與慣導(dǎo),“Delayed”指的是將上一時(shí)刻的濾波結(jié)果加入到當(dāng)前濾波器狀態(tài)矢量中,這種濾波器方程略復(fù)雜,非線性程度高。慣導(dǎo)和視覺融合的里程計(jì)研究中,主要以開環(huán)的方式進(jìn)行慣導(dǎo)和視覺的融合,缺乏一定的反饋控制,當(dāng)遇到載體運(yùn)動較為激烈時(shí),慣導(dǎo)和視覺定位的不確定度增大后可能遇到無法收斂而導(dǎo)致姿態(tài)估計(jì)偏離,進(jìn)而影響定位精度。因此對于智能車而言,利用更多的控制信息,并融合一定的先驗(yàn)控制參數(shù),能夠有效地對運(yùn)動估計(jì)進(jìn)行指導(dǎo),從而使系統(tǒng)估計(jì)更加魯棒。

        2.2 視覺與衛(wèi)星導(dǎo)航組合系統(tǒng)

        在VO/GNSS組合導(dǎo)航系統(tǒng)中,鑒于視覺導(dǎo)航系統(tǒng)具有自主性好、信息全面、短期精度高等優(yōu)點(diǎn),一般以視覺導(dǎo)航作為組合導(dǎo)航系統(tǒng)的關(guān)鍵子系統(tǒng),而利用GNSS長期穩(wěn)定的輸出修正視覺導(dǎo)航系統(tǒng)的誤差。VO/GNSS組合系統(tǒng)的組合方式與經(jīng)典的GPS/INS松組合系統(tǒng)具有一定的相似性;目前對于VO/GNSS的研究主要集中在松組合階段。文獻(xiàn)[28]借鑒GNSS/INS組合導(dǎo)航系統(tǒng)模型,提出一種類似于GPS/INS松組合的GPS/VO組合導(dǎo)航系統(tǒng),利用卡爾曼濾波器對載體姿態(tài)進(jìn)行可觀測性分析,并通過MATLAB仿真實(shí)驗(yàn)驗(yàn)證系統(tǒng)的可行性。隨后,其又在原有的基礎(chǔ)上對比例因子是未知的單目視覺里程計(jì)系統(tǒng)進(jìn)行了擴(kuò)展研究;通過小型飛機(jī)采集的真實(shí)數(shù)據(jù)驗(yàn)證了系統(tǒng)誤差可觀測性分析的可靠性[29]。文獻(xiàn)[30]采用松組合方式,結(jié)合基于載波相位差分技術(shù)的高精度GNSS和基于特征提取的視覺里程計(jì),利用GNSS精準(zhǔn)定位結(jié)果對視覺里程計(jì)初始化定位,降低系統(tǒng)的初始誤差;當(dāng)車輛處于GNSS信號受影響區(qū)域而只能接收到2~3顆衛(wèi)星信號時(shí),依舊可以有效地抑制視覺里程計(jì)的漂移誤差。

        與單目視覺里程計(jì)不同的是,雙目視覺里程計(jì)與GNSS融合不僅可以抑制視覺里程計(jì)的漂移,而且可以有效降低導(dǎo)航角誤差。文獻(xiàn)[31]融合雙目VO與GPS以平滑GPS的多路徑誤差,提高了導(dǎo)航角精度。文獻(xiàn)[32]利用車道線與智能車的局部位置信息提高視覺里程計(jì)的精度,隨后使用卡爾曼濾波器對GNSS的定位精度進(jìn)行矯正。此外,雙目視覺系統(tǒng)可以有效地避免單目視覺定位漂移的缺陷。文獻(xiàn)[33]利用城市環(huán)境中路標(biāo)的地理位置信息,通過雙目視覺系統(tǒng)對車輛進(jìn)行局部定位,實(shí)現(xiàn)每隔一段時(shí)間都能對GNSS定位誤差進(jìn)行校正;實(shí)驗(yàn)表明在路標(biāo)可見范圍內(nèi)對GNSS定位精度有明顯改善。相對于VO/GNSS松組合系統(tǒng),緊組合系統(tǒng)是在原先GNSS輔助VO的基礎(chǔ)上,利用VO數(shù)據(jù)對GNSS接收機(jī)進(jìn)行輔助,即一方面利用GNSS和VO的導(dǎo)航數(shù)據(jù)進(jìn)行組合濾波;另一方面,VO利用自身測得的載體位置和速度信息對GNSS載波跟蹤環(huán)路進(jìn)行輔助,從外部剔除由于載體和接收機(jī)之間相對運(yùn)動引起的動態(tài)誤差,使GNSS接收機(jī)在高動態(tài)環(huán)境下可以穩(wěn)定工作,并可進(jìn)一步壓縮接收機(jī)載波跟蹤環(huán)路帶寬,抑制噪聲,提高系統(tǒng)的抗干擾性能。緊組合系統(tǒng)是VO/GNSS組合系統(tǒng)的重要發(fā)展方向[28]。

        2.3 多傳感器組合系統(tǒng)

        多傳感器組合系統(tǒng)的設(shè)計(jì)原則需兼顧導(dǎo)航精度與魯棒性最大、復(fù)雜性最小以及處理效率最優(yōu),且必須考慮不同導(dǎo)航技術(shù)的特點(diǎn)。如利用視覺里程計(jì)系統(tǒng)彌補(bǔ)GNSS/INS系統(tǒng)在GNSS受影響區(qū)域系統(tǒng)誤差隨時(shí)間積累的問題,傳統(tǒng)的衛(wèi)星/慣性/視覺組合導(dǎo)航信息融合框架和處理流程如圖3所示。

        文獻(xiàn)[34]使用擴(kuò)展卡爾曼濾波器融合視覺/IMU/GNSS以提高地面車輛在GNSS受影響區(qū)域的定位性能,并通過動態(tài)交通環(huán)境下采集的數(shù)據(jù)對多傳感器系統(tǒng)進(jìn)行了檢測,實(shí)驗(yàn)結(jié)果顯示該系統(tǒng)的性能優(yōu)于GNSS/IMU緊組合導(dǎo)航系統(tǒng)。文獻(xiàn)[35]基于慣導(dǎo)/GPS/視覺組合系統(tǒng),采用層次化分散融合結(jié)構(gòu)融合相對導(dǎo)航傳感器數(shù)據(jù),提高了相對導(dǎo)航精度、可靠性和容錯(cuò)性能。文獻(xiàn)[36]實(shí)現(xiàn)了無人飛行器的GPS/INS/視覺組合導(dǎo)航,并給出了GPS失鎖90s的組合導(dǎo)航結(jié)果,表明帶有視覺導(dǎo)航輔助的導(dǎo)航系統(tǒng)具有良好的穩(wěn)定性。除傳統(tǒng)的衛(wèi)星與慣性導(dǎo)航系統(tǒng)外,雷達(dá)導(dǎo)航系統(tǒng)也可以與視覺里程計(jì)系統(tǒng)組合。文獻(xiàn)[37]針對星際探測器軟著陸的進(jìn)入下降和著陸段的組合導(dǎo)航問題,提出了一種多傳感器融合及多推理系統(tǒng)決策融合算法,該算法將雷達(dá)、激光雷達(dá)和CCD相機(jī)所獲得的地面信息進(jìn)行智能融合,根據(jù)傳感器信息對模糊集、貝葉斯概率和Dempster-Shafer置信3個(gè)子決策系統(tǒng)分別給出決策,通過分層融合選擇算法獲得最終決策,使星際探測器具備自主選擇軟著陸安全區(qū)域的能力。導(dǎo)航信息融合算法是組合導(dǎo)航系統(tǒng)的關(guān)鍵技術(shù)。文獻(xiàn)[38]提出了一種改進(jìn)的EKF算法,該算法針對非線性位置姿態(tài)觀測方程,融合了慣導(dǎo)速率觀測量和視覺觀測量,通過觀測已知坐標(biāo)的特征目標(biāo)物,來確定移動載體的位姿信息。文獻(xiàn)[39]使用卡爾曼濾波將GPS數(shù)據(jù)與視覺特征跟蹤算法進(jìn)行融合,該算法利用彩色閾值分割等方法進(jìn)行圖像預(yù)處理,將方形區(qū)域的窗戶特征作為提取目標(biāo),并通過持續(xù)跟蹤該目標(biāo)來實(shí)現(xiàn)城市內(nèi)導(dǎo)航,算法具有較高實(shí)時(shí)性,在實(shí)測實(shí)驗(yàn)中獲得了15幀/秒的視頻圖像處理速度。隨著信息融合技術(shù)的發(fā)展,利用多傳感器組合導(dǎo)航技術(shù)進(jìn)行信息融合逐步成為國內(nèi)外導(dǎo)航領(lǐng)域的重要發(fā)展方向[40]。

        3 研究展望

        融合視覺里程計(jì)的組合導(dǎo)航系統(tǒng)已經(jīng)取得了較多研究進(jìn)展;但是目前的研究仍然處于實(shí)驗(yàn)階段,此項(xiàng)技術(shù)仍然存在一些問題亟待解決,如下研究方向或可作為下一步研究的重點(diǎn):

        1)更高效率、更高精度的特征檢測與匹配算法。當(dāng)前的研究中,魯棒的特征提取與匹配本身計(jì)算量大,而快速的特征檢測又會造成特征集噪聲過大,使檢測數(shù)據(jù)的計(jì)算量加大,這些都影響了系統(tǒng)的實(shí)時(shí)性;所以設(shè)計(jì)更魯棒更快速的特征提取與匹配算法非常重要。

        2)緊組合導(dǎo)航系統(tǒng)濾波算法研究。在緊組合系統(tǒng)中,需要直接融合傳感器的原始數(shù)據(jù),由于不同觀測條件下的觀測數(shù)據(jù)質(zhì)量有所差異,針對不同的觀測條件如何選擇相應(yīng)的濾波算法和配置相應(yīng)的算法參數(shù)需要進(jìn)一步研究。

        3)低成本的組合導(dǎo)航信息融合技術(shù)。目前所提出的算法大多適用于高精度的儀器設(shè)備,相應(yīng)的算例中的儀器設(shè)備精度也較高;而目前小型化和低成本是組合導(dǎo)航的一個(gè)重要發(fā)展趨勢,低精度的慣導(dǎo)和相機(jī)在誤差特性方面會有所區(qū)別,針對低成本組合導(dǎo)航信息融合還需要進(jìn)一步深入研究。

        4)加快組合系統(tǒng)的軟件和硬件實(shí)現(xiàn)并進(jìn)行工程應(yīng)用。國內(nèi)對于融合視覺的組合導(dǎo)航系統(tǒng)的研究大多處于仿真驗(yàn)證階段,目前還沒有松組合和緊組合方面較成熟的軟件系統(tǒng)及硬件實(shí)現(xiàn)。

        4 結(jié)束語

        在當(dāng)前智能車的車載計(jì)算機(jī)的運(yùn)算能力和存儲空間有限的情況下,是通過復(fù)雜的算法增加魯棒性,還是通過降低復(fù)雜度提高實(shí)時(shí)性,抑或增加多種傳感器提高精確度,融合視覺的組合導(dǎo)航系統(tǒng)在實(shí)現(xiàn)過程中往往面臨著實(shí)時(shí)性、可靠性與魯棒性等性能指標(biāo)的取舍兼顧。在設(shè)計(jì)組合導(dǎo)航系統(tǒng)的過程中,需要根據(jù)不同的應(yīng)用環(huán)境和需求選擇合適的傳感器,權(quán)衡多個(gè)性能指標(biāo),并根據(jù)需要進(jìn)行改進(jìn)。我國現(xiàn)有的無人駕駛車輛導(dǎo)航與環(huán)境感知技術(shù)水平距離世界前沿的關(guān)鍵技術(shù)還有一定的差距,還需要不斷地改進(jìn)和完善現(xiàn)有的傳感器性能和信號融合技術(shù),才能加快組合導(dǎo)航系統(tǒng)在無人駕駛車輛中實(shí)際應(yīng)用的步伐。

        [1] 秦永元,張洪錢,汪叔華.卡爾曼濾波與組合導(dǎo)航原理[M].3版.西安:西北工業(yè)大學(xué)出版社,2014:227-236.

        [2] 江燕華,熊光明,姜巖.智能車輛視覺里程計(jì)算法研究進(jìn)展[J].兵工學(xué)報(bào),2012,33(2):215-219.

        [3]SCARAMUZZAD,FRAUNDORFERF.Visualodometry(Part1:thefirst30yearsandfundamentals)[J].IEEERobotics&AutomationMagazine,2011,18(4):80-92.

        [4]MORAVECH.Obstacleavoidanceandnavigationintherealworldbyaseeingrobotrover[D].Stanford:Univ.ofStanford,1980.

        [5]MATTHIESL,SHAFERSA.Errormodelinginstereonavigation[J].IEEERoboticsandAutomation,1987,RA-3(3):239-250.

        [6] 彭勃,周文暉,劉濟(jì)林.基于Harris角點(diǎn)檢測的立體視覺里程計(jì)[J].兵工學(xué)報(bào),2007,28(12):1498-1502.

        [7]NISTERD,NARODITSKYO,BERGENJ.Visualodometry[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe2004IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington:IEEE,2004: 652-659.

        [8]BADINOH.Arobustapproachforego-motionusingamobilestereoplatform[J].IEEELectureNotesinComputerScience,2007,3417:198-208.

        [9]AQELM,MARBABANM,SARIPANM,etal.Adaptive-searchtemplatematchingtechniquebasedonvehicleaccelerationformonocularvisualodometrysystem[J].IEEEElectricalandElectronicEngineering,2016,11(6):739-752.

        [10]BERANL,CHMELARP,REJFEKL.Navigationofroboticsplatformusingmonocularvisualodometry[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe25thInternationalConferenceonRadioelectronica.Pardubice:IEEE,2015:213-216.

        [11]GARCIA-GARCIAR,SOTELOM,PARRAI,etal.3Dvisualodometryforroadvehicles[J].IEEEIntelligent&RoboticSystems,2008,51(1):113-134.

        [12]FUH,MAH,XIAOH.Real-timeaccuratecrowdcountingbasedonRGB-Dinformation[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe19thInternationalConferenceonImageProcessing.LakeBuenaVista:IEEE,2012:2685-2688.

        [13]MINGY,RUANQ.ActivityrecognitionfromRGB-Dcamerawith3Dlocalspatio-temporalfeatures[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe19thInternationalConferenceonMultimediaandExpo.Melbourne,Australia:2012:344-349.

        [14]DISSANAYAKEMWMG,NEWMANP,CLARKS,etal.Asolutiontothesimultaneouslocalizationandmapbuilding(SLAM)problem[J].IEEERoboticsandAutomation,2001, 17(3):229-241.

        [15]KIMJ,SUKKARIEHS.6DoFSLAMaidedGNSS/INSnavigationinGNSSdeniedandunknownenvironments[J].IEEEGlobalPositioningSystems,2005,4 (1): 120-128.

        [16]黃鴻.雙目立體視覺與慣導(dǎo)融合里程估計(jì)方法[D].杭州:浙江大學(xué),2013:2-15.

        [17]ALLEND,JOHNSONN,ALISONA.Vision-aidedinertialnavigationforflightcontrol[J].IEEEAerospaceComputing,2005 (2): 348-360.

        [18]HUSTERA,ROCKSM.Relativepositionsensingbyfusingmonocularvisionandinertialratesensors[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe11thInternationalConferenceonAdvancedRobotics.Coimbra.Portugal:IEEE,2003.

        [19]MOURIKISA,ROUMELIOTISS.Amulti-stateconstraintKalmanfilterforvision-aidedinertialnavigation[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2007InternationalConferenceonRoboticsandAutomation.Roma,Italy:IEEE,2007.

        [20]馮國虎,吳文啟,曹聚亮,等.Algorithmformonocularvisualodometry/SINSintegratednavigation[J].中國慣性技術(shù)學(xué)報(bào),2011,19 (3): 210-215.

        [21]WEISSS,SIEGWARTR.Real-timemetricstateestimationformodularvision-inertialsystems[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof20011InternationalConferenceonRoboticsandAutomation.Shanghai,China:IEEE,2011:4531-4537.

        [22]KNEIPL,WEISSS,SIEGWARTR.Deterministicinitializationofmetricstateestimationfiltersforloosely-coupledmonocularvision-inertialsystems[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2011InternationalConferenceonIntelligentRobotsandsystems(IROS).SanFrancisco:IEEE,2011:2235-2241.

        [23]KELLYJ,SARIPALIS,SUKHATMEGS.Combinedvisualandinertialnavigationforanunmannedaerialvehicle[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe6thInternationalConferenceonFieldandServiceRobotics.Chamonix,France:IEEE,2008:255-264.

        [24]KONOLIGEK,AGRAWALM.Large-scalevisualodometryforroughterrain[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe13thInternationalConferenceonRoboticsResearch.Hiroshima,Japan:IEEE,2011:201-212.

        [25]READBB,TAYLORCN.InertiallyaidedvisualodometryforminiatureairvehiclesinGPS-deniedenvironments[J].JournalofIntelligentandRoboticSystems,2009,55(2-3):203-221.

        [26]HILDEBRANDTM,KIRCHNERF.IMU-aidedstereovisualodometryforground-trackingAUVapplications[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2010InternationalConferenceonOceans.Sydney,Australia:IEEE,2010:1-8.

        [27]TARDIFJ,GEORGEM,LAVEMEM,etal.Anewapproachtovision-aidedinertialnavigation[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2010InternationalConferenceonIntelligentRobotsandSystems.Taipei:IEEE,2010:4161-4168.

        [28]DUSHA D.Attitude observability of a loosely-coupled GPS/visual odometry integrated navigation filter[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Robotics and Automation. Australia:IEEE, 2010.

        [29]DUSHA D,MEJIAS L.Error analysis and attitude observability of a monocular GPS/visual odometry integrated navigation filter[J].IEEE Robotics Research,2012,31(6):714-737.

        [30]ANDREY S.Integration of GPS and vision measurements for navigation in GPS challenged environments[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Position Location and Navigation Symposium.Palm Springs:IEEE,2010 :826-833.

        [31]WEI L, CAPPELLE C,RUICHEK Y,et al.GPS and stereovision-based visual odometry: application to urban scene mapping and intelligent vehicle localization[EB/OL].(2010-11-15)[2016-10-21].https://www.hindawi.com/journals/ijvt/2011/439074/.

        [32]周莉.基于GNSS與視覺的道路監(jiān)測與避障技術(shù)[D].成都:電子科技大學(xué),2015:24-30.

        [33]張奕然,郭承軍,牛瑞朝.智能車雙目視覺輔助GNSS定位方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(17):192-197.

        [34]CHU T,GUO N,BACKEN S,et al.Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J].IEEE Sensors,2012,12(3):3162-3185.

        [35]曲法義,王小剛,崔乃剛.基于慣導(dǎo)/GPS/視覺的無人機(jī)容錯(cuò)相對導(dǎo)航方法[J].中國慣性技術(shù)學(xué)報(bào),2013,21(6):782-785.

        [36]WANG J,GARRATT M,LAMBERT A,et al.Integration of GPS/INS/vision sensors to navigate unmanned aerial vehicle[J].Remote Sensing and Spatial Information Science,2008.

        [37]SERAJI H,SERRANO N.A multisensor decision fusion system for terrain safety assessment[J]. IEEE Robotics,2009,25(1):99-108.

        [38]HUSTER A,ROCK S M.Relative position sensing by fusing monocular vision and inertial rate sensors[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 11th International Conference on Advanced Robotics.Coimbra,Portugal:IEEE, 2003:1562-1567.

        [39]SARIPALLI S,SUKHATME G,MEJIAS L,et al.Detection and tracking of external features in an urban environment using an autonomous helicopter[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Robotics and Automation.Barcelona. Spain:IEEE, 2005: 3972-3977.

        [40]董明.衛(wèi)星/慣性/視覺組合導(dǎo)航信息融合關(guān)鍵技術(shù)研究[D].鄭州:信息工程大學(xué),2014:10-15.

        Analysis on integrated navigation technology for intelligent vehicles by integrating vision

        ZENGQingxi1,2,3,F(xiàn)ENGYupeng1,3,DUJinzhi2,F(xiàn)ANGXiao2,LIZhongbing2

        (1.Self-driving Vehicle Research Center, Nanjing University of Aeronautics and Astronautics,Nanjing 210016, China;2.Prospective Technology Research Institute of Chery Automobile Co., Ltd., Wuhu, Anhui 241009, China;3.State Key Laboratory of Automotive Simulation and Control, Changchun 130012, China)

        In order to further study on the navigation and positioning technology for self-driving intelligent vehicles, the paper analyzed the application of the visual odometry in vehicle integrated navigation system: the principle of the visual odometry was introduced; and the three main research directions of the vehicle integrated navigation system based on the visual odometry were expounded, as INS/VO, GNSS/VO and multi-sensor system; finally the development of the visual odometry in the intelligent vehicle integrated navigation system was prospected

        visual odometry; integrated navigation; GNSS; INS; intelligent vehicle

        2016-12-18

        中國博士后科學(xué)基金資助項(xiàng)目(171980);國家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2016YFB0501805);南京航空航天大學(xué)研究生創(chuàng)新基地(實(shí)驗(yàn)室)開放基金資助項(xiàng)目(kfjj20160216)。

        曾慶喜(1980—),江蘇南京人,博士,講師,研究方向?yàn)闊o人駕駛車輛多傳感器組合導(dǎo)航方法。

        馮玉朋(1992—),安徽滁州人,碩士碩士生,研究方向?yàn)闊o人駕駛車輛視覺與衛(wèi)星組合導(dǎo)航系統(tǒng)。

        曾慶喜,馮玉朋,杜金枝,等.融合視覺的智能車組合導(dǎo)航技術(shù)分析[J].導(dǎo)航定位學(xué)報(bào),2017,5(2):1-6,13.(ZENG Qingxi,F(xiàn)ENG Yupeng,DU Jinzhi,et al.Analysis on integrated navigation technology for intelligent vehicles by integrating vision[J].Journal of Navigation and Positioning,2017,5(2):1-6,13.)

        10.16547/j.cnki.10-1096.20170201.

        P228

        A

        2095-4999(2017)02-0001-07

        猜你喜歡
        單目里程計(jì)慣導(dǎo)
        室內(nèi)退化場景下UWB雙基站輔助LiDAR里程計(jì)的定位方法
        一種單目相機(jī)/三軸陀螺儀/里程計(jì)緊組合導(dǎo)航算法
        自適應(yīng)模糊多環(huán)控制在慣導(dǎo)平臺穩(wěn)定回路中的應(yīng)用
        基于模板特征點(diǎn)提取的立體視覺里程計(jì)實(shí)現(xiàn)方法
        無人機(jī)室內(nèi)視覺/慣導(dǎo)組合導(dǎo)航方法
        單目SLAM直線匹配增強(qiáng)平面發(fā)現(xiàn)方法
        基于Bagging模型的慣導(dǎo)系統(tǒng)誤差抑制方法
        基于CAD模型的單目六自由度位姿測量
        大角度斜置激光慣組與里程計(jì)組合導(dǎo)航方法
        基于多線程的慣導(dǎo)邏輯仿真器設(shè)計(jì)
        色先锋资源久久综合5566| 国产在线h视频| 日本最新一区二区三区视频| 极品新娘高清在线观看| 2020国产在视频线自在拍| 亚洲中文字幕在线第二页| 亚洲天堂99| 国产毛片三区二区一区| 在线观看国产成人自拍视频| 国产成人精品白浆久久69| 亚洲美腿丝袜综合一区| 激情人妻中出中文字幕一区| 就爱射视频在线视频在线| 中文字幕丰满乱子无码视频| 亚洲精品日韩自慰喷水白浆| 国产后入内射在线观看| 青青草免费在线爽视频| 果冻传媒2021精品一区| 另类专区欧美在线亚洲免费| 成年人视频在线播放麻豆| 国产特级毛片aaaaaa高潮流水| 国产精品久久毛片av大全日韩| 亚洲大片免费| 91精品国产综合久久国产| 久久久噜噜噜久久中文福利| 日韩精品无码一区二区三区视频| 亚洲无码vr| 亚洲中文字幕乱码第一页| 亚洲色大成网站www永久| 少妇寂寞难耐被黑人中出| 欧美日韩国产乱了伦| 国产美腿丝袜一区二区| 国产人妻人伦精品1国产| 色综合久久丁香婷婷| 精品av一区二区在线| 国产精品久久国产精麻豆99网站| 国产女人水真多18毛片18精品| 色欲国产精品一区成人精品| 长腿丝袜在线观看国产| 精品国产日韩一区2区3区| 天天夜碰日日摸日日澡|