劉則元，徐文斌，邢冠宇

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065；2.光學(xué)輻射重點(diǎn)實(shí)驗(yàn)室，北京 100854；3.四川大學(xué)視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都 610065）

0 引言

即時(shí)定位與建圖（Simultaneous Localization And Mapping，SLAM）[1]技術(shù)是指主體在沒(méi)有先驗(yàn)信息的環(huán)境中，通過(guò)傳感器估計(jì)自身的運(yùn)動(dòng)位置，并在過(guò)程中同時(shí)建立起周圍環(huán)境的模型。

SLAM技術(shù)現(xiàn)在大量應(yīng)用于無(wú)人機(jī)、自動(dòng)駕駛、機(jī)器人導(dǎo)航領(lǐng)域，用來(lái)完成導(dǎo)航或建模的工作，并且成功實(shí)現(xiàn)了商業(yè)化的應(yīng)用。例如在機(jī)器人領(lǐng)域，市面上應(yīng)用較多的掃地機(jī)器人，可以利用SLAM技術(shù)對(duì)周圍環(huán)境進(jìn)行感知，并能對(duì)自身所處的位置有較為準(zhǔn)確的判斷，從而更好地完成掃地路徑的規(guī)劃以及對(duì)障礙物的規(guī)避。

視頻標(biāo)定技術(shù)是指利用視覺(jué)傳感器得到的視頻或序列幀，反求出視覺(jué)傳感器的運(yùn)動(dòng)軌跡和姿態(tài)。然而現(xiàn)有的基于可見(jiàn)光的視覺(jué)SLAM方法在弱光、霧霾、煙塵等不良環(huán)境下均無(wú)法正常工作，而熱紅外攝像機(jī)能夠穩(wěn)定工作在上述環(huán)境中，這使得實(shí)現(xiàn)全天候的視覺(jué)跟蹤和定位成為可能。

與可見(jiàn)光系統(tǒng)相比，紅外成像系統(tǒng)具有以下優(yōu)點(diǎn)：

（1）紅外攝像機(jī)的環(huán)境適應(yīng)性相比于可見(jiàn)光更好，在夜間和惡劣條件下能工作地更出色；

（2）紅外光透過(guò)霧霾、煙霧的能力比可見(jiàn)光強(qiáng)，抗干擾能力更強(qiáng)；

（3）紅外光可以利用不同目標(biāo)之間的溫差，更加準(zhǔn)確地探測(cè)如人體、導(dǎo)彈等物體；

（4）隱蔽性好，紅外傳感器可以被動(dòng)地接受紅外輻射，比激光探測(cè)更加安全。

但是與基于可見(jiàn)光的系統(tǒng)相比，紅外圖像還存在分辨率低，噪聲高，缺乏紋理、顏色信息，存在非均勻性誤差，圖像對(duì)比度低并且邊緣模糊等缺點(diǎn)。

從發(fā)展趨勢(shì)上來(lái)講，由于普通可見(jiàn)光圖像的局限性，在煙霧、粉塵以及夜間等低光照環(huán)境中不能正常工作，因此研究紅外視覺(jué)SLAM系統(tǒng)，對(duì)于實(shí)現(xiàn)全天候的視覺(jué)SLAM系統(tǒng)，有著非常重要的意義。

1 相關(guān)工作

從傳感器的種類上來(lái)分，SLAM技術(shù)主要可以分為激光SLAM和視覺(jué)SLAM兩大類。其中激光SLAM方案起步較早，從理論到應(yīng)用都有著較為成熟的體系，也是目前實(shí)際應(yīng)用中采用較多的主流方案。而視覺(jué)SLAM系統(tǒng)使用相機(jī)作為數(shù)據(jù)采集傳感器，不僅硬件價(jià)格低廉，而且體積小、能耗低，在小范圍內(nèi)精度高、穩(wěn)定性好，能夠應(yīng)用于大多數(shù)平臺(tái)。圖像作為計(jì)算機(jī)的待處理數(shù)據(jù)，不僅信息量豐富，而且不依賴于環(huán)境場(chǎng)景的預(yù)先布置，適用性較強(qiáng)，也能夠在各種復(fù)雜的場(chǎng)景下工作。

憑借以上諸多優(yōu)點(diǎn)，同時(shí)得益于近年來(lái)計(jì)算機(jī)運(yùn)算速度的極大提升以及概率學(xué)模型的應(yīng)用，視覺(jué)SLAM方案得到了極大發(fā)展，產(chǎn)生了越來(lái)越多較為成熟的SLAM系統(tǒng)，例如基于特征點(diǎn)的ORB-SLAM[2-3]系統(tǒng)，基于直接法的LSD-SLAM[4-5]系統(tǒng)等。

目前，對(duì)于全天候視覺(jué)SLAM相關(guān)的研究非常少。

本文提出了一種基于單目視覺(jué)SLAM系統(tǒng)進(jìn)行紅外相機(jī)定位的框架和算法，用于實(shí)現(xiàn)在霧霾、粉塵、煙塵以及黑暗環(huán)境等特殊環(huán)境下進(jìn)行紅外視頻的標(biāo)定。

2 本文方法

2. 1 系統(tǒng)整體流程框架

圖1 視覺(jué)SLAM系統(tǒng)框架

視覺(jué)SLAM系統(tǒng)框架主要分為三個(gè)部分，分別是追蹤部分，局部建圖部分和閉環(huán)檢測(cè)部分。對(duì)于經(jīng)過(guò)非均勻性校正管理的視頻幀序列，追蹤部分首先對(duì)紅外視頻中的特征點(diǎn)進(jìn)行追蹤，利用多視圖幾何的方法初步計(jì)算出相機(jī)的位姿，以及地圖點(diǎn)的深度信息。

初步得到的標(biāo)定結(jié)果存在著較大誤差，需要對(duì)這個(gè)誤差進(jìn)行進(jìn)一步的優(yōu)化，。在局部建圖部分，對(duì)選取的關(guān)鍵幀，挑選其中的地圖點(diǎn)，將挑選出的地圖點(diǎn)添加到地圖中，然后對(duì)這些地圖點(diǎn)進(jìn)行非線性優(yōu)化，最小化這些三維空間點(diǎn)在像素坐標(biāo)系下的重投影誤差，使一個(gè)時(shí)間段內(nèi)的誤差最小化。

閉環(huán)檢測(cè)部分檢測(cè)運(yùn)動(dòng)軌跡中的回環(huán)，對(duì)于與關(guān)鍵幀相似度較高的候選幀計(jì)算圖像的相似度，判斷相機(jī)是否處于曾經(jīng)出現(xiàn)過(guò)的位置，再把這個(gè)約束結(jié)果傳給后端進(jìn)行閉環(huán)融合，最后進(jìn)行全局的優(yōu)化，從而消除視覺(jué)SLAM系統(tǒng)長(zhǎng)時(shí)間累計(jì)的誤差。

本文在進(jìn)行紅外視頻的標(biāo)定時(shí)，主要使用視覺(jué)SLAM系統(tǒng)的追蹤部分求出紅外攝像機(jī)的運(yùn)動(dòng)軌跡，使用局部建圖對(duì)這個(gè)結(jié)果進(jìn)行優(yōu)化，得到精確可靠的標(biāo)定結(jié)果。

2. 2 非均勻性校正管理

紅外圖像的非均勻性噪聲是一種固定圖像噪聲，是由于紅外探測(cè)器的加工工藝、材料、溫度和偏置情況的不均勻所造成的，為了減少這種噪聲紅外相機(jī)會(huì)對(duì)這些噪聲進(jìn)行非均勻性校正，此時(shí)由于相機(jī)重新校準(zhǔn)會(huì)造成約一兩秒的延遲，新進(jìn)數(shù)據(jù)可能丟失，這在一定程度上會(huì)造成追蹤丟失。因此首先需要對(duì)紅外攝像機(jī)的非均勻性誤差校正過(guò)程進(jìn)行非均勻性校正管理（NUC）。

圖2 NUC管理的流程

如圖2所示，對(duì)于紅外視頻新進(jìn)的每一幀，進(jìn)行四次檢查：

（1）如果當(dāng)前關(guān)鍵幀是新的一幀；

（2）如果上一個(gè)新進(jìn)幀出現(xiàn)了延遲，說(shuō)明正在進(jìn)行非均勻性校正；

（3）如果新進(jìn)幀是經(jīng)過(guò)非均勻性校正之后的第一幀；

（4）如果條件允許新的特征檢測(cè)。分別檢查上述四個(gè)條件后，再進(jìn)行角點(diǎn)的特征追蹤，從而保證在非均勻性校正造成延遲時(shí)，跟蹤盡量不丟失。

2. 3 紅外特征的選取

對(duì)于紅外視頻，本文利用基于特征點(diǎn)的視覺(jué)SLAM方法對(duì)紅外視頻進(jìn)行標(biāo)定，因此匹配良好的特征點(diǎn)算法對(duì)于整個(gè)系統(tǒng)是至關(guān)重要的第一步。

為了能夠紅外圖像中盡可能提取出更多的角點(diǎn)，并對(duì)這些角點(diǎn)進(jìn)行追蹤，實(shí)驗(yàn)選取了SURF、STAR、FAST、ORB、MSER等不同的角點(diǎn)算法，從相鄰兩幀紅外圖像中分別提取角點(diǎn)，并進(jìn)行如下處理：

（1）選取可重復(fù)性來(lái)衡量特征點(diǎn)算法在熱紅外圖像中的穩(wěn)定性，定義重疊誤差：

其中SH為第二幅圖像通過(guò)單應(yīng)矩陣投影到之前圖像的區(qū)域面積。

（2）接受匹配要求重疊誤差小于0.2的特征點(diǎn)數(shù)量為a，總的匹配特征點(diǎn)數(shù)量為b，可重復(fù)率定義為a/b。

（3）改變靈敏度閾值，增加匹配的特征點(diǎn)的數(shù)量，重復(fù)上述步驟，得到特征點(diǎn)匹配數(shù)量與可重復(fù)率之間的關(guān)系。

根據(jù)實(shí)驗(yàn)結(jié)果，選取可重復(fù)率較高并且效率較高的角點(diǎn)算法作為紅外視覺(jué)SLAM系統(tǒng)的特征點(diǎn)算法。

2. 4 紅外視頻的標(biāo)定

視頻標(biāo)定是指利用視覺(jué)傳感器得到的視頻或序列幀，反求出視覺(jué)傳感器的運(yùn)動(dòng)軌跡和姿態(tài)。對(duì)于紅外視頻中的每一個(gè)序列幀，先進(jìn)行非均勻性校正管理，然后從紅外圖像中提取足夠多的特征點(diǎn)，并在相鄰兩幀之間進(jìn)行特征點(diǎn)匹配。

由于紅外圖像存在低紋理等缺點(diǎn)，從紅外圖像中能夠提取的角點(diǎn)數(shù)量較少，為了能從紅外圖像中提取出足夠數(shù)量的角點(diǎn)，相較于普通可見(jiàn)光圖像需要大幅降低靈敏度閾值。這會(huì)導(dǎo)致特征點(diǎn)大量的誤匹配，因此提出了一種在熱紅外圖像中大幅減少誤匹配的方法：

（1）降低角點(diǎn)檢測(cè)算法的閾值，盡可能多地檢測(cè)紅外圖像中的角點(diǎn)；

（2）利用L-K光流法對(duì)角點(diǎn)進(jìn)行追蹤；

（3）計(jì)算追蹤成功角點(diǎn)的二進(jìn)制特征描述符；

（4）在追蹤角點(diǎn)的閾值范圍內(nèi)根據(jù)匹配。

經(jīng)過(guò)這樣篩選后能夠在減少誤匹配的同時(shí)盡量保留特征點(diǎn)的數(shù)量，從而可以增加地圖點(diǎn)的數(shù)量，使SLAM系統(tǒng)在更容易初始化成功的同時(shí)，減小標(biāo)定誤差。

在相鄰兩幅圖片之間匹配好特征點(diǎn)后，利用多視圖幾何[8]的方法，分別計(jì)算本質(zhì)矩陣和單應(yīng)矩陣，通過(guò)矩陣分解初始化相機(jī)的位移t和旋轉(zhuǎn)R，選擇其中誤差較小的結(jié)果作為相機(jī)的初步的運(yùn)動(dòng)估計(jì)。PnP算法[9]是指通過(guò)多對(duì)3D與2D匹配點(diǎn)，在已知或者未知相機(jī)內(nèi)參的情況下，利用最小化重投影誤差來(lái)求解相機(jī)外參的算法。對(duì)于初始化成功的SLAM系統(tǒng)，可以用PnP算法完成后續(xù)相機(jī)外參的標(biāo)定。依據(jù)得到相機(jī)的運(yùn)動(dòng)估計(jì)，可以通過(guò)三角測(cè)量算法計(jì)算特征點(diǎn)對(duì)應(yīng)的點(diǎn)的三維空間坐標(biāo)作為地圖點(diǎn)，最后依據(jù)一定的策略從序列幀中選取出一部分關(guān)鍵幀。

對(duì)于初步的標(biāo)定結(jié)果，局部地圖構(gòu)建和閉環(huán)檢測(cè)的兩個(gè)線程都需要進(jìn)行束集調(diào)整（Bundle Adjustment，BA）優(yōu)化。BA算法是一種非線性優(yōu)化算法，具有很高的精度，而且由于視覺(jué)SLAM系統(tǒng)中矩陣的稀疏特性，使BA算法能夠應(yīng)用在實(shí)時(shí)的視覺(jué)SLAM系統(tǒng)中。

紅外視頻的標(biāo)定可以得到紅外相機(jī)的外參數(shù)（包括位移和旋轉(zhuǎn)），為了更直觀驗(yàn)證標(biāo)定結(jié)果的準(zhǔn)確性，采用增強(qiáng)現(xiàn)實(shí)技術(shù)，在采集的真實(shí)熱紅外視頻中實(shí)時(shí)加入計(jì)算機(jī)生成的虛擬景物，通過(guò)保證虛實(shí)景物共享一個(gè)環(huán)境空間，構(gòu)建動(dòng)態(tài)紅外虛實(shí)融合環(huán)境。如果加入的虛擬物體在場(chǎng)景中保持著穩(wěn)定性和一致性，說(shuō)明標(biāo)定的結(jié)果是精確可靠的。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境采用紅外攝像機(jī)Phantom 4 IR-PRO 4.35mm，在Ubuntu 16.04 amd64操作系統(tǒng)下，軟件環(huán)境為使用了 OpenCV 2.4.13，矩陣庫(kù) Eigen3、Pangolin，非線性優(yōu)化庫(kù)g2o，點(diǎn)云庫(kù)PCL等。

3. 1 紅外攝像機(jī)的內(nèi)參標(biāo)定

實(shí)驗(yàn)使用可以加熱的棋盤(pán)格標(biāo)定板，對(duì)棋盤(pán)格黑色部分采取隔熱處理，然后依次從不同角度拍攝20張如圖3所示的不同的棋盤(pán)格圖像。

圖3 不同角度拍攝的棋盤(pán)格紅外圖像

使用張正友標(biāo)定算法[10]，得到了實(shí)驗(yàn)使用的紅外攝像機(jī)的內(nèi)參數(shù)矩陣：

3. 2 紅外特征提取與匹配

以及畸變系數(shù)：

k1=-0.11973069

k2=-0.06653221

p1=-0.00075981

p2=0.0029442

k3=0.23346432

將這個(gè)結(jié)果用于重投影誤差的計(jì)算，計(jì)算得到棋盤(pán)格角點(diǎn)的平均重投影誤差為0.154304（單位：像素）。

使用OpenCV分別對(duì)熱紅外圖像進(jìn)行SURF、STAR、FAST、ORB、MSER 特征點(diǎn)的提取和匹配，分別計(jì)算在不同特征點(diǎn)數(shù)量下的可重復(fù)率，如圖4所示。

圖4 SURF、STAR、FAST、ORB、MSER可重復(fù)率比較

根據(jù)上述實(shí)驗(yàn)可以得知，ORB特征點(diǎn)在穩(wěn)定性方面與SURF、STAR特征點(diǎn)并無(wú)太大差異，但是ORB特征點(diǎn)在具備旋轉(zhuǎn)、尺度不變性的同時(shí)，特征檢測(cè)與匹配速度較快，因此系統(tǒng)采取了ORB特征點(diǎn)作為熱紅外圖像的特征。

對(duì)于輸入的熱紅外圖像幀，經(jīng)過(guò)濾波操作去除噪聲后系統(tǒng)使用OpenCV從圖像中提取出角點(diǎn)，然后計(jì)算這些像素點(diǎn)的描述子，得到圖像中的特征點(diǎn)，用L-K光流法跟蹤這些特征點(diǎn)，并在跟蹤的區(qū)域內(nèi)進(jìn)行匹配，得到了匹配良好的ORB特征點(diǎn)。

3. 3 紅外視頻的標(biāo)定

為了評(píng)估算法的穩(wěn)定性，分別從重投影誤差和虛擬現(xiàn)實(shí)演示兩個(gè)方面進(jìn)行。對(duì)于隨機(jī)選取的不同的熱紅外視頻的幀序列，得到其重投影誤差和視頻幀序列的關(guān)系，如圖5所示。

圖5 重投影誤差隨著紅外視頻幀數(shù)的變化

考慮到從投影到圖像中的每個(gè)點(diǎn)到像素的平均誤差，使用重投影誤差為標(biāo)準(zhǔn)來(lái)判斷系統(tǒng)運(yùn)行期間的穩(wěn)定性和性能。經(jīng)驗(yàn)上來(lái)講，平均重投影低于1.50個(gè)像素時(shí)，對(duì)應(yīng)著良好的運(yùn)動(dòng)估計(jì)和場(chǎng)景的結(jié)構(gòu)的可靠的估計(jì)；當(dāng)誤差增大到約3.00個(gè)像素時(shí)，SLAM系統(tǒng)運(yùn)行的結(jié)果不可靠。

將加入虛擬物體前和加入虛擬物體后的場(chǎng)景進(jìn)行對(duì)比，加入虛擬物體前場(chǎng)景如圖6所示。

在熱紅外視頻中加入虛擬物體（小汽車）并經(jīng)過(guò)渲染后，如圖7所示。

一般來(lái)說(shuō)，虛擬物體在視頻中表現(xiàn)地越穩(wěn)定、越逼真，說(shuō)明運(yùn)動(dòng)估計(jì)是準(zhǔn)確而可靠的，也就說(shuō)明標(biāo)定的結(jié)果與預(yù)期中一致。

圖6 加入虛擬物體前測(cè)試的場(chǎng)景

圖7 在道路上加入了虛擬汽車的紅外視頻

4 結(jié)語(yǔ)

該系統(tǒng)對(duì)于熱紅外圖像的非均勻性校正和噪聲經(jīng)過(guò)特殊處理，并且對(duì)熱紅外圖像存在的特征點(diǎn)過(guò)少的問(wèn)題做出優(yōu)化，將ORB特征點(diǎn)和L-K光流法用于處理熱紅外視頻的特征，系統(tǒng)能夠在不借助其他傳感器的情況下較好地運(yùn)行。然而，由于熱紅外圖像本身的局限性，相較于普通可見(jiàn)光的SLAM系統(tǒng)，該系統(tǒng)還是容易出現(xiàn)很多失敗條件，例如初始化不成功等問(wèn)題。

由于熱紅外相機(jī)的特性，該系統(tǒng)能夠較好地運(yùn)行在煙霧、夜間等環(huán)境，從而實(shí)現(xiàn)全天候的視覺(jué)SLAM，這對(duì)于軍事上或者某些場(chǎng)合（例如太空中）有著重大的實(shí)用意義。

未來(lái)的工作包括在系統(tǒng)中加入基于機(jī)器學(xué)習(xí)的閉環(huán)檢測(cè)模塊，增加對(duì)熱紅外圖像的適配，加入的閉環(huán)檢測(cè)模塊，可以有效減少系統(tǒng)長(zhǎng)時(shí)間內(nèi)的累計(jì)誤差，使整個(gè)系統(tǒng)更加魯棒。