魏麟 陳華杰 王彪 陳玉

（中國民用航空飛行學院 四川省廣漢市 618307）

1 引言

人工智能作為現(xiàn)階段的研究熱點，有著光明的前景與應用。隨著智能化時代的到來，人工智能已經(jīng)漸漸深入到我們的生活當中，目前飛機人工智能副駕駛的研究處于剛剛起步。美國國防高級研究計劃署（DARPA）2015年設立Aircrew Labor In-Cockpit Automation System (ALIAS）項目。DARPA 邀請了兩支團隊共同競爭來推動ALIAS 項目發(fā)展，他們分別為Aurora Flight Sciences 和Lockheed Martin Sikorsky。Aurora 已經(jīng)完成了帶機械手柄的原型版本，具備圖像識別、語音識別和機器學習、決策控制的能力，并于2016年10月在Cessna 上成功測試，目前兩家公司的ALIAS 項目在直升機和固定翼飛機上都已經(jīng)成功測試。而我們國內(nèi)目前針對人工智能副駕駛的研究幾乎處于空白，但人工智能進入飛機是勢在必行的方向，有著光明的前景。人工智能副駕駛實際上是一個機器人，能夠幫助主駕駛完成一系列的任務，減輕主駕駛的壓力，同時也減少了航空公司的運營成本，有著極佳的應用前景。為了實現(xiàn)人工智能副駕駛的各項功能，機器人的視覺的SLAM 技術(shù)有著很好的適用性，本文就著重于SLAM 技術(shù)中視覺里程計模塊的特征匹配研究。

2 SLAM

SLAM 是SimultaneousLocalizationandMapping 的縮寫，中文譯為“同時定位與地圖構(gòu)建技術(shù)”。這項技術(shù)最早起源于機器人領域，是現(xiàn)在移動機器人實現(xiàn)自主導航與定位的核心技術(shù)之一。如今更是被用于自動駕駛，機器人導航等多個領域。SLAM 技術(shù)主要用來解決兩個核心的問題：一是對機器人自身進行定位，二是對周圍環(huán)境進行建模。SLAM 技術(shù)分為視覺SLAM 與激光SLAM 兩種，其中激光SLAM 技術(shù)已經(jīng)相對成熟，目前已經(jīng)投入使用，而視覺SLAM 技術(shù)還大多處于理論研究階段。本文就是針對視覺SLAM技術(shù)，研究飛機上人工智能副駕駛的視覺感知技術(shù)。對視覺SLAM前端視覺里程計中的特征匹配進行研究，為人工智能副駕駛的實現(xiàn)提供視覺部分的理論依據(jù)。

視覺SLAM 的就是同時解決定位和建圖兩個問題，而其實質(zhì)就是一個估計狀態(tài)的問題。一般會選擇相機作為機器人的主要傳感器，建立一定的數(shù)學模型利用連貫的每一幀的圖片來確定自身的信息提取。

視覺SLAM 的整個過程可以概括為：傳感器信息讀取、視覺里程計、后端優(yōu)化、回環(huán)檢測和建立地圖五步，如圖1。其中的視覺里程計又稱為前端，主要負責狀態(tài)估計，后端優(yōu)化則是負責狀態(tài)估計的求解與優(yōu)化。本文主要是對視覺里程計中的特征提取和匹配算法進行優(yōu)化，以提高匹配的準確率，為人工智能副駕駛識別駕駛艙內(nèi)的環(huán)境提供依據(jù)。

圖1

圖2

圖3

3 特征點法

特征點指的是圖中的特別的地方，如角點、邊緣、區(qū)塊等。這些特征更容易被識別出來，因此會作為識別算法的核心目標。那么如何提取特征點關系著特征點提取的速度和準確性。目前，角點的提取算法有很多，例如Harris 角點、FAST 角點、GFTT 角點等等。但是單純的角點往往不能滿足需求。例如從遠處看上去是角點的地方，當相機離近之后可能就不是角點了，又或者角度的變化會讓角點的外觀發(fā)生變化，使得無法識別出是同一個角點。因此，在計算機視覺領域又產(chǎn)生了新的算法，如SIFT、SURF、ORB 等等。這些新興的算法相比于之前的算法具有更多的優(yōu)勢。

特征點由關鍵點和描述子兩部分組成。因此計算特征點實際上是提取關鍵點并計算描述子兩件事。關鍵點是指該特征點在圖像里的位置，有些特征點還具有朝向和大小信息。描述子通常是一個向量，按照某種人為的設計方式描述該關鍵點周圍像素的信息。描述子是按照外觀相似的特征具有相似的描述子設計，如果兩個特征點的描述子在向量空間上距離相近就可以認為他們具有同樣的特征點。

提取特征點的過程有的很精確，再相機運動和光照變化下仍然有較好的效果，但是相應的計算量也更大。如SIFT（尺度不變特征變換）就是最為經(jīng)典的一種。它充分考慮到了光照、尺度和旋轉(zhuǎn)，使得計算更為精確，但SLAM 本應是一個實時的地圖構(gòu)建，目前計算機還無法做到實時計算SIFT 特征的能力，所以一般會選擇降低精度和魯棒性來提升計算速度。最典型的就是ORB 算法，ORB算法采用的是二級制描述子，在速度上是SIFT 的千百倍，更容易滿足實時性要求。

表1：特征匹配結(jié)果

圖4

3.1 ORB特征

ORB 的關鍵點是一種改進的FAST 角點，其描述子稱為BRIEF。FAST 是一種角點，主要是檢測局部像素灰度變化明顯的地方，并且速度較快。其思想是：如果像素和領域像素差別過大那么就有可能是角點。這種只用比較像素的方法十分便捷。

FAST 特征點計算速度非?？欤灿兄貜托圆粡?、分布不均勻的缺點。且FAST 角點不具有方向性，尺度問題也沒有解決，遠看是角點的地方接近后可能就不是角點。針對FAST 角點方向性和尺度的問題，ORB 特征中添加了尺度和旋轉(zhuǎn)的描述使得旋轉(zhuǎn)或縮放后依然識別可靠。構(gòu)建圖像金字塔可以消除圖像放大或縮小帶來的影響，灰度質(zhì)心法可以消除特征因為旋轉(zhuǎn)帶來的影響。

3.2 圖像金字塔與灰度質(zhì)心法

金字塔是計算機視覺中常用的方法，金字塔底層是原始圖像，每往上一層就是對圖像進行一定倍率的縮放，這樣可以得到不同分辨率的圖像。我們可以通過匹配不同分辨率的圖像來實現(xiàn)尺度不變性。

利用這種方法FAST 角點便具有了尺度與旋轉(zhuǎn)的描述，從而大大提升了其在不同圖像之間表述的魯棒性。所以在ORB 中，把這種改進后的FAST 稱為Oriented FAST。

3.3 BRIEF描述子

BRIEF 描述子是一種基于二進制位串的描述子方法。其原理是對圖像進行分塊，采用高斯濾波的方式進行像素點的測試，比較灰度值，將比較的結(jié)果進行0/1 分類。

4 特征匹配仿真

本文將FAST 角點與Harris 角點相結(jié)合來改進ORB 算法，利用高斯金字塔的方法計算Harris 角點分數(shù)，并取FAST 里的前4^(4-n)個點。再用灰度質(zhì)心法結(jié)合BRIEF 描述子，利用Hamming 距離進行暴力匹配。最后將匹配結(jié)果呈現(xiàn)出來。

5 實驗仿真結(jié)果

本文采用了三組相似圖片進行匹配，這些圖片僅存在一定的區(qū)別。第一組存在旋轉(zhuǎn)角度的變化（見圖2）。

經(jīng)過匹配后發(fā)現(xiàn)，這種匹配方法可以適應旋轉(zhuǎn)角度的變化。旋轉(zhuǎn)之后仍然可以識別出來對應的特征點。第二組存在顏色上區(qū)別（見圖3）。

經(jīng)過匹配后發(fā)現(xiàn)大多數(shù)的特征點匹配也是正確的，即使有少量的顏色區(qū)別，只要其周圍大多數(shù)的像素點還保持一致特征，它同樣可以匹配為相同特征點，這可以一定程度上避免靈敏度過高而丟失特征點點對。第三組是實驗室環(huán)境，圖像為手機拍攝，攝像頭為1200 萬像素。通過不同角度拍攝獲得的兩張照片（見圖4）。

經(jīng)過匹配發(fā)現(xiàn)匹配點并不多，且匹配點屬于圖片中較為突出明顯的點，說明在實際應用中算法還需要一些優(yōu)化來達到更好的效果。特征匹配結(jié)果如表1所示。

6 結(jié)果分析

本文通過FAST 角點與Harris 角點相結(jié)合，利用改進的ORB算法仿真得到人工智能副駕駛視覺里程計的特征匹配結(jié)果。結(jié)果雖然還存在完善的空間，但是通過仿真已經(jīng)驗證了算法的可行性，為下一步的座艙地圖構(gòu)建奠定了基礎。