陳小平 石浚茹

研究背景

俄烏沖突自2022年2月爆發(fā)，距今已經(jīng)持續(xù)約一年半。無人機(jī)在持續(xù)的沖突中使用頻率遠(yuǎn)超傳統(tǒng)武器中的飛機(jī)大炮，這場沖突可以說是人類戰(zhàn)爭歷史上動用無人機(jī)等無人設(shè)備最多、規(guī)模最大，并且起到關(guān)鍵作用的一場軍事沖突。近期烏克蘭多次使用無人機(jī)襲擊莫斯科，據(jù)俄媒報(bào)道，今年俄羅斯本土以及克里米亞和戰(zhàn)場上的俄控地區(qū)，已經(jīng)發(fā)生了超過120次疑似無人機(jī)的襲擊。另據(jù)報(bào)道，烏克蘭基輔近期遭到無人機(jī)大規(guī)?？找u，有一種說法是俄羅斯開始對烏克蘭進(jìn)行報(bào)復(fù)性打擊。在沖突中，俄烏雙方大量運(yùn)用中低空、中低速武裝無人機(jī)開展對抗，以察打一體無人機(jī)為突破點(diǎn)，運(yùn)用了智能化游擊戰(zhàn)戰(zhàn)法，并取得不錯的作戰(zhàn)效果。

經(jīng)過整理各媒體對俄烏沖突的報(bào)道，雙方無人機(jī)主要在情報(bào)信息支援、智能決策支撐、攻防轉(zhuǎn)換支持等方面發(fā)揮關(guān)鍵作用。攻防轉(zhuǎn)換支持方面，近期烏克蘭方面在反電子干擾上有典型應(yīng)用。據(jù)報(bào)道，在烏克蘭利沃夫附近的一個露天測試場上，一架攻擊無人機(jī)在受到電子干擾后失去了目標(biāo)信號，但無人機(jī)并沒有直接墜毀，而是加速向目標(biāo)飛去并摧毀目標(biāo)。烏克蘭生產(chǎn)的無人機(jī)雖然可以攜帶炸彈進(jìn)行攻擊，但容易受到俄羅斯方面的干擾，然而新的人工智能軟件可以使無人機(jī)保持鎖定，不受電子干擾和物理障礙的影響，即便俄方遍布電子干擾系統(tǒng)，無人機(jī)依舊依靠軟件鎖死預(yù)選目標(biāo)，完成攻擊任務(wù)。在這個場景下，此攻擊無人機(jī)在電子防御方面完成得非常好，受到干擾后依舊能夠完成任務(wù)，抗電子干擾的能力是作戰(zhàn)無人機(jī)的一個重要能力。

我們對于電子對抗（又稱電子戰(zhàn)）的最新定義是：使用電磁能、定向能和聲能等技術(shù)手段，控制電磁頻譜，削弱、破壞敵方電子信息設(shè)備、系統(tǒng)、網(wǎng)絡(luò)及相關(guān)武器系統(tǒng)或人員的作戰(zhàn)效能，同時保護(hù)己方的電子信息設(shè)備、系統(tǒng)、網(wǎng)絡(luò)及相關(guān)武器系統(tǒng)或人員作戰(zhàn)效能正常發(fā)揮的作戰(zhàn)行動，是信息作戰(zhàn)的主要形式。

在本次沖突中，俄烏雙方均使用無人機(jī)進(jìn)行情報(bào)偵察和火力打擊，同時采用多種無人機(jī)反制樣式。在干擾敵方無人機(jī)方面，主要存在導(dǎo)航定位干擾、偵察干擾、信息干擾三個方面。導(dǎo)航定位干擾使無人機(jī)無法精確定位自身的空間位置而偏離預(yù)定飛行路線，或者無法獲取目標(biāo)精確位置信息而造成打擊失效。

導(dǎo)航定位干擾是最基礎(chǔ)、最常用的干擾手段之一。無人機(jī)常用的導(dǎo)航系統(tǒng)主要有衛(wèi)星導(dǎo)航系統(tǒng)、慣性導(dǎo)航系統(tǒng)和視覺導(dǎo)航系統(tǒng)。單一導(dǎo)航系統(tǒng)有天然的限制，為獲取更加準(zhǔn)確可靠的位置信息，無人機(jī)導(dǎo)航系統(tǒng)一般利用不止一種導(dǎo)航技術(shù)實(shí)現(xiàn)組合導(dǎo)航。美國“捕食者”無人機(jī)就采用衛(wèi)星導(dǎo)航、慣性導(dǎo)航和視覺導(dǎo)航的組合導(dǎo)航。盡管現(xiàn)階段的無人機(jī)、特別是軍用打擊、察打一體等無人機(jī)基本都采用多種導(dǎo)航技術(shù)實(shí)現(xiàn)組合導(dǎo)航，但是由于慣性導(dǎo)航和視覺導(dǎo)航的缺陷和限制，依然以衛(wèi)星導(dǎo)航為主要手段。作為電子對抗/電子干擾的對象，衛(wèi)星導(dǎo)航系統(tǒng)的信號功率極其微弱、信號體制半公開，在電子對抗環(huán)境下極其容易受到干擾。

衛(wèi)星信號被干擾、遮擋以及欺騙攻擊等導(dǎo)致的全球衛(wèi)星導(dǎo)航系統(tǒng)（Global Navigation Satellite System，GNSS）定位設(shè)備無法正常輸出導(dǎo)航參數(shù)的情形稱為GNSS拒止環(huán)境（Denied Environment）。在GNSS拒止環(huán)境下保持無人機(jī)導(dǎo)航參數(shù)的正確、正常輸出，是應(yīng)對敵方干擾必須解決的問題之一。GNSS/INS組合導(dǎo)航經(jīng)過幾十年的發(fā)展已經(jīng)非常成熟，這也是大多數(shù)移動體采用的導(dǎo)航方式。這種方式在GNSS拒止環(huán)境下，雖然可以通過提升INS的性能、改進(jìn)GNSS/INS組合方式來提升導(dǎo)航成功率，但是仍然不能長時間地支持移動體進(jìn)行運(yùn)動。應(yīng)對拒止環(huán)境，使無人機(jī)在其中依然能保持較長時間的導(dǎo)航參數(shù)輸出，實(shí)現(xiàn)無人機(jī)在拒止環(huán)境下的全局自主導(dǎo)航，是反電子干擾必須走的一步。

視覺導(dǎo)航的本質(zhì)是以圖像處理的手段挖掘圖像中所包含的導(dǎo)航信息，利用相機(jī)獲取周圍環(huán)境信息，通過圖像處理技術(shù)和定位算法提取導(dǎo)航信息完成導(dǎo)航任務(wù)。視覺導(dǎo)航（Vision-based Navigation，VBN）是一種新型的導(dǎo)航技術(shù)，其結(jié)構(gòu)簡單、價格低廉、信息量大和抗干擾能力強(qiáng)的優(yōu)點(diǎn)使之在軍用領(lǐng)域具有極強(qiáng)的應(yīng)用前景，成為在強(qiáng)拒止環(huán)境中代替GNSS的一大選擇。

基于匹配的視覺導(dǎo)航方法

視覺導(dǎo)航技術(shù)方法根據(jù)是否參考了圖像先驗(yàn)信息，可以分為兩種類型：一種是通過圖像序列進(jìn)行匹配，根據(jù)匹配結(jié)果得到無人機(jī)位姿信息，其中即時定位與地圖構(gòu)建（Simultaneous Localization and Mapping，SLAM）技術(shù)較為成熟；另一種是通過將無人機(jī)遙感圖像和坐標(biāo)信息已知的基準(zhǔn)圖像進(jìn)行配準(zhǔn)，根據(jù)配準(zhǔn)結(jié)果完成視覺定位。

無人機(jī)基于圖像匹配的方法是以圖像配準(zhǔn)技術(shù)為基礎(chǔ)的視覺導(dǎo)航方法。需要預(yù)先采集環(huán)境圖像、建立導(dǎo)航環(huán)境的圖像數(shù)據(jù)庫，在飛行過程中從圖像數(shù)據(jù)庫中搜索與相機(jī)拍攝圖像最為匹配的圖像，從而估計(jì)當(dāng)前狀態(tài)的飛行平臺位姿。與SLAM技術(shù)相比，該方法的特點(diǎn)在于其中地圖的創(chuàng)建與導(dǎo)航的實(shí)時定位是分開完成的。

如采用高精的三維數(shù)字地圖，視覺導(dǎo)航的定位成功率和可靠性都大幅提高。然而高精的地圖獲取成本極高，并且需要隨著時間變化不停更新，并不是一個經(jīng)濟(jì)實(shí)用的方法。相對于高精三維地圖，將帶有經(jīng)緯度的衛(wèi)星圖像作為地圖是一個較為理想的選擇。

網(wǎng)絡(luò)上有大量的免費(fèi)的、GPS對齊的衛(wèi)星圖像可以在線獲取，無人機(jī)上只需要安裝一個向下的單目相機(jī)，并預(yù)先加載好飛行地點(diǎn)附近的衛(wèi)星圖像，通過比較、對齊無人機(jī)實(shí)時獲取的圖像和衛(wèi)星圖像，即可獲得飛機(jī)的實(shí)時位置。主要問題是處理衛(wèi)星圖像和無人機(jī)傳入的圖像之間的成像條件的差異。由于無人機(jī)圖像是在遠(yuǎn)低于衛(wèi)星地圖的高度上拍攝的，因此高于地平面的結(jié)構(gòu)存在較大的透視效應(yīng)。植被的季節(jié)性變化、陰影角度、建筑物的視角、車輛的存在以及由于成像硬件不同產(chǎn)生的變化都是我們需要克服的差異。

除了要克服衛(wèi)星圖像和實(shí)時圖像之間的差異之外，算法的實(shí)時性和輕量化也是一大要點(diǎn)。隨著遙感技術(shù)的發(fā)展，數(shù)字影像地圖的數(shù)據(jù)量越來越大，對這類超高像素、超大幅面影像與較小的實(shí)時圖像進(jìn)行配準(zhǔn)的問題，以現(xiàn)有的配準(zhǔn)方法不僅匹配成功率低，消耗的時間對于實(shí)時導(dǎo)航的要求來說也是負(fù)擔(dān)不起。針對無人機(jī)視覺導(dǎo)航快速匹配處理問題，研究無人機(jī)實(shí)時影響與數(shù)字影響地圖的快速配準(zhǔn)的新方法與技術(shù)途徑?jīng)]實(shí)現(xiàn)GNSS拒止條件下的無人機(jī)視覺導(dǎo)航定位的高效、快速圖像配準(zhǔn)處理，解決現(xiàn)有配準(zhǔn)算法在無人機(jī)視覺導(dǎo)航應(yīng)用中定位精度差、定位用時長的問題。并且，當(dāng)前應(yīng)用于無人機(jī)上的CPU、FPGA等傳統(tǒng)機(jī)載計(jì)算平臺算力有限，無法承載計(jì)算量過于龐大的算法，這也是困擾深度學(xué)習(xí)進(jìn)入實(shí)際應(yīng)用的難點(diǎn)之一。因此綜合來看，我們需要一種快速實(shí)時的、可靠的、符合機(jī)載算力的視覺導(dǎo)航定位算法。

特征點(diǎn)匹配是在深度學(xué)習(xí)給圖像處理領(lǐng)域帶來新一輪潮流之前經(jīng)過長足發(fā)展的一種匹配方法。特征點(diǎn)匹配包括兩個任務(wù)：特征點(diǎn)檢測和描述子提取。特征點(diǎn)檢測的目標(biāo)是在同一區(qū)域的不同圖像上完成的兩次完全獨(dú)立的檢測迭代中找到易被檢測的顯著點(diǎn)，這些圖像可能在光照、尺度、旋轉(zhuǎn)和視點(diǎn)等方面存在較大差異。描述符提取是從特征點(diǎn)周圍區(qū)域提取特征向量的步驟，目標(biāo)是構(gòu)造一個描述符，該描述符將用于使用歐氏距離或漢明距離等度量來匹配特征點(diǎn)。一般使用特征點(diǎn)匹配和統(tǒng)計(jì)濾波相結(jié)合的方法來進(jìn)行無人機(jī)定位。

隨著卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)在ImageNet的大規(guī)模視覺識別競賽中獲勝，研究人員開始將CNN應(yīng)用于視覺定位等計(jì)算機(jī)視覺任務(wù)中。卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面有其獨(dú)特優(yōu)質(zhì)，對圖像高層特征的提取和表示能力可以有效提升光學(xué)遙感影像的配準(zhǔn)質(zhì)量。Hunter等人提出一種利用預(yù)先存在的衛(wèi)星圖像在GNSS拒止環(huán)境下進(jìn)行定位的方法，該方法只需一個單目RGB相機(jī)，以及預(yù)先存在的飛行地點(diǎn)衛(wèi)星圖像，然后將無人機(jī)圖與之進(jìn)行比較和對齊。為了克服衛(wèi)星和無額人際在圖像捕獲條件上的差異，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）在易于獲得的衛(wèi)星數(shù)據(jù)上進(jìn)行訓(xùn)練，并開發(fā)一種優(yōu)化方法，將相鄰無人機(jī)之間的誤差以及衛(wèi)星地圖的誤差降至最低。最終該方法實(shí)現(xiàn)在0.2千米高度、0.85千米的飛行距離上，平均定位誤差小于8米。南方科技大學(xué)的Zheng、Wei等人提出University-1652的數(shù)據(jù)集，包含來自3個平臺（無人機(jī)、衛(wèi)星和地面相機(jī)）的數(shù)據(jù)，涉及全球1652座大學(xué)建筑。University-1652是首個基于無人機(jī)的地理定位數(shù)據(jù)集，可實(shí)現(xiàn)無人機(jī)視角目標(biāo)定位和無人機(jī)導(dǎo)航。利用該數(shù)據(jù)集，研究人員分析了各種現(xiàn)成的CNN特征，并在該數(shù)據(jù)集上提出了一個強(qiáng)大的CNN基線；經(jīng)過實(shí)驗(yàn)，University-1652有助于模型學(xué)習(xí)視點(diǎn)不變特征，在真實(shí)世界場景中有良好的泛化能力。西北工業(yè)大學(xué)的劉、孫等人提出了一種名為F3-Net的端到端地理定位框架，用于計(jì)算多源和多視角圖像的相似性。該方法設(shè)計(jì)了分割與融合（SF）模塊，通過全局自注意機(jī)制充分利用特征；為改進(jìn)多視圖語義特征，引入了基于不變性目標(biāo)語義一致性原則的目標(biāo)特征增強(qiáng)（TFE）模塊；在多視圖特征學(xué)習(xí)之后，使用特征對齊與統(tǒng)一（FAU）模塊與Earthmover（EM）距離計(jì)算非對齊特征的相似性。F3-Net充分利用了多源圖像特征對應(yīng)性和多視圖圖像語義一致性。F3-Net將多視圖圖像的特征視為一種概率分布，因此可以在學(xué)習(xí)過程中量化并消除多視圖圖像的特征差異。經(jīng)過實(shí)驗(yàn)，F(xiàn)3-Net在University-1652數(shù)據(jù)集上達(dá)到很高的準(zhǔn)確率。深度強(qiáng)化學(xué)習(xí)結(jié)合了深度學(xué)習(xí)的特征提取能力和強(qiáng)化學(xué)習(xí)的決策能力，當(dāng)前關(guān)于深度強(qiáng)化學(xué)習(xí)的視覺導(dǎo)航測試的數(shù)據(jù)集主要是室內(nèi)的導(dǎo)航任務(wù)，取得了不錯的效果。武漢大學(xué)孟怡悅等人利用基于端到端的深度強(qiáng)化學(xué)習(xí)框架來解決視覺目標(biāo)導(dǎo)航問題，利用放縮點(diǎn)積注意力機(jī)制構(gòu)建更加的當(dāng)前時間步的狀態(tài)，利用獎勵塑造自動化設(shè)置獎勵空間，解決獎勵稀疏問題，最終提出一種基于注意力機(jī)制和獎勵塑造的深度強(qiáng)化學(xué)習(xí)視覺目標(biāo)導(dǎo)航方法。該方法在AI2-THOR數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，相較以往方法成功率提高7%、路徑長度加權(quán)成功率提高20%。

視覺導(dǎo)航的完整性

雖然視覺導(dǎo)航領(lǐng)域的研究已經(jīng)非常成熟，但是和GNSS/INS數(shù)十年的研究和廣泛應(yīng)用相比，系統(tǒng)的完整性和對故障的魯棒性并沒有得到足夠的重視和重點(diǎn)的研究。

完整性是一種可以放置在導(dǎo)航系統(tǒng)輸出中的信任度，通過定義為完整性風(fēng)險(xiǎn)（Integrity Risk，IR）的概率來反映。一般完整性風(fēng)險(xiǎn)是指位置（或姿態(tài)）估計(jì)誤差大于可以容忍的極限，而導(dǎo)航系統(tǒng)卻沒有意識到這種危險(xiǎn)的情況：

其中‖·‖表示定位誤差的一個度量，AL表示警戒線（Alert Limit，AL），定義為度量空間中的最大允許誤差。為了避免完整性失效，GNSS研究界和航空工業(yè)在過去幾十年開發(fā)了完整性監(jiān)測方法。然而相對于GNSS接收機(jī)知道每個發(fā)射信號確切結(jié)構(gòu)，相機(jī)是被動式光學(xué)春干起，對曝光時間內(nèi)捕獲的信息知之甚少，結(jié)構(gòu)（特征、對象設(shè)計(jì)圖案等）的檢測是一項(xiàng)非常具有挑戰(zhàn)性的工作。簡單地采用現(xiàn)有的針對GNSS開發(fā)的方法并不是視覺定位完整性的最佳解決方案。相反，我們需要巧妙地設(shè)計(jì)完整性框架，以包括跨越不同領(lǐng)域的所有基本故障模式。盡管基于深度學(xué)習(xí)的系統(tǒng)取得了顯著的成果，但這些方法仍然沒有達(dá)到完全取代傳統(tǒng)導(dǎo)航和制導(dǎo)技術(shù)的足夠高的技術(shù)準(zhǔn)備水平。在實(shí)際中，驗(yàn)證深度神經(jīng)網(wǎng)絡(luò)的輸出完整性是非常困難的。

當(dāng)前算法開發(fā)的重點(diǎn)通常放在提高可用性和準(zhǔn)確性，然而更高的準(zhǔn)確性和可用性并不一定導(dǎo)致更好的完整性。系統(tǒng)的復(fù)雜性通常使故障監(jiān)測和完整性監(jiān)測變得更加困難。因此，如果一個視覺算法為錯誤量化和可行的完整性檢查選項(xiàng)提供了清晰的結(jié)構(gòu)，那么只要能夠滿足這方面的基本要求，其他性能因素（如準(zhǔn)確性）的微小犧牲是可以接受的。以面向完整性的觀點(diǎn)重新審視現(xiàn)有的視覺導(dǎo)航相關(guān)算法，并為安全關(guān)鍵應(yīng)用確定更好的解決方案，這將是非常有價值的，盡管這并不一定是最先進(jìn)的算法。

預(yù)期成果

經(jīng)過本項(xiàng)目的研究，預(yù)期能夠取得以下成果：

（1）開發(fā)出基于無人機(jī)平臺的、基于端到端訓(xùn)練的深度強(qiáng)化學(xué)習(xí)框架實(shí)現(xiàn)的視覺導(dǎo)航算法，探索人工智能在無人機(jī)視覺導(dǎo)航領(lǐng)域應(yīng)用的可能性；

（2）以多源數(shù)據(jù)融合的視角，開發(fā)出一種INS/VBN組合導(dǎo)航方法，實(shí)現(xiàn)拒止環(huán)境下的無人機(jī)自主導(dǎo)航；

（3）在高導(dǎo)航成功率、準(zhǔn)確率、實(shí)時性的前提下，優(yōu)化系統(tǒng)性能，提高GNSS/INS/VBN無人機(jī)導(dǎo)航系統(tǒng)的完整性和魯棒性。