王鐘鳴，姚文臣，馬兆偉，林博森，牛軼峰

（國防科學技術(shù)大學智能科學學院，長沙 410073）

1 引 言

近年來，無人機（UAV）已應(yīng)用于各種軍事領(lǐng)域，包括偵察、跟蹤定位、邊境巡邏、中繼通信、特種作戰(zhàn)等方面。在民用領(lǐng)域中的電力巡檢、環(huán)境探測、農(nóng)業(yè)植保、森林救援等方面也起到了至關(guān)重要的作用[1]。

偵察任務(wù)對實時性、精確度、視野范圍、機動性及抗干擾性等方面都有要求。在無人機偵察任務(wù)中，需要無人機規(guī)避飛行環(huán)境中遇到的各種障礙物，并要求其在特殊任務(wù)環(huán)境中執(zhí)行對移動目標的檢測和跟蹤等[2]。無人機面臨的任務(wù)環(huán)境復雜多樣，對于不同的任務(wù)環(huán)境，無人機安全飛行面臨的障礙物種類、障礙物大小、氣象、電磁干擾等不同，所檢測目標的狀態(tài)以及目標所處位置也不同，需要選擇合適的傳感器配置方案完成偵察任務(wù)。由于單一傳感器使用環(huán)境受限，因此，在偵察無人機上配置多類傳感器，有利于無人機在更復雜、更多變的任務(wù)環(huán)境中執(zhí)行偵察工作；將多傳感器獲取的信息融合，對改善無人機感知能力、檢測精度和魯棒性都有重要意義[3]。

2 多傳感器配置要素分析

無人機面臨的偵察任務(wù)環(huán)境復雜多樣，在對無人機進行傳感器配置時，主要考慮的因素來自無人機平臺自身屬性、傳感器屬性、飛行環(huán)境、任務(wù)類型及需求4 個方面。

2.1 無人機平臺自身屬性

對于小型偵察無人機而言，需要在無人機自身外觀、載重能力、功耗以及續(xù)航等方面，對傳感器的配置進行限制。在兼顧無人機載荷能力、動力學特性的前提下，使各類傳感器搭載和運行所占用的系統(tǒng)資源盡可能小。

2.2 傳感器屬性

傳感器屬性（圖1）對于傳感器配置的影響主要體現(xiàn)在成本、空域覆蓋范圍、穩(wěn)定性以及信息質(zhì)量4 個方面。

圖1 傳感器屬性Fig.1 Properties of sensors

使用傳感器帶來的損耗和傳感器自身價格是成本限制因素?？沼蚋采w范圍包括傳感器探測距離遠近以及視場角大小，探測距離越遠，視場角越寬廣，越有利于無人機對目標的探測。但對同質(zhì)傳感器而言，視場角和測距范圍往往不可兼得，需要根據(jù)任務(wù)需求做出取舍。穩(wěn)定性主要表現(xiàn)在傳感器能否全天時工作以及傳感器的抗干擾性。信息質(zhì)量則體現(xiàn)在信息維度、感知精度和頻次、實時性4 個方面，其中信息維度指二維平面或者三維空間信息。低空環(huán)境下，當前技術(shù)較為成熟的機載感知傳感器的主要特點及適用場景如表1所示。

表1 傳感器分析Table 1 Analysis of sensors

此外，在配置時還需要考慮傳感器數(shù)量和安裝方式。小型無人機在載荷和計算資源方面有嚴格限制，增加同質(zhì)或異質(zhì)傳感器數(shù)量并進行安裝時，應(yīng)滿足相關(guān)指標要求，并且不能影響無人機其他模塊的正常工作。

2.3 飛行環(huán)境

典型的飛行環(huán)境有城市、郊區(qū)、山地以及室內(nèi)環(huán)境等。不同的飛行環(huán)境下障礙物密集程度、相對距離不同，環(huán)境中的氣象條件、干擾信息等也不同，進行傳感器配置必須要考慮環(huán)境中的先驗信息。飛行環(huán)境特點如表2所示。

表2 飛行環(huán)境特點Table 2 Characteristics of flight environment

2.4 任務(wù)類型及需求

傳感器的配置需要考慮無人機所執(zhí)行任務(wù)的具體需求，如夜間執(zhí)行任務(wù)要求無人機系統(tǒng)部署的傳感器具有全天時工作的能力，目標跟蹤任務(wù)要求無人機能準確識別目標并規(guī)避障礙物等，在保證自身飛行安全的前提下，無人機系統(tǒng)傳感器子系統(tǒng)的設(shè)計應(yīng)支撐無人機平臺完成預(yù)設(shè)的各類飛行任務(wù)。在不同任務(wù)類型中，主要傳感器的配置如表3所示。

表3 任務(wù)需求下的傳感器配置Table 3 Sensor configuration for task requirements

3 傳感器配置與融合方法

機載傳感器配置要素復雜多樣，要素之間相互影響制約，在設(shè)計傳感器優(yōu)化配置算法時，通過選擇合理的評價指標設(shè)計目標函數(shù)，將偵察成本作為約束條件，優(yōu)化求解得到當前先驗信息下最優(yōu)的傳感器配置方案[4]，以達到無人機飛行任務(wù)要求的偵察能力。基于此，本文設(shè)計了如圖2所示的配置融合模塊。

圖2 傳感器配置融合模塊Fig.2 Configuration and fusion module of sensors

傳感器配置模塊為融合模塊提供了傳感器種類與參數(shù)選擇方案，傳感器融合的結(jié)果可以用于評估配置方案的優(yōu)劣，并由結(jié)果回溯優(yōu)化配置方案。

在該設(shè)計方案中，配置模塊基于先驗信息，將傳感器配置問題轉(zhuǎn)化為優(yōu)化求解問題。一般地，一個最小化的多目標優(yōu)化問題可以用如下的數(shù)學模型來描述：

其中，V-min 表示向量的極小化，X?Rm是多目標優(yōu)化模型的約束集，f(x)?Rm是多目標優(yōu)化時的向量目標函數(shù)。若有解x1,x2∈X，且對任意k=1,2,3…都有f k(x1)≤f k(x2)，那么x1比x2優(yōu)越。若x1比X中所有其他解都優(yōu)越，那么x1就是多目標優(yōu)化模型的最優(yōu)解。

在偵察任務(wù)中，約束條件可能來自無人機載荷能力、視場角與探測范圍的取舍、環(huán)境約束等，待優(yōu)化目標則主要考慮4 個配置要素的權(quán)衡。采用多目標優(yōu)化算法，將難以量化的因素通過構(gòu)建具體的場景進行綜合衡量并提取關(guān)鍵參數(shù)，通過關(guān)鍵參數(shù)構(gòu)建合理的多目標函數(shù)以及條件約束，通過優(yōu)化求解，從現(xiàn)有的較為成熟的傳感器技術(shù)中選擇最優(yōu)的傳感器組合形式及傳感器參數(shù)，設(shè)計合理的偵察無人機傳感器子系統(tǒng)。

融合模塊基于傳感器優(yōu)化配置算法對具體應(yīng)用場景的分析與求解，選擇最優(yōu)的傳感器種類及參數(shù)，設(shè)計傳感器融合子系統(tǒng)并開發(fā)融合算法。

多傳感器融合算法在結(jié)構(gòu)上按其在融合系統(tǒng)中信息處理的抽象程度，可劃分為3 個層級：數(shù)據(jù)層融合（像素級融合）、特征層融合和決策層融合。3 種層級融合方法的性能對比如表4所示[5]。在偵察任務(wù)中，可根據(jù)任務(wù)需求以及機載計算能力設(shè)計相應(yīng)的融合算法。

表4 3 種層級融合方法的性能比較Table 4 Performance comparison of three hierarchical fusion methods

4 小型無人機感知傳感器融合現(xiàn)狀

偵察任務(wù)首先要克服受到所處環(huán)境、位置、地形及障礙物對觀測范圍的限制，又要實時規(guī)避任務(wù)過程中面對的危險，同時還需兼顧偵察與監(jiān)視信息的傳輸時效[6]，并實時檢測、跟蹤目標。

考慮機載傳感器配置要素以及偵察任務(wù)需求，可以在偵察無人機上配置深度相機以獲取深度信息；配置可見光相機獲取目標的紋理顏色等細節(jié)，用于光照充足情況下的目標檢測；配置紅外成像傳感器獲取目標熱輻射信息，用于檢測夜間目標及受遮擋目標；配置激光雷達對環(huán)境實時建圖，以規(guī)避障礙物。

考慮多傳感器的信息融合模塊，當下更多采用如圖3所示的可見光相機與紅外成像傳感器以及可見光相機與激光雷達兩種傳感器信息融合方案。

圖3 常用配置融合方案Fig.3 Common configuration and fusion scheme

4.1 可見光相機與紅外成像傳感器融合

在小型偵察無人機上配置可見光相機和紅外成像傳感器，使其偵察系統(tǒng)能夠在夜間及受遮擋情況下檢測到目標。利用紅外圖像的熱輻射原理和可見光圖像的光反射原理，得到的融合圖像不僅可以保留可見光圖像的顏色、輪廓以及邊緣特征信息，還具備紅外圖像的熱輻射信息，使目標相對背景亮度突出，能夠降低誤判率，更容易偵測到目標并對其進行跟蹤[7]。

4.1.1 融合方法現(xiàn)狀

數(shù)據(jù)層（像素級）融合是可見光相機與紅外傳感器圖像融合的重點研究領(lǐng)域。典型像素級融合算法由提出的時間先后排序，可分為多尺度變換、稀疏表示和基于神經(jīng)網(wǎng)絡(luò)的融合方法。對3類方法的比較如表5所示。

表5 融合方法比較Table 5 Comparison of fusion methods

多尺度變換是一種基于變換域的融合方法，在可見光與紅外圖像融合中應(yīng)用廣泛，其核心算法主要分為3 個步驟：圖像的多尺度分解和重構(gòu)、融合規(guī)則的設(shè)計。1983年，Burt 等首次提出圖像處理的金字塔分解方法，該方法是最早出現(xiàn)的多尺度變換圖像融合方法。該方法把原始圖像連續(xù)采樣分解后，將得到的子圖像進行融合；1989年，Toet 設(shè)計了低通比率金字塔和對比度金字塔，利用塔形分解進行多傳感器圖像融合。這個時期采用的融合規(guī)則主要有HIS 變換、平均加權(quán)法、主成分分析法等，屬于比較簡單的圖像融合方法，效果較差[8]。

2004年，Pajares 等[9]將小波變換應(yīng)用到圖像融合中，與金字塔變換相比，小波變換信噪比更高，圖像重構(gòu)能力更強。2005年，Yu[10]在研究夜間駕駛系統(tǒng)時，利用小波變換將可見光圖像和紅外圖像融合。2010年，曲鋒等[11]使用小波融合實現(xiàn)了紅外雙波段圖像的快速融合。

2006年，Da 等[12]提出了同樣基于多尺度分解的非下采樣輪廓波變換方法（Non-subsampled Contourlet Transform, NSCT），但由于沒有采樣過程，能很好地解決融合過程中頻譜混疊問題[13-14]。Kong 等[15]將NSCT 和IHS 結(jié)合，使NSCT 實現(xiàn)了位移不變性，不僅能保留源圖像的重要細節(jié)特性，還能使灰度融合圖像著色，提升了視覺效果。

Yang 等[16]提出了基于稀疏表示（Sparse Representation, SR）的圖像融合方法。該方法通過學習多個子字典，利用最大選擇策略對圖像進行重建。

隨著深度學習的迅速發(fā)展，由于深度神經(jīng)網(wǎng)絡(luò)提取圖片特征能力強，因此也可用于實現(xiàn)圖像的分解重構(gòu)。該領(lǐng)域目前仍處于初步發(fā)展的階段，用于融合的網(wǎng)絡(luò)模型、學習策略等基礎(chǔ)工作還有很大研究空間[17]。

2017年，Liu 等[18]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的可見光紅外圖像融合方法，通過圖像金字塔進行多尺度融合，并采用基于局部相似度的策略自適應(yīng)調(diào)整分解系數(shù)的融合模式。2019年，Ma 等[19]設(shè)計了一種基于生成對抗性網(wǎng)絡(luò)的IR/VIS 融合方法—FusionGAN 來進行紅外和可見光的融合，可以很好地保持源圖像中的熱輻射和紋理細節(jié)。隨后，他們又提出了一種基于顯著目標檢測的紅外可見光圖像融合網(wǎng)絡(luò)STDFusionNet[20]。該算法能以更快的速度獲得紅外目標更突出顯示的融合圖像。Li 等[21]提出了一種基于注意力生成對抗網(wǎng)絡(luò)的紅外和可見光圖像融合方法，克服了生成對抗網(wǎng)絡(luò)無法突出典型區(qū)域的不足。

4.1.2 發(fā)展方向

將可見光相機和紅外傳感器的數(shù)據(jù)融合應(yīng)用到小型偵察無人機目標檢測跟蹤，還存在的問題有：（1）由于無人機機身的抖動和傳感器視角偏差，需要對兩個傳感器獲得的圖像進行可靠的配準，但由于可見光與紅外圖像相關(guān)性小，其配準相當復雜；（2）目前，大多數(shù)研究都針對于靜態(tài)圖像的融合，對動態(tài)圖像（如視頻等）的融合算法的研究較少。相比于靜態(tài)圖像，動態(tài)圖像融合可以考慮連續(xù)幀之間的運動關(guān)系，在機載計算能力有限的條件下，利用運動信息指導融合過程。

4.2 可見光相機與激光雷達融合

激光雷達由其精確的測距側(cè)向能力來獲取物體在空間中的位置信息，目前已經(jīng)廣泛用于地面無人平臺的環(huán)境感知[22-23]。而在無人機感知與規(guī)避領(lǐng)域，3D 激光雷達由于價格昂貴、重量較大、縱向點云密度稀疏等原因而應(yīng)用較少，2D 激光雷達能獲得二維平面內(nèi)的障礙物的距離和方向，其較高的性價比使得它能夠與其他傳感器相融合用于無人機障礙規(guī)避[24]。將激光雷達獲得的空間位置及部分輪廓信息與可見光圖像中的紋理、輪廓信息相結(jié)合進行環(huán)境感知，具有較大的應(yīng)用前景。

4.2.1 融合方法現(xiàn)狀

激光雷達與可見光相機屬于異質(zhì)傳感器，一般采用基于決策級的信息融合算法實現(xiàn)障礙物的檢測[25]。Premebida 等[26]采用了圖像驗證點云數(shù)據(jù)的方式，通過雷達點云數(shù)據(jù)在圖像中確定ROI并對ROI 區(qū)域利用級聯(lián)分類器對目標進行識別，提高了檢測效率。國防科技大學ATR 國家重點實驗室通過制作平面標定物的方法，將二維紋理映射到多邊形網(wǎng)格中，實現(xiàn)了視覺圖像和點云的信息融合[27]。Kidono 等[28]采用視覺與激光雷達交叉驗證的方式，分別從點云和圖像數(shù)據(jù)中提取目標特征用于訓練分類器。Kaempchen 等[29]開發(fā)出一種可擴展的融合3D 激光雷達和單目相機數(shù)據(jù)的特征級融合架構(gòu)，該方法旨在通過組合低級測量特征來最大化協(xié)同效應(yīng)，同時又保持融合架構(gòu)盡可能通用。

伴隨深度學習的熱潮，神經(jīng)網(wǎng)絡(luò)也逐步被用于可見光圖像與點云融合領(lǐng)域[30]。Qh 等[31]提出了一種基于決策級融合的檢測和分類方法。使用CNN 融合點云和CCD 傳感器圖像數(shù)據(jù)。Du 等[32]提出了PC-CNN 深度學習框架進行車輛檢測的激光雷達和視覺融合系統(tǒng)。該框架使用點云數(shù)據(jù)預(yù)測圖像中潛在的汽車位置，利用網(wǎng)絡(luò)中的多層信息優(yōu)化預(yù)測框位置，并通過檢測網(wǎng)絡(luò)實現(xiàn)車輛檢測。Park 等[33]提出了一個用于未校準的激光雷達和雙目融合的深度估計的方法，他們設(shè)計了由校準、融合、優(yōu)化三部分組成的網(wǎng)絡(luò)結(jié)構(gòu)，解決了未校準激光雷達圖像3D 重建問題。2020年，清華大學公開了一種基于神經(jīng)網(wǎng)絡(luò)的三維點云和二維圖像融合的校準方法，該方法通過得到更精確的參數(shù)矩陣來指導圖像融合過程，使融合更加準確[34]。

4.2.2 發(fā)展方向

激光和視覺的融合也是無人機自主探索中同步定位與建圖（Simultaneous Localization And Mapping, SLAM）的重要技術(shù)手段[35]。相機作為視覺里程計（Visual Odometry, VO）估算自身的運動信息并獲取局部地圖，經(jīng)過后端非線性優(yōu)化及回環(huán)檢測實現(xiàn)定位，再由點云數(shù)據(jù)構(gòu)建稠密地圖，為無人機路徑規(guī)劃提供空間的占據(jù)信息[36]。

語義建圖也是未來激光雷達與相機融合的研究方向。可見光相機提供環(huán)境的語義信息，使融合后信息不僅能判斷空間中的物體在哪里，還能獲知物體是什么，使無人機從自主化走向智能化。

與地面無人平臺相比，將激光雷達與可見光相機融合，用于解決低空環(huán)境下小型無人機偵察問題的挑戰(zhàn)包括：（1）由于載荷限制，激光雷達應(yīng)盡量輕量化，增大探測距離，降低點云密度；（2）電力線等微小型障礙物的空間分布信息檢測難度高；（3）障礙物機動條件下，引入的運動畸變更大，狀態(tài)估計難度更高[37]。

4.3 其他傳感器融合方案

在毫米波雷達與相機融合的研究中，東北林業(yè)大學研究了一種基于毫米波雷達和雙目視覺傳感器的多旋翼植保無人機自主避障技術(shù)。用毫米波雷達判斷路徑中是否含障礙物，再通過雙目視覺做障礙物識別，并將構(gòu)建的三維環(huán)境信息投影到二維柵格平面，形成局部導航圖[38]。

陳洪攀[39]提出了一種把毫米波雷達的障礙物測距結(jié)果與單目視覺傳感器的障礙物測角結(jié)果相融合的方法，進而實現(xiàn)無人機對障礙物的三維立體定位。駱云志等[40]研究了基于毫米波雷達和CCD 相機的D-S 融合方法。楊磊等[41]也研究了基于毫米波雷達和雙目相機的電力巡檢方法。

相比于激光雷達，毫米波雷達精度較低，探測距離也受頻段損耗制約，因此不利于對周邊障礙物進行精確的建模。但由于它可以全天候工作，且穿透煙霧、灰塵、雨雪的能力較強，可以彌補激光雷達的缺點。中北大學李朝[42]提出了一種激光雷達和毫米波雷達的注意力融合算法和利用毫米波雷達生成稀疏候選框的檢測方法，提高了復雜環(huán)境下的檢測精度及速度。

目前，主流的深度相機分為結(jié)構(gòu)光、雙目視覺和TOF 三種。受制于其原理本身以及光學元件的約束，分辨率和測距精度都較低，且有效測距范圍小，因此更多用于室內(nèi)的環(huán)境感知。浙江大學的FAST-Lab 利用RGB-D 相機獲得的視覺以及深度信息，構(gòu)建室內(nèi)環(huán)境的占據(jù)柵格地圖，完成單無人機及無人機集群的路徑規(guī)劃[43]。

毫米波雷達、深度相機和激光雷達的配置都是為了獲得環(huán)境中障礙物或目標的位置及距離信息。相比之下，激光雷達的精確度更高、穩(wěn)定性更好，因此被更廣泛地用于偵察任務(wù)中。

5 結(jié)束語

對小型偵察無人機而言，其低載荷能力決定其只能搭載非合作式傳感器以及部分輕量的合作式傳感器。各類傳感器由于自身物理特性不同，會具備不同的功能特點，如可見光相機成像信息豐富但易受光照等的影響、激光雷達能夠直接獲取距離和方位信息，但成像能力弱且不適宜在動態(tài)環(huán)境下使用等。

未來，小型偵察無人機必將越來越多地應(yīng)用到警用、軍用等領(lǐng)域。探索無人機平臺的多傳感器配置方案，有利于無人機在更復雜、更多樣的環(huán)境中執(zhí)行偵察任務(wù)。傳感器之間獲取信息的途徑、原理有所差別，所得信息既存在冗余，也存在互補。但研究配置融合技術(shù)，更希望得到1+1＞2的結(jié)果，而不僅僅是功能上的疊加。這需要更精密的傳感元件、更高效的信息采集算法、更優(yōu)的配置方案和融合算法來實現(xiàn)。