伍彩云翁 宇白 帆

(沈陽理工大學 裝備工程學院，沈陽 110159)

穿越機是一種高動態(tài)無人機，體型較小，速度極快。 其通過機載攝像頭拍攝的畫面經(jīng)過數(shù)字圖傳返回到屏幕顯示端。 控制人員需要穿戴設備，以第一人稱視角遙控無人機，并及時調(diào)整飛行姿態(tài)，以成功完成特定的飛行任務。 由于穿越機的高速運動、周圍環(huán)境復雜多變等，控制人員無法迅速根據(jù)當前速度和環(huán)境情況判斷航行方向，故飛行軌跡具有很強的隨機性。 因此，對于穿越機類型的高動態(tài)無人機的研究，尤其是對提供給操作人員的飛行通道輔助系統(tǒng)的設計具有重要意義。

飛行通道輔助系統(tǒng)的設計中，路徑規(guī)劃算法的設計決定了系統(tǒng)的準確性和安全性。 現(xiàn)有的算法主要針對靜態(tài)環(huán)境和動態(tài)環(huán)境，靜態(tài)路徑規(guī)劃算法通常使用基于幾何模型搜索的A?算法、D?算法等，能夠快速生成高質(zhì)量的路徑[1－3]，但不能應對動態(tài)環(huán)境下實時路徑規(guī)劃的需求。 相對于其他算法，基于人工勢場法的路徑規(guī)劃算法結(jié)構(gòu)簡單、計算量小、反應速度快且規(guī)劃結(jié)果安全可靠，適用于高動態(tài)情況下實時軌跡預測。 但傳統(tǒng)的人工勢場法存在容易陷入局部最優(yōu)解、對障礙物形狀敏感等局限性，需要尋找一種自適應能力強的算法解決單獨使用人工勢場法所存在的問題。

目前，在無人機路徑規(guī)劃的研究中，已有部分研究結(jié)果[4－9]。 文獻[10]在航跡規(guī)劃的基礎上提出一種無人機安全通道概念，使用改進精英蟻群算法在二維空間進行仿真，將二維仿真轉(zhuǎn)換到三維空間仿真。 文獻[11]提出一種新的金字塔為基礎的空間分割方法RAPPIDS，實現(xiàn)候選軌跡和環(huán)境之間的快速碰撞檢測，實現(xiàn)在毫秒內(nèi)評估數(shù)千個候選軌跡。 文獻[12]提出的FASTER 算法通過使局部規(guī)劃器在已知和未知空間中進行的優(yōu)化獲得高速軌跡，通過在已知空間中始終具有安全的備份軌跡確保安全性，在未知雜亂環(huán)境中可達到7.8 m/s 的速度飛行。 以上研究結(jié)果都存在運算量較大的問題。 深度學習算法是一種非線性建模能力強、自適應性強的智能算法，使用深度學習算法可以通過自適應學習調(diào)整參數(shù)，從而適應不同的環(huán)境和任務需求，提高計算效率。

為此，本文設計一個新的飛行通道輔助系統(tǒng)。提出一種基于景深的人工勢場法作為約束實現(xiàn)網(wǎng)絡的擬合，設計一個新的軌跡預測網(wǎng)絡對無人機的飛行軌跡做出預測，得到當前位置下可能的避障軌跡，提供軌跡輔助指示，快速建立無人機的輔助通道。 該系統(tǒng)充分利用無人機位姿信息(位置、姿態(tài)、速度、加速度和坐標系信息)和視角圖像，結(jié)合深度學習算法的優(yōu)勢，克服傳統(tǒng)算法的局限性，使系統(tǒng)在算法復雜度降低的同時具有較高的計算速度，提高路徑規(guī)劃的準確性和安全性。

1 基于景深的人工勢場法

傳統(tǒng)的人工勢場法在勢場構(gòu)建時需要進行全局搜索，涉及大量計算。 本文提出基于景深的人工勢場法，使用圖像的景深作為斥力場，目標位置和當前速度的合力作為引力場，取代勢場構(gòu)建過程，節(jié)省大量的計算資源。 同時使用無人機位姿信息作為引力場，使預測軌跡與當前無人機飛行狀態(tài)的銜接更加平滑，操作人員可以操控無人機依次通過算法生成的推薦框，以實現(xiàn)無人機安全飛行。

1.1 傳統(tǒng)的人工勢場法

傳統(tǒng)的人工勢場法基于場的概念，將路徑規(guī)劃解釋為在人工勢場中設備受到目標引力和障礙物斥力的合力作用下生成的軌跡[13]，通過求解無人機的目標引力和障礙物斥力確定的方程得到無人機軌跡點準確位置，從而得到路徑規(guī)劃的具體信息。

為了對人工勢場法進行深入研究，本文分別建立如圖1 和圖2 所示的不同的勢場環(huán)境，得到不同的路徑規(guī)劃結(jié)果。 圖1 所示的實驗1 中，無人機從A點出發(fā)，在350 次的位置迭代后，軌跡曲線繞過障礙物C和障礙物D，順利到達目標區(qū)域B。

圖1 人工勢場法實驗1Fig.1 The experiment 1 of artificial potential field method

圖2 人工勢場法實驗2Fig.2 The experiment 2 of artificial potential field method

當無人機處于如圖2 所示的實驗2 環(huán)境下，無人機由A點出發(fā)，繞過障礙物C之后，在障礙物D、障礙物E及目標點B所構(gòu)成的勢場中，陷入了局部最小值，即使進行500 次迭代也無法通過障礙物通道繼續(xù)飛行，無法達到目標區(qū)域。

實驗結(jié)果表明，無人機在使用傳統(tǒng)人工勢場法進行路徑規(guī)劃時，僅使用了目標引力和障礙物斥力信息，無法通過狹窄通道，不能解決高動態(tài)無人機飛行通道設計問題。

1.2 單目景深的測試

在深度圖中，景深表示障礙物到相機的距離，可用以判斷無人機是否能夠在安全飛行的前提下通過該區(qū)域。 本文在相同場景下分別使用深度特征提取網(wǎng)絡MiDaS[14]和Monodepth2[15]進行深度圖預測實驗。 預測結(jié)果如圖3 所示，包括原圖像與預選飛行通道、MiDaS 生成的深度圖和Monodepth2 生成的深度圖。 本文使用紅色預選框標識深度通道可用作飛行候選通道的區(qū)域。 比較MiDaS 和Monodepth2 對原圖進行的預測效果。結(jié)果表明，Monodepth2 的預測結(jié)果優(yōu)于MiDaS，因此本文選擇Monodepth2 作為景深勢場的預測網(wǎng)絡，并基于該網(wǎng)絡的輸出結(jié)果進行基于景深的人工勢場法的設計。

圖3 深度圖預測實驗Fig.3 The experiment of depth image estimation

1.3 基于景深的人工勢場法

本文將人工勢場中的景深梯度對無人機產(chǎn)生的斥力作為斥力勢場，將速度方向和目標區(qū)域與無人機產(chǎn)生的勢當作引力勢場。 無人機在飛行過程中三維空間總勢場通過引力Fatt和斥力Frep的合力F生成。 深度通道對無人機產(chǎn)生的引力勢Uatt(X)為

式中:X代表無人機當前位置(x，y，z)；XT是無人機目標區(qū)域的位置坐標(xT，yT，zT)；ρ(X，XT)表示無人機當前位置和目標中心距離；ζ表示引力在合力中的權(quán)重系數(shù)。

無人機引力Fatt(X)為引力勢場的負梯度，表示為

斥力勢由景深對無人機的作用產(chǎn)生，斥力勢使無人機遠離深度值小的區(qū)域，其表達式為

式中:ε(x，xT)是當前深度和目標區(qū)域深度間的景深差；ε0是景深影響閾值，當前深度和目標深度差超過閾值，可認為無人機不能從該像素前面通過；η表示斥力勢所占權(quán)重系數(shù)。

斥力勢場對無人機產(chǎn)生的斥力Frep(X)表達式為

全局勢場函數(shù)U以及無人機所受合力F如式(5)、式(6)所示。

相比傳統(tǒng)人工勢場法通過方程求解以尋找軌跡，本文采用神經(jīng)網(wǎng)絡，使用預測的方式得到斥力勢，從而指導神經(jīng)網(wǎng)絡對軌跡進行預測，利用深度學習對景深勢作用下的目標運動軌跡進行回歸。

2 飛行通道輔助系統(tǒng)

2.1 飛行通道輔助系統(tǒng)結(jié)構(gòu)

本文提出深度通道軌跡預測網(wǎng)絡(DCTN)，基于該網(wǎng)絡，設計了飛行通道輔助系統(tǒng)，系統(tǒng)框圖如圖4 所示。 DCTN 主要包含兩個子模塊:用于獲取的可飛行通道的深度通道檢測模塊(DMDC)以及用于確定飛行軌跡的平面投影及飛行軌跡預測(PMT)模塊。 在飛行通道輔助系統(tǒng)中，單目相機獲取到圖像信息之后，經(jīng)過DMDC 網(wǎng)絡得到深度信息，與此同時，無人機的自主飛行控制器Pixhawk 對從慣性傳感器(IMU)獲取到的加速度信息進行處理，得到無人機的速度與位姿信息，然后PMT 模塊將深度信息、速度與位姿信息進行調(diào)整并預測，得到無人機的飛行軌跡和推薦飛行通道，最后將推薦飛行通道傳到OSD，反饋給無人機的操控人員，完成輔助飛行通道系統(tǒng)的任務。

圖4 飛行通道輔助系統(tǒng)框圖Fig.4 Block diagram of flight channel assistance system

2.2 DMDC 的設計

利用文獻[16 －18]提出的目標檢測網(wǎng)絡，本文將深度估計和目標檢測串聯(lián)結(jié)合，提出一種DMDC 結(jié)構(gòu)，如圖5 所示。 通道檢測模塊由編碼－解碼器網(wǎng)絡、位姿估計網(wǎng)絡以及一個目標檢測網(wǎng)絡構(gòu)成。

圖5 DMDC 模塊Fig.5 DMDC module

首先，單目相機獲取t0、t－1、t1三幀圖像信息傳入DMDC 模塊，從圖像信息預測出當前幀的深度信息以及可飛行通道。 圖像經(jīng)過編－解碼器網(wǎng)絡后得到深度特征圖，深度特征圖傳入目標檢測網(wǎng)絡獲取可飛行通道的信息。 該目標檢測網(wǎng)絡設置為檢測單類別且只保留大型目標信息，該模塊的輸出為帶有深度信息的通道，基于此通道，進行用于PMT 的設計。

2.3 PMT 的設計

在DMDC 基礎上，本文將人工勢場法和深度學習相結(jié)合，提出了一種新的軌跡規(guī)劃方法PMT，模塊結(jié)構(gòu)如圖6 所示，通過PMT 預測當前位置下可能的避障軌跡，從而提高計算速度。

圖6 PMT 模塊Fig.6 PMT module

無人機上的IMU 獲取到角速度傳入Pixhawk，Pixhawk 解算出當前位姿和速度，將速度信息和深度通道信息進行數(shù)據(jù)預處理。根據(jù)在全局勢場中的合力可以確定無人機運動的投影平面。在投影平面上使用深度學習算法進行軌跡點預測，從而對預測得到的軌跡點進行曲線擬合得到無人機的預測軌跡。 最后將預測軌跡與推薦通道在OSD 上與畫面疊加顯示，實現(xiàn)無人機的輔助通道推薦系統(tǒng)。

2.3.1 無人機信息預處理及軌跡平面投影

具體做法分為以下兩個步驟。

1)從無人機IMU 獲取速度信息表示在三維相機空間。 表示方法如下:將當前無人的速度狀態(tài)在深度空間上做映射，在深度圖中速度的大小及方向由三個映射點(V1、V2、V3)的疏密程度表征，速度值越大，三個坐標越密集，速度值越小，坐標表示越稀疏。

2)根據(jù)無人機在當前位置點(O)受到深度通道預測框中心點T以及當前表征速度矢量V的合力作為引力、景深梯度作為其斥力，可以在三維空間內(nèi)確定一個二維平面，稱為預測平面，此平面是將來無人機按照規(guī)劃的軌跡運動的平面(平面可能不垂直于地面)。 路徑預測及擬合將均在此二維平面完成。 平面的投影示意圖如圖7 所示。 投影平面的方程由三個點共同確定，后續(xù)軌跡預測將在此平面上完成。

圖7 預測平面的投影Fig.7 Projection of the forecast plane

2.3.2 無人機軌跡預測網(wǎng)絡的設計

由于無人機上一狀態(tài)的速度方向和目標方向存在夾角，不能直接朝目標以直線飛行，需要擬合一條平滑的曲線，以實現(xiàn)無人機平穩(wěn)到達目標區(qū)域的目的。 在預測平面使用深度學習算法預測出路徑必經(jīng)點，結(jié)合速度信息、深度通道信息共同進行曲線擬合得出最終飛行預測軌跡。 軌跡預測網(wǎng)絡如圖8 所示，由五層LDR 和一層LS 構(gòu)成。LDR 是由Linear、Dropout 層與ReLU 激活函數(shù)構(gòu)成，LS 是由Linear 與Sigmoid 激活函數(shù)構(gòu)成。 預測網(wǎng)絡輸入O、V1、V2、V3、T的橫、縱坐標以及需要預測的四個點(P1、P2、P3、P4)的橫坐標。 輸入為14 個節(jié)點，中間有4 個隱層，網(wǎng)絡輸出為預測飛行路徑上的4 個點的縱坐標。 具體軌跡預測網(wǎng)絡參數(shù)配置如表1 所示。

表1 軌跡預測網(wǎng)絡參數(shù)配置Table 1 Trajectory prediction network parameters configuration

圖8 軌跡預測網(wǎng)絡Fig.8 Trajectory prediction network

軌跡預測得到P1、P2、P3、P4縱坐標，與坐標點O、V1、V2、V3、T結(jié)合，調(diào)序后將9 個點O、V1、V2、V3、P1、P2、P3、P4、T坐標作為無人機軌跡曲線約束點，使用最小二乘法對調(diào)整后的點進行5 次方的回歸，得出對應的系數(shù)，完成方程的擬合。 根據(jù)方程，計算出1 000 個點的坐標，得出在當前畫面上的預測飛行路徑，此處稱為C1。

2.4 訓練損失

本文所設計的飛行通道輔助系統(tǒng)中，網(wǎng)絡總損失可分成DMDC 模塊損失和軌跡預測網(wǎng)絡損失。

2.4.1 DMDC 損失

DMDC 損失主要分為兩部分:深度圖提取誤差Ld和通道預測誤差Lc。

深度提取模塊的損失表達式為

式中:LP為第0 幀圖像和重建圖像的最小的光度誤差；μ為LP損失占整體損失的比重；LS為視差平滑性損失；λ為LS損失占整體損失的比重。

通道預測誤差使用目標檢測損失衡量，具體損失Lc為

式中:Lobj為置信度損失；Lbbox為邊界框損失。

整體深度通道模塊的損失Ldc為深度圖提取誤差Ld和通道預測誤差Lc的線性加權(quán)和，表達式為

2.4.2 PMT 模塊損失

本文所設計的PMT 模塊中，軌跡預測網(wǎng)絡損失由預測面積損失LS1和監(jiān)督面積損失Ls0兩部分構(gòu)成。

將OT的橫坐標均勻分為1 000份，并以每一份的長度作為寬，以曲線上的點與直線上的點縱坐標差作為長，求對應縱坐標的矩形面積，然后將1 000 份矩形面積的離散積分和近似為真實面積，計算方法見公式(10)。 為使無人機以最快速度抵達目標區(qū)域，將預測出的路徑C1 與直線OT所包圍的面積與零做MSE 損失LS1，其表達式如式(11)所示。 其計算示意圖如圖9 所示。

圖9 曲線面積計算示意圖Fig.9 Schematic diagram of curve area calculation

式中:t代表1 000 個點中第t點；yC1t是預測曲線上第t點的縱坐標；yOTt是OT連線上第t點的縱坐標；xT為目標點在投影平面內(nèi)的橫坐標；xO為畫面中心在投影平面內(nèi)的橫坐標。

只使用預測面積損失會導致網(wǎng)絡為了快速收斂而直接使預測點落到OT直線上，故引入擬合曲線C2 和OT連線直接擬合面積SC2。 將SC2(計算方式見公式(12))作為目標，使其和預測面積做MSE 損失，得到軌跡預測網(wǎng)絡的損失，表達式見式(13)。

最后軌跡預測網(wǎng)絡的總損失為Lcp，如公式(14)所示。

整體網(wǎng)絡的損失為Ldccp，計算方法如公式(15)所示。

上述，為提高操作人員在復雜環(huán)境下操控高動態(tài)無人機的反應容限、解決傳統(tǒng)無人機路徑規(guī)劃算法自適應性差且需要解算大量運動學方程等問題，提出基于深度學習的深度通道軌跡預測網(wǎng)絡，根據(jù)無人機視角給出實時推薦飛行通道。 由于使用神經(jīng)網(wǎng)絡預測得到推薦通道，能夠節(jié)省大量的計算資源。

3 實驗與分析

為驗證本文所設計無人機輔助通道系統(tǒng)的有效性，將深度通道軌跡預測網(wǎng)絡DCTN 部署在嵌入式平臺Jetson TX2 上，將嵌入式平臺搭載到無人機，實驗設備如圖10 所示。 在自定義的校園環(huán)境中進行測試，測試場景為環(huán)境復雜的樹林。 從單目相機獲得的數(shù)據(jù)中選取一張圖像作為輸入，如圖11 所示。

圖10 實驗設備Fig.10 Experimental equipment

圖11 單目相機獲取的圖像Fig.11 Images by a monocular camera

首先，對DMDC 的輸出進行可視化，結(jié)果如圖12 所示。 從可視化結(jié)果看出，該圖為帶有三個深度通道信息的景深圖，DMDC 實現(xiàn)了檢測深度通道的任務，并將所有檢測出的通道作為無人機飛行備選通道。

圖12 DMDC 的輸出可視化Fig.12 The output visualization of DMDC

PMT 結(jié)合DMDC 的輸出，并且將從IMU 獲取的速度信息進行處理，得到帶有輔助推薦通道及推薦飛行軌跡。

DCTN 網(wǎng)絡整體輸出第15 幀時，推薦給操作人員的飛行軌跡如圖13 所示，圖中檢測框為飛行通道，由左往右共計四條。 DCTN 網(wǎng)絡整體輸出第17 幀時，如圖14 所示，DCTN 網(wǎng)絡推薦出兩個深度通道及其預測飛行軌跡，對圖中的每條軌跡，分別給出四個飛行輔助子通道，操作人員可任意選擇一個深度通道，操控無人機依次通過該深度通道中的四個子通道到達目標區(qū)域。

圖13 四通道的推薦飛行軌跡(第15 幀)Fig.13 The recommended flight path with four channels(15th frame)

圖14 二通道的推薦飛行軌跡及飛行輔助通道(第17 幀)Fig.14 The recommended flight path with two channels and flight aid channel(17th frame)

分別將人工勢場法和本文所提出的DCTN 算法在Jetson TX2 上進行部署。 其中，人工勢場法和RAPPIDS 算法使用深度相機，本文算法使用白光相機，輸入圖像分辨率為640 ×480。 統(tǒng)計每個算法的100 個軌跡生成所用的時間，計算得到的單個軌跡生成平均時間如表2 所示。 其中，傳統(tǒng)人工勢場法的單個軌跡平均生成時間為220.9 ms，文獻[11]中RAPPIDS 算法單個軌跡平均生成時間為2.49 ms，本文DCTN 算法單個軌跡平均生成時間為5.58 ms。 本文提出的DCTN方法單個軌跡平均生成時間與傳統(tǒng)人工勢場法相比縮短了39.58 倍。 與RAPPIDS 算法相比，雖然DCTN 算法所用時間略長，但由于DCTN 算法直接使用白光相機，不需要額外的深度信息，本文提出的方法能以較低成本達到與其相同數(shù)量級的響應時間。

表2 單個軌跡的平均生成時間Table 2 The average generation time per trajectory

上述實驗結(jié)果表明，本文所設計的系統(tǒng)可以利用無人機位姿信息和視角圖像實現(xiàn)軌跡預測，快速建立無人機的輔助通道，提供軌跡輔助指示，分析網(wǎng)絡的推薦路線以及通道，使得操作人員根據(jù)環(huán)境情況對飛行方向迅速做出判斷，能夠減輕操作員的操控負擔。

4 結(jié)論

本文提出了一種新的軌跡規(guī)劃方法并設計了一個飛行通道輔助系統(tǒng)。 首先，利用單目深度估計算法預測目標的景深，以景深為基礎檢測出可飛行的深度通道，結(jié)合無人機位姿信息，引入人工勢場的思想將景深信息作為斥力場，以無人機的位姿信息作為引力場，共同指導預測軌跡網(wǎng)絡訓練直至達到擬合，生成當前位置下可能的避障軌跡。 該系統(tǒng)與傳統(tǒng)路徑規(guī)劃方法相比，不需要解算運動學方程，生成飛行通道由神經(jīng)網(wǎng)絡預測得出，從而節(jié)省了大量的計算資源，提升了路徑規(guī)劃的效率。 最后，在嵌入式平臺Jetson TX2 進行實驗，結(jié)果表明本文提出的算法在生成通道以及飛行軌跡方面均達到了設計要求，能夠滿足穿越機在高動態(tài)場景下的輔助應用需求。