閻峰 劉震

摘 要：現(xiàn)有的無人機位姿視覺測量方法大多基于諸如關鍵點等幾何尺寸在圖像和模型間的對應關系完成位姿計算；然而，在復雜情況下易出現(xiàn)關鍵點圖像坐標定位失效的問題，而針對特定機型的算法設計泛化性不佳。針對這一問題，本文提出了一種基于立體視覺的固定翼無人機位姿測量方法，通過立體視覺重建目標無人機三維點云，基于無人機組件三維點云擬合魯棒地完成位姿測量。首先，使用一種二維、三維數(shù)據(jù)結合的方式，利用卷積神經網絡完成組件的分割。其次，分別利用機翼和機身點云擬合無人機坐標系的z軸和x軸，進而完成目標無人機位姿的計算。整個計算過程無需已知具體機型或尺寸。經試驗驗證，本文方法在10m的范圍內達到了1.57°和0.07m的位姿測量精度，具有較高的精度和魯棒性。

關鍵詞：機器視覺； 位姿測量； 立體視覺； 無人機； 點云

中圖分類號：V249 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2023.04.010

基金項目： 航空科學基金（201946051001）

無人機技術具有覆蓋范圍大、靈活性高及可代替人工執(zhí)行危險工作等優(yōu)點，在各行業(yè)、各領域內發(fā)揮著日益重要的作用。無人機功能[1-2]的實現(xiàn)主要依靠編隊工作的方式，而編隊功能的有效實現(xiàn)，依賴于無人機間相對位姿的準確測量。因此，實現(xiàn)無人機位姿的精準測量具有重要意義。

視覺測量具有非接觸、精度高和靈活性好等優(yōu)勢，近年來在位姿測量領域得到了較為廣泛的研究和應用。相比通過慣性器件測量位姿的方式[3]，視覺測量不存在累計誤差，且不依賴于無人機之間的通信，具有更強的靈活性和自主性。因此，研究一種無人機位姿測量的視覺方案對該領域的發(fā)展具有重要推動作用。

目前，無人機位姿的視覺測量方案大多需要已知精確的幾何尺寸作為先驗信息，如需要明確具體的機型、在模型坐標系下關鍵點的三維坐標等，按照模型的使用方式不同，大致可將現(xiàn)有算法分為三類：第一類是PnP類算法，PnP是Perspective-n-Point的簡寫，這類算法需定義多個關鍵點，基于提取得到的關鍵點二維圖像坐標和其先驗的三維世界坐標的對應關系，完成無人機位姿的計算。這類算法靈活、快速，最早由M. A. Fischler[4]提出，后續(xù)涌現(xiàn)了大量的改進算法。其中較為經典的為EPnP算法[5]，通過設置4個虛擬控制點，可高效求解目標位姿。除了關鍵特征點，特征邊緣也可用于這類計算。Ji Bing[6]使用角點和邊緣等多個特征，共同計算飛機位姿，以解決特征點易被自身遮擋的問題。盡管如此，這類算法由于使用的都是稀疏特征，在復雜條件下，如目標較遠或成像質量較差等情況下，這類特征易被噪聲淹沒，以至于難以準確甚至無法完成圖像特征的提取，進而導致算法失效。第二類是模板匹配算法[7]，這類算法需要實現(xiàn)根據(jù)所需測量的模型制作包含大量不同位姿的模板庫，然后將提取得到的目標圖像與模板庫進行匹配，找到對應的位姿。這類方法只能針對特定的某一機型完成測量，且模板庫的制作過程煩瑣，算法的泛用性較差。第三類是機器學習與深度學習方法，這類算法是指首先使用待測目標的數(shù)據(jù)集訓練分類器或者神經網絡，完成訓練后，使用得到的權重進行位姿的回歸計算。J. Liebelt[8]提出了一種SVM分類器與RANSAC算法結合的方法，實現(xiàn)對三維目標的位姿測量。李想[9]使用RGB圖像并利用卷積神經網絡（CNN）方法完成對目標位姿的測量。此方法計算直接，且通常具有較高精度；但是與模板匹配方法類似，也需要事先針對所處理機型制作大量數(shù)據(jù)集，較為繁瑣。另外，使用深度學習方法直接進行位姿計算，網絡規(guī)模通常較大，需要大量計算資源，不適合在機載環(huán)境中使用。

綜上所述，現(xiàn)有的無人機位姿視覺測量算法大多需要先驗的精確幾何尺寸，關鍵點或邊緣雖然精準，但是由于其較為稀疏，所以易被噪聲淹沒。另外，固定翼無人機多采用大展弦比柔性機翼，飛行時機翼易變形，導致特征點位置發(fā)生移動，進而導致算法失效；使用特定機型作為模型則使用了較多的個性特征，這將導致算法不魯棒或泛用性較差?；谏鲜龇治觯缒苁褂贸砻軘?shù)據(jù)，基于共性結構完成無人機位姿的計算，將大大緩解現(xiàn)有算法存在的問題，提升算法的魯棒性和泛用性。

基于這一想法，本文提出了一種基于立體視覺的無人機位姿視覺測量算法，使用立體視覺重建目標無人機三維點云，通過擬合無人機機身、機翼等組件的三維點云數(shù)據(jù)，完成位姿的測量。三維點云屬于稠密數(shù)據(jù)，在復雜條件下仍能為算法提供大量的信息源，且局部發(fā)生變形時，整體仍能保持相對穩(wěn)定，具有較強的魯棒性；而固定翼無人機基本都是由機身、機翼以及垂尾等組件組成，算法不依賴于某一具體機型，具有較強的泛用性，可以解決現(xiàn)有算法存在的問題。

1 二維、三維數(shù)據(jù)獲取方法

本文采用雙目立體視覺傳感器實現(xiàn)二維數(shù)據(jù)和三維數(shù)據(jù)的采集，其中，二維數(shù)據(jù)是指視覺傳感器拍攝得到的圖像數(shù)據(jù)，三維數(shù)據(jù)是指通過立體匹配算法得到的視差圖、深度圖和三維點云數(shù)據(jù)。具體的數(shù)據(jù)獲取算法如下。

1.1 雙目立體視覺傳感器測量模型及標定

標定是測量的前提，只有已知上述提及的內部參數(shù)和結構參數(shù)，才可基于圖像特征完成三維信息的解算。本文采用張正友方法[10]完成雙目立體視覺傳感器內部參數(shù)和結構參數(shù)的標定。

1.2 視差匹配與三維重建

由于是由二維圖像數(shù)據(jù)匹配得到，使用雙目立體視覺傳感器重建得到的三維點云數(shù)據(jù)具有與二維數(shù)據(jù)的同源性，即點云中的每一個元素都與二維圖像中的像素一一對應。這為后續(xù)點云分割提供了較為便利的條件。

2 無人機位姿視覺測量算法

本文所提出的無人機位姿測量算法無需已知幾何尺寸，使用機身、機翼等固定翼無人機通用組件點云擬合完成位姿計算?；陔p目立體視覺傳感器獲得的二維、三維數(shù)據(jù)，首先完成無人機組件點云的分割；然后基于分割結果，使用無人機組件點云擬合坐標系，完成無人機位姿的計算。具體算法介紹如下。

2.1 無人機組件點云擬合

無人機機體坐標系op-xpypzp的常見的定義方式如圖2所示，取機身縱軸為x軸，指向前方；y軸垂直于對稱面指向右方；z軸在對稱面內垂直于縱軸并指向下方。本文中，將機體坐標系的原點定義在機身中心位置。根據(jù)坐標系定義，機身中軸方向為無人機坐標系的x軸方向，機翼法線方向為無人機坐標系的z軸方向?；谶@一思想，可首先完成點云分割，然后使用點云擬合的方式完成無人機坐標系的計算。

本文采用深度學習的方式完成點云分割。由于直接分割三維點云計算量過大、計算速度慢，因此，本文利用雙目立體視覺傳感器獲取二維、三維數(shù)據(jù)的同源性，首先完成二維圖像的分割，然后映射至點云空間，完成無人機組件的三維點云分割。具體而言，本文采用了一種如圖3所示的編解碼結構的RGB-D卷積神經網絡，綜合RGB圖像的紋理信息和深度圖像的空間信息，深度圖像可通過匹配獲得。在編碼階段分為RGB圖和深度圖兩個通道，首先通過殘差卷積單元（RCU）模塊[12]分別提取圖像特征，然后使用空洞空間金字塔池化（ASPP）模塊[13]實現(xiàn)多尺度目標的感知，最后使用殘差卷積融合（RCF）模塊將RGB通道特征和深度圖特征進行融合。在解碼階段，使用殘差語義引導融合（RSGF）模塊在低層特征的指導下逐層恢復空間信息，完成二維圖像的分割。其中，RCF和RSGF模塊都是本文提出的網絡模塊，其結構如圖4所示。網絡設計中使用了大量的殘差連接，提升了網絡的恒等性，加速網絡收斂，提升網絡性能。完成圖像分割后，將分割結果映射至點云空間，完成組件的點云分割。

獲得各組件點云后，可分別對機翼和機身點云進行擬合，獲得無人機坐標系各軸矢量。

2.2 無人機位姿求解

一般認為機翼的中軸線穿過機身中心，因此，可取機翼中軸線與機身xp軸交點作為無人機坐標系的原點，該點坐標即為無人機的位置參數(shù)。

3 試驗驗證

本文采用數(shù)字仿真的方式對算法的有效性進行分析驗證。本文使用一款視景仿真軟件，生成機載條件下的雙目立體視覺傳感器成像。在試驗過程中，所測量的無人機機型為Predator型無人機。在試驗過程中，傳感器參數(shù)見表1。試驗過程中，數(shù)據(jù)處理流程如下：首先使用SGBM算法完成左右圖像的匹配，得到深度圖像和三維點云數(shù)據(jù)。在試驗前，使用1978張無人機圖像組成數(shù)據(jù)集，完成了神經網絡的訓練；訓練過程中使用的無人機圖像為本文制作完成，包含不同位置和姿態(tài)的Predator型無人機圖像，并通過手工標注完成組件分割真值的獲取，數(shù)據(jù)集部分圖像如圖5所示。數(shù)據(jù)集中不同圖像中的無人機分別處于視場中的不同位置和深度，呈現(xiàn)出不同的視角；分別以不同的角度進行飛行，呈現(xiàn)出不同的姿態(tài)。訓練后，分割網絡達到了82.11%的平均交并比[12]，達到了較高精度。在試驗過程中，使用RGB圖像和深度圖像并使用網絡完成對目標無人機機身、機翼等組件的分割，分割完成后將其映射至點云空間，完成對三維點云的分割。最后，使用分割得到的點云組件進行坐標系的擬合，計算目標無人機位姿。本文共使用了40張圖像進行測試，根據(jù)飛行階段的不同，將其劃分為5個組別。圖6展示了部分測試圖像及其分割結果，可以發(fā)現(xiàn)，分割達到了較高精度，能夠準確識別無人機的各個組件。

試驗主要從兩個方面展開分析：（1）本文算法精度分析；（2）不同特征形式在機載復雜條件下的魯棒性對比分析。

3.1 本文方法精度分析

本節(jié)首先通過本文算法計算結果同真值進行對比，通過計算各軸分量均方根誤差（RMSE）測試分析本文算法的精度。

用于測試無人機數(shù)據(jù)根據(jù)飛行位置不同可以分為5個階段，本節(jié)使用本文方法分別計算所有測試圖像的位姿數(shù)據(jù)，通過將其與真值對比并統(tǒng)計各階段以及總體的RMSE對算法的精度進行評價。

試驗結果分別如圖7、圖8所示。其中，圖7展示了各階段中具有代表性的4個位置的三維稠密點云重建結果，從圖中可以看出，本文算法能夠較高精度地完成無人機稠密點云的重建，并能夠準確地計算位姿。圖中藍色、紅色以及綠色分別代表無人機坐標系的x軸、 y軸及z軸。

圖8展示了各階段位姿計算結果的RMSE值，并將其繪制成曲線。從圖中可以看出，本文方法姿態(tài)測量誤差基本小于3°，其中x軸姿態(tài)測量誤差基本小于1°；本文方法位置測量誤差基本小于0.12m；不同階段的測量結果表現(xiàn)較為穩(wěn)定。經統(tǒng)計，在10m范圍內，本文方法姿態(tài)測量總均方根誤差為1.57°，位置測量總均方根誤差為0.07m，達到了較高精度。

3.2 本文算法與經典算法的對比分析

PnP算法使用單目相機獲取的多對二維圖像特征點與對應三維坐標求解目標位姿，是較為經典的位姿測量方法。因此在分析本文算法精度的基礎上，本節(jié)將本文算法同PnP及其改進算法EPnP進行對比，分析位姿測量的魯棒性。

本文選取機翼及垂尾處較為顯著的7個角點作為關鍵點，使用PnP及EPnP算法計算位姿。統(tǒng)計40張測試圖片的位姿測量RMSE可得，在10m的范圍內，EPnP的姿態(tài)測量精度為5.07°，位置測量精度為0.07m；PnP的姿態(tài)測量精度為2.38°，位置測量精度為1.47m；本文算法的姿態(tài)測量精度為1.57°，位置測量精度為0.07m。圖9展示了不同方法的位姿測量結果。

如圖9所示，圖中紅色坐標系為本文方法計算結果、藍色坐標系為EPnP方法計算結果、綠色坐標系為PnP方法計算結果，其中由于PnP算法在機載復雜條件下位姿計算精度一般，其坐標系在投影后未出現(xiàn)在視場中。從圖中可以發(fā)現(xiàn)，本文方法在不同位置姿態(tài)下各參數(shù)計算精度均較高，而EPnP算法雖然可以較為準確地估計無人機的位置，但是其姿態(tài)解算精度一般。這說明PnP及EPnP算法易受特征點數(shù)量及分布影響，位姿測量精度一般；而本文算法所基于的空間幾何特征是由稠密三維點云擬合得到的，在不同位置、不同姿態(tài)情況下均能魯棒提取，基于該特征可以精確地計算位姿參數(shù)，證明了本文算法的魯棒性。

4 結論

本文提出了一種基于立體視覺的無人機位姿視覺測量算法，通過立體視覺重建目標無人機三維點云，使用固定翼無人機共有的機身和機翼點云擬合無人機坐標系，完成位姿計算。算法無須已知精確的幾何尺寸，是面向固定翼無人機的通用算法，具有較強的泛用性；同時，位姿測量使用的是點云擬合的方式，數(shù)據(jù)來源廣、精度高、魯棒性強。經試驗測試，本文算法達到了10m內1.57°的姿態(tài)精度和0.07m的位置精度，在復雜條件下仍能穩(wěn)定測量，具有較高精度和魯棒性，可實現(xiàn)在中近距離下空中飛行或地面停靠狀態(tài)下無人機位姿的精準測量。

參考文獻

[1]賈漢博，馬琳，張忠旺.基于POA算法的無人機航跡規(guī)劃優(yōu)化方法[J].航空科學技術，2022，33（10）：96-102. Jia Hanbo， Ma Lin， Zhang Zhongwang. Optimization method of unmanned aerial vehicle path planning using POA[J]. Aeronautical Science & Technology， 2022， 33（10）： 96-102.（in Chinese）

[2]張炯，牛歡，陳雪.基于多傳感器融合的無人機應急著陸功能研究[J].航空科學技術，2022，33（11）：11-20. Zhang Jiong， Niu Huan， Chen Xue. Research on UAV emergency landing function based on multi-sensor fusion [J]. Aeronautical Science & Technology， 2022， 33（11）： 11-20. （in Chinese）

[3]Oh T J， Chung M J. Global pose estimation with adaptive GPS/ IMU fusion[C]//Intelligent Autonomous Systems 12th. Poland： Springer， 2013：613-620.

[4]Fischler M A， Bolles R C. Random sample consensus： A paradigm for model fitting with applications to image analysis and automated cartography[J]. Readings in Computer Vision， 1987，15：726-740.

[5]Lepetit V， Moreno-Noguer F， Fua P. EPnP： An accurate solution to the PnP problem[J]. International Journal of Computer Vision， 2009， 81（2）：155-166.

[6]Ji Bing， Shan Ganlin， Zhou Yunfeng， et al. Aircraft pose estimation based on integrated feature matching[C]// IEEE Conference on Industrial Electronics & Applications. IEEE， 2009： 226-229.

[7]趙正川. 基于高速視頻的目標狀態(tài)識別技術研究[D]. 西安：西安工業(yè)大學，2016. Zhao Zhengchuan. The research of target state recognition technology based on high-speed video [D]. Xi’an： Xi’an Technological University， 2016.（in Chinese）

[8]Liebelt J， Schmid C， Schertler K. Viewpoint-independent object class detection using 3D feature maps [C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， IEEE， 2008： 2118-2125.

[9]李想. 基于深度學習的空間非合作目標姿態(tài)估計算法設計[D]. 哈爾濱：哈爾濱工業(yè)大學，2018. Li Xiang. Design of attitude estimation algorithm for space non-cooperative targets based on deep learning [D]. Harbin： Harbin Institute of Technology， 2018.（in Chinese）

[10]Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Trans. Pattern Analysis and Machine Intelligence， 2000， 22（11）， 1330-1334.

[11]Hirschmuller H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transaction. Pattern Analysis and Machine Intelligence， 2007， 30（2）： 328-341.

[12]Lin Guosheng， Milan A， Shen Chunhua， et al. RefineNet： Multi-path refinement networks for high-resolution semantic segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017： 1925-1934.

[13]Chen L C， Papandreou G， Schroff F， et al. Rethinking atrous convolution for semantic image segmentation [EB/OL].（2017-12-05）. https：//arxiv.org/abs/1706.05587.

[14]Torr P H S， Zisserman A. MLESAC： A new robust estimator with application to estimating image geometry [J]. Computer Vision and Image Understanding， 2000， 18（1）：138-156.

UAV Pose Measurement Method Based on Stereo Vision

Yan Feng， Liu Zhen

Key Laboratory of Precision Opto-mechatronics Technology， Ministry of Education，Beihang University， Beijing 100191， China

Abstract： Most of the existing UAV pose visual measurement methods are based on the corresponding relationship between the image and the model of geometric size such as key points. However， the problem of detection failure of key point image coordinate is easy to occur in complex cases， and the algorithm designed for specific models has poor generalization. To solve this problem， this paper proposes a pose measurement method of fixed wing UAV based on stereo vision. 3D point cloud of target UAV is reconstructed through stereo vision， and the pose measurement is completed robustly based on the 3D point cloud fitting of UAV components. Firstly， the components are segmented by a convolutional neural network in a 2D and 3D data combination fashion， and then the wing and fuselage point cloud are used to fit the z axis and x axis of the UAV coordinate system， and then the pose of the target UAV is calculated. The whole calculation process does not need to know the specific model or size. The experimental results show that the proposed method can reach the accuracy of 1.57° and 0.07m in the range of 10m， which shows high accuracy and robustness.

Key Words： machine vision； pose measurement； stereo vision； UAV； point cloud