萬 鏵，王梓屹，李 勝，張志安

無人機(jī)基于視覺引導(dǎo)的移動(dòng)平臺(tái)追蹤與降落

萬 鏵1，王梓屹1，李 勝1，張志安2

（1.南京理工大學(xué) 自動(dòng)化學(xué)院，南京 210094；2.南京理工大學(xué) 機(jī)械工程學(xué)院，南京 210094）

針對(duì)當(dāng)前可遠(yuǎn)距離實(shí)現(xiàn)純視覺引導(dǎo)無人機(jī)降落的方案中合作目標(biāo)尺寸過大的問題，提出一種三維與二維標(biāo)志組合的合作目標(biāo)設(shè)計(jì)思路：通過深度學(xué)習(xí)加手工特征檢測(cè)三維標(biāo)志以進(jìn)行遠(yuǎn)距離定位與追蹤，接近后切換檢測(cè)二維標(biāo)志以進(jìn)行降落；引入三維合作目標(biāo)后，在不降低定位精度的前提下，1.5 m高度的可檢測(cè)距離增加了2.54倍，且可大角度傾斜檢測(cè)，合作目標(biāo)尺寸也大幅減小。實(shí)驗(yàn)結(jié)果表明，遠(yuǎn)距離階段平均定位誤差為0.05 m，近距離階段在移動(dòng)平臺(tái)上的降落點(diǎn)平均誤差為0.03 m，說明該小尺寸合作目標(biāo)的視覺定位精度與降落精度很高，可以追蹤并降落在移動(dòng)中的超小尺寸降落平臺(tái)上。

無人機(jī)（UAV）；合作目標(biāo)；視覺；追蹤；降落

0 引言

電動(dòng)多旋翼無人機(jī)在工業(yè)、農(nóng)業(yè)、商業(yè)等領(lǐng)域有著廣泛的應(yīng)用，但續(xù)航限制了發(fā)展，作業(yè)中須頻繁降落補(bǔ)充能源。文獻(xiàn)[1]指出無人機(jī)人工降落階段事故多發(fā)，操作人員工作負(fù)擔(dān)和風(fēng)險(xiǎn)大，須尋找一種魯棒性較高的無人機(jī)自主降落方案，降低無人機(jī)作業(yè)中操作人員的在環(huán)程度。

文獻(xiàn)[1]介紹了現(xiàn)有無人機(jī)自主降落方案，總結(jié)為有源和無源2類，有源指須與外部定位源（衛(wèi)星、基站等）進(jìn)行通信，獲取自身位置，無源指僅依靠自身硬件實(shí)現(xiàn)自主降落，有捷聯(lián)慣導(dǎo)與視覺定位等方式。文獻(xiàn)[2]指出，基于視覺檢測(cè)合作目標(biāo)的定位與導(dǎo)航完全由機(jī)載設(shè)備完成決策與控制，無須與外部定位源通信，實(shí)時(shí)性強(qiáng)，定位精度高且不受時(shí)間、空間影響，適用場(chǎng)景廣。當(dāng)前一些商品級(jí)無人機(jī)機(jī)場(chǎng)（例如大疆機(jī)場(chǎng)），也用視覺識(shí)別的方式在末端進(jìn)行輔助定位。這些機(jī)場(chǎng)常用小尺寸二維合作目標(biāo)以減小機(jī)場(chǎng)尺寸，但這使得無人機(jī)只能在停機(jī)坪上方獲得完整合作目標(biāo)后開啟視覺引導(dǎo)，稍遠(yuǎn)之外則依賴載波相位差分（real time kinematic，RTK）技術(shù)提供高精度的定位信息，在室內(nèi)或復(fù)雜電磁環(huán)境等條件下無法使用；RTK也使得機(jī)場(chǎng)只能在靜止?fàn)顟B(tài)下回收無人機(jī)，使用場(chǎng)景受限。對(duì)此更多研究?jī)A向于純視覺定位合作目標(biāo)，減少對(duì)RTK的依賴，且更傾向于動(dòng)態(tài)回收，以提高實(shí)用性，拓展應(yīng)用場(chǎng)景。

文獻(xiàn)[3]設(shè)計(jì)了一種富含光流特征的平板，面積達(dá)10829 cm2，精度易受誤差累積影響，定位結(jié)果的均方根誤差（root mean squared error，RMSE）為0.25 m。文獻(xiàn)[4]為此加入回字形定位圖案，通過細(xì)分層級(jí)實(shí)現(xiàn)了由遠(yuǎn)至近不斷精細(xì)化的定位，RMSE降低至0.06 m，但合作目標(biāo)仍然很大，且同樣只能俯視檢測(cè)。視覺定位領(lǐng)域的文獻(xiàn)[5]設(shè)計(jì)了四月標(biāo)簽（AprilTag），已發(fā)展為視覺基準(zhǔn)庫(kù)，用于獲取相機(jī)的高精度位姿。文獻(xiàn)[6]提出了類似的方案，取名科爾多瓦大學(xué)增強(qiáng)現(xiàn)實(shí)（augmented reality university of Cordoba，ArUco），也可獲得相機(jī)的位姿，已集成至開源計(jì)算機(jī)視覺庫(kù)（open computer vision，OpenCV）。AprilTag與ArUco都是二維碼類標(biāo)識(shí)，檢測(cè)角點(diǎn)后解點(diǎn)透視（perspectivepoints，PP）問題獲得二維碼位姿，檢測(cè)速度快，定位精度高，一經(jīng)提出就有很多研究者將其作為合作目標(biāo)應(yīng)用于視覺降落。文獻(xiàn)[7]在A3紙上用AprilTag實(shí)現(xiàn)平均絕對(duì)誤差（mean absolute error，MAE）0.08 m的定位，兼顧了合作目標(biāo)尺寸與定位精度，但只進(jìn)行了俯視檢測(cè)。文獻(xiàn)[8]設(shè)計(jì)了一種有6組不同半徑比同心圓的合作目標(biāo)，2.5 m高度俯視定位MAE<0.035 m，但尺寸過大。文獻(xiàn)[9]提出一種基于編碼圓的分布式編碼，遠(yuǎn)距離更易于解讀，可用于降低面積。

上述研究均在全畫幅上用手工特征方式提取合作目標(biāo)特征，易受背景、光照等因素干擾。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，一些研究使用深度學(xué)習(xí)檢測(cè)合作目標(biāo)[10]。文獻(xiàn)[11]用更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region convolutional neural networks，F(xiàn)aster R-CNN），其在圖像變形時(shí)也有極高的成功率，但檢測(cè)速率慢，平均幀率（frame per second，F(xiàn)PS）僅12.5。文獻(xiàn)[12]使用第五代目標(biāo)檢測(cè)算法（you only look once，YOLO）檢測(cè)目標(biāo)特征區(qū)域，在英偉達(dá)顯卡電腦上FPS可達(dá)140。文獻(xiàn)[13]用生成對(duì)抗網(wǎng)絡(luò)去模糊技術(shù)[14]來改善無人機(jī)飛行抖動(dòng)造成的運(yùn)動(dòng)模糊問題，經(jīng)過特定的輕量化操作后可在機(jī)載平臺(tái)上達(dá)到實(shí)時(shí)的推理速度，為后續(xù)目標(biāo)檢測(cè)提供去模糊的圖像輸入，提高特定目標(biāo)的檢測(cè)成功率與定位精度。相較手工特征，深度學(xué)習(xí)可以從更高維度上提取合作目標(biāo)特征，在增加一些推理時(shí)間的代價(jià)下可更好地減少環(huán)境干擾，提高檢測(cè)成功率。

可以發(fā)現(xiàn)，當(dāng)前純視覺降落研究均使用二維平面合作目標(biāo)，尚無法兼顧減小合作目標(biāo)尺寸、提高定位精度與增加檢測(cè)距離。對(duì)此，本文基于文獻(xiàn)[4]分階段思想，在純視覺自動(dòng)降落領(lǐng)域引入三維合作目標(biāo)，設(shè)計(jì)一種分布式三維標(biāo)志（球體）與二維標(biāo)志（AprilTag）組合的合作目標(biāo)。

1 合作目標(biāo)設(shè)計(jì)

當(dāng)前部分代表性研究中的平面合作目標(biāo)如圖1所示，相關(guān)指標(biāo)如表1所示。

圖1 部分研究中的合作目標(biāo)

表1 部分研究中的合作目標(biāo)及相關(guān)指標(biāo)

以在合作目標(biāo)尺寸與定位誤差方面取得較好平衡的AprilTag為例，測(cè)試其水平檢測(cè)距離極限，如圖2所示。當(dāng)74°垂直視場(chǎng)角的相機(jī)在150 cm高度、45°斜向下時(shí)，邊長(zhǎng)20 cm的AprilTag（選用36 h 11族系降低誤檢率，該族系的二維碼均含6×6個(gè)像素塊，最小漢明距離值為11）在250 cm外檢測(cè)成功率開始降低，至275 cm外已無法檢測(cè)得到。

圖2 二維碼水平檢測(cè)距離極限測(cè)試

無法檢測(cè)的原因在于水平距離增加，相機(jī)與合作目標(biāo)平面夾角減小，相對(duì)傾斜程度增加，二維碼投影的寬度維度逐漸丟失，編碼信息難以被解讀，且變形后短邊像素點(diǎn)減少，擬合精度降低，特征點(diǎn)精度降低，定位精度也將降低[15-16]。此外，位姿解算只需4個(gè)角點(diǎn)，編碼圖案占用大量面積，且上述小夾角情況下無法發(fā)揮作用。

為兼顧尺寸、精度與范圍指標(biāo)，本文提出的合作目標(biāo)中的三維標(biāo)志參考文獻(xiàn)[9]的思路，使用球體（投影為圓形，等周長(zhǎng)時(shí)面積最大），無論相機(jī)與合作目標(biāo)平面夾角如何變化，投影始終為圓形，不會(huì)向一維退化，并用顏色排列設(shè)置編碼信息（因解PP問題需至少4對(duì)點(diǎn)，以顏色排列順序作為編碼約束進(jìn)一步降低環(huán)境中可能的干擾），用盡量少且鮮明的特征替代二維碼，如圖3所示，在保證遠(yuǎn)距離、大傾斜情況下特征點(diǎn)提取精度的同時(shí)減少面積占用。

圖3 降落平臺(tái)

如圖4所示，檢測(cè)到同數(shù)量邊緣像素點(diǎn)時(shí)（4= 8π），標(biāo)志球投影總面積4π2=4π(4/8π)2=2π，二維碼面積2，故檢測(cè)到相同理論精度特征點(diǎn)時(shí)，標(biāo)志球投影總面積小于二維碼。

球的投影特性也無須如文獻(xiàn)[8]中為解決變形問題而遞歸求解圓心，可減少計(jì)算時(shí)間，但標(biāo)志球投影圓由視錐與該球的切線包圍形成，圓心′對(duì)應(yīng)的空間點(diǎn)不是球心，如圖5所示。

圖5 像素平面圓心與實(shí)際球心位置誤差

認(rèn)為圓心′對(duì)應(yīng)的空間點(diǎn)即是球心的最小無差檢測(cè)距離，計(jì)算公式為

式中：為球半徑，取7.5 cm；Δ為′與的空間位置誤差率，取小于0.1%。

以該最小無差檢測(cè)距離為界，距離外進(jìn)行一階段遠(yuǎn)距離三維球體檢測(cè)與定位，越過分界后進(jìn)入近距離的二階段，二階段選取已有研究中在尺寸與定位誤差方面取得較好平衡的AprilTag，為近距離的無人機(jī)提供超實(shí)時(shí)的精確定位信息。為避免誤檢導(dǎo)致的錯(cuò)誤定位，選用編碼信息豐富的36h11族系；為保證相機(jī)在至接近落地時(shí)始終捕獲到完整標(biāo)簽，使用同心嵌套的方式，如圖6所示。外層標(biāo)簽優(yōu)先級(jí)高于內(nèi)層小面積的二維碼，外層標(biāo)簽邊長(zhǎng)20 cm，內(nèi)層為3 cm，一張A4紙即可容納。如圖2所示的實(shí)驗(yàn)已證明這個(gè)距離內(nèi)可成功檢測(cè)這個(gè)尺寸的二維碼合作目標(biāo)。

圖6 二維碼示意

2 合作目標(biāo)檢測(cè)算法及位姿解算

本文坐標(biāo)系定義如表2所示，三維坐標(biāo)系均是右手系，三軸姿態(tài)角滿足右手定則。

表2 坐標(biāo)系定義

2.1 目標(biāo)檢測(cè)算法

2.1.1 一階段目標(biāo)檢測(cè)算法

由于在全畫幅上采用手工特征方式提取合作目標(biāo)特征，容易受背景、光照等環(huán)境因素干擾，本文使用深度學(xué)習(xí)目標(biāo)檢測(cè)算法在一階段檢測(cè)用于遠(yuǎn)距離追蹤的三維合作目標(biāo)。

依據(jù)文獻(xiàn)[12,17]，YOLO家族的YOLOv5在檢測(cè)速度與精度上做到了很好的平衡，適用于工程項(xiàng)目。本文選用YOLOv5-6.0，其網(wǎng)絡(luò)由主干網(wǎng)絡(luò)、頸部和檢測(cè)頭3部分組成，結(jié)構(gòu)如圖7所示，圖中CBS是卷積層（convolutional layer，Conv）、批量歸一化層（batch normalization，BN）、S形加權(quán)線性激活函數(shù)（sigmoid linear unit，SiLU）的首字母縮寫組合。主干網(wǎng)絡(luò)進(jìn)行了一系列卷積操作以提取各個(gè)層次的特征，并在主干網(wǎng)絡(luò)和頸部間使用快速空間金字塔池化（spatial pyramid pooling-fast，SPPF）以降低運(yùn)算量、提高速度；頸部使用特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）加像素聚合網(wǎng)絡(luò)（pixel aggregation network，PAN）的特征融合結(jié)構(gòu)，其中FPN自頂向下傳遞強(qiáng)語(yǔ)義信息，PAN自底向上傳遞強(qiáng)定位信息，并用跨階段局部結(jié)構(gòu)（cross stage partial，CSP）加強(qiáng)特征融合能力；最后檢測(cè)頭在頸部3個(gè)不同尺度的輸出上利用自適應(yīng)錨框進(jìn)行目標(biāo)檢測(cè)，并通過邊界框損失與非極大值抑制找到最佳邊界框。

以路況數(shù)據(jù)集[18]（road traversing knowledge dataset，RTKD）為基礎(chǔ)，將不同距離與角度下的降落平臺(tái)沿輪廓手工分割出來，疊加到RTKD不同路況圖片的隨機(jī)位置上，生成新的數(shù)據(jù)集，如圖8所示。

為了在機(jī)載硬件上取得較快的檢測(cè)速度，選小尺度s架構(gòu)模型，對(duì)上述新數(shù)據(jù)集進(jìn)行訓(xùn)練，結(jié)果如圖9所示，300輪訓(xùn)練后各損失函數(shù)均趨向穩(wěn)定，精確率（真正例與真正例加假正例的和的比值）均趨于1，召回率（真正例與真正例加假負(fù)例的和的比值）也趨于1，訓(xùn)練結(jié)果好。

圖7 YOLOv5-6.0網(wǎng)絡(luò)結(jié)構(gòu)

圖9 訓(xùn)練結(jié)果

訓(xùn)練結(jié)果在469張圖的測(cè)試集上測(cè)試，結(jié)果如表3所示，各類別精確率與召回率高，平均精度均值（mean average precision，mAP）高，測(cè)試集上表現(xiàn)好。

表3 測(cè)試集中模型的表現(xiàn)

目標(biāo)檢測(cè)可得標(biāo)志球邊界框，如圖10所示。受背景、光照及檢測(cè)頭中邊界框損失及非極大值抑制算法影響，邊界框中心常與標(biāo)志球投影圓圓心存在偏差，如圖11所示。由于PP算法對(duì)點(diǎn)和位置敏感，為提高PP算法解得的最優(yōu)平移向量精度，本文增加精確圓心檢測(cè)來提高圓心檢測(cè)精度。

圖10 單幀檢測(cè)結(jié)果

圖11 邊界框中心

先將邊界框作為興趣域截出，其中大部分顏色為標(biāo)志球顏色，對(duì)興趣域進(jìn)行均值偏移濾波，中和分布相近的顏色，將主體顏色與背景分開，如圖12所示。

圖12 均值偏移濾波結(jié)果

再通過閾值法提取相應(yīng)顏色區(qū)域，并利用坎尼（Canny）算法獲得此時(shí)邊緣信息，如圖13所示。

圖13 標(biāo)志球色域及其邊緣信息

最后由霍夫梯度法擬合圓心，如圖14所示。與邊界框中心相比，白點(diǎn)為擬合圓心，×為邊界框中心，此時(shí)的圓心更接近實(shí)際圓心，可提高PP解算精度。至此得到一階段合作目標(biāo)各球特征點(diǎn)球心在pix中的對(duì)應(yīng)二維坐標(biāo)。

圖14 精確圓心與邊界框中心對(duì)比

2.1.2 二階段目標(biāo)檢測(cè)算法

本階段檢測(cè)的合作目標(biāo)為AprilTag，由于已發(fā)展為視覺基準(zhǔn)庫(kù)，近距離檢測(cè)精度優(yōu)秀，故不再贅述文獻(xiàn)[5]中的檢測(cè)方法，其在檢測(cè)出指定編號(hào)二維碼的同時(shí)，也能獲得4個(gè)角點(diǎn)投影在pix的二維坐標(biāo)。

2.2 位姿解算方法

本節(jié)利用2.1節(jié)得到的特征點(diǎn)在pix中的二維坐標(biāo)解算合作目標(biāo)中心在b-i的三維坐標(biāo)。

本文使用的一款微畸變鏡頭的單目相機(jī)，其成像可用小孔成像模型表示，pix到img的轉(zhuǎn)換關(guān)系為

式中：（pixpix）為空間特征點(diǎn)在pix中的投影坐標(biāo)；（imgimg）為點(diǎn)在img中的坐標(biāo)；（）為img在pix中的坐標(biāo)。

由小孔成像的相似關(guān)系得img到c轉(zhuǎn)換關(guān)系為

式中：為相機(jī)焦距；dd分別為像素點(diǎn)的物理寬與高；（c,c,c）為點(diǎn)在c中的坐標(biāo)；為內(nèi)參矩陣，反映相機(jī)物理結(jié)構(gòu)。

相應(yīng)有表征pad到c變換的外參矩陣，為

式中：為pad到c的旋轉(zhuǎn)矩陣；為平移向量。

點(diǎn)在c中坐標(biāo)為

式中pad為點(diǎn)在pad的坐標(biāo)。

將合作目標(biāo)中心固連至pad，pad在c中的坐標(biāo)即為，求取即可得。

點(diǎn)在pad中的位置可通過測(cè)量得出，若檢測(cè)出若干個(gè)特征點(diǎn)在pix中的投影點(diǎn)坐標(biāo)，則的求取可轉(zhuǎn)換為一個(gè)PP問題。文獻(xiàn)[12]用高效PP（efficient perspective ofpoints，EPP）法[19]解算固定翼飛機(jī)的相對(duì)姿態(tài)，該算法復(fù)雜度為O()，速度很快，但實(shí)際使用中大傾角時(shí)重投影誤差大，如圖15所示，只用EPP解算效果不佳，通常須以此結(jié)果為初值進(jìn)行迭代優(yōu)化。本文使用最小化重投影法。

圖15 EPnP法重投影誤差

將式（3）改寫為

式中：pix為（pixpix,1）；pad為齊次向量（padpadpad1）；pad取前三維以維持維度相等；上標(biāo)為個(gè)特征點(diǎn)對(duì)各自的編號(hào)，本文中為4，即2.1節(jié)中每個(gè)階段的4個(gè)特征點(diǎn)。

由于外參存在誤差，定義各特征點(diǎn)的重投影為

式中為重投影誤差。

為構(gòu)建最小二乘為

式中*為外參矩陣的最優(yōu)解。

根據(jù)旋轉(zhuǎn)矩陣性質(zhì)，屬于特殊正交群SO（3），進(jìn)而外參矩陣屬于特殊歐式群SE（3），引入李代數(shù)將式（8）轉(zhuǎn)化為無約束優(yōu)化問題為

式中為李代數(shù)。李群可由的指數(shù)映射得到。

式（9）可由列文伯格-馬夸爾特法（Levenberg-Marquardt，L-M）[20]解出最優(yōu)外參矩陣，步驟如下。

為簡(jiǎn)化表述，以下以()代指原非線性優(yōu)化函數(shù)。以EPP[17]的解作為初值0，構(gòu)造第次迭代時(shí)x處的拉格朗日函數(shù)為

式中：(x)為()在x處的一階導(dǎo)數(shù)；Δx為增量；為拉格朗日乘子；為信賴域半徑；為系數(shù)矩陣，可令為單位陣。

對(duì)式（10）求導(dǎo)，并令導(dǎo)數(shù)為0，有

式中(x)為()在x處的二階導(dǎo)數(shù)。

解式（11）的增量方程，定義信賴域指標(biāo)

當(dāng)ρ>0.75，μ增大一倍，ρ<0.25，μ縮小一倍；ρ為正則將Δxk加至xk，ρ為負(fù)則不疊加增量。然后進(jìn)行k+1次迭代，直到Δxk小于閾值后結(jié)束迭代，認(rèn)為此時(shí)的xk即為最優(yōu)解。由此得到最優(yōu)外參矩陣T*，進(jìn)而有合作目標(biāo)中心在Cc中最優(yōu)平移向量t*，即Opad在Cc中的最優(yōu)坐標(biāo)。此時(shí)重投影誤差如圖16所示，對(duì)比圖15，誤差大幅減小。

c到b的旋轉(zhuǎn)矩陣cb為

式中：（bbb）為c在b中的姿態(tài)角（云臺(tái)舵機(jī)角度）；S表示sin，C表示cos。

c到b轉(zhuǎn)換關(guān)系為

式中：（bbb）為點(diǎn)在b中的位置；bc為c在b中的位置，若保證c處于相機(jī)云臺(tái)的轉(zhuǎn)動(dòng)軸軸線上，則bc可通過測(cè)量得到。

b到b-i的旋轉(zhuǎn)矩陣bb-i為

b和b-i為同一空間點(diǎn)，b到b-i的轉(zhuǎn)換關(guān)系為

式中b-i（b-ib-ib-i）為pad（合作目標(biāo)中心）在b-i中的位置。

w僅作參考坐標(biāo)系，為b-i提供坐標(biāo)軸參考方向，以及實(shí)驗(yàn)中記錄全局位置數(shù)據(jù)，為適應(yīng)全局定位系統(tǒng)拒止的場(chǎng)景，實(shí)際僅解算無人機(jī)在pad的位置（是b-i的逆向反映），不涉及w與其他坐標(biāo)系轉(zhuǎn)換。

3 無人機(jī)追蹤與降落控制律

如圖17所示，引入pad中平面內(nèi)的位置環(huán)比例微分積分（proportion integration differentiation，PID）控制，目標(biāo)位置為pad，控制無人機(jī)軸速度，引導(dǎo)其追蹤接近降落平臺(tái)。

圖17 控制律

當(dāng)平面無人機(jī)到合作目標(biāo)的相對(duì)距離小于0.2 m時(shí)開始勻速降落，直至pad中無人機(jī)相對(duì)高度小于0.01 m，即認(rèn)為完成降落，電機(jī)停轉(zhuǎn)上鎖。

4 實(shí)驗(yàn)與結(jié)果分析

本文所用得硬件平臺(tái)構(gòu)成如表4所示，實(shí)物如圖18所示。

表4 硬件平臺(tái)構(gòu)成

圖18 硬件平臺(tái)

4.1 一階段三維合作目標(biāo)

4.1.1 目標(biāo)檢測(cè)耗時(shí)與成功率

在機(jī)載電腦上對(duì)圖2的測(cè)試視頻（采集于模型訓(xùn)練完成后）進(jìn)行實(shí)驗(yàn)，共1000幀，如圖19所示，圖19（a）中縱坐標(biāo)o表示目標(biāo)檢測(cè)的用時(shí)。預(yù)處理加后處理平均幀率達(dá)39。

圖19 目標(biāo)檢測(cè)實(shí)驗(yàn)

有若干次紅球漏檢，是因?yàn)榇藭r(shí)降落平臺(tái)到達(dá)相機(jī)視場(chǎng)邊界，前方標(biāo)志球部分超出視野，故在該模型對(duì)視野范圍內(nèi)每幀的動(dòng)態(tài)目標(biāo)均能成功檢測(cè)。

4.1.2 邊界框中心與精確圓心定位效果對(duì)比

沿用圖2（a）的測(cè)試條件，令降落平臺(tái)在3 m外循橢圓軌跡線運(yùn)動(dòng)，采集測(cè)試視頻，分別進(jìn)行邊界框中心法定位與增加精確圓心檢測(cè)后的定位，如圖20所示。用邊界框中心進(jìn)行定位時(shí)，端點(diǎn)附近（取|| > 225 cm）定位MAE為3.62 cm；檢測(cè)精確圓心后定位誤差降低，MAE為1.41 cm，降低了256%。增加精確圓心檢測(cè)后可有效提高遠(yuǎn)距離定位精度。

圖20 邊界框中心法與增加精確圓心法的定位效果

4.1.3 一階段三維球定位拉距實(shí)驗(yàn)與精度實(shí)驗(yàn)

沿用圖2的測(cè)試條件與視頻，做2.37～7 m的拉距與精度實(shí)驗(yàn)，以0.5 m為分度，在每個(gè)分度處錄制視頻進(jìn)行檢測(cè)與定位，結(jié)果如圖21所示。對(duì)比圖2（c），三維球定位法在二維碼檢測(cè)定位失效的距離上仍可檢測(cè)合作目標(biāo)并進(jìn)行有效定位，1.5 m高度定位距離是二維碼法的2.54倍。

圖21 一階段定位拉距實(shí)驗(yàn)

圖21中，各分度處MAE如表5所示?？梢?，本文一階段定位法的定位誤差在適用距離內(nèi)隨距離增加而增大，但平均誤差為0.05 m，足以滿足精確定位并追蹤的需求。

表5 各距離定位誤差 cm

4.2 二階段二維碼

4.2.1 二階段檢測(cè)耗時(shí)

沿用圖2對(duì)應(yīng)的測(cè)試視頻，取前300幀進(jìn)行檢測(cè)，如圖22所示，圖中縱坐標(biāo)a表示二維碼檢測(cè)及定位的用時(shí)。在機(jī)載電腦上檢測(cè)二維碼并解算位姿得到定位信息的平均幀率達(dá)63，可為末端降落提供超實(shí)時(shí)的位姿，滿足動(dòng)態(tài)降落的需求。

圖22 二維碼定位耗時(shí)

4.2.2 二階段落點(diǎn)精度實(shí)驗(yàn)

無人機(jī)1 m高度懸停，接到降落指令后按第3節(jié)的控制算法進(jìn)行降落，機(jī)載T265視覺定位模塊記錄Cw中無人機(jī)位置如圖23所示，圖中s表示過程時(shí)間。過程如圖24所示。據(jù)圖23中與的位置，17.9 s時(shí)從1 m高處降落，18.3 s時(shí)降落平臺(tái)前進(jìn)，19.8 s起高度不再降低而增加，即降落至平臺(tái)上由平臺(tái)搭載前進(jìn)，故無人機(jī)在1.9 s內(nèi)降落到直線速度0.53 m/s的移動(dòng)平臺(tái)上，記錄此時(shí)機(jī)體中心在降落平臺(tái)的投影點(diǎn)為落點(diǎn)位置。在此基礎(chǔ)上進(jìn)行10次重復(fù)實(shí)驗(yàn)落點(diǎn)誤差如表6所示，平均誤差為2.55 cm，落點(diǎn)精度很高。

圖23 二階段降落實(shí)驗(yàn)數(shù)據(jù)

圖24 二階段降落實(shí)驗(yàn)過程

表6 降落位置誤差表

4.3 2個(gè)階段聯(lián)合實(shí)驗(yàn)

最后引入一階段遠(yuǎn)距離追蹤進(jìn)行聯(lián)合實(shí)驗(yàn)：將降落平臺(tái)超前無人機(jī)7 m，引入一階段遠(yuǎn)距離追蹤；無人機(jī)起飛至1.5 m高度時(shí)開始追蹤，然后控制降落平臺(tái)前進(jìn)，最終無人機(jī)在動(dòng)平臺(tái)上降落。無人機(jī)在Cw中的位置數(shù)據(jù)如圖25所示，過程如圖26所示。據(jù)圖25的數(shù)據(jù)，17.1 s時(shí)無人機(jī)開始追蹤降落平臺(tái)，以1.4 m/s快速逼近，至22.6 s時(shí)到平臺(tái)上方，減速并隨平臺(tái)前進(jìn)，同時(shí)開始降落，26.1 s時(shí)完成降落（受T265遠(yuǎn)距離定位精度影響，在較遠(yuǎn)距離處高度與真實(shí)值有偏差）。

圖26 2個(gè)階段聯(lián)合實(shí)驗(yàn)過程

4.4 性能比較

在合作目標(biāo)相關(guān)指標(biāo)上與現(xiàn)有研究進(jìn)行比較，結(jié)果如表7所示。

表7 合作目標(biāo)指標(biāo)對(duì)比

本文合作目標(biāo)尺寸最小，精度第二，檢測(cè)距離居中，在可傾斜定位的方案中檢測(cè)距離最遠(yuǎn)，在相應(yīng)指標(biāo)上取得了很好的均衡；且本文速度控制律下無人機(jī)落點(diǎn)誤差僅0.03 m。該方案可部署至小型化機(jī)場(chǎng)，為無人機(jī)提供遠(yuǎn)/近距離超實(shí)時(shí)、高精度的定位信息以自主降落，作為伴隨電站提高其自持性。

5 結(jié)束語(yǔ)

針對(duì)現(xiàn)有研究合作目標(biāo)尺寸過大的問題，本文設(shè)計(jì)了一種新型合作目標(biāo)，在普遍使用二維合作目標(biāo)的無人機(jī)自動(dòng)降落領(lǐng)域引入三維合作目標(biāo)，利用三維物體在二維平面的投影可保留更多特征信息的原理，使用小尺寸合作目標(biāo)即可獲得大尺寸合作目標(biāo)的定位精度，且引入三維合作目標(biāo)也解決了水平距離增加、合作目標(biāo)與相機(jī)相對(duì)傾斜加劇后無法檢測(cè)合作目標(biāo)的問題，并用深度學(xué)習(xí)+手工特征的方式提高了復(fù)雜環(huán)境中的球體目標(biāo)檢測(cè)成功率與特征點(diǎn)精度，用非線性優(yōu)化提升了位姿解算精度；在保證定位精度的同時(shí)降低了投影面積，并極大地提升相同高度下的水平檢測(cè)范圍，在合作目標(biāo)主要指標(biāo)上取得了較好的均衡。有望與當(dāng)前商品級(jí)無人機(jī)機(jī)場(chǎng)結(jié)合，拓展應(yīng)用場(chǎng)景。后續(xù)可進(jìn)一步在本文提出的合作目標(biāo)三維化的思路上優(yōu)化設(shè)計(jì)，選用更優(yōu)的三維結(jié)構(gòu)，提高遠(yuǎn)距離大傾斜狀況的定位精度，并進(jìn)一步降低合作目標(biāo)的尺寸。

[1] 沈林成, 孔維瑋, 牛軼峰. 無人機(jī)自主降落地基/艦基引導(dǎo)方法綜述[J]. 北京航空航天大學(xué)學(xué)報(bào), 2021, 47(2): 187-196.

[2] YANG Tao, REN Qiang, ZHANG Fangbing, et al. Hybrid camera array-based uav auto-landing on moving ugv in gps-denied environment[J]. Remote Sensing, 2018, 10(11): 1829.

[3] MONDRAGóN I F, CAMPOY P, C MARTíNEZ, et al. 3D pose estimation based on planar object tracking for UAVs control[C]// The Institute of Electrical and Electronic Engineers (IEEE). International Conference on Robotics and Automation (ICRA). Anchorage, Alaska, USA: IEEE, 2010: 35-41[2023-03-30].

[4] YUAN Haiwen, XIAO Changshi, XIU Supu, et al. A hierarchical vision-based UAV localization for an open landing[J]. Electronics, 2018, 7(5): 68.

[5] OLSON E. AprilTag: A robust and flexible visual fiducial system[C]// The Institute of Electrical and Electronic Engineers (IEEE). International Conference on Robotics and Automation (ICRA). Shanghai, China: IEEE, 2011: 3400-3407[2023-03-30].

[6] GARRIDO-JURADO S, MU?OZ-SALINAS R, MADRID-CUEVAS F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47(6): 2280-2292.

[7] ARAAR O, AOUF N, VITANOV I. Vision based autonomous landing of multirotor UAV on moving platform[J]. Journal of Intelligent & Robotic Systems, 2017, 85(2): 369-384.

[8] 陶孟衛(wèi), 姚宇威, 元海文, 等. 無人機(jī)自主降落視覺標(biāo)識(shí)設(shè)計(jì)及位姿測(cè)量方法[J]. 儀器儀表學(xué)報(bào), 2022, 43(5): 155-164.

[9] 汲振, 李建勝, 王安成, 等. 一種無人機(jī)輔助降落合作標(biāo)志與匹配算法[J]. 導(dǎo)航定位學(xué)報(bào), 2022, 10(5): 68-73.

[10] 王輝, 賈自凱, 金忍, 等. 無人機(jī)視覺引導(dǎo)對(duì)接過程中的協(xié)同目標(biāo)檢測(cè)[J]. 航空學(xué)報(bào), 2022, 43(1): 488-502.

[11] CHEN Junjie, MIAO Xiren, JIANG Hao, et al. Identification of autonomous landing sign for unmanned aerial vehicle based on faster regions with convolutional neural network[C]// Chinese Automation Congress (CAC). Jinan, China: IEEE, 2017: 2109-2114[2023-03-30].

[12] 齊樂, 袁寶璽, 郭鳳娟, 等. 固定翼無人機(jī)著陸姿態(tài)角測(cè)量算法研究[J]. 導(dǎo)航定位學(xué)報(bào), 2022, 10(4): 56-64.

[13] TRUONG N Q, LEE Y W, OWAIS M, et al. SlimDeblurGAN-Based motion deblurring and marker detection for autonomous drone landing[J]. Sensors, 2020, 20(14): 3918.

[14] KUPYN O, MARTYNIUK T, WU J, et al. Deblurgan-v2: Deblurring (orders-of-magnitude) faster and better[C]// International Conference on Computer Vision (ICCV). Seoul, Korea: IEEE/CVF, 2019: 8878-8887[2023-03-30].

[15] 劉冠楠, 于洋, 張江濤, 等. 針對(duì)無人機(jī)降落過程的復(fù)合地標(biāo)設(shè)計(jì)方法[J]. 信息技術(shù)與信息化, 2022(10): 64-67.

[16] 楊智貴, 張彥, 田朋云. 一種基于視覺的無人機(jī)自主著陸位姿估計(jì)方法研究[J]. 現(xiàn)代計(jì)算機(jī), 2019(14): 19-22.

[17] 劉彥清. 基于YOLO系列的目標(biāo)檢測(cè)改進(jìn)算法[D]. 吉林: 吉林大學(xué), 2021.

[18] RATEKE T, JUSTEN K A, VON WANGENHEIM A. Road surface classification with images captured from low-cost camera-road traversing knowledge (rtk) dataset[J]. Revista de Informática Teórica e Aplicada, 2019, 26(3): 50-64.

[19] LEPETIT V, MORENO-NOGUER F, FUA P. EPnP: An accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81(2): 155-166.

[20] LOURAKIS M I A. A brief description of the Levenberg-Marquardt algorithm implemented by levmar[J]. Foundation of Research and Technology, 2005, 4(1): 1-6.

Tracking and landing of vision-based unmanned aerial vehicles on moving vehicle

WAN Hua1, WANG Ziyi1, LI Sheng1, ZHANG Zhi’an2

（1. School of Automation, Nanjing University of Science and Technology, Nanjing 210094, China;2. School of Mechanical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China）

Aiming at the problem that the size of the cooperative target is often too large in the current schemes of the long-range purely visual-guided drone landing of unmanned aerial vehicles (UAV), the paper proposed a design thought of cooperative targets composed of three-dimensional (3D) and two-dimensional (2D) logos: 3D signs were detected through deep learning and manual features for long-distance positioning and tracking, and it was switched to detect 2D signs for landing on the target autonomously after approaching; by introducing the 3D cooperative targets, the detection distance at 1.5 m height was increased by 2.54 times, detecting tilt targets at a large angle was carried out, and the target size was significantly reduced, without decreasing the positioning accuracy. Experimental result showed that the average long-range positioning error would be 0.05 m, and the average landing error on a moving platform in the short range would be 0.03 m, indicating that the small-size cooperative target could have high visual positioning accuracy and landing accuracy, thus making it possible to track and land on the moving ultra small-sized platforms accurately.

unmanned aerial vehicle (UAV); cooperative target; visual; tracking; landing

萬鏵, 王梓屹, 李勝, 等. 無人機(jī)基于視覺引導(dǎo)的移動(dòng)平臺(tái)追蹤與降落[J]. 導(dǎo)航定位學(xué)報(bào), 2023, 11(6): 129-141.（WAN Hua, WANG Ziyi, LI Sheng, et al. Tracking and landing of vision-based unmanned aerial vehicles on moving vehicle[J]. Journal of Navigation and Positioning, 2023, 11(6): 129-141.）DOI:10.16547/j.cnki.10-1096.20230616.

P228

A

2095-4999(2023)06-0129-13

2023-03-14

萬鏵（1997—），男，江蘇常州人，碩士研究生，研究方向?yàn)橐曈X導(dǎo)航、無人機(jī)控制。

李勝（1976—），男，江蘇徐州人，碩士生導(dǎo)師，副教授，研究方向?yàn)榉蔷€性系統(tǒng)控制、機(jī)器人控制等。