王鋮 張真睿 方超 王琳娜 張寶昌

摘 要：目前，對(duì)于如何實(shí)現(xiàn)無(wú)人集群在無(wú)網(wǎng)絡(luò)、無(wú)GPS環(huán)境中的自主導(dǎo)航研究較少。因此，針對(duì)這種特殊的應(yīng)用場(chǎng)景，基于機(jī)器視覺(jué)相關(guān)算法，本文創(chuàng)新性地提出了一套采用集中式編隊(duì)方式的地空協(xié)同控制系統(tǒng)。該系統(tǒng)由空中偵察機(jī)、空中跟隨機(jī)、地面?zhèn)刹燔嚭偷孛娓S車組成?？罩袀刹鞕C(jī)采用VINS-MONO技術(shù)進(jìn)行導(dǎo)航，提供位置基準(zhǔn);同時(shí)利用CVM-Net技術(shù)將空中偵察機(jī)與地面?zhèn)刹燔嚨呐臄z圖像匹配，得到二者相對(duì)位置，用于引導(dǎo)地面跟隨車和空中跟隨機(jī)。該系統(tǒng)采用YOLO-LITE檢測(cè)算法，可實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè);采用華為“麒麟970”智能芯片作為核心硬件，實(shí)現(xiàn)信息的實(shí)時(shí)無(wú)回傳處理。利用該系統(tǒng)，地面與空中無(wú)人集群可在無(wú)網(wǎng)絡(luò)、無(wú)GPS的環(huán)境進(jìn)行自主導(dǎo)航定位與協(xié)同控制，在緊急搜救和軍事偵察等領(lǐng)域具有廣闊的應(yīng)用前景。

關(guān)鍵詞：無(wú)人集群系統(tǒng);協(xié)同控制;AI芯片;GPS拒止環(huán)境;跨視角圖像匹配;導(dǎo)航

中圖分類號(hào)：TJ765; V249.32+9

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1673-5048（2020）06-0067-07

0 引? 言

近年來(lái)，無(wú)人協(xié)同系統(tǒng)作為未來(lái)戰(zhàn)爭(zhēng)模式和智慧城市的發(fā)展方向，在軍事、物流、緊急救援等領(lǐng)域得到了飛速發(fā)展。面對(duì)城市巷戰(zhàn)、復(fù)雜區(qū)域反恐、偏遠(yuǎn)災(zāi)區(qū)救援等特殊任務(wù)場(chǎng)景，傳統(tǒng)的地面設(shè)備由于視線限制難以直接搜尋到目標(biāo)，而無(wú)人機(jī)航拍圖像尺度大、視角廣，可快速搜尋目標(biāo)，并為地面設(shè)備提供位置信息，進(jìn)行空中輔助導(dǎo)航。由此可見(jiàn)，多無(wú)人機(jī)與多無(wú)人車組成的地空無(wú)人集群系統(tǒng)具有重要的應(yīng)用價(jià)值[1]。

協(xié)同系統(tǒng)的基礎(chǔ)和關(guān)鍵是協(xié)同導(dǎo)航技術(shù)[2]。目前，協(xié)同導(dǎo)航大多采用捷聯(lián)慣導(dǎo)系統(tǒng)，全球衛(wèi)星導(dǎo)航系統(tǒng)（GPS）以及雷達(dá)、視覺(jué)/圖像等技術(shù)，利用多傳感器信息實(shí)現(xiàn)導(dǎo)航定位[2]。其中，GPS為室外無(wú)人機(jī)最常用的定位方式[3]。然而在城市建筑群、偏遠(yuǎn)山區(qū)和戰(zhàn)場(chǎng)復(fù)雜電磁環(huán)境下，GPS信號(hào)受到障礙物遮擋或者電磁干擾，無(wú)法提供持續(xù)準(zhǔn)確的定位信息。因此，如何在GPS拒止環(huán)境下實(shí)現(xiàn)無(wú)人集群的自主定位導(dǎo)航具有重要的研究?jī)r(jià)值[4]。

基于機(jī)器視覺(jué)的多傳感器融合算法不受GPS信號(hào)限制，抗干擾能力強(qiáng)，在GPS拒止環(huán)境下具有獨(dú)特優(yōu)勢(shì)。

另一方面，在通訊信號(hào)不良、實(shí)時(shí)性要求高的條件下，無(wú)人集群系統(tǒng)需要自主無(wú)回傳地處理信息。其中包含大量的序列圖像，這對(duì)于基于嵌入式系統(tǒng)的無(wú)人機(jī)、無(wú)人車而言，挑戰(zhàn)巨大。

為了解決這一難題，國(guó)內(nèi)中星微、寒武紀(jì)、華為等企業(yè)發(fā)展了搭載嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）的人工智能芯片。2016年6月，中星微電子公司發(fā)布了中國(guó)首款嵌入式神經(jīng)網(wǎng)絡(luò)處理器芯片——“星光智能一號(hào)”。2017年，華為海思發(fā)布了全球首款內(nèi)置獨(dú)立NPU的智能手機(jī)芯片——“麒麟970”。NPU芯片具有小型化、低功耗、低成本的優(yōu)勢(shì)，極大促進(jìn)了人工智能技術(shù)在嵌入式平臺(tái)的應(yīng)用。將人工智能芯片應(yīng)用于無(wú)人集群系統(tǒng)，使其無(wú)需將數(shù)據(jù)實(shí)時(shí)回傳至服務(wù)器，而僅依靠芯片自身便可進(jìn)行相應(yīng)算法，大大提高了系統(tǒng)的自主性和智能化水平。

根據(jù)上述討論，針對(duì)無(wú)網(wǎng)絡(luò)、無(wú)GPS的復(fù)雜惡劣環(huán)境，本文創(chuàng)新性地提出了一套利用機(jī)器視覺(jué)相關(guān)算法和智能芯片，采用集中式編隊(duì)方式的地空協(xié)同控制系統(tǒng)。該

系統(tǒng)可極大減少對(duì)于GPS和終端服務(wù)器的依賴，可充分體現(xiàn)智能硬件系統(tǒng)的自主性。

1 視覺(jué)導(dǎo)航技術(shù)

1.1 VINS-MONO算法

在無(wú)GPS信號(hào)的環(huán)境中，無(wú)人機(jī)需要進(jìn)行自主導(dǎo)航。而常用的自主導(dǎo)航技術(shù)如慣性導(dǎo)航、視覺(jué)導(dǎo)航等都有著明顯的缺陷。慣性導(dǎo)航存在積累誤差，而視覺(jué)導(dǎo)航常由于照明變化、區(qū)域紋理缺失或運(yùn)動(dòng)模糊導(dǎo)致視覺(jué)軌跡缺失[4]。

2018年，Qin [4] 等人提出了一種多功能單目視覺(jué)慣性狀態(tài)估計(jì)算法——VINS-MONO。該算法使用一個(gè)單目攝像頭和一個(gè)低成本慣性測(cè)量單元（IMU）構(gòu)成一個(gè)單目視覺(jué)慣性系統(tǒng)。采用低成本的單目攝像頭和IMU單元，適合于無(wú)人機(jī)平臺(tái)的自主導(dǎo)航定位。本系統(tǒng)將利用該技術(shù)進(jìn)行無(wú)人機(jī)的自主導(dǎo)航。

VINS-MONO算法的核心是一個(gè)魯棒的基于緊耦合滑動(dòng)窗非線性優(yōu)化的單目視覺(jué)慣性里程計(jì)（VIO）。單目VIO模塊不僅提供精確的局部姿態(tài)、速度和方位估計(jì)，而且還以在線方式執(zhí)行攝像機(jī)IMU外部校準(zhǔn)和IMU偏置校正，再使用DBoW進(jìn)行回環(huán)檢測(cè)。重定位是在對(duì)單目VIO進(jìn)行特征級(jí)別融合的緊耦合設(shè)置中完成。這使得重定位具有魯棒性和精確性，且有最小的計(jì)算開銷。最后幾何驗(yàn)證回路被添加到姿態(tài)圖中，可觀察滾轉(zhuǎn)和俯仰角，生成四自由度（DOF）姿態(tài)圖以確保全局一致性。

1.2 CVM-Net算法

無(wú)人機(jī)航拍圖像和地面圖像視角跨度大，匹配難度高，基于SIFT[5]和SURF[6]特征的傳統(tǒng)方法在這種情況下效果不佳。2018年，Hu[7]等人基于卷積神經(jīng)網(wǎng)絡(luò)提出了CVM-Net算法，在跨視角地空?qǐng)D像匹配上表現(xiàn)出了優(yōu)越的性能。本系統(tǒng)將采用CVM-Net技術(shù)，用于地面設(shè)備的定位。

基于跨視圖圖像的地空地理定位的CVM-Net算法是將NetVLAD層與孿生網(wǎng)路相結(jié)合，進(jìn)行匹配任務(wù)的度量學(xué)習(xí)。首先使用全卷積層提取局部圖像特征，然后使用強(qiáng)大的NetVLAD將這些特征編碼到全局圖像描述符中[7]。作為訓(xùn)練過(guò)程的一部分，引入一個(gè)簡(jiǎn)單而有效的加權(quán)軟邊緣排序損失函數(shù)，不僅加快了訓(xùn)練的收斂速度，而且提高了最終的匹配精度。文獻(xiàn)[7]表明，網(wǎng)絡(luò)在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上顯著優(yōu)于最先進(jìn)的方法。

用全卷積網(wǎng)絡(luò)（FCN）分別提取圖像的局部特征向量。對(duì)于航拍圖像Is，局部特征向量由

us=f L（Is; θLs）給出，其中θLs是航拍圖像分支的FCN參數(shù)。對(duì)于地面圖像Ig，局部特征向量由ug=f L（Ig; θLg）給出，其中θLg是航拍圖像分支的FCN參數(shù)。

將FCN中得到的局部特征向量放入NetVLAD 層以獲取全局描述符。結(jié)合孿生網(wǎng)絡(luò)框架，使用兩個(gè)獨(dú)立的NetVLAD層分別從地面圖像和航拍圖像的局部特征中得到全局描述符。每一個(gè)NetVLAD層都會(huì)產(chǎn)生一個(gè)VLAD向量，又因?yàn)檫@兩個(gè)向量是在同一空間，所以可以直接用來(lái)進(jìn)行相似性比較。兩個(gè)NetVLAD層有著相同的結(jié)構(gòu)但參數(shù)不同。最后，來(lái)自兩個(gè)視圖的全局描述符的維度通過(guò)一個(gè)全連接層降低。

同時(shí)，采用CVM-Net-1和CVM-Net-2兩種策略。CVM-Net-1通過(guò)兩個(gè)對(duì)齊（沒(méi)有權(quán)值共享）的NetVLAD層組成的深層網(wǎng)絡(luò)，將來(lái)自不同視圖的本地特征匯集到一個(gè)公共空間。CVM-Net-2具有兩個(gè)權(quán)值共享的NetVLAD深度網(wǎng)絡(luò)，將本地特征轉(zhuǎn)換為公共空間，然后聚合來(lái)獲得全局描述符。

訓(xùn)練完成后，每個(gè)航拍圖像的形心都被唯一的一個(gè)地面圖像的形心聯(lián)系起來(lái)。由于每個(gè)視角圖片的殘差都只是關(guān)聯(lián)到形心，每個(gè)殘差對(duì)自己視角都是獨(dú)立的，可與另一個(gè)視角相比較。

1.3 YOLO-LITE算法

2015年，Redmon J提出了YOLO檢測(cè)算法[8-10]。作為一種輕量級(jí)目標(biāo)檢測(cè)算法，相比于傳統(tǒng)方法，YOLO在保持較高準(zhǔn)確度的前提下，實(shí)現(xiàn)了檢測(cè)速度成倍的提高，可用于嵌入式系統(tǒng)的實(shí)時(shí)檢測(cè)[11]。

為進(jìn)一步提高YOLO算法的實(shí)時(shí)性，本文采用一種實(shí)時(shí)性的YOLO改進(jìn)版本——YOLO-LITE[12]。相較于YOLO之前的版本，該算法的檢測(cè)速度更快，且在無(wú)GPU的設(shè)備上也能很好運(yùn)行，滿足系統(tǒng)對(duì)于實(shí)時(shí)檢測(cè)的要求。

在YOLO-LITE結(jié)構(gòu)中，將原本的輸入尺寸416×416替換為224×224，同時(shí)簡(jiǎn)化YOLO結(jié)構(gòu)，使用更少的層數(shù)以及更淺的網(wǎng)絡(luò)，極大減少weight數(shù)量[13]。此外，在模型網(wǎng)絡(luò)層數(shù)很淺的情況下，BN層不能大幅度提升算法性能，卻會(huì)增加計(jì)算開銷。因此，為了保證算法的實(shí)時(shí)性，YOLO-LITE完全去除了BN層，并用剪枝算法進(jìn)一步壓縮模型[14]。

2 基于機(jī)器視覺(jué)的地空協(xié)同控制系統(tǒng)

標(biāo)準(zhǔn)的人工蜂群算法（ABC算法）[15]通過(guò)模擬實(shí)際蜜蜂的采蜜機(jī)制，將人工蜂群分為采蜜蜂、觀察蜂和偵察蜂[16]。依據(jù)蜂群理論，本文應(yīng)用計(jì)算機(jī)視覺(jué)相關(guān)算法具體模擬實(shí)現(xiàn)蜂群算法中各個(gè)蜜蜂的協(xié)調(diào)功能與通信功能。對(duì)于觀察蜂，用地面主機(jī)模擬控制;對(duì)于偵察蜂，設(shè)計(jì)空中偵察機(jī)和地面?zhèn)刹燔噥?lái)實(shí)現(xiàn);對(duì)于采蜜蜂，采用空中跟隨機(jī)和地面跟隨車，其整體框架如圖1所示?？罩袀刹鞕C(jī)和地面?zhèn)刹燔嚪謩e隨機(jī)尋找目標(biāo)，互相配合實(shí)現(xiàn)無(wú)GPS定位和路徑構(gòu)建，記錄具體目標(biāo)的位置，以指令形式發(fā)送至若干空中和地面跟隨機(jī)/車，地面跟隨車通過(guò)目標(biāo)識(shí)別和偵察機(jī)的指令相繼發(fā)現(xiàn)目標(biāo)，并將目標(biāo)信息反饋回地面主機(jī)。地面主機(jī)分析數(shù)據(jù)后，規(guī)劃調(diào)度信息。

2.1 VINS-MONO算法與蜂群算法

為使空中偵察機(jī)能夠在無(wú)網(wǎng)絡(luò)的情況下實(shí)時(shí)記錄周邊環(huán)境和所經(jīng)路線，本系統(tǒng)使用了單目視覺(jué)慣性VINS-MONO算法?？罩袀刹鞕C(jī)通過(guò)AI芯片強(qiáng)大的端測(cè)計(jì)算能力，將攝像頭獲得的數(shù)據(jù)進(jìn)行處理并規(guī)劃路徑，通過(guò)控制芯片與跟隨機(jī)通信，發(fā)送指令信息，使其向目標(biāo)方向移動(dòng)。

將VINS-MONO算法封裝成庫(kù)函數(shù)，主要完成路徑記錄和相對(duì)位置信息返回。

首先，AI芯片通過(guò)連接集成慣性導(dǎo)航的單目攝像頭實(shí)時(shí)錄制畫面。設(shè)定偵察機(jī)開始運(yùn)動(dòng)的原點(diǎn)位置，并設(shè)定偵察路線。此時(shí)由于外界原因，偵察機(jī)并不能完全按照設(shè)定路線運(yùn)行，因此不能以設(shè)定路線作為相對(duì)位置的依據(jù)。接著，創(chuàng)建一個(gè)進(jìn)程運(yùn)行VINS-MONO，將實(shí)時(shí)相對(duì)位置信息保存在json文件中，記錄該時(shí)刻與原點(diǎn)位置的相對(duì)位置信息和相對(duì)運(yùn)行時(shí)間。

另外，相對(duì)位置返回功能函數(shù)主要用于返回當(dāng)前時(shí)刻相對(duì)位置以及與地面正視圖相匹配的空中俯視圖。

2.2 YOLO-LITE算法與蜂群算法

將YOLO-LITE算法移植到AI芯片中，用于偵察機(jī)/車和跟隨機(jī)/車的目標(biāo)識(shí)別。偵察機(jī)/車在隨機(jī)向四處尋找目標(biāo)的過(guò)程中，通過(guò)YOLO-LITE算法識(shí)別目標(biāo);而擁有AI芯片的跟隨機(jī)/車，則通過(guò)該算法識(shí)別偵察機(jī)/車和其他跟隨機(jī)/車，如圖2所示。

對(duì)YOLO-LITE算法進(jìn)行封裝，主要分為兩部分功能。一是偵察機(jī)尋找目標(biāo)，輸入?yún)?shù)主要是目標(biāo)物的關(guān)鍵值，返回值為有無(wú)目標(biāo)存在。當(dāng)有目標(biāo)存在時(shí)觸發(fā)中斷進(jìn)行拍攝。二是跟隨機(jī)/車追隨目標(biāo)，即用于尋找目標(biāo)的偵察機(jī)/車本身也是跟隨機(jī)/車的目標(biāo)，輸入?yún)?shù)主要為目標(biāo)框面積占視區(qū)比例，以此與偵察機(jī)/車保持距離。

跟隨機(jī)/車通過(guò)攝像頭對(duì)尋找的目標(biāo)進(jìn)行搜索，獲得采樣信息。若當(dāng)前幀中存在目標(biāo)時(shí)，會(huì)在圖片中標(biāo)注一個(gè)方框，并記錄方框的大小及位置，接著應(yīng)用PID控制實(shí)現(xiàn)跟隨機(jī)/車對(duì)目標(biāo)的追蹤。

跟隨機(jī)/車的控制主要包括運(yùn)動(dòng)方向和跟隨間距的調(diào)節(jié)[17]。調(diào)節(jié)運(yùn)動(dòng)方向時(shí)，在序列圖像的中心區(qū)域限定一定范圍，如圖3所示。當(dāng)偵察機(jī)/車位于該限定區(qū)域內(nèi)，則認(rèn)為跟隨機(jī)/車處于合理位置，無(wú)需調(diào)整位姿;而當(dāng)其位于限定區(qū)域外時(shí)，則判斷跟隨機(jī)/車偏離合理區(qū)域，需要進(jìn)行位姿矯正，并根據(jù)超出限定區(qū)域的方位進(jìn)行運(yùn)行方向的判斷。當(dāng)偵察機(jī)/車重新回到限定區(qū)域時(shí)，即停止運(yùn)動(dòng)。根據(jù)序列圖像中目標(biāo)檢測(cè)框面積占視區(qū)比例判斷跟隨距離。當(dāng)檢測(cè)框尺寸變小，說(shuō)明跟隨距離變大，則增大跟蹤速度;當(dāng)檢測(cè)框尺寸變大，說(shuō)明跟隨距離變小，則減小跟蹤速度，使跟隨距離始終在一定范圍內(nèi)[17]。算法控制流程圖如圖4所示。

2.3 CVM-Net算法與蜂群算法

為了在無(wú)GPS情況下，空中偵察機(jī)與地面?zhèn)刹燔嚹軌騾f(xié)同定位目標(biāo)的精確位置，本文采用CVM-Net算法。地面?zhèn)刹燔嚭涂罩袀刹鞕C(jī)隨機(jī)向各個(gè)方向?qū)ふ夷繕?biāo)，若地面?zhèn)刹燔嚢l(fā)現(xiàn)目標(biāo)，則發(fā)送其拍攝的正視圖至空中偵察機(jī)。偵察機(jī)飛行的同時(shí)，記錄地面俯視圖，當(dāng)收到地面?zhèn)刹燔嚢l(fā)送的正視圖后，應(yīng)用移植了CVM-Net算法的AI芯片進(jìn)行位置匹配，從而定位目標(biāo)位置。同時(shí)利用VINS-MONO算法規(guī)劃出起始點(diǎn)到目標(biāo)位置的路徑，并生成指令發(fā)送至其他跟隨機(jī)，如圖5（a）所示。

參考文獻(xiàn)：

[1] 謝啟龍，宋龍，魯浩，等.協(xié)同導(dǎo)航技術(shù)研究綜述[J].航空兵器，2019，26（4）： 23-30.

Xie Qilong，Song Long，Lu Hao，et al. Review of Collaborative Navigation Technology[J]. Aero Weaponry，2019，26 （4）：23-30. （in Chinese）

[2] 周思全，化永朝，董希旺，等.面向空地協(xié)同作戰(zhàn)的無(wú)人機(jī)-無(wú)人車異構(gòu)時(shí)變編隊(duì)跟蹤控制[J].航空兵器，2019，26（4）： 54-59.

Zhou Siquan，Hua Yongzhao，Dong Xiwang，et al.Air-Ground Time Varying Formation Tracking Control for Heterogeneous UAV-UGV Swarm System[J].Aero Weaponry，2019，26 （4）：54-59. （in Chinese）

[3] 唐鄧清.無(wú)GPS依賴的無(wú)人機(jī)定位方法及ROS實(shí)現(xiàn)研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2015.

Tang Dengqing.GPS Free Localization and Implementation in Robot Operating System for Unmanned Aerial Vehicles[D].Changsha：National University of Defense Technology，2015.（in Chinese）

[4] Qin T，Li P L，Shen S J. VINS-Mono：A Robust and Versatile Monocular Visual-Inertial State Estimator[J]. IEEE Transactions on Robotics，2018，34（4）： 1004-1020.

[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[6] Bay H，Tuytelaars T，Van Gool L. SURF：Speeded up Robust Features[C]∥European Conference on Computer Vision，2006：404-417.

[7] Hu S X，Lee G H. Image-Based Geo-Localization Using Satellite Imagery[J]. International Journal of Computer Vision，2020，128（5）： 1205-1219.

[8] Redmon J，Divvala S，Girshick R，et al. You Only Look Once：Unified，Real-Time Object Detection[C]∥ Conference on Computer Vision and Pattern Recognition，2016：779-788.

[9] Redmon J，F(xiàn)arhadi A . YOLO9000：Better，F(xiàn)aster，Stronger[C]∥IEEE Conference on Computer Vision and Pattern Recognition，2017： 6517-6525.

[10] Redmon J，F(xiàn)arhadi A . YOLOv3：An Incremental Improvement[EB/OL].（2018-04-08）[2019-12-17]. https：∥arxiv.org/pdf/1804.02762.pdf.

[11] Wang X D，Zhang B C，Li C，et al. Modulated Convolutional Networks[C]∥ Conference on Computer Vision and Pattern Recog-nition，2018： 840-848.

[12] Pedoeem J，Huang R. YOLO-LITE：A Real-Time Object Detection Algorithm Optimized for Non-GPU Computers[EB/OL]. （2018-11-14）[2019-12-17].https： ∥arxiv.org/pdf/1811.05588.

[13] Gu J X，Li C，Zhang B C，et al. Projection Convolutional Neural Networks for 1-bit CNNs via Discrete Back Propagation[C]∥Conference on Artificial Intelligence，2019：8344-8351.

[14] Zhou L A，Zhang B C，Chen C，et al. Calibration Stochastic Gradient Descent for Convolutional Neural Networks[C]∥Proceedings of the AAAI Conference on Artificial Intelligence，2019： 9348-9355.

[15] Karaboga D. An Idea Based on Honey Bee Swarm for Numerical Optimization[D]. Kayseri： Erciyes University，2005.

[16] Karaboga D，Gorkemli B，Ozturk C，et al. A Comprehensive Survey：Artificial Bee Colony （ABC） Algorithm and Applications[J]. Artificial Intelligence Review，2014，42（1）： 21-57.

[17] 朱晨陽(yáng)，馮虎田，歐屹. 基于YOLO3的人臉自動(dòng)跟蹤攝像機(jī)器人系統(tǒng)研究[J]. 電視技術(shù)，2018，42（9）： 57-62.

Zhu Chenyang，F(xiàn)eng Hutian，Ou Yi.YOLO3 Based Face Tracking Camera Robot System[J]. Video Engineering，2018，42（9）：57-62.（in Chinese）

Implementation of Collaborative Control

Based on AI Chips and Machine Vision

Wang Cheng1，2，Zhang Zhenrui1，F(xiàn)ang Chao1，Wang Linna3，Zhang Baochang1，2*

（1. School of Automation Science and Electrical Engineering，Beihang University，Beijing 100191，China;

2. Shenzhen Academy of Aerospace Technology，Shenzhen 518057，China;

3.China Academy of Launch Vehicle Technology，

Beijing 100191，China）

Abstract： Currently，there are few studies on how to realize autonomous navigation ofunmanned cluster system in a networkless and GPS-free environment. For this special application scenario，this paper innovatively proposes a ground-air cooperative control system using a centralized formation approach based on machine vision.The system consists of air reconnaissance aircrafts，air-following aircrafts，ground reconnaissance vehicles and ground-following vehicles. The air reconnaissance aircrafts use VINS-MONO to navigate and provide a position reference. At the same time，the CVM-Net is used to match captured images of air reconnaissance aircrafts and ground reconnaissance vehicles to obtain the relative position ofthem，which is used to guide the ground-following vehiclesand air reconnaissance vehicles，and YOLO-LITE detection algorithm is used to realize target real-time detection. The system uses Huawei Kirin 970 as the core hardware，which can realize real-time and no-return processing of information. Through this system，the ground and air unmanned cluster can perform autonomous navigation and coordinated control in the networkless and GPS-free environment，which has broad application prospects in the fields of emergency search and rescue and military investigation.

Key words： unmanned cluster system; collaborative control;AI chip; GPS-free; cross-view image matching; navigation

收稿日期：2019-12-17

基金項(xiàng)目：深圳市科技計(jì)劃項(xiàng)目（KQTD2016112515134654）

作者簡(jiǎn)介：王鋮（1995-），男，浙江杭州人，碩士研究生，研究方向是邊緣計(jì)算、嵌入式人工智能。

通訊作者： 張寶昌（1976-），男，吉林洮南人，博士，教授，研究方向是深度學(xué)習(xí)模型壓縮、深度協(xié)同端計(jì)算。

E-mail：bczhang@buaa.edu.cn