顧兆軍，陳 輝，，王家亮，高 冰，

(1.中國民航大學(xué) 信息安全測評中心，天津 300300；2.中國民航大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300)

小型無人機(jī)是一種典型的人工智能空中機(jī)器人。其具有成本低、體積小、結(jié)構(gòu)簡單、可對目標(biāo)進(jìn)行移動監(jiān)控等特點(diǎn)，可以有效解決視覺場景“看不清”問題，所以在智慧監(jiān)控、物流、農(nóng)業(yè)植保、偵查、救援、編隊飛行[1-3]等方面都有著廣泛的應(yīng)用。最常用的小型無人機(jī)是四軸飛行器。近年來，國內(nèi)外許多高校以及研究機(jī)構(gòu)針對四軸飛行器均開展很多研究工作，如目標(biāo)跟蹤[4-8]、目標(biāo)檢測[9-10]、路徑規(guī)劃[11]、穩(wěn)態(tài)飛行控制[12]、避障[12-13]、姿態(tài)調(diào)整[14]、無人機(jī)網(wǎng)絡(luò)資源優(yōu)化[15]等方面，并且已經(jīng)取得顯著的技術(shù)成果。其中，目標(biāo)檢測與跟蹤是小型無人機(jī)的重要任務(wù)之一，為了能夠持續(xù)跟蹤目標(biāo)、獲取目標(biāo)信息，無人機(jī)執(zhí)行任務(wù)的實時性和飛行穩(wěn)定性是兩個主要指標(biāo)。

四軸飛行器的目標(biāo)檢測與跟蹤是指接收無人機(jī)傳回的圖片幀，處理后標(biāo)記出識別出的物體類別，并跟蹤選定目標(biāo)飛行。現(xiàn)有的目標(biāo)檢測算法主要包括one-stage和two-stage兩種。two-stage檢測算法一般分兩步進(jìn)行，先獲取候選區(qū)域再進(jìn)行分類，比如循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(Region-based CNN，R-CNN)[16]系列目標(biāo)檢測算法；而one-stage則一步到位，不用再單獨(dú)獲取候選區(qū)域，常見的有SSD[17]、YOLO[18]等?，F(xiàn)有的基于計算機(jī)視覺的目標(biāo)跟蹤算法一般可以分為4種：基于目標(biāo)模型建模的方法、基于搜索的方法、基于相關(guān)濾波的跟蹤算法和深度學(xué)習(xí)方法。前兩種屬于早期的目標(biāo)跟蹤算法，其沒有將背景信息考慮在內(nèi)，在目標(biāo)運(yùn)動或被遮擋后容易跟蹤失敗，而且其跟蹤算法執(zhí)行速度慢，無法滿足實時性要求。隨著深度學(xué)習(xí)的廣泛應(yīng)用，深度學(xué)習(xí)方法被應(yīng)用到目標(biāo)跟蹤中，但在目標(biāo)跟蹤過程中，正樣本只有初始幀中的目標(biāo)，即難以提供大量的高質(zhì)量數(shù)據(jù)去訓(xùn)練一個性能良好的模型，所以深度學(xué)習(xí)方法應(yīng)用在實時目標(biāo)有部分缺陷。而一些基于相關(guān)濾波的跟蹤算法，處理速度可以達(dá)到數(shù)百幀每秒，可以廣泛應(yīng)用于實時跟蹤系統(tǒng)中，如核相關(guān)濾波法(Kernel Corrolation Filter，KCF)[19]、多功能自適應(yīng)核相關(guān)濾波[20]、目標(biāo)跟蹤評估算法[21]等。

在以前的文章中，已經(jīng)探索了許多基于視覺的無人機(jī)目標(biāo)跟蹤系統(tǒng)。文獻(xiàn)[4]等提出了一種基于顏色過濾算法和形狀過濾算法的四軸飛行器目標(biāo)跟蹤控制系統(tǒng)，可以根據(jù)被跟蹤目標(biāo)的顏色和形狀特征控制飛行器執(zhí)行跟蹤任務(wù)。文獻(xiàn)[5]等提出一種基于PID和模糊控制算法結(jié)合的四軸飛行器運(yùn)動控制方法，可根據(jù)opencv識別和跟蹤目標(biāo)顏色，并在AR.Drone.2.0四軸飛行器上驗證了結(jié)果。文獻(xiàn)[6]提出了兩種基于DSST和KCF的跟蹤算法，使用無模型、比例自適應(yīng)的方式來估計與被跟蹤目標(biāo)的距離。在用于四軸飛行器跟蹤任務(wù)時，可以選擇人作為跟蹤目標(biāo)，而不再根據(jù)顏色或者形狀進(jìn)行區(qū)分。這些研究的共同點(diǎn)是，由于四軸飛行器機(jī)載的處理系統(tǒng)效率有限，他們都是接收單目攝像頭傳回的視頻流，并在地面站進(jìn)行圖像處理。其在視頻流處理過程時采用逐幀處理的方式，而在執(zhí)行跟蹤任務(wù)時，對跟蹤結(jié)果影響不大的圖片幀不必要占用處理時間，所以這種方式浪費(fèi)了大量的計算資源。故文中提出一種基于注意力模型的圖片幀預(yù)處理算法，針對單目攝像頭采集的視頻圖像信息，使用注意力模型動態(tài)地過濾到部分對跟蹤結(jié)果影響不大的部分幀，通過反饋控制及時根據(jù)誤差估計調(diào)整四軸飛行器姿態(tài)，旨在實現(xiàn)四軸飛行器高實時性目標(biāo)檢測與跟蹤。

1 四軸飛行器動力學(xué)模型

四軸飛行器機(jī)架呈交叉狀，有4個軸臂，分別安裝有4個螺旋槳和電機(jī)。從結(jié)構(gòu)上，四軸飛行器可以分為“十”形和“×”形兩種機(jī)型。從本質(zhì)上講這兩種機(jī)型無明顯區(qū)別，筆者主要針對“×”形進(jìn)行研究。

在對飛行器進(jìn)行姿態(tài)估計時，一般會用到機(jī)體坐標(biāo)系和本地坐標(biāo)系，如圖1所示。機(jī)體坐標(biāo)系原點(diǎn)在四軸飛行器重心位置，x軸為四軸飛行器前進(jìn)方向，z軸垂直x軸向下，y軸右手定則確定。本地坐標(biāo)系能夠確定無人機(jī)相對于地面的位置，是以飛行器的初始位置為原點(diǎn)，在水平面正北方向為x軸正方向，正東方向為y軸正方向，垂直地面向下為z軸正方向。規(guī)定四軸飛行器繞z、y、x軸旋轉(zhuǎn)分別得到偏航角y(ψ)、俯仰角p(θ)、滾動角r(φ)。通過機(jī)體坐標(biāo)系向本地坐標(biāo)系的坐標(biāo)變換，可以將數(shù)據(jù)運(yùn)用到各項計算，其轉(zhuǎn)換矩陣如下：

圖1 四軸飛行器坐標(biāo)系示意圖

(1)

如圖2所示，根據(jù)四軸飛行器結(jié)構(gòu)的幾何關(guān)系對螺旋槳的拉力進(jìn)行分析。設(shè)每個螺旋槳的拉力均為f，飛行器俯仰時螺旋槳拉力的變化量為Δfp，飛行器滾動時螺旋槳拉力的變化量為Δfr，飛行器偏航時螺旋槳拉力的變化量為Δfy。則可以得出每一個螺旋槳的拉力：

圖2 四軸飛行器拉力分解示意圖

(2)

(3)

(4)

(5)

四軸飛行器螺旋槳的轉(zhuǎn)速的變化可以改變螺旋槳的拉力，從而控制飛行器執(zhí)行前進(jìn)、后退、向左、向右等飛行動作。

2 基于特洛平臺的目標(biāo)檢測與跟蹤系統(tǒng)設(shè)計與實現(xiàn)

在進(jìn)行目標(biāo)檢測與跟蹤時，系統(tǒng)終端處理圖片幀的實時性和飛行器控制的穩(wěn)定性是需要重點(diǎn)考慮的兩個方面。在圖片幀預(yù)處理階段，傳統(tǒng)方法對飛行器傳回的圖片幀逐一處理，這樣在準(zhǔn)確性上確實效果較佳，但消耗大量時間。針對飛行器實時性要遠(yuǎn)大于準(zhǔn)確性的要求，文中提出一種基于注意力模型的圖片幀預(yù)處理方法，選出對目標(biāo)跟蹤處理貢獻(xiàn)度較高的部分幀，配合基于像素點(diǎn)的反饋控制算法，旨在提高飛行器目標(biāo)檢測與跟蹤系統(tǒng)的實時性和飛行器控制的穩(wěn)定性。

目標(biāo)檢測與跟蹤系統(tǒng)結(jié)構(gòu)如圖3所示，系統(tǒng)運(yùn)行流程設(shè)計如下：

圖3 系統(tǒng)結(jié)構(gòu)圖

(1)系統(tǒng)初始化。系統(tǒng)終端與四軸飛行器建立連接，并通過用戶數(shù)據(jù)報協(xié)議協(xié)議(User Datagram Protocol，UDP)控制飛行器起飛，同時系統(tǒng)終端接收實時傳回的視頻流并按視頻幀的方式讀取。

(2)計算選框位置偏差。將圖片幀送入目標(biāo)檢測與跟蹤模型，得到被跟蹤目標(biāo)選框在視頻幀中位置偏差。

(3)注意力模型。對后續(xù)幀運(yùn)用注意力模型挑選貢獻(xiàn)度較高的部分幀進(jìn)行處理。

(4)飛行器反饋控制。根據(jù)反饋控制將選框位置偏差值轉(zhuǎn)換為相應(yīng)的四軸飛行器電機(jī)轉(zhuǎn)速變化。

(5)飛行器姿態(tài)調(diào)整。將變化后的電機(jī)轉(zhuǎn)速值發(fā)送給無人機(jī)，使其及時作出姿態(tài)調(diào)整。

2.1 基于注意力模型的圖片幀處理

2.1.1 注意力模型

對四軸飛行器傳回的視頻流，如果每一幀都送入目標(biāo)檢測和跟蹤算法，則會消耗大量的資源，進(jìn)而降低四軸飛行器跟蹤的實時性。若先對圖片幀進(jìn)行判別，則選擇對跟蹤結(jié)果貢獻(xiàn)度較大，即對結(jié)果的影響較高的某些幀，這樣動態(tài)地選取部分圖片幀進(jìn)行處理，可有效縮短四軸飛行器采集圖片幀后預(yù)處理時間。

注意力模型又稱為注意力機(jī)制。在計算能力有限的情況下，注意力模型作為一種資源分配方案，將有限的計算資源用來處理更重要的信息，因此將注意力模型的思想運(yùn)用到對視頻幀的預(yù)處理中。首先，在所有的輸入信息上計算注意力分布；然后，再根據(jù)注意力分布來計算輸入信息的加權(quán)平均。注意力模型的核心在于計算注意力分布，用打分函數(shù)來計算每個輸入向量和查詢向量之間的相關(guān)性，其中查詢向量是一個和任務(wù)相關(guān)的表示。給定一個和任務(wù)相關(guān)的查詢向量q，注意力變量z∈[1，N]表示被選擇信息的索引位置，X=[x1，…，xN]∈RD×N表示N組輸入信息。則計算在給定q和X下，選擇第i個輸入向量的概率αn：

(6)

其中，αn稱為注意力分布，s(x，q)為注意力打分函數(shù)。

2.1.2 運(yùn)用注意力模型的圖片幀預(yù)處理

如圖4所示，基于注意力機(jī)制的原理，當(dāng)開始目標(biāo)跟蹤任務(wù)后，得到第1幀圖片的分析結(jié)果時，則會對該圖片幀進(jìn)行打分，從而決策在后續(xù)的第i+1幀繼續(xù)處理(i為s對應(yīng)結(jié)果)。

圖4 注意力模型的圖片幀預(yù)處理

2.2 基于反饋控制算法的四軸飛行器控制

四軸飛行器傳回的圖片幀，經(jīng)過注意力模型的預(yù)處理后再次送入YOLO+KCF模型；如果跟蹤目標(biāo)發(fā)生位移，則在圖片幀上會顯示為選框位置和面積的變化，因此可將飛行器飛行控制簡化為采用基于PID控制的圖片中心位置像素點(diǎn)偏差自適應(yīng)反饋控制和基于像素面積偏差反饋的四軸飛行器位置控制，分別控制四軸飛行器的左右偏航和前后位移。該四軸飛行器控制算法情景設(shè)計如下。

情景1當(dāng)選框中心點(diǎn)相對圖片幀中心點(diǎn)左偏移時，超過設(shè)定閾值，表明目標(biāo)即將從左側(cè)逃離跟蹤。此時，飛行器應(yīng)向左偏航。

情景2當(dāng)選框中心點(diǎn)相對圖片幀中心點(diǎn)右偏移時，超過設(shè)定閾值，表明目標(biāo)即將從右側(cè)逃離跟蹤。此時，飛行器應(yīng)向右偏航。

情景3當(dāng)選框像素面積變大時，超過設(shè)定閾值，表明目標(biāo)與飛行器距離較近。此時，飛行器應(yīng)向后退。

情景4當(dāng)選框像素面積變小時，超過設(shè)定閾值，表明目標(biāo)與飛行器距離較遠(yuǎn)。此時，飛行器應(yīng)向前進(jìn)。

2.2.1 基于PID控制的圖片中心位置像素點(diǎn)偏差自適應(yīng)反饋控制

PID[22]控制目前在工業(yè)控制系統(tǒng)中應(yīng)用較廣泛，它是一個典型的單位負(fù)反饋系統(tǒng)，系統(tǒng)由PID控制器和被控對象組成。其中PID分別為比例、積分、微分(Proportional、Integral、Differential)。PID控制的核心就是計算出確定的給定值與實際的輸出值之間的偏差e(t)，然后根據(jù)比例—積分—微分的線性組合關(guān)系計算出控制量u(t)，再通過改變控制量來控制被控對象。PID控制可連續(xù)地表示為

(7)

但在實際應(yīng)用中，計算機(jī)采樣無法做到真正的連續(xù)，所以將PID進(jìn)行離散化處理，分為增量式PID和位置式PID。增量式PID控制用數(shù)學(xué)表示為

u(t)=u(t)+Kp[e(k)-e(k-1)]+Kie(k)+Kd[e(k)-2e(k-1)+e(k-2)] 。

(8)

采用增量式PID對飛行器電機(jī)轉(zhuǎn)速進(jìn)行閉環(huán)控制，通過計算被跟蹤目標(biāo)的選框像素中心點(diǎn)與當(dāng)前圖片幀像素中心點(diǎn)的水平偏差e(k)，并將該偏差作為誤差參數(shù)，通過PID控制計算公式得到四軸飛行器此刻的偏航轉(zhuǎn)速u(t)為speed；使用send_rc_control(0，fb，0，speed)函數(shù)向四軸飛行器發(fā)送指令，控制飛行器左右偏航。

在四軸飛行器執(zhí)行目標(biāo)跟蹤任務(wù)時，PID參數(shù)初始化為[0.4，0.4，0.1]；e(k)、e(k-1)和e(k-2)分別代表本次誤差、上次誤差和上上次誤差，誤差初始值默認(rèn)為0，偏航控制系統(tǒng)工作流程如圖5所示。如圖5(a)所示，目標(biāo)的中心與圖片幀中心有偏差，計算此數(shù)值e(k)作為輸入?yún)?shù)，通過增量PID公式計算出speed，使無人機(jī)向右偏轉(zhuǎn)，同時更新誤差e(k-1)=e(k)。

圖5 偏航控制系統(tǒng)工作流程

2.2.2 基于像素面積偏差反饋的四軸飛行器位置控制算法

在執(zhí)行目標(biāo)跟蹤任務(wù)時，需要使四軸飛行器和被跟蹤目標(biāo)之間保持安全距離。對距離的判斷采用一種基于選框內(nèi)像素點(diǎn)所占面積的方法。首先設(shè)定一個面積區(qū)間A[a，b]。當(dāng)被跟蹤目標(biāo)遠(yuǎn)離四軸飛行器并且選框面積大于b時，飛行器會向前移動；當(dāng)被跟蹤目標(biāo)靠近四軸飛行器并且面積小于a時，飛行器會向后移動，文中使用的面積區(qū)間A[60 000，68 000]，從四軸飛行器傳回的視頻流經(jīng)cv2.resize()函數(shù)處理，統(tǒng)一分辨率為960×720在終端顯示，前后位移控制如圖6所示。計算選框面積時，使用數(shù)組boundingbox[x，y，w，h]接收KCF跟蹤器在當(dāng)前圖片幀的跟蹤結(jié)果。(x，y)表示選框的左上角坐標(biāo)，w、h分別代表選框的長、寬，則選框的面積為A=w×h。

圖6 位移控制

3 實驗結(jié)果與分析

3.1 軟硬件平臺介紹

四軸飛行器目標(biāo)檢測與跟蹤研究在筆者電腦中進(jìn)行，電腦配置Intel(R)Core(TM)i5-7200U處理器，NVIDIA GeForce 940MX顯卡。開發(fā)環(huán)境采用python 3.7、CUDA 10.0、cuDNN 7.6、OpenCV 3.4。使用的硬件平臺是四軸飛行器Tello，如圖7所示。Tello是深圳睿熾科技生產(chǎn)的小型航拍無人機(jī)，結(jié)合了DJI大疆飛控技術(shù)和英特爾芯片，具備紅外定高、氣壓計定高、下視視覺等功能，支持一鍵拋飛、全向翻滾，并且攜帶500萬像素攝像頭，可以進(jìn)行720P高清圖傳。

圖7 四軸飛行器Tello

3.2 系統(tǒng)框架(YOLOV4-tiny + KCF)介紹

YOLO[15](You Only Look Once)是一種基于深度神經(jīng)網(wǎng)絡(luò)的對象識別和定位算法。其采用端到端的設(shè)計思想，將目標(biāo)定位和目標(biāo)識別這兩個階段合二為一，對同一圖片只需掃描一次。該算法目標(biāo)識別的速度可以達(dá)到實時檢測的要求?；趯λ男頍o人機(jī)目標(biāo)檢測的實時性考慮，飛行器回傳視頻圖像的目標(biāo)識別處理對速度的需求大于識別精度的需求。文中使用的是YOLOV4-tiny版本，其于2020年6月正式發(fā)布，是YOLOV4的輕量型版本，具有更快的識別速度。

KCF[16]是一類基于模板匹配的可視物體跟蹤方法，它把標(biāo)識目標(biāo)的矩形看作一個模板，用于搜尋物體在下一個視圖中的位置，其在計算模板時采用基于傅里葉變換的計算方法，顯著提高了在下一幀中識別匹配窗口的速度。

采用YOLOV4-tiny和KCF結(jié)合的方式，實現(xiàn)四軸飛行器目標(biāo)檢測與跟蹤，基于KCF的跟蹤算法可以在傳回的圖片幀中框選跟蹤目標(biāo)(即使該目標(biāo)沒有被YOLOV4-tiny目標(biāo)檢測算法精準(zhǔn)識別)。此處理方式，極大可能地彌補(bǔ)了YOLOV4-tiny目標(biāo)檢測算法因輕量化導(dǎo)致的識別度略低的缺陷。結(jié)合飛行器的YOLO+KCF算法實現(xiàn)如圖8所示，通過加載數(shù)據(jù)文件、權(quán)重文件以及配置文件利用GPU對傳入的圖片幀進(jìn)行多次卷積和池化處理，隨后經(jīng)過全連接層和輸出層。最后將經(jīng)過目標(biāo)檢測處理的圖片幀加載KCF跟蹤器，并將最終結(jié)果顯示在系統(tǒng)終端。

圖8 圖片幀通過YOLO+KCF算法

3.3 實驗結(jié)果與分析

為了驗證筆者提出的基于注意力模型的圖像預(yù)處理，以及基于反饋控制的無人機(jī)姿態(tài)調(diào)整，布置如下實驗環(huán)境。

3.3.1 目標(biāo)檢測測試

為了減少因無人機(jī)執(zhí)行目標(biāo)檢測任務(wù)時飛行速度帶來的精度下降，設(shè)計如下對比實驗。因為不同的打桿桿量對應(yīng)無人機(jī)在6個自由度的不同速度，分別選取40%、60%、80%的打桿桿量(對應(yīng)3組不同飛行速度實驗)，因此可以根據(jù)檢測模型在無人機(jī)不同打桿桿量下進(jìn)行實驗，確定小型四軸飛行器對目標(biāo)檢測的最佳速度。

四軸飛行器起飛后進(jìn)入目標(biāo)檢測階段，其飛行實景以及攝像頭采集到的圖片經(jīng)過處理后的結(jié)果如圖9、10、11所示，處理后的結(jié)果會在系統(tǒng)終端顯示，其中多個目標(biāo)已經(jīng)被矩形框框住，并在矩形框的上方標(biāo)記類別。圖片幀左上角顯示檢測出的類別及其概率，左下角為此時四軸飛行器電池電量和姿態(tài)角。分析實驗結(jié)果：當(dāng)桿量設(shè)置為40%時，飛行器在偏航測試中目標(biāo)識別率約為97%，在位移測試中目標(biāo)識別率約為95%，都具有較好的識別精度，但該狀態(tài)下飛行器姿態(tài)調(diào)整速度較慢，會影響其執(zhí)行任務(wù)的實時性；當(dāng)桿量設(shè)置為60%時，飛行器在偏航測試中目標(biāo)識別率約為94%，在位移測試中目標(biāo)識別率約為95%，具有較好的識別精度，同時飛行器也能及時完成姿態(tài)調(diào)整；當(dāng)桿量設(shè)置為80%時，飛行器在位移測試中目標(biāo)識別率約為90%，但在偏航時因飛行器偏航速度較快，目標(biāo)識別率僅約為80%。綜上實驗結(jié)果，在桿量設(shè)置為60%時，對目標(biāo)識別的精度和飛行器姿態(tài)調(diào)整的速度都有較好的效果，因此設(shè)置桿量60%進(jìn)行后續(xù)目標(biāo)檢測與跟蹤控制實驗。

圖9 打桿桿量設(shè)置為40%(實驗1)

圖10 打桿桿量設(shè)置為60%(實驗2)

3.3.2 目標(biāo)跟蹤與控制測試

為了驗證目標(biāo)跟蹤的實時性和穩(wěn)定性，設(shè)計實驗場景：工作人員從辦公室內(nèi)的辦公桌旁出發(fā)，打開門，途經(jīng)走廊到達(dá)會議室，飛行器實時調(diào)整姿態(tài)角和前后距離跟蹤工作人員飛行。

四軸飛行器起飛后，先進(jìn)入目標(biāo)檢測階段，其拍攝到的圖片以及經(jīng)過處理后的圖片如圖12所示。其中圖12(a)為飛行器在執(zhí)行飛行實驗時的實景；圖12(b)為系統(tǒng)終端顯示的目標(biāo)檢測結(jié)果，圖片幀中多個目標(biāo)已經(jīng)被矩形框框住，并在矩形框的上方標(biāo)記類別。

在四軸飛行器飛行狀態(tài)下，自定義選擇目標(biāo)，如圖13所示，圖13(a)為飛行器與被跟蹤目標(biāo)的初始位置，圖13(b)為在系統(tǒng)終端選中被跟蹤目標(biāo)后的顯示結(jié)果?？梢钥闯?，與前面目標(biāo)檢測不同的是：目標(biāo)跟蹤時，圖片幀右上角實時顯示此刻飛行器應(yīng)做出的飛行調(diào)整；左下角顯示了此刻選框的中心點(diǎn)坐標(biāo)和選框的面積，便于調(diào)整反饋控制時的參數(shù)。隨后，被跟蹤目標(biāo)發(fā)生位移，發(fā)生位移時飛行器飛行實景和系統(tǒng)終端的處理結(jié)果，如圖14所示。

圖13 目標(biāo)跟蹤初始狀態(tài)

圖14 四軸飛行器目標(biāo)跟蹤

分析四軸飛行器實驗中的圖片資料，位移1、位移2和位移8被跟蹤目標(biāo)正面對著飛行器，其他位移狀態(tài)被跟蹤目標(biāo)背面對著飛行器，并且伴隨著被跟蹤目標(biāo)的不斷移動。目標(biāo)跟蹤算法能夠在跟蹤過程中及時調(diào)整選框位置和選框大小，飛行器能夠及時作出姿態(tài)調(diào)整。飛行過程中部分關(guān)鍵點(diǎn)姿態(tài)角變化如圖15所示，圖中標(biāo)記出幾處拐點(diǎn)，表示此時飛行器正在調(diào)整偏航角使得飛行器正對被跟蹤目標(biāo)，其偏航角調(diào)整角度在[-60°，70°]區(qū)間內(nèi)并未發(fā)生反復(fù)左右震蕩偏航現(xiàn)象。

圖15 姿態(tài)角變化

圖16中圓形連接的折線為被跟蹤目標(biāo)運(yùn)動軌跡，三角形連接的折線為四軸飛行器飛行軌跡。根據(jù)軌跡點(diǎn)所示，確定被跟蹤目標(biāo)后，四軸飛行器向目標(biāo)飛行，調(diào)整與目標(biāo)之間的距離。在目標(biāo)移動時，其在經(jīng)過沙發(fā)和左側(cè)門兩處時距離偏差較大。其中，在沙發(fā)處飛行器和被跟蹤目標(biāo)距離較遠(yuǎn)，導(dǎo)致飛行器跟蹤目標(biāo)過門時出現(xiàn)飛行器未飛出辦公室的情況，經(jīng)目標(biāo)緩慢移動調(diào)整與飛行器距離后，飛行器才成功過門。出現(xiàn)這種情況，一方面是因為飛行器目標(biāo)跟蹤算法的精度問題，在處理過大量視頻幀后，選框的大小判斷出現(xiàn)偏差，導(dǎo)致飛行器與目標(biāo)距離誤差較大；另一方面是由于像素面積偏差反饋的四軸飛行器位置控制算法中面積參數(shù)范圍較大。

為了量化圖16中飛行器軌跡與被跟蹤目標(biāo)運(yùn)動軌跡之間的偏離，考慮到飛行器在執(zhí)行跟蹤任務(wù)時，被跟蹤目標(biāo)移動距離未超過設(shè)定的飛行器有效跟蹤面積區(qū)間，此時不必調(diào)整飛行器距離只需適當(dāng)調(diào)整偏航角。因此，采用距離偏差來評價各組采樣點(diǎn)(t時刻飛行器位置與被跟蹤目標(biāo)位置)的偏離程度，用方差來評價所有采樣點(diǎn)的整體偏離情況。通過測量實驗中各組采樣點(diǎn)的距離，可得飛行器與被跟蹤目標(biāo)距離偏差最大值約為35.3 cm，最小值近似為0 cm(由于采用的位移跟蹤控制是一個面積區(qū)間，因此實驗時大部分樣本點(diǎn)都在此區(qū)間內(nèi))，平均值約為3.33 cm。通過測量的距離偏差，計算得所有采樣點(diǎn)的方差值為69.15。實驗結(jié)果表明，飛行器飛行軌跡與被跟蹤目標(biāo)運(yùn)動軌跡之間偏差較小，執(zhí)行跟蹤任務(wù)時大部分軌跡點(diǎn)處于設(shè)定的安全跟蹤距離范圍內(nèi)。因此，筆者提出的算法在目標(biāo)跟蹤的實時性、穩(wěn)定性上具有較好的效果。

圖16 飛行軌跡與被跟蹤目標(biāo)軌跡

為了進(jìn)一步驗證算法實時性，在實驗過程中，隨機(jī)抽取20 s的視頻流。因飛行器每秒傳輸30幀圖片，則20 s共傳輸圖片600幀，利用文中提出的注意力模型進(jìn)行圖片預(yù)處理后，隨機(jī)抽取的600幀中只處理了23幀，處理時間約為0.327 5 s。若未使用注意力模型，每1幀都處理，共需要約8.772 s。在實際飛行過程中，隨著圖片幀的增多，預(yù)處理階段帶來的效果是很明顯的，圖17為系統(tǒng)處理一幀圖片所需要的時間。表1為在實驗環(huán)境下，基于注意力模型的圖片幀預(yù)處理算法與其他目標(biāo)檢測跟蹤算法在接收到相同圖片幀時，處理圖片的時間對比。表2為文中模型隨著接收幀數(shù)的增加，所處理的圖片幀數(shù)量的變化。

表1 接收50個圖片幀處理效率對比

表2 文中模型處理圖片幀效率

圖17 圖片幀處理時間

可見，基于注意力模型的圖像預(yù)處理可有效節(jié)省圖像幀處理時間，節(jié)約大量計算資源，從而提升了四軸飛行器的目標(biāo)跟蹤實時性，為四軸飛行器的實時跟蹤飛行應(yīng)用提供了保障。

4 結(jié)束語

基于四軸飛行器單目攝像頭采集到的視覺信息，將視頻流分解為圖片幀。針對圖片幀處理速度和四軸飛行器姿態(tài)控制兩方面，分別提出基于注意力模型的圖片預(yù)處理和基于反饋控制的四軸飛行器姿態(tài)調(diào)整。實驗結(jié)果表明，文中提出的方法在執(zhí)行目標(biāo)監(jiān)測與跟蹤任務(wù)時，具有較好的實時性和穩(wěn)定性效果。利用注意力模型的圖片預(yù)處理，可以合理地舍棄部分對跟蹤結(jié)果影響不大的圖片幀，節(jié)省大量計算資源；基于反饋控制的四軸飛行器姿態(tài)調(diào)整，使四軸飛行器能夠及時作出偏航和進(jìn)退調(diào)整。下一步將考慮進(jìn)一步結(jié)合深度學(xué)習(xí)框架，優(yōu)化目標(biāo)跟蹤功能，使四軸飛行器能自主選擇跟蹤目標(biāo)，并完成跟蹤任務(wù)。