梁 宵，陳國(guó)棟，趙詩(shī)柔

(沈陽(yáng)航空航天大學(xué) 自動(dòng)化學(xué)院，沈陽(yáng) 110136)

隨著科學(xué)技術(shù)的迅猛發(fā)展，空中機(jī)器人(又稱無(wú)人機(jī)，unmanned aerial vehicle，UAV)應(yīng)勢(shì)而生。無(wú)人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤[1-3]的研究已然成為一個(gè)新興熱點(diǎn)性問題，也是現(xiàn)代機(jī)器人系統(tǒng)朝著更機(jī)械化、智能化、先進(jìn)化發(fā)展的重要奠基石。運(yùn)動(dòng)目標(biāo)跟蹤[4-5]的任務(wù)是在連續(xù)的視頻序列中建立所要跟蹤物體的位置關(guān)系。在目標(biāo)運(yùn)動(dòng)過程中，目標(biāo)的姿態(tài)或形狀、尺度、背景遮擋或光線亮度是不斷變化的，因此目標(biāo)跟蹤的研究也一直圍繞這些問題展開。

運(yùn)動(dòng)目標(biāo)的識(shí)別與跟蹤主要包括以下幾種方法：幀差法[6]、均值漂移算法(Meanshift)[7]、光流法[8]等。幀差法計(jì)算量小、速度快，通常應(yīng)用在攝像機(jī)標(biāo)定的場(chǎng)合。MeanShift計(jì)算簡(jiǎn)單、易于實(shí)現(xiàn)，但難以快速移動(dòng)目標(biāo)實(shí)現(xiàn)跟蹤。光流法攜帶了豐富的運(yùn)動(dòng)信息、三維信息，計(jì)算量巨大，不能滿足實(shí)時(shí)性需求。上述算法在目標(biāo)丟失后無(wú)法再次找到目標(biāo)，因此后來(lái)提出檢測(cè)與跟蹤結(jié)合的方法，如TLD(Tracking-Learning-Detection)方法[9]。TLD算法實(shí)現(xiàn)了對(duì)單目標(biāo)的長(zhǎng)時(shí)間跟蹤，解決了目標(biāo)形變、部分遮擋等引起的目標(biāo)丟失問題，但由于采用了全局搜索，實(shí)時(shí)性略有欠缺。相關(guān)濾波算法則采用局部搜索的方式，在實(shí)時(shí)性上有明顯的優(yōu)勢(shì)，但是難以跟蹤運(yùn)動(dòng)速度較快和遮擋時(shí)間較長(zhǎng)的目標(biāo)，例如基于HOG特征的KCF(Kernel Correlation Filter，KCF)算法[10]。

為了提高無(wú)人機(jī)(Unmanned Aerial Vehicle,UAV)跟蹤運(yùn)動(dòng)目標(biāo)的精度與實(shí)時(shí)性，首先介紹了無(wú)人機(jī)的硬件組成、建模以及控制方法。針對(duì)當(dāng)前目標(biāo)跟蹤算法普遍存在的實(shí)時(shí)性不足、準(zhǔn)確率低等問題提出了一種基于AprilTags[11-12]特定目標(biāo)識(shí)別的方案：在原Tag標(biāo)簽周圍添加顏色信息，無(wú)遮擋時(shí)優(yōu)先跟蹤Tag目標(biāo)，有遮擋時(shí)跟蹤Tag周圍顏色特征，以提高目標(biāo)跟蹤的準(zhǔn)確率并解決遮擋問題。同時(shí)AprilTags算法可以搭載到嵌入式設(shè)備中，并且利用四旋翼無(wú)人機(jī)完成了硬件實(shí)驗(yàn)。

1 UAV硬件結(jié)構(gòu)和控制方案設(shè)計(jì)

UAV主體結(jié)構(gòu)由機(jī)架、電機(jī)及其驅(qū)動(dòng)、飛控板、控制板、無(wú)線通信設(shè)備組成，飛控板和控制板上的氣壓計(jì)、陀螺儀、加速度計(jì)和地磁計(jì)都可實(shí)現(xiàn)無(wú)人機(jī)的位姿解算，UAV硬件結(jié)構(gòu)框圖及實(shí)物圖如圖1所示。

圖1 UAV硬件結(jié)構(gòu)

OpenMV攝像頭可以實(shí)時(shí)獲取圖像，并將處理后的坐標(biāo)發(fā)送給UAV，UAV根據(jù)坐標(biāo)信息，自主對(duì)目標(biāo)進(jìn)行移動(dòng)跟蹤。該系統(tǒng)中RC(Radio Controlled,RC)具有最高控制權(quán)，可隨時(shí)切換為手動(dòng)模式，當(dāng)UAV丟失目標(biāo)時(shí)保證系統(tǒng)安全運(yùn)行。

1.1 UAV自主飛行控制方法

為了最大限度發(fā)揮UAV自帶飛控的穩(wěn)定性，極大地降低開發(fā)飛控的工作量，介紹一種基于SBUS協(xié)議模擬遙控的控制方法，利用信號(hào)發(fā)生裝置模擬產(chǎn)生遙控信號(hào)控制UAV自主飛行。該UAV使用Pixhawk2飛控，確保在遙控控制及穩(wěn)定飛行的基礎(chǔ)上，加入飛控控制板，該控制板連接在遙控接收機(jī)和飛控之間位置，起到對(duì)輸入信號(hào)解碼編碼及自主產(chǎn)生控制信號(hào)的作用，實(shí)現(xiàn)對(duì)UAV的自動(dòng)/半自動(dòng)的控制。

該UAV具有三種飛行模式，分別是手動(dòng)遙控模式、自動(dòng)飛行模式和急停模式。

(1)手動(dòng)遙控模式

遙控切換到手動(dòng)擋位，接收機(jī)實(shí)時(shí)接收遙控?cái)?shù)據(jù)并通過SBUS協(xié)議發(fā)送給控制板，控制板對(duì)數(shù)據(jù)進(jìn)行解碼、編碼，將接收到的數(shù)據(jù)通過SBUS協(xié)議原樣發(fā)送給飛控，達(dá)到手動(dòng)控制飛行的目的。

(2)自動(dòng)飛行模式

遙控切換到自動(dòng)飛行擋位，控制板對(duì)接收機(jī)傳來(lái)的數(shù)據(jù)進(jìn)行解碼，但是不進(jìn)行編碼發(fā)送，而是通過控制算法算出各個(gè)通道應(yīng)有的控制量，然后對(duì)這些控制量進(jìn)行編碼發(fā)送，達(dá)到自動(dòng)飛行的目的。

(3)急停模式

遙控器切換到急停擋位，控制板立刻將所有通道值回中并編碼發(fā)送，實(shí)現(xiàn)UAV定點(diǎn)懸停的目的，保證飛行安全。

1.2 UAV目標(biāo)識(shí)別與跟蹤

通過OpenMV攝像頭實(shí)時(shí)采集UAV下方圖像信息并判斷是否有Tag標(biāo)簽。如果有則計(jì)算Tag中心與圖像中心的偏差，通過增量式PID計(jì)算UAV的控制量，將數(shù)據(jù)編碼后發(fā)送給UAV，實(shí)現(xiàn)對(duì)目標(biāo)的有效跟蹤；如果沒有檢測(cè)到目標(biāo)或目標(biāo)丟失，UAV自動(dòng)定點(diǎn)懸停，直到再次找到目標(biāo)或降落指令。

2 基于AprilTags識(shí)別的跟蹤方案

AprilTags[13]是基于ARToolkit[14]、ARTag[15]改進(jìn)的開源視覺定位系統(tǒng)，是一種視覺基準(zhǔn)庫(kù)[16]，通過特定的標(biāo)志完成快速檢測(cè)，并計(jì)算相對(duì)位置，被廣泛應(yīng)用于機(jī)器人、無(wú)人機(jī)定位導(dǎo)引[17]等。AprilTags使用一種復(fù)雜度較低的二維碼標(biāo)簽，編碼數(shù)據(jù)量只有4～12 bits，易于獲取并具有高精度的局部準(zhǔn)確性。

AprilTags不僅能對(duì)目標(biāo)進(jìn)行識(shí)別與跟蹤，而且還能得到目標(biāo)的三維姿態(tài)信息。只要在已知相機(jī)分辨率、焦距和AprilTags尺寸的前提下，識(shí)別算法就可以準(zhǔn)確識(shí)別AprilTags的類型和ID，并實(shí)時(shí)計(jì)算出目標(biāo)相對(duì)于相機(jī)坐標(biāo)系3個(gè)維度方向上的距離(x,y,z)及姿態(tài)角信息。

2.1 Tags目標(biāo)的檢測(cè)與識(shí)別

AprilTags的種類叫家族(family)，包括如下幾種：Tag16h5、Tag25h7、Tag25h9、Tag36h10、Tag36h11，每個(gè)家族又包括不同的id，每個(gè)id就是一個(gè)獨(dú)立的Tag。AprilTags的部分Tag標(biāo)簽示意圖如圖2所示。

圖2 AprilTags的部分Tag標(biāo)簽示意圖

以AprilTags家族成員之一為例，攝像頭檢測(cè)場(chǎng)景中的Tag圖像，即檢測(cè)內(nèi)黑外白的四邊形，如圖3所示。

圖3 待檢測(cè)標(biāo)簽示意圖

接著計(jì)算每個(gè)像素的梯度幅度(圖4(a))和方向 (圖4(b))，并將像素聚類集成具有相似度方向和幅度的分量。聚類操作完成后，使用最小二乘法將線段擬合到每個(gè)連接的組件(圖4(c))，按梯度幅度對(duì)每個(gè)點(diǎn)進(jìn)行加權(quán)。調(diào)整每個(gè)線段，使線的暗側(cè)位于其左側(cè)，亮側(cè)位于其右側(cè)(圖4(d))。

圖4 檢測(cè)過程示意圖

此時(shí)Tags轉(zhuǎn)化為了一組有向線段，接著計(jì)算四邊形的線段序列，通過不斷調(diào)整閾值來(lái)處理遮擋問題和分割誤差的魯棒性。

2.2 Tags與相機(jī)距離和角度計(jì)算

在單應(yīng)性變換(一個(gè)平面到另一個(gè)平面的映射關(guān)系)和外部參數(shù)估計(jì)時(shí)，需計(jì)算3×3階單應(yīng)性矩陣(從一張圖像映射到另一張圖像的轉(zhuǎn)換矩陣Homography，通常以H表示)。它把標(biāo)簽的坐標(biāo)系統(tǒng)映射到2D圖像坐標(biāo)系。其中，單應(yīng)性使用直接線性變換(Direct Linear Transform，DLT)算法計(jì)算。計(jì)算標(biāo)簽的位置和方向需要額外的信息，即相機(jī)的焦距和標(biāo)簽的物理尺寸。3×3階單應(yīng)性矩陣(由DLT計(jì)算)可以寫為3×4階相機(jī)投影矩陣P和4×3階的外部參數(shù)矩陣E的乘積。外部參數(shù)矩陣通常為4×4階，每個(gè)位置在標(biāo)簽坐標(biāo)系中滿足z=0。因此，可以將每個(gè)標(biāo)簽坐標(biāo)改寫為一個(gè)二維齊次點(diǎn)，即將矩陣的第三列刪除形成一個(gè)被截?cái)嗟耐獠繀?shù)矩陣。將E的旋轉(zhuǎn)分量表示為Rji，將平移分量表示為Tk。將未知比例因子表示為s：

(1)

式中hij為單應(yīng)性矩陣H的元素，s為比例因子，fx和fy是相機(jī)焦距參數(shù)。因?yàn)镻的不滿秩，所以無(wú)法直接對(duì)E求解，因此可以將公式(1)的右側(cè)展開，并將每個(gè)hij表達(dá)式寫成一組聯(lián)立方程

(2)

除了比例因子s以外，Rij和Tk的元素很容易確定。但是由于旋轉(zhuǎn)矩陣的每列都必須為單位向量，通過限制s來(lái)滿足要求。由于旋轉(zhuǎn)矩陣為兩列，因此將s計(jì)算為其幅度的幾何平均值。因?yàn)樾D(zhuǎn)矩陣的列必須是正交的，所以旋轉(zhuǎn)矩陣的第三列可以通過計(jì)算兩個(gè)已知列的叉積來(lái)恢復(fù)。

上述DLT過程和規(guī)范化過程不能保證旋轉(zhuǎn)矩陣是嚴(yán)格正交的，為了解決這個(gè)問題，可以將R進(jìn)行極坐標(biāo)分解，以此產(chǎn)生一個(gè)最小誤差的Frobenius矩陣范數(shù)。

最后從有效負(fù)載字段中讀取位，通過計(jì)算每個(gè)位字段的tag相對(duì)坐標(biāo)系，使用單應(yīng)性將它們轉(zhuǎn)換為圖像坐標(biāo)，然后對(duì)得到的像素進(jìn)行閾值處理。為了降低光照的影響，這里使用空間變化的閾值，最終得到Tags標(biāo)簽與相機(jī)之間的距離和角度。

2.3 基于顏色直方圖的目標(biāo)跟蹤

顏色直方圖是對(duì)運(yùn)動(dòng)目標(biāo)表面顏色分布的統(tǒng)計(jì)，不受目標(biāo)的形狀、姿態(tài)等變化的影響，利用顏色直方圖作為目標(biāo)的特征，依據(jù)顏色分布進(jìn)行匹配，具有穩(wěn)定性好、抗部分遮擋、計(jì)算量小等特點(diǎn)。為了抵抗光照亮暗帶來(lái)的影響，一般的顏色直方圖均在HSV(Hue,Saturation,Value)色系下選取。

對(duì)HSV3個(gè)分量按照對(duì)顏色變化的敏感程度不同分別進(jìn)行量化。設(shè)量化后3個(gè)分量的取值范圍分別為{0，1，…，LH-1}、{0，1，…，LS-1}、{0，1，…，LV-1}按照[H,S,V]的形式排列成一個(gè)矢量，則其范圍為

{0，1，…，LH-1,…,LH+LS-1,…,LH+LS+LV-1}，設(shè)顏色i的像素點(diǎn)個(gè)數(shù)為mi，圖像的像素點(diǎn)總數(shù)為

(3)

則顏色i的出現(xiàn)概率pi，即被定義為顏色直方圖，即

(4)

因?yàn)轭伾狈綀D是矢量，以此作為特征進(jìn)行目標(biāo)跟蹤時(shí)，可采用Bhattacharyya距離作為兩直方圖像相似度的度量。計(jì)算公式為

(5)

(6)

其中ρ為兩直方圖的Bhattacharyya系數(shù)；p為候選目標(biāo)直方圖分布；q為模板直方圖分布；d為兩直方圖的Bhattacharyya距離，其值越小，表明兩直方圖的相似度越高；反之，兩直方圖相似度越低。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)過程中將KCF與AprilTags算法進(jìn)行對(duì)比，兩種算法均選取tag36h11_1為跟蹤目標(biāo)，分別驗(yàn)證目標(biāo)無(wú)遮擋、有遮擋、遮擋消失、旋轉(zhuǎn)等情況，對(duì)比兩種算法的跟蹤效果。

在選取完初始幀后，兩種算法均能對(duì)目標(biāo)進(jìn)行準(zhǔn)確的識(shí)別與跟蹤。為了提高AprilTags在嵌入式設(shè)備中的運(yùn)行速度，適當(dāng)降低了分辨率，所以圖像放大后噪點(diǎn)較多，但并不影響識(shí)別的準(zhǔn)確率。

在識(shí)別過程中，如果目標(biāo)被物體遮擋，KCF和AprilTags算法表現(xiàn)分別如圖5(a)、5(b)所示。結(jié)果表明，當(dāng)目標(biāo)被遮擋時(shí)，KCF仍然可以確定目標(biāo)的大概位置，但是AprilTags已經(jīng)丟失目標(biāo)。原因是KCF采用實(shí)時(shí)在線訓(xùn)練，可以處理目標(biāo)被遮擋問題。而AprilTags只是對(duì)特定目標(biāo)進(jìn)行跟蹤，一旦目標(biāo)被遮擋，就會(huì)丟失部分特征，導(dǎo)致目標(biāo)丟失無(wú)法繼續(xù)跟蹤。

圖5 目標(biāo)被遮擋時(shí)兩種算法的表現(xiàn)

在遮擋一小段時(shí)間后移開遮擋物，KCF算法跟蹤的目標(biāo)變成了遮擋物(如圖5(c)所示)，而AprilTags算法跟蹤的目標(biāo)仍然是tag36h11_1(如圖5(d)所示)。結(jié)果表明，雖然KCF能在目標(biāo)被遮擋時(shí)識(shí)別目標(biāo)大概位置，但是當(dāng)遮擋時(shí)間稍長(zhǎng)時(shí)，就會(huì)將遮擋物當(dāng)成目標(biāo)，導(dǎo)致跟蹤失敗，這在UAV/UGV實(shí)際跟蹤過程中是十分危險(xiǎn)的。而AprilTags在目標(biāo)出現(xiàn)的一瞬間便可重新識(shí)別目標(biāo)并跟蹤。

4 結(jié)論

為了提高無(wú)人機(jī)跟蹤運(yùn)動(dòng)目標(biāo)的精度與實(shí)時(shí)性，本文研究并搭建了UAV硬件實(shí)驗(yàn)平臺(tái)，完成了UAV跟蹤運(yùn)動(dòng)目標(biāo)的任務(wù)。首先，針對(duì)UAV提出了一種基于SBUS協(xié)議模擬遙控的四旋翼控制方法。其次，針對(duì)當(dāng)前目標(biāo)跟蹤算法普遍存在的實(shí)時(shí)性不足、準(zhǔn)確率低等問題提出了一種基于AprilTags特定目標(biāo)識(shí)別的方案。最后通過實(shí)驗(yàn)得到結(jié)論，該運(yùn)動(dòng)目標(biāo)跟蹤方案能很好地在嵌入式設(shè)備中運(yùn)行，并且運(yùn)算速度快，跟蹤的準(zhǔn)確率高，滿足UAV運(yùn)動(dòng)目標(biāo)跟蹤任務(wù)的實(shí)時(shí)性和準(zhǔn)確性要求。