李常磊,張曦郁

(駐西安地區(qū)第九軍代室,陜西 西安 710064)

0 引言

無人機(jī)(UnmannedAerial Vehicles, UAV)是一種不搭載飛行員、乘客的飛行器,具有完全或部分自主的能力,在大部分情況下由人類飛行員遠(yuǎn)程控制。 在過去10 年,人們見證了商用無人機(jī)的普及,其種類呈現(xiàn)了爆炸式增長,以應(yīng)對(duì)不同的應(yīng)用場(chǎng)景[1]。 需要注意的是在擁擠的公共場(chǎng)合和機(jī)場(chǎng)使用此類設(shè)備是受到監(jiān)管的[2]。 在這些場(chǎng)合,不明無人機(jī)的存在可能對(duì)公眾構(gòu)成威脅,此外由商用無人機(jī)而破壞機(jī)場(chǎng)安全的實(shí)例也屢見不鮮。

針對(duì)該問題,地理圍欄系統(tǒng)應(yīng)用而生。 該系統(tǒng)需要預(yù)先劃定無人機(jī)可飛行的區(qū)域,然后借助藍(lán)牙、WiFi、GPS 等定位技術(shù)完成對(duì)定位源進(jìn)行跟蹤和報(bào)警,由此防止無人機(jī)進(jìn)入限制空域[3]。 目前,該系統(tǒng)主要通過在規(guī)定的空域內(nèi)使用現(xiàn)有的攝像機(jī)基礎(chǔ)設(shè)施來實(shí)現(xiàn),以進(jìn)行適當(dāng)?shù)淖詣?dòng)定位和響應(yīng)。 本文主要研究了面向無人機(jī)地理圍欄系統(tǒng)的視覺跟蹤算法,以確保UAV 保持在允許的空域內(nèi)。

1 無人機(jī)PTZ 相機(jī)視覺跟蹤系統(tǒng)框架設(shè)計(jì)

由于運(yùn)動(dòng)模糊、光照變化和遮擋等固有問題,無人機(jī)的視覺跟蹤是一個(gè)具有挑戰(zhàn)性的問題[4]。 長期跟蹤器(Long-Term Trackers,LTT)能夠有效地解決目標(biāo)消失和重現(xiàn)的問題,這是自主視覺跟蹤的一個(gè)基本特性[5]。 LTT 由以下兩部分組成:(1)基于前一幀估計(jì)目標(biāo)邊界框的短期跟蹤模塊;(2)負(fù)責(zé)報(bào)告目標(biāo)消失的檢測(cè)模塊。 該結(jié)構(gòu)創(chuàng)建了跟蹤、學(xué)習(xí)和檢測(cè)子任務(wù)。 但在LTT 中,目標(biāo)邊界框需要由用戶初始化,這在一定程度上限制了系統(tǒng)的自主使用的能力。

針對(duì)上述問題,本文提出了具有自動(dòng)目標(biāo)初始化功能跟蹤系統(tǒng)。 其基本流程為:(1)測(cè)量搜索區(qū)域;(2)使用現(xiàn)有目標(biāo)分類器初始化目標(biāo)邊界框;(3)利用短期跟蹤器創(chuàng)建用于視覺伺服的LTT。 視覺伺服方案通過調(diào)整PTZ 相機(jī)平臺(tái)的俯仰角θ,? 和變焦系數(shù)zm,使被測(cè)無人機(jī)在攝像機(jī)視場(chǎng)范圍內(nèi)占據(jù)被測(cè)圖像的較大部分。 用于無人機(jī)跟蹤的PTZ 相機(jī)坐標(biāo)系統(tǒng)如圖1 所示。 對(duì)無人機(jī)位置的估計(jì)是通過對(duì)其尺寸的先驗(yàn)知識(shí)進(jìn)行的。

圖1 用于無人機(jī)跟蹤的PTZ 相機(jī)坐標(biāo)系統(tǒng)

在上述基本流程的第3 步提到的視覺伺服問題,可分為運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)識(shí)別、跟蹤和伺服。 運(yùn)動(dòng)目標(biāo)檢測(cè)和目標(biāo)識(shí)別共同構(gòu)成了無人機(jī)位置的邊界框估計(jì),是跟蹤和伺服中STT 初始化的基礎(chǔ)。 本文提出的PTZ 相機(jī)視覺伺服軟件結(jié)構(gòu)如圖2 所示。

圖2 PTZ 相機(jī)視覺伺服軟件結(jié)構(gòu)

對(duì)于提出系統(tǒng)用到的嵌入式軟件包括搜索、目標(biāo)檢測(cè)、分類/識(shí)別、跟蹤4 種狀態(tài)。 系統(tǒng)間歇性進(jìn)入“搜索”狀態(tài),調(diào)整攝像頭位置以覆蓋預(yù)定義的搜索區(qū)域。 目標(biāo)檢測(cè)是從視頻序列中分割運(yùn)動(dòng)目標(biāo)。 目標(biāo)識(shí)別是為確認(rèn)目標(biāo),然后將目標(biāo)傳遞給利用STT 進(jìn)行幀到幀關(guān)聯(lián)的目標(biāo)跟蹤。

2 基于深度學(xué)習(xí)的無人機(jī)視覺跟蹤

2.1 移動(dòng)無人機(jī)的邊界框估計(jì)

邊界框估計(jì)的目的是為實(shí)現(xiàn)框架提供給定幀的前景目標(biāo)的位置。 其主要挑戰(zhàn)包括由于相機(jī)運(yùn)動(dòng)產(chǎn)生的模糊、相機(jī)傳感器產(chǎn)生的噪聲以及移動(dòng)物體碎片。 使用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器或統(tǒng)計(jì)背景建模來識(shí)別前景,可以有效地解決該挑戰(zhàn)。 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器可用于對(duì)底層深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的某些目標(biāo)執(zhí)行定位和識(shí)別。 雖然這種檢測(cè)器已經(jīng)得到了成功的應(yīng)用,但目前僅限于離線處理。 而在實(shí)時(shí)性要求較高的場(chǎng)景下,使用高清圖像時(shí)的計(jì)算負(fù)擔(dān)限制了它們?cè)谶h(yuǎn)程實(shí)時(shí)視覺伺服的引用。

運(yùn)動(dòng)目標(biāo)檢測(cè)可以通過使用高斯混合建模的統(tǒng)計(jì)背景模型進(jìn)行背景差分。 筆者測(cè)試了5 種不同的背景差分模型:混合高斯(Mixture of Gaussian,MOG),MOG2,GMG,CNT 和k 最近鄰(k-nearest neighbor,KNN)差分法[6-7]。

MOG 背景差分法用一組高斯分布的混合減去每個(gè)背景像素。 在算法的每個(gè)階段都采用了更新函數(shù),以加快后臺(tái)學(xué)習(xí)過程。 MOG2 算法通過自動(dòng)選擇混合的數(shù)量來改進(jìn)MOG,提高對(duì)光照變化的彈性和對(duì)不同環(huán)境的適應(yīng)性。 GMG 算法在統(tǒng)計(jì)估計(jì)背景圖像的同時(shí),對(duì)每個(gè)像素使用貝葉斯分割,并通過啟發(fā)式置信度水平選擇性地應(yīng)用濾波算法。 CNT 是基于計(jì)算像素穩(wěn)定性的時(shí)間。 KNN 背景差分法使用k 近鄰方法根據(jù)樣本密度確定內(nèi)核大小,這比使用固定內(nèi)核大小產(chǎn)生更好的性能。

MOG,MOG2 和GMG 模型都存在分割問題,其中前景目標(biāo)顯示為單獨(dú)的斑點(diǎn)。 盡管MOG2 在三者中提供了最小的碎片,但涉及多個(gè)移動(dòng)目標(biāo)的某些場(chǎng)景會(huì)導(dǎo)致失敗。 盡管并行CNT 是一種低成本的算法,但高頻紋理的存在導(dǎo)致分割不穩(wěn)定。 與所有方法相比,KNN 產(chǎn)生的碎片數(shù)量最少,并且使用核大小為5px 的圓形中值濾波器可以消除噪聲。 因此,在本系統(tǒng)中采用KNN 模型。

2.2 面向無人機(jī)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)

預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)在識(shí)別形狀相似的物體方面表現(xiàn)出良好的性能。 在文獻(xiàn)中常用的ResNet50 作為目標(biāo)分類器。 雖然也可以使用其他最先進(jìn)的分類框架,如VGG,DenseNet,GoogLeNet 和Inception 等。 但ResNet50 提供了實(shí)現(xiàn)系統(tǒng)所需的性能。

ResNet 架構(gòu)引入了殘差連接,其中兩個(gè)連續(xù)卷積層的輸出跳過下一層的輸入。 由此產(chǎn)生的體系結(jié)構(gòu)改進(jìn)了梯度流,允許更深層次的網(wǎng)絡(luò)實(shí)現(xiàn)。 本文提出對(duì)ResNet-50 架構(gòu)進(jìn)行修改,即對(duì)邊界框檢測(cè)器檢測(cè)到的前景目標(biāo)執(zhí)行二進(jìn)制分類。 由于缺乏對(duì)商用無人機(jī)進(jìn)行分類的數(shù)據(jù)集,本文收集了各種無人機(jī)的內(nèi)部無人機(jī)數(shù)據(jù)集。 無人機(jī)二值分類器的大部分正圖像是在室內(nèi)和室外飛行中采集的。 一些圖像是從網(wǎng)上公開的數(shù)據(jù)集和百度圖像搜索中收集的。 結(jié)果數(shù)據(jù)集有近10 000 個(gè)無人機(jī)樣本。 從ImageNet 數(shù)據(jù)集和內(nèi)部鏡頭背景中隨機(jī)抽取訓(xùn)練過程中匹配數(shù)量的反面例子,得到超過5 萬張訓(xùn)練圖像。

在訓(xùn)練過程中遇到的問題包括訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)之間的光照條件差異,滾動(dòng)快門相機(jī)造成的模糊,以及圖像遮擋等。 在訓(xùn)練期間應(yīng)用歸一化轉(zhuǎn)換、旋轉(zhuǎn)和部分縮放候選區(qū)域的樣本來增強(qiáng)數(shù)據(jù)集,以及用噪聲破壞40%的圖像(即加性高斯噪聲和恒定偏差、模糊、部分遮擋、水平鏡像),以提高魯棒性。

2.3 PTZ 相機(jī)的視覺伺服設(shè)計(jì)

利用從第一節(jié)獲得的目標(biāo)邊界框,可實(shí)現(xiàn)STT 的初始化。 使用核相關(guān)濾波器(kernelized correlation filter,KCF)跟蹤算法作為基礎(chǔ)[8]。 該算法的不足在于缺乏規(guī)模適應(yīng)能力。 因此,本文提出在空間正則化判別相關(guān)濾波器跟蹤算法下,引入預(yù)定義的濾波器加權(quán)策略。

3 實(shí)驗(yàn)驗(yàn)證

本文將通過室內(nèi)測(cè)試,來驗(yàn)證提出的系統(tǒng)在跟蹤和位置估計(jì)方面的性能。 實(shí)驗(yàn)中設(shè)定的飛行時(shí)間160 s。 使用3 個(gè)解耦PID 控制器,根據(jù)跟蹤器的輸出調(diào)整攝像機(jī)的PTZ 參數(shù)。 影響平移和傾斜參數(shù)的定位誤差定義為邊界框質(zhì)心與圖像中心之間的像素差,而縮放誤差則與邊界框內(nèi)像素與整體圖像像素的比值有關(guān)。 實(shí)驗(yàn)過程中,將比例誤差、積分誤差和導(dǎo)數(shù)誤差系數(shù)設(shè)置為kp=1.2,ki=0.1,kd=0.1;這些參數(shù)是使用大疆Mavic Pro 無人機(jī)在距離相機(jī)5 m 的距離手動(dòng)調(diào)整為1 倍的變焦。

如果系統(tǒng)能夠?qū)崿F(xiàn)當(dāng)無人機(jī)不在相機(jī)的FoV 時(shí)不跟蹤,并且無人機(jī)在相機(jī)的FoV 時(shí)跟蹤,則認(rèn)為所設(shè)計(jì)的跟蹤系統(tǒng)是有效的。 相反的,如果系統(tǒng)跟蹤非無人機(jī)目標(biāo),或未跟蹤無人機(jī)則認(rèn)為系統(tǒng)無效。 通過統(tǒng)計(jì)在160 s 飛行時(shí)間內(nèi),有效跟蹤的時(shí)間占比來衡量系統(tǒng)的有效性。 統(tǒng)計(jì)結(jié)果表明總體跟蹤成功率為71.2%。

基于檢測(cè)到的無人機(jī)寬度和縮放因子,可以僅從視覺輸入和已知距離上檢測(cè)到的無人機(jī)寬度的先驗(yàn)知識(shí)對(duì)無人機(jī)位置進(jìn)行估計(jì)。 本文將軌跡估計(jì)的誤差與視覺跟蹤系統(tǒng)提供的真實(shí)值進(jìn)行比較,計(jì)算了3個(gè)方向,以及位置估計(jì)的均方根誤差(RMSE)。 結(jié)果如表1 所示。

表1 估計(jì)的均方根誤差

實(shí)驗(yàn)結(jié)果表明,在3 個(gè)方向上以及位置估計(jì)誤差均小于1 m,跟蹤誤差較小,由此進(jìn)一步證明了所設(shè)計(jì)系統(tǒng)的有效性。

4 結(jié)語

本文設(shè)計(jì)了一種面向商用無人機(jī)視覺跟蹤系統(tǒng)。該系統(tǒng)借助現(xiàn)有的背景模型、目標(biāo)分類器來實(shí)現(xiàn)自動(dòng)化的無人機(jī)跟蹤問題,且無需手動(dòng)初始化初始目標(biāo)。實(shí)驗(yàn)結(jié)果表明,在室內(nèi)場(chǎng)景下其成功率為71.2%。 此外,無人機(jī)的三維位置估計(jì)均方根誤差僅為0.76 m。實(shí)驗(yàn)結(jié)果驗(yàn)證了系統(tǒng)的跟蹤性能。