李常磊,張曦郁

(駐西安地區(qū)第九軍代室,陜西 西安 710064)

0 引言

無人機(UnmannedAerial Vehicles, UAV)是一種不搭載飛行員、乘客的飛行器,具有完全或部分自主的能力,在大部分情況下由人類飛行員遠程控制。 在過去10 年,人們見證了商用無人機的普及,其種類呈現(xiàn)了爆炸式增長,以應對不同的應用場景[1]。 需要注意的是在擁擠的公共場合和機場使用此類設備是受到監(jiān)管的[2]。 在這些場合,不明無人機的存在可能對公眾構(gòu)成威脅,此外由商用無人機而破壞機場安全的實例也屢見不鮮。

針對該問題,地理圍欄系統(tǒng)應用而生。 該系統(tǒng)需要預先劃定無人機可飛行的區(qū)域,然后借助藍牙、WiFi、GPS 等定位技術完成對定位源進行跟蹤和報警,由此防止無人機進入限制空域[3]。 目前,該系統(tǒng)主要通過在規(guī)定的空域內(nèi)使用現(xiàn)有的攝像機基礎設施來實現(xiàn),以進行適當?shù)淖詣佣ㄎ缓晚憫?本文主要研究了面向無人機地理圍欄系統(tǒng)的視覺跟蹤算法,以確保UAV 保持在允許的空域內(nèi)。

1 無人機PTZ 相機視覺跟蹤系統(tǒng)框架設計

由于運動模糊、光照變化和遮擋等固有問題,無人機的視覺跟蹤是一個具有挑戰(zhàn)性的問題[4]。 長期跟蹤器(Long-Term Trackers,LTT)能夠有效地解決目標消失和重現(xiàn)的問題,這是自主視覺跟蹤的一個基本特性[5]。 LTT 由以下兩部分組成:(1)基于前一幀估計目標邊界框的短期跟蹤模塊;(2)負責報告目標消失的檢測模塊。 該結(jié)構(gòu)創(chuàng)建了跟蹤、學習和檢測子任務。 但在LTT 中,目標邊界框需要由用戶初始化,這在一定程度上限制了系統(tǒng)的自主使用的能力。

針對上述問題,本文提出了具有自動目標初始化功能跟蹤系統(tǒng)。 其基本流程為:(1)測量搜索區(qū)域;(2)使用現(xiàn)有目標分類器初始化目標邊界框;(3)利用短期跟蹤器創(chuàng)建用于視覺伺服的LTT。 視覺伺服方案通過調(diào)整PTZ 相機平臺的俯仰角θ,? 和變焦系數(shù)zm,使被測無人機在攝像機視場范圍內(nèi)占據(jù)被測圖像的較大部分。 用于無人機跟蹤的PTZ 相機坐標系統(tǒng)如圖1 所示。 對無人機位置的估計是通過對其尺寸的先驗知識進行的。

圖1 用于無人機跟蹤的PTZ 相機坐標系統(tǒng)

在上述基本流程的第3 步提到的視覺伺服問題,可分為運動目標檢測、目標識別、跟蹤和伺服。 運動目標檢測和目標識別共同構(gòu)成了無人機位置的邊界框估計,是跟蹤和伺服中STT 初始化的基礎。 本文提出的PTZ 相機視覺伺服軟件結(jié)構(gòu)如圖2 所示。

圖2 PTZ 相機視覺伺服軟件結(jié)構(gòu)

對于提出系統(tǒng)用到的嵌入式軟件包括搜索、目標檢測、分類/識別、跟蹤4 種狀態(tài)。 系統(tǒng)間歇性進入“搜索”狀態(tài),調(diào)整攝像頭位置以覆蓋預定義的搜索區(qū)域。 目標檢測是從視頻序列中分割運動目標。 目標識別是為確認目標,然后將目標傳遞給利用STT 進行幀到幀關聯(lián)的目標跟蹤。

2 基于深度學習的無人機視覺跟蹤

2.1 移動無人機的邊界框估計

邊界框估計的目的是為實現(xiàn)框架提供給定幀的前景目標的位置。 其主要挑戰(zhàn)包括由于相機運動產(chǎn)生的模糊、相機傳感器產(chǎn)生的噪聲以及移動物體碎片。 使用基于深度學習的目標檢測器或統(tǒng)計背景建模來識別前景,可以有效地解決該挑戰(zhàn)。 基于深度學習的目標檢測器可用于對底層深度神經(jīng)網(wǎng)絡訓練的某些目標執(zhí)行定位和識別。 雖然這種檢測器已經(jīng)得到了成功的應用,但目前僅限于離線處理。 而在實時性要求較高的場景下,使用高清圖像時的計算負擔限制了它們在遠程實時視覺伺服的引用。

運動目標檢測可以通過使用高斯混合建模的統(tǒng)計背景模型進行背景差分。 筆者測試了5 種不同的背景差分模型:混合高斯(Mixture of Gaussian,MOG),MOG2,GMG,CNT 和k 最近鄰(k-nearest neighbor,KNN)差分法[6-7]。

MOG 背景差分法用一組高斯分布的混合減去每個背景像素。 在算法的每個階段都采用了更新函數(shù),以加快后臺學習過程。 MOG2 算法通過自動選擇混合的數(shù)量來改進MOG,提高對光照變化的彈性和對不同環(huán)境的適應性。 GMG 算法在統(tǒng)計估計背景圖像的同時,對每個像素使用貝葉斯分割,并通過啟發(fā)式置信度水平選擇性地應用濾波算法。 CNT 是基于計算像素穩(wěn)定性的時間。 KNN 背景差分法使用k 近鄰方法根據(jù)樣本密度確定內(nèi)核大小,這比使用固定內(nèi)核大小產(chǎn)生更好的性能。

MOG,MOG2 和GMG 模型都存在分割問題,其中前景目標顯示為單獨的斑點。 盡管MOG2 在三者中提供了最小的碎片,但涉及多個移動目標的某些場景會導致失敗。 盡管并行CNT 是一種低成本的算法,但高頻紋理的存在導致分割不穩(wěn)定。 與所有方法相比,KNN 產(chǎn)生的碎片數(shù)量最少,并且使用核大小為5px 的圓形中值濾波器可以消除噪聲。 因此,在本系統(tǒng)中采用KNN 模型。

2.2 面向無人機識別的卷積神經(jīng)網(wǎng)絡

預訓練的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)在識別形狀相似的物體方面表現(xiàn)出良好的性能。 在文獻中常用的ResNet50 作為目標分類器。 雖然也可以使用其他最先進的分類框架,如VGG,DenseNet,GoogLeNet 和Inception 等。 但ResNet50 提供了實現(xiàn)系統(tǒng)所需的性能。

ResNet 架構(gòu)引入了殘差連接,其中兩個連續(xù)卷積層的輸出跳過下一層的輸入。 由此產(chǎn)生的體系結(jié)構(gòu)改進了梯度流,允許更深層次的網(wǎng)絡實現(xiàn)。 本文提出對ResNet-50 架構(gòu)進行修改,即對邊界框檢測器檢測到的前景目標執(zhí)行二進制分類。 由于缺乏對商用無人機進行分類的數(shù)據(jù)集,本文收集了各種無人機的內(nèi)部無人機數(shù)據(jù)集。 無人機二值分類器的大部分正圖像是在室內(nèi)和室外飛行中采集的。 一些圖像是從網(wǎng)上公開的數(shù)據(jù)集和百度圖像搜索中收集的。 結(jié)果數(shù)據(jù)集有近10 000 個無人機樣本。 從ImageNet 數(shù)據(jù)集和內(nèi)部鏡頭背景中隨機抽取訓練過程中匹配數(shù)量的反面例子,得到超過5 萬張訓練圖像。

在訓練過程中遇到的問題包括訓練數(shù)據(jù)和測試數(shù)據(jù)之間的光照條件差異,滾動快門相機造成的模糊,以及圖像遮擋等。 在訓練期間應用歸一化轉(zhuǎn)換、旋轉(zhuǎn)和部分縮放候選區(qū)域的樣本來增強數(shù)據(jù)集,以及用噪聲破壞40%的圖像(即加性高斯噪聲和恒定偏差、模糊、部分遮擋、水平鏡像),以提高魯棒性。

2.3 PTZ 相機的視覺伺服設計

利用從第一節(jié)獲得的目標邊界框,可實現(xiàn)STT 的初始化。 使用核相關濾波器(kernelized correlation filter,KCF)跟蹤算法作為基礎[8]。 該算法的不足在于缺乏規(guī)模適應能力。 因此,本文提出在空間正則化判別相關濾波器跟蹤算法下,引入預定義的濾波器加權策略。

3 實驗驗證

本文將通過室內(nèi)測試,來驗證提出的系統(tǒng)在跟蹤和位置估計方面的性能。 實驗中設定的飛行時間160 s。 使用3 個解耦PID 控制器,根據(jù)跟蹤器的輸出調(diào)整攝像機的PTZ 參數(shù)。 影響平移和傾斜參數(shù)的定位誤差定義為邊界框質(zhì)心與圖像中心之間的像素差,而縮放誤差則與邊界框內(nèi)像素與整體圖像像素的比值有關。 實驗過程中,將比例誤差、積分誤差和導數(shù)誤差系數(shù)設置為kp=1.2,ki=0.1,kd=0.1;這些參數(shù)是使用大疆Mavic Pro 無人機在距離相機5 m 的距離手動調(diào)整為1 倍的變焦。

如果系統(tǒng)能夠?qū)崿F(xiàn)當無人機不在相機的FoV 時不跟蹤,并且無人機在相機的FoV 時跟蹤,則認為所設計的跟蹤系統(tǒng)是有效的。 相反的,如果系統(tǒng)跟蹤非無人機目標,或未跟蹤無人機則認為系統(tǒng)無效。 通過統(tǒng)計在160 s 飛行時間內(nèi),有效跟蹤的時間占比來衡量系統(tǒng)的有效性。 統(tǒng)計結(jié)果表明總體跟蹤成功率為71.2%。

基于檢測到的無人機寬度和縮放因子,可以僅從視覺輸入和已知距離上檢測到的無人機寬度的先驗知識對無人機位置進行估計。 本文將軌跡估計的誤差與視覺跟蹤系統(tǒng)提供的真實值進行比較,計算了3個方向,以及位置估計的均方根誤差(RMSE)。 結(jié)果如表1 所示。

表1 估計的均方根誤差

實驗結(jié)果表明,在3 個方向上以及位置估計誤差均小于1 m,跟蹤誤差較小,由此進一步證明了所設計系統(tǒng)的有效性。

4 結(jié)語

本文設計了一種面向商用無人機視覺跟蹤系統(tǒng)。該系統(tǒng)借助現(xiàn)有的背景模型、目標分類器來實現(xiàn)自動化的無人機跟蹤問題,且無需手動初始化初始目標。實驗結(jié)果表明,在室內(nèi)場景下其成功率為71.2%。 此外,無人機的三維位置估計均方根誤差僅為0.76 m。實驗結(jié)果驗證了系統(tǒng)的跟蹤性能。