田少兵 朱興動 范加利 王正
摘 要: 面向航空母艦艦載機調(diào)運作業(yè)過程中安全引導(dǎo)、 運動狀態(tài)實時監(jiān)控, 針對傳統(tǒng)的基于檢測的目標(biāo)跟蹤算法跟蹤性能不佳且易受干擾的問題, 提出了將YOLO v3目標(biāo)檢測算法和卡爾曼濾波相結(jié)合的艦載機多目標(biāo)實時跟蹤算法。 通過K-means聚類算法優(yōu)化了原YOLO v3算法的錨點框大小, 結(jié)合卡爾曼濾波算法對艦面艦載機目標(biāo)實現(xiàn)有效的跟蹤, 并在自建的艦載機多目標(biāo)跟蹤數(shù)據(jù)集和MOT16多目標(biāo)跟蹤數(shù)據(jù)集上與基于光流法的跟蹤算法、 SORT多目標(biāo)跟蹤算法進行了對比實驗。 結(jié)果表明, 本文提出的跟蹤算法準(zhǔn)確性、 魯棒性、 穩(wěn)定性更高, 且當(dāng)目標(biāo)框?qū)挾取?高度發(fā)生突變時具有較強的適應(yīng)能力。
關(guān)鍵詞:目標(biāo)檢測; 卡爾曼濾波; 匈牙利算法; 目標(biāo)跟蹤; 深度學(xué)習(xí)
中圖分類號:TJ760; TP391? 文獻標(biāo)識碼:??? A? 文章編號:1673-5048(2021)04-0049-07
0 引? 言
航空母艦是國之重器, 艦載機是航空母艦的主要作戰(zhàn)武器, 其在航空母艦艦面作業(yè)過程中的安全保障問題尤為重要。 隨著計算機視覺技術(shù)在國防軍事領(lǐng)域的廣泛應(yīng)用, 對航空母艦艦面作業(yè)的艦載機目標(biāo)進行實時跟蹤, 可實時獲得艦載機運動狀態(tài)信息, 分析其運動軌跡, 從而對艦載機調(diào)運進行安全引導(dǎo), 以保障艦載機裝備安全。
多目標(biāo)跟蹤是計算機視覺領(lǐng)域的研究熱點, 可以分為基于檢測的跟蹤和非基于檢測的跟蹤。 前者需要在跟蹤過程中對每一幀圖像進行目標(biāo)檢測, 跟蹤數(shù)量可隨著攝像機視野內(nèi)的目標(biāo)數(shù)目變化而變化, 適用于場景目標(biāo)數(shù)量多變的情況, 但跟蹤性能依賴于目標(biāo)檢測的性能。 后者需要在視頻第一幀手動標(biāo)注目標(biāo)初始位置。 跟蹤過程中目標(biāo)數(shù)量固定, 不能適應(yīng)目標(biāo)數(shù)目變化的場景, 具有很大的局限性。 隨著檢測算法的不斷發(fā)展, 基于檢測的多目標(biāo)跟蹤方法更受青睞。 文獻[1]采用背景幀差分法對紅外目標(biāo)進行識別, 之后通過卡爾曼濾波對紅外目標(biāo)進行預(yù)測跟蹤, 但由于幀差法要不停地調(diào)整速度快慢來調(diào)節(jié)幀間時間間隔, 會出現(xiàn)不同連續(xù)的空洞, 導(dǎo)致有時會檢測出不完整的目標(biāo)輪廓, 且對噪音干擾的魯棒性較差, 跟蹤準(zhǔn)確率不高。 文獻[2]提出一種將光流法和卡爾曼濾波相結(jié)合的目標(biāo)跟蹤方法, 但由于光流法容易受光線、 抖動等無關(guān)運動的因素干擾, 且實時性較差, 跟蹤的準(zhǔn)確性和實時性都不高。 可見, 傳統(tǒng)的基于檢測的跟蹤算法對環(huán)境干擾適應(yīng)能力差, 跟蹤準(zhǔn)確率不高。 隨著基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法迅速發(fā)展, 其檢測和跟蹤的魯棒性、 準(zhǔn)確性大大提高, 逐步取代了傳統(tǒng)檢測算法。 文獻[3]將基于MobileNet的目標(biāo)檢測算法與Deep-SORT多目標(biāo)跟蹤算法相結(jié)合, 算法的實時性得到了顯著提高。 文獻[4]采用Faster R-CNN算法對坦克目標(biāo)進行檢測, 之后基于跟蹤-學(xué)習(xí)-檢測框架實現(xiàn)對目標(biāo)的跟蹤, 跟蹤準(zhǔn)確率大大提升。
艦載機在航空母艦艦面上執(zhí)行調(diào)運任務(wù)具有不確定性, 因此, 視野內(nèi)艦載機數(shù)目呈不確定性變化, 且艦載機跟蹤準(zhǔn)確性要求高, 綜合考慮, 采用基于智能目標(biāo)檢測的跟蹤算法對航空母艦艦面艦載機目標(biāo)進行實時跟蹤, 旨在解決傳統(tǒng)檢測跟蹤算法準(zhǔn)確性、 魯棒性不高的問題。 選取實時性強且檢測準(zhǔn)確率較高的YOLO v3目標(biāo)檢測算法對艦載機進行目標(biāo)位置檢測,? 并結(jié)合卡爾曼濾波器對跟蹤目標(biāo)序列進行目標(biāo)位置更新, 實現(xiàn)了對艦載機目標(biāo)的實時跟蹤。
1 算法概述
首先采用YOLO v3目標(biāo)檢測算法對當(dāng)前視頻幀中的艦載機目標(biāo)進行檢測, 接著通過匈牙利算法對當(dāng)前檢測的艦載機目標(biāo)和上一幀艦載機跟蹤目標(biāo)進行數(shù)據(jù)關(guān)聯(lián), 得到關(guān)聯(lián)的目標(biāo)框, 然后基于卡爾曼濾波器預(yù)測階段對前一幀跟蹤目標(biāo)序列進行預(yù)測, 得到當(dāng)前幀預(yù)測的跟蹤目標(biāo)序列, 接著將關(guān)聯(lián)的目標(biāo)框作為觀測量對預(yù)測的跟蹤序列進行修正更新, 得到當(dāng)前幀跟蹤目標(biāo)序列的更新結(jié)果, 跟蹤算法框架如圖1所示。
2 YOLO v3目標(biāo)檢測算法
2.1 算法簡介
YOLO v3屬于單階段檢測算法[5-7], 將目標(biāo)檢測的各個部分統(tǒng)一到神經(jīng)網(wǎng)絡(luò)中, 目標(biāo)位置回歸與目標(biāo)分類預(yù)測同步進行, 實現(xiàn)了端到端的目標(biāo)檢測, 檢測實時性強、 準(zhǔn)確率較高。
YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。將輸入圖像分成S×S的網(wǎng)格。 如果圖像中有一個目標(biāo)的中心落入某個網(wǎng)格中, 則該網(wǎng)格負(fù)責(zé)預(yù)測此目標(biāo)。 每個網(wǎng)格都會預(yù)測B個目標(biāo)邊界框, 每個邊界框包含目標(biāo)邊界框的位置偏移參數(shù)(tx, ty, tw, th)、 目標(biāo)置信度c和C個類別概率。 c是邊界框中是否含有目標(biāo)及對其預(yù)測準(zhǔn)確性的判斷:
c=P(object)×IOUtruthpred(1)
若網(wǎng)格中含有目標(biāo), 則P(object)=1, 反之P(object)=0。 IOUtruthpred表示目標(biāo)的真實邊界框與預(yù)測邊界框的交并比, 計算公式為
IOUtruthpred=area(pred)∩area(truth)area(pred)∪area(truth)(2)
類別概率用P(classi|object)表示, 則有
P(classi|object)*P(object)×IOUtruthpred=P(classi)*IOUtruthpred(3)
等式結(jié)果表示邊界框各個類別的置信度分?jǐn)?shù), 這些分?jǐn)?shù)同時包含了某一類別出現(xiàn)在邊界框中的概率, 以及邊界框預(yù)測目標(biāo)分類的準(zhǔn)確度。
隨著網(wǎng)絡(luò)的不斷加深, 訓(xùn)練時會出現(xiàn)梯度消失的問題, YOLO v3將Darknet-53網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò), 類似于特征金字塔網(wǎng)絡(luò)的結(jié)構(gòu)提取圖像特征, 并進行多尺度融合[8-9], 旨在提取更深層次的圖像特征, 提高模型的準(zhǔn)確率。 在每個尺度上面生成3個anchor, 用于預(yù)測目標(biāo)邊界框的位置, 最終網(wǎng)絡(luò)輸出一個三維向量, 包含4個位置參數(shù)、 1個目標(biāo)置信度參數(shù)、 class_num個目標(biāo)類別參數(shù), 因此三維向量為N×N×[3-(4+1+class_num)], N×N為劃分的網(wǎng)格數(shù), 即13×13。
2.2 基于聚類的anchor生成方案
YOLO v3算法在PASCAL VOC數(shù)據(jù)集上聚類而成的預(yù)先anchor大小, 雖然具有泛化能力, 但是對于只有一種檢測類別而言, 原始的anchor方案并不適合網(wǎng)絡(luò)模型訓(xùn)練的要求。 因此, 本文在構(gòu)建的艦載機數(shù)據(jù)集上進行anchor聚類, 這樣在邊界框回歸時, 能夠提高回歸工作效率, 加快網(wǎng)絡(luò)訓(xùn)練收斂時間, 提高檢測精度[10]。
原K-means聚類算法通常將歐氏距離作為評價相似性的準(zhǔn)則函數(shù), 本文需要對候選框的寬度和高度進行聚類, 若采用歐氏距離作為評價指標(biāo), 則會造成大候選框比小候選框的誤差更大, 因此, 用聚類中心對應(yīng)的框與周圍各候選框的IOU值來衡量兩者的差異, 則聚類目標(biāo)函數(shù)定義為
d(box, center)=min∑ki∑nj(1-IOU(boxj, centeri))(4)
式中: k為聚類中心個數(shù); n為數(shù)據(jù)集大小; IOU(boxj, centeri)為兩者面積交并比; boxj為數(shù)據(jù)集中每個艦載機尺寸; centeri為預(yù)設(shè)的聚類中心。
3 基于卡爾曼濾波的多目標(biāo)跟蹤
3.1 艦載機目標(biāo)位置預(yù)測
卡爾曼濾波預(yù)測艦載機目標(biāo)位置可分為兩個階段:預(yù)測階段和更新階段。 預(yù)測階段主要根據(jù)前一幀圖像跟蹤目標(biāo)的位置來預(yù)測當(dāng)前幀目標(biāo)的位置; 更新階段主要根據(jù)當(dāng)前幀檢測到的艦載機目標(biāo)位置來更新預(yù)測階段的艦載機目標(biāo)位置[11-14]。
假設(shè)X(k|k)為第k幀圖像艦載機目標(biāo)的位置, F為狀態(tài)轉(zhuǎn)移矩陣, P(k|k)為第k幀圖像艦載機目標(biāo)位置的誤差協(xié)方差矩陣, Q為過程噪聲。 則預(yù)測階段方程為
X(k+1|k)=FX(k|k)(5)
P(k+1|k)=FP(k|k)FT+Q(6)
式中: X(k+1|k)為預(yù)測的第k+1幀的艦載機目標(biāo)的位置;? P(k+1|k)為預(yù)測的第k+1幀的誤差協(xié)方差矩陣。
假設(shè)H為觀測矩陣, Y(k+1)為第k+1幀檢測的艦載機目標(biāo)位置, R為觀測噪聲, ε(k+1)為第k+1幀艦載機目標(biāo)檢測位置與預(yù)測位置之間的殘差, K(k+1)為第k+1幀的卡爾曼增益, X(k+1|k+1)為第k+1幀艦載機目標(biāo)位置的更新值, P(k+1|k+1)為第k+1幀艦載機目標(biāo)位置誤差協(xié)方差矩陣的更新值。 則更新階段方程為
K(k+1)=P(k+1|k)HT(HP(k+1|k)HT+R)-1(7)
ε(k+1)=Y(k+1)-HX(k+1|k)(8)
X(k+1|k+1)=X(k+1|k)+K(k+1)ε(k+1)(9)
P(k+1|k+1)=(I-K(k+1)H)P(k+1|k)(10)
Q和R為不相關(guān)的服從高斯分布的白噪聲, 將第一幀視頻檢測的艦載機目標(biāo)位置X(0)=x1, x·1, y1, y·1, x2, x·2, y2,? y·2T作為初始狀態(tài), (x1,? y1)和(x2,? y2)分別為目標(biāo)框左上角、 右下角的坐標(biāo), x·1,? y·1和x·2,? y·2分別為其導(dǎo)數(shù)。 由于艦載機在航空母艦上調(diào)運時速度較慢, 可以看成為恒定速度, 沒有加速度, 因此定義狀態(tài)轉(zhuǎn)移矩陣F=110111018×8, 觀測器只輸出目標(biāo)框的坐標(biāo), 定義觀測矩陣H=10000000001000000000100000000010, 初始化協(xié)方差矩陣定義為P(0)=10.010.08×8, 初始化觀測噪聲矩陣定義為R(0)=10.010.04×4, 初始化過程噪聲矩陣定義為Q(0)=0.250.50.510.250.50.518×8。
3.2 目標(biāo)關(guān)聯(lián)與跟蹤管理
匈牙利算法主要用于解決二分圖的指派問題, 與最近鄰域算法、 概率數(shù)據(jù)關(guān)聯(lián)算法(PDA)、 聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法(JPDA)等相比, 時間、 空間復(fù)雜度較低, 因此將其作為檢測目標(biāo)和跟蹤目標(biāo)的關(guān)聯(lián)算法。 假設(shè)在第k幀視頻中已經(jīng)跟蹤到的艦載機目標(biāo)數(shù)目為N, 將其記為T={t1,? t2,? …,? tn}, 在k+1幀視頻中檢測出的艦載機數(shù)目為M, 將其記為D={d1,? d2,? …,? dm}。 將跟蹤集T和檢測集D進行匹配, 使幀與幀間保持關(guān)聯(lián), 繼承目標(biāo)的ID。 以跟蹤目標(biāo)框和檢測目標(biāo)框面積的IOU為關(guān)聯(lián)依據(jù), 得到匹配關(guān)聯(lián)矩陣C。 目標(biāo)關(guān)聯(lián)示意圖如圖3所示。
從而可得
ci,? j=IOU(ti,? dj)(11)
矩陣R表示跟蹤目標(biāo)與檢測目標(biāo)之間的關(guān)聯(lián)關(guān)系, 當(dāng)ri,? j為1時, 表示第i個跟蹤目標(biāo)和第j個檢測目標(biāo)相匹配, 同時在關(guān)聯(lián)過程中, 必須滿足一個跟蹤目標(biāo)只能匹配一個檢測目標(biāo), 即滿足
max∑Ni=1∑Mj=1ci,? jri,? j?? s.t.∑Ni=1ri,? j=1∑Mj=1ri,? j=1ri,? j=0,? 1 (12)
艦載機多目標(biāo)實時跟蹤還需考慮跟蹤列表的更新, 即跟蹤目標(biāo)的創(chuàng)建和刪除。 考慮到檢測算法可能出現(xiàn)的誤檢情況, 如果出現(xiàn)了連續(xù)3幀某個檢測目標(biāo)沒有與現(xiàn)有的跟蹤軌跡相關(guān)聯(lián), 此時認(rèn)為出現(xiàn)了新的目標(biāo), 即將這個目標(biāo)添加至跟蹤列表, 并分配相應(yīng)的ID。 艦載機在艦面運動速度約為1 m/s, 相機拍攝視頻的幀率可達25幀, 誤差最大可接受為0.2 m, 因此, 若某個跟蹤目標(biāo)連續(xù)5幀沒有相應(yīng)的檢測目標(biāo)相匹配, 則認(rèn)為此跟蹤目標(biāo)消失, 可從跟蹤列表中刪除此跟蹤目標(biāo)。
4 實驗結(jié)果及分析
4.1 anchor聚類分析
由于參與訓(xùn)練的1 500多張圖片數(shù)據(jù)尺寸不盡相同, 因此在聚類之前先對各個數(shù)據(jù)集進行歸一化。 結(jié)果如圖4所示。 之后分別將聚類中心設(shè)置為5~9, 得到數(shù)據(jù)集中所有聚類集合的平均IOU值變化曲線如圖5所示。
由圖5可知, 聚類中心越多時, 平均IOU值越大, 說明此時數(shù)據(jù)聚類分布越能體現(xiàn)真實的艦載機目標(biāo)框尺寸分布。 但是由于聚類越多, 候選框的數(shù)量就越多, 計算量也隨之增大, 因此選擇與原YOLO算法相同的9個聚類, 最終的聚類分布如圖6所示。
將各聚類中心乘以網(wǎng)絡(luò)輸入尺寸大小416, 得到最終的9對anchor的尺寸分別為[136,? 91]、 [176,? 94]、 [141,? 138]、 [211,? 156]、 [190,? 120]、 [174,? 190]、 [251,? 132]、 [280,? 185]、 [208,? 245], 將以上anchor作為預(yù)先anchor進行網(wǎng)絡(luò)模型訓(xùn)練。
4.2 網(wǎng)絡(luò)訓(xùn)練及測試
實驗的硬件環(huán)境為Inter Xeon@ Silver 4110, GPU為NVIDIA RTX 2080Ti, 8GB顯存。 實驗在Ubuntu16.04系統(tǒng)上進行, 深度學(xué)習(xí)框架選用tensorflow。
訓(xùn)練時, 學(xué)習(xí)率設(shè)置從0.000 1到0.000 001遞減, 衰減系數(shù)為0.999 5, 訓(xùn)練迭代次數(shù)為45 000次, 訓(xùn)練批量數(shù)據(jù)大小設(shè)置為8, 并且對原數(shù)據(jù)進行數(shù)據(jù)增強, 以提高模型的泛化性能。
采用不同的anchor生成方案進行訓(xùn)練, 得到總損失函數(shù)收斂圖如圖7所示。
選取平均精度(Average Precision, AP)作為衡量模型的指標(biāo), 其計算公式為
AP=∫01P(R)dR(13)
式中: P為準(zhǔn)確率; R為召回率。
不同檢測算法對比如表1所示。 圖7和表1結(jié)果說明, 經(jīng)過K-means聚類后, 模型更容易趨于收斂, 訓(xùn)練時間縮短了0.4 h, 提高了訓(xùn)練效
率。 在100張圖片上進行模型測試, 結(jié)果表明, 使用K-means對本文數(shù)據(jù)集聚類之后, 算法準(zhǔn)確性提高了約2%。 同時, 與Faster R-CNN相比, 本文算法雖然準(zhǔn)確率相差約4%, 但算法的實時性高出1倍左右, 在檢測精度滿足要求的前提下, 本文算法實時性更高。 艦載機目標(biāo)檢測效果圖如圖8所示。
4.3 目標(biāo)跟蹤實驗
采用多目標(biāo)跟蹤準(zhǔn)確度(Multi-Object Tracking Accuracy, MOTA)和多目標(biāo)跟蹤精確度(Multi-Object Tracking Precision, MOTP)衡量算法的性能, 定義如下:
MOTA=1-∑t(mt+fpt+mmet)∑tgt(14)
式中: mt, fpt, mmet分別為視頻序列第t幀漏檢、 誤檢和錯誤關(guān)聯(lián)匹配的數(shù)量; gt為第t幀真實標(biāo)注的目標(biāo)個數(shù)。
MOTP=∑i,? tdit∑tct(15)
式中: dit為第i個目標(biāo)匹配成功時的檢測目標(biāo)框與跟蹤目標(biāo)框之間面積的IOU值; ct為第t幀成功匹配的目標(biāo)數(shù)量。
良好的檢測是跟蹤的基礎(chǔ), 檢測算法的性能直接影響跟蹤的效果, 將本文提出的跟蹤算法與文獻[2]中的基于光流法和卡爾曼濾波的跟蹤算法、 SORT多目標(biāo)跟蹤算法目標(biāo)實驗對比, 以驗證本文提出算法的魯棒性、 準(zhǔn)確性。
(1) 本文算法與文獻[2]算法對比
在本文的艦載機目標(biāo)跟蹤數(shù)據(jù)集上實驗, 對比文獻[2]算法與本文跟蹤算法的性能, 實驗結(jié)果見表2。
由表2結(jié)果可知, 相比于文獻[2]中的跟蹤算法, 本文提出的跟蹤算法誤檢數(shù)、 漏檢數(shù)、 ID跳變數(shù)均得到了大幅改善, 跟蹤準(zhǔn)確度提高了約10%, 跟蹤精確度提高了約12%, 原因在于基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法提高了檢測的準(zhǔn)確性、 魯棒性, 并結(jié)合卡爾曼濾波跟蹤, 實現(xiàn)了對航空母艦艦面艦載機的準(zhǔn)確穩(wěn)定跟蹤。 艦載機目標(biāo)跟蹤測試結(jié)果如圖9所示。
(2) 本文算法與SORT算法對比
多目標(biāo)跟蹤SORT算法[15]選用X=[u,? v,? s,? r,? u·,? v·,?? s·]T作為狀態(tài)量, 其中u,? v,? s,? r分別表示目標(biāo)框的中心坐標(biāo)、 面積和寬高比。 SORT算法認(rèn)為寬高比是常數(shù), 這就造成在目標(biāo)框的寬高比發(fā)生變化時不能準(zhǔn)確地進行跟蹤[16]。 以檢測到的目標(biāo)框為實際位置, 分別將本文算法和SORT算法預(yù)測出的目標(biāo)框參數(shù)轉(zhuǎn)換成(cx,? cy,? w,? h)與其進行實驗比較, cx, cy為目標(biāo)框的中心坐標(biāo), w和h分別為目標(biāo)框的寬度和高度。
圖10為SORT算法和本文算法所跟蹤的目標(biāo)框與實際檢測目標(biāo)框的中心坐標(biāo)誤差對比, 圖11為跟蹤目標(biāo)框的寬度、 高度誤差對比。 在攝像機視野范圍內(nèi), 艦載機在1~220幀之間由遠到近運動, 230~250幀之間做轉(zhuǎn)向運動, 350幀之后艦載機離開視野。
由圖10~11和表3可知, 當(dāng)艦載機在圖像視野范圍內(nèi)由遠到近運動時, SORT算法和本文算法都能對目標(biāo)實現(xiàn)較好的跟蹤, 誤差值對于艦載機目標(biāo)框大小可忽略不計。 但相比于SORT算法, 本文算法誤差相對較小。
艦載機做轉(zhuǎn)向運動時, SORT算法的誤差明顯高本文算法,? 誤差值約為本文算法的2倍。? 原因是當(dāng)艦載
機做轉(zhuǎn)向運動時, 其跟蹤框的寬度、 高度發(fā)生突變, 而SORT算法是將跟蹤框的寬高比看做常數(shù), 因此, 其在面對寬度、 高度發(fā)生突變時的適應(yīng)性不強, 誤差較大, 本文算法雖然有一定誤差, 但可以適應(yīng)這種突變。
當(dāng)艦載機離開視野時, 由于目標(biāo)實際可見區(qū)域變小導(dǎo)致檢測不準(zhǔn)確, 因此, SORT跟蹤算法與本文跟蹤算法寬度、 高度誤差都相對較大。
在MOT16多目標(biāo)跟蹤數(shù)據(jù)集上實驗, 對比本文跟蹤算法和SORT多目標(biāo)跟蹤算法的性能。 測試結(jié)果如表4所示。
表4結(jié)果表明, 本文提出的多目標(biāo)跟蹤算法誤檢數(shù)、 漏檢數(shù)、 ID跳變次數(shù)相比于SORT算法均有所降低, MOTA提升了約1.2%, 表明本文算法更加穩(wěn)定可靠, MOTP相比于SORT算法提升了約0.3%, 表明在跟蹤精確度方面也有所改善, 總而言之, 相比于SORT算法, 本文算法穩(wěn)定性、 準(zhǔn)確性更高。
5 結(jié)? 論
本文針對傳統(tǒng)基于檢測的目標(biāo)跟蹤算法對環(huán)境干擾適應(yīng)能力差, 且跟蹤準(zhǔn)確率不高的問題, 提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的YOLO v3目標(biāo)檢測算法和卡爾曼濾波相結(jié)合的多目標(biāo)跟蹤方法, 使用K-means聚類算法對原YOLO v3算法的錨點框進行優(yōu)化, 提高了訓(xùn)練效率和檢測的準(zhǔn)確率, 并結(jié)合卡爾曼濾波器對航空母艦艦面多艦載機目標(biāo)實現(xiàn)了有效的跟蹤。 與基于光流法的目標(biāo)跟蹤算法、 SORT多目標(biāo)跟蹤算法進行實驗對比, 結(jié)果表明本文算法具有更高的準(zhǔn)確性和魯棒性。 下一步將致力于增強艦面其他目標(biāo)對艦載機干擾下的算法跟蹤能力。
參考文獻:
[1] 婁康,? 朱志宇,? 葛慧林. 基于目標(biāo)運動特征的紅外目標(biāo)檢測與跟蹤方法[J]. 南京理工大學(xué)學(xué)報,? 2019,? 43(4): 455-461.
Lou Kang,? Zhu Zhiyu,? Ge Huilin. Infrared Target Detection and Tracking Method Based on Target Motion Feature[J]. Journal of Nanjing University of Science and Technology,? 2019,? 43(4): 455-461.(in Chinese)
[2] 石龍偉,? 鄧欣,? 王進,? 等. 基于光流法和卡爾曼濾波的多目標(biāo)跟蹤[J]. 計算機應(yīng)用,? 2017,? 37(S1): 131-136.
Shi Longwei,? Deng Xin,? Wang Jin,? et al. Multiple Object Tracking Based on Optical Flow and Kalman Filtering[J]. Journal of Computer Applications,? 2017,? 37(S1): 131-136.(in Chinese)
[3] 薛俊韜, 馬若寒, 胡超芳. 基于MobileNet的多目標(biāo)跟蹤深度學(xué)習(xí)算法[J/OL]. 控制與決策, 2020. DOI: 10.13195/j.kzyjc.2019.1424.
Xue Juntao,? Ma Ruohan,? Hu Chaofang. Deep Learning Algorithm Based on MobileNet for Multi-Target Tracking[J/OL].Control and Decision,? 2020. DOI: 10.13195/j.kzyjc.2019.1424. (in Chinese)
[4] 王全東,? 常天慶,? 張雷,? 等. 基于深度學(xué)習(xí)算法的坦克裝甲目標(biāo)自動檢測與跟蹤系統(tǒng)[J]. 系統(tǒng)工程與電子技術(shù),? 2018,? 40(9): 2143-2156.
Wang Quandong,? Chang Tianqing,? Zhang Lei,? et al. Automatic Detection and Tracking System of Tank Armored Targets Based on Deep Learning Algorithm[J]. Systems Engineering and Electronics,? 2018,? 40(9): 2143-2156. (in Chinese)
[5] Redmon J,? Divvala S,? Girshick R,? et al. You only Look Once: Unified,? Real-Time Object Detection[EB/OL].
(2016-09-23)[2020-07-22]. https:∥arxiv.org/ abs/1506.02640.
[6] Redmon J,? Farhadi A. YOLO9000: Better,? Faster,? Stronger[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition,? 2017: 6517-6525.
[7] Redmon J,? Farhadi A. YOLO v3: An Incremental Improvement [EB/OL]. (2018-04-08)[2020-07-22]. https:∥ arxiv .org /abs /1804.02767.
[8] 陳詠秋,? 孫凌卿,? 張永澤,? 等. 基于YOLO v3的輸電線路鳥類檢測技術(shù)研究[J]. 計算機工程,? 2020,? 46(4): 294-300.
Chen Yongqiu,? Sun Lingqing,? Zhang Yongze,? et al. Research on Bird Detection Technology for Electric Transmission Line Based on YOLO v3[J]. Computer Engineering,? 2020,? 46(4): 294-300.(in Chinese)
[9] 張迪, 樊紹勝.基于YOLO v3的輸電線路故障檢測方法[J]. 自動化技術(shù)與應(yīng)用, 2019,? 38(7): 125-129.
Zhang Di,? Fan Shaosheng. Fault Detection of Transmission Line Based on YOLO v3[J]. Techniques of Automation and Applications,? 2019,? 38(7): 125-129. (in Chinese)
[10] 胡超超,? 劉軍,? 張凱,? 等. 基于深度學(xué)習(xí)的行人和騎行者目標(biāo)檢測及跟蹤算法研究[J]. 汽車技術(shù),? 2019(7): 19-23.
Hu Chaochao,? Liu Jun,? Zhang Kai,? et al. Research on Target Detection and Tracking of Pedestrian and Cyclist Based on Deep Learning[J]. Automobile Technology,? 2019(7): 19-23. (in Chinese)
[11] 楊磊. 智能視頻監(jiān)控系統(tǒng)中的目標(biāo)檢測和多目標(biāo)跟蹤技術(shù)研究[D]. 南京: 南京航空航天大學(xué),? 2019.
Yang Lei. Research on Object Detection and Multi-Object Tracking Technology in Intelligent Video Surveillance System[D]. Nanjing: Nanjing University of Aeronautics and Astronautics,? 2019.(in Chinese)
[12] 陳志鴻,? 黃立勤. 基于卡爾曼濾波和多種信息融合的在線多目標(biāo)跟蹤算法[J]. 信息通信,? 2019,? 32(3): 35-38.
Chen Zhihong,? Huang Liqin. Online Multi-Target Tracking Algorithm Based on Kalman Filtering and Multiple Information Fusion[J]. Information & Communications,? 2019,? 32(3): 35-38.(in Chinese)
[13] 趙廣輝,? 卓松,? 徐曉龍. 基于卡爾曼濾波的多目標(biāo)跟蹤方法[J]. 計算機科學(xué),? 2018,? 45(8): 253-257.
Zhao Guanghui,? Zhuo Song,? Xu Xiaolong. Multi-Object Tracking Algorithm Based on Kalman Filter[J]. Computer Science,? 2018,? 45(8): 253-257. (in Chinese)
[14] 宋歡歡. 基于深度特征共享的行人檢測與跟蹤研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué),? 2018.
Song Huanhuan. Pedestrian Detection and Tracking Based on Depth Feature Sharing[D]. Harbin: Harbin Institute of Technology,? 2018. (in Chinese)
[15] Alex B,? GR Z,? Lionel O,? et al. Simple Online and Realtime Tracking[C]∥IEEE International Conference on Image Processing (ICIP),? 2017.
[16] 何丹妮. 基于深度學(xué)習(xí)的多車輛檢測及跟蹤算法研究[D]. 大連: 大連理工大學(xué),? 2019.
He Danni. Research on Multi-Vehicle Detection and Tracking Algorithm Based on Deep Learning[D]. Dalian: Dalian University of Technology,? 2019. (in Chinese)
Research on Real-Time Tracking Algorithm for
Multi-Objects of Shipboard Aircraft Based on Detection
Tian Shaobing1*,? Zhu Xingdong2,? Fan Jiali1,? Wang Zheng1
(1.Department of Ship Surface Aviation Support and Station Management,? Naval Aviation
University (Qingdao Campus),? Qingdao 266041, China;
2. Coast Guard Academy,? Naval Aviation University,? Yantai 264001, China)
Abstract:? For safe guidance and real-time monitoring? of the shipboard aircraft during the operation, for traditional detection-based object tracking algorithms has poor tracking performance and susceptibility to interference, proposed the multi-object real-time tracking algorithm of shipboard aircraft that combined YOLO v3 object detection algorithm and Kalman filtering. The anchor size of the original YOLO v3 algorithm is optimized by the K-means clustering algorithm,? combined with the Kalman filter algorithm to achieve effective tracking of shipboard aircraft objects,? and compared with? object tracking algorithm based on optical flow and SORT multi-object tracking algorithm on self-built shipboard aircraft tracking dataset and MOT16 multi-object tracking dataset. The results show that the tracking algorithm proposed is more accurate,? robust and stable, and has strong adaptability when the object frame width and height change suddenly.
Key words:? object detection; Kalman filtering; Hungarian algorithm; object tracking; deep learning