摘要：在復(fù)雜地物類型背景條件下，多目標跟蹤算法通常表現(xiàn)出目標識別與跟蹤能力較差問題，特別在被其它地物遮擋后目標跟蹤丟失更嚴重。提出一種改進的基于多源特征提取與特征融合的多目標跟蹤算法。為提高目標在復(fù)雜背景下的空間分辨力，充分利用對異類物體判別能力較強的高層特征和針對同類不同物體判別能力較強的淺層特征，提高復(fù)雜背景下地物目標的識別能力。同時，為了解決物體被遮擋后導(dǎo)致跟蹤算法丟失目標問題，利用濾波器獲得追蹤目標的空間尺度大小，提高跟蹤算法的準確性與可靠性。實驗表明，多目標跟蹤算法識別目標的準確性可達87.5%，誤差在±2.31%左右，具有良好的尺度估計效果。

關(guān)鍵詞：機器視覺;特征融合;目標跟蹤;尺度估計;運動檢測

DOI： 10. 11907/rjdk.191604

開放科學(xué)（資源服務(wù)）標識碼（OSID）：

中圖分類號：TP312

文獻標識碼：A

文章編號：1672-7800（ 2020）004-0046-04

Research on Multi-target Tracking Algorithm for Complex Background

Based on Feature Fusion

WANG Zhi-yu1.2

（l.College of Computer Science arzd Engineering ， .Sh.andong Univer.sity of Scie，zce and Tech.nology ，

Qingda0 2665 90 ， Ch.ina ;

2. Huangrlao District Ch.inese Medicine. Hospital， Qingda0 266500 . Clzina ）

Abstract： In the context of conlplex object types， multi-target tracking algorithrus usually show poor target recognition and targettracking ability， especially after being occluded by other objects， u-hich will lead to the loss of tracking sef targets. A multi-fargettracking algorithm for rnulti-source feature extraction and feature fusion is proposed in order to improve the spatial resolving power of'neural networks. iuake f'ull use of' different depth f'eatures and high-level f'eatures that have strong discriminative ability for heteroge-neous objects and discriminate against different objects of the same kind. Strong shallow features and multi-source fusion for featuresare fully used to improve the recognition of ground objects. At the same time. in order to solve the problem that the tracking algorithmloses the target after the object is occluded. the scale filter is used to calculate the spatial scale of the target， and the performance ofthe iuulti-target tracking algorithm is improved. Field experiments show， that multi-target tracking algorithm can achieve target accura-cy of 87.5% ， error rate is +2.31% . and the algorithm has good scale estimation effect.Key Words ： machine vision ; feature fusion ; target tracking; scale estimation ;motion detection

O 引言

深度卷積神經(jīng)網(wǎng)絡(luò)可以提取并表達目標的深層特征，被廣泛用于提高目標追蹤算法的準確性，適用于運動目標軌跡不斷變化情況。但卷積預(yù)算過程中大量的矩陣操作導(dǎo)致計算量較大，影響多目標追蹤的時效性，為此學(xué)者進行了相關(guān)研究。如周奇等…利用多特征進行輪船運動目標的跟蹤和軌跡獲取;李寧寧等[2]利用基于中心對比的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)特定目標的跟蹤算法;馮樂樂等[3]基于連續(xù)幀神經(jīng)網(wǎng)絡(luò)實現(xiàn)行人的白動檢測。這些算法都有效利用了卷積神經(jīng)網(wǎng)絡(luò)強大的多尺度特征表達能力，但神經(jīng)網(wǎng)絡(luò)高層卷積層輸出特征尺寸較小，使用高層特征進行目標跟蹤時受各種外界因素的影響[5-6]較大，難以達到理想效為解決此問題，通過局部裁剪方式。[7]計算前一幀圖像的預(yù)測結(jié)果作為當(dāng)前幀的中心，根據(jù)濾波框架位置裁剪出一塊略大于目標尺寸的局部區(qū)域，通過圖像采樣處理，輸入到卷積神經(jīng)網(wǎng)絡(luò)。利用基于紋理和空間信息的多特征融合算法，通過目標的多尺度高層特征提高目標識別的準確性。

針對復(fù)雜場景圖像局部裁剪引起的運動目標跟蹤丟失等問題。[8-9]，本文提出一種改進的基于深度卷積特征融合的多目標跟蹤算法，利用多尺度融合特征提高目標的空間分辨能力和目標識別能力。

1 算法流程及步驟

傳統(tǒng)的目標檢測和跟蹤算法普遍利用梯度“0。、紋理llll和邊緣[12]等特征，在分離圖像前景和背景基礎(chǔ)上，采用特定模型在待檢測圖像中進行特征匹配。但是，這類方法通常實現(xiàn)起來比較復(fù)雜[13-14]，并且容易受到外界環(huán)境因素和目標自身形態(tài)變化的影響。在場景不受限制的條件下，人T設(shè)計的特征較難適應(yīng)各種動態(tài)變化[15];在實際應(yīng)用場景下，由于背景的復(fù)雜性和多樣性，造成運動目標檢測效果不佳。

本文針對復(fù)雜背景下多目標跟蹤問題，利用深度卷積模型VGG19，采用濾波器提取目標區(qū)域的多層次深度卷積特征，設(shè)計了改進的多目標跟蹤算法，主要包含目標定位、目標尺度計算和模型更新。本文提出的目標跟蹤算法框架如圖1所示。

1.1 定位階段

1.1.1 局部檢測模型

利用裁剪的目標局部區(qū)域，對多尺度目標圖像的深層特征進行特征提取和特征融合，通過改進的反卷積層，上采樣處理Conv5輸出特征圖，使其與Conv4層的特征圖尺寸大小相同。用兩個特征圖構(gòu)造一個疊加的高層特征圖，提取高層深度特征，得到局部檢測模型的預(yù)測輸出結(jié)果。

使用第一幀圖像進行訓(xùn)練。在局部檢測模型給定的目標框周圍，沿著目標框邊緣進行裁剪，將裁剪得到的局部區(qū)域圖像拉伸至VGG19網(wǎng)絡(luò)的輸入尺寸，并輸入到網(wǎng)絡(luò)得到特征圖，輸出預(yù)測追蹤目標在熱度圖上對應(yīng)的每個點出現(xiàn)的概率大小。

計算損失函數(shù)，實現(xiàn)局部檢測網(wǎng)絡(luò)訓(xùn)練。

其中，M，為局部檢測模型輸出，M2為目標熱度圖，它符合二維高斯分布，采用隨機梯度下降法進行模型參數(shù)的訓(xùn)練。

計算前一幀圖像預(yù)測的目標位置，并以該位置為中心進行目標局部區(qū)域的圖像裁剪。根據(jù)追蹤目標的預(yù)測熱度圖，計算概率最大的位置為當(dāng)前數(shù)據(jù)幀預(yù)測目標所在位置。

1.1.2 全局搜索模型

在目標檢測過程中，物體的遮擋、光照、陰影以及背景對象的移動等因素都會影響目標檢測和識別精度[16-17].本文使用Faster RCNN算法作為全局檢測模型，對目標框聚類分析，計算得到目標區(qū)域的權(quán)值。若超過設(shè)定的目標識別閾值，則將權(quán)值最高點作為目標新位置，繼續(xù)利用局部檢測模型進行特定目標的識別與跟蹤，如圖2所示。

本文設(shè)計了一種區(qū)域生成網(wǎng)絡(luò)優(yōu)化策略：①區(qū)分目標與背景類型，采取二分類標簽判定策略：背景標簽為O，目標標簽為1;②采樣區(qū)域生成網(wǎng)絡(luò)，生成一系列帶有權(quán)值的矩形區(qū)域框。

若局部檢測模型特征圖輸出的最高值大于給定閾值，則作為檢測目標位置。此時，將整張圖像輸入到全局檢測網(wǎng)絡(luò)中，預(yù)測出一組帶有權(quán)值的矩形候選框，獲得權(quán)值最高的候選區(qū)域。如果矩形框的權(quán)值大于給定閾值，則將其中心作為當(dāng)前數(shù)據(jù)幀目標所在位置，繼續(xù)利用局部檢測網(wǎng)絡(luò)并跟蹤目標。

1.2計算目標尺度

在追蹤目標對象過程中，不但要預(yù)測給定目標的當(dāng)前位置，還要計算目標的尺度大小，獲得目標在整幅圖像中的候選區(qū)域[18]。

在確定目標對象位置后，首先以該位置為中心截取不同尺度大小的候選區(qū)域，然后將這些圖片拉伸至同樣大小[19]，根據(jù)目標框提取不同尺度的特征構(gòu)造輸出。在跟蹤過程中，通過不斷訓(xùn)練和迭代確定目標對象位置，利用計算尺度濾波器的響應(yīng)最大值獲取當(dāng)前幀目標框。

1.3 模型更新

在目標對象追蹤運動過程中，外觀有可能會發(fā)生漸變現(xiàn)象[20-21]。為提高目標追蹤效率并避免丟失追蹤目標對象，要不斷更新局部檢測模型和尺度濾波器。

根據(jù)熱度圖的最大響應(yīng)值，如果權(quán)值大于閾值，則認為局部檢測模型可以對當(dāng)前圖片進行準確檢測[22]。利用當(dāng)前數(shù)據(jù)幀預(yù)測的目標框作為局部檢測模型的輸入，通過不斷迭代更新局部檢測模型。

在目標對象跟蹤過程中，算法對目標的運動模糊無法進行有效識別，因此該算法不適合對全局檢測模型進行更新。

2 特征融合方法

本文沒計一種改進的多目標跟蹤特征融合方法，主要流程如下：①針對視頻中的每一幀圖像，識別特定目標與背景信息，分出待識別的目標信息;②提取目標的邊緣與紋理特征，建立特征直方圖并進行相似性度量;③計算特征相似性度量值，針對計算結(jié)果進行目標圖像的深層特征融合;④針對視頻中的每一幀圖像進行處理，構(gòu)建特征融合匹配矩陣。

目標特征融合方法算法流程如下：

輸入：視頻、圖像

輸出：特征融合匹配矩陣

detect video target

get N frames foreground image

for i=l.2.…….N do

extract edge features

generate HSV spatial color histogram

calculate similaritv M

//汁算目標和候選目標的匹配度

extract texture fratures

generate HSV spatial color histogram

calculate similarity M

extract texture fratures

add fusion feature matching ll特征融合

end for

return feature matching matrix

3 實驗結(jié)果及分析

為檢驗?zāi)繕烁櫵惴ǖ墓ぷ餍?，結(jié)合實際環(huán)境中的復(fù)雜地物背景，選取視頻序列進行測試，主要考慮光照變化、尺度變化、背景雜亂、目標遮擋、快速運動等因素。

3.1 步行實驗

本實驗是一種基于連續(xù)幀的行人檢測，利用連續(xù)數(shù)據(jù)幀提取視頻序列的時間和空間特征，提高遮擋行人檢測能力。基于行人檢測在時間上的持續(xù)性，采用目標跟蹤算法進行行人檢測，預(yù)測行人位置，評估行人檢測結(jié)果，提高行人被遮擋情況下的識別與跟蹤能力。

本次實驗先后出現(xiàn)3個行人步行狀態(tài)的跟蹤目標，如圖3所示。從圖3（a）第523幀目標出現(xiàn)在場景中開始，一直追蹤行人在馬路上行走過程，直到圖3（g）和圖3（h）行人被大樹遮擋，目標追蹤丟失。本實驗場景較為復(fù)雜，算法判別給定目標與背景的準確性達到87.5%以上，誤差在±2.31%左右。

3.2 快速運動實驗

跟蹤該物體一直到視頻播放結(jié)束，如圖4所示。由于加強了尺度估計，算法在平均重疊率和平均中心點誤差方面表現(xiàn)較好。目標特征從圖片部分區(qū)域獲得，超出采樣區(qū)域或目標背景中其它物體遮擋，則裁剪得到的圖片中沒有目標物，導(dǎo)致目標跟蹤算法失敗。 4 結(jié)語

在計算機視覺領(lǐng)域的復(fù)雜場景環(huán)境中，目標在運動過程中經(jīng)常會發(fā)生被遮擋、背景雜波干擾和目標形變等情況，造成多目標對象跟蹤算法識別效果不佳，當(dāng)目標被其它物體遮擋時，容易發(fā)生目標跟蹤丟失問題。

本文針對視頻監(jiān)控環(huán)境中的運動目標檢測和跟蹤問題，提出一種改進的基于多源特征提取和特征融合的多目標跟蹤算法。在目標比例發(fā)生變化的情況下，利用跟蹤框更新機制，自適應(yīng)調(diào)整跟蹤框尺寸大小，以適應(yīng)目標比例變化。充分利用目標的多尺度特征進行特征融合，提高目標對象的判別能力。

經(jīng)過現(xiàn)場實驗驗證，本文提出的多目標跟蹤算法能夠較好地判別給定目標，跟蹤準確性有一定程度提高。但該算法針對目標外觀特征提取不穩(wěn)定，利用目標狀態(tài)特征構(gòu)造多目標外觀特征的稀疏表示模型有利于提高目標跟蹤的準確性，下一步將針對該問題進行深入研究。

參考文獻：

[1]周奇基于多特征的輪船運動目標跟蹤及軌跡獲取方法[D].北京：北方工業(yè)大學(xué)，2018.

[2]李寧寧.基于中心對比卷積神經(jīng)網(wǎng)絡(luò)的目標跟蹤算法研究[D].北京：北京郵電大學(xué)，2018.

[3]馮樂樂基于連續(xù)幀卷積神經(jīng)網(wǎng)絡(luò)的行人檢測方法研究[D]北京：北京工業(yè)大學(xué)，2017.

[4]尹宏鵬，陳波.基于視覺的目標檢測與跟蹤綜述[J].自動化學(xué)報， 2016. 42（ 10）： 1466-1489.

[5] 閔召陽，趙文杰基于卷積神經(jīng)網(wǎng)絡(luò)檢測的多鏡頭多目標跟蹤算法[J]艦船電子工程，2017，37（12）：25-28，38.

[6] 孫皓，孫顯.一種高分辨率遙感圖像艦船檢測方法研究[J].測繪 科學(xué)，2013，38（5）：112-116.

[7]李明杰，劉小飛基于粒子濾波和背景減除的多目標檢測與跟蹤算法[J].計算機應(yīng)用研究，2018，35（8）：2506-2509.

[8]王國坤.復(fù)雜背景下基于深度學(xué)習(xí)的多目標跟蹤算法研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2018

[9]顧蘇杭，陸兵.基于輪廓和ASIFT特征的目標檢測與跟蹤算法[J].計算機仿真，2017，34（6）：266-271，339

[10]丁冉冉基于步態(tài)識別的人體目標檢測與跟蹤[D].北京：北京交通大學(xué)，2017.

[II]周雅基于目標檢測與加權(quán)混合特征的目標跟蹤算法[J].科技通報，2017，33（ 4）：138-143

[12]汪宏異，郝群.一種抗遮擋抗干擾的目標檢測跟蹤方法研究[J]光學(xué)技術(shù)，2016，42（ 4）：376-379，384.

[13]郭毓，蘇鵬飛基于Faster R-CNN的機器人目標檢測及空間定位[J].華中科技大學(xué)學(xué)報（自然科學(xué)版），2018，46（12）：55-59.

[14]陳飛，章東平.基于多尺度特征融合的Faster-RCNN道路目標檢測[J].中國計量大學(xué)學(xué)報，2018，29（4）：393-397

[15]楊磊，龐芳.基于低秩一稀疏聯(lián)合表示的視頻序列運動目標檢測[J].系統(tǒng)仿真學(xué)報，2018，30（12）：4693-4702

[16]曹雯雯.基于多特征融合的稀疏表示目標追蹤方法的研究[D].南京：南京郵電大學(xué)，2018.

[17] 陳瑩瑩，房勝，李哲.加權(quán)多特征外觀表示的實時目標追蹤[J].中國圖象圖形學(xué)報，2019，24（2）：291-301.

[18]孫海宇，陳秀宏.聯(lián)合外形響應(yīng)的深度目標追蹤器[J].智能系統(tǒng)學(xué)報，2018（6）：1-8.

[19]孫曉霞，龐春江基于全巷積對稱網(wǎng)絡(luò)的目標尺度自適應(yīng)追蹤[J].激光與光電子學(xué)進展，2019，56（1）：242-250

[20]張偉東，趙建偉基于特征選擇與時間一致性稀疏外觀模型的目標追蹤算法[J]模式識別與人工智能，2018，31（3）：245-255.

[21] 李厚彪，樊慶宇基于自適應(yīng)同時稀疏表示的魯棒性目標追蹤[J].電子科技大學(xué)學(xué)報，2018，47（1）：1-12.

[22]趙中楠，王健基于多源協(xié)同感知的目標追蹤優(yōu)化模型[J].北京理工大學(xué)學(xué)報，2017，37（11）：1137-1143.（責(zé)任編輯：杜能鋼）

收稿日期：2019-04-25

基金項目：山東省自然科學(xué)基金項目（ ZR2018BFOOI）

作者簡介：王志余（1967-），男，山東科技大學(xué)計算機學(xué)院碩士研究生、黃島中醫(yī)醫(yī)院工程師，研究方向為機器視覺、高性能計算、深度

學(xué)習(xí)。