摘" 要： 當(dāng)目標(biāo)物體被其他物體部分或完全遮擋時(shí)，目標(biāo)的有效特征點(diǎn)數(shù)量會(huì)逐漸減少，跟蹤器無(wú)法繼續(xù)準(zhǔn)確地鎖定目標(biāo)，導(dǎo)致目標(biāo)軌跡中斷。為此，文中研究基于SORT算法的圖像軌跡跟蹤混合控制方法。選取FCOS算法，利用特征金字塔結(jié)構(gòu)，依據(jù)檢測(cè)頭層輸出的目標(biāo)分類得分、位置回歸結(jié)果以及中心度檢測(cè)圖像目標(biāo)。將目標(biāo)檢測(cè)結(jié)果作為卡爾曼濾波器的輸入，利用離散控制過(guò)程系統(tǒng)描述視頻圖像中的目標(biāo)運(yùn)動(dòng)狀態(tài)，預(yù)測(cè)目標(biāo)軌跡。利用SORT算法控制圖像目標(biāo)檢測(cè)結(jié)果與目標(biāo)軌跡預(yù)測(cè)結(jié)果進(jìn)行級(jí)聯(lián)匹配與IoU匹配，輸出匹配成功的目標(biāo)，即圖像目標(biāo)軌跡跟蹤結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法可有效地跟蹤視頻圖像目標(biāo)軌跡，未出現(xiàn)ID變更情況，軌跡中斷占比低于0.2%。

關(guān)鍵詞： SORT算法； 圖像軌跡跟蹤； 混合控制方法； FCOS算法； 卡爾曼濾波器； 級(jí)聯(lián)匹配

中圖分類號(hào)： TN911.73?34； TP311" " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2024）13?0032?04

Image trajectory tracking hybrid control method based on SORT algorithm

DU Lei

（Taiyuan University of Science and Technology， Taiyuan 030024， China）

Abstract： When the object is partly or completely occluded by other objects， the number of effective feature points of the object will decrease gradually， and the tracker will not be able to target the object accurately， resulting in the interruption of the object trajectory. Therefore， an image trajectory tracking hybrid control method based on SORT （simple online and realtime tracking） algorithm is studied. The FCOS （fully convolutional one?stage object detection） algorithm is used to detect the image object based on feature pyramid structure according to the object classification score， the result of position regression and the center degree output by the layer of the detector. The object detection result is taken as the input of the Kalman filter. The discrete control process system is used to describe the object motion state in the video image and predict the object trajectory. The SORT algorithm is used to control the cascade matching and IoU matching between the image object detection result and the object trajectory prediction result， and output the successfully matched targets， that is， the image object trajectory tracking results. The experimental results show that the method can track the image object trajectory effectively without ID change， and its percentage of track interruption is below 0.2%.

Keywords： SORT algorithm; image trajectory tracking; hybrid control method; FCOS algorithm; Kalman filter; cascade matching

0" 引" 言

圖像軌跡跟蹤是通過(guò)分析連續(xù)的視頻圖像序列，精確地跟蹤并確定目標(biāo)物體的位置、速度和運(yùn)動(dòng)軌跡，應(yīng)用領(lǐng)域廣泛，如體育訓(xùn)練、自動(dòng)駕駛等[1?2]。復(fù)雜多變的背景環(huán)境下，目標(biāo)物體的識(shí)別和跟蹤過(guò)程受到干擾，當(dāng)目標(biāo)物體被其他物體遮擋時(shí)[3]，可能會(huì)丟失目標(biāo)或產(chǎn)生錯(cuò)誤的跟蹤結(jié)果，且目標(biāo)物體的運(yùn)動(dòng)狀態(tài)也隨時(shí)發(fā)生變化，如速度變化、方向改變等，需要實(shí)時(shí)地適應(yīng)并調(diào)整跟蹤策略[4]。因此，有必要研究能夠在復(fù)雜的場(chǎng)景中保持穩(wěn)定的跟蹤方法。

文獻(xiàn)[5]將深度學(xué)習(xí)算法應(yīng)用于多目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)中。利用深度學(xué)習(xí)模型捕捉復(fù)雜的非線性關(guān)系，解決具有時(shí)空依賴性的多目標(biāo)運(yùn)動(dòng)軌跡跟蹤問(wèn)題。利用深度學(xué)習(xí)模型處理高維的多目標(biāo)運(yùn)動(dòng)軌跡數(shù)據(jù)，對(duì)于不同場(chǎng)景和任務(wù)，只需調(diào)整模型參數(shù)或結(jié)構(gòu)即可適應(yīng)。但是深度學(xué)習(xí)模型的訓(xùn)練需要大量的標(biāo)注數(shù)據(jù)，對(duì)于多目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)任務(wù)，獲取足夠的、高質(zhì)量的標(biāo)注數(shù)據(jù)可能是一個(gè)挑戰(zhàn)，且多目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)問(wèn)題中，目標(biāo)數(shù)量、類型、運(yùn)動(dòng)模式等都可能變化，容易導(dǎo)致目標(biāo)跟蹤出現(xiàn)中斷。文獻(xiàn)[6]將Mobile Net方法應(yīng)用于多目標(biāo)跟蹤中，Mobile Net采用輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，模型體積更小、運(yùn)行速度更快，保持較好的跟蹤效果。但是由于Mobile Net的結(jié)構(gòu)相對(duì)簡(jiǎn)單，難以在某些復(fù)雜任務(wù)上進(jìn)行深度優(yōu)化。對(duì)于特定跟蹤場(chǎng)景和目標(biāo)類型，需要針對(duì)Mobile Net進(jìn)行專門的調(diào)整和改進(jìn)。該方法處理遮擋和復(fù)雜場(chǎng)景的目標(biāo)跟蹤任務(wù)時(shí)，容易出現(xiàn)跟蹤效果下降或丟失目標(biāo)的問(wèn)題。文獻(xiàn)[7]將改進(jìn)的ByteTrack算法應(yīng)用于地面多目標(biāo)跟蹤中，提高了目標(biāo)跟蹤的穩(wěn)定性。但是該方法對(duì)目標(biāo)特征的依賴性較高，對(duì)于細(xì)節(jié)和紋理過(guò)于匱乏的目標(biāo)，其跟蹤性能受到嚴(yán)重影響。文獻(xiàn)[8]結(jié)合高速圖像處理技術(shù)和多相機(jī)系統(tǒng)，實(shí)現(xiàn)無(wú)縫的多目標(biāo)跟蹤。通過(guò)多個(gè)相機(jī)的重疊視圖，解決單一相機(jī)視野受限問(wèn)題，提高跟蹤連續(xù)性。但是該方法應(yīng)用時(shí)需要確保各相機(jī)之間的精確同步和校準(zhǔn)，多個(gè)目標(biāo)相互遮擋或交叉移動(dòng)時(shí)，由于不同相機(jī)視角的限制，可能導(dǎo)致目標(biāo)的視圖切換出現(xiàn)問(wèn)題，以及目標(biāo)丟失或跟蹤軌跡斷裂等情況的發(fā)生。

為提升圖像目標(biāo)軌跡跟蹤效果，本文研究基于在線實(shí)時(shí)多目標(biāo)跟蹤（Simple Online and Realtime Tracking， SORT）算法的圖像軌跡跟蹤混合控制方法，實(shí)現(xiàn)更精確、更穩(wěn)定的軌跡跟蹤效果。

1" 圖像軌跡跟蹤混合控制方法

1.1" 基于FCOS的圖像目標(biāo)檢測(cè)

利用全卷積網(wǎng)絡(luò)的單階段目標(biāo)檢測(cè)（Fully Convolutional One?stage Object Detection， FCOS）算法檢測(cè)圖像中的目標(biāo)[9]，結(jié)構(gòu)如圖1所示。

FCOS算法采用三層的Backbone卷積網(wǎng)絡(luò)結(jié)構(gòu)。將圖像利用特征金字塔層生成特征圖，每個(gè)檢測(cè)頭對(duì)應(yīng)一個(gè)金字塔[10]。檢測(cè)頭層分別輸出目標(biāo)的分類得分、位置回歸結(jié)果以及中心度。

每個(gè)檢測(cè)頭的輸出分別對(duì)應(yīng)分類損失函數(shù)[L1]、中心度損失函數(shù)[L2]以及回歸損失函數(shù)[L3]。依據(jù)檢測(cè)頭的輸出結(jié)果進(jìn)行圖像目標(biāo)檢測(cè)[11]。利用多次二分類器，在特征圖分類結(jié)果后，利用損失函數(shù)[L1]計(jì)算目標(biāo)分類時(shí)全部樣本的損失[12]。FCOS算法的目標(biāo)檢測(cè)訓(xùn)練時(shí)，設(shè)置[L2]作為位置回歸的損失函數(shù)；FCOS算法檢測(cè)目標(biāo)的中心度時(shí)，設(shè)置[L3]作為損失函數(shù)。

圖像目標(biāo)檢測(cè)的損失函數(shù)設(shè)置如公式（1）所示：

[Lpi，ti，si=1NiL1pic+iδL2tit?i+iL3ziz?i] （1）

式中：[N]與[pi]分別表示視頻圖像樣本數(shù)量以及圖像特征點(diǎn)[i]的類別分?jǐn)?shù)；[c]與[δ]分別表示特征點(diǎn)[i]的真實(shí)類別標(biāo)簽以及判定系數(shù)；[ti]與[t?i]分別表示[i]處的圖像目標(biāo)邊界框預(yù)測(cè)結(jié)果與真實(shí)結(jié)果；[zi]與[z?i]分別表示圖像目標(biāo)中心度預(yù)測(cè)結(jié)果與真實(shí)結(jié)果。

通過(guò)以上過(guò)程，利用FCOS算法檢測(cè)視頻圖像中的目標(biāo)，作為卡爾曼濾波器的輸入，預(yù)測(cè)視頻圖像中的目標(biāo)運(yùn)動(dòng)軌跡。

1.2" 基于卡爾曼濾波器的目標(biāo)軌跡預(yù)測(cè)

對(duì)于通過(guò)FCOS算法成功檢測(cè)的目標(biāo)，利用卡爾曼濾波器進(jìn)行視頻圖像中目標(biāo)軌跡的估計(jì)。視頻圖像的目標(biāo)軌跡估計(jì)如下：

[x=u，v，s，r，u，v，sT] （2）

式中：[u]與[v]分別表示目標(biāo)的水平與垂直像素坐標(biāo)；[s]與[r]分別表示目標(biāo)框占比及其長(zhǎng)寬比；[u]、[v]與[s]表示[u]、[v]、[s]在時(shí)間上的差分[13]。

利用卡爾曼濾波器進(jìn)行圖像目標(biāo)軌跡跟蹤的迭代更新，實(shí)現(xiàn)目標(biāo)軌跡的實(shí)時(shí)預(yù)測(cè)。利用離散控制過(guò)程系統(tǒng)描述視頻圖像中目標(biāo)的運(yùn)動(dòng)狀態(tài)。離散控制過(guò)程系統(tǒng)根據(jù)隨機(jī)線性微分方程利用時(shí)間為[k-1]時(shí)的目標(biāo)最優(yōu)估計(jì)結(jié)果預(yù)測(cè)時(shí)間為[k]時(shí)的目標(biāo)運(yùn)動(dòng)狀態(tài)。用[ωk]與[rk]分別表示圖像目標(biāo)軌跡跟蹤的過(guò)程噪聲以及測(cè)量噪聲，構(gòu)建離散控制過(guò)程系統(tǒng)的表達(dá)式如下：

[xk=Axk-1+Buk-1+ωk-1Lpi，ti，si] （3）

離散控制過(guò)程系統(tǒng)中，圖像目標(biāo)測(cè)量值的表達(dá)式如下：

[gk=Hxk+rk] （4）

式中：[xk]與[uk]分別表示時(shí)間為[k]時(shí)的圖像目標(biāo)狀態(tài)向量以及控制向量；[A]與[B]分別表示狀態(tài)轉(zhuǎn)移矩陣以及控制矩陣；[gk]與[H]分別表示時(shí)間為[k]時(shí)的[m]維測(cè)量向量以及大小為[m×n]的觀測(cè)矩陣。

先驗(yàn)狀態(tài)估計(jì)[xk]與后驗(yàn)狀態(tài)估計(jì)[x′k]的關(guān)系表達(dá)式如下：

[xk=x′k+Kgk-Hx′k] （5）

式中：[gk-Hx′k]表示圖像目標(biāo)實(shí)際軌跡與預(yù)測(cè)軌跡的殘差；[K]表示殘余增益。

更新后驗(yàn)協(xié)方差[Pk]的表達(dá)式如下：

[Pk=Ixk-KHP′k] （6）

式中[I]表示單位矩陣。

將利用公式（6）獲取的后驗(yàn)協(xié)方差作為圖像目標(biāo)軌跡預(yù)測(cè)的先驗(yàn)估計(jì)協(xié)方差。通過(guò)卡爾曼濾波器的遞推過(guò)程，將下一步的目標(biāo)軌跡數(shù)據(jù)與當(dāng)前目標(biāo)軌跡數(shù)據(jù)關(guān)聯(lián)。通過(guò)卡爾曼濾波器迭代次數(shù)的更新，實(shí)現(xiàn)圖像目標(biāo)軌跡預(yù)測(cè)的更新。

1.3" 基于SORT的目標(biāo)軌跡跟蹤混合控制

傳統(tǒng)的SORT算法采用匈牙利算法關(guān)聯(lián)視頻圖像的目標(biāo)框，視頻圖像中存在目標(biāo)形變或遮擋情況時(shí)，無(wú)法準(zhǔn)確地關(guān)聯(lián)目標(biāo)框。引入級(jí)聯(lián)匹配算法，通過(guò)舊目標(biāo)框與新目標(biāo)框的關(guān)聯(lián)，構(gòu)建代價(jià)矩陣，控制圖像目標(biāo)軌跡跟蹤時(shí)的匹配精度。設(shè)1.2節(jié)卡爾曼濾波器[i]得到的圖像目標(biāo)軌跡預(yù)測(cè)結(jié)果為[yi]。圖像目標(biāo)檢測(cè)結(jié)果與預(yù)測(cè)結(jié)果馬氏距離的表達(dá)式如下：

[d1i，j=dj-yiTΦidj-yi] （7）

圖像目標(biāo)檢測(cè)結(jié)果與預(yù)測(cè)結(jié)果余弦距離的表達(dá)式為：

[d2i，j=min1-qTjqik] （8）

式中：[dj]表示FCOS算法獲取的目標(biāo)框[j]的檢測(cè)值；[qTj]與[qik]分別表示目標(biāo)檢測(cè)框[j]的特征向量以及跟蹤器[i]在歷史[k]幀中跟蹤結(jié)果的特征向量；[Φi]表示目標(biāo)檢測(cè)結(jié)果與目標(biāo)預(yù)測(cè)結(jié)果誤差的協(xié)方差矩陣。

分別對(duì)比目標(biāo)檢測(cè)框與目標(biāo)預(yù)測(cè)框的馬氏距離以及余弦距離。距離計(jì)算結(jié)果小于等于所設(shè)置的距離閾值時(shí)，表示目標(biāo)被成功匹配。

目標(biāo)成功匹配時(shí)的馬氏距離以及余弦距離的表達(dá)式為：

[b1ij=d1i，j≤ξ] （9）

[b2ij=d2i，j≤ξ2] （10）

構(gòu)建SORT算法的代價(jià)矩陣表達(dá)式如下：

[ci，j=βd1i，j+1-βd2i，j] （11）

式中[β]表示用于調(diào)節(jié)余弦距離與馬氏距離的調(diào)節(jié)因子。

當(dāng)式（11）代價(jià)矩陣內(nèi)的元素同時(shí)滿足式（9）與式（10）條件時(shí)，表示圖像軌跡跟蹤混合控制的目標(biāo)匹配成功。

利用SORT算法進(jìn)行圖像軌跡跟蹤混合控制的流程圖如圖2所示。

2" 實(shí)例分析

將所研究方法應(yīng)用于某體育院校學(xué)生的跑步訓(xùn)練中。利用視頻采集傳感器采集運(yùn)動(dòng)員的訓(xùn)練視頻作為原始數(shù)據(jù)集，視頻幀640×480像素，視頻幀率30 f/s，共獲得1 357張圖像，隨機(jī)選取一幅原始圖像如圖3所示。

實(shí)驗(yàn)環(huán)境設(shè)置參數(shù)：FCOS算法學(xué)習(xí)率為0.01，批處理大小為8，訓(xùn)練周期為50個(gè)epoch，動(dòng)量為0.9，權(quán)重衰減為0.000 5；卡爾曼濾波器狀態(tài)轉(zhuǎn)移矩陣為6×6單位，觀測(cè)矩陣為4×6單位，殘差閾值為0.5；SORT算法馬氏距離閾值為0.7，余弦距離閾值為0.2，最大丟失幀數(shù)為3幀，IoU閾值為0.5。

采用本文方法從圖3的運(yùn)動(dòng)員訓(xùn)練原始圖像中檢測(cè)目標(biāo)，目標(biāo)檢測(cè)結(jié)果如圖4所示。

分析圖3、圖4可知，本文方法可有效檢測(cè)視頻中的運(yùn)動(dòng)目標(biāo)，目標(biāo)檢測(cè)結(jié)果與實(shí)際目標(biāo)相符，具有有效性。這是因?yàn)镾ORT算法利用FCOS算法具有的特征提取能力，可以滿足目標(biāo)精準(zhǔn)檢測(cè)的要求。

圖像目標(biāo)運(yùn)動(dòng)軌跡跟蹤結(jié)果通常表現(xiàn)為一個(gè)或多個(gè)目標(biāo)的連續(xù)位置序列，這些位置序列描述了目標(biāo)在視頻或圖像序列中的運(yùn)動(dòng)路徑。依據(jù)本文方法對(duì)體育運(yùn)動(dòng)訓(xùn)練視頻中的目標(biāo)檢測(cè)結(jié)果，利用目標(biāo)檢測(cè)框跟蹤視頻圖像中的目標(biāo)運(yùn)動(dòng)軌跡。隨機(jī)選取圖像中的某目標(biāo)進(jìn)行跟蹤，該目標(biāo)的運(yùn)動(dòng)軌跡跟蹤結(jié)果如圖5所示。

分析圖5可知，本文方法能夠有效跟蹤體育訓(xùn)練視頻圖像中的目標(biāo)運(yùn)動(dòng)軌跡。采用可視化的方式呈現(xiàn)了目標(biāo)運(yùn)動(dòng)軌跡跟蹤結(jié)果。本文方法的軌跡跟蹤結(jié)果緊密地跟隨目標(biāo)運(yùn)動(dòng)，準(zhǔn)確地體現(xiàn)了體育訓(xùn)練視頻中目標(biāo)的位移和方向變化。本文方法能夠有效控制目標(biāo)軌跡跟蹤結(jié)果，具有較強(qiáng)的應(yīng)用性。

當(dāng)目標(biāo)被遮擋或由于光照、噪聲等干擾因素導(dǎo)致跟蹤不穩(wěn)定時(shí)，軌跡可能會(huì)出現(xiàn)斷裂或偏移的情況。因此，評(píng)估跟蹤結(jié)果的好壞通常需要考慮軌跡的連續(xù)性、平滑性和準(zhǔn)確性等方面。統(tǒng)計(jì)采用本文方法對(duì)圖像目標(biāo)運(yùn)動(dòng)軌跡跟蹤混合控制的ID變更次數(shù)以及軌跡中斷占比，統(tǒng)計(jì)結(jié)果如表1所示。

分析表1可知，采用本文方法跟蹤視頻運(yùn)動(dòng)目標(biāo)軌跡的中斷占比低于0.2%。本文方法跟蹤視頻中的運(yùn)動(dòng)目標(biāo)軌跡時(shí)，并未出現(xiàn)ID變更情況，且僅出現(xiàn)極少量的跟蹤中斷情況，驗(yàn)證了本文方法具有極高的跟蹤穩(wěn)定性，這是因?yàn)樵摲椒ńY(jié)合了級(jí)聯(lián)匹配與交并比（IoU）匹配方法，在目標(biāo)受到遮擋時(shí)，仍具有較強(qiáng)的圖像軌跡跟蹤控制性能，有效抑制了圖像軌跡跟蹤時(shí)的軌跡中斷以及ID變更等情況。

3" 結(jié)" 論

將SORT算法應(yīng)用于圖像軌跡跟蹤混合控制中，為圖像軌跡跟蹤提供了有效的解決方案。通過(guò)精確的目標(biāo)檢測(cè)、穩(wěn)定的軌跡預(yù)測(cè)和高效的數(shù)據(jù)關(guān)聯(lián)，SORT算法能夠在復(fù)雜場(chǎng)景中實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)跟蹤。通過(guò)實(shí)驗(yàn)驗(yàn)證，該方法能夠?qū)崿F(xiàn)對(duì)圖像目標(biāo)軌跡的精確控制，不僅能夠提高跟蹤的準(zhǔn)確性和穩(wěn)定性，還能夠適應(yīng)不同場(chǎng)景變化，使得目標(biāo)軌跡跟蹤更加靈活和可靠。

參考文獻(xiàn)

[1] 韓錕，彭晶瑩.基于改進(jìn)YOLOX與多級(jí)數(shù)據(jù)關(guān)聯(lián)的行人多目標(biāo)跟蹤算法研究[J].鐵道科學(xué)與工程學(xué)報(bào)，2024，21（1）：94?105.

[2] 高新聞，沈卓，許國(guó)耀，等.基于多目標(biāo)跟蹤的交通異常事件檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究，2021，38（6）：1879?1883.

[3] 馬永杰，馬蕓婷，程時(shí)升，等.基于改進(jìn)YOLO v3模型與Deep?SORT算法的道路車輛檢測(cè)方法[J].交通運(yùn)輸工程學(xué)報(bào)，2021，21（2）：222?231.

[4] 曹婷婷，侯進(jìn)，鄧小豪，等.在線多行人圖像目標(biāo)跟蹤算法設(shè)計(jì)與仿真[J].計(jì)算機(jī)仿真，2022，39（5）：172?175.

[5] 任條娟，陳鵬，陳友榮，等.基于深度學(xué)習(xí)的多目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)算法[J].計(jì)算機(jī)應(yīng)用研究，2022，39（1）：296?302.

[6] 薛俊韜，馬若寒，胡超芳.基于MobileNet的多目標(biāo)跟蹤深度學(xué)習(xí)算法[J].控制與決策，2021，36（8）：1991?1996.

[7] 王雒，李飚，傅瑞罡.基于改進(jìn)ByteTrack算法的紅外地面多目標(biāo)跟蹤方法[J].計(jì)算機(jī)科學(xué)，2023，50（9）：176?183.

[8] KIM H， YAMAKAWA Y， ISHIKAWA M. Seamless multiple?target tracking method across overlapped multiple camera views using high?speed image capture [J]. Journal of robotics and mechatronics， 2022， 34（5）： 1043?1052.

[9] 葛雯，姜添元.改進(jìn)YOLO與Deepsort檢測(cè)跟蹤算法的研究[J].計(jì)算機(jī)仿真，2022，39（5）：186?190.

[10] 趙安新，楊金橋，楊浩波，等.基于改進(jìn)DeepSORT和FastReID的室內(nèi)多目標(biāo)人員跨鏡識(shí)別與跟蹤[J].西安科技大學(xué)學(xué)報(bào)，2023，43（3）：622?630.

[11] 曹玉東，陳冬昊，曹睿，等.融合Mask R?CNN的在線多目標(biāo)行人跟蹤方法[J].計(jì)算機(jī)工程與科學(xué)，2023，45（7）：1216?1225.

[12] 朱軍，張?zhí)燹?，謝亞坤，等.顧及小目標(biāo)特征的視頻人流量智能統(tǒng)計(jì)方法[J].西南交通大學(xué)學(xué)報(bào)，2022，57（4）：705?712.

[13] 趙元龍，單玉剛，袁杰.改進(jìn)YOLOv7與DeepSORT的佩戴口罩行人跟蹤[J].計(jì)算機(jī)工程與應(yīng)用，2023，59（6）：221?230.