翁培欣，吳林煌，蘇 喆

（福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362200）

0 引言

多目標(biāo)跟蹤技術(shù)[1]涉及檢測(cè)和估計(jì)視頻流中多個(gè)目標(biāo)的時(shí)空軌跡，是許多應(yīng)用的基本問題。目前，檢測(cè)跟蹤已經(jīng)成為多目標(biāo)跟蹤（Multiple Object Tracking，MOT）任務(wù)中最有效的范例。這種技術(shù)模型包含目標(biāo)檢測(cè)和跟蹤兩個(gè)步驟。跟蹤步驟通常包含兩個(gè)主要部分：一是使用運(yùn)動(dòng)模型和狀態(tài)估計(jì)預(yù)測(cè)后續(xù)幀中軌跡的邊界框，二是將新的幀檢測(cè)與當(dāng)前一組軌道相關(guān)聯(lián)。

隨著人工智能和計(jì)算機(jī)硬件性能的提升，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)在計(jì)算機(jī)視覺[2]領(lǐng)域顯著成功，尤其在多目標(biāo)跟蹤方面。多目標(biāo)跟蹤任務(wù)致力于在給定視頻中同時(shí)檢測(cè)和定位多個(gè)目標(biāo)，并維持目標(biāo)標(biāo)識(shí)的穩(wěn)定性和軌跡記錄。對(duì)于車輛跟蹤，在視頻監(jiān)控、智能交通和軍事制導(dǎo)等領(lǐng)域具有重要的應(yīng)用。

在深度學(xué)習(xí)興起之前，目標(biāo)跟蹤領(lǐng)域主要集中于單目標(biāo)跟蹤，多目標(biāo)跟蹤研究較為有限。傳統(tǒng)的多目標(biāo)跟蹤算法包括聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波、多假設(shè)跟蹤和條件隨機(jī)場(chǎng)等方法。這些算法在一定程度上解決了多目標(biāo)跟蹤問題，但在目標(biāo)數(shù)量較多時(shí)會(huì)面臨多目標(biāo)跟蹤失敗的挑戰(zhàn)。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)[3]的目標(biāo)檢測(cè)器準(zhǔn)確性和效率不斷提高，直接推動(dòng)多目標(biāo)跟蹤取得重大突破。一些跟蹤算法如SORT[4]（Simple Online and Realtime Tracking，SORT）、DeepSort[5]和OCSORT[6]在多目標(biāo)跟蹤領(lǐng)域取得顯著成果。這些算法利用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)目標(biāo)，并采用不同策略如卡爾曼濾波、重識(shí)別特征[7]和分層數(shù)據(jù)關(guān)聯(lián)等進(jìn)行目標(biāo)關(guān)聯(lián)，從而提高多目標(biāo)跟蹤的準(zhǔn)確性和健壯性。然而，目前這些算法存在一些局限，如恒速模型假設(shè)下的卡爾曼濾波器[8]的使用、無法準(zhǔn)確預(yù)測(cè)邊界框形狀和目標(biāo)相互遮擋所導(dǎo)致的目標(biāo)丟失等問題。

為了解決這些問題，本文提出一種新的跟蹤器，首先針對(duì)卡爾曼濾波預(yù)測(cè)的目標(biāo)邊界框與實(shí)際對(duì)象的邊界框存在較大偏差以及目標(biāo)在長期遮擋下導(dǎo)致行人目標(biāo)跟蹤丟失的問題，采用擴(kuò)展卡爾曼濾波[9]替換ByteTrack 算法中的卡爾曼濾波，并直接將目標(biāo)邊界框的寬度和高度作為擴(kuò)展卡爾曼濾波器的待預(yù)測(cè)狀態(tài)。其次，使用C-BMIoU 作為跟蹤器的匹配規(guī)則，從而改進(jìn)被遮擋目標(biāo)的跟蹤效果。

1 ByteTrack 的基本框架

目標(biāo)跟蹤任務(wù)中，通常使用檢測(cè)器來定位和識(shí)別目標(biāo)。然而，傳統(tǒng)的多目標(biāo)跟蹤算法通常關(guān)注高分?jǐn)?shù)的檢測(cè)結(jié)果，而忽略了一些低分?jǐn)?shù)的檢測(cè)框，導(dǎo)致目標(biāo)丟失和軌跡碎片化的問題出現(xiàn)。為了解決這個(gè)問題，ByteTrack[10]算法利用了所有的檢測(cè)框，并通過多次匹配來提高跟蹤的精度。

ByteTrack 算法首先根據(jù)檢測(cè)器的輸出得到一系列的邊界框和相應(yīng)的檢測(cè)分?jǐn)?shù)。然后，算法利用卡爾曼濾波來預(yù)測(cè)目標(biāo)的位置和速度。通過匈牙利算法[11]優(yōu)先匹配高分?jǐn)?shù)的檢測(cè)框和已有的軌跡，再匹配低分?jǐn)?shù)的檢測(cè)框和剩余的軌跡。匹配過程中，ByteTrack 算法還使用了與之前軌跡的相似度比較來恢復(fù)真實(shí)目標(biāo)并過濾掉背景干擾，具體流程如圖1 所示。

圖1 ByteTrack 算法的流程圖

1.1 高性能檢測(cè)器YOLOv8

本文采用的目標(biāo)檢測(cè)器是YOLOv8。YOLOv8[12]是一個(gè)全新的SOTA（State-of-the-Art）模型，結(jié)合了目標(biāo)檢測(cè)和實(shí)例分割。模型提供了P5 640 和P6 1280 分辨率的目標(biāo)檢測(cè)網(wǎng)絡(luò)，并基于YOLACT 實(shí)現(xiàn)了實(shí)例分割功能。與YOLOv5 相似，YOLOv8 還提供了不同尺度（N/S/M/L/X）的模型，以適應(yīng)不同場(chǎng)景。在網(wǎng)絡(luò)結(jié)構(gòu)方面，YOLOv8 采用了YOLOv7 ELAN 的設(shè)計(jì)思想，采用C2f 結(jié)構(gòu)替代了YOLOv5的C3 結(jié)構(gòu)，提升了梯度流的豐富度。同時(shí)，解耦頭結(jié)構(gòu)將分類和檢測(cè)頭分離，并使用無Anchor 的方式進(jìn)行檢測(cè)。在損失函數(shù)方面，YOLOv8 引入了Task-Aligned Assigner 正負(fù)樣本匹配方式，并應(yīng)用DFL（Distribution Focal Loss）行優(yōu)化。這些改進(jìn)使得模型的性能得到了提升。此外，在訓(xùn)練過程中，YOLOv8 采用了YOLOX 的策略，通過關(guān)閉Mosiac增強(qiáng)來提高精度。總之，它可以滿足不同場(chǎng)景的需求，并具備更高的準(zhǔn)確性。

1.2 關(guān)聯(lián)方法BYTE

BYTE[10]的輸入有視頻片段V、檢測(cè)器D、卡爾曼濾波器KF，設(shè)置Thigh、Tlow、E共3 個(gè)閾值。前兩個(gè)為檢測(cè)分?jǐn)?shù)閾值，后一個(gè)為跟蹤分?jǐn)?shù)閾值。BYTE的輸出為視頻的軌跡T，每個(gè)軌跡包含目標(biāo)的檢測(cè)框和ID。對(duì)于視頻中的每一幀圖像，使用檢測(cè)器預(yù)測(cè)其檢測(cè)框和分?jǐn)?shù)。然后把所得到的檢測(cè)框按照置信度閾值分成高分檢測(cè)框Dhigh和低分檢測(cè)框Dlow，利用KF 預(yù)測(cè)計(jì)算軌跡的包圍框。使用高分檢測(cè)框Dhigh和軌跡進(jìn)行第一次交并比（Intersection over Union，IoU）匹配，保留未匹配的檢測(cè)框Dremain和未匹配的高分軌跡Tremain。使用低分檢測(cè)框Dlow和繼續(xù)進(jìn)行第二次IoU 匹配，繼續(xù)保留未匹配上的軌跡Tre-remain，刪除未匹配的低分檢測(cè)框。該操作可以過濾誤檢的背景，同時(shí)恢復(fù)被遮擋的目標(biāo)。對(duì)于未匹配的軌跡Tre-remain，保留30 幀時(shí)間周期。該期間內(nèi)如果沒有匹配到檢測(cè)框，則放入Tlost。對(duì)于上一次未匹配到軌跡的高分框的Dremain，如果檢測(cè)框得分高于E，且存活超過2 幀，則初始化為新的軌跡。

2 基于ByteTrack 的改進(jìn)

2.1 EKF 擴(kuò)展卡爾曼濾波算法

卡爾曼濾波（Kalman Filter，KF）算法是首先構(gòu)建目標(biāo)狀態(tài)的線性系統(tǒng)空間方程，通過預(yù)測(cè)和校正實(shí)現(xiàn)狀態(tài)的最小均方誤差估計(jì)。算法的優(yōu)勢(shì)在于能夠在噪聲干擾下獲得最優(yōu)的狀態(tài)估計(jì)值，從而提高估計(jì)精度；能夠?qū)崟r(shí)更新狀態(tài)估計(jì)值，使得其具有實(shí)時(shí)性和追蹤能力。此外，該算法可以通過組合不同的狀態(tài)和觀測(cè)量，實(shí)現(xiàn)多維度的狀態(tài)估計(jì)和預(yù)測(cè)。

盡管KF 算法有諸多優(yōu)點(diǎn)，但其只適用于線性系統(tǒng)，對(duì)于非線性系統(tǒng)則無法直接應(yīng)用。同時(shí)，KF算法由于遮擋導(dǎo)致的目標(biāo)信息不完整，其線性化模型不夠準(zhǔn)確，導(dǎo)致產(chǎn)生錯(cuò)誤的狀態(tài)估計(jì)結(jié)果。于是NASA Ames 等機(jī)構(gòu)對(duì)卡爾曼濾波理論進(jìn)行拓展，并應(yīng)用于非線性系統(tǒng)中，提出了擴(kuò)展卡爾曼濾波（Extended Kalman Filter，EKF）算法。

EKF 算法流程主要分為預(yù)測(cè)和更新2 個(gè)步驟。預(yù)測(cè)是基于上一個(gè)時(shí)刻狀態(tài)估計(jì)當(dāng)前時(shí)刻狀態(tài)，更新則是綜合當(dāng)前時(shí)刻的估計(jì)狀態(tài)與觀測(cè)狀態(tài)，估計(jì)出最優(yōu)的狀態(tài)。預(yù)測(cè)的過程可表示為

式中：xk為k時(shí)刻的狀態(tài)向量，uk更為控制向量，f(·)為系統(tǒng)非線性狀態(tài)函數(shù)，Ak為狀態(tài)轉(zhuǎn)移矩陣，Pk為狀態(tài)向量的協(xié)方差矩陣，Q為預(yù)測(cè)狀態(tài)的高斯噪聲的協(xié)方差矩陣，xk-1|k-1為k-1 時(shí)刻對(duì)k時(shí)刻的轉(zhuǎn)臺(tái)預(yù)測(cè)，xk|k-1為k-1 時(shí)刻對(duì)k時(shí)刻的狀態(tài)預(yù)測(cè)，Pk-1|k-1為k-1 時(shí)刻的后驗(yàn)估計(jì)誤差協(xié)方差矩陣，Pk|k-1為k-1 時(shí)刻到k時(shí)刻的估計(jì)誤差協(xié)方差矩陣。

更新的過程可表示為

式中：Pk為狀態(tài)向量的協(xié)方差矩陣，Ck為轉(zhuǎn)換矩陣，Rk為測(cè)量值的高斯噪聲的協(xié)方差矩陣，yk為傳感器測(cè)量值的狀態(tài)向量，h(·)為測(cè)量函數(shù)，Kk為卡爾曼增益。

式（1）是狀態(tài)預(yù)測(cè)，式（2）是誤差矩陣預(yù)測(cè)，式（3）是卡爾曼增益計(jì)算；式（4）是狀態(tài)更新，其輸出即最終的卡爾曼濾波結(jié)果；式（5）是誤差矩陣更新。

目前，大多數(shù)跟蹤方法都使用經(jīng)典跟蹤器DeepSORT 中提出的KF 的狀態(tài)特征。它試圖估計(jì)框的長寬比而不是寬度，這將導(dǎo)致在預(yù)測(cè)下一幀的軌道邊界框時(shí)，使用KF 狀態(tài)估計(jì)作為跟蹤器的輸出會(huì)導(dǎo)致一個(gè)次優(yōu)的邊界框形狀。本文提出改進(jìn)的擴(kuò)展卡爾曼濾波直接估計(jì)包圍框的寬度和高度，可以處理非線性系統(tǒng)和非高斯噪聲，具有更好的健壯性和準(zhǔn)確性，并對(duì)遮擋的影響更小。

2.2 C-BMIoU

C-BMIoU（Cascaded Intersection over Union with Minimum Points Distance and buffer zone）方法是通過將緩沖區(qū)和MPDIoU（Minimum Point Distance Intersection over Union）進(jìn)行結(jié)合來實(shí)現(xiàn)的。其中，緩沖區(qū)通過擴(kuò)展檢測(cè)和跟蹤的匹配空間，可以直接匹配相鄰幀中相同但不重疊的檢測(cè)框和軌跡框，并且能補(bǔ)償匹配空間中的運(yùn)動(dòng)估計(jì)偏差。而MPDIoU[13]是針對(duì)大多數(shù)損失函數(shù)在不同預(yù)測(cè)結(jié)果下具有相同的值會(huì)使得邊界框回歸的收斂速度和準(zhǔn)確性降低的問題提出的，能夠改善邊界框回歸的訓(xùn)練效果，提高收斂速度和回歸精度。

2.2.1 緩沖區(qū)

緩沖區(qū)與原始檢測(cè)框和軌跡成正比，不會(huì)改變它們的位置中心、比例和形狀，而是擴(kuò)展它們的匹配空間。緩存區(qū)權(quán)重計(jì)算如圖2 所示。

圖2 緩存區(qū)權(quán)重計(jì)算公式

與MOT 中的搜索窗口將擴(kuò)展邊界框作為空間約束不同，本文是將擴(kuò)展邊界框作為MPDIoU 的匹配特征。該方法可以解決跟蹤模型不能進(jìn)一步優(yōu)化的問題和針對(duì)檢測(cè)框、預(yù)測(cè)框之間的重疊面積為零問題。比如它們?cè)诰彺鎱^(qū)范圍內(nèi)，緩沖區(qū)會(huì)為最初不重疊的檢測(cè)和軌跡構(gòu)建時(shí)空相似性。

2.2.2 MPDIoU

MPDIoU 是在這些現(xiàn)有度量方法的基礎(chǔ)上發(fā)展起來的，針對(duì)傳統(tǒng)的邊界框回歸損失函數(shù)難以優(yōu)化預(yù)測(cè)框和真實(shí)框在寬高比相同但具體尺寸不同時(shí)的問題提出，旨在通過直接最小化預(yù)測(cè)框和真實(shí)框之間的關(guān)鍵點(diǎn)距離，提供一種易于實(shí)現(xiàn)的解決方案，用于計(jì)算兩個(gè)軸對(duì)齊矩形之間的MPDIoU。MPDIoU的計(jì)算如圖3 所示。

圖3 MPDIoU 計(jì)算公式

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集

本實(shí)驗(yàn)采用MOT17 數(shù)據(jù)集。該數(shù)據(jù)集由KITTI 研究組和CVPR2017 MOT Challenge 主辦方共同提供。MOT17 數(shù)據(jù)集包含14 個(gè)視頻序列，序列由單雙目攝像頭采集。這些視頻序列涵蓋不同的場(chǎng)景，包括商場(chǎng)、街道、交通路口和室內(nèi)走廊等。每個(gè)視頻序列中都包含多個(gè)移動(dòng)物體，這些物體在不同的幀中出現(xiàn)、消失、移動(dòng)和交互。MOT17 數(shù)據(jù)集為每個(gè)物體提供了精確的邊界框注釋，以及每個(gè)物體的唯一ID 號(hào)。在MOT17 數(shù)據(jù)集上利用TrackEval評(píng)測(cè)工具對(duì)算法進(jìn)行評(píng)估。

3.1.2 評(píng)估指標(biāo)

為了評(píng)價(jià)多目標(biāo)跟蹤算法的性能，需要使用一系列評(píng)價(jià)指標(biāo)來進(jìn)行定量評(píng)價(jià)。常見的多目標(biāo)跟蹤評(píng)價(jià)指標(biāo)包括MOTA（評(píng)價(jià)多目標(biāo)跟蹤算法性能的綜合指標(biāo)）、HOTA（綜合考慮目標(biāo)跟蹤器的準(zhǔn)確性和穩(wěn)定性的指標(biāo)）、IDF1（評(píng)價(jià)多目標(biāo)跟蹤算法的準(zhǔn)確率的指標(biāo)）、MT（衡量了跟蹤算法成功跟蹤目標(biāo)的幀數(shù)占測(cè)試序列總幀數(shù)的比例，從而反映算法的跟蹤成功率）和ML（衡量跟蹤算法的誤報(bào)率，即跟蹤算法將背景或者非目標(biāo)物體錯(cuò)誤地標(biāo)記為目標(biāo)的情況）。MOTA、MOTP 和IDF1 指標(biāo)計(jì)算公式為

式中：NFN為未被成功匹配的真實(shí)軌跡，NFP表示生成的軌跡沒有被匹配成功，NGT表示視頻序列中真實(shí)的軌跡數(shù)量，NTP是成功匹配的真實(shí)軌跡。

式中：NIDTP、NIDFP和NIDFN分別表示目標(biāo)標(biāo)識(shí)真正例、假正例和假反例的數(shù)量。

3.1.3 實(shí)驗(yàn)平臺(tái)

本文的實(shí)驗(yàn)平臺(tái)環(huán)境是ubuntu7.5.0 系統(tǒng)，配置4 張NVIDIA GeForce RTX 2080Ti 顯卡。實(shí)驗(yàn)的輸入大小設(shè)置為（1 440，800），batchsize 設(shè)置為48，初始學(xué)習(xí)率為0.001，迭代次數(shù)設(shè)置為300 次。

3.2 實(shí)驗(yàn)結(jié)果分析

將本文改進(jìn)的ByteTrack 算法與另外兩個(gè)性能優(yōu)異的跟蹤算法ByteTrack、OC-SORT 進(jìn)行性能對(duì)比，結(jié)果如表1 所示。

表1 性能對(duì)比結(jié)果

從表1 的測(cè)評(píng)結(jié)果可以看出，將改進(jìn)的EKF 算法與C-BMIoU 算法相結(jié)合，可以有效地提高目標(biāo)跟蹤過程的準(zhǔn)確度。本文算法在3 種算法中各項(xiàng)指標(biāo)都取得了相對(duì)較好的結(jié)果。與原ByteTrack 算法框架相比，MOTA、IDF1 和HOTA 分別提高了0.3%、1.5%和1.0%。針對(duì)邊界框?qū)挾扰c對(duì)象的擬合度問題，通過改進(jìn)的EKF 作為軌跡狀態(tài)的預(yù)測(cè)和更新，大大提高了邊界框?qū)挾扰c對(duì)象的擬合度，并且在目標(biāo)長期遮擋情況下能連續(xù)幀跟蹤多目標(biāo)。使用C-BMIoU損失函數(shù)作為匹配規(guī)則，有效緩解了模型存在的不能進(jìn)一步優(yōu)化的問題，也能有效緩解由不規(guī)則運(yùn)動(dòng)引起的不匹配并提高跟蹤性能。該改進(jìn)的算法模型有效減少了因目標(biāo)遮擋造成的身份頻繁交換問題。

4 結(jié)語

本文針對(duì)行人多目標(biāo)跟蹤場(chǎng)景中存在的多目標(biāo)遮擋干擾、目標(biāo)多尺度變化等復(fù)雜場(chǎng)景所造成的跟蹤精度降低和目標(biāo)邊界框與實(shí)際對(duì)象的邊界框存在較大偏差等問題，提出了一種基于改進(jìn)ByteTrack算法的多目標(biāo)跟蹤方法。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法有效地提高了多目標(biāo)跟蹤的跟蹤精度，有針對(duì)性地提高了整體跟蹤算法的準(zhǔn)確性和可靠度，實(shí)現(xiàn)了復(fù)雜場(chǎng)景下持續(xù)穩(wěn)定的多目標(biāo)跟蹤。但由于沒有考慮行人外觀特征，如果在長時(shí)間跟蹤中，行人從攝像頭視野中消失一段時(shí)間然后再次出現(xiàn)，那么該方法就不能將其視為新的目標(biāo)，因此未來的研究方向是如何更好地做跨攝像頭跟蹤目標(biāo)，以保證后續(xù)多目標(biāo)跨攝像頭能夠持續(xù)穩(wěn)定地跟蹤。