韓笑，林馳琛，王永濱

（1.中國傳媒大學媒體融合與傳播國家重點實驗室，北京 100024； 2.中國傳媒大學信息與通信工程學院，北京 100024）

1 引言

黨的二十大提出，建設體育強國和科技強國，明確了體育在中國式現(xiàn)代化進程中的先行者地位。近年來，我國體育事業(yè)取得長足發(fā)展，重要體育賽事和全民體育活動的直播、視頻點播以及短視頻數(shù)量呈現(xiàn)井噴式增長。隨著科技高速發(fā)展，人工智能和深度學習技術近年來也取得了一系列的突破性進展。因此如何利用計算機視覺技術對體育視頻和圖像進行分析處理，賦予機器理解抽象知識的能力，從而自動化處理分析體育視頻是亟待解決的問題。

體育視頻一直是廣大觀眾所喜愛的視頻娛樂類型，截止至2022 年12 月，我國網(wǎng)絡體育直播用戶規(guī)模為3.73億[1]。體育視頻在為觀眾帶來頗具運動美學的視覺刺激的同時，視頻內各類目標的運動和交互也具有很強的分析研究價值。蓬勃發(fā)展的體育運動產(chǎn)業(yè)，在帶來經(jīng)濟效益的同時，也面臨互聯(lián)網(wǎng)環(huán)境下的視頻媒體受眾提出的新需求。一般觀眾可能只關注自己喜愛的運動員，或是比賽的精彩瞬間，但專業(yè)球迷可能會分析運動員的所有運動數(shù)據(jù)，運動員也會分析自身的運動行為從而進行針對性訓練，教練則會根據(jù)所有運動員的表現(xiàn)來調整整體戰(zhàn)術和發(fā)掘球員潛力，媒體從業(yè)者也需要快捷多樣地編輯具備視覺沖擊力的體育視頻內容?？傊?，無論是在提高比賽的觀賞性、運動員個人技術的提升、團隊間的合作、體育教育教學甚至是社交媒體的再編輯創(chuàng)作，對體育視頻中的目標運動進行分析已是當前視頻傳播環(huán)境下不可避免的迫切需求。其中對球類和運動員的跟蹤則是體育視頻理解領域中構建復雜運動分析系統(tǒng)的關鍵技術，能夠對推動體育內容滲透發(fā)揮積極作用。

2 方法概述

2.1 目標跟蹤的數(shù)學公式表達

體育視頻中的目標跟蹤是對連續(xù)視頻幀序列中運動的球類或運動員進行定位、識別，從而獲得每一幀中球類和所有運動員的位置坐標和身份信息。如圖1 所示，用{I1,I2,…,It,… }表示輸入的圖像幀序列，其中It是第t幀。表示第t幀的狀態(tài)表示第t幀中球類的狀態(tài)，m表示第t幀中運動員目標的總數(shù)表示在第t幀中第i個運動員目標的狀態(tài)。球類和運動員的狀態(tài)包括位置、尺寸、速度、方向等特征。訓練模型的過程和目標是，給定一系列幀，在每一幀中輸出球類和所有運動員目標的軌跡T、身份d以及位置框信息(x,y,w,h)。我們用(T,d,x,y,w,h)表示第t幀中第i個運動員或球的輸出結果。

圖1 目標跟蹤概述

2.2 體育視頻中目標跟蹤的分類

目標跟蹤作為計算機視覺中基礎任務之一，已經(jīng)有很多傳統(tǒng)的跟蹤方法，如基于相關濾波的跟蹤，基于光流估計的跟蹤，基于邊界效應的跟蹤等。但傳統(tǒng)方法需要提前預設定先驗信息，比如手動對輸入的第一幀中待追蹤區(qū)域提取特征，得到濾波器后進行模板搜索，且傳統(tǒng)方法對光照變化和形變特征較為敏感，無法很好地應對體育領域中球場光照變換復雜的環(huán)境以及球類和球員快速運動導致的形變問題。隨著深度學習的不斷發(fā)展，以數(shù)據(jù)為驅動的體育視頻中的目標檢測和跟蹤在精度和速度上都有了不俗的表現(xiàn)，因此本文只討論基于深度學習的檢測和跟蹤方法。體育視頻中的目標跟蹤傳感器類型多種多樣，有慣性傳感器，如加速度計和陀螺儀，有無線電傳感器，如射頻識別和GPS跟蹤，還有基于視覺相機以及結合多種傳感器的混合方法。本文只討論基于視覺的跟蹤方法。體育視頻中的目標跟蹤按照被跟蹤對象可以分為球類單目標跟蹤和運動員多目標跟蹤；按照拍視角數(shù)量可以分為單攝像機目標跟蹤和多攝像機目標跟蹤。本文將從此分類角度關注足球、籃球、排球三種球類運動場景中的球類的跟蹤、單攝像機運動員跟蹤和多攝像機多運動員跟蹤。

3 體育場景中的目標跟蹤研究現(xiàn)狀

3.1 球類跟蹤

體育場景中因運動類型的多樣性，球類目標的類型也復雜多樣。文獻[2]較為全面地匯總了2017 年之前體育場景中13 種球類的跟蹤，并從球的尺寸、運動速度、隨機性等多方面總結了球類跟蹤的顯性特征和難點。本文主要關注足球、籃球、排球三大熱門球類運動場景中的目標跟蹤。相較于網(wǎng)球、羽毛球等其他球類，這三種球類具有球類目標尺寸相似、球員之間存在互相遮擋等共同特征。如圖2 所示，球類跟蹤難點在于：尺寸較小，運動形變、分辨率低以及背景融入等。足球、籃球和排球相比網(wǎng)球、羽毛球等雖然尺寸較大，但在沒有其他傳感器輔助的純粹視覺跟蹤中仍然屬于小目標；且在體育視頻尤其是專業(yè)比賽中，球速較快，如排球扣球最高時速超過每小時130公里，會造成運動模糊和運動形變。

圖2 球類跟蹤難點示意圖

隨著深度學習技術在球類目標跟蹤任務中的應用，現(xiàn)有研究已經(jīng)取得了階段性成果?；谏疃葘W習的球類的跟蹤方法一般遵循球類檢測和球類跟蹤兩個步驟，現(xiàn)有的研究也多從這兩個方面進行改進。檢測結果往往是跟蹤過程的輸入，因此球類跟蹤精度的提升很大程度上依賴于球檢測器的準確度。在檢測模型中添加分類置信度分支[3-4]，得到檢測邊界框的同時將圖像塊分為球、球員和背景三類，使跟蹤階段對球類的定位更加精確；文獻[5]在檢測模型中使用基于自動編碼和解碼結構的全卷積神經(jīng)網(wǎng)絡；首先在原圖上生成球候選區(qū)域[6-7]，而后計算候選區(qū)域和真實球之間的距離，通過設置閾值刪除錯誤的候選區(qū)域，檢測模型輸出包含球類的置信度和球的直徑。在跟蹤階段，現(xiàn)有的研究主要集中于解決因球類運動速度快而造成的運動模糊、形變以及因遮擋、出畫造成的軌跡不連貫問題。使用一種邊界框重疊概率度量算法[4]，能夠在跟蹤從丟失和恢復中生成更加穩(wěn)健的球軌跡；通過擴展卡爾曼濾波估計球的位置[7],能夠更好地應對體育視頻中球類運動的不確定性；基于時變裂變?yōu)V波器對球的運動狀態(tài)建模[8]，利用相對空間濾波器對軌跡矯正，融合了時空信息；文獻[9]考慮了對排球飛行過程中影響最大的空氣阻力因素和重力因素來模擬球的運動狀態(tài)，提出了一種基于時間運動特征的軌跡校正算法。WITHDRAW 模型[10]結合質心跟蹤改進卡爾曼濾波器對球的軌跡進行更準確的估計。Zhao等人[11]結合自適應目標區(qū)域大小的MeanShift 算法改進卡爾曼濾波跟蹤估計，提升了跟蹤準確率和速度。

此外，為了獲取更多有效的區(qū)分性特征，使用魚眼相機、無人機和可穿戴設備[12-14]等多樣化傳感器輔助球類的視覺跟蹤。由球類的尺寸過小的特點，根據(jù)球員和裁判員在球場上的行為和軌跡[15-17]預測球類的軌跡也提供了一種間接且有效的思路。

3.2 單攝像機運動員跟蹤

體育視頻中的單攝像機多運動員跟蹤大都遵循基于檢測的跟蹤框架，模型流程如圖3 所示。在單攝像機多目標跟蹤領域中，多數(shù)方法的跟蹤目標集中于行人或車輛，其具有運動模式簡單且規(guī)則，外觀特征差異明顯等特征優(yōu)勢。體育視頻中的運動員跟蹤則與之相反，本文將多運動員跟蹤特點總結如下：

圖3 單攝像機多運動員跟蹤流程圖

(1) 運動員外觀相似。體育比賽中球員往往身著統(tǒng)一樣式的隊服，尤其是同一隊的運動員之間隊服款式、樣色均相同，因此在計算機視覺領域中以往公認的最顯著、可靠、穩(wěn)定的外觀特征在體育視頻跟蹤中區(qū)別性差、穩(wěn)定性低。

(2) 運動員的非線性運動模式。體育運動中球員的運動機動性強，其運動方向和速度不斷變化且不可預測，因此其運動狀態(tài)并不是勻速運動模型，而是更為復雜的非線性、非高斯運動狀態(tài)。

(3) 運動員之間遮擋頻繁。激烈的團體性體育運動中球員之間交互性較強，會導致遮擋情況的頻繁發(fā)生，進而導致在丟失重檢過程中的身份漂移問題。

為了解決因運動員外觀特征的不可靠造成的誤檢漏檢情況，一些研究者使用姿態(tài)特征輔助跟蹤。Kong 等人[18-19]在檢測關聯(lián)中使用運動員的外觀和姿態(tài)特征生成局部軌跡的初始化狀態(tài)，并設計了一個基于長短期記憶網(wǎng)絡和姿態(tài)特征的三重流網(wǎng)絡，能夠對運動員的長期時間姿勢動態(tài)進行建模，將運動員姿態(tài)、外觀以及運動員之間的互動特征融合用以區(qū)分不同的運動員。?ajina 等人[20]在每個視頻幀中確定運動員的2D 姿態(tài)，將其轉換為3D 姿態(tài)，然后使用聚類方法將所有運動員姿態(tài)分組以構造特定動作姿態(tài)集合，并在后續(xù)檢測和跟蹤過程中增加姿態(tài)分類信息。

為了適應運動員的非線性運動，AMHT 模型[21]結合粒子群優(yōu)化算法，對運動估計中的測量值進行兩次觀測細化，最終得到精確的關聯(lián)假設，進而更新卡爾曼濾波器中的軌跡狀態(tài)。Kim 等人[22]利用對領域前景區(qū)域的多尺度采樣，計算采樣圖像塊和被跟蹤運動員之間的差異，并使用在線插值法更新每個跟蹤目標的狀態(tài)。OC-SORT[23-24]通過以觀測為中心的在線平滑、以觀測為中心的動量代價矩陣和以觀測為中心的軌跡恢復三個策略，減少丟失重檢和以線性運動模式為假設造成的誤差累計，證明了在不使用外觀特征的情況下簡單的運動模型也能獲得較好的跟蹤性能。Huang 等人[25]利用迭代放大擴展的IOU 模型，在軌跡關聯(lián)階段有控制的迭代擴大邊界框，在級聯(lián)匹配過程中增加置信感知參數(shù)，摒棄了以線性運動模型為假設前提的卡爾曼濾波器。

針對體育場景中運動員之間的頻繁遮擋情況，為運動員之間的交互關系建立圖模型能夠為區(qū)別遮擋區(qū)域中的不同運動員提供更多有價值的信息。Sullivan 等人[26]構建跟蹤圖用以表示目標被跟蹤的狀態(tài)以及目標之間的交互關系，利用圖約束和軌跡之間的相似性度量來關聯(lián)孤立軌跡，并將優(yōu)化過程表述為貝葉斯網(wǎng)絡推理問題，以求得最佳軌跡。Itoh 等人[27]預先將多個運動員的位置信息表示為時間態(tài)勢圖，通過運行由該圖引導的粒子過濾器，可以減少錯誤檢測，即使發(fā)生遮擋也可以穩(wěn)健地跟蹤運動員。首先對未遮擋的個體區(qū)域和存在遮擋的群體區(qū)域做出區(qū)分，便于后續(xù)對遮擋區(qū)域進行有針對性的處理。雙模式的雙向貝葉斯推理方法[28]就是在離線通用模型和在線專用模型之間動態(tài)切換，通過前向濾波和后向平滑聯(lián)合處理單個孤立目標和多個遮擋目標的跟蹤。Yamamoto等人[29]通過水平集方法檢測運動員區(qū)域，然后判斷此區(qū)域是被遮擋的群體區(qū)域還是未被遮擋的個體區(qū)域，使用運動員球衣號碼識別結果，通過基于關鍵點的匹配與來多視角特征模板關聯(lián)軌跡。Xing 等人[30]通過屬性匹配算法根據(jù)預先確定的位置、大小、顏色和運動信息屬性，在不同幀中找到兩個目標之間的最佳匹配。Sabirin 等人[31]引入了在模型場的固定位置密集采樣的共享粒子的概念，使用外觀和運動組合特征來全局評估目標在模型場粒子上的可能性，將目標之間的交互封裝至狀態(tài)空間模型中，使得算法可以在有遮擋的情況下跟蹤運動員。被遮擋目標和遮擋目標常常被識別為同一個前景區(qū)域，為了區(qū)分它們，Lu 等人[32]提出了一種識別候選遮擋目標的方法，利用額外的跟蹤器來檢測與目標具有高度相似外觀的遮擋目標，并在遮擋結束時重新定位被跟蹤目標；Kim[33]將前景區(qū)域看作是地形表面，利用分水嶺分割技術區(qū)分互相遮擋的區(qū)域，能夠準確地描述每個運動員的邊界線并跟蹤遮擋運動員。遮擋情況下經(jīng)常造成重復檢測，即檢測器對一幀中的同一個運動員生成了多個檢測框，導致產(chǎn)生多次檢測誤報。為了解決這個問題，He 等人[34]設計了一個基于Transformer 的重復檢測凈化器D3，一旦出現(xiàn)重復檢測D3 立即通過產(chǎn)生增強的檢測框或跟蹤框損失修正結果。

3.3 多攝像機多運動員跟蹤

多攝像機多運動員跟蹤架構涉及相機標定、特征提取、目標檢測、目標重識別、軌跡匹配以及跨攝像機關聯(lián)等關鍵技術，整體流程框架如圖4所示，本章重點關注跨攝像機關聯(lián)方法的研究進展。多攝像機多運動員跟蹤算法按照跨攝像機的全局軌跡生成方法的不同可以分為概率占用圖模型和濾波器狀態(tài)估計模型。

圖4 多攝像機多運動員跟蹤流程

用概率占用圖模型生成全局軌跡[35-39]，需要預先利用相機標定數(shù)據(jù)對體育場地進行空間建模，將整個場地劃分為多個格柵，利用被跟蹤目標的顏色、紋理、姿態(tài)等表觀特征對跟蹤目標建立概率模型，然后將跨攝像機軌跡關聯(lián)看作是動態(tài)規(guī)劃問題，最終得到全局搜索得到的最優(yōu)軌跡。

用卡爾曼濾波器的狀態(tài)估計模型關聯(lián)各局部軌跡[40-41]，是利用單應變換將單攝像機的跟蹤結果投影到全局平面圖，然后對運動員的運動狀態(tài)建模，通過卡爾曼濾波器對連續(xù)時間內的狀態(tài)做出最優(yōu)估計，從而獲得運動員在全局平面圖中的全局軌跡。

這兩類方法的共同點是需要將全局軌跡生成問題建模為概率問題，且需要預設值先驗信息，比如運動員的運動模式信息或體育場地空間信息，這些方法具有對運動類型、光線變化等噪聲敏感，泛化性差且需要分步優(yōu)化等缺陷。

4 評價指標

體育視頻中的目標跟蹤的評級指標從檢測精度、跟蹤精度、軌跡匹配一致性等多個方面衡量模型的性能。以下介紹幾種常見指標。

IDF1：代表正確識別的檢測和平均標注數(shù)與檢測數(shù)之比，其值越大代表ID跟蹤軌跡結果越精確。

MOTA：多目標跟蹤準確度，用于衡量跟蹤算法的綜合能力，計算方法如式(1)所示，其中參數(shù)FP和FN代表了在第t幀時的誤檢、漏檢個數(shù)，GT為每幀的真實標注框個數(shù)，IDs為切換次數(shù)，即某一個跟蹤目標的ID 與其歷史ID 不同，經(jīng)常在多個目標互相遮擋時發(fā)生。

MOTP：多目標跟蹤精度，用于衡量跟蹤目標和標注框的不匹配程度，在計算歐氏距離時其值越小代表了定位越精準，計算方式如式(2)所示。其中Ct表示第t幀中的預測軌跡和GT軌跡成功匹配上的數(shù)目，表示第t幀中第i個匹配對之間的距離，即誤差。

MCTA：多攝像機目標跟蹤精度，綜合考慮了檢測準確率、單攝像機跟蹤精度和跨攝像機跟蹤精度，得分越高表示跟蹤越準確，計算方式如(3)所示。其中P和R分別表示檢測精度和召回率，M w表示單攝像機ID錯誤匹配數(shù)，Tw表示單攝像機正確檢測數(shù)，Mh表示跨攝像機ID 錯誤匹配數(shù)，Th表示跨攝像機正確檢測數(shù)，跨攝像機正確檢測指的是從某一個攝像機消失后又從另一個攝像機重新匹配到。

HOTA：高階跟蹤準確度，將檢測、關聯(lián)和定位的效果平衡到一個統(tǒng)一度量中，得分越高表示跟蹤越準確，計算方式如式(4)所示。

其中HOTAα為HOTA分解的子指標，計算方式如下：

其中TP，F(xiàn)N，F(xiàn)P分別代表被模型預測為陽的正樣本，漏檢即不匹配的真實檢測，誤檢即不匹配的預測。Ac的計算公式如下。

其中TPA(c)為真陽關聯(lián)，表示兩條軌跡之間的真陽性匹配數(shù)量；FNA(c)為誤報關聯(lián)，表示預測軌跡中的剩余檢測；FPA(c)為假陽關聯(lián)，表示真實軌跡中的剩余檢測。

5 總結與展望

體育視頻中的目標跟蹤在球類跟蹤、單攝像機運動員跟蹤以及多攝像機多運動員跟蹤中已取得了很大的進展。本文首先對體育視頻中的目標跟蹤進行簡要介紹，接著梳理了體育場景中目標跟蹤的分類、研究的重點和難點，最后整理了常見的評價指標。體育比賽中攝像機網(wǎng)絡的逐步完善和視頻分析技術的提高，對跟蹤性能提出了更高的要求，未來可探索的方向有以下幾個方面：

(1) 跟蹤目標的特征表示?，F(xiàn)有模型缺少對形狀特征和表觀特征在各種被跟蹤目標類型上的表達能力的研究，因此對不同的跟蹤任務兼容能力不足。從特征表示方法角度出發(fā)，如何使模型更加全面、準確地表達各類特征，對構建泛化性強的通用跟蹤模型有重要意義。

(2) 多源數(shù)據(jù)的融合?，F(xiàn)有的公開體育視頻跟蹤數(shù)據(jù)多為單攝像機拍攝，受限于單一視角和類型，容易受到光線變化、障礙遮擋等各類噪聲影響，很難提取到有效的視覺信息，導致跟蹤丟失現(xiàn)象。從數(shù)據(jù)融合角度出發(fā)，多源信息的融合如增加攝像機視角、增加紅外傳感器等，對體育場景中的目標跟蹤效果的提升有待進一步研究。

(3) 運動語義分析。多數(shù)現(xiàn)有的多目標跟蹤模型研究只關注如何盡可能獲取目標的精確運動軌跡，而針對體育運動更高層次的運動語義信息研究不足。隨著體育運動分析系統(tǒng)的進一步智能化要求，基于跟蹤軌跡的運動目標行為分析有待進一步探索。