牛鶴璇, 王艾莎, 胡 萍, 劉 梅

(1. 哈爾濱體育學院 休閑與社會體育系， 黑龍江 哈爾濱 150040；2. 哈爾濱體育學院 體育健康與人文系， 黑龍江 哈爾濱 150040)

虛擬現實(virtual reality,VR)技術是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)，它利用計算機生成一種模擬環(huán)境，使用戶沉浸到該環(huán)境中。增強現實(augmented reality,AR)技術是一種實時地計算攝影機影像的位置及角度并加上相應圖像、視頻、3D模型的技術，是一種將真實世界信息與虛擬世界信息無縫集成的新技術。近年來，隨著計算機軟件硬件計算能力大幅提升，AR和VR技術發(fā)展迅速。AR和VR可以在轉播中為觀眾提供較強的交互性和真實性[1-2]，被廣泛應用于體育賽事的直播中。由于體育賽事轉播，特別是冬季體育賽事轉播，存在比賽場地結構相對復雜、運動員移動速度較快和受氣候環(huán)境影響相對較大等問題，在轉播過程中，跟蹤識別運動員和拼接運動圖像存在一定難度。

在關于冬季體育賽事中AR與VR技術應用方面的研究中，文獻[3]在運動虛擬化場景的單點移動相機中，提出了一種在運動場景中應用AR的可用算法，將增強場景的圖像作為原始場景的一部分出現，但該方法在多點移動相機中無法使用，導致圖像增強效果存在局限性。文獻[4]使用多臺攝像機拍攝多段視頻進行體育場景的分析和可視化，由每幀虛擬視點附近的實際攝像機之間的視點插值合成，使自由視點視頻在AR系統(tǒng)中呈現，提升沉浸式可視化用戶體驗，但對視頻的合成過程中存在延時和卡頓，并且識別精度較差。文獻[5]提出一種用于冰球識別和跟蹤的方法，利用相機自動標定算法對相機矩陣進行測試，該方法從轉播中得到仿真數據集，但相機轉動角度小于15度，導致識別跟蹤速度降低。文獻[6]運用虛擬內容的插入方式，檢測候選插入區(qū)域，自動調整虛擬內容到插入區(qū)域，利用攝像機對場景中的虛擬內容進行信息校準處理，但這種方法過多依賴攝像機校準，校準效率較低。文獻[7]估計位置、方向和攝相機的焦距，利用霍夫變換提取地面線模型，根據KLT(Kanade-Lucas-Tomasi)跟蹤算法預測攝像機參數，并且在冰球賽場上進行測試，同時提出了AR的配準方法，從圖像平面上得到了圓形點的圖像，但該方法對地面線的提取和運動員圖像的提取存在不同步，影響轉播效果。文獻[8]設計了一種用于冬季賽事體育直播的增強現實系統(tǒng)，采用期望最大化方法尋找最優(yōu)特征點，通過播放視頻計算相機參數，派生出一個虛擬攝像機獲得各種虛擬場景，但該方法的實現復雜度較高，存在轉播延時。文獻[9]分析運動員在冬季賽場上的移動軌跡對AR和VR的應用影響，包括運動軌跡形成動機、基于視覺的人員跟蹤和拍攝硬件等，但并沒有提出相應的解決方案。文獻[10]利用卡爾曼濾波結合稀疏核主成分分析方法實現紅外小目標跟蹤與檢測，但是該方法主要用于目標跟蹤和檢測，并不適用于賽場上運動員識別。文獻[11]提出聯合雙邊濾波和非局部濾波的圖像去噪算法，提高了系統(tǒng)計算速度，降低了計算復雜度，可應用于視頻轉播后續(xù)的圖像處理，但不能應用于賽場上運動員識別。

為了更加清晰和流暢轉播冬季賽場上的實時畫面，本文設計了一種智能視頻分析系統(tǒng)，通過迭代最近點(iterative closest point,ICP)算法對視頻序列中的數據進行匹配，利用單應性矩陣把3D物體模型插入到圖像或者視頻中，成為原始場景的一部分，實現冬季體育賽事賽場上運動員準確跟蹤和識別，以增強觀眾對AR與VR互動體驗感。

1 智能視頻分析系統(tǒng)原理與功能

本文設計的智能視頻分析系統(tǒng)模型如圖1所示。

圖1 智能視頻分析系統(tǒng)

智能視頻分析系統(tǒng)包括跟蹤多目標、單應性估計、運動員識別、訓練序列管理等4個模塊，各個模塊的原理和功能如下。

1)跟蹤多目標。智能視頻分析系統(tǒng)通過檢測跟蹤方法對賽場多個目標進行跟蹤，然后對跟蹤結果進行分類。例如將紅色服裝運動員目標分為一類，藍色服裝運動員目標分為一類，之后對每個類別的運動員的運動狀態(tài)進行聚類檢測。

2)利用ICP算法實現點對點集的配準。在冬季體育賽場上，從多個角度獲得運動員的圖像，通過圖像空間變換尋找圖像點集之間的映射關系，使得采集到的圖像點與其空間位置點一一對應，達到圖像信息融合的目的。例如對運動員圖像的重建，用攝像機對運動賽場進行掃描，通常情況下不可能掃描一次就將場內的物體全部掃描完成，可能會經過多次掃描獲得某個物體的多角度圖像，也就是不同角度的點云，將這些點云融合到一起，可以融合成一個物體完整的3D圖像。

3)估計單應性。利用ICP算法對圖像的單應性矩陣進行求解，得到圖像間的單應性估計。單應性可以理解為用單應性矩陣來描述坐標系之間的位置映射關系，通過ICP算法求出圖像點集的平移旋轉，變換物體的圖像視角。

4)識別運動員。采用馬爾科夫預測方法[12]，對開闊空間中運動員的運動軌跡進行統(tǒng)計，并加以識別。在智能視頻分析系統(tǒng)中，獲得賽場上運動員在各個時間段的運動軌跡，對運動軌跡進行建模描述，然后建模為不同的運動狀態(tài)，預測運動員從初始狀態(tài)經過多次狀態(tài)轉移后達到某個狀態(tài)的轉移概率，將狀態(tài)轉移概率和運動員實際的運動軌跡相結合，減少識別時間。

5)管理訓練序列。在運動員的跟蹤和識別過程中，反復地對已經獲得的現場數據做訓練，對訓練數據以列表的方式存儲于數據庫中，通過識別系統(tǒng)對訓練結果進行評估，增加識別精度。

智能視頻分析系統(tǒng)在圖像重建和訓練序列管理方面的應用如圖2所示。

圖2 圖像重建和訓練序列管理

圖2(a)以場地中兩名運動員為例描述了7個時刻點的視頻圖像，其中每個數字代表在該時刻運動員的現場圖像，例如第一行圓圈1表示第一名運動員在t1時刻的圖像；第二行圓圈1表示第二名運動員在t1時刻的圖像，不同數字表示攝像設備對運動員不同角度的拍攝，通過獲取多幅不同時刻不同角度的圖像，并利用ICP算法進行點云配準，對運動員和其他物體進行圖像拼接和角度轉換。

圖2(b)描述了采用智能視頻分析系統(tǒng)對運動員進行訓練序列管理的過程，以兩名運動員為例，第一序列和第二序列中的圓圈和方框分別描述了兩名運動員在不同時刻的位置，用連線來表示運動軌跡，也可稱為運動狀態(tài)。在訓練序列管理中，運動員運動狀態(tài)的預測是基于訓練數據來進行的，例如獲得了賽場中前一個小時運動員的運動軌跡數據，將這些數據作為訓練序列，建立馬爾可夫預測模型，預測運動員的后續(xù)運動趨勢，這樣做不僅能增加檢測精度，也能夠使現場設備拍攝得到多角度的運動員圖像，為3D圖像重建提供更多數據。

2 智能視頻分析系統(tǒng)的實現

2.1 運動員建模與識別

在設計的智能視頻分析系統(tǒng)中，通過圖像重建來識別運動員，然后通過馬爾可夫模型來對運動員進行運動狀態(tài)預測，加強識別效果。

首先對運動員外形進行建模。假設運動員的外形輪廓由N個點組成，每個點的坐標記為ci=(xi,yi)，i表示運動員的第i個外形輪廓點的標記計數值，xi,yi為ci對應的x軸和y軸坐標，運動員形心坐標為c=(xc,yc),其定義為

運動員形狀用形心到目標形狀的外輪廓點的距離來表示，這時二維平面中的運動員的形狀就被表示成一維的曲線。定義序列{di,i=1,2,…,N}為邊心距序列,其中

表示形心(xc,yc)到運動員外形輪廓點ci的歐幾里得距離。如果物體的形狀不發(fā)生變化，邊心距序列是不變的。當物體的形狀發(fā)生變化時，邊心距序列也將隨之發(fā)生變化，對邊心距序列做歸一化處理

當運動員形狀用邊心距序列表示之后，目標形狀的旋轉就相當于對邊心距序列進行循環(huán)移位，將邊心距序列中的點作為點云配準的起始點。

運動員形狀定位算法步驟如下。

步驟1計算運動員形心c=(xc,yc)。

步驟4計算運動員目標的邊心距曲線和參考曲線的匹配起始位置。

步驟5計算運動員目標形狀的旋轉量。

2.2 ICP算法和單應性估計

在VR應用領域中，3D點云配準是非常重要的環(huán)節(jié)，雖然可以通過隨機采樣一致性算法、遺傳算法、主曲率算法等進行點云配準，但是ICP算法是基于幾何模型的3D對準算法，因此在VR領域目前應用最廣泛的還是ICP算法。ICP算法可以定義為給定兩個來自不同坐標系的三維數據點集，找到兩個點集的空間變換，使這些點集能進行三維空間匹配。這里用

P={Pj,j=1,2,…,N}

表示三維空間中的一個點集，另一個點集用

Q={Qj,j=1,2,…,N}

其中：‖·‖表示矩陣的范數；R表示旋轉變換矩陣；T表示平移變換矩陣；ICP算法是基于最小二乘法的最優(yōu)匹配，其本質是計算出源點集和目標點集的變換矩陣，通過旋轉和平移的方式使兩個點集的配準誤差最小，達到最佳的配準效果。

ICP算法的步驟如下。

步驟1設定點集配準變換中的門限值τ。

步驟2對源點集P進行采樣，P0∈P，P0表示源點集P中的一個子集。

步驟3在點云Q中進行查找，找到與子集P0中每個點的最近點，即Pqi-Ppi的最小值，得到兩點云P和Q的初始的對應關系。

步驟4利用算法或限定條件去除掉錯誤的對應點對。

步驟5根據步驟3中的對應關系來計算兩個點云的變換矩陣，使目標函數公式(1)的值最小，并將計算得出的變換矩陣作用于點云子集P0，得出變化后新的點云子集P′0。

把求單應性矩陣的過程定義為單應性估計，利用單應性矩陣可以描述兩個坐標系之間的位置映射關系，該過程中對應的變換矩陣就是單應性矩陣，單應性矩陣定義為

其中：M是內參矩陣；s表示尺度因子；fx、fy、u0、v0、γ分別表示相機的內參；r1、r2和t表示相機的外部參數。通過單應性矩陣可以進行圖像的視角變換，前提是通過ICP算法得到旋轉變換矩陣R和平移變換矩陣T。

2.3 狀態(tài)更新

為達到運動狀態(tài)更新的目的，在數據關聯后，使用概率濾波器更新運動狀態(tài)，令t時刻圖像幀的軌跡狀態(tài)為st={xt,yt,wt,ht}，其中：xt和yt表示圖像坐標；wt和ht分別表示圖像的寬度和高度。

由于幀的位置和大小可以發(fā)生改變，因此，定義δd為運動狀態(tài)標準差。由任一狀態(tài)出發(fā)經過α次狀態(tài)轉移，達到另一狀態(tài)的概率定義為轉移概率，將轉移概率定義為

其中：st為t時刻的運動狀態(tài)；st-1為t-1時刻的運動狀態(tài)。

假設δe為每幀圖像對應的運動狀態(tài)的標準差，則轉移概率為

增加和刪除運動狀態(tài)時，若探測均值沒有受到現有狀態(tài)的影響，就為探測均值關聯一個新的狀態(tài)。這里假設初始狀態(tài)為s0的概率為

3 實驗結果與分析

為了評估系統(tǒng)的性能，利用平昌冬奧會美國隊與韓國隊冰球比賽小組賽的錄像視頻進行測試。給出一個估計結果的圖像幀f及其最近的圖像幀f′，首先計算疊加的歸一化曲面為

其中：曲面(f∩f′)表示了兩幀之間的交叉面；曲面(f∪f′)表示了兩幀之間的公共平面。如果存在歸一化曲面，認為檢測結果是一個真正的陽性檢測的疊加，陽性檢測是指目標存在時檢測到目標數據，假陽性檢測是目標不存在時檢測到目標數據，檢測精度定義為

其中：ω表示檢測精度；η表示陽性值；μ表示假陽性值。陽性值是指在賽場上對運動員的正確跟蹤檢測結果，而假陽性值是指錯誤跟蹤監(jiān)測結果。

實驗使用與文獻[4]相同的數據集，該數據集由1 000張游戲視頻序列圖像組成。將跟蹤和識別方法與文獻[4]提出的方法進行比較。通過算法計算檢測精度和超分辨率，并與初始粒子濾波算法進行對比。初始濾波算法對1 000幅經過處理的視頻序列圖像的超分辨率平均精度為82.54%，檢測精度為84.22%。算法得到的超分辨率平均精度為92.01%，檢測精度為90.02%，與初始粒子濾波算法獲取的結果相比，其精度具有一定的提高。

利用提出的方法對韓國平昌冬奧會美國隊和韓國隊的冰球小組賽的錄像進行檢測，在視頻序列中展示自動處理的結果。雖然每隊有12名球員，但只有11名美國隊隊員和10名韓國隊隊員參加了比賽。一幅圖像中的最大檢測次數為10，即每隊5次。同時，利用高精度的分類器，將檢測結果分為兩組，并對其進行后續(xù)識別。

在23 489幅圖像中進行了174 221次檢測(檢測到85 632次美國隊隊員和88 589次韓國隊隊員)，通過25個視頻序列測試，對模型進行評估。每組視頻序列有不同的長度(持續(xù)時間)，從250幅圖像到1 350幅圖像不等，共對應15 762幅圖像，其中系統(tǒng)檢測到100 322人次(56 235次美國隊隊員，44 087次韓國隊隊員)。測試結果表明,該方法的檢測精度提高了6%，識別標識結果如圖3所示，說明本系統(tǒng)能對賽場中的運動員進行標識，圖片中的陰影部分表示對賽場中的運動員進行了大致的范圍標注。

圖3 識別標識結果

以2018年平昌冬奧會冰球球隊分類的部分結果為例，目標識別場景如圖4所示。其中，使用實線框代表韓國隊國家隊隊員，虛線框代表美國國家隊的隊員，拒絕與“其他”類別相對應的幀，可以看到，運動員分類成功地排除了裁判和觀眾以及其他物體的檢測，從而減少了運動員假陽性檢測的數量。

圖4 目標識別場景

冰球視頻自動跟蹤與識別的結果如圖5所示。其中陰影框架內的識別結果(隊伍名和運動員姓名)中包括錯誤的識別目標，例如圖中的球門。該系統(tǒng)能夠有效地對多名冰球運動員進行跟蹤和識別，即使在遮擋的情況下，也可以得到正面和側面視圖的兩種配置。并且，在球衣上的數字不可見的情況下，由于身份識別系統(tǒng)使用的是時間互斥信息，運動員的身份仍然可以識別。圖5表明，跟蹤識別方法能夠對賽場上不同國家的運動員信息進行準確標識，同時能夠將運動員與場地上其他目標進行區(qū)分。

圖5 冰球視頻自動跟蹤與識別的結果

4 結語

應用AR和VR技術，設計了一種冬季體育賽事賽場視頻認別和跟蹤系統(tǒng)。該系統(tǒng)利用系統(tǒng)中的跟蹤多目標、ICP算法、單應性估計、運動員識別和訓練序列管理等模塊對場地內的運動員進行跟蹤和識別。仿真結果表明，智能分析系統(tǒng)能夠對賽場上不同國家的運動員信息進行準確標識，同時可以將運動員與場地上的其他目標進行區(qū)分，提高檢測精度，增加轉播內容的真實性和交互性，提升觀眾體驗。