陳鵬展, 曾榮飛, 盧偉清

(華東交通大學(xué) 電氣與自動(dòng)化工程學(xué)院,江西 南昌 330013)

0 引 言

基于多目視覺(jué)的飛行球類軌跡預(yù)測(cè)研究利用多目視覺(jué)系統(tǒng)提取完整的飛行球運(yùn)動(dòng)軌跡并進(jìn)行軌跡預(yù)測(cè),其包含了目標(biāo)識(shí)別、三維重建、信息融合、系統(tǒng)實(shí)時(shí)同步、軌跡跟蹤和軌跡預(yù)測(cè)等研究難點(diǎn)。兵乓球具有體積小、飛行速度快、運(yùn)動(dòng)模型復(fù)雜等特性,非常符合飛行球類軌跡預(yù)測(cè)研究實(shí)驗(yàn)對(duì)象標(biāo)準(zhǔn),近年來(lái)，越來(lái)越多的研究者利用兵乓球作為實(shí)驗(yàn)對(duì)象進(jìn)行飛行球類軌跡預(yù)測(cè)研究。

目前，針對(duì)兵乓球軌跡預(yù)測(cè)的研究,主要分為基于物理運(yùn)動(dòng)模型預(yù)測(cè)和基于機(jī)器學(xué)習(xí)模型預(yù)測(cè)。兵乓球基于傳統(tǒng)的運(yùn)動(dòng)模型軌跡預(yù)測(cè)需要考慮各種復(fù)雜的物理場(chǎng)影響因素,比如重力、馬格努斯力、空氣阻力、球回彈力和落地摩擦力等[1],這無(wú)疑會(huì)帶來(lái)模型的高復(fù)雜度和低魯棒性[2]。機(jī)器學(xué)習(xí)具有模型建立簡(jiǎn)單,泛化性高的優(yōu)勢(shì),目前逐漸成為乒乓球軌跡預(yù)測(cè)研究趨勢(shì)。Zhao Y等人[3]提出一個(gè)基于K-means算法的擴(kuò)展連續(xù)運(yùn)動(dòng)模型(ECMM),在ECMM的基礎(chǔ)上,提出一種基于期望最大化算法的運(yùn)動(dòng)狀態(tài)估計(jì)方法,該方法將ECMM中的類別作為一個(gè)潛在變量進(jìn)行精確的軌跡預(yù)測(cè)。Lin H I等人[4]將乒乓球軌跡以落點(diǎn)為界限分為2段,提出一種雙人工神經(jīng)網(wǎng)絡(luò)模型進(jìn)行兵乓球軌跡預(yù)測(cè)。Su H等人[5]提出一種基于模糊邏輯的非線性濾波器用于計(jì)算球的濾波位置,采用局部建模法,獲取反彈后的速度,根據(jù)球的初始狀態(tài)以及飛行和反彈模型來(lái)預(yù)測(cè)后續(xù)軌跡。Lu C F等人[6]提出了一種自適應(yīng)來(lái)測(cè)量協(xié)方差離散Kalman軌跡估計(jì)算法,主要解決由于兵乓球高速運(yùn)動(dòng)而帶來(lái)的各種誤差問(wèn)題,實(shí)現(xiàn)精準(zhǔn)的軌跡跟蹤。大部分的兵乓球軌跡預(yù)測(cè)研究采用兵乓球運(yùn)動(dòng)模型進(jìn)行預(yù)測(cè),由于模型復(fù)雜,影響因素太多,受環(huán)境影響大,因此在真實(shí)場(chǎng)景中應(yīng)用具有很大的挑戰(zhàn)。

本文中提出一種結(jié)合簡(jiǎn)單物理運(yùn)動(dòng)(simpie physical motion,SPM)模型和長(zhǎng)短期記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)模型的軌跡預(yù)測(cè)模型,即SPM-LSTM。實(shí)驗(yàn)證明在仿真環(huán)境下,本文提出的預(yù)測(cè)算法能夠?qū)崿F(xiàn)飛行速度為5 m/s的乒乓球軌跡預(yù)測(cè),平均預(yù)測(cè)精度能達(dá)到35.8 mm,基本滿足兵乓球軌跡預(yù)測(cè)需求。

1 軌跡提取系統(tǒng)

本文利用3臺(tái)高速工業(yè)相機(jī)搭建乒乓球軌跡提取系統(tǒng)。首先,采集多目視覺(jué)提取多視角圖像,輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中進(jìn)行乒乓球目標(biāo)識(shí)別,提取多視角圖像中小球中心點(diǎn)圖像坐標(biāo)值,完成像素點(diǎn)匹配。其次,利用多目視覺(jué)三維定位原理提取出精準(zhǔn)的小球空間三維坐標(biāo)值,完成乒乓球軌跡預(yù)測(cè)。為解決相機(jī)拍攝不同步帶來(lái)的誤差問(wèn)題,采用硬件外部同步觸發(fā)方式進(jìn)行多目視覺(jué)系統(tǒng)同步圖像信息采集。為簡(jiǎn)化實(shí)驗(yàn),本文不考慮相機(jī)幀率波動(dòng)問(wèn)題。圖1為軌跡提取系統(tǒng)結(jié)構(gòu)。

圖1 軌跡提取系統(tǒng)結(jié)構(gòu)

為了提取精準(zhǔn)的乒乓球運(yùn)動(dòng)軌跡,小球的精準(zhǔn)三維定位是其中關(guān)鍵。攝像機(jī)標(biāo)定的目的在于找出圖像像素點(diǎn)坐標(biāo)與真實(shí)三維空間點(diǎn)坐標(biāo)之間的映射關(guān)系,圖像目標(biāo)物像素點(diǎn)的提取一般使用特征點(diǎn)提取,其優(yōu)勢(shì)在于精度高,缺點(diǎn)是泛化性差。本文采用YOLOv3神經(jīng)網(wǎng)絡(luò)進(jìn)行乒乓球目標(biāo)識(shí)別。首先,進(jìn)行乒乓球目標(biāo)識(shí)別,提取檢測(cè)框的中心點(diǎn)圖像坐標(biāo),然后在相機(jī)標(biāo)定參數(shù)的基礎(chǔ)上利用立體視覺(jué)三角定位原理進(jìn)行乒乓球三維定位。相機(jī)像素坐標(biāo)(u,v)與空間世界坐標(biāo)系(Xw,Yw,Zw)之間的關(guān)系如下

(1)

式中u0,v0為主點(diǎn)坐標(biāo),fx,fy為有效焦距;Zc為攝像機(jī)坐標(biāo)系下縱坐標(biāo)值;R3×3為旋轉(zhuǎn)矩陣,T3×1為平移矩陣。

多目視覺(jué)軌跡提取系統(tǒng)采用的立體視覺(jué)三角定位原理,利用3臺(tái)工業(yè)相機(jī),兩兩組合將組成3組雙目相機(jī),將其中一個(gè)相機(jī)設(shè)置為主相機(jī)。主相機(jī)的坐標(biāo)原點(diǎn)為整個(gè)多目視覺(jué)系統(tǒng)的坐標(biāo)原點(diǎn)。多目相機(jī)系統(tǒng)位置擺放保證乒乓球運(yùn)動(dòng)軌跡至少出現(xiàn)在2臺(tái)相機(jī)圖像中,三維空間點(diǎn)坐標(biāo)如下式

Xw=Zwxl/fl,Yw=Zwyl/fl,

(2)

式中fl,fr分別為左右相機(jī)焦距;(xl,yl),(xr,yr)分別為左右相機(jī)成像平面坐標(biāo);ri,ti分別為旋轉(zhuǎn)矩陣R和平移矩陣T對(duì)應(yīng)的第i個(gè)元素值。

2 基于神經(jīng)網(wǎng)絡(luò)偏差修正的物理模型預(yù)測(cè)方法

2.1 SPM模型

為將物理運(yùn)動(dòng)模型設(shè)計(jì)的盡可能簡(jiǎn)單,本文選擇忽略馬格努斯力。圖2為乒乓球運(yùn)動(dòng)過(guò)程中受力分析。

圖2 乒乓球受力分析

乒乓球的受力分析如下

(3)

式中Fg為乒乓球重力;m為小球質(zhì)量,取2.7 g;gn為重力加速度,取9.8 m/s;Fr為空氣阻力;Cd為阻力系數(shù),取0.5;ρ為空氣密度,取1.29 kg/m3;Fb為空氣浮力,因數(shù)值太小不加入計(jì)算。

依據(jù)每一個(gè)坐標(biāo)軸的受力分析進(jìn)行乒乓球物理運(yùn)動(dòng)模型推導(dǎo),令k=Cdρa(bǔ)A/2。

1)小球在X軸上只受到空氣阻力影響

(4)

積分可得

(5)

式中vx0和x0為小球在X軸方向的初始速度和初始位置。

2)小球在Y軸上同樣只受到空氣阻力影響

(6)

3)小球在Z軸上受到空氣阻力和重力的影響

當(dāng)vz≥0時(shí),小球受力分析如下

(7)

積分可得

(8)

當(dāng)vz<0時(shí),小球受力分析如下

(9)

積分可得

(10)

乒乓球的第二段軌跡為碰撞反彈模型,當(dāng)小球與桌面碰撞時(shí),由于受球速、球自身運(yùn)動(dòng)的方式等因素的不同,水平方向和豎直方向上的摩擦系數(shù)和衰減系數(shù)也不同,因此小球反彈模型如下所示

vxout=kxvxin+bx,vyout=kyvyin,vzout=kzvxin+bz

(11)

式中kx,ky,kz,bx,bz為反彈參數(shù)。

利用離線的300條乒乓球碰撞反彈軌跡計(jì)算小球反彈參數(shù),實(shí)驗(yàn)以反彈前的速度為橫坐標(biāo),反彈后的速度為縱坐標(biāo),然后利用最小二乘法擬合分別確定水平方向和豎直方向的反彈系數(shù)。表1為實(shí)驗(yàn)后得出的反彈系數(shù)值。

表1 反彈系數(shù)

2.2 LSTM模型

LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò),借鑒了人類神經(jīng)記憶的長(zhǎng)短時(shí)和遺忘特性,適用于處理序列預(yù)測(cè)問(wèn)題[7]。這一類神經(jīng)網(wǎng)絡(luò)模型在內(nèi)部維持一個(gè)狀態(tài)向量,序列輸入的過(guò)程中模型不斷更新?tīng)顟B(tài)向量,同時(shí)基于當(dāng)前輸入和當(dāng)前狀態(tài)輸出一個(gè)向量。對(duì)于一個(gè)輸入序列,通過(guò)多個(gè)這樣的遞歸操作,神經(jīng)網(wǎng)絡(luò)可以輸出一個(gè)對(duì)應(yīng)的輸出序列,對(duì)應(yīng)于本文提出的軌跡預(yù)測(cè)問(wèn)題,該輸出序列即為預(yù)測(cè)的下一時(shí)刻坐標(biāo)偏差值。圖3為L(zhǎng)STM模型結(jié)構(gòu)。

圖3 LSTM模型結(jié)構(gòu)

利用訓(xùn)練好的LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)SPM模型軌跡點(diǎn)坐標(biāo)偏差值,將飛行軌跡點(diǎn)的t時(shí)刻到t+n時(shí)刻的三維坐標(biāo)序列和速度分量序列作為輸入,輸出t時(shí)刻到t+n時(shí)刻的三維坐標(biāo)偏差值序列。

2.3 SPM-LSTM模型

首先利用簡(jiǎn)單運(yùn)動(dòng)模型預(yù)測(cè)出乒乓球飛行軌跡,再制作軌跡點(diǎn)偏差序列數(shù)據(jù)集,利用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型輸入軌跡點(diǎn)坐標(biāo)和速度,輸出坐標(biāo)偏差值,最后將坐標(biāo)偏差值和與預(yù)測(cè)出來(lái)的軌跡點(diǎn)坐標(biāo)相結(jié)合,得到最終的軌跡點(diǎn)預(yù)測(cè)坐標(biāo)。圖4為SPM-LSTM預(yù)測(cè)模型的結(jié)構(gòu)。

圖4 SPM-LSTM模型結(jié)構(gòu)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)施框架

本文實(shí)驗(yàn)環(huán)節(jié)采用了3臺(tái)高速黑白工業(yè)相機(jī)進(jìn)行圖像采集,相機(jī)型號(hào)為HIKVISON/MV—CA013—21UM,像素為130萬(wàn)像素,最高幀數(shù)可達(dá)210幀。乒乓球采用標(biāo)準(zhǔn)比賽用球,直徑為40 mm,重量為2.7 g,球桌規(guī)格為長(zhǎng)為2.74 m,寬為1.525 m,高為0.76 m,實(shí)驗(yàn)仿真平臺(tái)為Ubuntu16.04操作系統(tǒng),TITAN X顯卡,16 GB內(nèi)存。圖5為實(shí)驗(yàn)平臺(tái)硬件設(shè)施。

圖5 實(shí)驗(yàn)平臺(tái)硬件設(shè)施

3.2 模型訓(xùn)練

SPM-LSTM模型訓(xùn)練利用Keras搭建LSTM神經(jīng)網(wǎng)絡(luò),采集SPM模型輸出軌跡與真實(shí)軌跡之間的偏差數(shù)據(jù)作為數(shù)據(jù)集。

3.3 軌跡預(yù)測(cè)

本文利用軌跡提取系統(tǒng)采集1 000條飛行速度為5 m/s左右的乒乓球運(yùn)動(dòng)軌跡,分別根據(jù)每條運(yùn)動(dòng)軌跡的軌跡點(diǎn)三維坐標(biāo)序列制作坐標(biāo)數(shù)據(jù)集和根據(jù)真實(shí)軌跡與SPM模型輸出之間的偏差數(shù)據(jù)序列制作偏差數(shù)據(jù)集,并且選中其中的700組作為訓(xùn)練集,300組作為測(cè)試集。將制作好的訓(xùn)練集分別輸入LSTM模型和SPM-LSTM模型中進(jìn)行訓(xùn)練,在分別進(jìn)行訓(xùn)練了5 000次后,loss分別降為了0.023 8和0.013 4,保存訓(xùn)練好的模型參數(shù)以便用于接下來(lái)的離線測(cè)試實(shí)驗(yàn)。將測(cè)試集中的每條曲線的初始10個(gè)軌跡點(diǎn)信息輸入到訓(xùn)練好的LSTM模型和SPM-LSTM模型中,相應(yīng)的輸出未來(lái)時(shí)刻的軌跡點(diǎn)三維坐標(biāo)。圖6為SPM、LSTM和SPM-LSTM的第一組測(cè)試數(shù)據(jù)的預(yù)測(cè)軌跡曲線。圖7(a),(b)分別為SPM、LSTM模型和SPM-LSTM模型的誤差對(duì)比。3種算法的誤差比較如表2。

圖6 第一組數(shù)據(jù)預(yù)測(cè)曲線

圖7 3種預(yù)測(cè)算法平均誤差分布

表2 3種預(yù)測(cè)算法的誤差比較

由圖6可看出,SPM-LSTM模型預(yù)測(cè)曲線非常貼近真實(shí)軌跡曲線,預(yù)測(cè)效果最好,而LSTM模型預(yù)測(cè)效果中等,SPM模型預(yù)測(cè)曲線與真實(shí)軌跡曲線相差最遠(yuǎn),預(yù)測(cè)效果最差。同時(shí)由圖7(a),(b)可以明顯看出,SPM-LSTM模型在X軸、Y軸和Z軸的每條預(yù)測(cè)曲線的平均誤差在3個(gè)預(yù)測(cè)模型中最小,并且經(jīng)過(guò)300次實(shí)驗(yàn),SPM-LSTM模型各個(gè)方向分量上的平均誤差相對(duì)于其他2個(gè)模型來(lái)說(shuō)都是最小的,分別為21.4,17.2,17.6 mm,并且總的平均誤差為35.7 mm。而實(shí)驗(yàn)所用乒乓球直徑為40 mm,因此，可分析得出SPM-LSTM模型在仿真環(huán)境下可以精準(zhǔn)用于乒乓球軌跡預(yù)測(cè)。同時(shí)實(shí)驗(yàn)結(jié)果顯示SPM-LSTM模型在各個(gè)方向分量的標(biāo)準(zhǔn)差相對(duì)其他2個(gè)預(yù)測(cè)算法也是最小的,分別為9.0,9.1,3.5 mm,并且總的標(biāo)準(zhǔn)差為7.6 mm,由此可以分析得出SPM-LSTM模型的穩(wěn)定性同時(shí)也是最強(qiáng)的。

4 結(jié)束語(yǔ)

本文針對(duì)乒乓球初始軌跡點(diǎn)跟蹤問(wèn)題,通過(guò)YOLOv3目標(biāo)識(shí)別結(jié)合多目視覺(jué)實(shí)現(xiàn)乒乓球三維定位,實(shí)現(xiàn)乒乓球精準(zhǔn)三維跟蹤定位。在乒乓球初始軌跡點(diǎn)實(shí)時(shí)跟蹤的基礎(chǔ)上,提出了一種結(jié)合SPM模型和LSTM神經(jīng)網(wǎng)絡(luò)模型的軌跡預(yù)測(cè)模型(SPM-LSTM),通過(guò)采集SPM模型輸出值與真實(shí)軌跡值之間的偏差序列數(shù)據(jù)做成偏差數(shù)據(jù)集,將數(shù)據(jù)集放入LSTM神經(jīng)網(wǎng)絡(luò)中進(jìn)行迭代訓(xùn)練直至收斂,最終利用訓(xùn)練完成的SPM-LSTM算法在仿真環(huán)境中進(jìn)行了算法對(duì)比測(cè)試。通過(guò)采集乒乓球運(yùn)動(dòng)軌跡的10個(gè)初始軌跡點(diǎn)數(shù)據(jù)輸入到訓(xùn)練好的SPM-LSTM模型、LSTM和SPM算法中,進(jìn)行了300次實(shí)驗(yàn),輸出結(jié)果和真實(shí)數(shù)據(jù)做對(duì)比。仿真實(shí)驗(yàn)結(jié)果說(shuō)明了SPM-LSTM模型軌跡預(yù)測(cè)性能遠(yuǎn)高于LSTM和SPM模型,能夠適用于乒乓球運(yùn)動(dòng)軌跡預(yù)測(cè)。

本文提出的乒乓球軌跡預(yù)測(cè)方法也存在局限性。由于軌跡提取采用神經(jīng)網(wǎng)絡(luò)提取目標(biāo)物中心點(diǎn)的方式實(shí)現(xiàn)多目視覺(jué)像素點(diǎn)匹配,神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確性和速度限制了軌跡提取系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性,同時(shí),由于SPM-LSTM算法實(shí)時(shí)預(yù)測(cè)SPM偏差坐標(biāo)值后將其與SPM預(yù)測(cè)值結(jié)合沒(méi)有進(jìn)一步數(shù)據(jù)分析處理,導(dǎo)致預(yù)測(cè)性能下降。因此,下一步研究工作是提升目標(biāo)識(shí)別的準(zhǔn)確性和實(shí)時(shí)性,增強(qiáng)軌跡預(yù)測(cè)系統(tǒng)的魯棒性。