曹曉明, 高宏力, 張 潔

0 引 言

在拍攝過(guò)程中,與足球、乒乓球不同，羽毛球外形輪廓在一直變化，白顏色較背景差異較小，故在運(yùn)動(dòng)檢測(cè)的方法和策略的選取上必然會(huì)有一些差別?，F(xiàn)階段，羽毛球運(yùn)動(dòng)在工業(yè)和機(jī)器人領(lǐng)域也有了一定的研究成果。蘇振陽(yáng)等人針對(duì)羽毛球裁判系統(tǒng)提出了基于機(jī)器視覺(jué)的系統(tǒng)設(shè)計(jì)研究方案，提高了羽毛球落點(diǎn)判定效率[1]。陳兵琪等人對(duì)羽毛球進(jìn)行單相機(jī)實(shí)時(shí)采集，基于羽毛球運(yùn)動(dòng)特性進(jìn)行復(fù)雜背景的運(yùn)動(dòng)檢測(cè)，并分析羽毛球的運(yùn)動(dòng)類(lèi)型[2]。廖之健等人通過(guò)研究羽毛球各種類(lèi)型球運(yùn)動(dòng)參數(shù)，設(shè)計(jì)了羽毛球自動(dòng)發(fā)球機(jī)的控制系統(tǒng)。

本文對(duì)羽毛球動(dòng)態(tài)軌跡進(jìn)行采集與處理，對(duì)比分析了幾種常用運(yùn)動(dòng)檢測(cè)算法的效果和差異，基于三幀差算法對(duì)羽毛球運(yùn)動(dòng)軌跡進(jìn)行檢測(cè)，并根據(jù)輪廓外接矩形面積，檢測(cè)幀間隔，羽毛球運(yùn)動(dòng)特性，軌跡點(diǎn)數(shù)量改進(jìn)檢測(cè)策略，實(shí)現(xiàn)了對(duì)羽毛球運(yùn)動(dòng)單次軌跡的有效提取。通過(guò)對(duì)Basler雙目相機(jī)進(jìn)行基于硬件觸發(fā)的同步曝光、采集、處理，基于雙目標(biāo)定結(jié)果進(jìn)行羽毛球運(yùn)動(dòng)的三維測(cè)量并擬合出運(yùn)動(dòng)軌跡[3]，通過(guò)落點(diǎn)位置的測(cè)量對(duì)本文方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證與精度分析。

1 視覺(jué)系統(tǒng)

1.1 視覺(jué)硬件系統(tǒng)

視覺(jué)硬件搭建方式如圖1所示。對(duì)雙目Basler工業(yè)相機(jī)采用硬件觸發(fā)的方式進(jìn)行同步曝光，獲取左右相機(jī)拍得的羽毛球運(yùn)動(dòng)圖像序列。Basler相機(jī)型號(hào)為Aca2040,90 μm,分辨率最高可達(dá)2 048像素×2 048像素，幀率在最高分辨率的情況下可達(dá)到90幀/s，完全可以滿足運(yùn)動(dòng)檢測(cè)的需求，鏡頭選取KOWA的6 mm大視場(chǎng)短焦鏡頭，相機(jī)接口為USB3.0，可接入電腦進(jìn)行采集處理。

圖1 視覺(jué)硬件系統(tǒng)

1.2 視覺(jué)軟件系統(tǒng)

本文采用Basler相機(jī)pylon SDK在VS2013環(huán)境下對(duì)相機(jī)進(jìn)行硬件觸發(fā)模式的調(diào)用，并將獲取的圖像轉(zhuǎn)換為Mat類(lèi)圖像，便于后續(xù)處理。羽毛球軌跡檢測(cè)流程如圖2所示?；谌龓钏惴ㄟM(jìn)行檢測(cè)，根據(jù)輪廓信息、外接矩形面積、幀間隔、運(yùn)動(dòng)特性、軌跡點(diǎn)數(shù)量統(tǒng)計(jì)獲取羽毛球各次運(yùn)動(dòng)軌跡。

圖2 羽毛球軌跡檢測(cè)流程

雙目視覺(jué)獲取羽毛球空間軌跡的流程如圖3。使用平行式雙目視覺(jué)模型，基于左右相機(jī)檢測(cè)坐標(biāo)，計(jì)算出羽毛球的空間坐標(biāo)，從而獲得空間軌跡。

圖3 羽毛球空間軌跡檢測(cè)流程

2 目標(biāo)檢測(cè)

由于光流法的實(shí)時(shí)性相較較差，故本文針對(duì)背景差法、幀間差分法、三幀間差分法進(jìn)行比較分析[4，5]。對(duì)于羽毛球的檢測(cè)效果如圖4所示。可見(jiàn)背景差算法對(duì)羽毛球的提取最為完整，幀差法和三幀差法的提取效果相近。但背景差算法檢測(cè)到的干擾較多，三幀差算法檢測(cè)到的干擾較少。

圖4 運(yùn)動(dòng)目標(biāo)檢測(cè)算法對(duì)比

幀間差法運(yùn)算量小，但對(duì)較大和顏色一致的運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)容易產(chǎn)生重影和空洞。三幀差算法是基于幀差算法的改進(jìn)，對(duì)第k-1，k，k+1幀的三幀差分圖F(x,y)表示為

(1)

(2)

F(x,y)=F1(x,y)∩F2(x,y)

(3)

本文采用基于三幀差算法進(jìn)行羽毛球運(yùn)動(dòng)檢測(cè)。

3 羽毛球運(yùn)動(dòng)檢測(cè)優(yōu)化

3.1 面積篩選

由于檢測(cè)目標(biāo)為視場(chǎng)中運(yùn)動(dòng)的羽毛球，故對(duì)圖像進(jìn)行截取，只檢測(cè)圖像中上部分?；谥兄禐V波降低圖像噪聲?；趫D像差分與運(yùn)算后，進(jìn)行輪廓提取，獲取各輪廓的外接矩形。針對(duì)羽毛球目標(biāo)小的特點(diǎn)，先對(duì)提取前景進(jìn)行基于矩形框面積的篩選，即圖2中Thresh1和Thresh2,分別表示面積Area篩選的下限和上限。將識(shí)別的最小外接矩形框中心作為羽毛球測(cè)量的圖像坐標(biāo)，以此為圓心繪制圓至第一幀圖像上，顯示效果如圖5?？梢钥闯觯鹈虻倪\(yùn)動(dòng)軌跡通過(guò)疊加后顯示明顯，但需要對(duì)單次軌跡進(jìn)行提取，并剔除偽軌跡和干擾點(diǎn)。

圖5 三幀差初步效果

3.2 單次軌跡判斷

在實(shí)際檢測(cè)過(guò)程中，需要對(duì)羽毛球單次軌跡進(jìn)行獲取，引入幀間隔Δf概念，表示當(dāng)前幀序號(hào)和上一次識(shí)別到運(yùn)動(dòng)目標(biāo)幀序號(hào)的差。當(dāng)幀間隔超過(guò)閾值Thresh5時(shí)，則視為一次運(yùn)動(dòng)軌跡完成。但還需要對(duì)短序列軌跡的干擾進(jìn)行剔除，故需要統(tǒng)計(jì)軌跡目標(biāo)個(gè)數(shù)Fnum。當(dāng)Fnum超過(guò)設(shè)定閾值Thresh6時(shí)才將軌跡視為待檢軌跡。前4次軌跡獲取效果如圖6所示?？梢钥闯?，每次軌跡提取狀況良好，但在第二次和第四次軌跡中，可看到明顯的干擾點(diǎn)，第三次軌跡則直接為人進(jìn)入場(chǎng)中產(chǎn)生的干擾軌跡。所以需要根據(jù)羽毛球的運(yùn)動(dòng)特性對(duì)軌跡檢測(cè)進(jìn)一步優(yōu)化[6]。

圖6 前4次軌跡檢測(cè)效果

3.3 基于運(yùn)動(dòng)特性的軌跡優(yōu)化

由于羽毛球在空中運(yùn)動(dòng)，相鄰幀間運(yùn)動(dòng)的羽毛球相距較近，其他干擾與其相距較遠(yuǎn)，故當(dāng)相鄰運(yùn)動(dòng)幀都檢測(cè)到多個(gè)運(yùn)動(dòng)點(diǎn)時(shí)，獲取當(dāng)前幀檢測(cè)點(diǎn)和上一幀檢測(cè)點(diǎn)間距離最短的兩個(gè)點(diǎn)作為兩幀中羽毛球的坐標(biāo)點(diǎn)。并基于羽毛球的運(yùn)動(dòng)速度，基于閾值Thresh3和Thresh4,將不符合運(yùn)動(dòng)距離的點(diǎn)剔除。由于羽毛球運(yùn)動(dòng)橫向是朝一個(gè)方向運(yùn)動(dòng)的，縱向上升和下降過(guò)程的運(yùn)動(dòng)方向也是一致的，故基于Δx2·Δx1和Δy2·Δy1判斷運(yùn)動(dòng)方向是否一致。其中Δx2表示當(dāng)前檢測(cè)幀和前一檢測(cè)幀檢測(cè)坐標(biāo)的橫向差值，Δx1表示前一檢測(cè)幀和前兩檢測(cè)幀檢測(cè)坐標(biāo)的橫向差值。Δy1和Δy2則對(duì)應(yīng)縱向差值。最終檢測(cè)流程如圖2所示，檢測(cè)效果如圖7。

圖7 軌跡檢測(cè)優(yōu)化

4 三維重建

獲取到羽毛球運(yùn)動(dòng)目標(biāo)后，便可根據(jù)左右相機(jī)目標(biāo)坐標(biāo)進(jìn)行三維軌跡重建[7]。平行式雙目視覺(jué)模型，如圖8所示。

圖8 平行式雙目視覺(jué)模型

設(shè)空間點(diǎn)P在左、右相機(jī)的圖像點(diǎn)為p，p′。其三維坐標(biāo)計(jì)算如式(4)。圖中B為基線距離，f為焦距，xR,yR為點(diǎn)P在左圖像中的橫、縱圖像坐標(biāo)值，xT,yT為點(diǎn)P在右圖像中的橫、縱圖像坐標(biāo)值，D為左右圖像視差[8]

(4)

5 實(shí) 驗(yàn)

通過(guò)雙目相機(jī)對(duì)羽毛球運(yùn)動(dòng)進(jìn)行檢測(cè)[9]，得到其空間軌跡，和實(shí)際情況進(jìn)行對(duì)比，分析軌跡的測(cè)量精度。為了實(shí)驗(yàn)的方便，從相機(jī)同側(cè)發(fā)球，羽毛球向相機(jī)對(duì)面運(yùn)動(dòng)。出于實(shí)時(shí)性和測(cè)試的考慮，相機(jī)采集圖像分辨率設(shè)置為640像素×480像素,觸發(fā)信號(hào)為30 Hz的方波。

5.1 雙目標(biāo)定

使用MALTAB工具箱進(jìn)行相機(jī)標(biāo)定[10]，得到雙目標(biāo)定結(jié)果如表1。

表1 左右相機(jī)內(nèi)參數(shù)標(biāo)定結(jié)果

5.2 空間坐標(biāo)求解與軌跡擬合

根據(jù)獲取的左右目標(biāo)坐標(biāo)信息和雙目標(biāo)定結(jié)果，獲取各次軌跡的空間坐標(biāo)[11]，并對(duì)空間軌跡進(jìn)行擬合，效果如圖9所示。

圖9 3次運(yùn)動(dòng)軌跡

5.3 精度分析

定性分析：3次軌跡羽毛球落點(diǎn)區(qū)域如圖10所示。由圖9和圖10可以看出，羽毛球的軌跡得到了較好的重現(xiàn)，并且符合3次運(yùn)動(dòng)的空間位置，當(dāng)羽毛球落地后，處在同一水平面上。

圖10 羽毛球落點(diǎn)區(qū)域

定量分析：通過(guò)實(shí)際直接測(cè)量每次羽毛球最終落點(diǎn)的信息，比對(duì)使用雙目視覺(jué)測(cè)量得到的結(jié)果，對(duì)測(cè)量結(jié)果進(jìn)行定量分析。3次落點(diǎn)的測(cè)量結(jié)果、實(shí)際結(jié)果、測(cè)量誤差如表2。

表2 3次軌跡最終落點(diǎn)的測(cè)量結(jié)果 mm

可以看出，檢測(cè)誤差均在5.2 cm以內(nèi)，平均誤差為2.973 cm，測(cè)量精度較為良好。

6 結(jié) 論

基于三幀差算法對(duì)羽毛球運(yùn)動(dòng)進(jìn)行檢測(cè)，并對(duì)軌跡檢測(cè)進(jìn)行了改進(jìn)優(yōu)化，可有效地提取羽毛球的單次軌跡。使用雙目工業(yè)相機(jī)進(jìn)行硬件觸發(fā)，同步獲取羽毛球的左右像素坐標(biāo)，基于雙目標(biāo)定結(jié)果最終獲取羽毛球的運(yùn)動(dòng)空間軌跡。通過(guò)對(duì)測(cè)量結(jié)果進(jìn)行定性和定量的分析，說(shuō)明了視覺(jué)測(cè)量運(yùn)動(dòng)目標(biāo)空間軌跡的可行性和有效性。

參考文獻(xiàn):

[1] 應(yīng)文杰，徐 開(kāi)，徐少平.羽毛球機(jī)器人機(jī)械臂運(yùn)動(dòng)軌跡多目標(biāo)規(guī)劃[J].計(jì)算機(jī)工程與應(yīng)用,2017，53(3)：258-265.

[2] 陳兵旗.機(jī)器視覺(jué)技術(shù)及應(yīng)用實(shí)例詳解[M].北京：化學(xué)工業(yè)出版社，2014.

[3] 王婷婷，李 戈，趙 杰，等.基于雙目視覺(jué)的運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤與定位[J].機(jī)械與電子，2015(6):73-76.

[4] 黃成都,黃文廣,閆 斌.基于Codebook背景建模的視頻行人檢測(cè)[J].傳感器與微系統(tǒng)，2017，36(3)：144-146.

[5] 呂嘉卿,劉立程,郝祿國(guó),等.基于視覺(jué)背景提取的自適應(yīng)運(yùn)動(dòng)目標(biāo)提取算法[J].計(jì)算機(jī)應(yīng)用，2015，35(7)：2029-2032.

[6] 張遠(yuǎn)輝.基于實(shí)時(shí)視覺(jué)的乒乓球機(jī)器人標(biāo)定和軌跡跟蹤技術(shù)研究[D].杭州：浙江大學(xué)，2009.

[7] 王 琳,趙健康,夏 軒,等.基于雙目立體視覺(jué)技術(shù)的橋梁裂縫測(cè)量系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2015，35(3)：901-194.

[8] 張 娟，潘建壽，吳亞鵬，等.基于雙目視覺(jué)的運(yùn)動(dòng)目標(biāo)跟蹤與測(cè)量[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(25):191-194.

[9] 張 梁，徐錦法.基于雙目視覺(jué)的無(wú)人飛行器目標(biāo)跟蹤與定位[J].計(jì)算機(jī)工程與應(yīng)用，2014，50(24):27-31.

[10] 蔡 琿.視覺(jué)測(cè)量中的攝像機(jī)標(biāo)定與三維重建方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2013.

[11] 王耀東，余祖俊，石井抱.高速立體視覺(jué)與機(jī)械運(yùn)動(dòng)異常動(dòng)作三維檢測(cè)[J].儀器儀表學(xué)報(bào)，2013,34(10):2161-2169.