張學(xué)鋒,戴亮亮,周建欽,儲(chǔ)岳中,紀(jì) 濱

(安徽工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,馬鞍山 243002)

乒乓球機(jī)器人作為一種典型的實(shí)時(shí)智能機(jī)器人,需要感知競(jìng)技對(duì)象的發(fā)球路線和軌跡,并做出合理的判斷和回球策略,從而完成靈活擊打[1].其所包含的高速乒乓球識(shí)別跟蹤、快速精確擊球預(yù)測(cè)、機(jī)械手臂運(yùn)動(dòng)規(guī)劃與控制等關(guān)鍵技術(shù)有著廣泛的應(yīng)用前景[2,3].其中乒乓球的檢測(cè)與定位,是乒乓球軌跡預(yù)測(cè)精度的基礎(chǔ),直接影響著乒乓球機(jī)器人的擊球成功率和擊球效果[4,5].

由于乒乓球機(jī)器人的高實(shí)時(shí)性與魯棒性等要求,部分效果良好的目標(biāo)檢測(cè)與跟蹤方法在實(shí)際應(yīng)用過(guò)程中無(wú)法穩(wěn)定的在有效時(shí)間內(nèi)完成乒乓球識(shí)別任務(wù)[6].致使乒乓球的快速精確檢測(cè)成為了乒乓球機(jī)器人研究中的重難點(diǎn)問(wèn)題.文獻(xiàn)[7]研究了RGB加權(quán)法對(duì)乒乓球圖像灰度化,結(jié)合閾值分割達(dá)到乒乓球檢測(cè)的目的,該方法速度快,但對(duì)光照敏感.文獻(xiàn)[8]將乒乓球RGB圖像轉(zhuǎn)換到HSV顏色模型中進(jìn)行顏色篩選,克服了RGB顏色模型對(duì)光照敏感的問(wèn)題.文獻(xiàn)[9]提出了基于HSV模型的顏色閾值自學(xué)習(xí)方法.通常,基于單一顏色模型的分割方法會(huì)受到相近顏色及光照變化的干擾.因此,文獻(xiàn)[10,11]研究了基于運(yùn)動(dòng)分析的幀間差分法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行提取,同時(shí)為了提高乒乓球定位精度,提出了基于采樣點(diǎn)生長(zhǎng)的中心定位算法,該方法檢測(cè)效果良好,但對(duì)運(yùn)動(dòng)干擾魯棒性較差.文獻(xiàn)[12]提出了結(jié)合運(yùn)動(dòng)分析與基于HSV顏色模型篩選的乒乓球檢測(cè)方法,能夠有效檢測(cè)出乒乓球區(qū)域.但仍然無(wú)法排除相近顏色(如膚色等)干擾.

為了解決現(xiàn)有乒乓球分割方法無(wú)法在復(fù)雜環(huán)境下對(duì)乒乓球進(jìn)行有效檢測(cè)與跟蹤這一問(wèn)題,本文提出了一種基于多顏色模型的乒乓球檢測(cè)與跟蹤方法.綜合乒乓球在RGB顏色空間與HSV顏色空間中的顏色分布特性,能夠有效排除光照與相近顏色的干擾,提取出乒乓球區(qū)域.并以圖像中乒乓球區(qū)域的質(zhì)心位置作為乒乓球的定位坐標(biāo),同時(shí)結(jié)合ROI技術(shù)縮小后續(xù)圖像的篩選范圍,降低圖像處理的時(shí)間花費(fèi),達(dá)到乒乓球的快速檢測(cè)與跟蹤的目的.通過(guò)追蹤效果的三維重建分析,證實(shí)了該方法的可行性及有效性.

1 多顏色模型

基于多顏色模型的乒乓球分割算法是根據(jù)乒乓球在不同顏色模型中不同的顏色描述特性提出的,本文中的多顏色模型結(jié)合了RGB模型的強(qiáng)顏色表達(dá)能力與HSV模型中色調(diào)與飽和度對(duì)光照的抗干擾能力,能夠有效的對(duì)復(fù)雜背景下的乒乓球進(jìn)行分割與提取.

其中,RGB顏色模型作為最常用模型,主要用于顯示器等發(fā)光體的顏色顯示,是一種加色法混色模型.通過(guò)將紅(R)、綠(G)、藍(lán)(B)三種基本色按其亮度的不同分別劃分為256個(gè)等級(jí),進(jìn)行不同程度的疊加,能夠表示1600多萬(wàn)種不同的顏色.該模型的顏色表達(dá)能力強(qiáng),但對(duì)光照變化較為敏感.如圖1 所示,圖1(a)與圖1(b)分別為相機(jī)在強(qiáng)光條件與弱光條件下采集到的乒乓球RGB圖像,統(tǒng)計(jì)后分別得到兩種光照條件下乒乓球的RGB顏色分布范圍(如表1所示).通過(guò)對(duì)比發(fā)現(xiàn),在不同光照條件下,乒乓球的RGB顏色分布范圍變化較大,證明了RGB模型對(duì)光照敏感這一特性.

圖1 不同光照條件下采集到的乒乓球圖像

表1 不同光照條件下乒乓球的RGB顏色分布范圍

HSV顏色模型用色調(diào)(Hue)、飽和度(Saturation)和亮度(Value)三元素來(lái)描述色彩[3],更貼近人眼的視覺感知.如圖2所示,色調(diào)H表示顏色的色彩信息(范圍從 0°～360°),即所處的光譜顏色的位置; 飽和度S(范圍從0%～100%)表示所選顏色接近光譜色的程度,飽和度越高,則顏色越深、越鮮艷; 亮度 V(范圍從0～1)表示色彩的明亮程度.

圖2 HSV 顏色模型

通常,相機(jī)采集到的數(shù)字圖像是以RGB顏色模型來(lái)描述的.因此,要獲得該圖像的在HSV顏色模型下的描述需對(duì)圖像進(jìn)行顏色模型轉(zhuǎn)換[10](本文將HSV顏色模型中H范圍設(shè)定為0–360,S與V范圍設(shè)定為0–255): 假設(shè)某個(gè)像素點(diǎn)的RGB空間顏色描述為(r,g,b),而HSV空間顏色描述為(h,s,v),為了方便計(jì)算與表述,定義變量RGBmax和RGBmin分別表示RGB分量中的最大值和最小值:

色調(diào)h為所處的光譜顏色的位置,其表示的顏色信息與RGBmax相關(guān) (如圖1 所示,若RGBmax=r,則色調(diào)h表示紅色區(qū)間內(nèi)某一顏色),該參數(shù)以一角度量來(lái)表示,具體定義如下:

飽和度s表示色調(diào)h所表示顏色的純度(RGBmax–RGBmin)和該顏色最大的純度RGBmax之間的比率 (注: 當(dāng)s=0 時(shí),圖像為灰度圖像),計(jì)算公式如下:

亮度v反映了顏色的明亮程度,與物體的透射比或反射比有關(guān),定義如下:

不同于RGB顏色模型,HSV 顏色模型各分量之間相對(duì)獨(dú)立,顏色變化不易受到其它分量的影響.同時(shí)HSV模型中的H、S分量在光照干擾下具有較強(qiáng)的魯棒性.如表2所示,在HSV顏色模型中,分別對(duì)圖3中強(qiáng)光條件與弱光條件下的乒乓球顏色分布進(jìn)行統(tǒng)計(jì).對(duì)比發(fā)現(xiàn),乒乓球的在HSV模型中,不同光照條件對(duì)H分量范圍影響較小,同時(shí)S分量在弱光條件(光照條件2)下的分布范圍為強(qiáng)光條件(光照條件1)下分布范圍的子集.因此,在 HSV 模型中,乒乓球的色調(diào) (H)與飽和度(S)在不同光照的影響下具有較好的穩(wěn)定性.

表2 不同光照條件下乒乓球的HSV顏色分布范圍

乒乓球?yàn)榍蝮w形狀,其部分表面會(huì)由于光源被遮擋導(dǎo)致所受光照不均勻,從而無(wú)法使用單一的RGB模型進(jìn)行乒乓球提取.利用單一的HSV模型能夠在無(wú)相近顏色干擾的實(shí)驗(yàn)環(huán)境中具有良好的乒乓球分割果,但乒乓球機(jī)器人的研究目的之一是為了實(shí)現(xiàn)人機(jī)對(duì)戰(zhàn),這導(dǎo)致在實(shí)際實(shí)驗(yàn)場(chǎng)景中往往會(huì)出現(xiàn)膚色(H分量值為10–20,與乒乓球相近)等其他顏色較為相近的復(fù)雜背景出現(xiàn),這時(shí)單一的HSV顏色模型無(wú)法對(duì)圖像中的乒乓球進(jìn)行有效的分割與提取.基于多顏色模型的乒乓球分割算法能夠有效的解決這一問(wèn)題,通過(guò)利用對(duì)光照干擾魯棒的HSV模型進(jìn)行初步篩選,得到所有與乒乓球顏色相近的物體,再利用具有高區(qū)分度的RGB模型去除非乒乓球區(qū)域的圖像噪聲,達(dá)到復(fù)雜環(huán)境下乒乓球分割的目的.

2 場(chǎng)景中乒乓球的提取與跟蹤

2.1 視覺系統(tǒng)設(shè)計(jì)

如圖3所示,實(shí)驗(yàn)環(huán)境為場(chǎng)景較為復(fù)雜的室內(nèi)環(huán)境.其中視覺系統(tǒng)的硬件部分由兩臺(tái)Basler 高速相機(jī)(acA1600)和一臺(tái)圖像處理計(jì)算機(jī)(Core i5-5200U)的組成,相機(jī)固定在握拍機(jī)械臂的左右兩側(cè)后上方.

圖3 實(shí)驗(yàn)環(huán)境

系統(tǒng)工作時(shí),兩臺(tái)相機(jī)以 100 fps (frames per second)的速率同步抓取圖像,經(jīng)由圖像處理計(jì)算機(jī)進(jìn)行處理,達(dá)到乒乓球的檢測(cè)與實(shí)時(shí)跟蹤的目的,具體工作原理如圖4所示.

2.2 乒乓球快速提取與中心定位

利用多顏色模型對(duì)乒乓球進(jìn)行檢測(cè)與分割需要獲得圖像在多顏色模型下的分割閾值: 首先對(duì)實(shí)驗(yàn)環(huán)境中各個(gè)位置乒乓球的RGB變化范圍進(jìn)行離線統(tǒng)計(jì),得到乒乓球在RGB顏色空間中的各分量區(qū)間(rl,ru),(gl,gu),(bl,bu)(其中l(wèi)代表區(qū)間下限,u代表區(qū)間上限),統(tǒng)一記作ThresholdRGB.然后將RGB圖像轉(zhuǎn)換到HSV顏色模型中,統(tǒng)計(jì)出乒乓球在HSV顏色空間中的各分量范圍 (hl,hu),(sl,su),記作ThresholdHSV.

圖4 乒乓球的檢測(cè)與跟蹤原理

經(jīng)統(tǒng)計(jì)得到各顏色分量的分割閾值后,實(shí)時(shí)乒乓球視覺系統(tǒng)便能夠使用多顏色模型分割法對(duì)乒乓球進(jìn)行快速提取與定位操作.

如圖5所示,對(duì)于一幅輸入的RGB圖像,首先進(jìn)行顏色模型轉(zhuǎn)換得到其各像素點(diǎn)(x,y)對(duì)應(yīng)的HSV各分量值,然后分別對(duì)該像素的r、g、b值與h、s值進(jìn)行閾值判斷:

從而得到多顏色模型下的乒乓球分割二值圖.分割后的圖像包含的是乒乓球區(qū)域圖像,要對(duì)球心進(jìn)行定位,則需要獲得乒乓球的中心位置,本文以二值圖像binary中乒乓球區(qū)域的質(zhì)心位置作為乒乓球中心坐標(biāo).假設(shè)二值圖像的大小為M×N,則質(zhì)心坐標(biāo)的計(jì)算方式如下[8]:

其中,A表示二值圖中,乒乓球面積的大小:

圖5 乒乓球提取與定位過(guò)程

2.3 基于ROI技術(shù)的乒乓球?qū)崟r(shí)跟蹤

乒乓球在運(yùn)動(dòng)過(guò)程中其前后位置具有連續(xù)相關(guān)性,即相鄰兩幀圖像中乒乓球的位置是相近的,同時(shí)乒乓球區(qū)域面積只占整幅圖像的一小部分,這使得對(duì)圖像進(jìn)行全局處理會(huì)增加不必要的時(shí)間開銷.為了保證乒乓球跟蹤的實(shí)時(shí)性,本文引用了感興趣區(qū)域(Region Of Interests,ROI)算法對(duì)乒乓球進(jìn)行快速跟蹤.在當(dāng)前圖像中,將前一幀圖像中乒乓球所在位置的附近區(qū)域設(shè)定為感興趣區(qū)域,以較小的感興趣區(qū)域的局部圖像處理替代全局圖像處理,不僅能夠提升分割速度,同時(shí)也避免了非感興趣區(qū)域的噪聲干擾.

基于ROI技術(shù)的乒乓球檢測(cè)的主要目的是以局部檢測(cè)代替全局檢測(cè),從而達(dá)到快速跟蹤的目的.如圖6所示,對(duì)于實(shí)時(shí)采集到RGB圖像,首先利用多顏色模型法對(duì)圖像進(jìn)行全局檢測(cè),直至檢測(cè)出第i幀圖像中包含乒乓球,球心坐標(biāo)記作由于乒乓球在運(yùn)動(dòng)過(guò)程中前后位置具有相關(guān)性.因此,在第i+1 幀圖像中,乒乓球的位置通常處于附近某個(gè)小區(qū)域內(nèi),將該區(qū)域設(shè)定為感興趣區(qū)域進(jìn)行局部檢測(cè),能夠有效的提高乒乓球檢測(cè)效率.

其中感興趣區(qū)域的位置及區(qū)域大小的確定是該算法的核心問(wèn)題,需要作為離線參數(shù)在實(shí)時(shí)系統(tǒng)工作前確定下來(lái).本文中感興趣區(qū)域的中心位置基于前一幀圖像中乒乓球球心的位置Pc的,假設(shè)當(dāng)前幀為第i幀,可以確定感興趣區(qū)域的中心位置center:

圖6 基于 ROI技術(shù)的乒乓球?qū)崟r(shí)檢測(cè)過(guò)程

感興趣區(qū)域的長(zhǎng)寬H×W則是根據(jù)實(shí)驗(yàn)環(huán)境中,運(yùn)動(dòng)的乒乓球在相鄰幀之間的位移差得到.其中,乒乓球心在相鄰幀圖像間橫坐標(biāo)位移dxi與縱坐標(biāo)位移dyi分別定義如下:

那么在i次實(shí)驗(yàn)統(tǒng)計(jì)中,結(jié)合最大位置差與圖像中乒乓球半徑r與容錯(cuò)邊界值b(經(jīng)驗(yàn)值得到),可以得到感興趣區(qū)域的長(zhǎng)寬值m'、n'分別為:

基于感興趣區(qū)域算法的乒乓球?qū)崟r(shí)跟蹤方法能夠有效的減少圖像處理的工作量,同時(shí)對(duì)于ROI區(qū)域可能出現(xiàn)的檢測(cè)不到乒乓球的情況,也設(shè)定了異常處理機(jī)制.在提升圖像處理速度的同時(shí),保證了乒乓球分割性能的穩(wěn)定性.經(jīng)實(shí)驗(yàn),該算法的執(zhí)行時(shí)間小于實(shí)驗(yàn)中相機(jī)設(shè)定的采樣時(shí)間間隔10 ms,能夠與相機(jī)進(jìn)行同步工作.

3 場(chǎng)景中乒乓球的提取與跟蹤

如圖7所示,以該環(huán)境作為實(shí)驗(yàn)環(huán)境,通過(guò)多次實(shí)驗(yàn)統(tǒng)計(jì)得到乒乓球在RGB與HSV模型中的分割范圍ThresholdRGB與ThresholdHSV,具體閾值分布如表3所示.

圖7 運(yùn)動(dòng)中的乒乓球圖像

表3 基于顏色特征的乒乓球分割閾值表

根據(jù)表3中的分割閾值對(duì)圖6進(jìn)行乒乓球分割與提取,提取結(jié)果如圖8 所示.其中,圖8(a)與圖8(b)分別為在單一的RGB顏色模型與HSV顏色模型下的乒乓球分割得到的效果圖,結(jié)果證明單一的顏色模型無(wú)法將乒乓球與顏色相近的機(jī)械手臂等干擾物體區(qū)分開來(lái).圖8(c)為本文所提出的多顏色模型下的乒乓球分割效果,分割效果較好,對(duì)相近顏色區(qū)分度較高.圖8(d)為對(duì)圖8(c)進(jìn)行去噪處理后得到的效果圖.經(jīng)過(guò)以上乒乓球分割效果的對(duì)比,表明了多顏色模型下乒乓球分割算法的可行性.

圖8 乒乓球分割效果對(duì)比

在利用多顏色模型分割法進(jìn)行乒乓球分割效果良好的前提下,為了證實(shí)圖像中乒乓球的定位精度滿足乒乓球機(jī)器人的擊球精度,需要結(jié)合雙目視覺的三維重建方法對(duì)定位效果進(jìn)行檢驗(yàn).

表4展示了在圖7所示的實(shí)驗(yàn)環(huán)境下,結(jié)合OpenCV開源庫(kù)中的相機(jī)標(biāo)定技術(shù)與本文提出的乒乓球識(shí)別方法,對(duì)乒乓球進(jìn)行三維定位的部分?jǐn)?shù)據(jù).其中,X、Y、Z的坐標(biāo)方向如圖9所示.

表4 部分乒乓球三維定位數(shù)據(jù)

圖9 仿真場(chǎng)景坐標(biāo)系設(shè)定

為了更直觀的展示算法的實(shí)時(shí)性及有效性,本文通過(guò)仿真平臺(tái)對(duì)乒乓球的實(shí)時(shí)定位結(jié)果進(jìn)行分析,如圖10所示,其中黃色軌跡為實(shí)時(shí)定位數(shù)據(jù)的仿真復(fù)現(xiàn).軌跡仿真結(jié)果較為平滑,證明了算法的魯棒性.以測(cè)量值為實(shí)際值,通過(guò)多次試驗(yàn)對(duì)比得到: 重建后的乒乓球三維坐標(biāo)位置與實(shí)際位置誤差約為5 mm(距離相機(jī)3 m 處)～20 mm(距離相機(jī) 5 m 處),小于乒乓球拍半徑長(zhǎng)度(約75 mm),滿足乒乓球機(jī)器人的擊球需要.

圖10 乒乓球定位數(shù)據(jù)仿真結(jié)果

4 結(jié)論與展望

充分考慮了乒乓球所固有的顏色特征,在分析各顏色模型的基礎(chǔ)上,提出了多顏色模型下的乒乓球分割算法.結(jié)合RGB顏色模型與HSV顏色模型對(duì)復(fù)雜環(huán)境下的乒乓球進(jìn)行分割操作,以質(zhì)心法對(duì)乒乓球進(jìn)行精確定位.同時(shí)采用基于前幀位置的ROI技術(shù)降低后續(xù)幀中乒乓球跟蹤的時(shí)間開銷,達(dá)到實(shí)時(shí)跟蹤的目的.實(shí)驗(yàn)證明,該算法處理時(shí)間小于 10 ms,定位誤差小于20 mm,滿足乒乓球機(jī)器人系統(tǒng)的擊球需要.但本文中乒乓球定位的方法采取的是質(zhì)心法,在乒乓球運(yùn)動(dòng)過(guò)快的情況下會(huì)造成相機(jī)所抓取的圖像包含運(yùn)動(dòng)模糊或部分缺失,從而使得乒乓球的定位產(chǎn)生一定的誤差,需要進(jìn)一步優(yōu)化該算法,這將是下一步需研究的內(nèi)容.

參考文獻(xiàn)

1Sun YC,Xiong R,Zhu QG,et al.Balance motion generation for a humanoid robot playing table tennis.Proceedings of the 11th IEEE-RAS International Conference on Humanoid Robots.Bled,the Republic of Slovenia.2011.19–25.

2Zhao YS,Zhang YF,Xiong R,et al.Optimal state estimation of spinning Ping-Pong ball using continuous motion model.IEEE Transactions on Instrumentation and Measurement,2015,64(8): 2208–2216.

3Zhang K,Fang ZJ,Liu JR,et al.An adaptive way to detect the racket of the table tennis robot based on HSV and RGB.Proceedings of the 34th Chinese Control Conference.Hangzhou,China.2015.5936–5940.

4Ko? O,Maeda G,Peters J.A new trajectory generation framework in robotic table tennis.Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems.Daejeon,Korea.2016.3750–3756.

5Huang YL,Scholk?pf B,Peters J.Learning optimal striking points for a Ping-Pong playing robot.Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems.Hamburg,Germany.2015.4587–4592.

6張遠(yuǎn)輝,韋巍.在線角速度估計(jì)的乒乓球機(jī)器人視覺測(cè)量方法.浙江大學(xué)學(xué)報(bào) (工學(xué)版),2012,46(7): 1320–1326.

7張德龍.乒乓球機(jī)器人視覺伺服關(guān)鍵技術(shù)研究[碩士學(xué)位論文].鄭州: 鄭州大學(xué),2014.

8郟海峰.無(wú)標(biāo)記仿人乒乓球機(jī)器人本體視覺系統(tǒng)及其軌跡預(yù)測(cè)研究[碩士學(xué)位論文].杭州: 浙江大學(xué),2016.

9章逸豐,熊蓉.乒乓球機(jī)器人的視覺伺服系統(tǒng).中國(guó)科學(xué):信息科學(xué),2012,42(9): 1115–1129.

10Zhang ZT,Xu D,Tan M.Visual measurement and prediction of ball trajectory for table tennis robot.IEEE Transactions on Instrumentation and Measurement,2010,59(12): 3195–3205.

11張正濤.乒乓球機(jī)器人視覺測(cè)量與控制[博士學(xué)位論文].北京: 中國(guó)科學(xué)院研究生院(自動(dòng)化研究所),2010.

12張遠(yuǎn)輝.基于實(shí)時(shí)視覺的乒乓球機(jī)器人標(biāo)定和軌跡跟蹤技術(shù)研究[博士學(xué)位論文].杭州: 浙江大學(xué),2009.