高長旭, 孫巧妍, 陳祥光, 張德軍

(1.煙臺(tái)南山學(xué)院 人文學(xué)院,山東 煙臺(tái) 265713； 2.煙臺(tái)南山學(xué)院 工學(xué)院,山東 煙臺(tái) 265713；3.北京理工大學(xué) 化學(xué)與化工學(xué)院,北京 100081)

0 引 言

乒乓球運(yùn)動(dòng)是我國的國球運(yùn)動(dòng),在我國有很深的群眾基礎(chǔ)。在乒乓球訓(xùn)練基地和乒乓球俱樂部等大中型訓(xùn)練場(chǎng)館,人工撿球工作較為繁重,設(shè)計(jì)一種全自動(dòng)撿球機(jī)器人是很有實(shí)用價(jià)值的。全自動(dòng)撿球機(jī)器人應(yīng)包括三部分功能:一是自動(dòng)識(shí)別場(chǎng)地中的乒乓球,二是自動(dòng)規(guī)劃最優(yōu)行進(jìn)路線,三是自動(dòng)撿球。目前國內(nèi)的研究大多側(cè)重于撿球機(jī)械手或者撿球小車的機(jī)構(gòu)設(shè)計(jì),此類撿球小車多為半自動(dòng)。而對(duì)于全自動(dòng)識(shí)別乒乓球圖像及位置自動(dòng)規(guī)劃最優(yōu)行進(jìn)路線的研究較少[1,2]。

1 整體方案設(shè)計(jì)

為減小撿球機(jī)器人的體積和成本,機(jī)器人的執(zhí)行機(jī)構(gòu)大多采用嵌入式系統(tǒng)結(jié)構(gòu)。嵌入式結(jié)構(gòu)的主處理器一般分為8位、16位和32位三種。即使是32位芯片也不具備實(shí)時(shí)快速處理彩色圖片的能力。因此,本設(shè)計(jì)采用安裝在小車上的單目視覺攝像頭采集圖像,然后通過無線傳輸給個(gè)人電腦(PC)。PC為上位機(jī),根據(jù)訓(xùn)練場(chǎng)地的大小,可配置1～4個(gè)撿球小車作為下位機(jī)。PC用于圖像識(shí)別和最優(yōu)運(yùn)行路徑規(guī)劃算法的程序運(yùn)行。攝像頭采集圖像傳送至上位機(jī),上位機(jī)周期性采集圖片處理完畢后把識(shí)別結(jié)果傳送給下位機(jī),再由下位機(jī)驅(qū)動(dòng)電機(jī)控制小車運(yùn)行和撿球動(dòng)作。

2 球心坐標(biāo)識(shí)別算法

圖1 采集的原始圖片

該房間鋪設(shè)的地磚顏色很淺,所采用的乒乓球?yàn)槭褂弥械钠古仪?即顏色因陳舊或臟斑造成變色或不均勻。采集的時(shí)間是傍晚,房間內(nèi)已打開照明燈。由于本次實(shí)驗(yàn)采用的乒乓球?yàn)榘咨?圖片中明顯有和乒乓球直徑相近的燈光光斑干擾。

具體的球心坐標(biāo)識(shí)別算法流程如下:

1)將采集到的RBG彩色圖片降為灰度圖像。經(jīng)對(duì)比驗(yàn)證采用RGB三維數(shù)據(jù)中的B維分量圖像數(shù)據(jù)相較于其他方法所得到的結(jié)果更有利于后續(xù)步驟的判定。

2)設(shè)定燈光光斑閾值。由于采集到的圖片中乒乓球?yàn)榘咨?故設(shè)定閾值為250。然后測(cè)試灰度圖像大小,新建一個(gè)相同大小的全0標(biāo)記圖像I3,查找原灰度圖中的每一個(gè)像素,如果I(i,j)>250則標(biāo)記圖像中對(duì)應(yīng)點(diǎn)位置設(shè)為1,即為粗選的光斑區(qū)域。其中,I(i,j)為圖像對(duì)應(yīng)行列位置的灰度值。若采用的乒乓球?yàn)辄S色球,則通過顏色判斷更容易判別光斑區(qū)域。

3)將光斑區(qū)域標(biāo)記圖像I3進(jìn)行3次處理半徑為3的自適應(yīng)中值濾波[3],使圖像更為平滑。

4)標(biāo)記I3中的連通區(qū)域,使用普通質(zhì)心算法獲得質(zhì)心的位置[4～6]。計(jì)算公式如下

(xc,yc)=∑ijxijIij/∑ijxij

寧夏圖書館流通部主要服務(wù)于14歲以上的普通讀者，根據(jù)普通讀者對(duì)寧夏圖書館利用的目的，大致可以分為以下幾種類型：①常年到館的老讀者。這類讀者往往有良好的閱讀習(xí)慣，他們對(duì)圖書館某些文獻(xiàn)了解得比較清楚。②做專題的讀者。需要查閱大量文獻(xiàn)的研究性讀者。③只查閱某種特定文獻(xiàn)的讀者。這類讀者查完所需的特種文獻(xiàn)后就離開圖書館了，目的性比較強(qiáng)。④隨便看看的讀者。沒有什么特別的具體目的，僅僅為了娛樂消遣，放松心情。

(1)

式中xc,yc為計(jì)算得到的質(zhì)心坐標(biāo),Iij為圖像上對(duì)應(yīng)位置的像素點(diǎn)光強(qiáng)。使用加權(quán)質(zhì)心算法的效果雖然更精準(zhǔn),但是算法帶來的微小誤差完全可以由硬件撿球裝置的設(shè)計(jì)彌補(bǔ)。普通質(zhì)心算法能夠達(dá)到控制要求,且計(jì)算相對(duì)簡(jiǎn)單,程序執(zhí)行速度快。

5)計(jì)算光斑半徑,然后用接近地面顏色的其他數(shù)據(jù)遮蓋光斑區(qū)域進(jìn)行補(bǔ)償。燈光光斑在地面上呈現(xiàn)圓形圖像,根據(jù)圓形面積公式A=πr2可計(jì)算出光斑半徑,面積在上一步計(jì)算質(zhì)心坐標(biāo)時(shí)即能得到。遮蓋光斑后,圖像如圖2所示。

圖2 遮蓋光斑后圖像

6)將補(bǔ)償后的圖像進(jìn)行灰度值調(diào)整后二值化。實(shí)驗(yàn)處理中將0.5～0.75之間的灰度擴(kuò)展到0～1整個(gè)范圍,將乒乓球顏色所在區(qū)域灰度加強(qiáng)，再以0.8為閾值進(jìn)行二值化。

7)將上一步處理完畢的圖像進(jìn)行10次處理半徑為3的自適應(yīng)中值濾波,去噪，再去掉面積小于2 000的小區(qū)域,進(jìn)一步去干擾。處理后圖像如圖3所示。

圖3 將二值化圖像進(jìn)一步降噪

8)對(duì)上一步處理后的圖像采用普通質(zhì)心算法獲得質(zhì)心的位置[7]，處理后的結(jié)果如圖4所示。明顯可看出實(shí)驗(yàn)圖片有9個(gè)乒乓球,執(zhí)行算法后找到的具體質(zhì)心坐標(biāo)如表1所示。

表1 執(zhí)行算法后得到的乒乓球質(zhì)心坐標(biāo)

由圖4可看出,由于燈光、陰影、乒乓球表面臟斑等問題,通過上述算法找到的個(gè)別乒乓球質(zhì)心坐標(biāo)有明顯偏差。但根據(jù)國際國際乒聯(lián)手冊(cè)(2016)規(guī)定,通用乒乓球的直徑為40.00 mm。上述質(zhì)心算法可能產(chǎn)生的最大誤差小于10 mm。而制作的撿球小車撿球機(jī)構(gòu),寬度為170.00 mm,顯然誤差不影響撿球執(zhí)行機(jī)構(gòu)的運(yùn)作。

圖4 乒乓球質(zhì)心位置

3 最佳軌跡尋找算法

找到每個(gè)乒乓球的質(zhì)心坐標(biāo)后,下一步是要規(guī)劃一個(gè)最短路徑用以撿球機(jī)器人高效快捷運(yùn)行。尋找最短路徑的算法屬于經(jīng)典的“旅行商問題”,處理該問題的算法很多,例如遺傳算法、蟻群算法、模擬退火算法等[8～9]?？紤]到實(shí)際應(yīng)用時(shí)對(duì)最優(yōu)化程度和執(zhí)行時(shí)間要求并不高,本設(shè)計(jì)采用遺傳算法解決問題。設(shè)小車當(dāng)前坐標(biāo)位置為1號(hào)位置即(2 016,3 024),設(shè)置種群規(guī)模為200,最大遺傳代數(shù)為1 000,經(jīng)過選擇、交叉、變異后,可求得最短路徑1→6→9→8→10→7→5→4→2→3。將識(shí)別后的圖片按上述算法執(zhí)行后標(biāo)記路徑行進(jìn)順序如表2所示,路線圖如圖5所示。

表2 路徑規(guī)劃后的行進(jìn)順序

圖5 規(guī)劃后的最優(yōu)路線

用上述算法處理另一張圖片,結(jié)果如圖6所示。小車實(shí)際執(zhí)行撿球時(shí),由于每次拍攝圖片時(shí)乒乓球數(shù)量隨機(jī),路線各異,撿球速度是不定的,且整個(gè)算法是周期性拍攝識(shí)別并控制的,因此,撿球機(jī)器人并不是完全按照識(shí)別的最優(yōu)路線方案行走完畢,而是動(dòng)態(tài)調(diào)整的。

圖6 采集到的另一張圖片處理結(jié)果

PC將處理好的乒乓球質(zhì)心坐標(biāo)和規(guī)劃好的最短路徑通過藍(lán)牙無線模塊傳送至安裝在小車上的下位機(jī)。

4 小車嵌入式芯片處理思路

小車上的嵌入式系統(tǒng)根據(jù)上位機(jī)傳送的小球質(zhì)心坐標(biāo)值及其順序,根據(jù)勾股定理可求得兩球心坐標(biāo)之間的距離。

設(shè)攝像頭安裝高度為h,安裝位置與地面法線所夾角度為Φ,如圖7所示?？赏ㄟ^拍攝靜態(tài)圖片實(shí)際標(biāo)定所拍攝區(qū)域長度為l,寬度為w。根據(jù)拍攝圖片的像素大小可獲得圖片像素與實(shí)際地面位置的對(duì)應(yīng)關(guān)系。顯然,實(shí)際區(qū)域的寬度w與拍攝圖片寬度成固定比例k。而實(shí)際區(qū)域的長度l與圖片高度的比例為k/cosΦ。實(shí)際地面中兩球心距離為

圖7 攝像頭安裝與拍攝區(qū)域示意

(2)

式中d為際地面中兩球心距離,x1,x2為求兩個(gè)球心的列坐標(biāo),y1,y2為圖像中所求兩個(gè)球心的行坐標(biāo)。為了使拍攝的圖像清晰,拍攝圖片時(shí)小車處于靜止?fàn)顟B(tài)[10]。

確定兩質(zhì)心之間的距離后,可通過光電碼盤等技術(shù)手段控制小車行進(jìn)的距離。設(shè)行進(jìn)路線上相鄰的3個(gè)質(zhì)心坐標(biāo)為(x1,y1),(x2,y2),(x3,y3),在轉(zhuǎn)折位置可通過式(3)計(jì)算小車所需做的轉(zhuǎn)角度數(shù)

(3)

撿球小車從初始位置出發(fā),周期性拍攝圖像用于小球位置判別和行進(jìn)路徑規(guī)劃。如果當(dāng)前拍攝的圖像中沒有識(shí)別出乒乓球的存在,則可控制小車向前行進(jìn)l距離,再拍照,遇到墻壁障礙后向右旋轉(zhuǎn)90°,若持續(xù)一段時(shí)間未找到乒乓球,則視為所有球均減取完畢,可控制小車回到初始位置。

撿球執(zhí)行機(jī)構(gòu)采用滾筒結(jié)構(gòu),橫截圖如圖8(a)所示。滾動(dòng)撿球時(shí),兩個(gè)齒輪逆向旋轉(zhuǎn),乒乓球的運(yùn)動(dòng)路徑呈現(xiàn)“S”形。采用這種結(jié)構(gòu)方案相比機(jī)械手方案效率高,按照設(shè)計(jì)要求實(shí)際制作的小車執(zhí)行機(jī)構(gòu)如圖8(b)所示,經(jīng)實(shí)驗(yàn)驗(yàn)證該方案可以高效完成撿球動(dòng)作。

圖8 撿球執(zhí)行機(jī)構(gòu)截面示意與實(shí)物

5 結(jié) 論

為了減輕乒乓球訓(xùn)練中心、乒乓球俱樂部等集中訓(xùn)練場(chǎng)地的人工撿球工作,本文設(shè)計(jì)采用了一種雙齒輪逆向旋轉(zhuǎn)的滾筒式結(jié)構(gòu)進(jìn)行撿球操作。通過單目視覺進(jìn)行周期性的圖片采集,將采集到的圖像傳送到PC,使用MATLAB軟件通過降噪、去干擾光斑、球心坐標(biāo)識(shí)別、最優(yōu)路徑規(guī)劃等算法處理,可以得到每個(gè)乒乓球的質(zhì)心坐標(biāo)和規(guī)劃后的最優(yōu)行進(jìn)路線。通過無線傳送到撿球小車的嵌入式系統(tǒng)中,控制小車按照既定軌跡運(yùn)行,以達(dá)到全自動(dòng)撿球的目的。經(jīng)過仿真和實(shí)踐,證明方案切實(shí)可行。