陳章寶，侯 勇

（蚌埠學(xué)院，安徽 蚌埠 233030）

0 引言

網(wǎng)球撿球機(jī)器人是一個(gè)集嵌入式系統(tǒng)開(kāi)發(fā)、視覺(jué)目標(biāo)識(shí)別與定位、路徑規(guī)劃、智能控制于一體的智能化系統(tǒng)，其核心技術(shù)之一為基于機(jī)器視覺(jué)的目標(biāo)識(shí)別與精確定位技術(shù)。文獻(xiàn)［1-2］提出了基于顏色特征、紋理特征、形狀特征的目標(biāo)識(shí)別技術(shù)，能夠很好地識(shí)別復(fù)雜開(kāi)放場(chǎng)景中的前景目標(biāo)，文獻(xiàn)［3-5］提出了基于單目視覺(jué)、雙目視覺(jué)、多傳感器融合的目標(biāo)定位算法，以及基于單目視覺(jué)的點(diǎn)、線(xiàn)、面特征的目標(biāo)識(shí)別方法，文獻(xiàn)［6-7］根據(jù)目標(biāo)跟蹤是否有檢測(cè)過(guò)程的參與，提出了生成式和判別式的目標(biāo)跟蹤分類(lèi)，在目標(biāo)發(fā)生幾何變化、復(fù)雜的動(dòng)態(tài)場(chǎng)景情況下，提出了層次化的表觀(guān)模型來(lái)有效表征目標(biāo)對(duì)象，獲得了魯棒且準(zhǔn)確的目標(biāo)跟蹤，文獻(xiàn)［8-9］提出了深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)在視覺(jué)目標(biāo)識(shí)別定位與跟蹤方面的廣闊應(yīng)用前景，以及將深度學(xué)習(xí)引入計(jì)算機(jī)視覺(jué)的挑戰(zhàn)和技術(shù)難點(diǎn)。本文采用算法的應(yīng)用效果和時(shí)間效率的折中技術(shù)，利用網(wǎng)球的顏色特征進(jìn)行前景目標(biāo)的提取，基于網(wǎng)球的圓形輪廓特征進(jìn)行目標(biāo)識(shí)別，通過(guò)目標(biāo)區(qū)域質(zhì)心的獲取進(jìn)行網(wǎng)球目標(biāo)的定位，在局部視域下進(jìn)行目標(biāo)的跟蹤。本算法實(shí)現(xiàn)了網(wǎng)球目標(biāo)準(zhǔn)確識(shí)別與精確定位的同時(shí)，滿(mǎn)足了機(jī)器視覺(jué)系統(tǒng)實(shí)時(shí)性的需求。

1 系統(tǒng)設(shè)計(jì)方案

撿球機(jī)器人采用四輪差速驅(qū)動(dòng)小車(chē)底盤(pán)，搭載網(wǎng)球收集耙輪、網(wǎng)球提升機(jī)構(gòu)、單目視覺(jué)攝像頭、機(jī)器人箱體和控制系統(tǒng)。工作時(shí)，小車(chē)在視覺(jué)導(dǎo)航下移動(dòng)到網(wǎng)球位置，在收集耙輪的作用下將網(wǎng)球耙入小車(chē)箱體底部，經(jīng)提升機(jī)構(gòu)提升到箱體上部的網(wǎng)球收集箱。視頻信號(hào)采集與處理系統(tǒng)采用ARM contex-A8 內(nèi)核的S5PV210 主板，移植Arm-Linux 操作系統(tǒng)，OpenCV圖像處理與機(jī)器視覺(jué)庫(kù)，進(jìn)行視頻信號(hào)的采集和處理；控制系統(tǒng)采用ARM contex-M3內(nèi)核的STM32F103 主板，包括電機(jī)驅(qū)動(dòng)模塊（包括底盤(pán)四輪差速驅(qū)動(dòng)、提升輪驅(qū)動(dòng)、耙輪驅(qū)動(dòng)）、電源管理模塊和通信模塊等。

視覺(jué)目標(biāo)識(shí)別與定位系統(tǒng)通過(guò)攝像頭獲取網(wǎng)球場(chǎng)景視頻幀，對(duì)單幀圖像進(jìn)行預(yù)處理，網(wǎng)球目標(biāo)的識(shí)別和定位，采用就近取球的路徑規(guī)劃策略，通過(guò)相機(jī)標(biāo)定和坐標(biāo)變換，獲取最近網(wǎng)球與撿球機(jī)器人的相對(duì)位置，驅(qū)動(dòng)小車(chē)移向網(wǎng)球，對(duì)后續(xù)幀圖像進(jìn)行局部區(qū)域的目標(biāo)再識(shí)別來(lái)實(shí)現(xiàn)視覺(jué)跟蹤，直至撿取網(wǎng)球，再進(jìn)入下一個(gè)最近網(wǎng)球的拾取過(guò)程。

2 前景目標(biāo)提取

2.1 視頻幀采集

視頻攝像頭采用USB 接口和CMOS 圖像傳感器，靈敏度高、曝光時(shí)間短，程序設(shè)計(jì)中采用int open（const char *pathname，into flag，…）函數(shù)打開(kāi)攝像頭，并進(jìn)行分辨率和數(shù)據(jù)模式等參數(shù)設(shè)置等初始化操作，通過(guò)視頻圖像的采集進(jìn)程獲取視頻幀圖像并存儲(chǔ)。抽取2幀場(chǎng)景圖像如圖1所示。

圖1 網(wǎng)球場(chǎng)景圖像

2.2 圖像預(yù)處理

攝像頭感光材料的溫度變化和自然場(chǎng)景環(huán)境光照變化等因素使得獲取的圖像存在大量的噪聲，采用高斯濾波對(duì)單幀圖像進(jìn)行平滑濾波。常用的圖像空域?yàn)V波方法包括均值濾波、方框?yàn)V波、高斯濾波等，均為采用像素鄰域的灰度加權(quán)求取當(dāng)前像素點(diǎn)灰度，高斯濾波器采用（2k+1）×（2k+1）高斯模板矩陣，可通過(guò)式（1）求取。

其中，σ為標(biāo)準(zhǔn)差，k為高斯矩陣的維數(shù)。為使高斯濾波模板的權(quán)系數(shù)之和為1，對(duì)高斯模板矩陣進(jìn)行歸一化處理，通過(guò)高斯模板與圖像矩陣的卷積運(yùn)算，實(shí)現(xiàn)對(duì)灰度圖像的卷積濾波。

對(duì)RGB圖像的高斯濾波，可將R、G、B顏色分量分別進(jìn)行濾波，再合成為彩色圖像，這種濾波方法忽略了各通道的關(guān)聯(lián)性，但是具有較高的時(shí)間效率。文獻(xiàn)［10］采用基于四元數(shù)的彩色圖像增強(qiáng)技術(shù)，通過(guò)四元數(shù)傅里葉變換，將彩色圖像在頻域進(jìn)行濾波，再通過(guò)四元數(shù)傅里葉逆變換獲得濾波后的彩色圖像。本文采用第一種方法對(duì)場(chǎng)景圖像進(jìn)行濾波處理，根據(jù)網(wǎng)球圓形的形狀特征，采用圓形濾波模板對(duì)場(chǎng)景圖片進(jìn)行濾波，通過(guò)截取單個(gè)網(wǎng)球的部分圖像并經(jīng)過(guò)放大處理，取得的濾波效果如圖2所示。

圖2 高斯濾波效果圖

通過(guò)不同濾波半徑和方差的濾波器濾波，均能濾除不同光照變化以及相機(jī)曝光等原因引起的噪聲，經(jīng)過(guò)觀(guān)察，在r=5，σ=1.8 的濾波條件下，較好地保持了網(wǎng)球的顏色特征和形狀特征。

2.3 前景目標(biāo)獲取

網(wǎng)球具有明顯的顏色特征，可在開(kāi)放的網(wǎng)球場(chǎng)景中基于顏色特征進(jìn)行前景目標(biāo)的提取。數(shù)字圖像常用的顏色模型有RGB、HSV、CMYK 等，攝像機(jī)獲取的圖像用RGB 顏色模型表示，此模型面向硬件，廣泛應(yīng)用于攝像機(jī)和顯示器。HSV顏色模型相比于RGB模型更加接近于人對(duì)彩色的感知，各個(gè)分量分別為色調(diào)（Hue）、飽和度（Saturation）、亮度值（Value）。HSV 顏色空間的H 分量能很好地區(qū)分網(wǎng)球顏色與場(chǎng)地背景顏色的差異，但是很難區(qū)分網(wǎng)球與場(chǎng)地白色標(biāo)線(xiàn)，而RGB顏色模型中的B分量可以很好地區(qū)分網(wǎng)球與場(chǎng)地標(biāo)線(xiàn)，通過(guò)對(duì)比試驗(yàn)，結(jié)合HSV 模型的H 分量和RGB 模型的B 分量分別進(jìn)行閾值分割和合成，相比其他閾值化操作取得了更好的效果。

網(wǎng)球目標(biāo)提取的對(duì)比實(shí)驗(yàn)設(shè)計(jì)如下：（1）對(duì)RGB 圖像進(jìn)行灰度化和二值化操作；（2）針對(duì)HSV模型的H 分量和RGB 模型的B 分量分別進(jìn)行閾值分割和合成。實(shí)驗(yàn)1中，直接對(duì)采集的場(chǎng)景RGB 圖像進(jìn)行灰度化，基于Otsu 算法進(jìn)行二值化操作，獲取的前景目標(biāo)如圖3（b）所示，從圖示內(nèi)容可以看出，10 個(gè)網(wǎng)球目標(biāo)全部提取出來(lái)，但是網(wǎng)球場(chǎng)白色標(biāo)線(xiàn)也同時(shí)被作為前景目標(biāo)提取出來(lái)。實(shí)驗(yàn)2 中，通過(guò)對(duì)比各通道顏色分量的直方圖，可以得出，在H通道進(jìn)行網(wǎng)球和網(wǎng)球場(chǎng)地標(biāo)線(xiàn)與場(chǎng)地背景的分割，在B通道進(jìn)行網(wǎng)球和網(wǎng)球場(chǎng)地與網(wǎng)球場(chǎng)地標(biāo)線(xiàn)的分割，再將兩個(gè)分割矩陣進(jìn)行對(duì)應(yīng)元素的“與”操作，獲取的網(wǎng)球目標(biāo)如圖3（c）所示，從圖中可以看出，10 個(gè)網(wǎng)球目標(biāo)被全部提取出來(lái)，但是圖像的左下方，由于相機(jī)的邊界效應(yīng)，一些像素點(diǎn)被作為前景目標(biāo)提取出來(lái)。

圖3 前景目標(biāo)提取

3 網(wǎng)球識(shí)別與定位

3.1 網(wǎng)球識(shí)別

基于網(wǎng)球的顏色特征可以很好地把網(wǎng)球作為前景目標(biāo)提取出來(lái)，但是在多幅場(chǎng)景圖片試驗(yàn)中，在有光照變化和陰影的開(kāi)放網(wǎng)球場(chǎng)地環(huán)境下，一些干擾點(diǎn)、場(chǎng)地邊界點(diǎn)、部分場(chǎng)地標(biāo)線(xiàn)，場(chǎng)地放置的物品也被作為前景目標(biāo)提取出來(lái)，部分干擾點(diǎn)可以通過(guò)圖像的形態(tài)學(xué)運(yùn)算進(jìn)行消除，被作為前景的部分場(chǎng)地標(biāo)線(xiàn)和場(chǎng)地放置物品需要通過(guò)目標(biāo)的輪廓特征來(lái)進(jìn)行識(shí)別。

特征提取是從圖像中提取目標(biāo)物非圖像的表示和描述，模式識(shí)別是根據(jù)目標(biāo)特征進(jìn)行分類(lèi)，應(yīng)用于圖像領(lǐng)域稱(chēng)為圖像識(shí)別，圖像識(shí)別根據(jù)提取的前景圖像特征，識(shí)別出目標(biāo)物體。網(wǎng)球相較于其他的前景目標(biāo)具有明確的圓形輪廓特征，可以通過(guò)Canny算法進(jìn)行邊緣檢測(cè)，根據(jù)邊緣圖像通過(guò)Hough變換進(jìn)行網(wǎng)球的圓形輪廓檢測(cè)?？紤]到程序運(yùn)行的時(shí)間效率，本文采用目標(biāo)物體的致密性（即目標(biāo)區(qū)域的周長(zhǎng)平方與區(qū)域面積之比）特征進(jìn)行目標(biāo)識(shí)別。實(shí)驗(yàn)表明，基于致密性輪廓特征的網(wǎng)球識(shí)別算法能夠識(shí)別出全部前景目標(biāo)中的網(wǎng)球，且屏蔽了全部的非網(wǎng)球目標(biāo)。

3.2 網(wǎng)球定位

網(wǎng)球定位包括求取網(wǎng)球在圖像中的像素位置，以及實(shí)際場(chǎng)地中網(wǎng)球與攝像頭的相對(duì)位置。后者在目標(biāo)跟蹤中進(jìn)行介紹，這里通過(guò)形態(tài)學(xué)運(yùn)算中的連通分量提取實(shí)現(xiàn)對(duì)各個(gè)網(wǎng)球區(qū)域的標(biāo)記，求取各連通區(qū)域質(zhì)心作為各個(gè)網(wǎng)球的像素坐標(biāo)。根據(jù)網(wǎng)球識(shí)別中提取的二值圖像，對(duì)如圖3（c）中的10個(gè)網(wǎng)球區(qū)域進(jìn)行標(biāo)記并計(jì)算區(qū)域質(zhì)心，連通分量提取算法通過(guò)迭代標(biāo)記各個(gè)連通區(qū)域，其算法概要如下。

初始化：Β0=連通分量A中的某個(gè)種子點(diǎn)

算法中Β0為某一連通區(qū)域中的種子像素點(diǎn)，S為膨脹結(jié)構(gòu)元素（8 連通區(qū)域提取采用3×3 結(jié)構(gòu)元素，4 連通使用3×3 十字形結(jié)構(gòu)元素），循環(huán)中從種子點(diǎn)Β0開(kāi)始不斷用結(jié)構(gòu)元素S對(duì)其進(jìn)行膨脹操作，每次膨脹的結(jié)果與Α相交，將Β限制在Α的內(nèi)部，直至Β充滿(mǎn)整個(gè)連通區(qū)域Α，實(shí)現(xiàn)連通區(qū)域的標(biāo)記。

對(duì)前景網(wǎng)球目標(biāo)的連通區(qū)域標(biāo)記完成后，計(jì)算每個(gè)區(qū)域的質(zhì)心位置，即完成了每個(gè)網(wǎng)球區(qū)域的像素質(zhì)心定位，質(zhì)心求取方法采用式（2）實(shí)現(xiàn)。

上式為求取第k個(gè)連通區(qū)域Α的質(zhì)心位置，xi和yi代表區(qū)域Α中所有像素的橫坐標(biāo)和縱坐標(biāo)，Ν為區(qū)域像素總數(shù)，通過(guò)連通區(qū)域標(biāo)記，區(qū)域質(zhì)心提取并作“+”標(biāo)記，結(jié)果如圖4所示。

圖4 網(wǎng)球區(qū)域質(zhì)心定位

4 目標(biāo)跟蹤與控制

運(yùn)動(dòng)目標(biāo)跟蹤可以描述為在撿球機(jī)器人的移動(dòng)過(guò)程中，針對(duì)當(dāng)前幀識(shí)別的目標(biāo)物體，在后續(xù)幀中快速搜索定位目標(biāo)物體的過(guò)程。目標(biāo)跟蹤根據(jù)有無(wú)檢測(cè)過(guò)程的參與分為生成式跟蹤和判別式跟蹤［6］。生成式跟蹤根據(jù)當(dāng)前幀的目標(biāo)識(shí)別結(jié)果，建立目標(biāo)特征的先驗(yàn)知識(shí)，按照一定的跟蹤策略進(jìn)行目標(biāo)的識(shí)別并估計(jì)目標(biāo)的最優(yōu)位置；判別式跟蹤通過(guò)對(duì)每一幀圖像進(jìn)行目標(biāo)識(shí)別來(lái)進(jìn)行跟蹤，稱(chēng)為基于檢測(cè)的跟蹤。本文綜合兩者的優(yōu)點(diǎn)提出局部視域下的檢測(cè)式跟蹤策略，目標(biāo)跟蹤原理如圖5所示。

圖5 局部視域下目標(biāo)跟蹤

隨著機(jī)器人（攝像頭）向最近距離網(wǎng)球的靠近，根據(jù)運(yùn)動(dòng)估計(jì)最近網(wǎng)球目標(biāo)只會(huì)出現(xiàn)圖示的扇形區(qū)域，根據(jù)前文所述的基于網(wǎng)球的顏色特征和形狀特征在扇形的局部視域下，進(jìn)行網(wǎng)球目標(biāo)的再次識(shí)別和定位。通過(guò)相機(jī)標(biāo)定和坐標(biāo)換算，獲取最近網(wǎng)球相對(duì)于攝像機(jī)的相對(duì)位置(θ,d)，通過(guò)PID 控制驅(qū)動(dòng)撿球機(jī)器人直線(xiàn)行進(jìn)至目標(biāo)位置拾取網(wǎng)球。

5 總結(jié)

基于視覺(jué)的網(wǎng)球撿球機(jī)器人能夠代替網(wǎng)球運(yùn)動(dòng)者執(zhí)行繁重的撿球任務(wù)。本文提出的基于顏色特征和輪廓特征的視覺(jué)網(wǎng)球識(shí)別和定位技術(shù)，在開(kāi)放的網(wǎng)球場(chǎng)地和靜態(tài)環(huán)境下，能夠在一定的距離范圍內(nèi)識(shí)別和定位所有網(wǎng)球，且算法的執(zhí)行效率高。后續(xù)需要研究在有人運(yùn)動(dòng)的動(dòng)態(tài)網(wǎng)球場(chǎng)地上，如何識(shí)別并避讓運(yùn)動(dòng)人員、網(wǎng)球場(chǎng)地圍欄等，在動(dòng)態(tài)環(huán)境下為機(jī)器人提供視覺(jué)導(dǎo)航；為提高撿球效率，在視覺(jué)導(dǎo)航中進(jìn)行路徑規(guī)劃，以及實(shí)現(xiàn)多機(jī)器人的協(xié)同撿球以及多路徑規(guī)劃問(wèn)題。