梁傳君　尚雪蓮

摘要：針對農(nóng)業(yè)溫室中作業(yè)機(jī)器人的路徑規(guī)劃問題，提出一種基于立體視覺圖像處理的障礙物檢測方案。首先，利用Kinect 3D傳感器捕獲溫室路徑圖像；然后，基于圖像的深度信息，分離出溫室地面；接著，根據(jù)圖像顏色特征構(gòu)建顏色分類器，對預(yù)定義的障礙物進(jìn)行檢測；最后，根據(jù)圖像紋理特征，基于局部二進(jìn)制模式（LBP）紋理直方圖來構(gòu)建紋理分類器，對未定義的障礙物進(jìn)行檢查。試驗結(jié)果表明，提出的方案能夠準(zhǔn)確地檢查出溫室路徑中的障礙物，能夠為作業(yè)機(jī)器人規(guī)劃有效路徑。

關(guān)鍵詞：溫室機(jī)器人；立體視覺；障礙物檢測；顏色特征；紋理特征

中圖分類號：TP242 文獻(xiàn)標(biāo)志碼： A

文章編號：1002-1302（2017）14-0175-04

傳統(tǒng)農(nóng)業(yè)機(jī)械在一些作業(yè)過程中需要人來操作。隨著計算機(jī)、圖像處理技術(shù)的高速發(fā)展，農(nóng)業(yè)機(jī)械開始向著農(nóng)業(yè)機(jī)器人的方向發(fā)展[1]。在溫室中，為了避免人類參與對健康有害的作業(yè)（如噴灑農(nóng)藥、施化肥等），研制無人操作的農(nóng)業(yè)機(jī)器人具有重要意義。在溫室機(jī)器人的研究中，路徑規(guī)劃是重要部分，它的基礎(chǔ)是對溫室路徑中的障礙物進(jìn)行有效地檢測[2]。

目前，用于解決農(nóng)業(yè)機(jī)器人障礙物檢測的主要方法是基于立體視覺圖像的處理[3]。常用來捕捉具有深度信息的彩色（RGB）圖像傳感器為微軟Kinect 3D傳感器[4]。然而，它們大部分用于室外農(nóng)田機(jī)械的自主運(yùn)動和軌跡規(guī)劃，在溫室中的應(yīng)用較少。溫室機(jī)器人通常體型較小，容易受到小型障礙物的阻擋。另外，溫室中經(jīng)常存在多種小型農(nóng)具，例如水桶、推車等，對這些障礙物檢測具有一定的難度[5]。

為此，本研究提出一種用于溫室機(jī)器人的避障系統(tǒng)，利用Kinect 3D傳感器捕獲溫室內(nèi)路徑圖像，基于圖像的深度、顏色和紋理信息對障礙物進(jìn)行檢測，以確保機(jī)器人在行進(jìn)過程中避開障礙物。

1提出的障礙物檢測系統(tǒng)

1.1檢測系統(tǒng)基本架構(gòu)

本研究基于每個視頻幀的深度、顏色和紋理信息，構(gòu)建一種溫室路徑中障礙物檢測系統(tǒng)。首先，計算深度圖像像素的斜率，通過閾值判斷來識別溫室地面。然后，利用人工標(biāo)注的數(shù)據(jù)來訓(xùn)練分類器，基于圖像的顏色特征來檢測預(yù)定義的障礙物，基于圖像的紋理特征來分類未定義的障礙物。最后，將基于斜率和顏色的分類結(jié)果進(jìn)行融合，作出圖像級障礙物檢測的最終決策。障礙物檢測系統(tǒng)框架如圖1所示。

1.2基于深度信息分離地面

Kinect傳感器輸出640×480像素的顏色和深度圖像，圖像區(qū)域為一個水平角度57°和垂直角度43°的扇形區(qū)域。垂直斜率是障礙物與地面的明顯標(biāo)志[6]，本研究將在斜率閾值范圍內(nèi)的像素標(biāo)記為地面區(qū)域，其他像素標(biāo)記為可疑障礙物。

圖2所示為一個基于深度像素計算斜率的幾何模型，其中（xi，yj）和（xi，yk）為位于相同水平位置上的2個垂直相鄰像素點(diǎn)，Rj和Rk為傳感器分別到這2個垂直相鄰像素的測量距離?；谏疃汝P(guān)系，能夠計算這2個相鄰垂直像素之間的斜率值[7]。

據(jù)對多次試驗結(jié)果的分析，發(fā)現(xiàn)設(shè)定斜率上下閾值范圍為10～30時，地面與障礙物的分離效果最好。

圖3所示為障礙物檢測的一個例子，其中Kinect傳感器捕獲的顏色和深度圖像分別如圖3-a和圖3-b所示。圖 3-c為計算獲得的斜率圖像，可以看出，溫室地面的斜率值接近于20，而其他物體的斜率值達(dá)到40以上或0以下。圖3-d為地面和障礙物的分割圖像，黑色表示地面，白色表示障礙物。

1.3基于顏色信息初步檢測障礙物

通過斜率計算可以分離出疑似障礙物，然后，基于顏色信息對預(yù)定義的障礙物進(jìn)行分類。其中障礙物分為以下3類：綠色農(nóng)作物、紅色辣椒和白色溫室頂棚。本研究使用馬氏距離作為分類的距離度量[8]，一個障礙物實例的RGB彩色像素與預(yù)定義類的馬氏距離表達(dá)式為：

1.4基于紋理算子進(jìn)一步檢測障礙物

在上述基于顏色信息對障礙物進(jìn)行分類時，只能檢測出顏色特征明顯且面積較大的障礙物。

確性，本研究融入了基于紋理算子的分類器。由于直接采用紋理分類器的計算成本較高，為此，本研究先用顏色分類器對障礙物進(jìn)行檢測，獲得初步檢測圖像幀；然后再應(yīng)用紋理分類器尋找出顏色分類器沒有檢測到的障礙物。

紋理分類器是基于當(dāng)前像素和其相鄰像素的比較進(jìn)行分類。其中，局部二進(jìn)制模式（Local Binary Pattern，LBP）算子[9]是一種簡單且有效的灰度不變紋理度量算子，對由光照變化引起的單調(diào)灰度變化具有魯棒性。LBP編碼中，對于給定圖像中的一個像素，其領(lǐng)域包括8個相鄰像素，根據(jù)領(lǐng)域中心的相對灰度值，總共可以得到28=256種不同的標(biāo)簽。強(qiáng)度為gc的像素c的LBP定義如下。

在檢測過程中，將圖像區(qū)域像素直方圖和其相鄰像素直方圖進(jìn)行比較，當(dāng)檢測到障礙物時，將其與4類障礙物紋理直方圖模型進(jìn)行匹配，如果不屬于其中任何一類，則判定為未定義的障礙物類，從而檢測出顏色分類器無法檢測的障礙物。

圖5顯示了一個顏色和紋理分類器的例子?？梢钥闯?，在顏色分類器中，由于圖像右下角的一個小推車的顏色為接近綠色，所以錯誤地將其歸類為綠色農(nóng)作物類，而經(jīng)過紋理分類器后，則成功地將其檢測出來。

2試驗及分析

本研究在一個本地溫室大棚內(nèi)進(jìn)行試驗。在光線充足的下午時段，利用Kinect傳感器拍攝大棚中的4條路徑現(xiàn)場，包括地面、辣椒和農(nóng)作物區(qū)域。其中每條路徑中包含了158幀圖像。利用OpenCV及VC++等工具實現(xiàn)各種障礙物檢測算法。

2.1訓(xùn)練數(shù)據(jù)集

本研究使用路徑視頻中的12個幀作為訓(xùn)練數(shù)據(jù)，已通過手動方式標(biāo)注了各類障礙物中的一個像素塊，如圖6所示。預(yù)定義的障礙物類別有紅辣椒、綠色農(nóng)作物、黑色地面和白色溫室頂棚。

首先，根據(jù)訓(xùn)練集中標(biāo)記的像素塊來計算各類障礙物像素的均值和協(xié)方差矩陣，作為顏色分類器的參考值。各類的RGB顏色像素的均值和協(xié)方差矩陣分別見表1和表2。

2.2試驗結(jié)果

試驗中，首先基于深度信息分離出地面，然后通過顏色分類器對障礙物進(jìn)行初步檢測，接著應(yīng)用紋理分類器尋找出更多的潛在障礙物。以此確保系統(tǒng)能夠檢測出所有障礙物，使農(nóng)業(yè)機(jī)器人避免發(fā)生碰撞。

對于顏色分類器，選擇合適的顏色空間模型對障礙物檢測性能影響很大。為了進(jìn)行比較，試驗中采用了4種不同的顏色空間，分別為：RGB、OHTA、XYZ、Lab。其中，RGB顏色空間基于紅、綠、藍(lán)3種基色的笛卡爾坐標(biāo)系統(tǒng)；對RGB空間進(jìn)行線性變換，可形成OHTA、XYZ等空間[11]。OHTA空間中3個分量系數(shù)相互正交，能夠有效地進(jìn)行彩色圖像處理。XYZ空間能夠解決RGB中3種顏色系數(shù)出現(xiàn)負(fù)值的缺點(diǎn)。Lab空間是由CIE（國際照明委員會）制定的，通過XYZ空間變換而來，能夠直接用顏色空間的幾何距離進(jìn)行不同顏色的比較。各顏色空間表達(dá)式如下：

表3顯示了在一個包含9個障礙物的圖像幀中，各種顏色分類器和顏色+紋理分類器對障礙物的檢測結(jié)果?？梢钥闯?，顏色+紋理分類器能夠檢測出顏色分類器沒有檢測到的障礙物，實現(xiàn)了完全檢測。

為了更準(zhǔn)確地展示分類器性能，在溫室路徑視頻序列中的158幀圖像中進(jìn)行障礙物檢測，其中共包含了87個障礙物。表4給出了各種顏色特征+紋理分類器對各類障礙物的檢查結(jié)果，并給出了3種經(jīng)典性能指標(biāo)數(shù)據(jù)：召回率（Recall）、精度（Precision）和F值（F-Measure）。可以看出，相比于其他顏色空間，Lab空間取得了最好的效果。這是因為[CM（25]對于顏色比較復(fù)雜的障礙物，用全局顏色特征就很難區(qū)分。為此，本研究顏色分類器采用Lab顏色空間特征。另外，提出的顏色+紋理特征分類器表現(xiàn)出較高的召回率和精度，證明了本研究系統(tǒng)的有效性和可行性。

4結(jié)束語

本研究提出了一種基于立體視覺圖像處理的溫室作業(yè)機(jī)器人避障系統(tǒng)。通過安裝在機(jī)器人頭部的Kinect 3D傳感器捕獲溫室路徑圖像，利用圖像的深度、顏色和紋理特征來檢測預(yù)定義和未定義類型的障礙物。在一個溫室中的試驗結(jié)果證明了提出系統(tǒng)的有效性和可行性。

在今后工作中，將提出的避障系統(tǒng)應(yīng)用到溫室噴霧作業(yè)機(jī)器人身上，進(jìn)一步驗證其實用性。另外，為了解決攝像機(jī)在機(jī)器人移動過程中的角度偏移問題，將考慮融入圖像校正過程。

參考文獻(xiàn)：

[1]袁挺，任永新，李偉，等. 基于光照色彩穩(wěn)定性分析的溫室機(jī)器人導(dǎo)航信息獲取[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2012，43（10）：161-166.

[2]高國琴，李明. 基于K-means算法的溫室移動機(jī)器人導(dǎo)航路徑識別[J]. 農(nóng)業(yè)工程學(xué)報，2014，30（7）：25-33.

[3]Xue J，Zhang L，Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers & Electronics in Agriculture，2012，84（2）：85-91.

[4]李智嫻，陳正鳴. 1種基于Kinect深度圖像的指尖檢測與跟蹤算法[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（5）：416-419.

[5]牛雪梅，高國琴，鮑志達(dá)，等. 基于滑模變結(jié)構(gòu)控制的溫室噴藥移動機(jī)器人路徑跟蹤[J]. 農(nóng)業(yè)工程學(xué)報，2013，29（2）：9-16.

[6]楊磊，蔡紀(jì)源，任衍允，等. 一種基于深度信息的障礙物檢測方法[J]. 計算機(jī)技術(shù)與發(fā)展，2015，25（8）：43-47.

[7]Huang H C. An indoor obstacle detection system using depth information and region growth[J]. Sensors，2015，15（10）：116-141.

[8]周燕，曾凡智，張志飛，等. 面向制造過程的海量數(shù)字圖像高效檢索算法研究[J]. 湘潭大學(xué)自然科學(xué)學(xué)報，2014，36（3）：105-110.

[9]朱林，趙建，馮全，等. 基于LBP濾波和ACWE的葡萄病害圖像分割方法[J]. 中國農(nóng)機(jī)化學(xué)報，2014，35（6）：99-104.

[10]Asha V，Bhajantri N U，Nagabhushan P. GLCM-based chi-square histogram distance for automatic detection of defects on patterned textures[J]. International Journal of Computational Vision & Robotics，2012，2（4）：302-313.

[11]江锽. 基于Kinect的溫室噴霧機(jī)器人視覺導(dǎo)航定位系統(tǒng)的研究[D]. 北京：北京林業(yè)大學(xué)，2015：10-14.