彭孝東，時(shí)磊，何靜，漆海霞，蘭玉彬

(1. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣州市，510642； 2. 國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心，廣州市，510642；3. 廣東省農(nóng)情信息監(jiān)測(cè)工程技術(shù)研究中心，廣州市，510642； 4. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州市，510642)

0 引言

農(nóng)業(yè)信息技術(shù)已成為提高農(nóng)業(yè)生產(chǎn)力和充分利用農(nóng)業(yè)資源最有效的手段和工具。在農(nóng)業(yè)信息化工程的研究中，圖像是信息的一種直觀表現(xiàn)形式，也是十分重要的信息載體，可見光圖像、遙感圖像、紅外圖像、高光譜圖像以及多光譜圖像等都是目前主流農(nóng)業(yè)研究的圖像。在農(nóng)業(yè)領(lǐng)域中，這些圖像被廣泛地應(yīng)用在植物表型檢測(cè)[1]、耕地信息提取[2-3]、作物蟲害監(jiān)測(cè)[4]、果實(shí)品質(zhì)分析[5-6]等方面。受成像方式的限制，二維圖像不能提供更多空間信息，如作物根系分布、植株形態(tài)以及果實(shí)空間位置等三維特征都無(wú)法獲取[7]。

三維重建技術(shù)主要包括接觸測(cè)量、圖像雷達(dá)、計(jì)算機(jī)視覺、工業(yè)CT以及斷層掃描等方法[8]。接觸測(cè)量，通過(guò)接觸物體獲取三維信息；圖像雷達(dá)，探測(cè)精度較高但較難獲取物體的色彩信息；工業(yè)CT與斷層掃描側(cè)重物體內(nèi)部三維結(jié)構(gòu)；計(jì)算機(jī)視覺，可以進(jìn)行非接觸式的彩色掃描且精度高、速度快。從各自的特點(diǎn)來(lái)看，計(jì)算視覺更為適合應(yīng)用于農(nóng)業(yè)領(lǐng)域。RGB-D相機(jī)是一種基于計(jì)算機(jī)視覺技術(shù)的新型相機(jī)，能同時(shí)輸出色彩與深度信息，避免了僅靠深度信息在三維重建時(shí)造成的誤差大、深度信息幀丟失和存在孔洞等問(wèn)題[9]。消費(fèi)級(jí)RGB-D相機(jī)以較低的成本、較高的測(cè)量精度和較快的測(cè)量速度在制圖、三維重建、室內(nèi)機(jī)器人、手勢(shì)識(shí)別、物體的檢測(cè)和識(shí)別等領(lǐng)域廣泛應(yīng)用[10]。在農(nóng)業(yè)領(lǐng)域，三維重建對(duì)研究農(nóng)林作物的生物學(xué)特征、冠層形狀結(jié)構(gòu)以及農(nóng)業(yè)機(jī)器人應(yīng)用等都具有重要作用，是目前研究的熱點(diǎn)和難題。文章通過(guò)對(duì)消費(fèi)級(jí)RGB-D相機(jī)在農(nóng)業(yè)領(lǐng)域的應(yīng)用進(jìn)行總結(jié)、探討和展望，發(fā)掘其應(yīng)用潛力，為其在農(nóng)業(yè)領(lǐng)域的進(jìn)一步發(fā)展應(yīng)用提供參考。

1 消費(fèi)級(jí)RGB-D相機(jī)概述

Kinect相機(jī)是世界上首款消費(fèi)級(jí)RGB-D相機(jī)。所謂RGB-D相機(jī)，就是可以將物體的RGB顏色信息與各個(gè)像素的深度信息結(jié)合起來(lái)的一種傳感器。這種相機(jī)與只輸出深度圖像的深度相機(jī)不同，它不僅輸出深度圖像而且輸出RGB圖像。且相比于單目相機(jī)和雙目立體相機(jī)，RGB-D相機(jī)不需要利用算法計(jì)算空間點(diǎn)的三維坐標(biāo)，就能獲取空間物體3D信息，更加方便快捷[11]。

1.1 相機(jī)分類

與傳統(tǒng)的彩色相機(jī)類似，消費(fèi)級(jí)RGB-D相機(jī)也是在單一視角下對(duì)環(huán)境進(jìn)行拍攝。不同的是除了輸出彩色信息，RGB-D相機(jī)還提供深度信息。從技術(shù)層面來(lái)看，常見的消費(fèi)級(jí)RGB-D相機(jī)主要使用以下兩種技術(shù)來(lái)獲取深度信息：結(jié)構(gòu)光(Structured Light，SL)和飛行時(shí)間(Time of Flight，ToF)。消費(fèi)級(jí)RGB-D相機(jī)種類較多，農(nóng)業(yè)領(lǐng)域常用的幾種相機(jī)參數(shù)如表1所示。

表1 農(nóng)業(yè)中常用的RGB-D相機(jī)參數(shù)Tab. 1 Parameters of RGB-D cameras commonly used in agriculture

對(duì)于Kinect相機(jī)，張露等[12]通過(guò)平面擬合以及球面擬合試驗(yàn)發(fā)現(xiàn)Kinect獲取目標(biāo)物數(shù)據(jù)時(shí)，在邊界處誤差較大，且點(diǎn)云隨機(jī)誤差在可測(cè)范圍內(nèi)與測(cè)量距離的平方成正比，得出最佳測(cè)量距離為0.8～2.3 m，此距離區(qū)間內(nèi)，獲取數(shù)據(jù)的標(biāo)準(zhǔn)差在1 cm以內(nèi)。Halmetschlager-Funek等[13]對(duì)10款不同的深度相機(jī)進(jìn)行測(cè)評(píng)，包括Xtion Pro Live、Kinect 2.0以及RealSensesr300，在精度分析中，驗(yàn)證了這三款相機(jī)的測(cè)量偏差同測(cè)量距離的平方成正比，其中Kinect 2.0在可測(cè)范圍內(nèi)偏差變化不大，均在5 cm以下，而Xtion Pro Live在0.5～1.8 m的測(cè)量區(qū)間內(nèi)測(cè)量偏差在5 cm以下，RealSense sr300作為近距離傳感器，在0.3～1 m的測(cè)量區(qū)間內(nèi)測(cè)量偏差在5 cm以下。

1.2 工作原理

1.2.1 結(jié)構(gòu)光原理相機(jī)

結(jié)構(gòu)光是指一些具有特定模式的光，點(diǎn)、線、面等都可以成為其模式圖案[14]。如圖1所示，光學(xué)投射器將一定設(shè)定好的編碼光投射到場(chǎng)景中，場(chǎng)景曲面的幾何形狀會(huì)扭曲結(jié)構(gòu)光圖案，扭曲后的結(jié)構(gòu)光被攝像機(jī)接收，就可根據(jù)結(jié)構(gòu)光失真的信息提取場(chǎng)景的三維信息[15-16]。

圖1 結(jié)構(gòu)光原理圖Fig. 1 Schematic diagram of structured light

常見的結(jié)構(gòu)光模型主要有3種：(1)投射器傾斜發(fā)射，攝像機(jī)傾斜接收；(2)投射器傾斜發(fā)射，攝像機(jī)垂直接收；(3)投射器垂直發(fā)射，攝像機(jī)傾斜接收。本文以線狀結(jié)構(gòu)光為例討論第三種模型，模型如圖2所示。光平面在物體表面形成光條紋ABCD，構(gòu)建場(chǎng)景的世界坐標(biāo)系O-XYZ，以及攝像機(jī)坐標(biāo)系Oi-XiYiZi，投射器沿Z軸垂直將一定模式的光投射到場(chǎng)景中，攝像機(jī)以β角傾斜并接收反射光，為簡(jiǎn)化此模型將Y軸與Yi軸設(shè)置為平行關(guān)系。

圖2 結(jié)構(gòu)光相機(jī)數(shù)學(xué)模型Fig. 2 Mathematical model of structured light camera

設(shè)光平面內(nèi)p點(diǎn)的世界坐標(biāo)p(xc,yc,zc)，將其轉(zhuǎn)化成攝像機(jī)坐標(biāo)系中的坐標(biāo)pi(xi,yi,zi)需經(jīng)過(guò)以下步驟。

1) 透視變換矩陣P計(jì)算如式(1)所示。

(1)

式中：f——攝像機(jī)焦距。

2) 將世界坐標(biāo)原點(diǎn)(0,0,Dgp)平移到圖像坐標(biāo)系原點(diǎn)(Dpc,0,Dgp)，平移矩陣Ti計(jì)算如式(2)所示。

(2)

式中：Dpc——圖像坐標(biāo)原點(diǎn)x坐標(biāo)；

Dgp——世界坐標(biāo)及圖像原點(diǎn)z坐標(biāo)。

3) 將世界坐標(biāo)系圍繞其X軸旋轉(zhuǎn)180°，旋轉(zhuǎn)矩陣Rx(180°)計(jì)算如式(3)所示。

(3)

4) 將世界坐標(biāo)系圍繞其Y軸順時(shí)針旋轉(zhuǎn)β，旋轉(zhuǎn)矩陣Ry(β)計(jì)算如式(4)所示。

(4)

式中：β——矩陣?yán)@Y軸旋轉(zhuǎn)度數(shù)。

將總變換記為矩陣H，如式(5)所示。

H=PRy(β)Rx(180°)Ti

(5)

pi點(diǎn)與p點(diǎn)關(guān)系用廣義坐標(biāo)系表示如式(6)所示。

Pi=HP

(6)

在使用結(jié)構(gòu)光相機(jī)進(jìn)行深度信息獲取時(shí)，需要用攝像機(jī)坐標(biāo)系中的坐標(biāo)pi(xi,yi,zi)來(lái)求出世界坐標(biāo)系中的坐標(biāo)p(xc,yc,zc)，如式(7)～式(8)所示。

p=H-1pi

(7)

(8)

投射器垂直發(fā)射，此時(shí)光平面方程，如式(9)所示。

xc=0

(9)

聯(lián)立式(8)和式(9)可求出P點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(xc,yc,zc)，如式(10)所示。

(10)

結(jié)合機(jī)器的掃描運(yùn)動(dòng)，光平面對(duì)物體進(jìn)行全面掃描后就可以得到物體各點(diǎn)的世界坐標(biāo)。

1.2.2 飛行時(shí)間原理相機(jī)

ToF(Time of Flight)技術(shù)基于光速不變?cè)?，通過(guò)測(cè)量光信號(hào)的傳播時(shí)間來(lái)測(cè)算距離[17]。如圖3所示，由光發(fā)射器向需要重建的場(chǎng)景中發(fā)射處理過(guò)的光線，光線碰到物體會(huì)反射回來(lái)，被傳感器接收，測(cè)量發(fā)射光和反射光之間的相位差就可求出目標(biāo)距離[18]。

圖3 ToF原理圖Fig. 3 ToF schematic diagram

對(duì)反射信號(hào)進(jìn)行間隔π/2的四次測(cè)量，對(duì)應(yīng)于圖3中的m0,m1,m2,m3，便可推導(dǎo)出反射信號(hào)振幅A與發(fā)射光和反射光之間的相位差Δφ，以及相機(jī)距目標(biāo)的距離D，如式(11)～式(13)所示。

(11)

(12)

(13)

式中：c——光速。

1.3 相機(jī)原理分析

結(jié)構(gòu)光相機(jī)與ToF相機(jī)工作原理不同，特色各異。結(jié)構(gòu)光相機(jī)投射編碼光，經(jīng)被測(cè)物體反射后根據(jù)光失真情況獲取物體三維信息。ToF相機(jī)發(fā)射光信號(hào)再接收反射光，根據(jù)時(shí)間差獲得相機(jī)與目標(biāo)的深度信息。從上述實(shí)現(xiàn)方式來(lái)看，ToF相機(jī)實(shí)現(xiàn)起來(lái)比結(jié)構(gòu)光相機(jī)簡(jiǎn)單，不需要提取反射編碼光的特征，計(jì)算量較低，且可以調(diào)節(jié)發(fā)射器發(fā)射頻率來(lái)改變測(cè)量距離，其測(cè)量精度受距離影響較低。不過(guò)，結(jié)構(gòu)光主動(dòng)投射編碼光的方式，也有自己獨(dú)特的優(yōu)勢(shì)，其投射的編碼光蘊(yùn)含大量投影點(diǎn)就可以輸出較高分辨率的深度圖，達(dá)到較高的測(cè)量精度。

2 消費(fèi)級(jí)RGB-D相機(jī)在農(nóng)業(yè)領(lǐng)域應(yīng)用的研究進(jìn)展

2.1 國(guó)外研究進(jìn)展

在國(guó)外，消費(fèi)級(jí)RGB-D相機(jī)成功應(yīng)用在三維地圖繪制[19-20]、目標(biāo)追蹤[21-22]、盲人導(dǎo)航[23-24]和行為識(shí)別[25]等方面，在農(nóng)業(yè)領(lǐng)域也有廣泛的應(yīng)用并取得了一些成果，大致可歸納為以下3個(gè)方面。

2.1.1 作物參數(shù)提取

消費(fèi)級(jí)RGB-D相機(jī)可以采集物體的三維信息，將其應(yīng)用在作物參數(shù)提取中，可以采集到作物不同時(shí)期的三維參數(shù)，對(duì)作物進(jìn)行檢測(cè)分析。Chéné等[26]用Kinect對(duì)薔薇、絲瓜和蘋果樹進(jìn)行圖像信息采集，并提出一種從單一俯視圖分割植物深度圖像的算法，實(shí)現(xiàn)了葉片彎曲度、葉片形態(tài)、葉片位置以及是否存在病原菌等多方面檢測(cè)，為消費(fèi)級(jí)RGB-D相機(jī)在植物表型分析的應(yīng)用奠定了基礎(chǔ)。Wang等[27]利用Kinect獲取洋蔥的彩色及深度圖像，用獲得的彩色與深度信息分別求取洋蔥直徑進(jìn)行體積估算，將從深度圖像與從彩色圖像中獲取的洋蔥體積與真實(shí)值進(jìn)行對(duì)比后發(fā)現(xiàn)深度圖像精度和穩(wěn)健性更高，預(yù)測(cè)精度為96.3%。Vázquez-Arellano等[28]將Kinect 2.0相機(jī)獲取的玉米植株點(diǎn)云和土壤點(diǎn)云進(jìn)行一系列處理后，再對(duì)點(diǎn)云柵格化、網(wǎng)格化，獲得植株高度與莖位，單株株高的平均誤差和標(biāo)準(zhǔn)差分別為30 mm和35 mm，植株莖位的平均誤差和標(biāo)準(zhǔn)差分別為24 mm和14 mm，證明了消費(fèi)級(jí)RGB-D相機(jī)可以準(zhǔn)確獲取玉米植株的莖位置和株高。Dionisio等[29]通過(guò)Kinect 2.0采集玉米田圖像，利用高度選擇與RGB分割分離玉米植株與雜草，實(shí)現(xiàn)雜草檢測(cè)，結(jié)果表明使用Kinect 2.0相機(jī)可以精確地估計(jì)作物狀態(tài)并進(jìn)行雜草檢測(cè)。

2.1.2 果實(shí)識(shí)別與定位

視覺系統(tǒng)作為水果采摘機(jī)器人的核心部分，可以有效提高對(duì)目標(biāo)水果的識(shí)別和定位性能，提高采摘機(jī)器人操作效率，降低采摘成本[30]。Malik等[31]采用消費(fèi)級(jí)RGB-D相機(jī)作為采摘機(jī)器人的視覺系統(tǒng)，為機(jī)器人視覺系統(tǒng)的研究提供了一個(gè)新的方向，其利用Kinect 2.0相機(jī)獲取溫室番茄的彩色圖像和深度圖像，同時(shí)保存了顏色坐標(biāo)、深度坐標(biāo)以及相機(jī)坐標(biāo)，其次采用改進(jìn)的HSV(Hue, Saturation, Value)算法和分水嶺算法從復(fù)雜的背景中分割番茄果實(shí)，然后對(duì)每個(gè)檢測(cè)到的水果分別進(jìn)行標(biāo)記，計(jì)算出彩色圖像中的像素坐標(biāo)值，再根據(jù)顏色、深度和相機(jī)坐標(biāo)的映射關(guān)系進(jìn)行顏色和深度信息的融合，將得到的水果像素坐標(biāo)與獲取的三維點(diǎn)云數(shù)據(jù)映射到彩色圖像中，得到每個(gè)標(biāo)記水果對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)，進(jìn)行濾波處理后，得到最后的點(diǎn)云數(shù)據(jù)。經(jīng)驗(yàn)證，深度距離的平均誤差為1.2 cm，距地面平均定位誤差為1.9 cm，證明了該方法能較好地實(shí)現(xiàn)番茄的分割與定位，為溫室番茄收割機(jī)器人的研究奠定了一定的基礎(chǔ)。Nguyen等[32]為解決蘋果在識(shí)別定位時(shí)，被樹枝、樹葉以及其他果實(shí)的遮擋問(wèn)題，采用新興的消費(fèi)級(jí)RGB-D相機(jī)在遮光條件下對(duì)蘋果園進(jìn)行圖像采集，提出了一種基于顏色和形狀特征的紅色和雙色蘋果的檢測(cè)和定位算法，經(jīng)驗(yàn)證該方法對(duì)未遮擋蘋果的識(shí)別準(zhǔn)確率為100%，對(duì)被遮擋蘋果的識(shí)別率為82%，且定位誤差在10 mm以下，驗(yàn)證了該方法用于蘋果產(chǎn)量估計(jì)和蘋果園監(jiān)測(cè)的可行性。

2.1.3 畜牧監(jiān)測(cè)

隨著畜牧業(yè)迅猛發(fā)展，養(yǎng)殖規(guī)模的擴(kuò)大，以人工的方式對(duì)養(yǎng)殖動(dòng)物實(shí)時(shí)監(jiān)測(cè)變得越來(lái)越困難，如何設(shè)計(jì)出能對(duì)養(yǎng)殖動(dòng)物的身體數(shù)據(jù)快速、客觀和準(zhǔn)確評(píng)估的計(jì)算機(jī)監(jiān)測(cè)系統(tǒng)變得尤為重要。Seo等[33]利用Realsense相機(jī)獲取紅外和深度信息對(duì)豬群進(jìn)行監(jiān)測(cè)，利用YOLO(You Only Look Once)算法成功將單個(gè)豬精確地從豬群中分離了出來(lái)。Kuzuhara等[34]使用Xtion對(duì)泌乳期奶牛進(jìn)行背部姿態(tài)測(cè)量，來(lái)對(duì)奶牛的體質(zhì)進(jìn)行評(píng)分，包括體重、產(chǎn)奶量、乳脂肪和乳蛋白的含量。Jonguk等[35]使用Kinect相機(jī)獲取豬圈的深度圖像，并從中提取豬的活動(dòng)特征，采用支持向量機(jī)分層檢測(cè)攻擊行為，并將其分為頭對(duì)頭(或身體)敲擊和追逐等攻擊子類型，實(shí)驗(yàn)結(jié)果表明對(duì)豬的攻擊行為的檢測(cè)和分類的準(zhǔn)確率分別超過(guò)95.7%和90.2%。

2.2 國(guó)內(nèi)研究進(jìn)展

國(guó)內(nèi)對(duì)消費(fèi)級(jí)RGB-D相機(jī)應(yīng)用于農(nóng)業(yè)生產(chǎn)領(lǐng)域的研究主要集中在作物參數(shù)表型信息提取、三維重建、路徑識(shí)別與規(guī)劃、果實(shí)識(shí)別與定位以及畜牧監(jiān)測(cè)等方面，并取得了一定的研究成果。

2.2.1 作物參數(shù)提取

Hu等[36-38]分別通過(guò)Kinect 2.0、Xtion采集轉(zhuǎn)臺(tái)上植株的多視角點(diǎn)云，利用迭代最近點(diǎn)算法(Iterative Closest Point，ICP)算法對(duì)目標(biāo)植株進(jìn)行三維重建，獲取植株關(guān)鍵的生長(zhǎng)參數(shù)，與真實(shí)值對(duì)比后確定了系統(tǒng)的精準(zhǔn)度。劉慧等[39]以溫室吊蘭為研究對(duì)象，使用Kinect相機(jī)采集吊蘭的彩色與深度圖像，提取吊蘭冠層的三維信息，完成對(duì)吊蘭深度數(shù)值和水平投影面積的計(jì)算，試驗(yàn)結(jié)果表明深度數(shù)值和面積測(cè)量的誤差分別為1%和3.6%，證明了該方法的可行性。勞彩蓮等[40]先對(duì)深度相機(jī)Xtion進(jìn)行內(nèi)部參數(shù)的標(biāo)定與深度畸變矯正，再將標(biāo)定好的Xtion Pro與旋轉(zhuǎn)云臺(tái)、便攜式計(jì)算機(jī)搭建點(diǎn)云信息采集平臺(tái)，旋轉(zhuǎn)平臺(tái)獲取不同角度的玉米深度圖像，然后進(jìn)行濾波，配準(zhǔn)生成玉米植株點(diǎn)云，最后對(duì)不同角度的三維點(diǎn)云進(jìn)行拼接，完成三維重建，通過(guò)與商業(yè)軟件Skanect的重建結(jié)果對(duì)比，該方法的精準(zhǔn)度、效率和魯棒性更高。楊斯等[41]以黃瓜苗作為試驗(yàn)對(duì)象，用Kinect 2.0相機(jī)獲取黃瓜育苗盤的三維信息，采用濾波與聚類分割算法相結(jié)合的算法，從黃瓜育苗盤中分離出單株幼苗點(diǎn)云集、并實(shí)現(xiàn)單株幼苗的定位，最后計(jì)算出單株黃瓜幼苗的株高，驗(yàn)證后平均誤差僅為2.3 mm。

2.2.2 路徑識(shí)別與規(guī)劃

路徑識(shí)別與規(guī)劃是實(shí)現(xiàn)無(wú)人農(nóng)機(jī)自主作業(yè)的前提和保證，是加速無(wú)人農(nóng)場(chǎng)建設(shè)的重點(diǎn)研究方向，利用消費(fèi)級(jí)RGB-D相機(jī)所構(gòu)建的傳感器系統(tǒng)，能為無(wú)人農(nóng)機(jī)識(shí)別和規(guī)劃作業(yè)田路徑提供數(shù)據(jù)支持。劉慧等[42]在自動(dòng)噴霧車上搭載RealSense相機(jī)，實(shí)時(shí)獲取彩色信息幀，提取并優(yōu)化與深度信息重合的特征點(diǎn)，用彩色信息融合深度信息進(jìn)行全局非線性軌跡優(yōu)化，避免單深度信息誤差大的問(wèn)題。結(jié)果表明，該方法使噴霧車的行駛軌跡更接近真實(shí)軌跡，對(duì)比僅使用深度信息的軌跡優(yōu)化其偏離真實(shí)軌跡誤差均值、方差以及超調(diào)量均有所下降。

2.2.3 果實(shí)識(shí)別與定位

麥春艷等[43-44]使用Kinect 2.0獲取蘋果果樹的彩色圖像與深度圖像，將彩色圖像進(jìn)行閾值分割和濾波去噪處理后，融合彩色信息與深度信息，獲取蘋果區(qū)域點(diǎn)云進(jìn)行三維球體形狀提取，實(shí)現(xiàn)果實(shí)的識(shí)別與定位，實(shí)驗(yàn)結(jié)果表明果實(shí)識(shí)別率不低于87.4%，相對(duì)平均平均誤差0.035 m，具有較強(qiáng)的實(shí)時(shí)性與魯棒性。王欣等以Kinect 2.0為機(jī)器人視覺部分設(shè)計(jì)了果蔬采摘系統(tǒng)，該系統(tǒng)采用Kinect2.0獲取空間深度圖像，再推導(dǎo)出目標(biāo)果蔬的三維坐標(biāo)，隨后將其傳遞給NAO機(jī)器人，通過(guò)路徑規(guī)劃后成功摘取目標(biāo)果蔬，實(shí)驗(yàn)該采摘系統(tǒng)可以實(shí)現(xiàn)果蔬的快速、精準(zhǔn)采摘。余承超[45]先將雙目視覺系統(tǒng)應(yīng)用于葡萄果園圖像采集，并依據(jù)最佳近景探測(cè)范圍進(jìn)行分割，獲得近景探測(cè)點(diǎn)，再利用消費(fèi)級(jí)RGB-D相機(jī)RealSense sr300獲取葡萄的顏色和深度信息，實(shí)現(xiàn)葡萄的識(shí)別與定位，采用遠(yuǎn)近景手眼協(xié)調(diào)策略，設(shè)計(jì)出了葡萄采摘機(jī)器人。

2.2.4 畜牧監(jiān)測(cè)

王可等[46-49]先以石膏奶牛模型和真實(shí)奶牛作為實(shí)驗(yàn)對(duì)象，使用Xtion采集不同環(huán)境下，不同距離的奶牛體表數(shù)據(jù)，與高精度三維掃描儀得到的點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)比，證明了Xtion作為點(diǎn)云采集設(shè)備的可行性，繼奶牛之后再次對(duì)豬進(jìn)行試驗(yàn)，構(gòu)建了多深度攝像頭的動(dòng)物體表實(shí)時(shí)三維數(shù)據(jù)獲取應(yīng)用系統(tǒng)，將采集到的點(diǎn)云旋轉(zhuǎn)歸一化后統(tǒng)一到標(biāo)準(zhǔn)測(cè)量坐標(biāo)系，實(shí)現(xiàn)豬體自動(dòng)化體尺測(cè)量。對(duì)動(dòng)物外部行為的監(jiān)測(cè)，可以對(duì)其身體狀況進(jìn)行預(yù)測(cè)，達(dá)到提前發(fā)現(xiàn)其是否存在疾病的目的，在大型養(yǎng)殖場(chǎng)中具有重要意義。劉波等[50]通過(guò)Kinect采集生豬運(yùn)動(dòng)深度圖像序列，對(duì)圖片處理后，提取生豬骨架，建立生豬運(yùn)動(dòng)模型，用來(lái)分析生豬是否存在異常步態(tài)，實(shí)現(xiàn)了生豬異常行為預(yù)警。施宏等[51]運(yùn)用Kinect 2.0獲取點(diǎn)云數(shù)據(jù)，基于密度的聚類方法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)，采用非接觸方式提取脊背信息用于姿態(tài)識(shí)別，成功判定了母豬哺乳能力與健康狀況。

2.3 國(guó)內(nèi)外研究總結(jié)

綜上可以看出，消費(fèi)級(jí)RGB-D相機(jī)在國(guó)內(nèi)外農(nóng)業(yè)領(lǐng)域中都有著廣泛的應(yīng)用研究。大多數(shù)研究者使用RGB-D相機(jī)獲取彩色和深度圖后，結(jié)合配準(zhǔn)、濾波及聚類等算法得到了較滿意的實(shí)驗(yàn)結(jié)果。就具體相機(jī)而言，Kinect 2.0憑借良好的性能和測(cè)量范圍應(yīng)用最廣泛；當(dāng)被測(cè)實(shí)驗(yàn)對(duì)象與相機(jī)距離較近時(shí)，大多數(shù)實(shí)驗(yàn)者選擇了Realsense sr300；在實(shí)驗(yàn)條件不苛刻的條件下，Xtion和Kinect
1.0也有一定的應(yīng)用場(chǎng)合。作為農(nóng)業(yè)領(lǐng)域新興傳感器，雖然RGB-D相機(jī)的應(yīng)用越來(lái)越多，但大部分研究是在實(shí)驗(yàn)室較理想條件下進(jìn)行的，離非理想條件下規(guī)?；瘧?yīng)用還有一定距離，需進(jìn)一步探索。

3 消費(fèi)級(jí)RGB-D相機(jī)應(yīng)用中的問(wèn)題與改進(jìn)

消費(fèi)級(jí)RGB-D相機(jī)成本低、精度較優(yōu)、速度較快，采用彩色信息和深度信息融合，克服了傳統(tǒng)相機(jī)只采用深度信息造成配準(zhǔn)精度不夠的問(wèn)題，但目前不同類型的消費(fèi)級(jí)RGB-D相機(jī)在實(shí)際應(yīng)用時(shí)也存在一些問(wèn)題。

3.1 消費(fèi)級(jí)RGB-D相機(jī)存在問(wèn)題

結(jié)構(gòu)光相機(jī)技術(shù)已經(jīng)比較成熟，分辨率較高，自帶主動(dòng)光源，不存在光線和弱紋理問(wèn)題，在夜間也可以正常工作。但存在以下缺點(diǎn)。

1) 受強(qiáng)光干擾：投射的編碼光會(huì)受到強(qiáng)烈太陽(yáng)光的干擾，并不適合在戶外使用[52]。

2) 不適合遠(yuǎn)距離深度信息采集：結(jié)構(gòu)光相機(jī)投射的是散斑圖案，接收模組需要拍攝到清晰的圖案才能計(jì)算出深度，當(dāng)距離增加，投射出的圖案會(huì)變得模糊，導(dǎo)致測(cè)量精度降低[53]。

相對(duì)于結(jié)構(gòu)光相機(jī)，ToF相機(jī)投射的是發(fā)散的面光源，精度不受距離的影響，可以應(yīng)用于遠(yuǎn)距離測(cè)量[54]。但也存在一些問(wèn)題。

1) 分辨率較低：ToF相機(jī)基于光速進(jìn)行深度測(cè)量，由于光的傳播速度非?？?，較小的時(shí)間誤差會(huì)被放大，導(dǎo)致ToF相機(jī)的深度分辨率較低[55]。

2) 系統(tǒng)誤差明顯：在需要重建的物體邊緣產(chǎn)生疊加誤差，在目標(biāo)表面產(chǎn)生多重反射噪聲[56]。

3) 測(cè)量量程較短：ToF相機(jī)功率不高，導(dǎo)致其測(cè)量量程較短[57]。

這些缺點(diǎn)導(dǎo)致RGB-D相機(jī)在應(yīng)用時(shí)出現(xiàn)一些不太理想的效果。Kuzuhara[34]等使用Xtion相機(jī)獲取奶牛三維模型，測(cè)量其背部姿勢(shì)估計(jì)出奶牛各種身體特征最低為53%，最高為80%，證明了此類本就為室內(nèi)使用而研發(fā)的RGB-D相機(jī)在畜牧業(yè)應(yīng)用的可行性，但也指出其應(yīng)用局限性，Xtion的近紅外深度傳感器對(duì)光線十分敏感，戶外測(cè)量?jī)H在夜晚或者早晨陽(yáng)光不強(qiáng)的情況下才可以取得較好的效果。徐勝勇等[58]采用Kinect 2.0相機(jī)獲取角果期油菜不同角度下的彩色圖像和深度圖像，生成油菜植株的三維點(diǎn)云，然后進(jìn)行采樣濾波處理，最后進(jìn)行粗配準(zhǔn)、精配準(zhǔn)以及歐式聚類等點(diǎn)云處理方法實(shí)現(xiàn)單個(gè)角果的識(shí)別定位，識(shí)別率較高但可識(shí)別角果數(shù)量少于實(shí)際數(shù)量，其主要原因是單使用Kinect 2.0獲取的三維點(diǎn)云存在孔洞等問(wèn)題，濾波后某些角果斷裂成小塊引起了實(shí)驗(yàn)誤差。

3.2 消費(fèi)級(jí)RGB-D相機(jī)優(yōu)化

針對(duì)上述中RGB-D相機(jī)存在的問(wèn)題，可以從硬件和軟件兩方面進(jìn)行改進(jìn)，一是在硬件層面采用多傳感器融合技術(shù)取長(zhǎng)補(bǔ)短，二是在軟件層面對(duì)相關(guān)算法進(jìn)行改進(jìn)和優(yōu)化。

3.2.1 多傳感器融合技術(shù)

在農(nóng)業(yè)領(lǐng)域的應(yīng)用中，大多數(shù)研究通常采用單一的消費(fèi)級(jí)RGB-D相機(jī)作為傳感器。相機(jī)本身的缺陷會(huì)導(dǎo)致所采集的三維信息存在缺陷且精度較差，張恒等[59]將激光雷達(dá)與消費(fèi)級(jí)RGB-D相機(jī)結(jié)合起來(lái)，并用卡爾曼濾波與貝葉斯估計(jì)對(duì)采集到的數(shù)據(jù)進(jìn)行融合，在保留激光雷達(dá)圖像精準(zhǔn)度的同時(shí)補(bǔ)充了多個(gè)三維水平信息，提高了地圖的完整性。Mu等[60]將激光雷達(dá)、消費(fèi)級(jí)RGB-D相機(jī)、編碼器和慣性測(cè)量單元相結(jié)合提出了一種新的即時(shí)定位與地圖構(gòu)建(simultaneous localization and mapping，SLAM)方法，試驗(yàn)結(jié)果表明，該方法有良好的成圖效果及較高的精度，同時(shí)反映出更多環(huán)境信息，比單一使用激光雷達(dá)在x方向及y方向精度提高3.6%和2.2%。驗(yàn)證了該方法的可行性。Song等[61]分別使用激光雷達(dá)和消費(fèi)級(jí)RGB-D相機(jī)來(lái)測(cè)量目標(biāo)的二維和三維信息，通過(guò)結(jié)合視覺跟蹤算法、結(jié)構(gòu)光相機(jī)深度信息和低級(jí)視覺激光雷達(dá)融合算法來(lái)對(duì)目標(biāo)進(jìn)行校準(zhǔn)定位，目標(biāo)位置數(shù)據(jù)與Vicon運(yùn)動(dòng)捕捉系統(tǒng)的位置數(shù)據(jù)做比較，證明了該方法的優(yōu)越性。

3.2.2 算法改進(jìn)與優(yōu)化

對(duì)于消費(fèi)級(jí)RGB-D相機(jī)自身原理導(dǎo)致的易受光照環(huán)境影響、計(jì)算復(fù)雜和深度信息采集不完整等問(wèn)題，可以通過(guò)改進(jìn)點(diǎn)云處理算法解決。蘇本躍等[62]研究了一種基于光照補(bǔ)償?shù)狞c(diǎn)云配準(zhǔn)方法以及一種自適應(yīng)顏色和幾何混合特征的點(diǎn)云配準(zhǔn)方法，并通過(guò)4種不同的網(wǎng)面結(jié)構(gòu)對(duì)比試驗(yàn)驗(yàn)證了該方法平均誤差全距約減少到原來(lái)的1/5，解決了光照強(qiáng)度不均勻?qū)е孪M(fèi)級(jí)RGB-D相機(jī)采集的點(diǎn)云噪聲大等問(wèn)題。Zhang等[63]提出了一種新的帶密度約束的K-means算法，在用該方法對(duì)點(diǎn)云進(jìn)行處理之前，先定義點(diǎn)云的密度，用點(diǎn)云的密度來(lái)量化收斂性，大大減少了聚類算法的計(jì)算時(shí)間，其中當(dāng)點(diǎn)云數(shù)量為10×104，K值為1 000時(shí)，聚類時(shí)間僅為原來(lái)的1/5。針對(duì)消費(fèi)級(jí)RGB-D相機(jī)采集到的深度圖不完整問(wèn)題，潘波[64]提出了一種基于深度圖修補(bǔ)的植物重建算法，并采用多級(jí)視圖選擇法對(duì)多視圖立體視覺算法進(jìn)行改進(jìn)。除此之外，還提出一種基于超像素的深度圖修補(bǔ)算法，對(duì)生成的植物深度圖中存在的空洞和噪聲進(jìn)行修補(bǔ)，相對(duì)于JBF和DJBF算法該算法空洞修補(bǔ)效果分別提升102.15%和46.63%，得到更加完整的樹木模型。

4 結(jié)論與展望

隨著現(xiàn)代智慧農(nóng)業(yè)的發(fā)展，對(duì)動(dòng)植物三維重建精度及實(shí)時(shí)性要求的進(jìn)一步提高，RGB-D相機(jī)作為核心傳感部件將會(huì)得到更為廣泛的研究和應(yīng)用。本文闡述了RGB-D相機(jī)工作原理及其優(yōu)缺點(diǎn)，介紹了國(guó)內(nèi)外消費(fèi)級(jí)RGB-D在作物三維參數(shù)特征提取、畜牧監(jiān)測(cè)、果實(shí)識(shí)別以及農(nóng)機(jī)導(dǎo)航等農(nóng)業(yè)方面上的應(yīng)用成果，總結(jié)了該類相機(jī)在實(shí)際應(yīng)用中出現(xiàn)的如易受光照影響、量程較短等問(wèn)題，并從硬件與軟件層面歸納了目前研究人員對(duì)RGB-D相機(jī)應(yīng)用的改進(jìn)方案。為了進(jìn)一步加強(qiáng)RGB-D相機(jī)在現(xiàn)代智慧農(nóng)業(yè)領(lǐng)域的應(yīng)用，提出以下幾點(diǎn)展望。

1) 設(shè)施農(nóng)業(yè)會(huì)為消費(fèi)級(jí)RGB-D相機(jī)提供更廣闊的應(yīng)用空間?；诮Y(jié)構(gòu)光原理的Kinect相機(jī)和Xtion Pro Live相機(jī)投射地編碼光會(huì)受室外強(qiáng)光影響，精度大幅度降低?；赥oF原理的Kinect 2.0相機(jī)雖然投射的不是編碼光，但夏天的烈日下，光照強(qiáng)度過(guò)大，會(huì)導(dǎo)致相機(jī)的感光傳感器出現(xiàn)過(guò)度曝光的情況，進(jìn)而影響相機(jī)的精度。溫室、農(nóng)用大棚以及畜牧棚等不受陽(yáng)光直射的場(chǎng)所是消費(fèi)級(jí)RGB-D相機(jī)在農(nóng)業(yè)領(lǐng)域的理想應(yīng)用場(chǎng)所。

2) 提高自動(dòng)化程度，搭建一體化三維信息采集平臺(tái)。目前，農(nóng)業(yè)領(lǐng)域三維信息采集系統(tǒng)自動(dòng)化程度不高，作物三維結(jié)構(gòu)重建實(shí)時(shí)性不強(qiáng)。將消費(fèi)級(jí)RGB-D相機(jī)與計(jì)算機(jī)等三維信息處理設(shè)備結(jié)合起來(lái)，根據(jù)實(shí)際研究對(duì)象預(yù)先設(shè)定好點(diǎn)云重建程序，構(gòu)建一體化信息處理平臺(tái)，可以將繁瑣的任務(wù)自動(dòng)化，提高作業(yè)效率。

3) 提高復(fù)雜環(huán)境下的魯棒性和適應(yīng)性。國(guó)內(nèi)外有關(guān)消費(fèi)級(jí)RGB-D在農(nóng)業(yè)領(lǐng)域應(yīng)用的研究大多是在實(shí)驗(yàn)室理想條件下進(jìn)行的，而實(shí)際非結(jié)構(gòu)化農(nóng)田、果園及養(yǎng)殖場(chǎng)中環(huán)境復(fù)雜多樣，動(dòng)植物形態(tài)各異，需要提高該類相機(jī)在復(fù)雜環(huán)境下的魯棒性和適應(yīng)性，才能在復(fù)雜的真實(shí)環(huán)境下獲取更加精確、穩(wěn)定和可靠的實(shí)驗(yàn)結(jié)果。

4) 應(yīng)用于農(nóng)業(yè)機(jī)器人。信息化、智能化與精準(zhǔn)化，是農(nóng)業(yè)生產(chǎn)的必然趨勢(shì)，農(nóng)業(yè)機(jī)器人是農(nóng)業(yè)領(lǐng)域公認(rèn)的最具發(fā)展?jié)摿Φ募夹g(shù)之一。非結(jié)構(gòu)化的田間環(huán)境，增加了農(nóng)業(yè)機(jī)器人對(duì)作業(yè)對(duì)象的感知與判斷難度，這是農(nóng)業(yè)機(jī)器人發(fā)展過(guò)程中必須克服的難題。以消費(fèi)級(jí)RGB-D相機(jī)為基礎(chǔ)，構(gòu)建農(nóng)業(yè)機(jī)器人視覺系統(tǒng)，可以幫助其精準(zhǔn)識(shí)別作業(yè)對(duì)象，提高作業(yè)成功率及生產(chǎn)效率。