劉慧，徐慧，沈躍，李寧

（江蘇大學(xué)電氣信息工程學(xué)院，江蘇 鎮(zhèn)江212013）

Kinect傳感器的植株冠層三維數(shù)據(jù)測量

劉慧，徐慧，沈躍，李寧

（江蘇大學(xué)電氣信息工程學(xué)院，江蘇 鎮(zhèn)江212013）

植株三維信息重構(gòu)能為植株生長狀態(tài)監(jiān)測和精確噴霧施藥提供有效數(shù)據(jù)。提出一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測量的方法。由Kinect傳感器進(jìn)行植株彩色和深度圖像數(shù)據(jù)的采集，提取和處理所采集的植株冠層目標(biāo)有效三維信息，完成對植株深度數(shù)值和水平投影面積的計算。以規(guī)則形狀物體與不規(guī)則植株為實驗對象，對三維數(shù)據(jù)測量方法進(jìn)行準(zhǔn)確性實驗測試，并將實驗結(jié)果與人工測量結(jié)果進(jìn)行比對。實驗結(jié)果顯示，該方法的深度和面積測量的準(zhǔn)確性較高，深度測量誤差小于1.0%，面積測量誤差小于3.6%。選取溫室吊蘭作為場地實驗對象，采用由測量機(jī)構(gòu)和控制處理機(jī)構(gòu)組成的冠層三維檢測系統(tǒng)對吊蘭冠層進(jìn)行三維數(shù)據(jù)測量，并實時輸出深度以及水平投影面積信息，其深度測量的相對誤差為1.77%。研究表明，該方法具有較高的可行性，適用于溫室植株冠層三維數(shù)據(jù)測量。

Kinect傳感器；植株深度；冠層結(jié)構(gòu)；水平投影面積；三維數(shù)據(jù)

劉慧， 徐慧， 沈躍， 李寧. Kinect傳感器的植株冠層三維數(shù)據(jù)測量［J］. 農(nóng)業(yè)現(xiàn)代化研究， 2016， 37（5）: 995-1000.

Liu H， Xu H， Shen Y， Li N. Measurement and 3D-reconstruction of plants based on Kinect sensor［J］. Research of Agricultural Modernization， 2016， 37（5）: 995-1000.

基于圖像的植株三維重構(gòu)是指利用機(jī)器視覺原理通過相機(jī)獲取圖像對農(nóng)作物的三維重構(gòu)方法［1］，主要應(yīng)用于農(nóng)作物植株生長狀態(tài)的實時監(jiān)測、藥物肥料的精確噴灑以及病蟲害的及時防治等研究領(lǐng)域。由于該方法能夠快速有效的對目標(biāo)物體進(jìn)行三維重構(gòu)，在計算機(jī)等相關(guān)科學(xué)領(lǐng)域引起廣泛關(guān)注，成為一大研究熱點［2］。

基于圖像的作物三維重構(gòu)主要分為兩類：基于雙目或多目視覺測距方法［3］的作物三維重構(gòu)和基于深度攝像機(jī)測距方法［4］的作物三維重構(gòu)。國內(nèi)外學(xué)者對其在農(nóng)作物果實識別以及植株的三維重構(gòu)等進(jìn)行了深入研究，Hayashi等［5］設(shè)計的草莓采摘機(jī)器人視覺系統(tǒng)，通過兩邊的兩個攝像機(jī)和中間的攝像機(jī)確定果柄的位置，對草莓果實進(jìn)行三維重構(gòu)。王傳宇等［6］利用兩個位置相對固定的攝像機(jī)組成雙目立體視覺系統(tǒng)，對室內(nèi)的玉米葉片結(jié)構(gòu)進(jìn)行了準(zhǔn)確的三維重構(gòu)。宋健等［7］通過單攝像機(jī)在距離一定的位置獲得不同角度的圖像，由圖像特征的差值實現(xiàn)對茄子果實的三維重構(gòu)。Chéné等［8］提出了一種植物深度圖像葉子的分割算法，該算法通過低成本的深度攝像機(jī)對多種植物冠層的深度圖像進(jìn)行拍攝，并對植物冠層進(jìn)行了三維重構(gòu)。周薇等［9］采用一個彩色相機(jī)和一個深度相機(jī)對目標(biāo)物進(jìn)行圖像的獲取，提出了一種利用深度攝像機(jī)對果樹的冠層三維重構(gòu)的配準(zhǔn)算法。但這類方法采用單一的或分離式的彩色相機(jī)和深度相機(jī)進(jìn)行目標(biāo)的圖像采集處理，同時對于形狀不規(guī)則、復(fù)雜顏色干擾下的植株作物冠層無法進(jìn)行有效地測量。

目前，Kinect作為一種同時具有彩色攝像頭和深度攝像頭的傳感器，主要集中應(yīng)用于體感游戲、教育、醫(yī)學(xué)等［10-14］領(lǐng)域，Kinect傳感器在溫室植株三維重構(gòu)與測量中的應(yīng)用還鮮見報道。本文以溫室吊蘭為場地實驗研究對象，提出了一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測量方法，由Kinect對植株進(jìn)行彩色和深度圖像數(shù)據(jù)的采集，提取和處理所采集的植株目標(biāo)有效三維信息，對其進(jìn)行冠層深度和水平投影面積的計算，完成植株冠層三維數(shù)據(jù)的檢測。

1　原理與方法

Kinect傳感器是微軟發(fā)布的XBOX360體感周邊外設(shè)，攝像頭部分由紅外投影機(jī)和一組彩色攝像頭、深度攝像頭光學(xué)部件組成（圖1）［15］。

圖1　Kinect結(jié)構(gòu)示意圖Fig. 1 Structure schematic drawing of Kinect

1.1Kinect原理

Kinect傳感器通過彩色攝像頭獲取空間的彩色圖像，同時由紅外投影機(jī)向空間發(fā)射紅外線，根據(jù)結(jié)構(gòu)光技術(shù)［16］通過紅外攝像頭即深度攝像頭，捕捉空間物體的深度數(shù)據(jù)并生成深度圖像。

Kinect深度圖像獲取速度默認(rèn)為30 FPS （Frames Per Second），每一幀深度圖像中每個像素點存儲的數(shù)值為深度值，即為目標(biāo)物體與Kinect攝像頭之間的平面距離，通過這些深度數(shù)據(jù)輔以計算處理構(gòu)建空間中物體的三維模型。其縱向的視野角度為43°，橫向為57°，深度探測的最佳范圍為1 m左右，在農(nóng)作物檢測應(yīng)用方面，為了更好的獲取植株的枝葉細(xì)節(jié)特征，一般選取0.9-1.5 m的距離進(jìn)行農(nóng)作物的檢測，理想條件下使用，深度數(shù)據(jù)的精度可達(dá)毫米級［17］。

1.2目標(biāo)深度數(shù)據(jù)獲取

圖2　深度數(shù)據(jù)獲取步驟Fig. 2 Process of depth data acquisition

由Kinect深度攝像頭獲取原始深度圖像，所存儲的數(shù)據(jù)為空間中所有物體的深度數(shù)據(jù)，在實際的植株冠層三維數(shù)據(jù)測量的應(yīng)用中，需要去除其他非植株雜物的干擾，僅獲取目標(biāo)植株的深度數(shù)據(jù)。本文的目標(biāo)深度數(shù)據(jù)獲取步驟見圖2，首先通過彩色圖像和深度圖像匹配的方法去除顏色和深度雜物的干擾，得到目標(biāo)植株的圖像，由該圖像像素提取獲得目標(biāo)的像素點坐標(biāo)，通過遍歷深度圖像像素點坐標(biāo)的方法，將對應(yīng)的像素點深度數(shù)據(jù)提取出來形成深度數(shù)據(jù)集，并進(jìn)行計算得到目標(biāo)的實際深度數(shù)值。

用平均數(shù)、中位數(shù)和眾數(shù)3種統(tǒng)計方法進(jìn)行計算，并與實際測量所得數(shù)據(jù)比較。選取背景墻面上20 cm × 20 cm綠色方塊區(qū)域為檢測目標(biāo)，區(qū)域厚度可忽略不計，依據(jù)傳感器有效使用范圍參數(shù)，設(shè)置Kinect與墻面深度距離分別為0.9 m、1.0 m、1.1 m、1.2 m、1.3 m、1.4 m，進(jìn)行6次重復(fù)實驗，獲取綠色方塊區(qū)域的深度數(shù)據(jù)（表1）。

在相同的測量環(huán)境中，分別對同一深度數(shù)據(jù)集進(jìn)行3種方法的計算，實驗結(jié)果顯示，選用平均數(shù)進(jìn)行計算的深度值與參考值最為接近，可達(dá)到最優(yōu)的處理效果。

表1　多種計算方法與深度數(shù)據(jù)值Table 1 Depth data to different calculation methods

1.3目標(biāo)水平投影面積計算

Kinect紅外攝像機(jī)的視場呈金字塔形（圖3），根據(jù)射影幾何［18-19］的性質(zhì)，物體在彩色和深度圖像中的幾何投影面積并不是物體的實際水平投影面積，根據(jù)所得的深度值由三角關(guān)系對物體的實際水平投影面積進(jìn)行計算。

圖3　Kinect紅外攝像機(jī)的視場Fig. 3 Field view of Kinect infrared camera

以規(guī)則的表面為例，其檢測的深度值h與實際面積s的關(guān)系為：式中：a、b、h、s分別為目標(biāo)檢測區(qū)域的實際長、寬、深度值和面積，a1、b1、h1、s1為其幾何投影區(qū)域的長、寬、深度值和面積?？傻脵z測區(qū)域的實際面積s的計算公式為：

由目標(biāo)深度數(shù)據(jù)獲取的方法，可計算得檢測區(qū)域?qū)嶋H深度值h，幾何投影區(qū)域的深度值h1由Kinect初始的深度圖像獲取，同時計算得初始圖像的實際面積，幾何投影面積s1則選擇由幾何投影面像素點占總像素點的百分比，通過初始圖像的實際面積計算得到。

計算過程中，物體的實際水平投影面積與其形狀無關(guān)，只與其深度值、像素點的百分比以及幾何投影面積有關(guān)，因此公式同樣適用于不規(guī)則物體的水平投影面積的計算。

2　實驗與數(shù)據(jù)

為檢測本文提出的基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測量方法的準(zhǔn)確性，選用微軟公司發(fā)布的“Kinect for Windows”版本的Kinect設(shè)備，分別以規(guī)則的綠色長方體和綠色盆栽植株進(jìn)行實驗，并用Matlab軟件中的mesh函數(shù)對空間矩陣中的深度數(shù)據(jù)進(jìn)行三維色圖重構(gòu)，同時自定義Colorbar函數(shù)設(shè)置漸變色彩對不同深度的信息進(jìn)行標(biāo)識，對綠色盆栽植株進(jìn)行冠層的三維重構(gòu)。

2.1規(guī)則物體測量

規(guī)則物體選取綠色長方體，檢測面為30 cm × 10 cm長方形，依據(jù)傳感器有效使用范圍參數(shù)，選取Kinect傳感器與長方體正面的深度距離分別為0.9 m、1.1 m、1.3 m進(jìn)行3次重復(fù)實驗，對長方體的深度數(shù)據(jù)以及水平投影面積等信息進(jìn)行計算輸出，其中綠色長方體識別圖像中，白色區(qū)域即為識別出的綠色目標(biāo)物體。將測出的數(shù)據(jù)與實際的距離和面積信息相比對，3次實驗中深度數(shù)據(jù)的相對誤差均小于1%，水平投影面積的相對誤差均小于4%（表2），可見本文基于Kinect傳感器技術(shù)的測量方法測量規(guī)則物體的深度值和水平投影面積具有較高的準(zhǔn)確性。

2.2植株測量和三維重構(gòu)

綠色植株選取非洲茉莉盆栽進(jìn)行測量與三維重構(gòu)，盆栽底部半徑約為0.12 m，以盆栽底部前端為參考點，與Kinect的距離為植株的深度距離，設(shè)置1.1 m、1.3 m、1.5 m的深度距離進(jìn)行3次重復(fù)實驗。綠色植株識別圖像中的白色區(qū)域即為所需識別的綠色植株目標(biāo)，三維重構(gòu)圖形中，藍(lán)色部分代表深度值為0的區(qū)域，彩色漸變區(qū)域代表對應(yīng)的深度值區(qū)域，即檢測區(qū)域內(nèi)植株的三維重構(gòu)圖形（表3）。對3次實驗數(shù)據(jù)進(jìn)行分析，由于測量時以盆栽底部前端為參考點，實驗所測得不同深度處的水平投影面積分別為：1.1 m處為0.045 5 m2，1.3 m處為0.045 3 m2，1.5 m處為0.045 8 m2，三種深度距離所測得的面積具有很高的一致性。

表2　Kinect對綠色長方體檢測面的測量Table 2 Measurement of green square detection surface by Kinect

3　場地實驗

表3　Kinect對綠色植株的測量和三維重構(gòu)Table 3 Measurement and 3D reconstruction of green plant by Kinect

在檢測實驗方案中，提出的一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測量方法能夠?qū)崿F(xiàn)規(guī)則綠色物體和不規(guī)則植株深度面積的準(zhǔn)確測量以及植株三維重構(gòu)。為了進(jìn)一步驗證該方法的有效性，選取溫室吊蘭作為場地實驗對象，采用冠層三維測量與重構(gòu)系統(tǒng)對吊蘭冠層進(jìn)行三維重構(gòu)，并實時輸出深度以及水平投影面積信息。

3.1實驗方案

冠層三維測量與重構(gòu)實驗平臺包括測量機(jī)構(gòu)和控制及處理機(jī)構(gòu)。測量機(jī)構(gòu)主要由Γ型鋁型材支架和Kinect傳感器等組成，支架高度在0.5-2 m內(nèi)可調(diào)，Kinect傳感器固定于Γ型鋁型材支架橫梁尾端，檢測方向由上往下，檢測區(qū)域為以地面作背景的平面矩形框?？刂萍疤幚頇C(jī)構(gòu)由PC機(jī)和USB延長線等組成，Kinect傳感器通過USB延長線接口連至PC機(jī)，由PC機(jī)內(nèi)自主編寫的Matlab程序?qū)鞲衅鬟M(jìn)行控制，采集區(qū)域圖像信息，實測數(shù)據(jù)由USB延長線傳輸至PC機(jī)中，同時進(jìn)行處理和計算，并輸出相應(yīng)的數(shù)據(jù)、圖像結(jié)果。

實驗場地位于江蘇大學(xué)溫室實驗基地，大棚寬度約4.85 m，高度約2.2 m。吊蘭盆栽種植區(qū)域長10 m，寬1.8 m，占地18 m2。由前期室內(nèi)規(guī)則物體與植株深度數(shù)據(jù)檢測實驗效果，場地實驗條件設(shè)置為Kinect傳感器與地面的垂直高度1.9 m，隨機(jī)抽取植株檢測區(qū)域長約1.9 m，寬約1.4 m，植株盆栽數(shù)約40株，花盆高0.2 m，即吊蘭盆栽枝葉的深度值約1.7 m。

3.2實驗結(jié)果

Kinect傳感器獲取的溫室吊蘭盆栽的原始空間彩色圖像，吊蘭盆栽為不規(guī)則擺放，盆栽間的空隙較大，邊緣空隙明顯（圖4）。Kinect傳感器獲取的溫室吊蘭盆栽的原始深度圖像，從圖中可以看出，傳感器所獲取的深度圖像效果并不理想，如果直接用于植株的識別，其中雜物對目標(biāo)的干擾大，獲取的深度數(shù)據(jù)量也非常大，不利于對植株目標(biāo)的實時檢測和數(shù)據(jù)處理。

本文的植株測量和重構(gòu)方法通過對吊蘭盆栽的枝葉進(jìn)行色彩特征和深度范圍限制匹配識別處理，去除盆栽底部、地面等背景雜物的干擾，同時由深度數(shù)據(jù)獲取方法和水平投影面積計算方法，對吊蘭植株與傳感器之間的深度距離進(jìn)行計算，并得出水平投影面積，通過函數(shù)重構(gòu)圖形，即為植株深度空間矩陣進(jìn)行的三維色圖重構(gòu)效果圖（圖4）。

圖4　溫室吊蘭冠層檢測和三維重構(gòu)圖形Fig. 4 Detection and 3D reconstruction of greenhouse potted bracket-plants

對實驗測得的植株深度值和水平投影面積分析：檢測的吊蘭盆栽枝葉深度值為1.73 m，與設(shè)置的吊蘭盆栽枝葉深度值相對比，即Kinect的傳感器與地面的垂直高度去除花盆高所得的實際深度值基本吻合，相對誤差為1.77%，準(zhǔn)確性非常高。計算得該檢測區(qū)域內(nèi)吊蘭盆栽冠層的水平投影面積為1.29 m2。

4　結(jié)論

針對植株三維信息的采集和重構(gòu)，本文提出了一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測量方法，該方法中深度數(shù)值的計算，采用平均數(shù)作為衡量的標(biāo)準(zhǔn)，得到的深度值與實際值最為接近，可達(dá)到最優(yōu)的處理效果，規(guī)則物體的測量實驗中，深度值的相對誤差小于1%；水平投影面積的計算，通過幾何投影的像素點百分比，由幾何投影面積計算獲得實際面積，規(guī)則物體的測量實驗中，水平投影面積的相對誤差小于4%。溫室場地實驗中，由三維測量與重構(gòu)系統(tǒng)通過測量機(jī)構(gòu)和控制及處理機(jī)構(gòu)的結(jié)合，運用數(shù)學(xué)方法和Matlab軟件程序進(jìn)行處理，完成了溫室吊蘭冠層的深度以及水平投影面積信息的輸出和三維重構(gòu)，較好地達(dá)到了預(yù)期的效果。

通過檢測實驗和溫室場地實驗的驗證，本文基于Kinect傳感器技術(shù)的植株測量與三維重構(gòu)的方法，能夠應(yīng)用于溫室吊蘭植株的三維重構(gòu)和深度、面積信息的測量。該方法也可進(jìn)一步推廣應(yīng)用于其他不規(guī)則形狀的植株三維重構(gòu)與測量，實現(xiàn)基于Kinect傳感器的農(nóng)業(yè)植株生長狀態(tài)的實時監(jiān)測、藥物肥料的精確噴灑以及病蟲害的及時防治等過程中植株信息的采集和處理。

［1］ 劉剛， 司永勝， 馮娟. 農(nóng)林作物三維重建方法研究進(jìn)展［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2014， 45（6）: 38-46， 19.

Liu G， Si Y S， Fen J. 3D Reconstruction of agriculture and forestry crops［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 45（6）: 38-46， 19.

［2］ Zhu J， Wang L， Yang R G， et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（7）: 1400-1414.

［3］ 項榮， 應(yīng)義斌， 蔣煥煜， 等. 基于雙目立體視覺的番茄定位［J］.農(nóng)業(yè)工程學(xué)報， 2012， 28（5）: 161-167.

Xiang R， Ying Y B， Jiang H Y， et al. Localization of tomatoes based on binocular stereo vision［J］. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（5）: 161-167.

［4］ 李長勇， 曹其新. 基于深度圖像的蔬果形狀特征提?。跩］. 農(nóng)業(yè)機(jī)械學(xué)報， 2012， 43（S1）: 242-245.

Li C Y， Cao Q X. Extraction method of shape feature for vegetables based on depth image［J］. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（S1）: 242-245.

［5］ Hayashi S， Shigematsu K， Yamamoto S， et al. Evaluation of a strawberry-harvesting robot in a field test［J］. Biosystems Engineering， 2010， 105（2）: 160-171.

［6］ 王傳宇， 趙明， 閻建河， 等. 基于雙目立體視覺技術(shù)的玉米葉片三維重建［J］. 農(nóng)業(yè)工程學(xué)報， 2010， 26（4）: 198-202.

Wang C Y， Zhao M， Yan J H， et al. Three-dimensional reconstruction of maize leaves based on binocular stereovision system［J］. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（4）: 198-202.

［7］ 宋健， 孫學(xué)巖， 張鐵中， 等. 開放式茄子采摘機(jī)器人設(shè)計與試驗［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2009， 40（1）: 143-147.

Song J， Sun X Y， Zhang T Z， et al. Design and experiment of opening picking robot for eggplant［J］. Transactions of the Chinese Society for Agricultural Machinery， 2009， 40（1）: 143-147.

［8］ Chéné Y， Rousseau D， Lucidarme P， et al. On the use of depth camera for 3D phenotyping of entire plants［J］. Computers and Electronics in Agriculture， 2012， 82: 122-127.

［9］ 周薇， 馮娟， 劉剛， 等. 蘋果采摘機(jī)器人中的圖像配準(zhǔn)技術(shù)［J］.農(nóng)業(yè)工程學(xué)報， 2013， 29（11）: 20-26.

Zhou W， Fen J， Liu G， et al. Application of image registration technology in apple harvest robot［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（11）: 20-26.

［10］ 劉晉鋼， 劉衛(wèi)斌， 劉晉霞. Kinect與Unity3D數(shù)據(jù)整合技術(shù)在體感游戲中的應(yīng)用研究［J］. 電腦開發(fā)與應(yīng)用， 2014， 27（11）: 7-11， 14.

Liu J G， Liu W B， Liu J X. Application research of somatosensory game based on Kinect and unity3D data integration technology［J］. Computer Development & Applications， 2014， 27（11）: 7-11， 4.

［11］ 李卉， 王蔚. 基于Kinect體感交互的兒童注意力測評系統(tǒng)［J］.現(xiàn)代教育技術(shù)， 2014， 24（7）: 120-126.

Li H， Wang W. An attention measuring technology for children based on somatosensory interaction using Microsoft Kinect［J］. Modern Educational Technology， 2014， 24（7）: 120-126.

［12］ 陳燕軍， 汪地， 楊浩， 等. 基于Kinect的手術(shù)輔助系統(tǒng)研究［J］.計算機(jī)技術(shù)與發(fā)展， 2014， 24（9）: 81-83， 88.

Chen Y J， Wang D， Yang H， et al. Research on operation auxiliary system based on Kinect［J］. Computer Technology and Development， 2014， 24（9）: 81-83， 88.

［13］ 張克華， 王書平， 尹曉紅， 等. 復(fù)雜室內(nèi)環(huán)境下的單一的Kinect導(dǎo)盲系統(tǒng)［J］. 光學(xué) 精密工程， 2015， 23（8）: 2419-2427.

Zhang K H， Wang S P， Yin X H， et al. Blind navigation aid system with Kinect sensor in complex indoor environments［J］. Optics and Precision Engineering， 2015， 23（8）: 2419-2427.

［14］ 李東年， 周以齊. 采用改進(jìn)粒子群優(yōu)化粒子的三維人手跟蹤［J］.光學(xué) 精密工程， 2014， 22（10）: 2870-2878.

Li D N， Zhou Y Q. Three dimensional hand tracking by improved particle swarm optimized particle filter［J］. Optics and Precision Engineering， 2014， 22（10）: 2870-2878.

［15］ 余濤. Kinect應(yīng)用開發(fā)實戰(zhàn)：用最自然的方式與機(jī)器對話［M］.北京: 機(jī)械工業(yè)出版社， 2012.

Yu T. Dialogue with the Machine in the Most Natural Way［M］. Beijing: Machinery Industry Press， 2012.

［16］ 蘇顯渝， 張啟燦， 陳文靜. 結(jié)構(gòu)光三維成像技術(shù)［J］. 中國激光，2014， 41（2）: 1-10.

Su X Y， Zhang Q C， Chen W J. Three-dimensional imaging based on structured illumination［J］. Chinese Journal of Lasers， 2014，41（2）: 1-10.

［17］ 吳俊， 夏軍. 基于Kinect的景深提取算法研究［J］. 光電子技術(shù)，2014， 34（2）: 113-116， 120.

Wu J， Xia J. Depth map extraction algorithm based on Kinect［J］. Optoelectronic Technology， 2014， 34（2）: 113-116， 120.

［18］ 孫瑜， 李占利. 基于射影幾何的CCD相機(jī)幾何模型研究［J］.計算機(jī)工程， 2015， 41（5）: 270-273.

Sun Y， Li Z L. Research on geometric model of CCD camera based on Projective geometry［J］. Computer Engineering， 2015，41（5）: 270-273.

［19］ 吳海斌， 于曉洋. 應(yīng)用市售設(shè)備的結(jié)構(gòu)光系統(tǒng)模型及標(biāo)定［J］.光學(xué) 精密工程， 2008， 16（4）: 617-623.

Wu H B， Yu X Y. Structured light system model using off-theshelf components and its calibration［J］. Optics and Precision Engineering， 2008， 16（4）: 617-623.

（責(zé)任編輯：童成立）

Measurement and 3D-reconstruction of plants based on Kinect sensor

LIU Hui， XU Hui， SHEN Yue， LI Ning
（School of Electrical and Information Engineering， Jiangsu University， Zhenjiang， Jiangsu 212013， China）

The image reconstruction for three dimensional （3D） plant structures could be used to monitor plant growth automatically and provide real-time spray amount information for precision agriculture. A 3D image reconstruction method based on Kinect sensor technology was proposed to measure canopy stereoscopic structures. The color images and depth images of plants were detected with a Kinect sensor at the same time. The depth distances between objects and sensor were obtained based on average calculations after multiple depth image measurements. The horizontal projection area of plants and 3D canopy structure reconstructions of plants were achieved by extracting useful data and fusing color image and depth image information. Some regular-shaped objects and irregular-shaped plants were chosen as scanning targets to test the accuracy of the proposed method for depth distance and horizontal projection area estimation. The experiment results showed that the new method could detect both regular-shaped objects and irregular-shaped plants accurately with depth distance error less than 1.0% and horizontal projection area error less than 3.6% in all three depth detection distances from 1.1 m to 1.3 m. A planting area for potted chlorophytes in a greenhouse were used as scanning targets to verify the performance of the new method for detecting depth distances， measuring horizontal projection area，and reconstructing 3D canopy structures in real time. A 3D image detection and reconstruction system integrated with a Kinect sensor measuring mechanism and a position controller was used to conduct the experiments. The experiment results showed the average depth distance error was less than 1.77% and the proposed method has a high feasibility for 3D canopy structure measurements of greenhouse plants.

Kinect sensor； plant depth； canopy structure； horizontal projection area； 3D-reconstruction

National Natural Science Foundation of China （51505195）； Natural Science Foundation of Jiangsu Province （BK20130501）；Chinese Postdoctoral Science Foundation （2014M550272）.

LIU Hui， E-mail: amity@ujs.edu.cn.

21 November， 2015；Accepted 11 May， 2016

S491

A

1000-0275（2016）05-0995-06

10.13872/j.1000-0275.2016.0055

國家自然科學(xué)基金項目（51505195）；江蘇省自然科學(xué)基金項目（BK20130501）；中國博士后科學(xué)基金（2014M550272）。

劉慧（1980-），女，江蘇南京人，博士，副教授，碩士生導(dǎo)師，主要從事電能質(zhì)量檢測與控制、農(nóng)業(yè)電氣化與自動化、嵌入式系統(tǒng)與開發(fā)、生物醫(yī)學(xué)信號處理研究，E-mail: amity@ujs.edu.cn；徐慧（1991-），女，江蘇揚州人，碩士研究生，主要從事農(nóng)業(yè)電氣化與自動化、機(jī)器人控制和智能噴霧控制研究，E-mail: xuhui_ujs@163.com。

2015-11-21，接受日期：2016-05-11