馮青春 王 秀 劉繼展 成 偉 陳 建

(1.中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心， 北京 100097；3.農(nóng)業(yè)智能裝備技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100097； 4.江蘇大學(xué)農(nóng)業(yè)裝備工程學(xué)院, 鎮(zhèn)江 212013)

0 引言

我國(guó)是鮮食番茄的生產(chǎn)和消費(fèi)大國(guó)[1]。近年來(lái)，番茄種植管理人工成本不斷上漲，已達(dá)到總生產(chǎn)成本的35%以上[2]，其中，整枝打葉、授粉、采摘以及噴藥等勞動(dòng)密集環(huán)節(jié)消耗整個(gè)生產(chǎn)周期人力投入的70%以上[2]。因此，研發(fā)代替或輔助人工作業(yè)的種植管理機(jī)器人[3-8]對(duì)于番茄種植產(chǎn)業(yè)可持續(xù)發(fā)展具有重要意義。作業(yè)對(duì)象的視覺(jué)信息獲取是支撐機(jī)器人作業(yè)的重要前提[9]。然而，番茄植株叢生交錯(cuò)，作業(yè)對(duì)象(果、葉、花)沿主莖隨機(jī)生長(zhǎng)、相互重疊遮擋，且植株行間空間狹窄，對(duì)其進(jìn)行大視場(chǎng)圖像采集處理存在成像物距小、冗余干擾多的問(wèn)題。借鑒人工作業(yè)方式，跟蹤采集其不同區(qū)域的離散小視場(chǎng)圖像、沿植株主莖對(duì)不同作業(yè)對(duì)象進(jìn)行搜索是提高作業(yè)對(duì)象識(shí)別和定位效率的有效途徑。

對(duì)離散視場(chǎng)圖像配準(zhǔn)和拼接是獲取番茄主莖整體形態(tài)特征的必要途徑。目前，圖像配準(zhǔn)方法可分為圖像特征配準(zhǔn)和攝像機(jī)姿態(tài)配準(zhǔn)：圖像特征配準(zhǔn)通過(guò)提取角點(diǎn)[10-11]、輪廓線[12]和區(qū)域塊[13-15]等特征，基于幾何不變?cè)砉烙?jì)圖像之間的運(yùn)動(dòng)關(guān)系，該方法對(duì)圖像采集設(shè)備要求不高，但提取特征運(yùn)算復(fù)雜、實(shí)時(shí)性差，多用于非實(shí)時(shí)圖像的融合應(yīng)用；攝像機(jī)姿態(tài)匹配通過(guò)實(shí)時(shí)獲取攝像機(jī)空間位姿參數(shù)[16-17]，基于透視成像原理解析不同視角下目標(biāo)形態(tài)的變換關(guān)系[18-19]，該方法數(shù)據(jù)融合精度高、實(shí)時(shí)性好，但是硬件結(jié)構(gòu)復(fù)雜、通用性差。鑒于番茄植株叢生無(wú)序、背景復(fù)雜多樣的特征，需要結(jié)合上述兩類方法對(duì)多視角不同區(qū)域圖像進(jìn)行融合，以滿足機(jī)器人作業(yè)視覺(jué)信息動(dòng)態(tài)獲取需要。

本文面向工廠化番茄智能化管理需求，以作業(yè)區(qū)域植株圖像跟蹤采集為目的，研究基于雙目云臺(tái)攝像機(jī)的主莖離散區(qū)域圖像采集伺服控制方法，并通過(guò)融合多視角植株圖像特征，實(shí)現(xiàn)番茄主莖的圖像拼接與立體形態(tài)測(cè)量，從而為采摘、整枝、授粉等作業(yè)智能裝備的研發(fā)提供技術(shù)支撐。

1 多視角立體視覺(jué)系統(tǒng)設(shè)計(jì)

1.1 工廠化番茄種植環(huán)境

工廠化番茄種植環(huán)境如圖1所示，番茄種植行距約1 100 mm、株距300 mm。距地面高度600～1 500 mm的區(qū)域?yàn)榉颜?、打葉、采摘等管理環(huán)節(jié)的作業(yè)區(qū)域。隨著植株不斷生長(zhǎng)，通過(guò)釋放纏繞于主莖的吊線進(jìn)行落蔓，使得作業(yè)區(qū)域相對(duì)地面高度保持不變，因此本文以該高度區(qū)域內(nèi)的番茄植株為探測(cè)對(duì)象。智能管理作業(yè)平臺(tái)以植株行間軌道為支撐進(jìn)行移動(dòng)，其視覺(jué)系統(tǒng)實(shí)時(shí)獲取兩側(cè)番茄植株圖像信息。

圖1 工廠化番茄種植環(huán)境Fig.1 Tomato factory-planted environment

1.2 雙目云臺(tái)圖像采集系統(tǒng)

圖2 雙目云臺(tái)視覺(jué)系統(tǒng)Fig.2 Binocular pan-tilt vision system1.雙目攝像機(jī) 2.垂直旋轉(zhuǎn)機(jī)構(gòu) 3.水平旋轉(zhuǎn)機(jī)構(gòu)

單株番茄管理作業(yè)區(qū)域?qū)?00 mm、高900 mm，且該區(qū)域番茄主莖呈傾斜姿態(tài)，為了避免大視場(chǎng)圖像冗余信息干擾，需通過(guò)拼接多個(gè)小視場(chǎng)圖像以覆蓋該條形作業(yè)區(qū)域。如圖2所示，圖像采集系統(tǒng)包括雙目攝像機(jī)和二自由度云臺(tái)機(jī)構(gòu)。鑒于番茄莖稈在近紅外波段具有強(qiáng)反射特征[20]，攝像機(jī)選用Basler公司acA1300-60gmNIR攝像機(jī)，并搭配1/3″ CCD、8 mm焦距鏡頭和(900±20)nm濾光片，距番茄植株900 mm位置，可獲得約寬450 mm、高400 mm視場(chǎng)區(qū)域圖像。云臺(tái)可進(jìn)行垂直和水平旋轉(zhuǎn)，以調(diào)整攝像機(jī)空間姿態(tài)從不同視角采集番茄植株不同區(qū)域的圖像。

1.3 視覺(jué)系統(tǒng)參數(shù)標(biāo)定

視覺(jué)系統(tǒng)參數(shù)包括攝像機(jī)自身透視成像參數(shù)和外部結(jié)構(gòu)參數(shù)，明確視覺(jué)系統(tǒng)參數(shù)是根據(jù)圖像二維數(shù)據(jù)獲取立體視覺(jué)信息的必要前提。本文略去雙目攝像機(jī)參數(shù)標(biāo)定過(guò)程[21]，重點(diǎn)描述雙目攝像機(jī)與旋轉(zhuǎn)云臺(tái)的坐標(biāo)轉(zhuǎn)換關(guān)系標(biāo)定。如圖2所示，雙目攝像機(jī)坐標(biāo)系OCXCYCZC原點(diǎn)OC位于左攝像機(jī)感光芯片中心，XC軸和YC軸分別與芯片水平和垂直中心線重合，ZC軸與鏡頭光心重合。云臺(tái)坐標(biāo)系OTXTYTZT中ZT軸為其水平旋轉(zhuǎn)軸，XT軸為其垂直旋轉(zhuǎn)軸，原點(diǎn)OT為兩軸交點(diǎn)。若云臺(tái)依次繞ZT軸和XT軸水平和垂直旋轉(zhuǎn)角分別為α和β，根據(jù)歐拉角旋轉(zhuǎn)矩陣[22]表示方法，坐標(biāo)系OTXTYTZT相對(duì)姿態(tài)變換矩陣可表示為

(1)

式中RB——旋轉(zhuǎn)矩陣

tB——平移向量

O——維度為3的零向量

(2)

(3)

(4)

將RB代入式(3)，可得tB，從而完成坐標(biāo)系OTXTYTZT和OCXCYCZC之間轉(zhuǎn)換矩陣T的標(biāo)定。

2 番茄主莖圖像跟蹤采集

2.1 圖像跟蹤采集原理

根據(jù)番茄主莖形態(tài)變化動(dòng)態(tài)調(diào)整攝像機(jī)姿態(tài)，是番茄植株圖像跟蹤采集的基本原理。如圖3所示，攝像機(jī)視場(chǎng)內(nèi)主莖中心線上端、下端和中間點(diǎn)圖像坐標(biāo)分別為(utop,vtop)、(ubottom,vbottom)和(ucentor,vcentor)?？紤]到攝像機(jī)自下而上采集番茄植株圖像，且圖像邊緣畸變誤差較大，因此以(ucentor,vcentor)為跟蹤起始參考點(diǎn)、(ubottom,vbottom)為跟蹤目標(biāo)參考點(diǎn)。同一視場(chǎng)內(nèi)兩個(gè)參考點(diǎn)對(duì)應(yīng)的攝像機(jī)坐標(biāo)(xC,yC,zC)和(x′C,y′C,z′C)可由雙目攝像機(jī)測(cè)量得到。

攝像機(jī)由姿態(tài)i調(diào)整為i+1，主莖表面點(diǎn)P需從起始參考點(diǎn)移動(dòng)至目標(biāo)參考點(diǎn)，即其圖像坐標(biāo)由(ucentor,vcentor)向下移動(dòng)至(ubottom,vbottom)。鑒于在小視場(chǎng)區(qū)域內(nèi)植株主莖形態(tài)變化有限，可認(rèn)為在姿態(tài)i和i+1下，攝像機(jī)視場(chǎng)中圖像坐標(biāo)(ubottom,vbottom)對(duì)應(yīng)的攝像機(jī)坐標(biāo)近似為(x′C,y′C,z′C)。

圖3 多視角圖像跟蹤采集Fig.3 Multi-view image capturing

2.2 攝像機(jī)姿態(tài)伺服控制

攝像機(jī)姿態(tài)伺服控制根據(jù)參考點(diǎn)在攝像機(jī)坐標(biāo)系中的預(yù)期位置，控制云臺(tái)旋轉(zhuǎn)位移增量進(jìn)行視覺(jué)跟蹤。由式(2)可得，攝像機(jī)連續(xù)姿態(tài)下點(diǎn)P的當(dāng)前坐標(biāo)(xC,yC,zC)和預(yù)期坐標(biāo)(x′C,y′C,z′C)存在關(guān)系

(5)

(6)

將式(1)代入式(6)可得

(7)

3 番茄主莖拼接與測(cè)量

3.1 離散主莖圖像形態(tài)拼接

假定采集圖像過(guò)程中番茄植株保持靜止，則獲得的序列圖像中主莖的形態(tài)變化僅與攝像機(jī)的姿態(tài)調(diào)整有關(guān)。相鄰姿態(tài)所得圖像i和i+1存在高度為vcentor-vtop的重疊區(qū)域，因此根據(jù)重疊像素配準(zhǔn)約束可獲得不同視角下主莖的圖像形態(tài)變換關(guān)系。

如圖4所示，在圖像i中設(shè)定高、寬分別為h=|vcentor-vtop|和w=|utop-ucentor|的矩形模板域，分別以主莖上端點(diǎn)和中間點(diǎn)為對(duì)角點(diǎn)。同理，在圖像i+1中設(shè)定同樣大小的待匹配區(qū)域，以主莖下端點(diǎn)(ubottom,vbottom)為旋轉(zhuǎn)原點(diǎn)，以Δθ=10°為步長(zhǎng)，依次旋轉(zhuǎn)獲得一系列候選區(qū)域。鑒于相鄰視場(chǎng)主莖相對(duì)旋轉(zhuǎn)角度為銳角，因此模板旋轉(zhuǎn)角θ范圍為-90°～90°。

圖4 相鄰視場(chǎng)主莖圖像匹配Fig.4 Adjacent view-field images matching

采用像素灰度差值絕對(duì)值和(SAD)表示模板區(qū)域和候選區(qū)域的相似度[25-26]，計(jì)算公式為

(8)

式中SAD——像素灰度差值絕對(duì)值和

A——匹配區(qū)域

M——A區(qū)域內(nèi)像素?cái)?shù)量

g(i)——模板區(qū)域(u(i),v(i))的灰度

(9)

圖像旋轉(zhuǎn)變換后，使兩幅圖像的起始和目標(biāo)跟蹤參考點(diǎn)重合，即可實(shí)現(xiàn)主莖相鄰區(qū)域圖像形態(tài)拼接。

3.2 跟蹤參考點(diǎn)坐標(biāo)轉(zhuǎn)換

(10)

(11)

3.3 主莖立體形態(tài)參數(shù)測(cè)量

(12)

式中N——主莖不同區(qū)域的參考點(diǎn)總數(shù)

圖5 主莖立體形態(tài)測(cè)量Fig.5 Main-stem morphology measurement

(13)

式中 (k1,k2,k3)——主莖空間方向向量

令a=k1/k2、b=k2/k3，化簡(jiǎn)式(13)可得

(14)

若參考點(diǎn)總數(shù)為N，則離散參考點(diǎn)與擬合直線偏差可表示為

(15)

根據(jù)最小二乘算法原理，由式(15)分別對(duì)a和b求偏導(dǎo)，并令其偏導(dǎo)為零，求解a和b

(16)

4 試驗(yàn)與結(jié)果分析

4.1 試驗(yàn)

為了驗(yàn)證番茄主莖跟蹤測(cè)量方法的實(shí)際效果，在北京市昌平區(qū)特菜大觀園番茄溫室內(nèi)開展了現(xiàn)場(chǎng)試驗(yàn)(圖6)。隨機(jī)選擇15株番茄植株，對(duì)距地面高600～1 500 mm的管理作業(yè)區(qū)域內(nèi)的主莖進(jìn)行測(cè)量。由于視覺(jué)系統(tǒng)的視場(chǎng)高度約400 mm，為了覆蓋作業(yè)區(qū)域的主莖高度，設(shè)定攝像機(jī)云臺(tái)由水平初始姿態(tài)自動(dòng)調(diào)整兩次，對(duì)每株番茄跟蹤采集3幅圖像，并對(duì)此序列圖像中的主莖形態(tài)進(jìn)行拼接和測(cè)量。試驗(yàn)過(guò)程中，采用Cognex VisonPro圖像處理軟件，將實(shí)時(shí)識(shí)別離散視場(chǎng)中的主莖像素區(qū)域作為跟蹤依據(jù)，以盡量避免主莖識(shí)別算法(本文未涉及)對(duì)試驗(yàn)結(jié)果的影響。

圖6 現(xiàn)場(chǎng)試驗(yàn)Fig.6 Field test

4.2 結(jié)果分析

圖7 主莖跟蹤和拼接偏差Fig.7 Main-stemsplicing deviation

表1 試驗(yàn)結(jié)果Tab.1 Test results

圖8 人工與自動(dòng)測(cè)量結(jié)果相關(guān)性Fig.8 Manual and auto measurement results correlation

主莖立體形態(tài)參數(shù)L、H和ω自動(dòng)與人工測(cè)量值相關(guān)性統(tǒng)計(jì)如圖8所示。由于人工采用軟尺可精確貼合主莖，主莖長(zhǎng)度的人工測(cè)量數(shù)據(jù)均大于視覺(jué)自動(dòng)測(cè)量，二者決定系數(shù)為0.993 3(圖8a)，最大偏差148.00 mm(相對(duì)偏差8.95%)、最小偏差6.00 mm(相對(duì)偏差0.69%)、平均偏差46.20 mm(相對(duì)偏差3.94%)。主莖高度的人工測(cè)量結(jié)果與自動(dòng)測(cè)量結(jié)果的決定系數(shù)為0.842 6(圖8b)，測(cè)量偏差最大為51.00 mm(相對(duì)偏差5.65%)、最小3.00 mm(相對(duì)偏差0.37%)、平均18.60 mm(相對(duì)偏差2.21%)。受重力作用番茄主莖多呈凹曲線形態(tài)，人工測(cè)量得到的生長(zhǎng)傾角為其兩端連線的傾角，而自動(dòng)測(cè)量得到多點(diǎn)擬合直線傾角，因此人工測(cè)量的生長(zhǎng)傾角均大于自動(dòng)測(cè)量，二者決定系數(shù)為0.979 3(圖8c)，角度偏差最大7.00°(相對(duì)偏差15.56%)、最小1.00°(相對(duì)偏差1.19%)、平均4.33°(相對(duì)偏差6.58%)。

圖9 測(cè)量偏差隨主莖生長(zhǎng)傾角變化曲線Fig.9 Measurement deviations with various main-stem’s inclination

此外如圖9所示，對(duì)于作業(yè)區(qū)域內(nèi)生長(zhǎng)傾角較大、直立程度較高的主莖，視覺(jué)系統(tǒng)具有較高的測(cè)量精度；反之，對(duì)于傾斜度較大的主莖測(cè)量結(jié)果與人工測(cè)量存在較大偏差。特別地，對(duì)于7號(hào)植株其相對(duì)地面生長(zhǎng)傾角最小，對(duì)其形態(tài)測(cè)量和圖像拼接的偏差最大。原因在于，特定作業(yè)高度區(qū)域內(nèi)，主莖長(zhǎng)度隨其生長(zhǎng)傾斜程度變大而增加，其上下兩端與固定放置的攝像機(jī)之間的距離差異相應(yīng)增大。由于雙目攝像機(jī)對(duì)于遠(yuǎn)端目標(biāo)具有更大測(cè)量誤差，從而導(dǎo)致視覺(jué)系統(tǒng)對(duì)于傾斜程度較大的主莖測(cè)量誤差較大。盡管如此，對(duì)于廣泛應(yīng)用的吊線落蔓番茄栽培模式，通過(guò)精準(zhǔn)收放吊線長(zhǎng)度，可有效提高番茄植株直立程度，以確保本文視覺(jué)系統(tǒng)獲得較高測(cè)量精度。

5 結(jié)束語(yǔ)

根據(jù)工廠化番茄智能化種植管理需求，構(gòu)建主莖圖像動(dòng)態(tài)跟蹤采集系統(tǒng)，以提高作業(yè)對(duì)象視覺(jué)信息獲取效率。基于雙目云臺(tái)攝像機(jī)的植株主莖跟蹤與測(cè)量方法，可以實(shí)現(xiàn)其離散區(qū)域圖像的采集和拼接，并測(cè)量其可見(jiàn)區(qū)域的長(zhǎng)度、高度和生長(zhǎng)傾角等立體形態(tài)參數(shù)。試驗(yàn)表明，在距地面高度600～1 500 mm作業(yè)區(qū)域內(nèi)，采用視覺(jué)系統(tǒng)對(duì)主莖離散參考點(diǎn)的跟蹤偏差最大值和平均值分別為25像素和21像素，對(duì)相鄰視場(chǎng)主莖圖像拼接偏差的最大值和平均值分別為8°和3.77°，對(duì)主莖長(zhǎng)度、高度和生長(zhǎng)傾角測(cè)量值與人工測(cè)量值的決定系數(shù)分別為0.993 3、0.842 6和0.979 3，平均測(cè)量偏差分別為46.20 mm、18.60 mm和4.33°，最大相對(duì)偏差分別為8.95%、5.65%和15.56%，并且對(duì)于直立程度高的植株具有更好的測(cè)量效果。本研究可為番茄智能化采摘、打葉和授粉等作業(yè)目標(biāo)視覺(jué)搜索提供參考。