寧志剛，程 雄，程 輝，楊 恒

(南華大學(xué)電氣工程學(xué)院，湖南衡陽(yáng) 421001)

擾動(dòng)狀態(tài)柑橘自動(dòng)采摘是在靜態(tài)柑橘自動(dòng)采摘基礎(chǔ)上開展的研究工作，是為了解決采摘過程中碰到的柑橘擾動(dòng)問題.對(duì)柑橘進(jìn)行采摘時(shí)，不可避免地引起附近柑橘無(wú)規(guī)律振蕩，柑橘不可能長(zhǎng)時(shí)間在空間某處?kù)o止不動(dòng).目前，國(guó)內(nèi)外相關(guān)研究都未能較好地解決擾動(dòng)狀態(tài)下柑橘定位問題［1-3］，采用的方法通常是等待擾動(dòng)柑橘靜止之后再進(jìn)行下一輪采摘，或者采用多組定位結(jié)果的平均值來(lái)確定采摘點(diǎn)位置，這樣大大降低了采摘機(jī)器人的工作效率［4-7］.只有解決了擾動(dòng)狀態(tài)下柑橘采摘問題，才能滿足機(jī)器人在自然環(huán)境中采摘柑橘的要求，文中擬對(duì)此進(jìn)行研究.

1 柑橘振蕩數(shù)學(xué)建模

柑橘的振蕩運(yùn)動(dòng)過程呈欠阻尼振蕩狀態(tài)，對(duì)應(yīng)運(yùn)動(dòng)方程的解可表示為

圖1 欠阻尼振蕩曲線

2 擾動(dòng)柑橘采摘方法

采摘柑橘時(shí)，柑橘振蕩周期被認(rèn)為近似不變［8］.采摘各環(huán)節(jié)所消耗的時(shí)間可以確定.采摘機(jī)器手從開始動(dòng)作到采摘到柑橘所用的時(shí)間，可通過計(jì)算確定.只要確定振蕩周期及柑橘所經(jīng)過平衡點(diǎn)的位置，就能對(duì)擾動(dòng)狀態(tài)下的柑橘進(jìn)行自動(dòng)采摘.振蕩柑橘采摘方法如圖2所示.

圖2 振蕩柑橘采摘算法流程圖

3 計(jì)算柑橘振蕩周期

3.1 振蕩柑橘圖像采集

計(jì)算柑橘的振蕩周期時(shí)，先采集振蕩柑橘圖像序列，獲取柑橘圖像序列的形心坐標(biāo);再計(jì)算X方向或Y方向形心坐標(biāo)序列的頻譜;然后，根據(jù)頻譜確定柑橘的振蕩頻率，由振蕩頻率計(jì)算柑橘的振蕩周期.采用雙目視覺系統(tǒng)采集連續(xù)幀柑橘圖像.試驗(yàn)選用USB寶貝計(jì)劃網(wǎng)絡(luò)攝像頭，幀率為30幀·s-1.左、右攝像頭各采集32幅柑橘序列圖像，獲取柑橘序列圖像的形心.左、右攝像頭所采集的圖像按采集先后順序一一對(duì)應(yīng)存儲(chǔ).對(duì)于振蕩柑橘采摘，采摘點(diǎn)應(yīng)為某特殊點(diǎn)，該點(diǎn)可以是平衡點(diǎn)或振幅最大的點(diǎn).對(duì)于欠阻尼振蕩模型，振幅不斷減小，振幅最大的點(diǎn)不適合作為采摘點(diǎn)，平衡點(diǎn)則可作為采摘點(diǎn).獲取柑橘振蕩周期和平衡點(diǎn)的位置時(shí)，只需左攝像頭所采集的圖像.右攝像頭所采集的圖像用來(lái)確定平衡點(diǎn)的空間三維坐標(biāo).左攝像頭所采集32幀圖像的形心坐標(biāo)如表1所示.表1中，x和y以像素為單位.因精確到亞像素級(jí)，故x和y的取值為小數(shù).

表1 左攝像頭各幀圖像的形心坐標(biāo)

3.2 擾動(dòng)柑橘振蕩周期求取

對(duì)離散的圖像形心坐標(biāo)進(jìn)行頻譜分析，獲取柑橘的振蕩周期.多種方法可用于頻譜分析，文中選擇快速傅里葉變換法.該算法具有抗干擾性強(qiáng)、濾波特性好等優(yōu)點(diǎn)［9］，能夠滿足柑橘采摘實(shí)時(shí)性的要求.

采用FFT對(duì)離散采樣序列進(jìn)行頻譜分析，具體步驟:先對(duì)信號(hào)進(jìn)行采樣，采樣數(shù)N為2的自然數(shù)次方;然后對(duì)離散采樣序列進(jìn)行快速傅里葉變換，F(xiàn)FT運(yùn)算結(jié)果為具有N點(diǎn)的復(fù)數(shù)，復(fù)數(shù)點(diǎn)與頻率點(diǎn)一一對(duì)應(yīng)，復(fù)數(shù)的模是對(duì)應(yīng)頻率點(diǎn)的幅值.

實(shí)際柑橘振蕩過程中，X方向與Y方向的振蕩周期相同.為了提高頻譜分析的精度，選取X方向和Y方向中數(shù)值較大的那組形心坐標(biāo)作為頻譜分析的對(duì)象.X方向和Y方向形心坐標(biāo)數(shù)值大小比較，通過編程實(shí)現(xiàn).由表1中形心坐標(biāo)可知，X方向坐標(biāo)數(shù)值較大，所以對(duì)X方向形心坐標(biāo)序列進(jìn)行頻譜分析.幅頻特性曲線如圖3所示.

圖3中，幅值為小數(shù)，這是因?yàn)樵贔FT運(yùn)算之前進(jìn)行了歸一化處理.幅值最大處對(duì)應(yīng)的頻率為1.25 Hz，所以柑橘的振蕩頻率為1.25 Hz.根據(jù)柑橘的振蕩頻率可計(jì)算柑橘的振蕩周期.

圖3 幅頻特性曲線

4 平衡點(diǎn)坐標(biāo)確定

4.1 平衡點(diǎn)形心坐標(biāo)確定

采用傅立葉曲線擬合法，對(duì)柑橘序列圖像形心坐標(biāo)進(jìn)行分析.這種方法能最大限度地逼近柑橘振蕩軌跡.先擬合柑橘振蕩曲線，得到振蕩曲線的表達(dá)式.某方向振蕩曲線表達(dá)式的常數(shù)項(xiàng)，就是這一方向平衡點(diǎn)的坐標(biāo)值.柑橘振蕩模型的三角插值多項(xiàng)式為

根據(jù)表1左攝像頭各幀圖像的形心坐標(biāo)值，將X方向和Y方向序列圖像形心坐標(biāo)分別利用式(3)進(jìn)行傅立葉曲線擬合，可以得到X方向和Y方向振蕩曲線.2條振蕩曲線對(duì)應(yīng)三角插值多項(xiàng)式的常數(shù)項(xiàng)，即為左攝像頭平衡點(diǎn)的坐標(biāo).左攝像頭平衡點(diǎn)的坐標(biāo)為(266.2，294.4).確定理論平衡點(diǎn)的坐標(biāo)后，采用式(4)計(jì)算平衡點(diǎn)與最近幀圖像形心之間的距離Dmin.

經(jīng)計(jì)算和比較，表1中編號(hào)為20圖像的形心坐標(biāo)與理論平衡點(diǎn)之間距離最小.相應(yīng)左攝像頭和右攝像頭采集柑橘圖像的形心如圖4所示.左攝像頭采集柑橘圖像的形心坐標(biāo)為(281.431 6，294.966 3)，右攝像頭采集柑橘圖像的形心坐標(biāo)為(297.451 6，294.608 6).

圖4 柑橘圖像的形心

4.2 平衡點(diǎn)三維空間坐標(biāo)計(jì)算

雙目立體視覺是根據(jù)人眼視覺原理建立的視覺模型，雙目立體視覺空間定位技術(shù)可用來(lái)對(duì)柑橘進(jìn)行空間定位［10-11］.雙目立體視覺成像模型如圖5所示.

圖5中，xl和xr分別是左、右攝像頭對(duì)應(yīng)圖像點(diǎn)橫坐標(biāo)，xl-xr為視差.yl和yr分別是左、右攝像頭對(duì)應(yīng)圖像點(diǎn)縱坐標(biāo).B為雙目視覺系統(tǒng)中左右攝像頭焦點(diǎn)之間的距離，f為攝像機(jī)的焦距.采用三角測(cè)量方法，獲取平衡點(diǎn)空間三維坐標(biāo).先對(duì)攝像機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定，然后計(jì)算平衡點(diǎn)三維空間坐標(biāo)，修正后的平衡點(diǎn)空間三維坐標(biāo)表達(dá)式如下:

X和Y的計(jì)算表達(dá)式無(wú)需修正.深度Z的表達(dá)式，根據(jù)柑橘圖像半徑r進(jìn)行修正.k是圖像坐標(biāo)系轉(zhuǎn)變?yōu)槭澜缱鴺?biāo)系的轉(zhuǎn)換系數(shù)，其取值大小根據(jù)攝像機(jī)標(biāo)定內(nèi)參數(shù)矩陣進(jìn)行確定.在柑橘的深度計(jì)算過程中，需將以像素為單位的計(jì)算轉(zhuǎn)換為以長(zhǎng)度單位的計(jì)算.攝像機(jī)外部參數(shù)基線B的長(zhǎng)度為150 mm，攝像機(jī)焦距f經(jīng)標(biāo)定確定為575.984 mm.

5 各環(huán)節(jié)消耗時(shí)間及移動(dòng)速度

若柑橘運(yùn)動(dòng)到平衡點(diǎn)，機(jī)器手剛好移動(dòng)到柑橘平衡點(diǎn)的三維空間坐標(biāo)處，機(jī)器手就能成功采摘到柑橘.柑橘采摘各環(huán)節(jié)消耗的時(shí)間包括攝像頭采集各幀圖像的時(shí)間、圖像分析時(shí)間、平衡點(diǎn)與深度值計(jì)算時(shí)間、機(jī)器手采摘柑橘時(shí)間.根據(jù)采集各幀圖像的時(shí)間，確定第1次經(jīng)過平衡點(diǎn)的時(shí)間t0.柑橘采摘各環(huán)節(jié)所消耗的時(shí)間都可計(jì)算，這些時(shí)間可分為采摘程序運(yùn)行時(shí)間和機(jī)器手采摘柑橘時(shí)間.采摘程序運(yùn)行時(shí)間包括各幀柑橘圖像采集時(shí)間、圖像分析時(shí)間、平衡點(diǎn)與深度值計(jì)算時(shí)間.采摘各環(huán)節(jié)所消耗的時(shí)間如圖6所示.

圖6 柑橘采摘各環(huán)節(jié)消耗時(shí)間

將式(8)代入tx=tz-tp中，可得

求取采摘手的移動(dòng)速度時(shí)，將式(8)和式(9)代入機(jī)器手平均移動(dòng)速度v的計(jì)算表達(dá)式之中，整理可得

6 試驗(yàn)結(jié)果分析

在柑橘采摘過程中，能否對(duì)擾動(dòng)柑橘進(jìn)行實(shí)時(shí)精確采摘，關(guān)鍵在于能否對(duì)柑橘采摘點(diǎn)進(jìn)行精確定位.雙目視覺深度測(cè)量裝置的深度測(cè)量范圍為1.0～1.6 m.文中在實(shí)驗(yàn)室中對(duì)單個(gè)擾動(dòng)柑橘進(jìn)行定位，檢驗(yàn)不同距離、不同柑橘振蕩方向情況下柑橘采摘點(diǎn)的定位精度.

試驗(yàn)利用雙目立體視覺成像系統(tǒng)采集柑橘圖像.試驗(yàn)選用USB寶貝計(jì)劃網(wǎng)絡(luò)攝像頭.雙攝像頭均標(biāo)定好，攝像頭的幀率為30幀·s-1.PC端配置:處理器Intel(R)Core(TM)-i5 3230M CPU@2.60 GHz，內(nèi)存4 GB，硬盤1 TB.采用圖像的大小為320像素×240像素.試驗(yàn)分為5組，每組除深度距離和柑橘振蕩方向不同外，其他情況相同.每組試驗(yàn)只受到一個(gè)單振蕩方向的推力.為了考察柑橘在任意方向振蕩時(shí)，柑橘定位算法能否對(duì)柑橘采摘點(diǎn)進(jìn)行精確定位，設(shè)置了3種情況:情況1是柑橘振蕩平面與攝像機(jī)的成像平面保持平行;情況2是柑橘振蕩平面與攝像機(jī)成像平面成45°傾角;情況3是振蕩平面與攝像機(jī)成像平面之間的夾角位于60°與75°之間.各組試驗(yàn)采用的實(shí)際測(cè)量深度分別為1 000，1 200，1 400，1 600 和 1 800 mm.當(dāng)柑橘靜止時(shí)，水平面上的柑橘垂直投影中心與兩臺(tái)攝像機(jī)基線之間的距離就是實(shí)際深度Z.試驗(yàn)數(shù)據(jù)如表2所示.根據(jù)表2中的數(shù)據(jù)，當(dāng)測(cè)量深度大于或等于1.8 m時(shí)，情況3的測(cè)量精度迅速下降，已不能夠滿足柑橘采摘定位的要求.情況3定位精度大幅下降的主要原因:第一，當(dāng)實(shí)際測(cè)量距離變大時(shí)，柑橘在兩相機(jī)上的投影之間的距離xl-xr可視為變小，即視差變小.由式(7)可知，當(dāng)視差xl-xr較小時(shí)，視差發(fā)生較小的變化都會(huì)引起計(jì)算深度產(chǎn)生較大的變化;第二，由于柑橘的振蕩平面與成像平面之間的角度太大，柑橘振蕩軌跡在成像平面上的投影變小.對(duì)其進(jìn)行頻譜分析時(shí)，分辨率會(huì)變小，從而影響柑橘振蕩平衡點(diǎn)的計(jì)算精度.當(dāng)測(cè)量深度在1.0～1.6 m范圍內(nèi)，情況1和情況2的定位精度能夠滿足要求.當(dāng)測(cè)量深度大于1.6 m時(shí)，2種情況的定位精度會(huì)下降，下降原因是上述的第一種原因.理論上，深度越小測(cè)量精度越高.但是，當(dāng)柑橘與攝像機(jī)之間的距離太近時(shí)，由于柑橘振蕩幅度過大，導(dǎo)致振蕩柑橘不在攝像機(jī)的拍攝范圍之內(nèi)，使雙目視覺中一部或者兩部攝像機(jī)不能采集柑橘圖像，從而導(dǎo)致柑橘定位失敗.當(dāng)柑橘定位距離為1.0～1.6 m時(shí)，擾動(dòng)柑橘采摘成功率能夠滿足實(shí)際采摘的需求［12］.

表2 試驗(yàn)數(shù)據(jù)

7 結(jié)論

建立了柑橘振蕩數(shù)學(xué)模型，采用FFT頻譜分析法確定擾動(dòng)柑橘的振蕩周期.研究了柑橘振蕩平衡點(diǎn)的確定方法，采用傅里葉曲線擬合法獲取振蕩曲線，得到振蕩曲線的表達(dá)式.X方向和Y方向振蕩曲線表達(dá)式的首系數(shù)，即為平衡點(diǎn)的坐標(biāo).根據(jù)左、右柑橘圖像的形心坐標(biāo)，確定平衡點(diǎn)三維空間坐標(biāo).試驗(yàn)結(jié)果表明，本算法能夠?qū)φ袷幐涕龠M(jìn)行精確定位，能滿足機(jī)器人對(duì)擾動(dòng)柑橘自動(dòng)采摘的要求.

References)

［1］宋 健，張鐵中，徐麗明，等.果蔬采摘機(jī)器人研究進(jìn)展與展望［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37(5):158-162.

Song Jian，Zhang Tiezhong，Xu Liming，et al.Research actuality and prospect of picking robot for fruits and vegetables［J］.Transactions of the Chinese Society for Agricultural Machinery，2006，37(5):158-162.(in Chinese)

［2］熊俊濤，鄒湘軍，陳麗娟，等.采摘機(jī)械手對(duì)擾動(dòng)荔枝的視覺定位［J］.農(nóng)業(yè)工程學(xué)報(bào)，2012，28(14):36-41.

Xiong Juntao，Zou Xiangjun，Chen Lijuan，et al.Visual position of picking manipulator for disturbed litchi［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28(14):36-41.(in Chinese)

［3］熊俊濤，鄒湘軍，陳麗娟，等.基于機(jī)器視覺的自然環(huán)境中成熟荔枝識(shí)別［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(9):162-166.

Xiong Juntao，Zou Xiangjun，Chen Lijuan，et al.Recognition of mature litchi in natural environment based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42(9):162-166.(in Chinese)

［4］蔡健榮，周小軍，李玉良，等.基于機(jī)器視覺自然場(chǎng)景下成熟柑橘識(shí)別［J］.農(nóng)業(yè)工程學(xué)報(bào)，2008，24(1):175-178.

Cai Jianrong，Zhou Xiaojun，Li Yuliang，et al.Recognition of mature oranges in natural scene based on machine vision ［J］.Transactions of the Chinese Society of Agricultural Engineering，2008，24(1):175-178.(in Chinese)

［5］Zhao Dean，Lü Jidong，Ji Wei，et al.Design and control of an apple harvesting robot［J］.Biosystems Engineering，2011，110(2):112-122.

［6］Ji W，Zhao D，Cheng F，et al.Automatic recognition vision system guided for apple harvesting robot［J］.Computers＆Electrical Engineering，2012，38(5):1186-1195.

［7］Hayashi S，Shigematsu K，Yamamoto S，et al.Evaluation of a strawberry-harvesting robot in a field test［J］.Biosystems Engineering，2010，105(2):160-171.

［8］張克敏.基于虛擬現(xiàn)實(shí)的機(jī)器人仿真研究［D］.重慶:重慶大學(xué)機(jī)械工程學(xué)院，2012.

［9］趙惠玲.基于小波和FFT的電網(wǎng)諧波實(shí)時(shí)檢測(cè)系統(tǒng)的研究［D］.西安:西安工業(yè)大學(xué)電子信息工程學(xué)院，2012.

［10］高棟棟.基于雙目立體視覺定位和識(shí)別技術(shù)的研究［D］.秦皇島:燕山大學(xué)機(jī)械工程學(xué)院，2013.

［11］寧志剛，程 輝，楊 恒，等.采摘機(jī)器人擾動(dòng)狀態(tài)下柑橘動(dòng)態(tài)識(shí)別［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2015，36(1):53-58.

Ning Zhigang，Cheng Hui，Yang Heng，et al.Dynamic recognition of oscillating orange for harvesting robot［J］.Journal of Jiangsu University:Natural Science Edition，2015，36(1):53-58.(in Chinese)

［12］程勝勇，劉 盛.基于OpenCV的計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)［M］.北京:科學(xué)技術(shù)出版社，2008.