馬秀博，孫熊偉，張德青，王良燕

(1.安徽三聯(lián)學(xué)院 計算機(jī)工程學(xué)院，合肥 230601；2.中國科學(xué)院 合肥物質(zhì)科學(xué)研究院 合肥技術(shù)創(chuàng)新工程院,合肥 230088)

?

基于機(jī)器視覺的對靶噴霧系統(tǒng)時延估計方法研究

馬秀博1，孫熊偉2，張德青1，王良燕1

(1.安徽三聯(lián)學(xué)院 計算機(jī)工程學(xué)院，合肥 230601；2.中國科學(xué)院 合肥物質(zhì)科學(xué)研究院 合肥技術(shù)創(chuàng)新工程院,合肥 230088)

對靶噴霧系統(tǒng)中的時延估計是關(guān)系到整個系統(tǒng)實際噴霧命中率的關(guān)鍵問題。首先對經(jīng)典的機(jī)載對靶噴霧模型進(jìn)行了分析，總結(jié)出理論上機(jī)載設(shè)備長度、硬件延時、算法耗時、農(nóng)機(jī)運行速度和理論對靶精確度之間的關(guān)系；然后，在此基礎(chǔ)上提出了一套基于雙目機(jī)器視覺的核心速度測算方法，并設(shè)計了噴霧時延估計模型；最后，通過搭建完整軟硬件實驗平臺實現(xiàn)了對算法的有效性驗證。實驗結(jié)果表明：該算法可以在常用的基于機(jī)器視覺的農(nóng)機(jī)裝備中實現(xiàn)準(zhǔn)確的常規(guī)對靶噴霧時延估計。

對靶噴霧；機(jī)器視覺；時延估計；速度檢測

0 引言

在農(nóng)業(yè)生產(chǎn)中，化學(xué)防除是非常重要的農(nóng)業(yè)生產(chǎn)技術(shù)之一，然而在實際施藥過程中藥物多施情況十分普遍。過量施藥施肥不僅會造成藥劑的浪費而且也給環(huán)境帶來污染。精準(zhǔn)噴霧技術(shù)通過獲取農(nóng)田小區(qū)域內(nèi)病蟲草害的差異性，利用高效噴霧技術(shù)和精準(zhǔn)對靶噴霧技術(shù)實現(xiàn)按需施藥?；跈C(jī)器視覺技術(shù)實現(xiàn)對靶噴霧，以其靈活度高、設(shè)備開發(fā)成本低等特點成為當(dāng)前國內(nèi)外精準(zhǔn)噴霧技術(shù)研究的熱點[1-4]。

基于機(jī)器視覺技術(shù)的對靶噴霧研究中，如何進(jìn)行精準(zhǔn)的噴霧時機(jī)控制是整個對靶問題能否成功的關(guān)鍵因素。時機(jī)控制方案中速度檢測的策略大體又分為如下幾種方案：固定時延法[5]、差分GPS策略[6-7]、GPS測速方法[8-9]、機(jī)載雷達(dá)測速[10]及光電轉(zhuǎn)速傳感器等。固定時延法假設(shè)農(nóng)用機(jī)械的運行速度穩(wěn)定，每次噴霧都是利用經(jīng)驗值或者實驗值設(shè)定固定的噴霧時機(jī)。此方法簡單易用，不過精確度稍低，只適用于對靶精度要求低或者是農(nóng)機(jī)工作速度穩(wěn)定的情況。差分GPS定位技術(shù)[6-7]同樣可以用于速度檢測，相比傳統(tǒng)GPS技術(shù)[8-9]而言，其具有更高的速度檢測精度和數(shù)據(jù)檢測頻率。不過差分GPS方案一般只適用于開闊的大田作物，且在實際工作的區(qū)域內(nèi)需要建設(shè)基站，系統(tǒng)的前期投入費用和后期維護(hù)成本都比較高。機(jī)載雷達(dá)測速的方法[10]測速檢測頻率較高不過準(zhǔn)確率一般，單套設(shè)備造價較高且安裝位置和設(shè)備位姿一般需要專人調(diào)試。此外，還有利用光電轉(zhuǎn)速傳感器或是磁電轉(zhuǎn)速傳感器等測速，方案通過檢測轉(zhuǎn)盤轉(zhuǎn)速間接推算出設(shè)備作業(yè)速度。雖然此類設(shè)備造價較低，但是測速精度不高且設(shè)備安裝要求較高,對人員的操作也有要求。

目前，國內(nèi)外針對未知環(huán)境下的基于機(jī)器視覺的導(dǎo)航技術(shù)尚處于探索階段，主要難點在于未知的非結(jié)構(gòu)化環(huán)境中，視覺目標(biāo)信息的多義性、環(huán)境信息的復(fù)雜性都會給空間位置信息的推算帶來困難。由于基于機(jī)器視覺的噴霧作業(yè)系統(tǒng)受到攝像機(jī)幀率及算法處理速度的限制，實際工作時往往相對慢速，且系統(tǒng)工作速度變換也相對穩(wěn)定。針對此類需求，本文以農(nóng)機(jī)水平方向的工作速度測量為主要研究對象，嘗試歸納了經(jīng)典的靶向噴霧系統(tǒng)模型，并以此為基礎(chǔ)設(shè)計了一種基于雙目機(jī)器視覺的在非結(jié)構(gòu)環(huán)境下的快速測速算法，以解決常見的基于機(jī)器視覺的農(nóng)機(jī)系統(tǒng)中對靶作業(yè)速度測量需求。最后，基于雙目機(jī)器視覺的測速算法搭建出一套精準(zhǔn)靶向噴霧系統(tǒng)及硬件設(shè)備方案,并完成了對算法的整體有效性驗證。

1 對靶噴霧系統(tǒng)時延估計

1.1 對靶噴霧系統(tǒng)理論模型

基于機(jī)器視覺的對靶噴霧系統(tǒng)模型首先通過攝像頭實時采集作物信息，經(jīng)核心處理模塊分析之后，得到具體的噴霧任務(wù)；然后結(jié)合農(nóng)機(jī)移動速度估算出對靶系統(tǒng)中噴霧裝置移動到指定目標(biāo)位置的時延，結(jié)合具體軟硬件響應(yīng)速度計算出噴頭設(shè)備最佳啟停時機(jī)[11-14]。本文首先給出理論情況下速度測量的精準(zhǔn)程度對實際噴霧準(zhǔn)確率的影響分析。

基于機(jī)器視覺的對靶噴霧模型如圖1所示。如圖1(a)中，精準(zhǔn)靶向噴霧是以準(zhǔn)確的目標(biāo)定位和噴霧時延估計為基礎(chǔ)的。在時延估計問題中，假設(shè)以設(shè)備在地面形成的有效噴霧覆蓋面積來代表實際的藥物覆蓋區(qū)域。其中，圓面積OA表示實際噴霧覆蓋區(qū)域，圓面積OB表示期望噴霧覆蓋區(qū)域，那么OA和OB的實際相交面積比上期望圓面積即為對靶噴霧的實際準(zhǔn)確率。具體有效覆蓋面積如圖1(b)中陰影區(qū)域所示。

(a)對靶噴霧模型 (b)有效噴霧覆蓋區(qū)域圖1 基于機(jī)器視覺的對靶噴霧模型Fig.1 Target spraying system based on machine vision

假設(shè)系統(tǒng)的功能性延時為硬件延時(如電磁閥啟動和關(guān)閉的響應(yīng)時延)th，軟件延時(圖像獲取、計算處理時延)ts，其它時延tΔ(系統(tǒng)為模塊同步添加的時延)，總時延為tc=th+ts+tΔ。設(shè)噴嘴在運動方向上的開口角度為α，噴霧裝置高度為h，設(shè)備上檢測單元到噴霧單元距離為l，噴霧系統(tǒng)理想工作速度vref，實際工作速度v，地表噴霧覆蓋區(qū)域簡化為圓形，半徑為r=htan(α/2)，則系統(tǒng)應(yīng)該滿足如下條件，即

(1)

令ε為其它因素導(dǎo)致的距離誤差，總的定位誤差距離可以表達(dá)為

(2)

假設(shè)理想情況下，系統(tǒng)功能性延時tc=l/vref，代入公式(2)可得實際的噴霧直線距離誤差率。顯然，速度估計越接近真實值，直線誤差率越小，則

(3)

S=2OAEF-2ΔOAEF

(4)

(5)

在相同設(shè)備掛載高度和噴嘴開口角前提下，不同的系統(tǒng)功能性延時和速度誤差條件對噴霧準(zhǔn)確率變化的影響如圖2所示。其中，實時檢測的速度為V，Vref為標(biāo)準(zhǔn)速度，α=25°，h=0.75m，vref=1m/s。

圖2 不同系統(tǒng)響應(yīng)時間和速度估計準(zhǔn)確率條件下的噴霧準(zhǔn)確性Fig.2 Sprayer performance under the different conditions of time delay and velocity estimation

通過對上文的分析可知：設(shè)備的檢測單元到噴霧執(zhí)行單元的距離受到軟硬件功能性延時和速度估計準(zhǔn)確率的雙重影響。以圖2中最外側(cè)三角擬合線為例，如果將系統(tǒng)的工作速度的檢測準(zhǔn)確率η控制在0.9左右，則整體的噴霧有效覆蓋準(zhǔn)確率已經(jīng)達(dá)到80%，此時系統(tǒng)只需要通過設(shè)置一額外的10cm噴霧距離作為余量控制，則可完全覆蓋目標(biāo)的整體區(qū)域。本文將嘗試使用基于機(jī)器視覺的方法對噴霧系統(tǒng)的工作速度進(jìn)行測量，進(jìn)而完成噴霧作業(yè)中的時延估計需求。

1.2 基于雙目視覺的快速速度估計原理

隨著地形高度的變化，攝像機(jī)成像平面上每個像素代表的距離會產(chǎn)生變化。因此，文中采用雙目攝像頭首先推算地面目標(biāo)到攝像頭的距離信息，再通過計算特征點在相鄰視頻圖像中的移動距離來推算出實際設(shè)備的移動速度[15-16]。雙目視覺的計算原理如圖3所示。

圖3 雙目視覺的計算原理Fig.3 The principle of binocular stereo vision

已知Zc為攝像機(jī)光軸，它與圖像平面垂直，f表示攝像機(jī)焦距，B為基線距。光軸與圖像平面的交點即為圖像坐標(biāo)系的原點， pl和pr分別為地平面上P點的兩個映射。透視投影變換矩陣為

(5)

其中，dx、dy、f、u0、v0只與攝像機(jī)內(nèi)部結(jié)構(gòu)相關(guān)，可以通過前期標(biāo)定獲取。

然后，算法通過雙目視覺三維測量的視差原理推算出相機(jī)坐標(biāo)系下的P(Xw,Yw,Zw)點的空間位置?，F(xiàn)有特征點pl=(xl,yl)，pr=(xr,yr)，利用極線約束，特征點P在圖像FL和FR上滿足yl=yr，由透視投影原理易得

(6)

由于圖像坐標(biāo)系中的實際視差b=xl-xr，由此可計算出點P在相機(jī)坐標(biāo)系下的三維坐標(biāo)為

(7)

因此，F(xiàn)L像面上的任意一點只要能在FR像面上找到對應(yīng)的匹配點，就可以確定出該點的三維坐標(biāo)。

(8)

圖4 基于仿射變換原理的運動參數(shù)估計Fig.4 Motion parameters estimation based on the principle of

affine transformation

由于特征點P在攝像機(jī)空間的坐標(biāo)位置可以通過公式(7)得出，因此只需要在成像平面上求解特征點的變換關(guān)系，即可推導(dǎo)出設(shè)備的相對運動變換。在同一平面上拍攝的兩幀圖像發(fā)生相對運動，或平移或旋轉(zhuǎn)或兩者皆有，都可以看成是兩個圖像的坐標(biāo)軸發(fā)生仿射變換。文中使用基于仿射變換的六參數(shù)模型及參數(shù)求解方案解算變換參數(shù)。此時只需要求取對應(yīng)的3個匹配特征點，即可以推導(dǎo)出平移結(jié)果。根據(jù)透視投影原理，可得即時速度為

(9)

2 基于速度估計模型的噴霧系統(tǒng)方案

本文將整個噴霧系統(tǒng)模型劃分為5個模塊：距離參數(shù)自動校準(zhǔn)模塊、目標(biāo)檢測模塊、速度檢測模塊、時延估計模塊和噴霧任務(wù)執(zhí)行模塊，如圖5所示。

圖5 噴霧系統(tǒng)模型結(jié)構(gòu)Fig.5 The structure of spray system

系統(tǒng)工作時，目標(biāo)檢測模塊獲取噴霧任務(wù)，將偵測到的噴霧任務(wù)實時推送到時延估計模塊。距離參數(shù)自動校準(zhǔn)模塊不斷更新當(dāng)前環(huán)境下的目標(biāo)距離，將最新距離參數(shù)提供給時延估計模塊。時延估計模塊結(jié)合最新估計的圖像位移值和目標(biāo)距離值解算出實際系統(tǒng)速度，并利用速度信息完成攝像頭幀間隔內(nèi)的系統(tǒng)實際位移計算，通過不斷累積的移動距離值推算出整個噴霧任務(wù)在隊列中是否到達(dá)了實際有效噴霧范圍。假設(shè)根據(jù)速度檢測模塊計算出最新的農(nóng)機(jī)移動速度值為vi，以ts為時間間隔進(jìn)行積分運算，則距離更新公式為

(10)

由此，系統(tǒng)一旦判定滿足條件s>l-εt，則將噴霧執(zhí)行命令推送到執(zhí)行模塊。其中，vi為第i次檢測任務(wù)隊列時最新獲取的農(nóng)機(jī)移動速度，εt為保證噴霧范圍覆蓋的冗余執(zhí)行距離。

3 試驗與結(jié)果

為了驗證算法和系統(tǒng)的有效性，本文搭建了噴霧系統(tǒng)實驗平臺，具體包括：兩個HD720p(60HZ)攝像頭、嵌入式處理模塊(Intel Core Q6700 1.66GHz，512M內(nèi)存)、電磁閥、電源模塊、水箱及0142HD-12-60微型電動隔膜泵，整體測試系統(tǒng)平臺布置在小型沙灘車上。軟件系統(tǒng)中5大功能模塊的設(shè)計和實現(xiàn)基于OpenCV2.4.2的視頻數(shù)據(jù)讀取模塊和Boost1.5.6的多線程模塊，整個系統(tǒng)使用C++開發(fā)。具體搭建的硬件設(shè)備和噴霧系統(tǒng)測試平臺搭建如圖6所示。

(a) 噴霧設(shè)備 (b) 噴霧測試平臺圖6 噴霧設(shè)備及測試平臺Fig.6 The spray device and experiment platform

為完成對系統(tǒng)的有效性驗證，本文以圖6中搭建的硬件測試平臺為基礎(chǔ)完成了基于機(jī)器視覺的速度檢測準(zhǔn)確性驗證實驗。實驗參數(shù)設(shè)置如表1所示。

表1 噴霧系統(tǒng)處理模塊參數(shù)設(shè)置

噴角/(°)設(shè)備長度/m雙目間距/m150.50.08

整個實驗過程通過第三方攝像頭記錄噴霧系統(tǒng)運行位置變化信息，同時對噴霧實驗場上道路兩側(cè)以50cm為間隔貼上標(biāo)簽以輔助驗證“基于雙目視覺的速度估計”實際速度還原效率和準(zhǔn)確性。實驗中，機(jī)車沿單軸(設(shè)為圖7中X軸)直線行駛，系統(tǒng)以時間軸為基準(zhǔn)對比系統(tǒng)中速度還原模塊解算出的實際車輛速度(加粗虛線標(biāo)記)和第三方攝像頭脫機(jī)還原的車輛行駛速度(細(xì)實線)。還原出的機(jī)車在XY軸平面上的速度、軌跡信息如圖7所示。

圖7 基于機(jī)器視覺的測速結(jié)果Fig.7 The performance of vision-based speed detection

圖7中，細(xì)實線為第三方攝像頭拍攝的視頻通過脫機(jī)分析得出的實驗機(jī)車關(guān)于時間軸的速度分布情況，粗虛線表示以基于雙目視覺原理以固定時間間隔解算的速度值和位移估計值。在實驗過程中，同樣系統(tǒng)運行環(huán)境下，系統(tǒng)重復(fù)進(jìn)行了10次實驗，最后統(tǒng)計出基于雙目視覺的速度估計結(jié)果同第三方攝像頭利用標(biāo)簽脫機(jī)分析的標(biāo)準(zhǔn)速度結(jié)果進(jìn)行對比，其平均軌跡還原準(zhǔn)確率達(dá)到91.3%，最低為86.0%，最高為96.5%。從統(tǒng)計結(jié)果可以看出：文中基于機(jī)器視覺的靶向噴霧速度估計算法和時延估計方案，不論從理論還是實際實驗結(jié)果來看，均可以滿足此類對靶系統(tǒng)的工作需求。

4 結(jié)論

以基于機(jī)器視覺的機(jī)載精準(zhǔn)靶向噴霧系統(tǒng)為目標(biāo)平臺，提出了一個基于雙目機(jī)器視覺原理的農(nóng)機(jī)作業(yè)速度估計算法，并結(jié)合精準(zhǔn)噴霧作業(yè)原理設(shè)計出對靶噴霧時延估計控制模型，最終搭建出一套對靶噴霧系統(tǒng)原型設(shè)備。整個系統(tǒng)方案具有如下特點：

1)系統(tǒng)使用機(jī)器視覺技術(shù)代替了高成本的測速設(shè)備，大大減少了設(shè)備開發(fā)和使用的成本。

2)基于機(jī)器視覺技術(shù)的設(shè)備體積小，工作時在農(nóng)機(jī)上掛載、組合安裝靈活度高，并且后期維護(hù)簡單。

3)設(shè)備和算法對工作環(huán)境要求簡單，可靈活適應(yīng)小型田塊或者溫室大棚中的精細(xì)化噴霧作業(yè)需求。

[1] Rao Hong hui, Ji Chang ying. Research on spray precisely toward crop-rows based on machine vision [C]//Proceedings of first IFIPTC 12 International Conference on Computer and Computing Technologies in Agriculture (CCTA 2007) (II).Boston: Springer, 2008:1435-1439.

[2] A H Kargar B, A M Shirzadifar. Automatic weed detection system and smart herbicide sprayer robot for corn fields [C] //Robotics and Mechatronics (ICRoM), 2013 First RSI/ISM International Conference on.Tehran: Springer, 2013:468-473.

[3] D K Giles, D C Slaughter. Precision band spraying with machine-vision guidance and adjustable yaw nozzles [J]. Transaction of the ASAE, 1997, 40(1):29-36.

[4] 傅澤田，祁力鈞，王俊紅．精準(zhǔn)施藥技術(shù)研究進(jìn)展與對策 [J]．農(nóng)業(yè)機(jī)械學(xué)報，2007，38(1)：189-192．

[5] GilesD K, S laugh ter D C. Precision band spraying with machine-vision guidance and adjust able yaw nozz les [J] . Transaction of the ASAE, 1997, 40(1):29-36.

[6] 王新忠，王熙，王智敏，等．黑龍江墾區(qū)精準(zhǔn)農(nóng)業(yè)兩種GPS差分方式比較研究 [J]．中國農(nóng)機(jī)化， 2004(6)：75-77．

[7] 曹罡，張漫，馬文強(qiáng)，等．RTK-GPS系統(tǒng)設(shè)計及VRS差分方式分析比較 [J] ．農(nóng)業(yè)工程學(xué)報，2010(S2)：141-145．

[8] 何勇，方慧，馮雷．基于GPS和GIS的精細(xì)農(nóng)業(yè)信息處理系統(tǒng)研究 [J]．農(nóng)業(yè)工程學(xué)報，2002，18(1)：156-159．

[9] 馬景宇，潘瑜春，趙春江，等．基于GPS和GIS的農(nóng)田變量噴藥控制系統(tǒng) [J]．微計算機(jī)信息，2006，22(4)：85-87．

[10] TianL,SlaughterD C,NorrisR F.outdoor field machine vision identification of tomato seedlings for automated weed control [J]. Transaetions of the ASAE, 1997, 40(6):1761-1768.

[11] 陳勇，鄭加強(qiáng)．精確施藥可變量噴霧控制系統(tǒng)的研究 [J]．農(nóng)業(yè)工程學(xué)報，2005，21(5)：69-72．

[12] 葛玉峰，周宏平，鄭加強(qiáng)，等．基于機(jī)器視覺的室內(nèi)農(nóng)藥自動精確噴霧系統(tǒng) [J]．農(nóng)業(yè)機(jī)械學(xué)報，2005(3)：86-89．

[13] 宋淑然，王大飛，孫道宗，等．精準(zhǔn)噴霧控制裝置的設(shè)計與制作 [J] ．農(nóng)機(jī)化研究，2010，32(5)：55-57．

[14] 艾劍鋒,章海亮,劉雪梅，等.基于AT89C52單片機(jī)的變量噴霧控制系統(tǒng)的設(shè)計[J].中國農(nóng)機(jī)化,2011(2):90-94．

[15] 李書杰，劉曉平．?dāng)z像機(jī)位姿的高精度快速求解[J]．中國圖象圖形學(xué)報，2014，19(1)：20-27．

[16] 李亞楠．基于單目視覺的攝像機(jī)軌跡自適應(yīng)算法的研究與實現(xiàn) [D]．沈陽：東北大學(xué)，2012：32-41．Abstract ID:1003-188X(2017)06-0050-EA

Time Delay Estimation for Automatic Target Spraying System Based on Machine Vision

Ma Xiubo1, Sun Xiongwei2, Zhang Deqing1, Wang Liangyan1

( 1.Department of Computer Engineering, Anhui Sanlian University, Hefei 230601, China; 2.Institute of Technology Innovation, Hefei Institutes of Physical Science, Chinese Academy of Sciences, Hefei 230088, China)

Time delay estimation is the key problem in precision spraying system and its performance strongly influnce on the whole system's spraying accuracy. In this paper, we propose a classical analysis of spraying model and try to summarize the relationship of equipment size, hardware delay, time consuming, vehicle speed and the theoretical spraying accuracy. As the core technology of spraying estimation, a binocular vision speed estimation algorithm is presented. Then, an experimental platform is set up to verify the feasibility and effectiveness of our algorithm. The experimental results show that our method can effectively solve the speed calculation and time delay estimation in vehicle-mounted precision spraying.

toward-target spary; machine vision; time delay estimation; speed detection

2016-05-24

國家自然科學(xué)基金項目(31401285，61475163)

馬秀博(1987-)，女，河北衡水人，助教，碩士， (E-mail)xiuboma@163.com。

孫熊偉(1987-)，男，合肥人，實習(xí)研究員， (E-mail)xiongweisun@163.com。

S49；S126

A

1003-188X(2017)06-0050-05