魏晨，國樹金，荊茂焱，朱鴻瑞，趙穎

(聊城大學(xué)機械與汽車工程學(xué)院，山東聊城，252000)

0 引言

美國白蛾又名美國燈蛾，是一種世界性檢疫害蟲[1]。美國白蛾繁殖力強，危害300多種植物，對園林樹木造成嚴重的危害[2]。美國白蛾生長期分為卵、幼蟲、蛹、成蟲四個階段[3]，其在幼蟲期危害樹木最為嚴重，幼蟲聚集葉片上吐絲結(jié)網(wǎng)，形成網(wǎng)幕，取食寄主的葉肉[4]。美國白蛾整個幼蟲期間取食量極大，造成植物長勢衰弱，甚至整株死亡[5]。目前防治方法主要是人工大面積噴灑化學(xué)藥劑，該方法環(huán)境污染嚴重且對人體健康不利[6]。

目前，國內(nèi)外專家學(xué)者在精準對靶噴藥方面做了許多研究。2022年蔣順勇等[7]提出了一種精確的農(nóng)藥噴灑裝置。結(jié)合機器視覺和噴嘴對靶的原理，各類植保無人機也得到了大規(guī)模的應(yīng)用[8]。目前國內(nèi)外在利用精準對靶噴藥技術(shù)實現(xiàn)防治美國白蛾的研究相對較少。通過機器視覺技術(shù)獲取靶標位置信息，使用自動化設(shè)備實現(xiàn)精準對靶噴藥，可有效解決上述不足[9]。

1 系統(tǒng)工作基礎(chǔ)與工作流程

1.1 工作場景介紹

因噴藥對象植株巨大，因此將噴藥機器人設(shè)置在可升降的小車上，在小車驅(qū)動下沿植株做圓周運動，并在圓周的定點位置實施噴藥。在每一定點位置處，升降裝置根據(jù)植株具體高度升高到一定位置，手眼協(xié)調(diào)式執(zhí)行機構(gòu)在噴藥支架上首先做深度調(diào)節(jié)，到達合適深度距離時，開始按照既定路徑做局部運動，覆蓋一定的樹冠面積，然后手眼機構(gòu)復(fù)位，通過升降裝置的進一步升高，重復(fù)上述作業(yè)使噴藥范圍覆蓋到樹頂。

1.2 空間四自由度智能噴藥機器人機械本體介紹

算法基于空間四自由度噴藥機器人，如圖1所示。機器人主要由行走機構(gòu)、噴藥系統(tǒng)、四自由度空間移動系統(tǒng)及框架結(jié)構(gòu)組成，圖為室內(nèi)仿真試驗設(shè)計故省略了升降部分。

圖1 噴藥機器人結(jié)構(gòu)示意圖

噴藥系統(tǒng)由攝像頭噴頭和深度傳感器組成，其中攝像頭和深度傳感器安裝在一個平面上，噴頭與之相隔180°安裝。空間四自由度移動機構(gòu)由上下移動機構(gòu)、左右移動機構(gòu)、前后(深度)移動機構(gòu)和相機噴頭旋轉(zhuǎn)運動機構(gòu)組成。初始位置時攝像頭在前，噴頭在后，當檢測到進入最佳噴藥位置時，步進電機帶動旋轉(zhuǎn)機構(gòu)旋轉(zhuǎn)180°使得噴頭在前，攝像頭在后，噴頭占據(jù)原攝像頭位置，開始噴藥。

1.3 系統(tǒng)工作流程說明

系統(tǒng)工作流程如下：(1)流程開始：機器復(fù)位，手眼執(zhí)行機構(gòu)回復(fù)在最下端開始位置，通過深度傳感器讀數(shù)調(diào)整與目標物的距離后，執(zhí)行機構(gòu)開始按照既定路線運動。(2)攝像頭獲取圖像：執(zhí)行機構(gòu)開始運動后，攝像頭自動開啟，拍下圖片存入存儲器中。(3)閾值處理：對圖像進行基于色差的改進閾值處理，并判斷圖像是否為合格的圖像，圖像不合格時，執(zhí)行機構(gòu)按既定路線到下一位置，繼續(xù)采集圖像。(4)卷積處理：當圖像判定為合格時，送入卷積神經(jīng)網(wǎng)絡(luò)中進行精確處理，并標出輪廓框，為對靶噴藥做準備。(5)最佳噴藥位置判斷：判斷是否進入最佳噴藥位置，是則執(zhí)行機構(gòu)停止運動，旋轉(zhuǎn)機構(gòu)旋轉(zhuǎn)180°，開始噴藥，不是則按既定路線運動到下一位置，重復(fù)過程(3)。(6)本次噴藥完成后，旋轉(zhuǎn)機構(gòu)回旋180°，攝像頭回復(fù)原始位置，執(zhí)行機構(gòu)按既定路線運動到下一位置，重復(fù)過程(3)。(7)重復(fù)上述過程直至人工結(jié)束本次行程。系統(tǒng)工作流程如圖2所示。

圖2 美國白蛾幼蟲網(wǎng)幕自動化識別算法流程圖

2 圖像采集及預(yù)處理

2.1 圖像采集

識別所需圖片為2018年5月中上旬使用佳能600D數(shù)碼相機采集于聊城市市內(nèi)道旁樹，采集1 327幅圖片作為識別樣本庫，RGB格式，圖片分辨率960 ppi×720 ppi。因樣本庫過大，本文選取樣本庫中4幅圖片作為代表以此說明識別過程，樣本圖片如圖3所示。

(a) 原始圖像1 (b) 原始圖像2

2.2 圖像預(yù)處理

2.2.1 圖像通道的確定

由于美國白蛾幼蟲網(wǎng)幕緊密分布在枝葉之中，本身具有一定的透光性，使用單一顏色通道很難將其識別，本例在G-B、R-B、G-R三個單通道的圖像上提取多個葉片、網(wǎng)幕及枝干的像素求平均值，提取結(jié)果如表1所示。

表1 像素值結(jié)果Tab. 1 Pixel value result dpi

比較結(jié)果發(fā)現(xiàn)在G-R的單通道圖像中，網(wǎng)幕與其余干擾的色差值最大，故選用G-R通道作為預(yù)處理的通道。

2.2.2 圖像的閾值化處理及優(yōu)化

使用最大類間方差來確定G-R單通道的自適應(yīng)閾值，其過程描述如下[10]。

1) 記錄圖像原始的G-R值。

2) 將此值按照升序順序排列，放入數(shù)組a[i]中(0

3) 按照式(1)計算閾值。

T=μ1Dmax+μ2Dmid

(1)

式中：T——閾值；

m——差值小于中值的像素數(shù)；

n——所有像素數(shù)。

按照式(2)對圖像進行閾值處理。得到二值化圖像，結(jié)果如圖4所示。

(2)

(a) 二值化圖像1 (b) 二值化圖像2

二值化圖像中仍含有大量白色噪音點，為了后期計算合格率的便利，這里再利用輪廓面積信息優(yōu)化二值圖像。提取圖像中每一部分白色區(qū)域的外輪廓信息，提取每一部分的面積，將其放入一個數(shù)組中。設(shè)定一個閾值，并新建一個與原圖像大小相同的黑色三通道圖像，當某一部分面積大于閾值時，將該輪廓在黑色三通道圖像上的相同位置描繪出來，并用(255, 255, 255)進行泛洪填充；當輪廓面積小于閾值時，用(0, 0, 0)進行泛洪填充，如圖5所示。經(jīng)試驗，面積閾值定為面積數(shù)組中的第10位的值。

(a) 優(yōu)化后的二值圖像1 (b) 優(yōu)化后的二值圖像2

從圖5可以看出，優(yōu)化后的圖像中白色噪音點明顯減少，且每個輪廓內(nèi)部不再具有空缺的黑色部分，為合格候選框的提取提供了便利。

2.3 圖片合格率的計算以及合格圖片判斷方法

將處理好的二值化圖像提取出白色區(qū)域所占的像素點與全部的像素點做比，會產(chǎn)生一個比率，該比率即為判斷圖像是否合格的合格率。

設(shè)定一個閾值，當圖像的合格率大于該閾值時，圖像即為合格圖像，否則即為不合格的圖像。經(jīng)過試驗，閾值設(shè)為10%，可以很好的選擇出合格的網(wǎng)幕圖片，進行下一步處理。不合格的圖片則直接跳過，繼續(xù)采集下一幀。

3 改進卷積神經(jīng)網(wǎng)絡(luò)

圖像的閾值化處理實時性高，但美國白蛾幼蟲網(wǎng)幕分布較為復(fù)雜，圖片中存在干擾信息多，單一使用該方法目標物的識別準確率較低，不能滿足精準噴藥的要求，針對這一問題，研究引入了卷積神經(jīng)網(wǎng)絡(luò)。

3.1 卷積神經(jīng)網(wǎng)絡(luò)建立

確定深度神經(jīng)網(wǎng)絡(luò)整體架構(gòu)：網(wǎng)絡(luò)第一層是卷積層，從截斷的正態(tài)分布中輸出隨機值為卷積核的權(quán)重賦初始值。卷積后得到的特征圖用Relu函數(shù)激活，減少計算量。網(wǎng)絡(luò)的第二層是池化層，對池化窗口中的數(shù)值取最大值[11]。為了防止數(shù)據(jù)過擬合，對池化后得到特征圖進行局部響應(yīng)標準化處理(Local Response Normalization，LRN)。網(wǎng)絡(luò)的第三層是卷積層，該層的設(shè)置與第一層相同。網(wǎng)絡(luò)的第四層是池化層，池化前，用LRN函數(shù)對特征圖進行處理[12]。網(wǎng)絡(luò)前四層的整體作用是通過特征圖來提取出各種不同的圖像特征信息[13]。網(wǎng)絡(luò)的第五層和第六層是全連接層，這兩層輸出數(shù)據(jù)前用Relu函數(shù)進行激活[14]。試驗表明，兩層全連接層可以近似于其他任何形式函數(shù)的作用。網(wǎng)絡(luò)的最后一層也是全連接層，使用Softmax函數(shù)激活，輸出有幼蟲網(wǎng)幕和無幼蟲網(wǎng)幕的概率[15]。利用建立的數(shù)據(jù)集訓(xùn)練CNN模型，每次訓(xùn)練完一次后，將預(yù)測值與正確值相比較求取誤差，在網(wǎng)絡(luò)中反向傳播該誤差，逐層求導(dǎo)，更新權(quán)重，再多次訓(xùn)練，不斷減小誤差，直至達到精度要求[16]。

3.2 不重合遍歷滑動窗口法實現(xiàn)輪廓提取

由于美國白蛾幼蟲網(wǎng)幕分布無規(guī)律，全圖像范圍內(nèi)直接識別輸出結(jié)果差別較大不易控制，故采用了候選框和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的不重合遍歷滑動窗口法。

首先確定一個合適的滑動窗口尺寸，窗口以其寬和高為x軸和y軸方向上的步長在整幅圖像上滑動以提取候選框，候選框中的區(qū)域互不重疊；對每一候選框進行CNN處理，輸出該候選框內(nèi)存在美國白蛾幼蟲網(wǎng)幕的概率(grade)，設(shè)置兩個閾值E和Q，當grade>E時，認為該候選框優(yōu)秀，其中絕大部分區(qū)域是目標區(qū)域；當Q

3.3 定位過程與結(jié)果

設(shè)定概率高于90%為優(yōu)秀，低于10%的為不合格，中間為合格，經(jīng)過CNN模型多次篩選后得到多個優(yōu)秀候選框。對所有優(yōu)秀候選框進行融合處理：設(shè)置一個與原始圖像同等大小的純黑圖像，將所有優(yōu)秀候選框的大小復(fù)制在該圖像上并設(shè)置其為白色，如圖6所示。

(a) 融合結(jié)果1 (b) 融合結(jié)果2

最后提取該白色輪廓框并將其繪制在原圖像上，如圖7所示，即可得到最終的處理結(jié)果。

該算法在不同的場景中，均可得到較為理想的結(jié)果，單幅圖片識別率、誤判率及處理時間如表2所示。其中識別率指被識別出的網(wǎng)幕面積與全部網(wǎng)幕面積的比值，誤判率指被劃定在目標區(qū)域中但不是網(wǎng)幕的面積與全部網(wǎng)幕面積的比值?？梢钥闯鲎R別率在95%以上，處理時間均小于200 ms。與單一使用圖像的閾值化處理方法(文獻[10])相比，該算法極大提高了目標的識別率。與單一使用改進的卷積神經(jīng)網(wǎng)絡(luò)方法相比，該算法在完整處理一幅圖片的時間上雖有一點增加，但執(zhí)行機構(gòu)在行進過程中，實時采集的大多數(shù)圖片都僅需要圖像的閾值化處理這一步就已經(jīng)提前被剔除了，能夠進入卷積神經(jīng)網(wǎng)絡(luò)的都是帶有目標的圖片，因此系統(tǒng)整體的實時性實際得到了提高，同時進一步保證了卷積神經(jīng)網(wǎng)絡(luò)的準確率。由于美國白蛾幼蟲網(wǎng)幕的分布極不規(guī)則，且呈現(xiàn)半透明狀態(tài)，因此識別過程中極易受到干擾，很難像識別有規(guī)則形狀和顏色的目標物(例如水果蔬菜等)那樣達到極高的識別率，經(jīng)試驗95%以上的識別率能夠滿足工作需要。算法存在一定的誤判率，但由于網(wǎng)幕輪廓本身存在不規(guī)則性，噴藥操作會以一定的覆蓋面無差別的噴射過去，因此該誤判率不影響正常工作的進行。

(a) 定位結(jié)果1 (b) 定位結(jié)果2

表2 單幅圖片識別結(jié)果分析Tab. 2 Single image recognition results analysis

4 視覺伺服系統(tǒng)

基于美國白蛾幼蟲網(wǎng)幕識別結(jié)果，研究了一種智能噴藥機器人視覺伺服系統(tǒng)模型[17]，搭建了系統(tǒng)控制平臺，并提出了一種噴藥路徑規(guī)劃方法和最佳噴藥位置識別算法。

4.1 視覺伺服系統(tǒng)構(gòu)建

視覺伺服控制系統(tǒng)模型，如圖8所示。由圖像采集模塊、超聲波測距模塊、控制器等構(gòu)成信息獲取與處理系統(tǒng)，實時獲取噴藥目標的位置并判斷是否達到最佳噴藥位置。由多個電機控制器和步進電機構(gòu)成運動控制系統(tǒng)，用于控制空間四自由度噴藥機器人執(zhí)行機構(gòu)按照規(guī)劃路徑運動。壓力流量控制系統(tǒng)用以控制作業(yè)過程中保持一定的噴藥壓力和流量。三者相互配合協(xié)同作業(yè)，共同完成噴藥任務(wù)。

圖8 視覺伺服系統(tǒng)模型

對于噴藥深度的控制，由于美國白蛾幼蟲網(wǎng)幕往往分布于枝葉表面且連續(xù)分布，因此可以假設(shè)執(zhí)行機構(gòu)運動過程中網(wǎng)幕與其之間的距離是固定的。經(jīng)試驗，取深度值為1.5 m，此時鏡頭畸變較小，有效噴藥覆蓋面積較大，噴藥效果比較穩(wěn)定，執(zhí)行機構(gòu)運動過程中與目標物保持這一距離不變。

4.2 執(zhí)行機構(gòu)路徑規(guī)劃和最佳噴藥位置判斷

考慮到重力導(dǎo)致液滴下垂等情況，噴藥覆蓋面的真實形狀不規(guī)則，取其內(nèi)接正四邊形為有效噴藥區(qū)域，且假設(shè)在工作過程中該面積保持不變。噴藥范圍與攝像頭視野范圍關(guān)系如圖9所示，其中外框為攝像頭視野區(qū)域(其實際高度為b)，內(nèi)框為有效噴藥區(qū)域，通過控制噴藥壓強，使得噴藥范圍略小于視野區(qū)域。在此基礎(chǔ)之上設(shè)計行走路徑以控制執(zhí)行機構(gòu)的運動，如圖10所示。其中，h表示每個掃描行之間的距離，由噴藥范圍的高度b決定，為避免漏噴選擇一定重合度，h=0.8b。

圖9 執(zhí)行機構(gòu)局部運動軌跡示意圖

以執(zhí)行機構(gòu)向左或向上運動為例，標記噴藥區(qū)域中右側(cè)和下側(cè)各1/4邊長區(qū)域，命名為區(qū)域A、B，如圖9斜線區(qū)域所示，設(shè)變量Right、Down初值為零，用來標記A、B是否有未噴藥的目標。執(zhí)行結(jié)構(gòu)向左運動時，滑動窗口定位的可疑目標將首先出現(xiàn)在視野的最左端，隨著機構(gòu)的運動，當目標物進入A區(qū)域時，將Right設(shè)置為true，執(zhí)行結(jié)構(gòu)向上運動時，若可疑目標進入B區(qū)域時，將Down設(shè)置為true。若Right、Down中有一個為true，則判定目標進入最佳噴藥位置，系統(tǒng)停止運動，開始噴藥。

圖10 噴藥區(qū)域與攝像頭視野區(qū)域示意圖

5 試驗結(jié)果與分析

由于實際的樹木往往植株巨大枝葉復(fù)雜，試驗結(jié)果很難進行精確測量，因此，研究定制了仿真法國梧桐樹，仿真樹高1.5 m，樹冠寬1.5 m，模擬網(wǎng)幕使用絲綿拉伸形成。試驗選用格強子彈噴頭，噴頭的孔徑為1 mm，推薦工作壓力在0.35 MPa(3.5 kg)到2.5 MPa(25 kg)之間，噴藥系統(tǒng)上裝有壓力傳感器和流量傳感器，試驗樣機與仿真樹如圖11所示。試驗使用大恒工業(yè)攝像機DH-HV3151UC-ML，M1214-MP2定焦鏡頭，分辨率1 280 ppi×1 024 ppi，15 fps幀率，深度傳感器采用HC-SR04超聲波模塊。

(a) 試驗樣機

調(diào)整模擬網(wǎng)幕實際大小使網(wǎng)幕面積與視野面積比例不斷變化進行噴藥試驗，結(jié)果顯示算法完整處理一幀圖像所需時間不超過200 ms，滿足實際工作要求。試驗階段無漏噴，有一定過噴，過噴率P的計算公式如式(3)所示。

(3)

式中：WA——網(wǎng)幕面積；

VA——視野面積；

PA——實際噴藥面積。

VA值一定，WA/VA表現(xiàn)為不同值時的過噴率如表3所示。

表3 不同網(wǎng)幕面積下的過噴率Tab. 3 Overspray rate under different screen area

由表3可知，網(wǎng)幕面積較小時，過噴率較大，當WA/VA為1時，過噴率最小，網(wǎng)幕面積進一步增大時，過噴率略有一點增大，但總體變化較平穩(wěn)。

在實際工作中噴藥經(jīng)常會受到風力的影響，因此補充了風速試驗：設(shè)定高壓水泵提供1.5 MPa壓力，噴頭有效噴藥距離為1.5 m，利用小型無級變速風扇模擬自然環(huán)境下的風速，橫向正面吹動噴霧。用?，擜7356分體式測風儀(測量誤差±1%)測量目標處的風速。經(jīng)多次試驗噴藥系統(tǒng)的漂移率和覆蓋率見表4。表中漂移率指液滴受風后中心偏移的距離與噴藥直徑的比率，目標覆蓋率指受風后目標物上噴藥剩余覆蓋面與無風時理想噴藥覆蓋面的比率。

表4 不同風速下的漂移率與覆蓋率Tab. 4 Drift rate and coverage under different wind speeds

經(jīng)分析可看出，噴藥系統(tǒng)的漂移率和覆蓋率與風的大小密切相關(guān)，風速較小時漂移率低覆蓋率高，反之較低。當風速大于2.1 m/s時，覆蓋率只有75%，故建議噴藥工作在風速較小的氣候環(huán)境下進行。

6 結(jié)論

本文以美國白蛾幼蟲網(wǎng)幕為靶標，提出一種基于圖像閾值化和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的美國白蛾幼蟲網(wǎng)幕自動化識別算法。首先使用最大類間方差法對圖像進行預(yù)處理，對圖像中是否有可疑目標進行初判。將存在可疑目標的合格圖像喂入卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合不重合滑動窗口法對圖像的框架進行識別。對美國白蛾幼蟲網(wǎng)幕噴藥機器人的工作場景和機器人本體進行了介紹。規(guī)劃了機器人噴藥執(zhí)行機構(gòu)的運動路徑，對最佳噴藥位置的判定方法進行了研究。

通過基于色差的閾值分割方法與改進卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合的網(wǎng)幕圖像快速識別算法識別結(jié)果證明，單幅圖像的識別時間在200 ms左右，網(wǎng)幕識別的準確率在95%以上，滿足實際工作要求。該識別方法既減少了識別時間，又提高了圖像識別的準確率。識別時間的減少也使執(zhí)行機構(gòu)的運行更加連貫，機器執(zhí)行過程中無漏噴現(xiàn)象。