侯光旭,王鑫淼,張 正,朱春艷,趙志鑫,黨奔奔
(黑龍江八一農墾大學 工程學院,黑龍江 大慶 163319)
雜草是影響甚至危害作物生長的植物,雜草數(shù)量多種類復雜且根系龐大,會減少作物養(yǎng)分,導致作物水分養(yǎng)分不足,而且一些高大的雜草會嚴重干擾作物生長,影響作物透光、透風性,帶來各種病蟲害,使作物畸形生長,大大降低作物產量[1]。大棚中雜草種類復雜,如果不能及時去除,造成苗荒、草荒,會導致產量減產甚至絕收。在目前農業(yè)生產方式中,主要除草方式為人工除草和化學除草[2],但是這些除草方式有很大的缺點,人工除草在現(xiàn)階段有著許多弊端,比如勞動力成本高,工作強度大等,其優(yōu)點是雜草分辨率和除草精度高,因而具有最優(yōu)的除草效果[3];農藥雖然能有效抑制雜草,但也可能導致農藥在蔬菜中殘留量超標,從而導致作物品質低,環(huán)境污染加劇,不利于農業(yè)可持續(xù)發(fā)展。
伴隨著農業(yè)科技水平的發(fā)展與進步,衍生出機械除草方法,該方式的優(yōu)勢是除草工作效率高、除草效果明顯且對作物傷害小,降低勞動力成本,減少大棚使用農藥帶來的危害,因此,本文設計了一種機械式智能除草機器人。
一般除草機器人主要組成部分可以分為5個模塊,分別是:感知系統(tǒng)、控制系統(tǒng)、驅動器和動力源、移動平臺、執(zhí)行裝置。5個系統(tǒng)模塊互相配合,組成自動化機器人對雜草進行作業(yè)。
雜草種類復雜,且牛筋草、看麥娘、馬唐等雜草[4],顏色形狀與作物類似,區(qū)分難度較大,使用圖像識別技術識別出雜草的坐標軸后,通過執(zhí)行機構對雜草進行作業(yè)[5],從而提高除草的精確度,減小傷苗率[6]。具體操作是在機器人到達開始位置后進行工作,深度攝像頭識別作物位置,使作物在圖像中以直線形式存在,根據(jù)作物位置不斷調整機器人的運動方向,使機器人進行直線運動并提高作業(yè)精度,在機器人到達工作位置后,行駛機構暫停,攝像頭識別雜草位置,三軸線性模組開始運動,使用執(zhí)行機構到達工作位置,執(zhí)行機構按照規(guī)定路徑進行工作,作業(yè)完成后,執(zhí)行機構回到初始位置,控制箱發(fā)出信號,行駛機構運動,到達下一個工作位置,進行作業(yè)。除草機器人三維建模如圖1所示。
1.輪胎;2.行駛機構;3.控制箱;4.三軸線性模組;5.執(zhí)行機構;6.深度攝像頭;7.割刀工作頭;8.割刀圖1 除草機器人三維建模
識別主要憑借圖像內容中的特征點,而提取圖像主要依靠攝像頭,現(xiàn)階段市場上主要的攝像頭種類為單目和雙目,本研究使用的是Intel D435雙目深度攝像頭[7]??刂葡到y(tǒng)是除草機器人的大腦,主要負責控制執(zhí)行速度和運動方向,通過各種處理控制器實現(xiàn)作業(yè)功能[8]。根據(jù)運算效率和智能化程度的不同,其硬件載體分別是單片機、PLC、微型計算機開發(fā)板或專用工控機,處理控制器類型有Intel系列、樹莓派系列、西門子系列、三菱系列、AMD系列等;軟件系統(tǒng)包括Linux、Android、Windows等操作系統(tǒng),依靠Python、Matlab和C++等語言開發(fā)機器人環(huán)境感知和路徑規(guī)劃算法等??刂铺幚砟K負責數(shù)據(jù)分析,例如采用卷積神經網(wǎng)絡(CNN)識別作物與雜草。決策模塊負責綜合判斷[9],機器人處理器選擇了Jetson Orin nano開發(fā)板。
移動平臺會影響除草機器人作業(yè)穩(wěn)定性和除草準確率,常用的移動平臺有輪式、履帶式、足式、復合式[10]。輪式機器人有著轉向能力好,操作性能佳的優(yōu)點;履帶式機器人轉向能力較差,且運行速度不快,但與輪式相對比,履帶式越野能力更好,更加適合野外復雜環(huán)境,而輪式則更適合一些地面平坦的環(huán)境;足式機器人的移動平臺有二足、四足、六足等,主要優(yōu)點是行進靈活性高,在復雜路面可快速運動,缺點是結構復雜,研究難度較高,制造成本也相對較高,適合一些精尖條件下去使用[11]。每種移動平臺有各自的優(yōu)缺點,針對不同的工作環(huán)境選擇不同的移動平臺有時能取得事半功倍的效果,本研究根據(jù)大棚內的環(huán)境選擇了四輪式移動平臺。
驅動器主要是輔助執(zhí)行機構完成作業(yè)提供動力的裝置,現(xiàn)在市場上大部分由氣動電動和液壓驅動組成。動力源大多為鋰電池或者能產生電力的太陽能板,但太陽能限制條件較大,并不能做到普及的情況,因此本機器人使用的是24 V鋰電池進行供電。
除草機器人的作業(yè)方式有許多種,現(xiàn)階段主要除草方式有噴灑農藥除草、機械裝置除草、火焰除草、人工除草、電擊除草、激光除草等,但現(xiàn)在主流的除草方式還是噴藥除草和人工除草,而噴藥除草會大量浪費使用農藥,還會對土地和作物產生污染,與綠色持久發(fā)展的除草方式相違背。近些年提倡使用不會產生太多污染的執(zhí)行機構[12],如機械裝置除草、激光除草或電擊除草等。因此,本機器人選擇了旋轉式割刀除草。
數(shù)據(jù)采集時間為2023年6月17日,數(shù)據(jù)采集地點在大慶市讓胡路區(qū)黑龍江八一農墾大學實驗田,試驗田谷子區(qū)域總共有十個壟,對每個壟拍攝40張圖片,共采集圖像400張,主要雜草為狗尾巴草、馬唐、藜類、薊類、牛筋草、苘麻、水棘針等,試驗田邊上種植了豆類作物,所以會有豆類幼苗,也需要去除,之后對所有圖片進行旋轉、鏡像、放大、縮小,這樣400張圖片擴大成了1 600張圖片,形成數(shù)據(jù)集,提升識別精度。
數(shù)據(jù)集標定使用LabelImg圖像標注工具,LabelImg是一個開源的圖像標注工具,用于創(chuàng)建和編輯圖像標注數(shù)據(jù)集。它提供了一個用戶友好的界面,使用戶能夠在圖像上繪制邊界框或者創(chuàng)建多邊形來標注目標物體的位置和形狀,點擊open dir按鈕導入數(shù)據(jù)集,再點擊change save dir更改輸出的xml文件位置,然后點擊create bectbox對雜草進行框選,把闊葉類雜草歸類為雜草1,如藜類等;禾本科雜草歸為雜草2,如狗尾巴草、牛筋草等;小型雜草歸為雜草3,如豆類幼苗;形狀特殊的苘麻與水棘針歸為雜草4和雜草5,以提高識別精度。
Yolov5是Yolo系列模型之一,它的網(wǎng)絡模型可以分為4個部分:骨干網(wǎng)絡(Backbone),負責提取輸入圖像的高層語義特征;Neck負責處理骨干網(wǎng)絡中提取的特征圖;檢測頭(Head)是Yolov5最重要的部分之一,它是由一系列卷積層組成,用于預測目標類別、邊界框位置及目標置信度;Loss Function是Yolov5 使用的是一種基于目標檢測的損失函數(shù)。
使用Yolov5對數(shù)據(jù)集進行處理,硬件設備采用Nvidia Geforce RXT 3070Ti顯卡以及cuda 11.7版本和cudnn 8.4版本,分別對數(shù)據(jù)集進行了150次和300次的迭代訓練。訓練結果150次的準確率為82%,迭代300次的模型的準確率為91%,雜草識別結果如圖2所示。
試驗發(fā)現(xiàn)迭代次數(shù)越多對雜草的識別精度越高,環(huán)境對識別的干擾也更少,迭代次數(shù)越少越容易出現(xiàn)重復識別或者未識別的情況,表明Yolov5可以很好的對雜草進行識別。
使用迭代300次的模型對400張圖片進行識別處理,以每個壟為一組,40張圖片為一組,分別計算每個壟雜草1到雜草5識別精度的平均值,如表1所示。表1中可以看出,對于雜草1—闊葉類雜草的識別準確率是最高的,識別率在87.4 %,而雜草3、雜草4、雜草5的識別精度都在60 %左右,隨著序號變大,識別準確率在下降,可能是因為序號越大的壟,作物就越茂密,對陽光的遮擋強度和雜草的干擾也越大,所以識別更加困難。
表1 雜草識別率 單位:%
本試驗基于Yolov5大棚雜草檢測算法,在Nvidia Geforce RTX 3070Ti顯卡下訓練,得到除草作業(yè)時影響除草率最大的因素在于圖像識別。在大棚環(huán)境中作業(yè),受自然條件約束,如太陽光照產生的陰影對雜草識別精度產生的影響,所以現(xiàn)階段如何準確的識別雜草是一個很大的難題。由本試驗也可以看出,作物種植的密度對識別也會產生較大的干擾,在作物密集的環(huán)境下,雜草識別準確率會比作物種植密度適中的環(huán)境低10%左右,所以在今后的研究中,要考慮如何在不降低識別精度的情況下,減少光線和作物種植密度對識別的干擾。