摘 要: 在果園自動(dòng)化作業(yè)生產(chǎn)中,果樹的精準(zhǔn)識(shí)別是果園精準(zhǔn)作業(yè)的重要前提。針對(duì)在復(fù)雜果園環(huán)境中單株果樹難以精準(zhǔn)快速識(shí)別的問題,基于激光雷達(dá)三維點(diǎn)云技術(shù)對(duì)果樹識(shí)別進(jìn)行研究,提出了一種精準(zhǔn)、快速、高自動(dòng)化的果樹識(shí)別方法及裝置。構(gòu)建多維度傳感融合識(shí)別裝置對(duì)果樹進(jìn)行特征點(diǎn)云數(shù)據(jù)掃描,建立果樹點(diǎn)云數(shù)據(jù)集,通過點(diǎn)云質(zhì)量及有效角度濾波進(jìn)行數(shù)據(jù)篩選。利用邊界特征點(diǎn)識(shí)別算法對(duì)單株果樹邊界特征數(shù)據(jù)進(jìn)行快速提取,利用邊界區(qū)域特征構(gòu)建果樹有效掃描數(shù)據(jù)。該方法可適用于單株果樹輪廓、特征的快速識(shí)別。為了驗(yàn)證該果樹識(shí)別方法準(zhǔn)確性,進(jìn)行了果樹樹冠輪廓測量精度試驗(yàn),以及果樹群組識(shí)別試驗(yàn),結(jié)果表明,該方法能夠?qū)麡溥M(jìn)行有效識(shí)別,并且物理指標(biāo)綜合測量精度gt;97.125%,可為果園精準(zhǔn)作業(yè)提供有效依據(jù)。
關(guān)鍵詞:果園精準(zhǔn)作業(yè);激光雷達(dá);果樹識(shí)別;數(shù)據(jù)融合;傳感器
中圖分類號(hào):S24 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1795(2024)08-0027-07
DOI:10.19998/j.cnki.2095-1795.2024.08.005
0 引言
2022 年我國水果產(chǎn)量突破3.1 億t,是世界上最大的果樹種植國家和水果進(jìn)出口貿(mào)易國家,水果產(chǎn)業(yè)在農(nóng)業(yè)生產(chǎn)和國民經(jīng)濟(jì)中占據(jù)越來越高的比例,果品及相關(guān)產(chǎn)業(yè)在我國農(nóng)村經(jīng)濟(jì)發(fā)展中起著至關(guān)重要的作用,是農(nóng)民收入的重要來源[1-4]。傳統(tǒng)果園種植模式中多依賴人工作業(yè),在目前從事勞動(dòng)人口逐年下降的環(huán)境下,快速增長的人工成本已成為制約水果生產(chǎn)的重要因素。近些年,人工智能技術(shù)及農(nóng)業(yè)機(jī)器人技術(shù)高速發(fā)展,越來越多的技術(shù)應(yīng)用于果樹種植中的各個(gè)環(huán)節(jié),果園自動(dòng)化作業(yè)已成為果園農(nóng)業(yè)生產(chǎn)發(fā)展中關(guān)鍵環(huán)節(jié)[5]。為了提升果園自動(dòng)化機(jī)械水平,實(shí)現(xiàn)果園高效精準(zhǔn)作業(yè),果樹的精準(zhǔn)識(shí)別則成為自動(dòng)化作業(yè)裝備發(fā)展的關(guān)鍵技術(shù)之一。精準(zhǔn)作業(yè)其關(guān)鍵在于根據(jù)果園的果樹個(gè)體差異,定時(shí)、定量開展農(nóng)事作業(yè)[6-7]。精確的樹冠形狀、尺寸、三維特征等信息,在果園農(nóng)事作業(yè)中具有重要作用,可為病蟲害防護(hù)、果樹生長情況、產(chǎn)量預(yù)估等提供重要依據(jù)。
我國大多數(shù)果園處于非標(biāo)準(zhǔn)化經(jīng)營狀態(tài),同一果園中果樹冠形、間距、樹齡和樹高等差異較大,果園地形多變、種植密度不定,這些都增加了在復(fù)雜果園環(huán)境中果樹冠形快速識(shí)別難度。目前,針對(duì)果樹樹冠識(shí)別研究主要集中在兩個(gè)方面。一方面是利用低空遙感或無人機(jī)平臺(tái)通過相機(jī)或雷達(dá)獲取數(shù)據(jù),通過機(jī)器視覺等手段進(jìn)行果樹識(shí)別分割,這種方法能有效地進(jìn)行果樹識(shí)別與部分指標(biāo)測量,但個(gè)體精度難以滿足果園精準(zhǔn)作業(yè)需求[8-10]。另一方面是利用圖像數(shù)據(jù)通過深度學(xué)習(xí)方法進(jìn)行果樹分割與識(shí)別,該方法能夠在復(fù)雜背景中對(duì)果樹外形輪廓特征進(jìn)行有效識(shí)別,但對(duì)于果樹物理尺寸、三維特征測量存在不足[11-13]。
綜合上述問題,本研究設(shè)計(jì)了一種多維度傳感融合的果樹識(shí)別裝置,以激光雷達(dá)為主要識(shí)別傳感裝置,進(jìn)行果樹數(shù)據(jù)獲取及信息感知,通過構(gòu)建點(diǎn)云數(shù)據(jù)邊界識(shí)別算法,進(jìn)行單株果樹識(shí)別,并通過果樹尺寸測量、果樹群組識(shí)別進(jìn)行方法驗(yàn)證。
1 硬件設(shè)計(jì)
果園環(huán)境復(fù)雜多變,為實(shí)現(xiàn)不同果樹的精確識(shí)別,主要采用激光雷達(dá)點(diǎn)云數(shù)據(jù)獲取方式。常規(guī)激光雷達(dá)以單線與多線方式掃描測量,但受測量角度限制都無法在果園有限空間內(nèi),實(shí)現(xiàn)短距離果樹完整掃描測量。因此,本研究采用單線雷達(dá)物理掃描方式,通過機(jī)械裝置增加掃描范圍達(dá)到短距離內(nèi)果樹測量目的。為實(shí)現(xiàn)點(diǎn)云三維特征,將裝置中加入同步姿態(tài)傳感器,姿態(tài)信息與單線雷達(dá)點(diǎn)云進(jìn)行融合,實(shí)現(xiàn)采樣數(shù)據(jù)點(diǎn)的三維特征提取。
1.1 硬件構(gòu)成
為實(shí)現(xiàn)果樹識(shí)別基本功能,對(duì)識(shí)別裝置設(shè)計(jì)4 點(diǎn)基本功能要求。一是能夠?qū)崿F(xiàn)獨(dú)立旋轉(zhuǎn)和俯仰,保證采集系統(tǒng)能全方位采集信息。二是能夠搭載多種傳感器,傳感器的信息采集與數(shù)據(jù)傳輸獨(dú)立、相互無干擾。三是識(shí)別裝置應(yīng)可適配移動(dòng)平臺(tái),保證車載作業(yè)時(shí)傳感器工作穩(wěn)定。四是傳感器組合能夠克服果園環(huán)境的光照變化、溫濕度變化、氣候突變等干擾,保證正常工作。
本研究設(shè)計(jì)的果樹識(shí)別裝置如圖1 所示,主要結(jié)構(gòu)包括高頻單線激光雷達(dá)、姿態(tài)傳感器、3 自由度云臺(tái)、連接接口、云臺(tái)固定底座和主控單元等。
高頻單線激光雷達(dá)的優(yōu)勢(shì)是測距更精準(zhǔn),室外抗強(qiáng)光能力更強(qiáng),掃描采樣頻率更高。果樹冠形數(shù)據(jù)采集一般在室外強(qiáng)光環(huán)境中,雷達(dá)能有效抵抗室外強(qiáng)光干擾,實(shí)現(xiàn)雷達(dá)穩(wěn)定測量,果樹往往形狀各異,繁茂程度不同,雷達(dá)的高頻率掃描能顯著增加有效采樣點(diǎn),提高采樣精度[14]。
姿態(tài)傳感器主要用于實(shí)時(shí)采集雷達(dá)姿態(tài),為每個(gè)采樣點(diǎn)提供空間姿態(tài)信息[15]。
3 自由度云臺(tái)可實(shí)現(xiàn)升降、旋轉(zhuǎn)、俯仰3 維度動(dòng)作,以多維度運(yùn)動(dòng)來帶動(dòng)雷達(dá)在末端自由運(yùn)動(dòng),達(dá)到三維掃描的目的[16]。
連接接口主要通過層疊結(jié)構(gòu)將雷達(dá)與姿態(tài)傳感器連接固定,從而使雷達(dá)與姿態(tài)傳感器在云臺(tái)上保持同步運(yùn)動(dòng)。
云臺(tái)固定底座主要用來與云臺(tái)連接,穩(wěn)固云臺(tái),并以快拆結(jié)構(gòu)實(shí)現(xiàn)在不同機(jī)具上掛載。
主控單元主要與雷達(dá)、姿態(tài)傳感器、云臺(tái)進(jìn)行數(shù)據(jù)連接,實(shí)現(xiàn)云臺(tái)控制、數(shù)據(jù)采集及數(shù)據(jù)分析功能。
1.2 識(shí)別傳感裝置結(jié)構(gòu)
如圖2 所示,識(shí)別裝置中3 自由度云臺(tái),主要通過升降維度來調(diào)節(jié)傳感器采集高度,提高不同果樹作物的測量適應(yīng)性;旋轉(zhuǎn)維度主要實(shí)現(xiàn)傳感器對(duì)果樹的正對(duì)測量;俯仰維度主要用于激光雷達(dá)的掃描測量,增加激光雷達(dá)的測量范圍。
識(shí)別裝置中云臺(tái)升降結(jié)構(gòu),采用電動(dòng)剪式升降支架,剪式支架的好處是升降調(diào)節(jié)響應(yīng)快速,占用空間小,在數(shù)據(jù)采樣過程中穩(wěn)定,不會(huì)產(chǎn)生晃動(dòng)。升降電驅(qū)部分采用42 步進(jìn)電機(jī),步進(jìn)角度1.8°,采用脈沖信號(hào)控制1 600 細(xì)分,使云臺(tái)升降可實(shí)現(xiàn)5 mm/s 的最大速度調(diào)節(jié)。云臺(tái)旋轉(zhuǎn)結(jié)構(gòu)核心部分采用轉(zhuǎn)盤軸承,軸承外軸安裝孔連接底座保持定子狀態(tài),為云臺(tái)上方負(fù)載提供支撐,軸承內(nèi)軸安裝孔分別與下方旋轉(zhuǎn)支架及上方支撐結(jié)構(gòu)連接,旋轉(zhuǎn)支架為U 型結(jié)構(gòu)與底座驅(qū)動(dòng)電機(jī)連接,驅(qū)動(dòng)電機(jī)旋轉(zhuǎn)帶動(dòng)軸承內(nèi)軸旋轉(zhuǎn);上方支撐結(jié)構(gòu)由旋轉(zhuǎn)機(jī)構(gòu)提供支撐平臺(tái),與內(nèi)軸保持同步旋轉(zhuǎn)。云臺(tái)俯仰結(jié)構(gòu)采用大扭矩舵機(jī)驅(qū)動(dòng),舵機(jī)采用180°調(diào)節(jié)區(qū)間,由舵機(jī)固定座固定在旋轉(zhuǎn)平臺(tái)上,舵機(jī)轉(zhuǎn)軸與俯仰支架連接帶動(dòng)俯仰支架旋轉(zhuǎn)。識(shí)別裝置主要關(guān)鍵部件如圖3 所示。
激光雷達(dá)固定在俯仰支架上,隨俯仰支架的旋轉(zhuǎn)可實(shí)現(xiàn)雷達(dá)的掃描式測量,激光雷達(dá)如圖4a 所示,采用上海思嵐科技有限公司的RPLIDAR S2 緊湊型DTOF 激光雷達(dá),測量半徑30 m、采樣頻率可達(dá)32 kHz、角度分辨率0.12°,具有測量精度高、室內(nèi)外可用、防塵防水、兼容性高及成本低等特點(diǎn)。
在俯仰支架上還安裝有一個(gè)姿態(tài)傳感器,傳感器安裝方向與雷達(dá)采集方向一致,為雷達(dá)點(diǎn)云數(shù)據(jù)提供位姿。姿態(tài)傳感器采用維特智能的WT61 六軸數(shù)字傾角傳感器,如圖4b 所示。傳感器可采集三軸角速度、三軸陀螺儀、三軸角度數(shù)據(jù),模塊內(nèi)部集成了姿態(tài)解算器,配合動(dòng)態(tài)卡爾曼濾波算法,能夠在動(dòng)態(tài)環(huán)境下準(zhǔn)確輸出模塊的當(dāng)前姿態(tài),姿態(tài)測量精度靜態(tài)0.2°,穩(wěn)定性高。
1.3 控制系統(tǒng)
識(shí)別裝置控制單元主要采用Linux 系統(tǒng)的樹莓派4B 開發(fā)板來控制,整體控制接口分配如圖5 所示,利用開發(fā)板GPIO 口發(fā)送脈沖信號(hào),分別控制云臺(tái)步進(jìn)電機(jī)與旋轉(zhuǎn)舵機(jī),激光雷達(dá)與姿態(tài)傳感器通信接口為TTL 串口模式,因此開發(fā)板UART1 與UART2 分別與激光雷達(dá)及姿態(tài)傳感器進(jìn)行通信,因樹莓派默認(rèn)穩(wěn)定串口只有1 個(gè),因此要連接姿態(tài)傳感器樹莓派還需打開4 串口模式。
為更好地實(shí)現(xiàn)各模塊間的數(shù)據(jù)交互,以及設(shè)備裝置的耦合,整體軟件架構(gòu)采用ROS2 機(jī)器人操作系統(tǒng),系統(tǒng)中包含設(shè)備有激光雷達(dá)、姿態(tài)傳感器、云臺(tái)驅(qū)控單元和數(shù)據(jù)處理單元。根據(jù)功能及數(shù)據(jù)結(jié)構(gòu)分類,其中激光雷達(dá)、姿態(tài)傳感器為傳感型設(shè)備,數(shù)據(jù)為實(shí)時(shí)單向傳輸;云臺(tái)驅(qū)控單元、數(shù)據(jù)處理單元為交互式驅(qū)動(dòng)單元,數(shù)據(jù)是雙向傳輸交互。因此,針對(duì)果樹識(shí)別裝置設(shè)計(jì)ROS 架構(gòu)如圖6 所示,將激光雷達(dá)、姿態(tài)傳感器建立消息發(fā)布(publisher) 節(jié)點(diǎn), 主控以訂閱(subscriber)節(jié)點(diǎn)通過話題(topic)訪問獲取到相關(guān)數(shù)據(jù),并進(jìn)行處理。主控為云臺(tái)驅(qū)控單元、數(shù)據(jù)處理單元建立服務(wù)(service),以請(qǐng)求(request)方式向各單元發(fā)布控制指令, 各控制單元向主控做出響應(yīng)(response)。