摘 要：基于視覺導航的森林移動機器人具有機器人作為邊緣設備算力有限、導航效果受光照影響較大的問題。為此，提出一種輕量化的樹干檢測方法，該方法基于YOLOv7-tiny模型，采用可見光圖像與熱成像圖像作為輸入，導航效果受光照影響較??；同時采用基于部分通道卷積（Partial Convolution，PConv）的特征提取模塊-部分通道卷積高效層聚合網(wǎng)絡（Partial Efficient Layer Aggregation Networks，P-ELAN），對基準模型進行輕量化改進；在訓練階段用alpha-CIoU損失函數(shù)替換原始的CIoU損失函數(shù)，提高邊界框回歸的準確性。結(jié)果表明，所提出的森林移動機器人樹干檢測方法相較于原始YOLOv7-tiny模型參數(shù)量減少31.7%，計算量減少33.3%，在圖形處理器（Graphics Processing Unit，GPU）和中央處理器（Central Processing Unit，CPU）上的推理速度分別提升了33.3%和7.8%。修改后的模型在保持對樹干檢測精度基本不變的基礎上更加輕量化，成為部署在機器人等邊緣設備上的理想選擇。

關(guān)鍵詞：樹干檢測； 森林移動機器人； 目標檢測； 熱成像； 輕量化

中圖分類號：S762；TP391.4 文獻標識碼：A DOI：10.7525/j.issn.1006-8023.2024.04.012

Trunk Detection for Forest Mobile Robots Based on Deep Learning

HU Junfeng， ZHU Hao， HUANG Xiaowen， LI Baicong， ZHAO Yafeng*

（College of Computer and Control Engineering， Northeast Forestry University， Harbin 150040， China）

Abstract： Forest mobile robots based on visual navigation face the problem of limited computational power as edge devices and the navigation performance is greatly affected by illumination. To address this， a lightweight trunk detection method is proposed. This method uses visible and thermal image as inputs， minimizing the impact of illumination on navigation performance it also employs a feature extraction module based on Partial Convolution （PConv） and a Partial Efficient Layer Aggregation Network （P-ELAN） to achieve lightweight improvements to the baseline model. During training， the alpha-CioU loss function is used to replace the original CIoU loss function， increasing the accuracy of bounding box regression. The results show that the proposed tree trunk detection method for forest mobile robots reduces the parameter count of the original YOLOv7-tiny model by 31.7%， decreases computation by 33.3%， and improves inference speeds on Graphics Processing Units （GPU） and Central Processing Units （CPU） by 33.3% and 7.8%. The modified model maintains comparable accuracy while being more lightweight， making it an ideal choice for deployment on edge devices such as robots.

Keywords： Trunk detection； forest mobile robots； object detection； thermal image； lightweight

0 引言

森林移動機器人在森林管理和保護中發(fā)揮著重要作用，廣泛應用于森林資源監(jiān)測、野生動物追蹤、森林火災預防和監(jiān)測和環(huán)境數(shù)據(jù)收集等任務。然而，要想完成這些任務，有效且可靠的導航必不可少。因此，研究森林移動機器人的視覺導航問題具有重要意義。

孫上杰等［1］提出一種森林消防機器人路徑規(guī)劃方法，通過建立二維網(wǎng)格地圖，對復雜的環(huán)境進行模擬，之后分別對強化學習和深度強化學習算法進行仿真研究。楊松等［2］將蟻群算法引入森林防火移動機器人的路徑規(guī)劃中，實現(xiàn)更強的全局搜索能力和較好的應用價值。但這2種方法都基于全局環(huán)境信息已知這一前提條件，因此存在局限性。

森林環(huán)境本質(zhì)上是復雜且不可預測的［3］。如何進行實時的環(huán)境判別成為一個重要的主題。一種做法是采用激光雷達（Light Detection and Ranging，LiDAR）系統(tǒng)對周圍環(huán)境進行實時掃描，并根據(jù)激光的往返時間進行精確距離測量。Malavazi等［4］通過點云處理激光雷達數(shù)據(jù)進行農(nóng)作物和雜草檢測，取得了不錯的成果。然而，激光雷達提供的信息有限，因為其僅捕獲距離和角度數(shù)據(jù)，不能從中對感知到的物體進行分類。另一種做法是使用相機作為導航系統(tǒng)的輸入設備。相機具備成本低且易于安裝的優(yōu)勢，同時能提供豐富的信息?；诖耍鄼C在導航系統(tǒng)中得到了廣泛的應用。Takagaki等［5］使用相機提供的顏色信息，以及陰影和土壤紋理，成功區(qū)分可通行區(qū)域（犁溝）和不可通行區(qū)域（山脊）。森林移動機器人全天候的工作內(nèi)容對應著不同的光照條件，這對開發(fā)高效的機器人視覺系統(tǒng)提出重大挑戰(zhàn)［6］。而普通RGB相機對光照敏感，弱光照下其拍照精度可能降低［7］并導致目標識別受損。與普通RGB相機不同，熱成像儀具有不受光照條件阻礙的檢測能力。Beyaz等［8］使用熱成像儀檢測樹干的內(nèi)部損壞，從而評估樹干的健康情況。因此將熱成像儀應用于森林移動機器人的導航是可行的。此外，人工智能和深度學習也被用于林業(yè)移動機器人的視覺導航。Itakura等［9］將YOLOv2和ResNet-50用于使用城市街道圖像自動檢測樹木。Xie等［10］提出利用Faster R-CNN進行樹木檢測的注意力網(wǎng)絡。

為實現(xiàn)復雜光照環(huán)境下森林移動機器人的視覺導航，本研究在強光照環(huán)境下使用可見光圖像，在弱光照或無光照條件下使用熱成像圖像來進行樹干檢測，使森林移動機器人在各類光照條件下都能執(zhí)行自動化任務。由于森林移動機器人作為邊緣設備算力有限，提出一種改進的YOLOv7-tiny模型，引入部分通道卷積并構(gòu)建輕量化的特征提取模塊P-ELAN，減少模型的參數(shù)和計算要求，使模型輕量化且硬件友好；同時引入alpha-CIoU損失函數(shù)，提升邊界框預測的魯棒性，同時提高模型檢測的準確性。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)采集

本研究使用的數(shù)據(jù)最初來源于開源數(shù)據(jù)集ForTrunkDet，之后通過新采集的部分數(shù)據(jù)對該數(shù)據(jù)集進行補充。

1.1.1 開源數(shù)據(jù)集ForTrunkDet

Da silva等［11］提供一個包含2 895個可見光圖像和熱成像圖像的數(shù)據(jù)集。該數(shù)據(jù)集收集葡萄牙 3個不同森林地區(qū)的圖像：瓦隆古（41°11′22.09″ N，8°29′55.54″ W）、孔迪（41°21′14.22″ N，8°44′30.66″ W）和洛邦（40°59′05.10″ N，8°29′17.41″ W）。這3個林區(qū)主要由2種樹種組成，分別為桉樹和松樹。使用4臺攝像機進行圖像采集，GoPro Hero6、FLIR M232、ZED Stereo 和 Allied Mako G-125。數(shù)據(jù)集結(jié)構(gòu)的詳細信息見表1。

1.1.2 自采數(shù)據(jù)

本研究使用iPhone14相機和?？低昄H15熱成像模組，采集東北林業(yè)大學城市林業(yè)示范基地（45°43'25.50″ N， 126°37'51.05″ E）的圖像并進行人工標注，對上述開源數(shù)據(jù)集進行補充。補充數(shù)據(jù)集包括200張可見光圖像與100張熱成像圖像。

1.2 數(shù)據(jù)集預處理

根據(jù)對森林樹干檢測這一任務的適用性進行篩選，消除存在缺陷的圖像，例如過度模糊的圖像或過度曝光的圖像。然后使用標注工具LabelImg進行人工標注。

預選產(chǎn)生的原始數(shù)據(jù)集由3 195張圖像組成，其中包含2 229張可見光圖像，966張熱成像圖像，按9∶1的比例劃分為訓練集和驗證集。由于深度學習模型需要大量數(shù)據(jù)才能達到更高的準確性，本研究通過模糊圖像、水平翻轉(zhuǎn)、更改色調(diào)和飽和度、更改圖像的對比度、向圖像添加高斯噪聲、將圖像旋轉(zhuǎn)-10°、將圖像旋轉(zhuǎn)+10°、縮放圖像的方法對原始訓練集進行增強。

1.3 樹干檢測方法

1.3.1 改進的YOLOv7-tiny模型

作為目標檢測領域經(jīng)典的網(wǎng)絡框架之一，YOLO算法已經(jīng)過多次迭代，實現(xiàn)精度和速度之間的最佳平衡?？紤]到森林移動機器人作為邊緣設備并不適合搭載高算力硬件，本研究選擇在YOLOv7算法［12］的輕量化分支YOLOv7-tiny的基礎上加以改進。改進后的YOLOv7-tiny算法由骨干網(wǎng)絡、頸部和檢測頭3大部分組成。

骨干網(wǎng)絡主要負責特征提取。本研究構(gòu)建算力友好的特征提取模塊（Partial Efficient Layer Aggregation Networks，P-ELAN），降低了特征提取時所需要的參數(shù)量和計算量。之后，提取到的特征在頸部通過空間金字塔池化模塊（Spatial Pyramid Pooling，SPP）和改進的金字塔注意力網(wǎng)絡（Pyramid Attention Network，PAN）進行融合。SPP模塊取代卷積層之后的常規(guī)池化層，可以增大感受野并獲得多尺度特征，且訓練速度較為理想。PAN結(jié)構(gòu)有效地整合不同層次的特征圖，生成新的特征表示并增強檢測性能。檢測頭負責預測圖像特征、構(gòu)建邊界框、輸出用于檢測的特征圖，完成檢測過程的最后階段。

此外，在訓練過程中，本研究放棄原始模型中所用的CIoU損失函數(shù)，改用alpha-CIoU損失函數(shù)來提高邊界框回歸的準確性。

1.3.2 改進的特征提取模塊P-ELAN

ELAN模塊是一種高效的網(wǎng)絡結(jié)構(gòu)，由多個卷積層組成，并控制梯度路徑以增強特征學習能力并增強魯棒性。其中每個卷積層都包括1次卷積、1次批量歸一化與1次激活。ELAN由2個分支組成：第1個分支通過一個1×1卷積改變通道數(shù)；第2個分支依次通過1個1×1卷積和2個3×3卷積。每通過1個卷積便產(chǎn)生1個輸出，最終使用1個1×1卷積調(diào)整這些分支的4個輸出。

Chen等［13］提出部分通道卷積。該方法通過僅在選擇的輸入通道上執(zhí)行卷積運算并直接傳輸剩余通道特征來減少特征圖中的計算冗余。為使模型更加輕量化從而便于部署，本研究基于最初的ELAN塊，使用部分通道卷積替換了2個標準3×3卷積，通過僅在部分輸入通道上執(zhí)行卷積運算并保留其余通道的特征來減少特征圖中的計算冗余。改進的特征提取模塊P-ELAN結(jié)構(gòu)如圖1所示。

1.3.3 改進的損失函數(shù)alpha-CIoU

在訓練過程中，引入了alpha-CIoU替換了原本的CIoU，其推導過程如下。

交并比（Intersection over Union，IoU，式中記為IoU）用于評估預測邊界框和真實邊界框之間的匹配程度。IoU僅考慮二者的位置重疊，而不考慮其位置和尺度偏差。因此，Zheng等［14］提出一種更精確的評估指標，稱為完備交并比（Complete Intersection over Union，CIoU，式中記為LCIoU）。其表達式為

L_CIoU=S+D+V。 （1）

式中：S為重疊區(qū)域；D為距離；V為長寬比。

S為原始IoU損失函數(shù)，公式為

（S=1-I_oU ）。 （2）

D通過計算預測框和真實框中心點之間的歐氏距離來測量邊界框之間的位置偏差，公式為

（D=（ρ^2 （p_p，p_t ））/c^2 ）。 （3）

式中：ρ（pp，pt）為預測框中心點pp和真實框中心點pt之間的歐氏距離；c為目標框與預測框最小包裹框的對角線長度。

V測量邊界框之間的縱橫比偏差，是通過比較預測框和真實框的縱橫比獲得的，公式為

（V=4/π^2 ?（arctan（h_t/w_t ）-arctan（h_r/w_r ） ）^2 ）。 （4）

式中：wt、ht、wr和hr分別為目標框與預測框的寬與高。

最后，CIoU損失函數(shù)（LCIoU）可以表示為

（L_CIoU=1-I_oU+（ρ^2 （p_p，p_t ））/c^2 +β?V）。 （5）

式中，β取決于IoU。

He等［15］提出alpha-CIoU。計算公式（6）為

（L_（α-CIoU）=1-I_oU^α+（ρ^2α （p_p，p_t ））/c^2α +（β?V）^α ）。 （6）

式中：α為超參數(shù)，alpha-CIoU通過添加α超參數(shù)，對原始的CIoU進行了推廣。當α=1時，alpha-CIoU被還原為CIoU；當α>1時，相較于原始CIoU損失函數(shù)，alpha-CIoU加重了高IoU值對象的損失和梯度，從而提高了邊界框回歸的準確性；當0<α<1時，效果則相反，邊界框回歸的準確性降低了。過往試驗證明，α對于不同的模型或數(shù)據(jù)集并不太敏感，因此，本研究中α超參數(shù)取經(jīng)驗值為3。

1.3.4 評價指標

在本研究中，使用參數(shù)量和浮點運算數(shù)（Floating Point Operations，F(xiàn)LOPs）來評估模型大?。皇褂闷骄染担∕ean Average Precision，mAP，式中記為mAP）在不同IoU閾值（0.5～0.95，步長0.05）下的平均數(shù)即mAP@.5：.95來評估模型檢測精度；使用單張圖片推理時間來評估檢測速度。mAP被認為是評估目標檢測模型整體精度的重要指標，是其性能的可靠指標，計算公式為

m_AP=1/M ∑_（k=1）^M?〖A_P （k）〗×100%。 （7）

式中：AP為平均精度；M為類別總數(shù)。

2 結(jié)果與分析

2.1 試驗環(huán)境搭建

試驗選用Intel? Core? i7-13700K 3.4 GHz CPU，內(nèi)存128 G，顯卡為GeForce RTX 4090 24 G。使用Ubuntu 22.04系統(tǒng)搭建基于Python 3.10和Pytorch 2.0.0的深度學習框架。在訓練過程中設置輸入分辨率為512×512，學習率為0.01，批量大小為128，訓練迭代次數(shù)設置為100。

2.2 樹干檢測試驗結(jié)果與分析

使用處理以后的數(shù)據(jù)集對改進的YOLOv7-tiny模型進行訓練和驗證，為驗證各模塊對網(wǎng)絡性能的影響，進行消融試驗，并與經(jīng)典網(wǎng)絡進行對比。每輪訓練后都進行一次評價指標和損失值的計算，經(jīng)過100輪訓練后，得到以下試驗結(jié)果。

2.2.1 消融試驗

為驗證引入的alpha-CIoU損失和改進后的P-ELAN模塊對改進YOLOv7-tiny模型的影響，在本研究數(shù)據(jù)集中進行消融試驗來分析每個成分的貢獻。為保證試驗結(jié)果的可靠性，對每個模型重復試驗3次，并選取3次試驗結(jié)果的平均值作為最終結(jié)果，試驗結(jié)果見表2，其中“√”代表該模塊被乘用。

在本研究中，alpha-CIoU首先單獨替換到原本使用CIoU的基線模型中，成功使mAP@.5：.95增加1.4%。隨后，單獨添加P-ELAN模塊導致mAP@.5：.95降低3.5%，同時模型參數(shù)量減少31.7%，計算量減少33.3%。當兩者結(jié)合起來時，模型的參數(shù)和計算成本減少了三分之一，而mAP@.5：.95僅減少1.9%。消融試驗結(jié)果表明，P-ELAN模塊雖然可能導致檢測精度下降，但大大降低模型的計算復雜度，提高檢測速度。同時，alpha-CIoU損失函數(shù)強化模型的訓練過程，在不增加任何負擔的情況下獲得更好的精度。

由表2可知，雖然改進后的YOLOv7-tiny模型在CPU和GPU上都比原始YOLOv7-tiny模型實現(xiàn)了更快的推理速度，但并不能確定本試驗所提算法是否能夠在低功耗邊緣設備上保持或在多大程度上保持其推理速度優(yōu)勢。這是未來研究中可以進一步探討的一點。

2.2.2 對比試驗

為進一步驗證改進YOLOv7-tiny算法在樹干檢測中的效果，在本研究數(shù)據(jù)集上將改進YOLOv7-tiny與YOLOv4 tiny、SSD-ResNet50［16］、Faster R-CNN［17］進行對比，試驗結(jié)果見表3。

本研究提出的方法相對于其他經(jīng)典的目標檢測算法，檢測精度提高6.3%～11.0%。試驗結(jié)果表明，本研究方法在樹干檢測中表現(xiàn)出色，檢測精度很高。

2.2.3 可視化

圖2為一組驗證集圖像，顯示本研究模型在識別樹干方面的識別效果。其中，圖2（a）和圖2（b）是可見光圖像，圖2（c）和圖2（d）是熱成像圖像。盡管圖2（d）圖背景中的塔與樹干相似，但本研究模型仍然成功地區(qū)分樹干和塔。但與此同時，圖2（b）中的一些小樹干沒有被識別出來，這表明本研究模型在對小目標的識別方面仍有提升空間。

3 結(jié)論

森林移動機器人的視覺導航是林業(yè)自動化過程的重要要求。因此，提出一種改進森林移動機器人直立樹干檢測方法。該方法引入部分卷積技術(shù)來創(chuàng)建獨特的P-ELAN塊，并通過alpha-CIoU損失函數(shù)增強YOLOv7-tiny。試驗結(jié)果表明，改進后的模型比未修改的YOLOv7-tiny更輕量化，參數(shù)量和計算量從6.0×106和13.2×109減少到4.1×106和8.8×109。因此，修改后的模型更適合機器人等邊緣設備，為開發(fā)森林移動機器人視覺導航系統(tǒng)提供了強有力的支持。對比試驗結(jié)果也表明，該方法優(yōu)于其他檢測器。

未來的工作將包括通過添加深度圖像來增加數(shù)據(jù)集，這些圖像對于影響探測器性能的森林中頻繁的光線變化具有魯棒性，并且除了樹干圖像之外還包括更多的森林物體圖像。此外，也會將這些模型集成到現(xiàn)有的森林機器人中，以執(zhí)行依賴于模型檢測的自主導航和其他任務。

【參 考 文 獻】

［1］ 孫上杰，姜樹海，崔嵩鶴，等.基于深度學習的森林消防機器人路徑規(guī)劃［J］.森林工程，2020，36（4）：51-57.

SUN S J，JIANG S H，CUI S H，et al.Path planning of forest fire fighting robots based on deep learning［J］.Forest Engineering，2020，36（4）：51-57．

［2］ 楊松，洪濤，朱良寬.改進蟻群算法的森林防火移動機器人路徑規(guī)劃［J］.森林工程，2024，40（1）：152-159.

YANG S，HONG T，ZHU L K.Forest fire prevention mobile robot path planning based on improved ant colony algorithm［J］.Forest Engineering，2024，40（1）：152-159.

［3］ BERGERMAN M，BILLINGSLEY J，REID J，et al.Robotics in agriculture and forestry［J］.Springer Handbook of Robotics，2016：1463-1492.

［4］ MALAVAZI F B P，GUYONNEAU R，F(xiàn)ASQUEL J B，et al.LiDAR-only based navigation algorithm for an autonomous agricultural robot［J］.Computers and Electronics in Agriculture，2018，154：71–79.

［5］ TAKAGAKI A，MASUDA R，IIDA M，et al.Image processing for ridge/furrow discrimination for autonomous agricultural vehicles navigation［J］.IFAC Proceedings Volumes，2013，46（18）：47-51.

［6］ ZHANG Y，CHEN H，HE Y，et al.Road segmentation for all-day outdoor robot navigation［J］.Neurocomputing，2018，314：316-325.

［7］ GUO Z，LI X，XU Q，et al.Robust semantic segmentation based on RGB-thermal in variable lighting scenes［J］.Measurement，2021，186：110176.

［8］ BEYAZ A，?ZKAYA M T.Canopy analysis and thermographic abnormalities determination possibilities of olive trees by using data mining algorithms［J］.Notulae Botanicae Horti Agrobotanici Cluj-Napoca，2021，49（1）：12139-12139.

［9］ ITAKURA K，HOSOI F.Automatic tree detection from three-dimensional images reconstructed from 360° spherical camera using YOLO v2［J］.Remote Sensing，2020，12（6）：988.

［10］ XIE Q，LI D，YU Z，et al.Detecting trees in street images via deep learning with attention module［J］.IEEE Transactions on Instrumentation and Measurement，2019，69（8）：5395-5406.

［11］ DASILVA D Q，DOSSANTOS F N，SOUSA A J，et al.Visible and thermal image-based trunk detection with deep learning for forestry mobile robotics［J］.Journal of Imaging，2021，7（9）：176.

［12］ WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：Trainable Bag-of-freebies Sets New State-of-the-art for Real-time Object Detectors［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2023：7464-7475.

［13］ CHEN J，KAO S，HE H，et al.Run，Don′t Walk：Chasing Higher FLOPS for Faster Neural Networks［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2023：12021-12031.

［14］ ZHENG Z，WANG P，REN D，et al.Enhancing geometric factors in model learning and inference for object detection and instance segmentation［J］.IEEE Transactions on Cybernetics，2021，52（8）：8574-8586.

［15］ HE J，ERFANI S，MA X，et al.Alpha-IoU：A family of power intersection over union losses for bounding box regression［J］.Advances in Neural Information Processing Systems，2021，34：20230-20242.

［16］ LIU W，ANGUELOV D，ERHAN D，et al.Ssd：Single Shot Multibox Detector［C］//Computer Vision-ECCV 2016：14th European Conference，Amsterdam，The Netherlands，October 11-14，2016，Proceedings，Part I 14.Springer International Publishing，2016：21-37.

［17］ REN S，HE K，GIRSHICK R，et al.Faster r-cnn：Towards real-time object detection with region proposal networks［J］.Advances in neural information processing systems，2015，39（6）：1137-1149.