摘" 要： 蘋果葉片病害的及時分割與準(zhǔn)確分級對于提高蘋果產(chǎn)量和質(zhì)量至關(guān)重要。然而，在復(fù)雜的環(huán)境下，圖像容易受到相似顏色背景和不同光照等因素的影響，給葉片和病斑的準(zhǔn)確分割帶來挑戰(zhàn)，進(jìn)而影響病害分級的準(zhǔn)確性。針對此問題，文中提出一種實時語義分割算法RT?BiSeNet，用于蘋果葉片病害的分割和分級。首先，分別對BiSeNet的上下文路徑和空間路徑進(jìn)行重構(gòu)，在保證實時分割速度的同時提高分割精度；其次，在解碼器中融合淺層的特征映射，提高了葉片邊緣和小病斑的分割效果。實驗結(jié)果表明，RT?BiSeNet算法的mIoU和mPA分別為94.60%和97.13%，參數(shù)量和復(fù)雜度降低了85.95%和72.23%，分割速度達(dá)到130.20 f/s，優(yōu)于其他實時分割方法。該算法能從復(fù)雜的背景中實時分割出葉片和病斑，然后根據(jù)分級標(biāo)準(zhǔn)對病害進(jìn)行分級，可為實際生產(chǎn)中蘋果病害的精準(zhǔn)防控和治療提供技術(shù)支持。

關(guān)鍵詞： 蘋果葉片； 深度學(xué)習(xí)； 語義分割； BiSeNet； 復(fù)雜環(huán)境； 病害分級； 實時分割

中圖分類號： TN911.73?34； TP391" " " " " " " " " " 文獻(xiàn)標(biāo)識碼： A" " " " " " " " " 文章編號： 1004?373X（2025）07?0035?08

Apple leaf disease real?time segmentation and grading algorithm based on RT?BiSeNet

HUANG Yang1， CHEN Jiqing1， 2， HUANG Lixiang1， SHE Kairong1， HAO Kewei1

（1. School of Mechanical Engineering， Guangxi University， Nanning 530007， China;

2. Guangxi Key Lab of Manufacturing System and Advanced Manufacturing Technology， Nanning 530007， China）

Abstract： Timely segmentation and accurate grading of apple leaf diseases are crucial for improving apple yield and quality. However， in complex environments， images are often affected by factors such as backgrounds with similar colors and varying lighting conditions， which poses significant challenges to the accurate segmentation of leaves and disease spots. These challenges subsequently impact the precision of disease grading. In view of this， a real?time semantic segmentation algorithm， RT?BiSeNet， is proposed for the segmentation and grading of apple leaf diseases. The context path and spatial path of BiSeNet are reconstructed to enhance segmentation accuracy while maintaining real?time processing speed first， and then shallow feature mapping is integrated into the decoder to improve the segmentation effect of leaf edges and small disease spots. The experimental results demonstrate that the mIoU （mean intersection over union） and mPA （mean pixel accuracy） of the RT?BiSeNet algorithm achieve 94.60% and 97.13%， respectively， while reducing the number and complexity of parameters by 85.95% and 72.23%， respectively. The segmentation speed reaches 130.20 f/s， surpassing other real?time segmentation methods. The algorithm can effectively separate leaves and disease spots in real time from complex backgrounds and then grade the diseases according to the established criteria. To sum up， it can provide technical support for accurate prevention and treatment of apple diseases in actual production.

Keywords： apple leaf; deep learning; semantic segmentation; BiseNet; complex environment; disease grading; real?time segmentation

0" 引" 言

蘋果是世界上消費量第三大的水果作物[1]，年產(chǎn)量超過8 100萬噸。由于環(huán)境因素的影響，蘋果葉片會不可避免地受到各種病害的危害，其中蛙眼葉斑?。‵rogeye Leaf Spot）和銹?。╮ust）是嚴(yán)重危害蘋果產(chǎn)量和質(zhì)量的兩大病害，給果農(nóng)造成了重大經(jīng)濟(jì)損失[2]。而蘋果葉片病害的檢測和嚴(yán)重程度診斷可以幫助種植者精準(zhǔn)制定用藥計劃，及時預(yù)防損失。

以往的蘋果葉片病害識別和分級方法主要靠人工完成，這種方法存在勞動強(qiáng)度大、速度慢、主觀性強(qiáng)、誤判率高等缺點[3]。因此，開發(fā)一種快速、低成本的蘋果葉片病害自動診斷系統(tǒng)至關(guān)重要。近年來，圖像處理和計算機(jī)視覺技術(shù)的分析和處理能力愈來愈強(qiáng)大，極大推動了農(nóng)業(yè)智能化的發(fā)展[4]。在此背景下，人們研究了閾值分割[5]、邊緣檢測[6]和支持向量機(jī)[7]等圖像處理方法來分割植物葉片病害。然而，圖像處理方法需要依賴于手工設(shè)計的特征和規(guī)則，泛化性差且分割結(jié)果不夠準(zhǔn)確。

與圖像處理方法相比，深度學(xué)習(xí)語義分割方法能夠自動學(xué)習(xí)圖像中的特征表示。文獻(xiàn)[8]將多方向多尺度空間信息池化模塊加入全卷積神經(jīng)網(wǎng)絡(luò)中。文獻(xiàn)[9]通過在DeepLabV3+中引入注意力機(jī)制，這些方法都提高了對蘋果葉片病害的分割精度。但是他們都只考慮了簡單環(huán)境中的葉片，并且沒有考慮葉片病斑的分割，實用性較低。因此，文獻(xiàn)[10]通過替換U?Net的特征提取網(wǎng)絡(luò)，實現(xiàn)了水稻葉片和病斑的準(zhǔn)確分割。文獻(xiàn)[11]以EfficientNetV2作為特征提取網(wǎng)絡(luò)，實現(xiàn)對玉米病蟲害的識別和分級。盡管這些方法分割效果還不錯，但是卻增加了許多計算量，無法滿足實時性要求。

為了滿足實時分割的要求，文獻(xiàn)[12]提出一種BiSeNet（Bilateral Segmentation Network），其中上下文路徑用來獲取上下文信息，空間路徑通過簡單卷積操作保留空間信息且不過多增加計算量，然后使用融合模塊組合特征，這種雙路徑分割網(wǎng)絡(luò)被廣泛應(yīng)用[13?15]。盡管這些方法在一定程度上減少了計算量，但卻是以犧牲分割精度為代價的。

針對以上問題，本文提出了一種基于深度學(xué)習(xí)的蘋果葉片病害實時分割算法RT?BiSeNet，該算法同時實現(xiàn)了復(fù)雜背景中葉片與病斑的精確分割。此外，設(shè)計了蘋果葉片病害的分級方法，該方法通過計算病斑區(qū)域像素與葉片區(qū)域總像素之比實現(xiàn)?？傮w而言，本文算法可為實際生產(chǎn)中蘋果葉病害的精準(zhǔn)防控與治療提供技術(shù)支持。

1" 數(shù)據(jù)集構(gòu)建及模型設(shè)計

1.1" 數(shù)據(jù)集構(gòu)建

本文主要針對復(fù)雜環(huán)境下的蘋果病害葉片的分割。圖像數(shù)據(jù)采集于廣西南寧市的金滿園，在不同的拍攝角度和室外光照條件下收集了1 200張?zhí)O果病葉圖像，其中蛙眼葉斑病和銹病各600張，圖片分辨率為3 024×4 032。原始圖像的像素過大，會導(dǎo)致訓(xùn)練過程GPU內(nèi)存不足。因此，本文通過雙線性插值將每張圖像縮放到512×512像素。

深度學(xué)習(xí)需要足夠的數(shù)據(jù)來完成訓(xùn)練過程。本文使用以下兩種方法來增加訓(xùn)練樣本的數(shù)量：

1） 幾何變換：隨機(jī)角度翻轉(zhuǎn)、平移、隨機(jī)裁剪、鏡像；

2） 顏色抖動：高斯噪聲、隨機(jī)對比度、隨機(jī)亮度、隨機(jī)飽和度。

這些方法被隨機(jī)兩兩組合，將每張圖像擴(kuò)增7倍。最后構(gòu)建了包含9 600張預(yù)處理圖像的增強(qiáng)數(shù)據(jù)集。數(shù)據(jù)集被隨機(jī)分為訓(xùn)練集、驗證集和測試集三部分，劃分比例為8∶1∶1。

1.2" 模型設(shè)計

本文設(shè)計的模型是一種雙路徑網(wǎng)絡(luò)，上下文路徑（Context Path）可以獲得足夠的感受野和上下文信息，空間路徑（Spatial Path）可以保留豐富的空間信息并生成高分辨率特征，這兩條路徑是并行計算的。通過改進(jìn)BiSeNet的兩條分支與解碼器，本文提出一種高效的實時語義分割模型RT?BiSeNet。改進(jìn)后的網(wǎng)絡(luò)模型如圖1所示，具體細(xì)節(jié)將在接下來的小節(jié)中介紹。

1.2.1" MobileNet?RFEM模塊

特征提取能力很大程度上決定了網(wǎng)絡(luò)的性能，在原始的BiSeNet網(wǎng)絡(luò)模型中，以Resnet18為主干進(jìn)行特征提取。盡管實現(xiàn)了實時的語義分割，但是計算量和參數(shù)量比較大，網(wǎng)絡(luò)訓(xùn)練速度和收斂速度較慢。為了提高網(wǎng)絡(luò)的分割效率和分割精度，本文選擇以改進(jìn)后的MobileNet?RFEM作為上下文路徑的主干（Backbone）。MobileNetV2網(wǎng)絡(luò)主要由線性瓶頸結(jié)構(gòu)和反向殘差結(jié)構(gòu)組成，網(wǎng)絡(luò)參數(shù)更少，模型結(jié)構(gòu)更簡單。同時，深層次的上下文信息是提升語義分割性能最為重要的因素之一，而感受野的大小決定了網(wǎng)絡(luò)捕獲上下文信息的能力。因此，本文使用感受野增強(qiáng)模塊（RFEM）[16]代替MobileNetV2中的部分Bottleneck。如圖2所示，RFEM是一種多分支結(jié)構(gòu)，在減少參數(shù)量和計算量增長的同時，增加了Feature map的感受野。

網(wǎng)絡(luò)的具體結(jié)構(gòu)如表1所示。其中[t]、[c]、[n]、[s]分別代表輸入通道的擴(kuò)展因子、輸出通道數(shù)、模塊的重復(fù)次數(shù)、步長。

1.2.2" Faster Block

模型的空間路徑主要用來保持原始輸入圖像的空間大小并編碼豐富的空間信息。盡管只經(jīng)過3個常規(guī)的卷積可以保留豐富的空間信息，但是占用了較多的GPU內(nèi)存。而部分卷積（PConv）只對部分輸入通道應(yīng)用常規(guī)的卷積進(jìn)行空間特征提取，其余通道保持不變。這樣可以有效減少內(nèi)存訪問和冗余運(yùn)算，并且可以在獲得更快運(yùn)行速度的同時保證分割任務(wù)的準(zhǔn)確性。因此，本文采用Faster Block[17]作為空間路徑的特征提取器，它的核心是使用PConv，整體結(jié)構(gòu)如圖3所示。

1.2.3" BiSeNetOutput模塊

在主干網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取的過程中，特征圖會被多次下采樣，導(dǎo)致小目標(biāo)與邊界的特征逐漸模糊。而在特征圖的上采樣階段，原始解碼器沒有充分利用主干網(wǎng)絡(luò)生成的多級特征圖，如圖4a）所示。

因此，本文在解碼器中設(shè)計兩次上采樣的策略并融合淺層特征圖，在更完整地恢復(fù)特征圖的同時保留了目標(biāo)的位置和邊界信息。改進(jìn)后的BiSeNetOutput如圖4b）所示。

1.2.4" 損失函數(shù)

本文在RT?BiSeNet模型中引入了一個損失函數(shù)，該函數(shù)結(jié)合了Dice Loss和Focal Loss。在所采集的蘋果葉片數(shù)據(jù)集中包含復(fù)雜的背景，Dice Loss（見式（1））可以緩解圖像中前景背景不平衡帶來的消極影響，使網(wǎng)絡(luò)訓(xùn)練更關(guān)注前景區(qū)域的挖掘。

[Ldice=1-2X?Y+SmoothX+Y+Smooth] （1）

式中：[X]和[Y]分別表示Ground Truth、Predicted Mask的像素類別；[X?Y]為像素的點乘后相加；[X+Y]為對應(yīng)圖像中的像素相加；Smooth為1×10-5，用于防止分母為0。

在單獨使用Dice Loss時，正樣本為小目標(biāo)時訓(xùn)練會產(chǎn)生嚴(yán)重的振蕩。因此，本文將其搭配Focal Loss（見式（2））使用，可以解決正負(fù)樣本不平衡及樣本難易程度不同的問題，讓模型將注意力放在稀少或難分的類別上，如葉片邊界區(qū)域或病害區(qū)域。

[Lfl=-（1-pt）γlogpt] （2）

式中：[pt]為樣本類別預(yù)測的置信度值；[γ]是一個可調(diào)參數(shù)，默認(rèn)值為2。

此外，本文還利用輔助損失函數(shù)來監(jiān)督訓(xùn)練過程，它可以幫助模型更快速地收斂。[Laxu]為輔助損失函數(shù)（Crossentropy Loss Function）。所以，總體損失函數(shù)可表示為：

[Ltotal=Ldice+Lfl+αLaxu] （3）

式中：[α]是[Laxu]的權(quán)重，本文訓(xùn)練過程中[α]為0.3，驗證過程為0。

2" 實驗結(jié)果與分析

2.1" 實驗設(shè)置與環(huán)境

本文實驗環(huán)境為：NVIDIA RTX 3060 12 GB，CUDA 11.8，PyTorch 2.1，Python 3.8。超參數(shù)設(shè)置如下：初始學(xué)習(xí)率為5×10-4，迭代次數(shù)為300，batch大小為16，經(jīng)過實驗后選擇合適的優(yōu)化器為Adamax。

2.2" 評估標(biāo)準(zhǔn)

為了全面分析模型的性能，本文從分割性能和部署性能兩個方面對模型進(jìn)行評估。分割性能指標(biāo)包括mPA（mean Pixel Accuracy）和mIoU（mean Intersection over Union）。部署性能指標(biāo)包括模型參數(shù)量（parameters）、模型推理速度（FPS）、每秒千兆浮點運(yùn)算（GFLOPs）。這些指標(biāo)的定義如下：

[mPA=1k+1i=0kpiij=0kpij] （4）

[mIoU=1k+1i=0kpiij=0kpij+j=0kpji-pii] （5）

式中：[pii]表示正確預(yù)測[i]類的像素數(shù)；[pij（pji）]表示屬于類別[i（j）]但被預(yù)測屬于類別[j（i）]的像素數(shù)；數(shù)據(jù)集有[k]+1個類別（包括背景），在本文中[k]=3。

2.3" 消融實驗

本節(jié)描述了在蘋果病害葉片數(shù)據(jù)集上進(jìn)行的消融實驗。為了驗證所修改模型的有效性，本文建立了如表2所示的實驗方案。

由表2可知，MobileNetV2作為主干時模型的復(fù)雜度和參數(shù)量分別降低了71.86%和82.45%。RFEM利用了感受野在特征圖中的優(yōu)勢，mIoU和mPA均有提升，證明了RFEM的有效性。同時，輕量化特征提取模塊Faster Block用于空間路徑的下采樣，模型復(fù)雜度GFLOPs進(jìn)一步降低，并且在獲得更快運(yùn)行速度的同時保證分割任務(wù)的準(zhǔn)確性。此外，BiSeNetOutput的改進(jìn)，在更完整地恢復(fù)特征圖的同時保留了目標(biāo)的位置和邊界信息，模型的mIoU和mPA再次提升，參數(shù)量壓縮至1.865×106。

總體而言，與原模型相比，RT?BiSeNet的mIoU和mPA分別提升了1.4%和0.86%，參數(shù)量和復(fù)雜度降低了85.95%和72.23%。最重要的是，RT?BiSeNet的分割速度比原始BiSeNet快了9.43 f/s，在提升分割精度的同時，還保證了實時性。

2.4" 不同分割模型性能對比

為了更好地驗證RT?BiSeNet的整體性能，本文將所提出的模型與現(xiàn)有先進(jìn)分割模型進(jìn)行了對比，結(jié)果見表3。從表3的對比結(jié)果可知，本文算法的參數(shù)量明顯減少，推理速度和分割性能提升顯著。

2.5" 不同模型分割結(jié)果

為了進(jìn)一步評估模型性能，除了具體數(shù)值的對比分析，本節(jié)將利用測試集對各個模型的分割效果進(jìn)行對比，這樣可以更直觀地評價模型性能的差異。從圖5可以看出，本文提出的RT?BiSeNet在不同光照的復(fù)雜背景中分割葉片和病斑的效果最好，并且對于小病斑的分割效果也優(yōu)于其他方法。

3" 病害分級

3.1" 分級標(biāo)準(zhǔn)

由于目前沒有通用且準(zhǔn)確的葉片病害等級分類標(biāo)準(zhǔn)，為了準(zhǔn)確地劃分蘋果葉片病害等級，本文參照中華人民共和國制定的GB/T 23222—2008《煙草病蟲害分級及調(diào)查方法》制定了蘋果葉病害分級標(biāo)準(zhǔn)，具體分級標(biāo)準(zhǔn)如表4所示。

蘋果葉片病害診斷流程如下：首先使用分割模型對圖像中的蘋果葉片和病害區(qū)域進(jìn)行分割；然后計算病害區(qū)域像素總數(shù)占整個葉片總像素的比例；最后根據(jù)病害分級標(biāo)準(zhǔn)得到蘋果葉片的病害程度。

具體計算公式如下：

[k=Ad /（Ad+Ah）×100%] （6）

式中：[k]為此葉片病害程度的診斷結(jié)果；[Ad]為葉片病害區(qū)域的總像素；[Ah]為葉片健康區(qū)域的總像素。

3.2" 分級結(jié)果對比

為了對比不同模型的病害程度分級的準(zhǔn)確性，本文使用均方根誤差（RMSE）和[R2]（R?Square）來衡量模型的診斷效果。在測試集上，將不同模型的分級結(jié)果與實際嚴(yán)重程度進(jìn)行比較，得出了蛙眼葉斑病與銹病的嚴(yán)重程度的線性擬合結(jié)果。

如圖6、圖7所示，本文方法獲得了最低的RMSE和最高的[R2]，進(jìn)一步證明了RT?BiSeNet的精確性。

3.3" 蘋果葉片病害分級結(jié)果

可視化分級結(jié)果有助于更直觀地評價RT?BiSeNet的性能。圖8為根據(jù)分割結(jié)果及分級標(biāo)準(zhǔn)表得出的蘋果葉片病害分級結(jié)果，可以看出，蛙眼葉斑病與銹病的病害程度均能良好地展示出來。

4" 結(jié)" 論

針對復(fù)雜環(huán)境中蘋果葉片病害分割和分級的困難，本文提出了一種基于RT?BiSeNet的實時分割和分級算法。首先更換上下文路徑的主干為MobileNet?RFEM，減少了模型的參數(shù)量，提高了模型的分割速度。然后使用Faster Block作為空間路徑的簡單下采樣，在獲得更快運(yùn)行速度的同時保證分割任務(wù)的準(zhǔn)確性?；趦杉壣喜蓸雍蜏\層特征復(fù)用的BiSeNetOutput進(jìn)一步提高了邊緣與小病斑的分割效果。實驗結(jié)果表明，RT?BiSeNet在復(fù)雜的環(huán)境中表現(xiàn)出較強(qiáng)的魯棒性和可靠性。此外，本文還制定了蘋果葉片病害分級標(biāo)準(zhǔn)，實現(xiàn)對蘋果葉片病害的準(zhǔn)確分級?？傮w而言，RT?BiSeNet能夠以較少的參數(shù)和更高的速度實現(xiàn)復(fù)雜背景下蘋果葉片和病斑準(zhǔn)確分割與分級，為實現(xiàn)蘋果葉片病害的精確施藥提供了技術(shù)支持。

注：本文通訊作者為陳繼清。

參考文獻(xiàn)

[1] 中國蘋果產(chǎn)業(yè)協(xié)會.2022年蘋果產(chǎn)業(yè)發(fā)展概況（一）[J].中國果菜，2024，44（3）：1?9.

[2] GAO X， TANG Z W， DENG Y B， et al. HSSNet： A end?to?end network for detecting tiny targets of apple leaf diseases in complex backgrounds [J]. Plants， 2023， 12（15）： 2806.

[3] 楊文姬，胡文超，趙應(yīng)丁，等.基于改進(jìn)Yolov5植物病害檢測算法研究[J].中國農(nóng)機(jī)化學(xué)報，2023，44（1）：108?115.

[4] 王莎莎.計算機(jī)視覺技術(shù)在智能化農(nóng)業(yè)機(jī)械中的應(yīng)用研究[J].南方農(nóng)機(jī)，2023，54（10）：47?49.

[5] SIBIYA M， SUMBWANYAMBE M. Automatic fuzzy logic?based maize common rust disease severity predictions with thresholding and deep learning [J]. Pathogens， 2021， 10（2）： 131.

[6] YANG Y， ZHAO X， HUANG M， et al. Multispectral image based germination detection of potato by using supervised multiple threshold segmentation model and Canny edge detector [J]. Computers and electronics in agriculture， 2021， 182： 106041.

[7] 龔瑞昆，劉佳.圖像處理的玉米病害識別研究[J].現(xiàn)代電子技術(shù)，2021，44（24）：149?152.

[8] FENG J Z， CHAO X F， ZHANG Z， et al. A pooling module with multidirectional and multi?scale spatial information and its application on semantic segmentation of leaf lesions [J]. Precision agriculture， 2023， 24（6）： 2416?2437.

[9] 余文杰.改進(jìn)DeepLabV3+的農(nóng)作物病害分割方法[J].電腦與信息技術(shù)，2023，31（4）：31?33.

[10] 王旭，鄧陽君，楊玉娟，等.基于語義分割的水稻葉瘟病分割與分級方法[J].農(nóng)業(yè)裝備與車輛工程，2024，62（7）：19?24.

[11] 武魁，高丙朋.改進(jìn)EfficientNetV2的玉米病蟲害識別與分級研究[J].現(xiàn)代電子技術(shù)，2023，46（14）：68?74.

[12] YU C， WANG J， PENG C， et al. BiSeNet： Bilateral segmentation network for real?time semantic segmentation [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg： Springer， 2018： 334?349.

[13] ZHANG W B， WU C Y， BAO Z S. SA?BiSeNet： Swap attention bilateral segmentation network for real?time inland waterways segmentation [J]. IET image processing， 2023， 17（1）： 166?177.

[14] LI Y M， ZHANG W， LIU Y Y， et al. A lightweight network for real?time smoke semantic segmentation based on dual paths [J]. Neurocomputing， 2022， 501： 258?269.

[15] CHEN Y Q， SUN Y H， YU W， et al. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface [J]. Marine pollution bulletin， 2022， 175： 113343.

[16] YU Z P， HUANG H B， CHEN W J， et al. YOLO?FaceV2： A scale and occlusion aware face detector [EB/OL]. [2024?06?19]. https：//doi.org/10.1016/j.patcog.2024.110714.

[17] CHEN J R， KAO S H， HE H， et al. Run， don′t walk： Chasing higher FLOPS for faster neural networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 12021?12031.

作者簡介：黃" 樣（1999—），男，壯族，廣西貴港人，碩士研究生，研究方向為機(jī)器視覺和深度學(xué)習(xí)。

陳繼清（1984—），男，廣西玉林人，博士研究生，副教授，研究方向為機(jī)器人運(yùn)動控制、機(jī)器視覺、特種機(jī)器人系統(tǒng)。

黃力湘（2000—），男，湖南邵陽人，碩士研究生，研究方向為目標(biāo)檢測和深度學(xué)習(xí)。

佘鍇蓉（1999—），女，湖北咸寧人，碩士研究生，研究方向為機(jī)器視覺和圖像處理。

郝科崴（1998—），男，河南鄭州人，碩士研究生，研究方向為目標(biāo)跟蹤和圖像處理。

收稿日期：2024?06?11" " " " " "修回日期：2024?07?02

基金項目：國家自然科學(xué)基金項目（62163005）；廣西自然科學(xué)基金項目（2022GXNSFAA035633）