孟慶寬，楊曉霞，張 漫，關(guān)海鷗

基于語(yǔ)義分割的非結(jié)構(gòu)化田間道路場(chǎng)景識(shí)別

孟慶寬1，楊曉霞1，張 漫2※，關(guān)海鷗3

（1. 天津職業(yè)技術(shù)師范大學(xué)自動(dòng)化與電氣工程學(xué)院，天津 300222；2. 中國(guó)農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083；3. 黑龍江八一農(nóng)墾大學(xué)電氣與信息學(xué)院，大慶 163319）

機(jī)器視覺(jué)；語(yǔ)義分割；環(huán)境感知；非結(jié)構(gòu)化道路；輕量卷積；注意力機(jī)制；特征融合

0 引 言

當(dāng)前城市化進(jìn)程不斷推進(jìn)，農(nóng)村青壯年勞動(dòng)力向城鎮(zhèn)轉(zhuǎn)移，造成農(nóng)業(yè)勞動(dòng)力資源日益減少，在一定程度上制約了農(nóng)業(yè)生產(chǎn)的質(zhì)量和效率[1]。提高農(nóng)業(yè)生產(chǎn)過(guò)程的機(jī)械化、自動(dòng)化、智能化水平，降低農(nóng)業(yè)生產(chǎn)對(duì)農(nóng)業(yè)勞動(dòng)力的強(qiáng)依賴性，對(duì)于促進(jìn)農(nóng)業(yè)現(xiàn)代化建設(shè)、加速農(nóng)業(yè)生產(chǎn)方式供給側(cè)結(jié)構(gòu)改革具有重要作用[2]。智能農(nóng)業(yè)裝備系統(tǒng)能夠自主、高效、安全地完成農(nóng)業(yè)作業(yè)任務(wù)，具有良好的作業(yè)精度與效率，已在播種、施肥、除草、收獲等領(lǐng)域得到廣泛應(yīng)用[3-6]。

環(huán)境信息感知是智能農(nóng)業(yè)裝備系統(tǒng)的關(guān)鍵技術(shù)之一，決定了農(nóng)業(yè)裝備的自主導(dǎo)航能力和作業(yè)水平[7]。機(jī)器視覺(jué)系統(tǒng)具有探測(cè)范圍廣、獲取信息豐富等特點(diǎn)，是智能農(nóng)業(yè)裝備進(jìn)行田間信息獲取的主要傳感設(shè)備之一[8-9]。基于視覺(jué)的農(nóng)業(yè)田間道路場(chǎng)景識(shí)別解析屬于環(huán)境信息感知的重要組成單元，主要任務(wù)是檢測(cè)可通行區(qū)域、識(shí)別動(dòng)靜態(tài)障礙物類(lèi)別，為后續(xù)的路徑規(guī)劃和決策控制提供依據(jù)?？焖佟⒕珳?zhǔn)地實(shí)現(xiàn)田間道路場(chǎng)景識(shí)別對(duì)于保證智能農(nóng)業(yè)裝備在非結(jié)構(gòu)化道路環(huán)境下安全可靠運(yùn)行具有重要意義。

在道路場(chǎng)景識(shí)別解析研究中，Coombes等提出一種基于顏色特征的機(jī)場(chǎng)道路語(yǔ)義分割方法，采用超像素塊對(duì)圖像進(jìn)行分割，訓(xùn)練基于顏色的貝葉斯分類(lèi)器對(duì)每個(gè)分割聚類(lèi)標(biāo)注語(yǔ)義類(lèi)別，將亮度信息與顏色分類(lèi)器相結(jié)合識(shí)別飛機(jī)跑道上的引導(dǎo)線[10]。Scharwachter等將顏色、紋理、深度等低層級(jí)特征進(jìn)行組合，基于隨機(jī)決策森林法實(shí)現(xiàn)街區(qū)場(chǎng)景像素級(jí)語(yǔ)義分割[11]。陶思然等將道路影像轉(zhuǎn)換到HIS顏色空間分割出道路灰度一致性區(qū)域，結(jié)合空間梯度信息對(duì)分割結(jié)果進(jìn)行細(xì)化[12]。上述研究通過(guò)人工設(shè)計(jì)特征方式基于顏色、紋理、形狀等表層特征中的一種或多種的組合進(jìn)行道路場(chǎng)景識(shí)別解析，對(duì)結(jié)構(gòu)化道路具有良好的適應(yīng)性，但缺乏對(duì)圖像深層特征和高級(jí)語(yǔ)義信息的提取與表達(dá)，容易受到道路形態(tài)、光照變化、路面干擾物的影響，難以應(yīng)用于復(fù)雜非結(jié)構(gòu)化田間道路場(chǎng)景檢測(cè)。

近些年深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)、目標(biāo)識(shí)別、語(yǔ)義分割等領(lǐng)域表現(xiàn)出優(yōu)異的性能[13-14]?；谏疃葘W(xué)習(xí)的語(yǔ)義分割技術(shù)是進(jìn)行復(fù)雜圖像場(chǎng)景識(shí)別解析的重要方法之一[15]。軒永倉(cāng)等設(shè)計(jì)了基于全卷積神經(jīng)網(wǎng)絡(luò)的大田復(fù)雜場(chǎng)景語(yǔ)義分割模型，具有較好的分割效果，不過(guò)全卷積神經(jīng)網(wǎng)絡(luò)沒(méi)有充分考慮像素之間的關(guān)系，缺乏空間一致性，對(duì)圖像中的細(xì)節(jié)不敏感，導(dǎo)致分割結(jié)果不夠精細(xì)[16]。李云伍等構(gòu)建了基于空洞卷積神經(jīng)網(wǎng)絡(luò)的丘陵山區(qū)道路場(chǎng)景語(yǔ)義分割模型，通過(guò)在模型前端模塊和上下文模塊中融入空洞卷積并對(duì)空洞卷積層進(jìn)行級(jí)聯(lián)，提高了對(duì)丘陵道路場(chǎng)景預(yù)測(cè)的準(zhǔn)確性，但連續(xù)的空洞卷積運(yùn)算容易產(chǎn)生空間間隙，導(dǎo)致信息丟失[17]。張凱航等基于SegNet深度學(xué)習(xí)框架，構(gòu)建編碼-解碼深度卷積結(jié)構(gòu)，針對(duì)非結(jié)構(gòu)化道路可行駛區(qū)域進(jìn)行語(yǔ)義分割，實(shí)現(xiàn)自動(dòng)駕駛車(chē)輛在非結(jié)構(gòu)道路行駛時(shí)的場(chǎng)景理解[18]。上述研究基于深度卷積神經(jīng)網(wǎng)絡(luò)在像素級(jí)別進(jìn)行圖像語(yǔ)義分割，能夠取得較好的效果，但也存在權(quán)值參數(shù)多、計(jì)算復(fù)雜度高、推理速度慢等不足，同時(shí)未充分考慮圖像上下文信息，對(duì)于全局特征利用率低，導(dǎo)致復(fù)雜場(chǎng)景的分割精度不高。

本文以非結(jié)構(gòu)化農(nóng)業(yè)田間道路為研究對(duì)象，提出一種基于通道注意力結(jié)合多尺度特征融合的輕量化語(yǔ)義分割框架，采用輕量卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，引入混合擴(kuò)張卷積（Hybrid Dilated Convolution，HDC）和通道注意力模塊（Channel Attention Block，CAB），通過(guò)空間金字塔池化模塊（Pyramid Pooling Module，PPM）將多尺度池化特征進(jìn)行融合，得到完整的全局特征表達(dá)，以增強(qiáng)對(duì)復(fù)雜道路場(chǎng)景識(shí)別的準(zhǔn)確性。

1 材料與方法

1.1 非結(jié)構(gòu)化田間道路場(chǎng)景特點(diǎn)與對(duì)象分類(lèi)

基于語(yǔ)義分割的道路場(chǎng)景識(shí)別解析是對(duì)圖像中的每個(gè)像素定義對(duì)應(yīng)的語(yǔ)義類(lèi)別，預(yù)測(cè)輸出目標(biāo)元素的形狀、位置和種類(lèi)等信息，進(jìn)而實(shí)現(xiàn)對(duì)場(chǎng)景的完整理解。根據(jù)環(huán)境感知系統(tǒng)對(duì)周?chē)h(huán)境對(duì)象的關(guān)注類(lèi)別和建模結(jié)構(gòu)差異，自動(dòng)導(dǎo)航系統(tǒng)的行駛道路可分為結(jié)構(gòu)化和非結(jié)構(gòu)化2種形式[19]。結(jié)構(gòu)化道路具有邊界規(guī)則，車(chē)道線清晰、道路寬度一致等特點(diǎn)，通常包括高速公路和城市主干道。非結(jié)構(gòu)化道路是指沒(méi)有明顯邊界區(qū)域，缺少車(chē)道標(biāo)識(shí)線，可通行區(qū)域不規(guī)則的園區(qū)道路、鄉(xiāng)村道路或農(nóng)業(yè)田間道路。

農(nóng)業(yè)田間道路的非結(jié)構(gòu)化特點(diǎn)具體表現(xiàn)為：1）道路邊緣模糊、曲率變化大、形狀不規(guī)則；2）路面平整性差，存在陰影噪聲及多種多樣的障礙物；3）不同光照或天氣條件下同一材質(zhì)的道路在圖像中出現(xiàn)不同的顏色特征與紋理形態(tài)。這些復(fù)雜特征給農(nóng)業(yè)導(dǎo)航系統(tǒng)進(jìn)行道路場(chǎng)景識(shí)別帶來(lái)了困難，需要分割模型具有較強(qiáng)的魯棒性和泛化能力。

本文根據(jù)農(nóng)田道路環(huán)境中對(duì)象的動(dòng)、靜態(tài)屬性進(jìn)行類(lèi)別劃分。動(dòng)態(tài)對(duì)象2類(lèi)，分別是行人，車(chē)輛（自行車(chē)，農(nóng)用車(chē)，汽車(chē)）；靜態(tài)對(duì)象9類(lèi)，包括建筑物、標(biāo)識(shí)牌、天空、植被（樹(shù)木，雜草，作物）、土壤、道路（水泥道路，瀝青道路、硬質(zhì)化土路）、水域（河流，池塘，路面水洼）、線桿、覆蓋物（落葉、地膜、積雪）；上述類(lèi)別之外的對(duì)象設(shè)置為背景類(lèi)，因此田間道路圖像中的對(duì)象類(lèi)別共分為 12 種。動(dòng)、靜態(tài)對(duì)象分類(lèi)可以使導(dǎo)航系統(tǒng)在后續(xù)的行駛過(guò)程中根據(jù)對(duì)象屬性制定對(duì)應(yīng)的路徑規(guī)劃措施和動(dòng)態(tài)避障策略，進(jìn)而控制系統(tǒng)安全、高效運(yùn)行。

1.2 圖像采集與處理

圖像采集于天津、河北、廣東等地，采集時(shí)間為2020年1-12月，選用 OKAC120 型相機(jī)進(jìn)行拍攝，圖像分辨率為1 920像素×1 280像素。為提高數(shù)據(jù)樣本的多樣性，分別在不同天氣條件、不同光照強(qiáng)度、不同環(huán)境背景下采集860張有效圖像，可以較好地反映自然環(huán)境下田間道路真實(shí)特點(diǎn)。在原始圖像基礎(chǔ)上將圖像尺寸縮放為512 像素×512像素，以減小后期網(wǎng)絡(luò)模型特征提取時(shí)對(duì)硬件產(chǎn)生的壓力。圖1為獲取的田間非結(jié)構(gòu)化道路圖像示例。

由于獲取的圖像數(shù)據(jù)難以完全覆蓋所有場(chǎng)景并且存在不同類(lèi)別樣本數(shù)量分布不均衡的情況，因此本文通過(guò)幾何變換（平移、旋轉(zhuǎn)、縮放）與顏色變換（亮度、飽和度、對(duì)比度）進(jìn)行數(shù)據(jù)增強(qiáng)。增強(qiáng)后的圖像共23 220 幅，按照8∶1∶1比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于訓(xùn)練深度網(wǎng)絡(luò)模型參數(shù)權(quán)重；驗(yàn)證集用于訓(xùn)練過(guò)程中對(duì)模型的超參數(shù)進(jìn)行調(diào)優(yōu)；測(cè)試集用于訓(xùn)練完成后評(píng)估模型在實(shí)際應(yīng)用場(chǎng)景中的泛化能力。

本文田間道路場(chǎng)景語(yǔ)義分割模型屬于全監(jiān)督學(xué)習(xí)類(lèi)型，需要使用人工精細(xì)標(biāo)注的語(yǔ)義圖像作為訓(xùn)練樣本。采集的圖像本身沒(méi)有標(biāo)簽和語(yǔ)義，利用Lableme工具對(duì)圖像中需要訓(xùn)練的類(lèi)別進(jìn)行語(yǔ)義標(biāo)注，標(biāo)注后的文件以.jason格式存儲(chǔ)，然后通過(guò)批量轉(zhuǎn)換文件將標(biāo)注文件轉(zhuǎn)換為.png格式的標(biāo)簽圖像。

2 田間道路場(chǎng)景語(yǔ)義分割模型構(gòu)建

通用的語(yǔ)義分割模型由編碼器和解碼器構(gòu)成，編碼器利用卷積、池化、線性整流函數(shù)等操作構(gòu)成特征提取網(wǎng)絡(luò)，編碼輸入圖像特征和像素位置信息；解碼器利用反卷積或者上池化運(yùn)算將編碼器輸出的低分辨率特征映射到高分辨率像素空間，得到密集的像素預(yù)測(cè)分類(lèi)。本文模型的編碼器單元采用輕量卷積神經(jīng)網(wǎng)絡(luò)獲取圖像特征，引入混合擴(kuò)張卷積和通道注意力模塊，實(shí)現(xiàn)特征提取速度與準(zhǔn)確性之間的平衡，同時(shí)利用金字塔池化模塊融合不同區(qū)域特征，獲取更加有效的全局場(chǎng)景上下文信息，增強(qiáng)模型的分割性能；解碼器單元將空間金字塔池化模塊的輸出特征進(jìn)行上采樣并與特征提取網(wǎng)絡(luò)最后階段特征拼接，經(jīng)過(guò)卷積操作完成特征融合與通道調(diào)整，最后通過(guò)上采樣和像素分類(lèi)運(yùn)算得到預(yù)測(cè)圖像。圖2為田間道路圖像語(yǔ)義分割模型結(jié)構(gòu)示意圖。

2.1 輕量特征提取網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)擴(kuò)充網(wǎng)絡(luò)深度和廣度，提高網(wǎng)絡(luò)模型準(zhǔn)確性，但也存在復(fù)雜度高，運(yùn)行速度慢等問(wèn)題。相比于深度卷積，輕量卷積神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)簡(jiǎn)單、計(jì)算量低、學(xué)習(xí)推理速度快等優(yōu)點(diǎn)。MobileNet系列網(wǎng)絡(luò)是由谷歌公司提出的高性能輕量化卷積神經(jīng)網(wǎng)絡(luò)，可以應(yīng)用于計(jì)算能力和內(nèi)存資源有限的嵌入式系統(tǒng)或移動(dòng)設(shè)備[20-21]。MobileNet V2引入具有線性瓶頸的倒殘差結(jié)構(gòu)，先通過(guò)擴(kuò)展層增加通道維度，在高維空間進(jìn)行深度可分離卷積操作提取特征，然后利用投影卷積進(jìn)行降維以減少后續(xù)操作計(jì)算量，最后為避免網(wǎng)絡(luò)層數(shù)增加引起的梯度消失采用跨連接層將輸入特征與輸出特征相加，使整個(gè)網(wǎng)絡(luò)具有較高的準(zhǔn)確性和實(shí)時(shí)性。MobileNet V2是針對(duì)圖像分類(lèi)任務(wù)設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)，語(yǔ)義分割屬于像素預(yù)測(cè)問(wèn)題，采用的特征提取網(wǎng)絡(luò)與圖像分類(lèi)網(wǎng)絡(luò)有所不同，需要對(duì)MobileNet V2網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改。

本文去掉MobileNet V2網(wǎng)絡(luò)的全局平均池化層與特征分類(lèi)層，采用前5個(gè)階段（Stage）卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特征信息提取，如圖2所示，輕量特征提取網(wǎng)絡(luò)經(jīng)過(guò)4次下采樣，最終輸出特征圖尺寸為輸入圖像的 1/16。其中，Stage5是在Stage4的基礎(chǔ)上僅擴(kuò)充特征通道數(shù)量，沒(méi)有進(jìn)行下采樣操作。

2.2 混合擴(kuò)張卷積

本文將混合擴(kuò)張卷積融入到特征提取網(wǎng)絡(luò)的Stage4、Stage5中，Stage4中的6個(gè)線性瓶頸倒殘差模塊（Inverted residuals and linear bottlenecks block，IRLBB）被分為2組混合擴(kuò)張卷積運(yùn)算單元，每個(gè)單元組中的深度可分離卷積擴(kuò)張率設(shè)置為1、2、3，Stage5中的4個(gè)線性瓶頸倒殘差模塊選擇前3個(gè)為1組，擴(kuò)張率設(shè)置為1、2、3。圖3為混合擴(kuò)張卷積融合特征提取網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

注：N為線性瓶頸倒殘差模塊執(zhí)行次數(shù)；IRLBB為線性瓶頸倒殘差模塊；(i=1,2,3)表示卷積核的擴(kuò)張率依次為1,2,3。

2.3 通道注意力模塊

針對(duì)復(fù)雜場(chǎng)景或者較大區(qū)域進(jìn)行語(yǔ)義分割時(shí)，經(jīng)常會(huì)出現(xiàn)將同一對(duì)象的不同區(qū)域預(yù)測(cè)為不同類(lèi)別的情況，即類(lèi)內(nèi)預(yù)測(cè)的不一致性，這是由于不同尺度特征圖的判別能力不一致導(dǎo)致[24]。特征提取網(wǎng)絡(luò)中，不同階段特征圖感受野不同，具有不同的特征判別能力。在低級(jí)階段，網(wǎng)絡(luò)編碼具有精細(xì)的空間信息，但由于感受野較小和缺乏高級(jí)抽象特征，導(dǎo)致語(yǔ)義一致性缺乏；在高級(jí)階段，特征像素具有較大感受野，語(yǔ)義一致性高，不過(guò)由于缺少足夠的空間信息，預(yù)測(cè)結(jié)果較為粗糙?；谝陨戏治?，將不同階段特征進(jìn)行融合可以有效提高特征利用效率和預(yù)測(cè)準(zhǔn)確性。一些研究采用特征通道相加的方法實(shí)現(xiàn)不同階段的特征融合，這種方式忽略了不同階段特征通道的差異性。特征提取網(wǎng)絡(luò)的一個(gè)階段由若干特征通道構(gòu)成，常規(guī)卷積運(yùn)算默認(rèn)各特征通道權(quán)重相同，實(shí)際上不同特征通道具有不同的重要程度，提升有用特征比例，降低非重要特征比例，可以提高整個(gè)階段的判別特征強(qiáng)度。本文采用通道注意力機(jī)制將不同階段特征融合，利用高級(jí)階段的強(qiáng)語(yǔ)義信息指導(dǎo)低級(jí)階段對(duì)內(nèi)部特征通道根據(jù)重要程度重新標(biāo)定，使之產(chǎn)生更優(yōu)的預(yù)測(cè)，圖4為通道注意力模塊結(jié)構(gòu)。

注：Global pooling將特征圖壓縮為一維向量；Sigmoid為激活函數(shù)。

圖4中淺色模塊代表低級(jí)階段特征，深色模塊代表高級(jí)階段特征，將高級(jí)階段與低級(jí)階段進(jìn)行通道拼接，通過(guò)權(quán)重學(xué)習(xí)模塊獲取每個(gè)通道重要程度，生成新的權(quán)重向量，采用乘法形式對(duì)低級(jí)階段特征通道權(quán)重重新標(biāo)定，提高重要特征權(quán)重，降低非重要特征權(quán)重，進(jìn)而增強(qiáng)整個(gè)階段的判別特征。利用通道注意力模塊可以強(qiáng)化各階段判別特征，實(shí)現(xiàn)類(lèi)內(nèi)一致性預(yù)測(cè)，提高預(yù)測(cè)精度。

2.4 金字塔池化模塊

感受野是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出特征圖的像素點(diǎn)在原始圖像上映射的區(qū)域大小，其大小表示提取特征所包含信息的多少，可以大致反映模型利用圖像上下文信息的能力，獲取具有全局圖像特征的感受野能夠提高復(fù)雜場(chǎng)景下語(yǔ)義分割的準(zhǔn)確性。語(yǔ)義分割中出現(xiàn)的一些錯(cuò)誤，例如類(lèi)別混淆、分割不連續(xù)和不同尺度物體分割精度不均衡等問(wèn)題都與感受野獲取的上下文信息是否全面有關(guān)[25]。文獻(xiàn)[26]采用全局平均池化操作獲取圖像級(jí)別上下文信息指導(dǎo)局部信息進(jìn)行分類(lèi)，一定程度上提升了分割模型的性能，不過(guò)這種方法無(wú)法覆蓋場(chǎng)景圖像全部重要信息，因?yàn)橥ㄟ^(guò)全局平均池化將全部像素融合為1個(gè)特征向量會(huì)損失像素的空間信息并導(dǎo)致歧義的產(chǎn)生。本文引入金字塔池化模塊，聚合不同尺度子池化特征，獲取更加有效的全局場(chǎng)景上下文信息，提高語(yǔ)義分割模型的性能。

2.5 損失函數(shù)設(shè)計(jì)

3 模型搭建與訓(xùn)練

3.1 試驗(yàn)平臺(tái)

試驗(yàn)平臺(tái)采用臺(tái)式計(jì)算機(jī)，CPU 型號(hào)為 Intel Core i7 8700，16 GB內(nèi)存，500 G固態(tài)硬盤(pán)，NVIDA GTX2070顯卡，8 G顯存；基于Windows10操作系統(tǒng)，采用Python語(yǔ)言在Tensor Flow深度學(xué)習(xí)框架下進(jìn)行編程，統(tǒng)一計(jì)算設(shè)備架構(gòu)選擇CUDA 10，深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)版本為CUDNN V10.0。

3.2 模型訓(xùn)練及參數(shù)設(shè)置

本文模型訓(xùn)練分為2個(gè)階段，第1階段對(duì)MobilnetV2增加混合擴(kuò)張卷積與通道注意力模塊構(gòu)成特征提取網(wǎng)絡(luò)，部署在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。ImageNet數(shù)據(jù)集包括135萬(wàn)張圖像，涵蓋1 000個(gè)類(lèi)別對(duì)象是圖像分類(lèi)網(wǎng)絡(luò)常采用的訓(xùn)練集。為提高訓(xùn)練速度和效率，將數(shù)據(jù)圖像轉(zhuǎn)換為T(mén)FRecord格式，TFRecord文件的每個(gè)字段記錄了圖像名稱、維度、編碼數(shù)據(jù)和標(biāo)簽定義等信息。訓(xùn)練時(shí)網(wǎng)絡(luò)參數(shù)采用均值為0、標(biāo)準(zhǔn)差為0.01的高斯分布進(jìn)行隨機(jī)初始化，權(quán)重衰減系數(shù)為0.000 5，BatchSize設(shè)置為32，初始學(xué)習(xí)率為0.025，動(dòng)量因子為0.9。為使模型訓(xùn)練盡快進(jìn)入到穩(wěn)定的學(xué)習(xí)狀態(tài)，訓(xùn)練開(kāi)始階段進(jìn)行學(xué)習(xí)率熱身，在前1 000個(gè)Batch訓(xùn)練時(shí)學(xué)習(xí)率由0線性增加到0.025，隨后學(xué)習(xí)率隨著迭代次數(shù)的增加采用分段常數(shù)方式衰減。

第2階段將預(yù)訓(xùn)練的特征提取網(wǎng)絡(luò)去掉平均池化層和分類(lèi)層，加入金字塔池化網(wǎng)絡(luò)與像素預(yù)測(cè)分類(lèi)網(wǎng)絡(luò)，凍結(jié)特征提取網(wǎng)絡(luò)前4個(gè)階段卷積層，初始化新增加網(wǎng)絡(luò)參數(shù)?；诘缆穲D像訓(xùn)練集采用批量隨機(jī)梯度下降法訓(xùn)練，設(shè)置BatchSize為8，動(dòng)量因子為0.9，學(xué)習(xí)率為0.001，衰減系數(shù)為0.8，訓(xùn)練周期數(shù)為50，每個(gè)epoch迭代次數(shù)為2 322；迭代完成后解凍特征提取網(wǎng)絡(luò)前4個(gè)階段，對(duì)整個(gè)模型進(jìn)行全部訓(xùn)練，學(xué)習(xí)率為0.000 1，衰減系數(shù)為0.5，訓(xùn)練周期數(shù)為50。訓(xùn)練過(guò)程中每經(jīng)過(guò)2個(gè)epoch衰減一次并保存模型，以避免長(zhǎng)時(shí)間訓(xùn)練過(guò)程中出現(xiàn)斷電、異常退出等情況導(dǎo)致訓(xùn)練模型出現(xiàn)損失。模型凍結(jié)訓(xùn)練策略運(yùn)用了遷移學(xué)習(xí)的思想，先凍結(jié)預(yù)訓(xùn)練網(wǎng)絡(luò)部分階段，能夠使模型共享底層結(jié)構(gòu)權(quán)值參數(shù)，克服不同數(shù)據(jù)集的差異性；然后解凍剩余階段對(duì)整個(gè)模型全部訓(xùn)練，可以使訓(xùn)練損失收斂于較小的值。圖5為語(yǔ)義分割模型訓(xùn)練集與驗(yàn)證集損失曲線。

圖5中前50個(gè)周期凍結(jié)部分網(wǎng)絡(luò)單元，通過(guò)較大的學(xué)習(xí)率對(duì)深層網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練集和驗(yàn)證集損失迅速下降；后50 個(gè)周期解凍剩余特征提取網(wǎng)絡(luò)，利用較小學(xué)習(xí)率訓(xùn)練整個(gè)模型，訓(xùn)練損失與驗(yàn)證損失緩慢下降，最后收斂于0.1附近。整個(gè)訓(xùn)練過(guò)程中訓(xùn)練損失與驗(yàn)證損失同時(shí)收斂，沒(méi)有出現(xiàn)發(fā)散或者停滯的情況，表明模型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的有效性。

3.3 評(píng)價(jià)指標(biāo)

2）像素準(zhǔn)確率PA（Pixel Accuracy）：正確預(yù)測(cè)像素?cái)?shù)量與圖像像素總量的比值，計(jì)算公式為

3）平均像素準(zhǔn)確率MPA（Mean Pixel Accuracy）：每類(lèi)正確預(yù)測(cè)像素?cái)?shù)量與此類(lèi)別全部像素?cái)?shù)量的比值，然后求取所有類(lèi)別平均值，計(jì)算公式為

4）平均區(qū)域重合度MIoU（Mean Intersection over Union）：每類(lèi)預(yù)測(cè)像素?cái)?shù)量與真實(shí)像素?cái)?shù)量交集與并集比值，然后取所有類(lèi)別的平均值。平均區(qū)域重合度反映了預(yù)測(cè)結(jié)果與圖像真實(shí)結(jié)果的重合程度，是語(yǔ)義分割模型常采用的準(zhǔn)確率度量標(biāo)準(zhǔn)，計(jì)算公式為

4 結(jié)果與分析

4.1 模型有效性驗(yàn)證

為測(cè)試本文語(yǔ)義分割模型的有效性，設(shè)計(jì)消融試驗(yàn)分析各功能模塊對(duì)模型性能的影響。構(gòu)建基礎(chǔ)語(yǔ)義分割模型（由MobileNetV2網(wǎng)絡(luò)、常規(guī)擴(kuò)張卷積、上采樣單元構(gòu)成），在此基礎(chǔ)上逐步加入混合擴(kuò)張卷積、通道注意力模塊、空間金字塔池化模塊構(gòu)成擴(kuò)展模型，通過(guò)單類(lèi)別像素準(zhǔn)確率、像素準(zhǔn)確率、平均像素準(zhǔn)確率、檢測(cè)速度、參數(shù)數(shù)量對(duì)模型性能進(jìn)行分析。表1和表2為測(cè)試集在各版本模型上運(yùn)行結(jié)果。

由表1可知，道路、天空、建筑、植被、土壤、水域等對(duì)象具有明顯的紋理、顏色、形狀特征，識(shí)別準(zhǔn)確率較高；車(chē)輛、行人屬于動(dòng)態(tài)障礙物，距離遠(yuǎn)近、運(yùn)動(dòng)方向都會(huì)對(duì)分割效果產(chǎn)生影響，準(zhǔn)確率較前幾類(lèi)對(duì)象偏低；地面覆蓋物在不同季節(jié)和不同環(huán)境下外觀形態(tài)變化較大，特征信息復(fù)雜多樣導(dǎo)致準(zhǔn)確率較低；線桿在圖像中面積區(qū)域較小，經(jīng)過(guò)多次下采樣操作后，特征圖的分辨率不斷降低，部分像素的空間位置信息丟失，通過(guò)上采樣法難以完全恢復(fù)，容易產(chǎn)生分割不完整或者目標(biāo)丟失的情況，因此識(shí)別準(zhǔn)確率最低。

由表2可知，采用HDC代替普通擴(kuò)張卷積使模型的PA與MAP提升到89.82%、85.68%，表明HDC通過(guò)增加感受野并保存更多的像素空間位置，能夠提高像素預(yù)測(cè)體系結(jié)構(gòu)性能；通道注意力模塊使模型的PA與MAP達(dá)到92.46%、88.72%，表明利用高級(jí)階段強(qiáng)語(yǔ)義信息指導(dǎo)低級(jí)階段獲取有效的判別特征，能夠增強(qiáng)類(lèi)內(nèi)預(yù)測(cè)一致性并提升模型的分割效果；金字塔池化模塊通過(guò)聚合不同區(qū)域信息使模型擁有獲取全局上下文的能力，從而產(chǎn)生高質(zhì)量的像素級(jí)別預(yù)測(cè)結(jié)果，模型的PA與MAP最終達(dá)到94.85%、90.38%。不過(guò)，隨著功能模塊的加入，分割模型包含的參數(shù)不斷增加，檢測(cè)速度逐漸降低。其中，基礎(chǔ)模型的參數(shù)數(shù)量最小，檢測(cè)速度最快，HDC模塊的加入使基礎(chǔ)模型參數(shù)量增加5.35%，檢測(cè)速度降低10.70%；CAB 模塊的增加使包含HDC模塊的模型參數(shù)量增加39.28%，檢測(cè)速度降低22.25%；PPM模塊的融合使具有HDC+CAB模塊的模型參數(shù)量增加54.48%，運(yùn)行速度降低31.41%?；谏鲜鰯?shù)據(jù)定性分析，可以得出HDC模塊對(duì)模型的運(yùn)行效率和計(jì)算開(kāi)銷(xiāo)影響最小，CAB模塊次之，PPM模塊影響最大。圖6為模型在不同環(huán)境條件下田間道路場(chǎng)景分割效果圖。

表1 不同功能單元配置的語(yǔ)義分割模型單類(lèi)別像素準(zhǔn)確率

表2 不同功能單元配置的語(yǔ)義分割模型性能

由圖6可以看出，硬質(zhì)化土路圖像中的道路、天空、植被、土壤、河流等類(lèi)別被有效分割，部分線桿由于距離較遠(yuǎn)以及面積較小出現(xiàn)漏分割與分割不連續(xù)的情況；瀝青道路圖像中，土壤潮濕且部分區(qū)域覆蓋積雪，植被枯萎呈棕褐色與土壤顏色接近，道路曲率變化范圍大，部分道路邊緣與泥土交疊導(dǎo)致邊緣像素顏色模糊，這些復(fù)雜環(huán)境因素容易對(duì)分割造成不良影響，但從語(yǔ)義分割預(yù)測(cè)結(jié)果可以看出各類(lèi)別對(duì)象被準(zhǔn)確地分割出來(lái)，對(duì)象交界邊緣連續(xù)，分割效果精細(xì)，說(shuō)明本文模型具有較高的魯棒性；水泥道路圖像中，道路沒(méi)有受到散落泥土的影響，路面分割完整，具有較好的抗干擾性；行人道路圖像中行人、自行車(chē)、道路、天空、植被、土壤等類(lèi)別被有效識(shí)別，道路盡頭的建筑物（暖棚）分割完整，可以準(zhǔn)確反映出建筑物區(qū)域。車(chē)輛道路圖像中，汽車(chē)分割清晰，遠(yuǎn)處的綠色苫布被預(yù)測(cè)為背景而沒(méi)有錯(cuò)誤的分割為植被，說(shuō)明本文模型具有較好的泛化性能。

4.2 模型性能對(duì)比

選擇FCN-8S、SegNet、DeeplabV3+、BiseNet等模型與本文模型進(jìn)行對(duì)比測(cè)試，通過(guò)平均像素準(zhǔn)確率、平均區(qū)域重合度、檢測(cè)速度、參數(shù)數(shù)量等指標(biāo)對(duì)模型性能做出評(píng)價(jià)。上述模型分別基于田間道路訓(xùn)練集進(jìn)行訓(xùn)練，在測(cè)試集上計(jì)算相關(guān)度量指標(biāo)。表3為不同語(yǔ)義分割模型性能參數(shù)對(duì)比。

表3 不同網(wǎng)絡(luò)模型性能對(duì)比

從圖7中看出，本文模型可以完整、精細(xì)、準(zhǔn)確的對(duì)道路場(chǎng)景中的語(yǔ)義對(duì)象進(jìn)行分割解析；FCN-8S由于采用池化層下采樣導(dǎo)致部分細(xì)節(jié)信息丟失，對(duì)小物體分割效果不佳，如圖7第1行場(chǎng)景中“線桿”對(duì)象和第3行路面“水洼”對(duì)象沒(méi)有被分割識(shí)別；此外圖7第2行場(chǎng)景中的車(chē)輛之間的路面區(qū)域被錯(cuò)誤分類(lèi)為“車(chē)輛”對(duì)象。SegNet模型存在對(duì)象邊界分割不連續(xù)、分割結(jié)果粗糙的情況，如圖7第2行場(chǎng)景中“道路”與“土壤”對(duì)象交界邊緣不連續(xù)，第5行場(chǎng)景中部分被樹(shù)木包圍的建筑區(qū)域錯(cuò)誤分割為植被，產(chǎn)生以上情況的原因是SegNet分割過(guò)程未能有效考慮圖像上下文信息并且存在類(lèi)內(nèi)預(yù)測(cè)不一致性導(dǎo)致。DeeplabV3+模型具有良好的分割準(zhǔn)確性，在效果上與本文模型接近；BiseNet模型由于空間路徑網(wǎng)絡(luò)與上下文路徑網(wǎng)絡(luò)缺少擴(kuò)張卷積運(yùn)算，難以實(shí)現(xiàn)特征圖高分辨率與大感受野之間的平衡，導(dǎo)致部分場(chǎng)景分割效果粗糙，如圖7第2行道路和天空的一些區(qū)域被誤分割為背景。

5 結(jié) 論

1）設(shè)計(jì)基于編碼器-解碼器結(jié)構(gòu)的語(yǔ)義分割框架模型，編碼器單元由輕量特征提取網(wǎng)絡(luò)、混合擴(kuò)張卷積、通道注意力模塊、金字塔池化模塊構(gòu)成，用于圖像特征提取與融合；解碼器單元對(duì)編碼器輸出信息上采樣，經(jīng)過(guò)卷積運(yùn)算、像素分類(lèi)運(yùn)算得到分割預(yù)測(cè)圖。

2）采集不同道路場(chǎng)景圖像建立數(shù)據(jù)集，根據(jù)道路環(huán)境中對(duì)象的動(dòng)、靜態(tài)屬性劃分為12種語(yǔ)義類(lèi)別。

針對(duì)不同環(huán)境條件下田間道路圖像進(jìn)行測(cè)試，試驗(yàn)結(jié)果表明模型的像素準(zhǔn)確率和平均像素準(zhǔn)確率分別為94.85%、90.38%，對(duì)道路、植被、建筑、水域、天空、土壤等語(yǔ)義對(duì)象的分割準(zhǔn)確率達(dá)到90%以上，具有準(zhǔn)確率高、魯棒性強(qiáng)、泛化性能好的特點(diǎn)。

[1] 王澤尤，嚴(yán)鎧，任志雨，等. 農(nóng)業(yè)技術(shù)進(jìn)步和農(nóng)村勞動(dòng)力轉(zhuǎn)移對(duì)農(nóng)民增收的影響[J]. 農(nóng)業(yè)展望，2020，16(9)：20-26.

Wang Zeyou, Yan Kai, Ren Zhiyu, et al. Impacts of agricultural technology progress and rural labor force transfer on farmers' income[J]. Agricultural Outlook, 2020, 16(9): 20-26. (in Chinese with English abstract)

[2] 劉成良，林洪振，李彥明，等. 農(nóng)業(yè)裝備智能控制技術(shù)研究現(xiàn)狀與發(fā)展趨勢(shì)分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(1)：1-18.

Liu Chengliang, Lin Hongzhen, Li Yanming, et al. Analysis on status and development trend of intelligent control technology for agricultural equipment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 1-18. (in Chinese with English abstract)

[3] Chattha H S, Zaman Q U, Chang Y K, et al. Variable rate spreader for real-time spot-application of granular fertilizer in wild blueberry[J]. Computers and Electronics in Agriculture, 2014, 100: 70-78.

[4] Onishi Y, Yoshida T, Kurita H, et al. An automated fruit harvesting robot by using deep learning[C]// Tokyo: The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec), 2018: 6-13.

[5] 陳建國(guó)，李彥明，覃程錦，等. 小麥播種量電容法檢測(cè)系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：51-58.

Chen Jianguo, Li Yanming, Qin Chengjin, et al. Design and test of capacitive detection system for wheat seeding quantity[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 51-58. (in Chinese with English abstract)

[6] 孟慶寬，張漫，楊曉霞，等. 基于輕量卷積結(jié)合特征信息融合的玉米幼苗與雜草識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(12)：238-245，303.

Meng Qingkuan, Zhang Man, Yang Xiaoxia, et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 238-245, 303. (in Chinese with English abstract)

[7] 張漫，季宇寒，李世超，等. 農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020，51(4): 1-18. (in Chinese with English abstract)

[8] 王榮本，李琳輝，郭烈，等。基于立體視覺(jué)的越野環(huán)境感知技術(shù)[J]. 吉林大學(xué)學(xué)報(bào)：工學(xué)版，2008，38(3)：520-524.

Wang Rongben, Li Linhui, Guo Lie, et al. Stereo vision based cross-country environmental perception technique[J]. Journal of Jilin University: Engineering and Technology Edition, 2008, 38(3): 520-524. (in Chinese with English abstract)

[9] 汪博. 基于機(jī)器視覺(jué)的農(nóng)業(yè)導(dǎo)航系統(tǒng)[D]. 杭州：浙江理工大學(xué)，2016.

Wang Bo. The Agricultural Navigation System Based on Machine Vision[D]. Hangzhou: Zhejiang Sci-Tech University, 2016. (in Chinese with English abstract)

[10] Coombes M, Eaton W, Chen W H. Colour based semantic image segmentation and classification for unmanned ground operations[C]// International Conference on Unmanned Aircraft Systems (ICUAS). Arlington, VA USA, 2016: 858-867.

[11] Scharwachter T, Franke U. Low-level fusion of color, texture and depth for robust road scene understanding[C]// 2015 IEEE In Intelligent Vehicles Symposium (IV), 2015, 599–604.

[12] 陶思然. 顧及梯度和彩色信息的高分辨率影像道路分割[J].科學(xué)技術(shù)與工程，2019，19(31)：263-269.

Tao Siran. Road segmentation of high-spatial resolution remote sensing images by considering gradient and color information[J]. Science Technology and Engineering, 2019, 19(31): 263-269. (in Chinese with English abstract)

[13] Duong L T, Nguyen P T, Sipio C D, et al. Automated fruit recognition using EfficientNet and MixNet[J]. Computers and Electronics in Agriculture, 2020, 171: 105326.

[14] Jiang H, Zhang C, Qiao Y, et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming[J]. Computers and Electronics in Agriculture, 2020, 174: 105450.

[15] Badrinarayanan V, Kendall A, Cipolla R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.

[16] 軒永倉(cāng). 基于全卷積神經(jīng)網(wǎng)絡(luò)的大田復(fù)雜場(chǎng)景圖像的語(yǔ)義分割研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2017.

Xuan Yongcang. Research on the Semantic Segmentation of Complex Scene Image of Field Based on Fully Convolutional Networks[D]. Yangling: Northwest A&F University, 2017. (in Chinese with English abstract)

[17] 李云伍，徐俊杰，劉得雄，等. 基于改進(jìn)空洞卷積神經(jīng)網(wǎng)絡(luò)的丘陵山區(qū)田間道路場(chǎng)景識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(7)：150-159.

Li Yunwu, Xu Junjie, Liu Dexiong, et al. Field road scene recognition in hilly regions based on improved dilated convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(7): 150-159. (in Chinese with English abstract)

[18] 張凱航，冀杰，蔣駱，等. 基于SegNet的非結(jié)構(gòu)道路可行駛區(qū)域語(yǔ)義分割[J]. 重慶大學(xué)學(xué)報(bào)，2020，43(3)：79-87.

Zhang Kaihang, Ji Jie, Jiang Luo, et al. The semantic segmentation of driving regions on unstructured road based on signet architecture[J]. Journal of Chongqing University, 2020, 43(3): 79-87. (in Chinese with English abstract)

[19] 劉家銀. 非結(jié)構(gòu)化環(huán)境下自主式地面車(chē)輛環(huán)境感知關(guān)鍵技術(shù)研究[D]. 南京：南京理工大學(xué)，2018.

Liu Jiayin. Research on Key Technologies of Autonomous Land Vehicle Perception in Unstructured Environment[D]. Nanjing: Nanjing University of Science and Technology, 2018. (in Chinese with English abstract)

[20] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[Z]. [2020-07-03], https: //arxiv. org/abs/1704. 04861.

[21] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520.

[22] Chen L, Papandreou G, Kokkinos I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[23] Wang P, Chen P, Yuan Y, et al. Understanding convolution for semantic segmentation[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Tahoe, 2018: 1451-1460.

[24] Yu C, Wang J, Peng C, et al. Learning a discriminative feature network for semantic segmentation[C]// 2018 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake, UT, USA, 2018, 1857-1866

[25] Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA, 2017: 6230-6239.

[26] Liu W, Rabinovich A, Berg A C. Parsenet: Looking wider to see better[C]// In International Conference on Learning Representations, 2016.

[27] Jadon S. A survey of loss functions for semantic segmentation[C]//2020 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB), 2020: 1-7.

Recognition of unstructured field road scene based on semantic segmentation model

Meng Qingkuan1, Yang Xiaoxia1, Zhang Man2※, Gan Haiou3

(1.,,300222,;2.,,,10083,; 3.,,163319,)

Environmental information perception has been one of the most important technologies in agricultural automatic navigation tasks, such as plant fertilization, crop disease detection, automatic harvesting, and cultivation. Among them, the complex environment of a field road is characterized by the fuzzy road edge, uneven road surface, and irregular shape. It is necessary to accurately and rapidly identify the passable areas and obstacles when the agricultural machinery makes path planning and decision control. In this study, a lightweight semantic segmentation model was proposed to recognize the unstructured roads in fields using a channel attention mechanism combined with the multi-scale features fusion. Some environmental objects were also classified into 12 categories, including building, person, vehicles, sky, waters, plants, road, soil, pole, sign, coverings, and background, according to the static and dynamic properties. Furthermore, a mobile architecture named MobileNetV2 was adopted to obtain the image feature information, in order to reduce the model parameters for a higher reasoning speed. Specifically, an inverted residual structure with lightweight depth-wise convolutions was utilized to filter the features in the intermediate expansion layer. In addition, the last two stages of the backbone network were combined with the Hybrid Dilated Convolution (HDC), aiming to increase the receptive fields and maintain the resolution of the feature map. The hybrid dilated convolution with the dilation rate of 1, 2, and 3 was used to effectively expand the receptive fields, thereby alleviating the “gridding problem” caused by the standard dilated convolution. A Channel Attention Block (CAB) was also introduced to change the weight of each stage feature, in order to enhance the class consistency.The channel attention block was used to strengthen both the higher and lower level features of each stage for a better prediction. In addition, some errors of semantic segmentation were partially or completely attributed to the contextual relationship. A pyramid pooling module was empirically adopted to fuse three scale feature maps for the global contextual prior. There was the global context information in the first image level, where the feature vector was produced by a global average pooling. The pooled representation was then generated for different locations, where the rest pyramid levels separated the feature maps into different sub-regions. As such, the output of different levels in the pyramid module contained the feature maps with varied sizes, followed by up sampling and concatenation to form the final output. The results showed that the objects in the complex roads were effectively segmented with Pixel Accuracy (PA) and Mean Pixel Accuracy (MPA) of 94.85% and 90.38%, respectively. Furthermore, the single category pixel accuracy of some objects was more than 90%, such as road, plants, building, waters, sky, and soil, indicating a higher accuracy, strong robustness, and excellent generalization. An evaluation was also made to verify the efficiency and superiority of the model, where the mean intersection over union (MIoU), segmentation speed, and parameter scale were adopted as the indexes. The FCN-8S, SegNet, DeeplabV3+ and BiseNet networks were also developed on the same training and test datasets. It was found that the MIoU of the model was 85.51%, indicating a higher accuracy than others. The parameter quantity of the model was 2.41×106, smaller than FCN-8S, SegNet, DeeplabV3+, and BiseNet. In terms of an image with a resolution of 512×512 pixels, the reasoning speed of the model reached 8.19 frames per second, indicating an excellent balance between speed and accuracy. Consequently, the lightweight semantic segmentation model was achieved to accurately and rapidly segment the multiple road scenes in the field environment. The finding can provide a strong technical reference for the safe and reliable operation of intelligent agricultural machinery on unstructured roads.

machine vision; semantic segmentation; environmental perception; unstructured field roads; lightweight convolution; attention mechanism; feature fusion

孟慶寬，楊曉霞，張漫，等. 基于語(yǔ)義分割的非結(jié)構(gòu)化田間道路場(chǎng)景識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：152-160.doi：10.11975/j.issn.1002-6819.2021.22.017 http://www.tcsae.org

Meng Qingkuan, Yang Xiaoxia, Zhang Man, et al. Recognition of unstructured field road scene based on semantic segmentation model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 152-160. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.017 http://www.tcsae.org

2021-06-01

2021-09-16

國(guó)家自然科學(xué)基金項(xiàng)目（31571570、62001329）；天津市自然科學(xué)基金項(xiàng)目（18JCQNJC04500、19JCQNJC01700）；天津職業(yè)技術(shù)師范大學(xué)校級(jí)預(yù)研項(xiàng)目（KJ2009、KYQD1706）

孟慶寬，博士，講師，研究方向?yàn)榫?xì)農(nóng)業(yè)和農(nóng)業(yè)信息化技術(shù)。Email：373414672@qq.com

張漫，博士，教授，研究方向?yàn)檗r(nóng)業(yè)電氣化與自動(dòng)化。Email：cauzm@cau.edu.cn

10.11975/j.issn.1002-6819.2021.22.017

TP183

A

1002-6819(2021)-22-0152-09