孫 俊，譚文軍，武小紅，沈繼鋒，蘆 兵，戴春霞

多通道深度可分離卷積模型實(shí)時(shí)識(shí)別復(fù)雜背景下甜菜與雜草

孫 俊，譚文軍，武小紅，沈繼鋒，蘆 兵，戴春霞

（江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013）

針對(duì)實(shí)際復(fù)雜田間環(huán)境下雜草與作物識(shí)別精度低和實(shí)時(shí)性差的問(wèn)題，為減少弱光環(huán)境對(duì)分割識(shí)別效果的影響，實(shí)現(xiàn)甜菜與雜草的實(shí)時(shí)精確分割識(shí)別，該文首先將可見(jiàn)光圖像進(jìn)行對(duì)比度增強(qiáng)，再將近紅外與可見(jiàn)光圖像融合為4通道圖像；將深度可分離卷積以及殘差塊構(gòu)成分割識(shí)別模型的卷積層，減少模型參數(shù)量及計(jì)算量，構(gòu)建編碼與解碼結(jié)構(gòu)并融合底層特征，細(xì)化分割邊界。以分割識(shí)別精度、參數(shù)量以及運(yùn)行效率為評(píng)價(jià)指標(biāo)，通過(guò)設(shè)置不同寬度系數(shù)以及輸入圖像分辨率選出最優(yōu)模型。試驗(yàn)結(jié)果表明：本文模型的平均交并比達(dá)到87.58%，平均像素準(zhǔn)確率為99.19%，幀頻可達(dá)42.064幀/s，參數(shù)量?jī)H為525 763，具有較高分割識(shí)別精度和較好實(shí)時(shí)性。該方法有效實(shí)現(xiàn)了甜菜與雜草的精確實(shí)時(shí)識(shí)別，可為后續(xù)機(jī)器人精確除草提供理論參考。

作物；圖像分割；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；甜菜；雜草；實(shí)時(shí)

0 引 言

雜草是影響作物生長(zhǎng)的重要因素之一，會(huì)與作物爭(zhēng)肥爭(zhēng)水，增加病蟲(chóng)害的傳播，故及時(shí)去除雜草對(duì)于保證作物高產(chǎn)具有重要意義[2]。傳統(tǒng)除草一般是人工除草，通過(guò)人力挖除或者噴藥實(shí)現(xiàn)除草，但需要耗費(fèi)大量人力。另外噴藥產(chǎn)生的農(nóng)藥殘留不僅對(duì)人類(lèi)健康產(chǎn)生巨大威脅，而且容易破壞生態(tài)環(huán)境[1]-[2]。隨著綠色農(nóng)業(yè)的概念提出，為了提高作物產(chǎn)量、減少環(huán)境污染，實(shí)現(xiàn)智能化除草，解決雜草與作物實(shí)時(shí)精確識(shí)別問(wèn)題就顯得尤為重要[3-6]。

機(jī)器視覺(jué)在農(nóng)業(yè)中應(yīng)用廣泛[7-8]，目前大多數(shù)雜草與作物識(shí)別研究也是基于機(jī)器視覺(jué)技術(shù)，通常包含特征提取與模式識(shí)別兩個(gè)步驟。何東健等[9]提取植物葉片形狀、紋理等特征并提出了一種多特征融合的方法，最后通過(guò)支持向量機(jī)（support vector machine，SVM）建模識(shí)別雜草。趙川源等[10]將多光譜圖像轉(zhuǎn)換為L(zhǎng)ab顏色空間，提取葉片多種特征，并采用C4.5算法對(duì)雜草進(jìn)行識(shí)別。Pulido等[11]計(jì)算圖像灰度共生矩陣（gray-level co-occurrence matrix，GLCM），然后使用支持向量機(jī)分類(lèi)器區(qū)分雜草與蔬菜。以上文獻(xiàn)均是先提取特征然后通過(guò)分類(lèi)器實(shí)現(xiàn)雜草識(shí)別，雖然在特定環(huán)境下取得較好效果，但是實(shí)際雜草識(shí)別中，識(shí)別效果容易受光照、遮擋、以及圖像采集質(zhì)量等因素的影響，所以提高雜草識(shí)別方法的魯棒性在傳統(tǒng)機(jī)器視覺(jué)中仍然是一個(gè)難以解決的問(wèn)題。

深度學(xué)習(xí)[12]是機(jī)器學(xué)習(xí)的一個(gè)分支，其中的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）成為了圖像處理中一個(gè)研究熱點(diǎn)。近些年，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別[13-16]、語(yǔ)義分割[17-18]、目標(biāo)檢測(cè)[19-20]中取得重大突破，由于其對(duì)圖像特征表征能力強(qiáng)，所以越來(lái)越多學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在農(nóng)業(yè)領(lǐng)域。王璨等[21]以幼苗期玉米及雜草為研究對(duì)象，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，提取圖像高斯金字塔多尺度特征，并結(jié)合超像素分割避免雜草識(shí)別中重疊問(wèn)題。孫俊等[22]提出了一種空洞卷積與全局池化相結(jié)合的多尺度特征融合卷積模型，有效的識(shí)別多種雜草。Tang等[23]采用K-means學(xué)習(xí)的圖像特征，并將其參數(shù)替換卷積神經(jīng)網(wǎng)絡(luò)的隨機(jī)初始化參數(shù)，最后通過(guò)微調(diào)模型參數(shù)的方法提高雜草識(shí)別精度。上述文獻(xiàn)均是采用基于分類(lèi)思想實(shí)現(xiàn)雜草識(shí)別，為了更精確定位雜草與作物位置，Milioto等[24]采用基于語(yǔ)義分割的模型實(shí)現(xiàn)端到端的圖像像素點(diǎn)分類(lèi)，提取傳統(tǒng)圖像特征并按通道進(jìn)行像素級(jí)疊加從而構(gòu)建14通道的輸入圖像，獲得了較好分割識(shí)別效果。

以上文獻(xiàn)表明將卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于雜草識(shí)別是可行的，且能避免傳統(tǒng)機(jī)器視覺(jué)方法中特征提取過(guò)程帶來(lái)的主觀性，提高了雜草識(shí)別精度。但是，由于實(shí)際環(huán)境下除草機(jī)器設(shè)備配置低，因此如何在有限硬件環(huán)境配置下節(jié)省資源消耗，達(dá)到實(shí)時(shí)精確的識(shí)別效果是需要解決的一個(gè)關(guān)鍵問(wèn)題。為解決上述問(wèn)題，本文以甜菜為對(duì)象，通過(guò)獲取田間甜菜的近紅外以及可見(jiàn)光圖像，構(gòu)建了4通道輸入圖像，并提出了一種編碼與解碼型輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)加入深度可分離卷積減少模型參數(shù)量與計(jì)算量。本文最后通過(guò)試驗(yàn)研究模型參數(shù)優(yōu)化選擇，為后續(xù)智能除草機(jī)的研制提供理論依據(jù)。

1 試驗(yàn)數(shù)據(jù)

本文采用2016年德國(guó)波恩大學(xué)采集的甜菜與雜草圖片作為數(shù)據(jù)集[25]，該數(shù)據(jù)集在德國(guó)波恩的農(nóng)場(chǎng)采集，數(shù)據(jù)集涵蓋了不同生長(zhǎng)階段的甜菜圖片。采集圖片的機(jī)器人上配備JAI AD-130 GE攝像頭，可以同時(shí)獲取RGB圖片和近紅外（near infrared，NIR）圖片。由于像素級(jí)別的圖片標(biāo)注難度大，故該數(shù)據(jù)集中帶標(biāo)簽的圖片較少，共283張。數(shù)據(jù)集樣例如圖1所示，圖片包含甜菜和其他各類(lèi)雜草，其中標(biāo)簽的紅色區(qū)域表示甜菜，其他顏色區(qū)域表示雜草。

圖1 數(shù)據(jù)集示例

深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)特征學(xué)習(xí)方法，通常深度學(xué)習(xí)語(yǔ)義分割模型的輸入圖片是RGB三通道圖片。由于已標(biāo)注圖片數(shù)量過(guò)少，訓(xùn)練一個(gè)魯棒性較好的深度學(xué)習(xí)模型難度較大，一方面，淺層次模型難以擬合復(fù)雜背景圖片，另一方面，設(shè)計(jì)深層模型對(duì)數(shù)據(jù)量要求高，容易發(fā)生過(guò)擬合現(xiàn)象。針對(duì)上述問(wèn)題，Milioto等[24]在論文中提出增加額外特征圖作為卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，其試驗(yàn)結(jié)果證明了特征融合的方法確實(shí)可以提升模型的精度。本文參考該論文的方法，與其不同的是，本文先對(duì)原始RGB圖像進(jìn)行對(duì)比度增強(qiáng)，然后將圖像增強(qiáng)后的圖片與NIR圖片進(jìn)行融合，構(gòu)成4通道輸入圖像，避免原始圖片特征冗余和減少計(jì)算量。隨機(jī)選取226張圖片作為訓(xùn)練集，剩余57張作為測(cè)試集。

2 甜菜與雜草分割識(shí)別模型

2.1 深度可分離卷積