劉士坤，金誠謙，陳滿，楊騰祥，徐金山

(1. 農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所,南京市,210014; 2. 安徽農(nóng)業(yè)大學(xué)工學(xué)院,合肥市,230036)

0 引言

在大豆聯(lián)合收獲機(jī)作業(yè)過程中,機(jī)器參數(shù)的設(shè)置直接影響聯(lián)合收獲機(jī)作業(yè)質(zhì)量。滾筒轉(zhuǎn)速、脫離段脫離間隙、前進(jìn)速度設(shè)置不當(dāng)會提高機(jī)收大豆破碎含量[1-3]?，F(xiàn)階段,國內(nèi)聯(lián)合收獲機(jī)作業(yè)過程中大豆破碎含量主要由機(jī)手停機(jī)后憑借肉眼觀察和經(jīng)驗(yàn),該方法誤判率高、效率低。因此,在聯(lián)合收獲機(jī)作業(yè)過程中在線檢測大豆破碎含量,有助于駕駛員及時(shí)調(diào)整機(jī)器參數(shù)[4-6],提高聯(lián)合收獲機(jī)作業(yè)質(zhì)量。

目前,國內(nèi)對于谷物籽粒識別技術(shù)研究多以理論分析和臺架試驗(yàn)為主[7-13]。劉爽等[14]提出利用高光譜成像系統(tǒng)結(jié)合機(jī)器學(xué)習(xí)提出了一種用于對大量小麥赤霉病籽粒樣本快速可視化識別的算法可快速、準(zhǔn)確對染病小麥進(jìn)行識別;趙志衡等[15]針對完好花生、表皮破碎花生和果仁破損花生提出基于卷積神經(jīng)網(wǎng)絡(luò)的花生籽粒完整性識別算法,準(zhǔn)確率達(dá)到98.18%;陳進(jìn)等[16]利用基于閾值的圖像分割方法,根據(jù)水稻完整籽粒、破碎籽粒、雜質(zhì)不同顏色和面積特征進(jìn)行快速準(zhǔn)確識別分類。

為了實(shí)現(xiàn)聯(lián)合收獲機(jī)作業(yè)過程中大豆破碎含量在線檢測,本文提出基于DeepLabV3+網(wǎng)絡(luò)的機(jī)收大豆破碎率在線檢測方法,設(shè)計(jì)大豆圖像在線采集裝置,對聯(lián)合收獲機(jī)出糧口流出的大豆進(jìn)行采集、拍攝圖像,研究基于DeepLabV3+網(wǎng)絡(luò)的大豆破碎籽粒識別與分割。

1 大豆圖像在線采集裝置

大豆圖像在線采集裝置由圖像采集模塊和大豆采樣模塊組成。大豆采樣模塊主要由直流舵機(jī)、撥桿、擋板、采樣槽等組成;圖像采集模塊主要由工業(yè)相機(jī)、LED光源組成,如圖1所示。

筆記本電腦通過控制總線給直流舵機(jī)發(fā)送控制指令,驅(qū)動(dòng)直流舵機(jī)動(dòng)作帶動(dòng)擋板回縮,大豆采樣槽釋放大豆,延時(shí)100 ms,控制直流舵機(jī)動(dòng)作帶動(dòng)撥桿拖動(dòng)擋板,擋板伸出,大豆采樣槽填裝大豆,延時(shí)100 ms;當(dāng)采樣槽里大豆處于靜態(tài),筆記本電腦通過控制總線發(fā)送拍照指令給工業(yè)相機(jī),控制工業(yè)相機(jī)采集大豆樣本圖像,將拍攝圖像保存在文件夾內(nèi)。

2 大豆籽粒檢測算法

2.1 數(shù)據(jù)集制作

大豆樣本圖像采集工作于2021年10月18日使用上述裝置在山東省濟(jì)寧市任城區(qū)后劉村大豆試驗(yàn)田完成,采集大豆樣本圖像一共103張,圖像大小為1 280 像素×1 024像素。本文主要對大豆樣本圖像中完整籽粒、破碎籽粒進(jìn)行研究。破碎籽粒為由聯(lián)合收獲機(jī)收獲造成裂瓣和壓扁的籽粒,霉變大豆和自然破皮大豆算作完整籽粒,如圖2所示。

(a) 樣本圖像

(b) 完整籽粒

(c) 破碎籽粒

大豆樣本圖像中分為破碎籽粒、完整籽粒、背景三類。手工標(biāo)記出圖像中完整籽粒、破碎籽粒的邊界,并對包括背景在內(nèi)三種分類進(jìn)行標(biāo)記著色。完整籽粒RGB值為[128,128,128],破碎籽粒RGB值為[64,64,64],背景RGB值為[0,0,0],得到手工標(biāo)記圖,如圖3所示,圖3是圖2(a)樣本圖像的手工標(biāo)記圖。采集的圖像中100張用作訓(xùn)練數(shù)據(jù)集,3張用作測試集。將訓(xùn)練數(shù)據(jù)集中圖像進(jìn)行加黑邊裁剪處理,一張分辨率為1 280像素×1 024像素的原始圖像裁剪成六張分辨率為512像素×512像素的圖像,共得到600張圖像,以9:1的比例隨機(jī)分為訓(xùn)練集和驗(yàn)證集,其中540張作為訓(xùn)練集,60張作為驗(yàn)證集。

圖3 樣本圖像手工標(biāo)記圖

2.2 改進(jìn)DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)

DeepLabV3+[17]是谷歌開發(fā)的一種用于語義分割典型網(wǎng)絡(luò)框架,由編碼(Enconder)模塊和解碼(Deconder)模塊組成。編碼模塊網(wǎng)絡(luò)結(jié)構(gòu)與DeepLabV3網(wǎng)絡(luò)結(jié)構(gòu)相同,利用Xception網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取,之后利用并行的不同空洞率的空洞卷積和池化將圖像特征進(jìn)行融合,在不損失信息的情況下,加大感受野。解碼模塊采用類似于Unet網(wǎng)絡(luò)結(jié)構(gòu)的上采樣部分,融合Xception網(wǎng)絡(luò)輸出的底層特征和編碼模塊輸出高層特征再進(jìn)行雙線性插值上采樣將圖像恢復(fù)至原圖分辨率,完成圖像語義分割。DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)圖

本文以輕量級卷積網(wǎng)絡(luò)MobileNetV2替代編碼器部分中Xception網(wǎng)絡(luò)作為主干特征提取網(wǎng)絡(luò),其核心事深度可分離卷積模塊,減少了模型的參數(shù)量,提高了網(wǎng)絡(luò)收斂速度,MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)中倒殘差結(jié)構(gòu)使網(wǎng)絡(luò)訓(xùn)練速度和提取精度更高。在此網(wǎng)絡(luò)結(jié)構(gòu)中,反向殘差結(jié)構(gòu)先運(yùn)用1×1卷積進(jìn)行升維,在采用3×3深度可分離卷積進(jìn)行過濾并提取有效特征,最后使用1×1卷積進(jìn)行降維;ReLu6激活函數(shù)替代ReLu激活函數(shù)避免當(dāng)輸出通道數(shù)較少產(chǎn)生嚴(yán)重信息損耗。MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 網(wǎng)絡(luò)訓(xùn)練

本文訓(xùn)練數(shù)據(jù)集共600張,其中訓(xùn)練集540 張,驗(yàn)證集60張。使用基于交叉熵函數(shù)作為訓(xùn)練集損失函數(shù),計(jì)算公式如式(1)所示。

(1)

式中:loss——多分類交叉熵?fù)p失;

n——樣本數(shù)量;

x——預(yù)測向量維度;

y——此像素點(diǎn)的真實(shí)值;

a——此像素點(diǎn)預(yù)測的概率值。

采用Dice系數(shù)差異函數(shù)作為驗(yàn)證集損失函數(shù),計(jì)算公式如式(2)所示。

(2)

式中:Diceloss——Dice系數(shù)差異;

A——預(yù)測結(jié)果;

B——真實(shí)結(jié)果。

網(wǎng)絡(luò)訓(xùn)練運(yùn)行環(huán)境如表1所示,在該環(huán)境下構(gòu)建網(wǎng)絡(luò)、訓(xùn)練和預(yù)測。設(shè)置初始學(xué)習(xí)率為0.000 1,迭代次數(shù)100次。網(wǎng)絡(luò)訓(xùn)練完成后,訓(xùn)練損失為0.111 6,驗(yàn)證損失為0.266 5,訓(xùn)練損失和驗(yàn)證損失曲線圖如圖6所示。

表1 網(wǎng)絡(luò)訓(xùn)練環(huán)境表Tab. 1 Network training environment table

圖6 訓(xùn)練損失和驗(yàn)證損失曲線

2.4 圖像預(yù)測

首先在分辨率為1 280像素×1 024像素輸入圖像的右邊添加一個(gè)分辨率為256像素×1 024像素的黑邊,之后將圖像裁剪成6張分辨率為512像素×512像素的圖像;然后裁剪后的6張圖像輸入到訓(xùn)練好的DeepLabV3+網(wǎng)絡(luò)模型進(jìn)行預(yù)測;最后再將預(yù)測后的6張圖像進(jìn)行拼接去黑邊得到輸入圖像的預(yù)測結(jié)果。裁剪拼接的預(yù)測原理如圖7所示。

圖7 裁剪拼接的預(yù)測原理

2.5 預(yù)測效果評估

隨機(jī)從測試集抽取一張大豆樣本圖像采用裁剪拼接的方式進(jìn)行預(yù)測,預(yù)測結(jié)果如圖8所示。與手工標(biāo)注圖相比,整張預(yù)測存在明顯漏判、誤判;裁剪預(yù)測的效果明顯較好。

(a) 原圖

(b) 手工標(biāo)注圖

(c) 整張預(yù)測圖

(d) 裁剪預(yù)測圖

本文采用的圖像分割評價(jià)指標(biāo)是精確率P、召回率R、綜合評價(jià)指標(biāo)F1。

(3)

(4)

(5)

式中:TP——將正確分類像素點(diǎn)預(yù)測為正確分類像素點(diǎn);

FP——將錯(cuò)誤分類像素點(diǎn)預(yù)測為正確分類像素點(diǎn);

FN——將正確分類像素點(diǎn)預(yù)測為錯(cuò)誤分類像素點(diǎn)。

分別統(tǒng)計(jì)出分割結(jié)果中破碎籽粒、完整籽粒的精確率、召回率、綜合評價(jià)指標(biāo)F1,如表2所示。

表2 分割結(jié)果評估Tab. 2 Evaluation of segmentation results

由表2可知,與文獻(xiàn)[18]相比,本文提出的基于DeepLabV3+網(wǎng)絡(luò)裁剪預(yù)測的圖像預(yù)測處理時(shí)間節(jié)省4.580 62 s,完整籽粒的綜合評價(jià)指標(biāo)提高7.16%,破碎籽粒的綜合評價(jià)指標(biāo)提高6.7%;與整張預(yù)測相比,本文提出的裁剪預(yù)測分割效果明顯較好,完整籽粒的綜合評價(jià)指標(biāo)提高25.98%,破碎籽粒的綜合評價(jià)指標(biāo)提高54.17%,但圖像預(yù)測處理時(shí)間增加0.063 2 s,這主要是因?yàn)樵黾硬眉艉推唇硬僮鳟a(chǎn)生一定的耗時(shí)。

3 試驗(yàn)與分析

3.1 破碎率量化模型

現(xiàn)有的大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量檢測方法中破碎率計(jì)算是通過籽粒的質(zhì)量計(jì)算不適用基于圖像識別的破碎率計(jì)算。根據(jù)現(xiàn)有的計(jì)算方法,制定了基于圖像識別的破碎率量化模型,計(jì)算公式如式(6)所示。

(6)

式中:Ps——破碎率%;

Tw——預(yù)測圖像中完整籽粒像素點(diǎn)數(shù);

Ts——預(yù)測圖像中破碎籽粒像素點(diǎn)數(shù)。

3.2 試驗(yàn)材料與試驗(yàn)地點(diǎn)

試驗(yàn)地點(diǎn)為農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所東區(qū),試驗(yàn)時(shí)間為2021年11月25日,本次試驗(yàn)所用大豆品種為齊黃34,大豆籽粒平均含水率為11.9%,千粒籽重為235.8 g。

試驗(yàn)臺架由糧箱、出料斗、刮板升運(yùn)器、電機(jī)、攪龍和大豆采樣裝置組成,如圖9所示。試驗(yàn)時(shí),采樣裝置安裝于出料斗下方,啟動(dòng)電機(jī),大豆循環(huán)從出料斗出來,落入采樣裝置內(nèi)。

圖9 臺架試驗(yàn)

3.3 試驗(yàn)方法

3.3.1 試驗(yàn)設(shè)計(jì)

將試驗(yàn)大豆分為三份,分別進(jìn)行三組臺架試驗(yàn)。每組臺架試驗(yàn),使用大豆破碎率在線檢測方法檢測40次,記錄檢測結(jié)果并計(jì)算平均值。參照NY/T 738—2020《大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量》將每份大豆分成四部分人工檢測出每部分大豆的破碎率并計(jì)算平均值。

3.3.2 試驗(yàn)步驟

將采樣裝置安裝在試驗(yàn)臺架出料斗下方,連接好設(shè)備并調(diào)試;取一份試驗(yàn)大豆倒入試驗(yàn)臺架糧倉內(nèi);啟動(dòng)電機(jī),開始自動(dòng)檢測,及時(shí)保存試驗(yàn)數(shù)據(jù);檢測40次后關(guān)閉電機(jī),清理出糧倉內(nèi)大豆;分別取剩下兩份試驗(yàn)大豆重復(fù)試驗(yàn)。

3.4 試驗(yàn)結(jié)果分析

隨機(jī)從臺架試驗(yàn)中采集的圖像中選取一張圖像,使用標(biāo)注軟件對圖像進(jìn)行手工標(biāo)注,如圖10所示。將手工標(biāo)注圖與預(yù)測圖驗(yàn)證得破碎籽粒的精確率為85.41%、召回率為84.24%、綜合評價(jià)指標(biāo)F1為84.22%;完整籽粒的精確率為94.49%、召回率為94.33%、綜合評級指標(biāo)F1為94.41%。

(a) 原圖

(b) 手工標(biāo)注圖

(c) 預(yù)測圖

采用大豆破碎率在線檢測方法檢測破碎率最大值為5.72%,最小值為0.11%,均值為3.21%;人工檢測破碎率最大值為3.16%,最小值為2.63%,均值為2.89%。試驗(yàn)數(shù)據(jù)表明,相比于人工檢測,采用大豆破碎率在線檢測方法檢測得到的破碎率均較大,破碎率平均值相對誤差為0.36%,由此可見本文提出的檢測方法能夠成為大豆聯(lián)合收獲機(jī)破碎率在線檢測的有效手段。

4 結(jié)論

1) 為了在大豆聯(lián)合收獲機(jī)作業(yè)時(shí)可以實(shí)時(shí)獲取收獲的大豆破碎含量,對機(jī)收大豆破碎率在線檢測方法進(jìn)行了研究。提出一種利用大豆圖像采樣裝置結(jié)合基于DeepLabV3+語義分割模型的機(jī)收大豆破碎率在線檢測方法。

2) 大豆圖像在線采集裝置通過控制直流舵機(jī)帶動(dòng)撥桿拖動(dòng)擋板實(shí)現(xiàn)大豆的動(dòng)態(tài)采樣,利用該裝置在聯(lián)合收獲機(jī)作業(yè)時(shí)采集大豆樣本圖像,通過手工標(biāo)注和圖像裁剪建立訓(xùn)練集和測試集,選擇基于DeepLabV3+深度學(xué)習(xí)網(wǎng)絡(luò)對訓(xùn)練集圖像進(jìn)行訓(xùn)練,建立預(yù)測分割模型分割出大豆破碎籽粒、完整籽粒,計(jì)算各分類像素?cái)?shù)并建立破碎率量化模型計(jì)算破碎率。從測試集中隨機(jī)選取一張大豆樣本圖像,采用綜合評價(jià)評價(jià)指標(biāo)評估預(yù)測分割效果,結(jié)果顯示,完整籽粒綜合評價(jià)指標(biāo)為93.92%,破碎綜合評價(jià)指標(biāo)為89.49%。

3) 采用本文提出的機(jī)收大豆破碎率在線檢測方法進(jìn)行臺架試驗(yàn),試驗(yàn)結(jié)果表明:采用本文提出大豆破碎率在線檢測方法檢測結(jié)果平均值與人工檢測結(jié)果平均值相對誤差0.36%。

4) 本文提出的基于DeepLabV3+網(wǎng)絡(luò)的機(jī)收大豆破碎率在線檢測方法能夠快速準(zhǔn)確分割大都圖像中破碎籽粒和完整籽粒并計(jì)算破碎率,為大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量在線檢測提供參考。