宋懷波 王云飛 段援朝 宋 磊 韓夢璇

(1.西北農(nóng)林科技大學機械與電子工程學院，陜西楊凌 712100;2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點實驗室，陜西楊凌 712100)

0 引言

千粒質(zhì)量是小麥產(chǎn)量預(yù)估的重要指標，小麥籽粒的精確檢測是其重要內(nèi)容。同時，籽粒檢測可為小麥育種、表型分析、破損及霉變籽粒分選等提供重要支撐。利用人工方法進行小麥籽粒檢測費時費力，而機器視覺方法因其具有高效、快速等特點，已成為小麥籽粒檢測的首選方法[1-4]，但小麥籽粒的粘連會造成檢測較大誤差，重度粘連會導致檢測精度急劇下降。如何實現(xiàn)重度粘連下小麥籽粒的精確檢測已成為相關(guān)研究的熱點，越來越受到重視。

為了有效實現(xiàn)粘連小麥籽粒的檢測，部分學者通過設(shè)計特征提取算法對圖像進行分割，將籽粒與背景分開[5-7]。該過程使用的主要圖像處理算法包括大津法[8]、腐蝕膨脹算法[9]、分水嶺算法[10-12]、小波分析法[13]等。LIU等[14]對原始小麥籽粒圖像使用大津法獲得二值圖像，利用籽粒與背景像素分布特點分割粘連籽粒，其算法單幅圖像檢測時間最大為1 s，最大錯誤率為2.10%，檢測效果較好。馮麗娟等[15]對圖像提取籽粒顏色、形態(tài)、紋理特征并利用稀疏表示方法進行檢測，算法平均識別準確率為96.70%，但在相似品種間易發(fā)生誤檢現(xiàn)象。張恒敢等[16]對圖像二值化處理后采用腐蝕膨脹算法實現(xiàn)了粘連籽粒的分割，算法平均識別準確率為98.83%，但外界環(huán)境光源的變化會對識別率造成一定影響。上述方法均需手動設(shè)計特征，并依據(jù)目標的變化而重新設(shè)計特征參數(shù)，普適性有待改進。

近年來，一些學者利用機器學習的思想，通過模型訓練自動學習籽粒特征進行檢測[17-19]。EBRAHIMI等[20]提出了針對小麥籽粒顏色、形態(tài)、紋理等特征的ICA-ANN網(wǎng)絡(luò)用于籽粒檢測，準確率為77.22%。樊超等[21]提取16個特征信息輸入自主設(shè)計的單隱層人工神經(jīng)網(wǎng)絡(luò)，籽粒檢測的準確率為93.13%。左衛(wèi)剛等[22]設(shè)計了適合于小麥籽粒分割的FFBP-ANN網(wǎng)絡(luò)，分類準確率為99.94%。祝詩平等[23]對比了LeNet、AlexNet、VGG、ResNet等4種卷積神經(jīng)網(wǎng)絡(luò)，并采用檢測籽粒完整度準確率最高的AlexNet網(wǎng)絡(luò)進行籽粒檢測，單粒識別耗時0.83 ms，平均準確率為98.02%。WU等[24]利用Faster R-CNN模型進行了小麥籽粒檢測，其模型最大錯誤率為3.02%，單幅圖像檢測時間最長為2 s。相較于傳統(tǒng)的機器視覺算法，該類方法不需要手動設(shè)計特征提取算法，僅需對神經(jīng)網(wǎng)絡(luò)的深度、寬度、結(jié)構(gòu)進行設(shè)計，通過訓練得到神經(jīng)元的最佳特征提取參數(shù)，泛化性更好。

YOLO v5作為YOLO系列的卷積神經(jīng)網(wǎng)絡(luò)，具有檢測效率高、準確率高、模型占用內(nèi)存小等特點[25-30]，MDC模塊是針對傳統(tǒng)深度分離卷積模塊提出的混合深度分離卷積模塊，其融合多個卷積核于一個卷積操作中，在不損失模型精度的同時減少了模型參數(shù)，同時其還融合了SE模塊，提高了特征圖的通道聯(lián)系[31]。本研究結(jié)合MDC模塊的優(yōu)點，對YOLO v5網(wǎng)絡(luò)特征提取骨干部分予以改進，以使網(wǎng)絡(luò)參數(shù)減少，用于重度粘連小麥籽粒的檢測之中，以期為研發(fā)適合于移動端的便攜式千粒質(zhì)量檢測設(shè)備奠定基礎(chǔ)。

1 檢測與方法

本研究所用小麥為豫麥，包括矮抗58、汝麥0319、鄭麥7698等3個品種。圖像采集裝置如圖1a所示，由4部分構(gòu)成，包括1個升降平臺、1個攝像裝置、2個補光燈、1臺計算機。如圖1b所示，裝置底端到拍攝裝置距離為260 mm，升降平臺如圖1c所示，可升降高度范圍為45～220 mm，補光燈平行于拍攝裝置前后對稱安裝，以減少陰影的影響，數(shù)據(jù)采集時作為光源可提供波長400～700 nm的光線，攝像裝置為華為Honor8x Max手機攝像頭，拍攝圖像分辨率為4 608像素×3 456像素。

圖1 圖像采集裝置Fig.1 Data acquisition device1、4.補光燈 2.拍攝裝置 3.升降平臺

1.1 圖像采集

傳統(tǒng)小麥籽粒分割算法多集中在對2～20粒粘連籽粒的分割上[5-16]，對于更多粘連籽粒分割效果不佳，故而，本研究在借鑒前人研究結(jié)果的基礎(chǔ)上，以圖像局部區(qū)域包含2～10粒籽粒粘連定義為輕度粘連，局部區(qū)域包含11～20粒籽粒粘連定義為中度粘連，局部區(qū)域包含20粒以上籽粒粘連的定義為重度粘連。

為使模型學習到更多的粘連小麥籽粒特征，應(yīng)輸入盡可能多的小麥籽粒圖像進行訓練，同時，圖像中應(yīng)包含小麥籽粒的輕度、中度、重度粘連情況。因此，實驗時隨機選取一定數(shù)量的小麥籽粒撒在升降平臺上，通過輕微晃動使小麥隨機分布，防止因人為意愿而產(chǎn)生單一粘連情況圖像。同時，為探究光源和拍攝距離對檢測效果的影響，在拍攝時使用補光燈分別提供紅(波長605～700 nm)、黃(波長580～595 nm)、藍(波長450～480 nm)、綠(波長500～560 nm)4種光照環(huán)境，并通過調(diào)節(jié)升降平臺使攝像裝置在距離小麥籽粒5、10、15 cm，3種不同高度下拍攝原始圖像。最終獲取了3 942幅粘連小麥籽粒圖像，如圖2所示，圖像數(shù)據(jù)集數(shù)目統(tǒng)計見表1。

圖2 不同粘連程度圖像Fig.2 Images of different adhesive degrees

表1 小麥籽粒圖像數(shù)據(jù)集統(tǒng)計Tab.1 Statistics of wheat grain data set 幅

從粘連小麥籽粒圖像數(shù)據(jù)集中可以看出，每幅圖像包含隨機數(shù)量的籽粒，并且包含了輕度粘連、中度粘連、重度粘連等情況，如圖2所示(3幅圖中小麥粒數(shù)均為91粒)，本研究所用數(shù)據(jù)集共包含輕度粘連圖像563幅，中度粘連圖像1 126幅，重度粘連圖像2 253幅。

如圖3所示，數(shù)據(jù)集同時還包含了3種拍攝距離、4種光照條件共12類小麥籽粒圖像。綜上，該數(shù)據(jù)集包含了較多的粘連小麥籽粒特征，可以有效地保證模型的訓練學習，增強模型的泛化性。

圖3 圖像數(shù)據(jù)集Fig.3 Image data set

1.2 數(shù)據(jù)集制備

對獲取的3 942幅小麥籽粒圖像，按照4∶1∶1的比例分為訓練集、驗證集和測試集，測試集數(shù)目略高于驗證集，最終訓練集2 524幅圖像，驗證集630幅圖像，測試集788幅圖像。訓練集與驗證集用于模型訓練與單次訓練結(jié)果的評估，測試集用于最終模型的檢測效果評估。

YOLO系列網(wǎng)絡(luò)模型為有監(jiān)督學習模型，訓練中的教師信號為圖像中小麥籽粒的坐標與類別，通過LabelImg軟件對數(shù)據(jù)集進行人工標注坐標與類別，獲取與數(shù)據(jù)集圖像一一對應(yīng)的標簽文件。YOLO網(wǎng)絡(luò)中數(shù)據(jù)增強過程如圖4所示，對圖像進行隨機縮放、裁剪、排布的方式進行拼接以豐富目標與背景實現(xiàn)數(shù)據(jù)增強。

圖4 數(shù)據(jù)增強Fig.4 Data enhancement

1.3 網(wǎng)絡(luò)模型構(gòu)建與訓練

YOLO v5網(wǎng)絡(luò)包括l、m、s、x共4個版本，不同版本間的區(qū)別在于模型深度，隨模型深度的增加進行特征提取操作的次數(shù)越多，模型的參數(shù)也隨之增多，在增強圖像語義信息提取的同時會帶來較大的計算量。

本研究小麥籽粒為單一目標且其個體在圖像中所占像素少，檢測的任務(wù)主要在于其坐標信息而非類別信息，因而選取淺層模型有助于提升檢測速度。本研究選用YOLO v5s網(wǎng)絡(luò)模型為原始檢測模型，為減少計算量，將原始圖像壓縮到640像素×640像素并輸入網(wǎng)絡(luò)，同時為加快訓練速度，模型參數(shù)設(shè)置為網(wǎng)絡(luò)在擁有1 000萬幅圖像的ImageNet數(shù)據(jù)集上預(yù)訓練后的權(quán)重，進行微調(diào)訓練。

網(wǎng)絡(luò)的特征提取模塊結(jié)構(gòu)如圖5所示，其中：CBH模塊對輸入特征圖進行卷積后歸一化再經(jīng)過激活函數(shù)處理后輸出，是網(wǎng)絡(luò)的基礎(chǔ)模塊。Bottle neck模塊對輸入特征圖進行兩次CBH操作后與初始輸入特征圖疊加后再輸出，起到融合不同深度特征信息的作用。Cross Stage Partial模塊(CSP)的作用為提高模型的特征提取能力，CSP1_1模塊用于特征提取骨干部分，其將輸入特征圖經(jīng)過CBH、Bottle neck、卷積操作后與原始特征圖卷積后的輸出進行通道疊加，再經(jīng)過歸一化、激活函數(shù)、CBH操作后輸出。CSP2_1模塊用于預(yù)測，其與CSP1_1的區(qū)別在于將Bottle neck模塊替換為CBH模塊。

圖5 特征提取模塊結(jié)構(gòu)圖Fig.5 Structure diagram of feature extraction module

本研究的主要模型改進如下：

(1)已有研究表明，特征提取時使用不同大小卷積核可以提高模型訓練效果，并提出了混合深度可分離卷積(Mixed depthwise convolutional,MDC)[31]，其過程如圖6所示，其中，H1、W1、Channel 1分別為輸入特征圖的高、寬和通道數(shù)，H2、W2、Channel 2分別為輸出特征圖的高、寬和通道數(shù)，K×K表示卷積核尺寸。本研究將普通卷積替換為混合深度可分離卷積，將輸入特征圖通道分為多個部分使用不同卷積核對其進行卷積操作，極大地降低了模型參數(shù)。

圖6 混合深度可分離卷積與普通卷積對比Fig.6 Comparisons of MDC and ordinary convolution

(2)在混合深度可分離卷積的基礎(chǔ)上結(jié)合其他特征提取模塊構(gòu)造MDC模塊，結(jié)構(gòu)如圖7所示，其對輸入特征圖進行了CBR、Mixed depthwise block(MdBlock)、SE、卷積歸一化(CB)操作。與CBH模塊不同，CBR模塊使用ReLU6激活函數(shù)以提高模型特征提取能力。MdBlock對輸入特征圖進行混合深度可分離卷積、歸一化、ReLU6激活函數(shù)操作后輸出，達到提高模型特征提取能力的目的。

圖7 MDC模塊結(jié)構(gòu)Fig.7 MDC module structure

(3)SE模塊過程如圖8所示，H3、W3、Channel 3分別為輸入特征圖高、寬和通道數(shù)，H4、W4、Channel 4分別為輸出特征圖高、寬和通道數(shù)，其對輸入特征圖通過池化操作得到各層通道的權(quán)重，對各層通道乘以對應(yīng)權(quán)重，增強了特征圖的通道相關(guān)性。CB模塊用于增強特征提取能力。

圖8 SE模塊結(jié)構(gòu)Fig.8 SE module structure

網(wǎng)絡(luò)的最終結(jié)構(gòu)如圖9所示，通過串聯(lián)多個特征提取模塊提取圖像特征，在網(wǎng)絡(luò)的預(yù)測輸出部分，通過上采樣操作將深層特征圖放大至淺層特征圖尺寸并與其進行融合，疊加了深層分類信息與淺層坐標信息，選取網(wǎng)絡(luò)中3種不同尺寸特征圖用于預(yù)測大、中、小目標位置與類別。最終修改后的模型，相對于原始網(wǎng)絡(luò)減少了3.69×105個訓練參數(shù)。

圖9 網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 Network structure

訓練流程如圖10所示，在每步訓練中原始圖像和標簽文件同時輸入，原始圖像經(jīng)過模型預(yù)測后數(shù)據(jù)與標簽計算得到損失值，再反傳回模型優(yōu)化權(quán)重參數(shù)，經(jīng)過多步訓練降低損失值，增強檢測性能。最終模型在測試集上測試得到實驗結(jié)果。

圖10 訓練流程圖Fig.10 Training flow chart

2 實驗

2.1 實驗環(huán)境

網(wǎng)絡(luò)模型以Python 3.8編程語言實現(xiàn)，軟件平臺為PyCharm，采用Pytorch框架。CPU為Intel Core i3-4160，擁有雙核四線程，最大頻率為3.6 GHz，顯卡為Quadro P2000，擁有1 024個CUDA核心用于模型的加速訓練，內(nèi)存12 GB，主板為華碩B85M-F，Windows 10系統(tǒng)。

2.2 評價指標

為評估訓練所得模型的檢測效果，選取平均精度均值(mAP)、精確率P、召回率R作為網(wǎng)絡(luò)學習的評價指標。置信度作為檢測效果的評價指標，置信度使用Softmax函數(shù)計算，在0～100%之間，代表單個籽粒檢測準確性，越接近于1表明檢測結(jié)果越準確。

P表示小麥籽粒的個數(shù)在所識別目標中所占比率，R表示在所有小麥籽粒中被識別出來的比率。這兩個指標值越高，表明訓練所得模型檢測性能越好。mAP為精確率-召回率曲線與坐標軸圍成的面積，其值越大則檢測效果越好。

2.3 測試結(jié)果

2.3.1訓練結(jié)果

本文網(wǎng)絡(luò)的訓練結(jié)果如圖11所示，經(jīng)過500次訓練，損失值降至0.04，最終模型的精確率為93.15%，召回率為99.96%，mAP(重疊率為0.5)為99.46%。從訓練結(jié)果可看出，該模型精確率、召回率較高，損失值較低，實現(xiàn)了收斂。

圖11 訓練結(jié)果Fig.11 Training results

2.3.2檢測效果

2.3.2.1不同粘連程度時的檢測效果

在黃色光源、拍攝高度為5 cm、籽粒個數(shù)均為91個的條件下，隨機選取輕度粘連、中度粘連、重度粘連圖像各1幅輸入最終模型，檢測效果如圖12所示，3幅圖像均無漏檢情況發(fā)生，并且對于重度粘連的小麥籽粒檢測置信度均在85%以上。

圖12 不同粘連程度時的檢測效果Fig.12 Detection effects under different degrees of adhesion

2.3.2.2不同光源時的檢測效果

在拍攝高度5 cm、籽粒個數(shù)均為100個的重度粘連情況下，在紅、黃、藍、綠4種光照條件下隨機各選取1幅圖像輸入最終模型，檢測效果如圖13所示，4幅圖像中小麥籽粒均無漏檢情況發(fā)生，目標檢測置信度均在80%以上，模型均取得了較好的檢測效果。

圖13 不同光源時檢測效果Fig.13 Detection effects under different light sources

2.3.2.3不同拍攝高度時的檢測效果

在黃色光源、均為重度粘連、籽粒個數(shù)均為90個的情況下，選取在5、10、15 cm 3種拍攝高度下的圖像輸入網(wǎng)絡(luò)中，檢測結(jié)果如圖14所示，拍攝高度5 cm的圖像檢測效果最好，置信度均在90%以上；拍攝高度10 cm的圖像無漏檢情況，此時檢測置信度均在85%以上，較5 cm高度時的效果略差；拍攝高度15 cm的圖像存在個別籽粒的漏檢現(xiàn)象，如圖14c圈出位置所示，雖然存在漏檢現(xiàn)象，但此時的籽粒檢測置信度仍然在80%以上，表明本文算法在不同拍攝高度時均具有較好的檢測效果。

圖14 不同拍攝高度時的檢測效果Fig.14 Detection effects at different shooting heights

2.3.3籽粒數(shù)量對檢測準確性的影響

從測試集中選取不同籽粒個數(shù)圖像進行準確性檢測，各幅圖像中包含籽粒數(shù)在0～350之間，對各幅圖像中小麥籽粒個數(shù)以及輸入模型后的預(yù)測個數(shù)進行統(tǒng)計，分析不同規(guī)模小麥籽粒檢測效果，結(jié)果如圖15所示。當籽粒個數(shù)在100粒以內(nèi)時，沒有發(fā)生漏檢情況，當籽粒個數(shù)在100～200粒時，出現(xiàn)輕微漏檢，最大漏檢數(shù)為3個，當籽粒個數(shù)在200～300粒時，出現(xiàn)較為嚴重的漏檢，最大漏檢數(shù)為9個，當籽粒個數(shù)大于300粒時出現(xiàn)較大誤差。

圖15 不同籽粒個數(shù)檢測準確性Fig.15 Accuracy of different grain sizes detection

2.3.4不同籽粒規(guī)模檢測時間

不同籽粒規(guī)模圖像檢測時間如圖16所示，對于單幅圖像平均檢測時間為0.03 s，最大檢測時間為0.08 s。

圖16 不同籽粒規(guī)模檢測時間Fig.16 Detection time of different grain sizes

3 性能分析

由實驗結(jié)果可以看出，所訓練模型對重度粘連小麥籽粒具有較好的檢測效果，同時發(fā)現(xiàn)，不同拍攝高度、不同光源環(huán)境對圖像檢測結(jié)果具有一定的影響，通過對其分析進行了討論。同時，探究了網(wǎng)絡(luò)訓練次數(shù)的影響以及不同算法的對比。

3.1 特征學習次數(shù)的影響及不同檢測方法對比

為驗證網(wǎng)絡(luò)訓練次數(shù)及不同檢測算法是否對檢測效果有影響，將模型訓練次數(shù)由500次降低為50次并在相同條件下與其他檢測網(wǎng)絡(luò)進行了對比，對照網(wǎng)絡(luò)為YOLO v5s、RetinaNet和YOLO v4，評估指標為最終訓練模型的精確率P、檢測時間t以及模型所占內(nèi)存，結(jié)果如表2所示。

表2 不同檢測算法對比Tab.2 Comparison of different detection algorithms

從表2可看出，減少模型訓練次數(shù)至50次，模型的精度相較于模型迭代500次下降了4.74個百分點，由此可見特征學習次數(shù)對模型效果的提升有較大影響。同時通過對比，本文所改進網(wǎng)絡(luò)在模型所占內(nèi)存和檢測時間上均為最優(yōu)。

對比YOLO v5-MDC模型與YOLO v5s模型，二者mAP均高于99%，能夠滿足檢測任務(wù)需要；YOLO v5-MDC平均檢測時間為30 ms，YOLO v5s為40 ms，改進模型檢測速度更快；YOLO v5-MDC所占空間為13.4 MB，比原始模型減小了0.6 MB。本研究經(jīng)過實驗，證明了MDC模塊在模型輕量化上的作用，對于常規(guī)的卷積、池化、激活函數(shù)結(jié)構(gòu)均可以考慮使用MDC結(jié)構(gòu)進行替換以使模型輕量化。

對于開發(fā)小麥籽粒檢測嵌入式設(shè)備，需要考慮模型的可移植性、檢測效率以及準確度，受到嵌入式設(shè)備芯片算力的影響，其模型加載與模型檢測時間更長。而本研究提出的YOLO v5-MDC網(wǎng)絡(luò)，有效解決了大規(guī)模籽粒檢測中重度粘連小麥籽粒的檢測問題，并且其所占空間小，檢測速度快，可為嵌入式設(shè)備開發(fā)提供技術(shù)支持。

3.2 不同拍攝距離對檢測結(jié)果的影響

為驗證因圖像拍攝距離而導致的目標像素尺寸不同是否會對檢測結(jié)果有影響，在黃色光源、相同籽粒個數(shù)(分別為40、80、120、160、200粒)、均為重度粘連條件下，僅改變輸入圖像拍攝距離這一變量進行測試，結(jié)果如表3所示。從表3可以看出，隨著拍攝高度的增加，小麥籽粒在圖像中所占像素減少，精確率隨之下降。

表3 不同拍攝高度的檢測效果Tab.3 Detection effect of different shooting heights

3.3 不同光源對檢測結(jié)果的影響

為驗證不同光源是否對檢測結(jié)果有影響，在拍攝高度均為5 cm、相同籽粒個數(shù)(分別為40、80、120、160、200粒)、均為重度粘連條件下，僅改變光源進行檢測，結(jié)果如表4所示。從表4可以看出，綠色光源檢測平均精確率最高，為98.00%，黃色光源為97.80%，藍色光源為97.20%，紅色光源下檢測效果最差，平均準確率為96.20%，可見，綠色光源更適宜作為檢測光源。

表4 不同光源的檢測效果Tab.4 Detection effect of different light sources

4 結(jié)論

(1)最終訓練完成的模型精確率P為93.15%，召回率R為99.96%，平均精度均值(重疊率為0.5)為99.45%，單幅圖像平均檢測時間為0.03 s，最大檢測耗時0.08 s，取得了較好的檢測效果與泛化特性，并且模型所占內(nèi)存僅為13.4 MB，易于移植。

(2)在實驗過程中，針對算法出現(xiàn)檢測精確率下降這一現(xiàn)象進行了原因分析，最終驗證模型的檢測效果受訓練次數(shù)、圖像拍攝距離以及光源的影響，結(jié)果表明訓練次數(shù)越多，模型檢測效果越好；在拍攝高度5 cm時檢測效果最佳，平均檢測精確率為98.60%；綠色光源更適合于進行小麥籽粒的檢測，檢測精確率為98.00%。