李頎　陳哲豪

摘要： 為實(shí)現(xiàn)果面缺陷冬棗實(shí)時(shí)檢測，并解決缺陷的尺寸與位置不同影響檢測精度的問題，提出一種基于改進(jìn)單次多目標(biāo)檢測器（Single shot multibox detector，SSD）的果面缺陷冬棗實(shí)時(shí)檢測方法。以陜西大荔冬棗中的蟲蛀、輪紋和木質(zhì)化3種缺陷果和正常果為研究對象，在數(shù)據(jù)采集設(shè)備下采集實(shí)際分揀圖像，然后通過數(shù)據(jù)增強(qiáng)由400張擴(kuò)充至2 000張。改進(jìn)SSD，建立MobileNetV3-SSD模型，為實(shí)時(shí)檢測奠定基礎(chǔ);引入改進(jìn)感受野塊（RFB）可實(shí)現(xiàn)模型多尺寸提取冬棗缺陷特征的能力;用空間注意力模塊（SAM）代替擠壓和激勵(lì)通道注意力模塊（SE）增強(qiáng)模型定位冬棗缺陷特征的能力。試驗(yàn)結(jié)果表明，本研究模型在果面缺陷冬棗數(shù)據(jù)集上的表現(xiàn)均優(yōu)于目前先進(jìn)目標(biāo)檢測網(wǎng)絡(luò)模型（RetinaNet和EfficientDet-D0），該模型對4類冬棗的整體檢測精準(zhǔn)性（mAP）達(dá)到91.89%，檢測速度達(dá)到1 s 40.85幀。因此本研究模型較好地平衡了實(shí)時(shí)性和精準(zhǔn)性，可應(yīng)用于果面缺陷冬棗分揀流水線。

關(guān)鍵詞： 冬棗;果面缺陷;實(shí)時(shí)檢測;單次多目標(biāo)檢測器;多尺寸;空間注意力模型

中圖分類號： TP391.4 文獻(xiàn)標(biāo)識碼： A 文章編號： 1000-4440（2022）01-0119-10

Abstract： In order to realize the real-time surface defect detection of winter jujube and solve the problems that different sizes and positions affected the detection accuracy， a real-time surface defect detection method of winter jujube based on improved single shot multibox detector （SSD） was proposed. Three kinds of defective winter jujubes（worm， wheel-pattern and lignification） and normal winter jujubes from Dali（Shaanxi province） were taken as the research objects. The actual sorting images were collected by data acquisition equipment， and then expanded from 400 to 2 000 by data enhancement. The SSD was improved， and MobileNetV3-SSD model was established to lay the foundation for real-time detection. The introduction of improved receptive field block （RFB） could realize the ability of model to extract the defect feature of winter jujube at multiple scales. Spatial attention module （SAM） was used to replace squeeze-and-excitation （SE） block， so the ability of the model to locate the defect feature of winter jujube was enhanced. The test results showed that the performance of the proposed model on the dataset of defective winter jujube was better than the current advanced target detection network models （RetinaNet and EfficientDet-D0）. The averall detection accuracy of the model for four types of winter jujube was 91.89%， and the detection speed was 40.85 frames per second. Therefore， the model established in this study can balance the real-time performance and accuracy， and can be applied to sorting pipeline of winter jujube with surface defect.

Key words： winter jujube;surface defect;real-time detection;single shot multibox detector;multi-scale;spatial attention module

2020年陜西大荔冬棗產(chǎn)量超5×105 t[1]。龐大的產(chǎn)量帶來了巨大的果面缺陷冬棗分揀量，而人工應(yīng)對巨大分揀量時(shí)精度驟降且效率低下[2-3]。此外采后冬棗常溫下易失水的缺點(diǎn)會導(dǎo)致其品質(zhì)受損，所以需要盡快完成分揀以冷藏保鮮，可見實(shí)現(xiàn)果面缺陷冬棗實(shí)時(shí)檢測至關(guān)重要[4-5]。

常規(guī)的果面缺陷檢測方法包括傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)兩類。Lu等[6]使用主成分分析獲得蘋果第一主成分圖像，基于類內(nèi)方差法分割圖像，根據(jù)非零像素判斷蘋果損傷，準(zhǔn)確率為84.20%。孫世鵬等[7]利用降維算法確定冬棗損傷處一致的特征波長，經(jīng)處理獲得一致波長灰度圖，并用支持向量機(jī)分類，檢測準(zhǔn)確率為81.80%。

顯然傳統(tǒng)機(jī)器學(xué)習(xí)的精度與所提取的果面缺陷特征息息相關(guān)。但是冬棗果面缺陷尺寸不一且位置隨機(jī)，傳統(tǒng)機(jī)器學(xué)習(xí)的精度也會因特征提取難度的升高而下降[8]。然而深度學(xué)習(xí)能夠挖掘到人類難以發(fā)現(xiàn)的有效特征，從而在果面缺陷檢測任務(wù)中脫穎而出。

薛勇等[9]使用GoogLeNet自動(dòng)提取蘋果果面缺陷特征，對測試樣本檢測準(zhǔn)確率達(dá)91.91%。費(fèi)琦琪等[10]利用CNN自主提取冰糖橙缺陷特征，對測試樣本檢測準(zhǔn)確率達(dá)96.67%。李小占等[11]通過改進(jìn)VGG網(wǎng)絡(luò)訓(xùn)練哈密瓜表面缺陷檢測模型，檢測準(zhǔn)確率為93.50%，靜態(tài)下處理單幅圖像需0.7 s。雖然深度學(xué)習(xí)在上述任務(wù)中表現(xiàn)出色，但是卷積神經(jīng)網(wǎng)絡(luò)的巨大計(jì)算量導(dǎo)致模型實(shí)時(shí)性受限。因此果面缺陷目標(biāo)檢測模型的實(shí)時(shí)性和精準(zhǔn)性的平衡問題亟待解決。

綜上所述，本研究以產(chǎn)自陜西大荔的蟲蛀、輪紋和木質(zhì)化3種果面缺陷冬棗和正常冬棗為試驗(yàn)材料，提出基于改進(jìn)單次多目標(biāo)檢測器（Single shot multibox detector，SSD）的果面缺陷冬棗實(shí)時(shí)檢測模型，對缺陷果和正常果進(jìn)行實(shí)時(shí)檢測，使檢測模型兼具實(shí)時(shí)性和精準(zhǔn)性。

1 果面缺陷冬棗實(shí)時(shí)檢測模型

1.1 SSD目標(biāo)檢測網(wǎng)絡(luò)

單位時(shí)間內(nèi)檢測果面缺陷冬棗個(gè)數(shù)是決定模型實(shí)時(shí)性的主要因素之一，這就要求選擇的網(wǎng)絡(luò)能應(yīng)用于圖中存在多個(gè)冬棗目標(biāo)的檢測任務(wù)，因此果面缺陷冬棗實(shí)時(shí)檢測模型應(yīng)選擇目標(biāo)檢測網(wǎng)絡(luò)。目前目標(biāo)檢測網(wǎng)絡(luò)分為單階段檢測網(wǎng)絡(luò)和雙階段檢測網(wǎng)絡(luò)。雙階段檢測網(wǎng)絡(luò)原理是先獲得若干個(gè)建議框，最后在建議框中篩選出預(yù)測框。而單階段檢測網(wǎng)絡(luò)則跳過獲得建議框的階段，直接獲得預(yù)測框。因此單階段網(wǎng)絡(luò)相較于雙階段網(wǎng)絡(luò)的實(shí)時(shí)性有一定提升。Liu等[12]學(xué)習(xí)YOLO的回歸理念，提出先驗(yàn)框預(yù)測機(jī)制，使SSD具有出色的實(shí)時(shí)性和精準(zhǔn)性。

1.2 MobileNetV3主干網(wǎng)絡(luò)

VGG16的計(jì)算量高達(dá)14.2 G FLOPs，因此VGG16作為主干網(wǎng)絡(luò)與SSD搭配存在計(jì)算量過大的缺點(diǎn)，這會減緩果面缺陷冬棗實(shí)時(shí)檢測模型的檢測速度[13]。但是檢測果面缺陷冬棗的速度是決定模型實(shí)時(shí)性的另一個(gè)主要因素，為了進(jìn)一步加強(qiáng)模型的實(shí)時(shí)性，本研究用MobileNetV3代替VGG16作為主干網(wǎng)絡(luò)與SSD搭配。

一方面MobileNetV3通過使用深度可分離卷積代替大量標(biāo)準(zhǔn)卷積，有效壓縮了果面缺陷冬棗實(shí)時(shí)檢測模型的計(jì)算量，因而模型的實(shí)時(shí)性得到加強(qiáng)[14]。

深度可分離卷積與標(biāo)準(zhǔn)卷積的區(qū)別是，前者將后者的卷積操作分為2步來執(zhí)行：

（1）對輸入特征圖各通道應(yīng)用一個(gè)濾波器進(jìn)行深度卷積但不合成特征圖。

（2）利用逐點(diǎn)卷積計(jì)算輸入特征圖的線性組合構(gòu)建輸出特征圖。

深度可分離卷積由深度卷積和逐點(diǎn)卷積兩部分組成[15]。深度卷積和逐點(diǎn)卷積的計(jì)算量分別如公式（1）和公式（2）所示。

NDepthwise=DK×DK×M×DF×DF（1）

式中NDepthwise是深度卷積計(jì)算量，DK是輸入特征圖大小，M是輸入特征圖通道數(shù)，DF是輸出特征圖大小。

另一方面，MobileNetV3通過使用倒殘差模塊，提高模型學(xué)習(xí)冬棗果面特征的效率，減少模型冗余計(jì)算。

倒殘差模塊由擴(kuò)張層、深度可分離卷積層和投影層組成。其設(shè)計(jì)思路是：為了深度可分離卷積層在高維度特征圖中學(xué)習(xí)到更多冬棗果面缺陷特征，通過使擴(kuò)張層中的擴(kuò)張系數(shù)factor=6升高特征圖維度，為了有效降低模型向下傳遞特征圖時(shí)的計(jì)算量，又通過投影層壓縮特征圖維度。

本研究將MobileNetV3的池化層及其之后的卷積層刪除，然后與SSD拼接組成MobileNetV3-SSD。MobileNetV3-SSD將第13個(gè)倒殘差模塊和池化層之前的卷積層的輸出作為預(yù)測特征層，最后通過預(yù)測特征層和SSD附加層得到預(yù)測結(jié)果（圖1）。

1.3 改進(jìn)感受野塊

本研究借助OpenCV庫的ContourArea函數(shù)計(jì)算冬棗果面缺陷面積與果面總面積的比例來分析冬棗果面缺陷尺寸。由圖2可以看出，蟲蛀、輪紋和木質(zhì)化的尺寸位于6個(gè)區(qū)間內(nèi)，分別是（0，0.05]，（0.05，0.10]，（0.10，0.15]，（0.15，0.20]，（0.20，0.25]和（0.25，0.30]，然而單尺寸感受野無法勝任提取不同尺寸冬棗果面缺陷特征的任務(wù)[16]。

針對上述問題，本研究將改進(jìn)的感受野塊（Receptive field block，RFB）引入果面缺陷冬棗實(shí)時(shí)檢測模型，讓模型從3個(gè)尺寸提取冬棗果面缺陷特征，旨在提高模型分類果面缺陷冬棗的精度[17]。

RFB是一種模仿人眼群體感受野（Population receptive field，pRF）的仿生卷積結(jié)構(gòu)，該結(jié)構(gòu)通過標(biāo)準(zhǔn)卷積和空洞卷積模擬pRF尺寸與偏心率的正相關(guān)實(shí)現(xiàn)特征圖感受野[18-19]。為了獲得3種尺寸的冬棗果面缺陷特征，引入模型的RFB設(shè)置為3個(gè)分支卷積結(jié)構(gòu)，其中每個(gè)分支由卷積核大小不同的標(biāo)準(zhǔn)卷積和膨脹率不同的空洞卷積組成，前者用于模擬不同尺寸的pRF，后者用于模擬不同偏心率的pRF。由圖3可以看出，空洞卷積核的膨脹率隨著標(biāo)準(zhǔn)卷積核的尺寸增大而增大，兩者的變化關(guān)系則復(fù)現(xiàn)了pRF的尺寸與偏心率的關(guān)系。最后RFB各分支輸出的特征圖都將疊加到一起，以實(shí)現(xiàn)多尺寸果面缺陷特征融合。

為了減輕引入RFB對模型實(shí)時(shí)性的影響，本研究對RFB進(jìn)行改進(jìn)：將3×3標(biāo)準(zhǔn)卷積拆分成并聯(lián)的1×3標(biāo)準(zhǔn)卷積和3×1標(biāo)準(zhǔn)卷積;將5×5標(biāo)準(zhǔn)卷積拆分成串聯(lián)的1×5標(biāo)準(zhǔn)卷積和5×1標(biāo)準(zhǔn)卷積;同時(shí)用深度可分離卷積代替標(biāo)準(zhǔn)卷積實(shí)現(xiàn)空洞卷積，最后得到改進(jìn)的RFB模塊（圖4）。由于在淺層特征圖中更容易提取到尺寸普遍偏小的冬棗果面缺陷特征，本研究將改進(jìn)RFB模塊嵌入MobilenetV3-SSD的第13個(gè)倒殘差模塊和分類定位預(yù)測層之間。

1.4 空間注意力模塊

通過觀察圖5中3類果面缺陷出現(xiàn)的位置，發(fā)現(xiàn)缺陷可能處于果面邊緣，也可能處于果面中央，甚至遍布果面。針對缺陷在冬棗果面上任意分布的問題，本研究引入空間注意力機(jī)制幫助果面缺陷冬棗實(shí)時(shí)檢測模型確定果面缺陷的位置，繼而提高模型定位冬棗果面缺陷位置的精度。

倒殘差模塊中采用了擠壓和激勵(lì)模塊（Squeeze-and-Excitation，SE），SE屬于通道注意力機(jī)制，該機(jī)制利用各通道特征圖之間的關(guān)系來提取冬棗果面缺陷特征，最后生成基于果面缺陷特征的通道注意力特征圖?？梢娡ǖ雷⒁饬C(jī)制有利于提高模型提取果面缺陷特征的能力[20]。但是冬棗果面缺陷位置不確定影響了模型定位果面缺陷冬棗的精度。解決這個(gè)問題需要增強(qiáng)模型定位冬棗果面缺陷的能力，而空間注意力機(jī)制恰好能改善模型的定位能力，因此本研究用卷積層注意力模塊（CBAM）中的空間注意力模塊（SAM）取代SE[21-23]。

如圖6所示，本研究將倒殘差模塊中深度可分離卷積層的輸出作為SAM的輸入特征圖，SAM首先通過F推導(dǎo)出空間注意力特征圖MS（F），然后MS（F）與F進(jìn)行哈達(dá)瑪積運(yùn)算，求得輸出特征圖F′，最后SAM的輸出作為投影層的輸入。

式中F′是輸出特征圖， MS（F）是空間注意力特征圖，F(xiàn)是輸入特征圖。

執(zhí)行哈達(dá)瑪積運(yùn)算的目的是為F中出現(xiàn)冬棗果面缺陷特征的位置分配相應(yīng)的關(guān)注度。

如圖7所示，為了推導(dǎo)MS（F），首先需要通過最大池化和平均池化整合F的通道信息，生成平均池化特征圖（FSavg）和最大池化特征圖（FSmax），2種池化操作的目的是凸顯冬棗果面缺陷部位特征[24];然后疊加FSavg和FSmax，生成疊加特征圖FSconcat;最后FSconcat依次經(jīng)過7×7標(biāo)準(zhǔn)卷積和sigmoid激活函數(shù)處理生成空間注意力特征圖[MS（F）]。

式中MS（F）是空間注意力特征圖，F(xiàn)是輸入特征圖，F(xiàn)Savg是平均池化特征圖，F(xiàn)Smax是最大池化特征圖。

2 果面缺陷冬棗實(shí)時(shí)檢測模型訓(xùn)練

2.1 果面缺陷冬棗數(shù)據(jù)集建立

2.1.1 數(shù)據(jù)采集 采集時(shí)間為2020年7-11月，采集地點(diǎn)為陜西中農(nóng)厚樸農(nóng)業(yè)科技有限公司。果面缺陷冬棗數(shù)據(jù)集以陜西大荔冬棗為數(shù)據(jù)采集對象。數(shù)據(jù)集由3類果面缺陷冬棗和正常冬棗組成。如圖8所示，數(shù)據(jù)集通過數(shù)據(jù)采集設(shè)備完成采集工作，其中電荷耦合器件（Charge coupled device，CCD）工業(yè)相機(jī)使用杭州?？低晹?shù)字技術(shù)股份有限公司生產(chǎn)的MV-CE013-50UC相機(jī)，最大分辨率為1 280×960，即1.30×1010像素。采集時(shí)冬棗隨機(jī)擺放，同時(shí)CCD工業(yè)相機(jī)在自然光照下以俯視視角采集圖像。

2.1.2 數(shù)據(jù)集預(yù)處理及生成 原始數(shù)據(jù)集共400張圖像，本研究使用LabelImg標(biāo)注數(shù)據(jù)，標(biāo)注文件格式參照Pascal VOC。

為了提高果面缺陷冬棗實(shí)時(shí)檢測模型的檢測精度和泛化能力，本研究使用Python庫函數(shù)Imgaug對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)[25]?？紤]到圖像內(nèi)的冬棗果面特征不會因觀察方向的變化而改變，并且為了增強(qiáng)模型在不同光照下的魯棒性，本研究使用上下翻轉(zhuǎn)、左右翻轉(zhuǎn)、鏡像翻轉(zhuǎn)和亮度增減4種方法實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。在Imgaug的幫助下，標(biāo)注框會隨著數(shù)據(jù)增強(qiáng)而變換，避免再次繪制。

經(jīng)過增強(qiáng)，數(shù)據(jù)集共2 000張圖像，按8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。

2.2 試驗(yàn)環(huán)境

試驗(yàn)硬件環(huán)境選擇Inter（R） Xeon（R） CPU E5-2637 @3.50 Hz和NVIDIA GeForce RTX2070 SUPER 8 G;操作系統(tǒng)為Windows Server 2008 R2 Enterprise 64bit;軟件環(huán)境選擇Python3.6.7和Keras 2.1.5。

2.3 模型訓(xùn)練

本研究模型訓(xùn)練運(yùn)用遷移學(xué)習(xí)策略，需要在Pascal VOC07+12數(shù)據(jù)集上訓(xùn)練得到預(yù)訓(xùn)練模型。鑒于豐富的Pascal VOC07+12數(shù)據(jù)集中必然有數(shù)據(jù)與本研究數(shù)據(jù)存在關(guān)聯(lián)，因此遷移學(xué)習(xí)能把學(xué)到的模型參數(shù)應(yīng)用于本研究數(shù)據(jù)集訓(xùn)練，達(dá)到加快并優(yōu)化訓(xùn)練的目的，避免人工初始化參數(shù)直接在數(shù)據(jù)集上訓(xùn)練，導(dǎo)致模型表現(xiàn)不佳[26]。

另外模型訓(xùn)練還運(yùn)用了凍結(jié)訓(xùn)練策略，即主干網(wǎng)絡(luò)MobileNetV3的模型參數(shù)不會隨著模型訓(xùn)練而更新。凍結(jié)訓(xùn)練可以有效避免模型過擬合。本研究將前50次訓(xùn)練設(shè)為凍結(jié)訓(xùn)練階段，輸入圖像大小統(tǒng)一修改為300×300，批數(shù)據(jù)量為16，學(xué)習(xí)率為0.000 5。第50次以后訓(xùn)練進(jìn)入解凍訓(xùn)練階段，批數(shù)據(jù)量減半，學(xué)習(xí)率降為0.000 1。其中學(xué)習(xí)率下降以驗(yàn)證損失為標(biāo)準(zhǔn)，當(dāng)驗(yàn)證損失經(jīng)過3次訓(xùn)練不下降，學(xué)習(xí)率減半。訓(xùn)練使用自適應(yīng)矩估計(jì)優(yōu)化器，β1=0.900，β2=0.999。Adam優(yōu)化器可預(yù)防學(xué)習(xí)步長過小導(dǎo)致模型收斂緩慢的問題。

2.4 模型性能評價(jià)指標(biāo)

由于果面缺陷目標(biāo)檢測模型在實(shí)際應(yīng)用中需要平衡實(shí)時(shí)性和精準(zhǔn)性，因此試驗(yàn)中模型性能的優(yōu)劣以這2個(gè)性能為衡量標(biāo)準(zhǔn)。每秒幀數(shù)（FPS）可表示模型對果面缺陷冬棗檢測的實(shí)時(shí)性，平均精度（AP）可表示模型對各類冬棗檢測的精準(zhǔn)性，mAP可表示模型對4類冬棗的整體檢測精準(zhǔn)性。因此本研究將FPS、AP和mAP作為評價(jià)指標(biāo)。

計(jì)算AP需求得精度（p）和召回率（r），p和r計(jì)算公式如公式（7）和公式（8）所示。

p=TPTP+FP（7）

r=TPTP+FN（8）

式中TP表示分類正確的正樣本數(shù)，F(xiàn)P表示分類錯(cuò)誤的正樣本數(shù)，F(xiàn)N表示分類錯(cuò)誤的負(fù)樣本數(shù)。

AP和mAP的計(jì)算公式如公式（9）和公式（10）所示。

AP=∫10p（r）dr（9）

mAP=∑ni=1AP（i）n（10）

式中n表示冬棗果面類別數(shù)，故n=4;AP（i）表示第i類冬棗果面的平均精度。

3 結(jié)果與分析

3.1 不同主干網(wǎng)絡(luò)對模型性能的影響

為了分析MobileNetV3對模型檢測冬棗果面缺陷速度的影響，本研究對SSD分別搭配VGG16和MobileNetV3的性能進(jìn)行比較試驗(yàn)。由表1可知，當(dāng)主干網(wǎng)絡(luò)由VGG16更換為MobileNetV3后，模型計(jì)算量減少了43.16 MFLOPs。龐大計(jì)算量的減少優(yōu)化了模型性能，mAP僅損失1.98%，F(xiàn)PS獲得81.22%的提升，達(dá)到41.30。因此將MobileNetV3作為主干網(wǎng)絡(luò)可為果面缺陷冬棗實(shí)時(shí)檢測模型的實(shí)際應(yīng)用奠定基礎(chǔ)。

3.2 不同尺寸感受野對模型性能的影響

為了分析應(yīng)用多尺寸感受野對模型分類冬棗果面缺陷精度的影響，并避免MobileNetV3作為主干網(wǎng)絡(luò)對試驗(yàn)的干擾，本研究對VGG16-SSD的引入是否改進(jìn)RFB的性能進(jìn)行試驗(yàn)，即試驗(yàn)SSD分別應(yīng)用多尺寸感受野和單尺寸感受野對模型性能的影響。試驗(yàn)結(jié)果如表2所示，改進(jìn)的RFB后，模型對正常冬棗、蟲蛀冬棗、輪紋冬棗和木質(zhì)化冬棗的AP分別提升了0.39、2.23、2.06、1.32個(gè)百分點(diǎn)，mAP提升了1.50個(gè)百分點(diǎn)。同時(shí)改進(jìn)的RFB為輕量級卷積塊，將其引入模型后，模型計(jì)算量僅增加2.75%，F(xiàn)PS僅下降3.20%，說明模型的實(shí)時(shí)性基本不受影響。

此外多尺寸感受野的應(yīng)用對于正常冬棗的分類精度提高不明顯，原因是相對于果面缺陷冬棗，正常冬棗的果面不存在多尺寸果面特征，因此多尺寸感受野更適用于提取不同尺寸的冬棗果面缺陷特征。

如圖9所示，應(yīng)用單尺寸感受野的模型忽略了果面上存在小尺寸輪紋的冬棗，導(dǎo)致分類錯(cuò)誤。而應(yīng)用多尺寸感受野的模型可以從多個(gè)尺寸提取冬棗果面缺陷特征，因此對果面上存在不同尺寸缺陷的冬棗分類無誤。

3.3 不同注意力模塊對模型性能的影響

為了分析應(yīng)用空間注意力機(jī)制對模型定位冬棗果面缺陷精度的影響，本研究對MobileNetV3-SSD使用不同注意力模塊進(jìn)行比較試驗(yàn)。試驗(yàn)結(jié)果（表3）表明，當(dāng)注意力模塊由SE更換為SAM后，模型對正常冬棗、蟲蛀冬棗、輪紋冬棗和木質(zhì)化冬棗的AP分別提升了2.63、2.27、3.34、3.18個(gè)百分點(diǎn)，mAP提升了2.85個(gè)百分點(diǎn)。同時(shí)由于刪減掉CBAM中屬于通道注意力機(jī)制的CAM，僅將SAM引入模型，模型計(jì)算量降低了42.58%，F(xiàn)PS提升了3.70%。

模型對正常冬棗的AP提升的原因是正常冬棗的果面特征單一且分布規(guī)律，易被模型定位，因此SAM可提高模型定位正常冬棗的精度。

如圖10所示，應(yīng)用通道注意力模塊的模型無法定位輪紋特征，導(dǎo)致輪紋冬棗定位不準(zhǔn)確。而應(yīng)用空間注意力模塊的模型具備定位輪紋特征的能力，因此對輪紋冬棗定位無誤。

3.4 不同改進(jìn)組合對模型性能的影響

本研究分別從主干網(wǎng)絡(luò)、感受野尺寸以及注意力模塊3個(gè)方面對SSD進(jìn)行改進(jìn)。SSD為表4中的模型1。在上述試驗(yàn)中不同改進(jìn)單獨(dú)與SSD的組合分別記作表4中的模型2至模型4。如表5所示，模型1～模型4 4個(gè)模型的性能較好，為了分析所有改進(jìn)與SSD組合對模型的影響，本研究將所有改進(jìn)與SSD組成的模型記作模型5，并與其他4個(gè)模型進(jìn)行性能比較試驗(yàn)。

由表5可知，模型5表現(xiàn)出眾，該模型以MobileNetV3為主干網(wǎng)絡(luò)，同時(shí)引入改進(jìn)RFB并選擇SAM取代SE完成組合。在實(shí)時(shí)性上，模型5的FPS達(dá)40.85，僅與檢測速度最快的模型4相差1.98。在精準(zhǔn)性上，模型5的mAP位列各模型之首，達(dá)到91.89%。模型5有效平衡了模型的實(shí)時(shí)性與精準(zhǔn)性之間的關(guān)系，足見所有改進(jìn)共同作用的有效性，因此本研究將表現(xiàn)最優(yōu)的模型5作為本研究提出的冬棗果面缺陷實(shí)時(shí)檢測模型。

圖11為本研究模型在測試集上的表現(xiàn)。

3.5 本研究模型與目前先進(jìn)目標(biāo)檢測網(wǎng)絡(luò)性能對比

為了分析本研究模型的性能，本研究將所提出的模型與目前先進(jìn)的目標(biāo)檢測網(wǎng)絡(luò)RetinaNet和EfficientDet-D0在果面缺陷冬棗數(shù)據(jù)集上進(jìn)行比較試驗(yàn)。為保證比較試驗(yàn)的可靠性，2種比較模型均按本研究模型訓(xùn)練方式進(jìn)行訓(xùn)練。由表6可知，本研究模型的mAP和FPS均排在首位，其中比EfficientDet-D0的mAP和FPS分別高出3.65個(gè)百分點(diǎn)和7.15。經(jīng)分析，EfficientDet-D0采用雙向特征金字塔網(wǎng)絡(luò)（BiFPN）結(jié)合特征加權(quán)策略，這有利于模型重視與冬棗果面缺陷尺寸相符的特征，忽略冗余特征，EfficientDet-D0的性能略優(yōu)于RetinaNet[27]。

從圖12可知，各模型在訓(xùn)練過程中收斂迅速，且驗(yàn)證損失均在第70次訓(xùn)練中便趨于穩(wěn)定，這得益于遷移學(xué)習(xí)策略和Adam優(yōu)化器的應(yīng)用。同時(shí)由于訓(xùn)練中使用凍結(jié)訓(xùn)練策略，各模型訓(xùn)練趨于穩(wěn)定時(shí)驗(yàn)證損失與訓(xùn)練損失相近，第100次訓(xùn)練的驗(yàn)證損失均低于訓(xùn)練損失，未出現(xiàn)過擬合現(xiàn)象。

4 結(jié)論

本研究針對實(shí)時(shí)檢測在果面缺陷冬棗分揀中的重要性以及果面缺陷尺寸不一、分布隨機(jī)影響檢測精度的問題，對SSD進(jìn)行改進(jìn)：SSD通過搭配MobileNetV3，從檢測速度方面提高本研究模型的實(shí)時(shí)性;SSD通過引入改進(jìn)RFB和SAM從分類和定位兩方面提高本研究模型的精準(zhǔn)性。通過對比試驗(yàn)，本研究模型的有效性得到驗(yàn)證，mAP達(dá)到91.89%，F(xiàn)PS達(dá)到40.85。在組合不同改進(jìn)的模型中，本研究模型平衡實(shí)時(shí)性和精準(zhǔn)性的能力最強(qiáng)。在與目前先進(jìn)目標(biāo)檢測網(wǎng)絡(luò)模型的對比中，本研究模型比EfficientDet-D0的mAP和FPS分別高出3.65個(gè)百分點(diǎn)和7.15，比RetinaNet的mAP和FPS分別高出4.52個(gè)百分點(diǎn)和12.75 。因此本研究模型可以為果面缺陷冬棗實(shí)時(shí)檢測提供技術(shù)支持。經(jīng)實(shí)測，本研究模型 1 h分揀量可達(dá)4 t。

參考文獻(xiàn)：

[1] 王春煥，王 瑩，張夢輝. 大荔縣冬棗產(chǎn)業(yè)發(fā)展建議[J].陜西林業(yè)科技，2021，49（2）：97-99.

[2] 侯鵬帥，劉玉樂，宋 欣，等. 基于智能視覺識別的冬棗分選檢測系統(tǒng)設(shè)計(jì)[J].中國農(nóng)機(jī)化學(xué)報(bào)，2020，41（3）：109-114.

[3] GENG L，XU W，ZHANG F，et al. Dried jujube classification based on a double branch deep fusion convolution neural network[J].Japanese Society for Food Science and Technology，2018，24（6）：1007-1015.

[4] NTURAMBIRWE J F I， OPARA U L. Machine learning applications to non-destructive defect detection in horticultural products[J].Biosystems Engineering，2020，189：60-83.

[5] BHARGAVA A， BANSAL A. Fruits and vegetables quality evaluation using computer vision： a review[J].Journal of King Saud University-Computer and Information Sciences，2021，33（3）：243-257.

[6] LU Y， LU R. Development of a multispectral structured illumination reflectance imaging （SIRI） system and its application to bruise detection of apples[J].Transactions of the ASABE，2017，60（4）：1379-1389.

[7] 孫世鵬，彭 俊，李 瑞，等. 基于近紅外高光譜圖像的冬棗損傷早期檢測[J].食品科學(xué)，2017，38（2）：301-305.

[8] JU J， ZHENG H， XU X，et al. Classification of jujube defects in small data sets based on transfer learning[DB/OL].（2021-01-30）[2022-01-15].https：//link.springer.com/article/10.1007/s00521-021-05715-2.

[9] 薛 勇，王立揚(yáng)，張 瑜，等. 基于GoogLeNet深度遷移學(xué)習(xí)的蘋果缺陷檢測方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（7）：30-35.

[10]費(fèi)琦琪，施 杰，夏 敏，等. 基于CNN的冰糖橙分級系統(tǒng)[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2020，36（2）：513-519.

[11]李小占，馬本學(xué)，喻國威，等. 基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（1）：223-232.

[12]LIU W， ANGUELOV D， ERHAN D， et al.SSD： single shot multibox detector[M]. Amsterdam，The Netherlands：Proceedings of the European Conference on Computer Vision，2016.

[13]徐先峰，趙萬福，鄒浩泉，等. 基于MobileNet-SSD的安全帽佩戴檢測方法[J].計(jì)算機(jī)工程，2021，47（10）：298-305，313.

[14]HOWARD A， SANDLER M， CHU G， et al. Searching for mobilenetv3[M]. Soual，Korea：International Conference on Computer Vision，2019.

[15]CHOLLET F. Xception： deep learning with depthwise separable convolutions[M]. Hawaii，United States：Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017.

[16]黃林生，羅耀武，楊小冬，等. 基于注意力機(jī)制和多尺度殘差網(wǎng)絡(luò)的農(nóng)作物病害識別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（10）：264-271.

[17]王春山，周 冀，吳華瑞，等. 改進(jìn)Multi-scale ResNet的蔬菜葉部病害識別[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（20）：209-217.

[18]LIU S， HUANG D， WANG Y. Receptive field block net for accurate and fast object detection[M]. Munich，Germany：Proceedings of the European Conference on Computer Vision，2018.

[19]WANDELL B， WINAWER J. Computational neuroimaging and population receptive fields[J].Trends in Cognitive Sciences，2015，19（6）：349-357.

[20]HU J， SHEN L， SUN G， et al. Squeeze-and-excitation networks[M]. Salt Lake City，United States：Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018.

[21]高欽泉，黃炳城，劉文哲，等. 基于改進(jìn)CenterNet的竹條表面缺陷檢測方法[J].計(jì)算機(jī)應(yīng)用，2021，41（7）：1933-1938.

[22]WOO S， PARK J， LEE J， et al. CBAM： convolutional block attention module[M]. Munich，Germany：Proceedings of the European Conference on Computer Vision，2018.

[23]CHEN L， ZHANG H， XIAO J， et al. SCA-CNN： spatial and channel-wise attention in convolutional networks for image captioning[M]. Hawaii，United States：Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017.

[24]ZAGORUYKO S， KOMODAKIS N. Paying more attention to attention： improving the performance of convolutional neural networks via attention transfer[M]. Paris，F(xiàn)rance：International Conference on Learning Representations，2017.

[25]TSUCHIYA H， FUKUI S， IWAHORI Y， et al. A method of data augmentation for classifying road damage considering influence on classification accuracy[J].Procedia Computer Science，2019，159：1449-1458.

[26]余小東，楊孟輯，張海清，等. 基于遷移學(xué)習(xí)的農(nóng)作物病蟲害檢測方法研究與應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（10）：252-258.

[27]TAN M ， PANG R ， LE Q V. EfficientDet： scalable and efficient object detection[M]. Virtual：Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2020.

（責(zé)任編輯：陳海霞）

2707500783266