李大華，孔 舒，李 棟，于 曉

（1.天津理工大學(xué) 電氣工程與自動化學(xué)院，天津 300384；2.天津市新能源電力變換傳輸與智能控制重點實驗室，天津 300384；3.天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點實驗室，天津 300384）

我國是重要的果蔬生產(chǎn)大國，果蔬在生長、采摘、運輸和倉儲過程中，不可避免地會產(chǎn)生缺陷和損壞，因此，果品分級是果蔬加工銷售過程的重要環(huán)節(jié)[1]。但目前企業(yè)主要還是采用人工來識別果蔬品質(zhì)的好壞，其耗時長、工作量大、依賴程度高，果品分級效果不佳[2]。因此，實現(xiàn)工業(yè)化果蔬品質(zhì)分級是提高經(jīng)濟(jì)收益、占據(jù)更大市場份額的重要途徑[3]。

隨著計算機視覺和深度學(xué)習(xí)技術(shù)的進(jìn)步，許多國內(nèi)外學(xué)者對水果缺陷、分級檢測進(jìn)行了大量研究，使分級檢測變得更加簡單[4-7]。JI 等[8]將基于粒子群優(yōu)化的支持向量機（SVM）應(yīng)用于蘋果分級，結(jié)果表明mAP 值達(dá)到91%。王迎超等[9]將K-means 聚類和改進(jìn)的多層感知器（MLP）神經(jīng)網(wǎng)絡(luò)運用于蘋果分級，識別準(zhǔn)確率達(dá)到94.25%。SUSTIKA 等[10]使用不同深度的卷積神經(jīng)網(wǎng)絡(luò)對草莓進(jìn)行分級檢測，結(jié)果顯示，VGGNet 達(dá)到了最好的精度，而GoogLeNet 計算結(jié)構(gòu)達(dá)到最高效。李善軍等[11]采用改進(jìn)SSD 算法對采集擴(kuò)充后的柑橘數(shù)據(jù)集進(jìn)行實時分類檢測，最終該模型的mAP 達(dá)到87.89%，檢測時間相較于原SSD 降低436.90%。劉敬宇等[12]提出一種改進(jìn)的YOLOX 模型，通過使用融合因子和引入基于卷積塊的注意力機制（CBAM）來提高檢測精度，櫻桃表面缺陷的平均檢測精度為97.59%，大小和顏色分級的平均檢測精度為95.92%。王川等[13]通過增加特征層、引入注意力機制以及改用Soft-NMS 算法對YOLOX 模型進(jìn)行改進(jìn)，改進(jìn)模型在芝麻蒴果檢測中準(zhǔn)確率達(dá)到96.84%。

現(xiàn)有研究中深度學(xué)習(xí)算法往往要消耗大量的計算資源，雖然近幾年已有較多研究學(xué)者提出了輕量化算法，但對于實際應(yīng)用的場景，仍然需要在保證準(zhǔn)確率的情況下降低檢測模型和算法對計算資源的依賴程度。為此，提出了一種基于YOLOv7 的輕量級網(wǎng)絡(luò)，使用GhostNetV2 作為backbone 進(jìn)行特征提取，降低模型復(fù)雜度。并通過使用無參注意力機制SimAM，避免模型輕量化導(dǎo)致過多的精度損失。利用快速歸一化的雙向特征金字塔進(jìn)行特征融合，加強深層語義信息和淺層位置信息之間的聯(lián)系，進(jìn)一步提升蘋果表面缺陷的識別精度。最后改用ECIOU 損失函數(shù)，實現(xiàn)對蘋果缺陷檢測速度和準(zhǔn)確率的進(jìn)一步提升。

1 材料和方法

1.1 數(shù)據(jù)集采集

供試蘋果采集于山東省菏澤市某蘋果種植園。使用華為nova5pro 的后置攝像頭，于自然光照條件下進(jìn)行拍攝，圖像分辨率為4 000 像素×3 000 像素。共采集600 張圖片，包含腐爛、病害、蟲蛀、機械傷、褶皺、裂紋6類蘋果缺陷，每張圖片中有一至多個缺陷類型，如圖1所示。

圖1 蘋果表面缺陷類型Fig.1 Type of apple surface defect

1.2 圖像增強

為避免因樣本數(shù)量較少產(chǎn)生過擬合現(xiàn)象，保證數(shù)據(jù)集可用性，通過對蘋果表面缺陷圖像進(jìn)行增強，來擴(kuò)充數(shù)據(jù)集的大小。為提升數(shù)據(jù)集圖像多樣性，采用旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪、灰度變換、噪聲、色調(diào)變換、部分剪切等圖像增強方法，以2種方法組合的形式對圖像進(jìn)行增強。圖像增強操作方法如圖2所示。

圖2 圖像增強操作方法Fig.2 Image enhancement operation method

擴(kuò)充后數(shù)據(jù)集共包含4 200 張?zhí)O果表面缺陷圖片，采用LabelImg 軟件對圖像進(jìn)行標(biāo)注，所得到的XML 文件中包括圖片的缺陷位置和類別。訓(xùn)練集、驗證集和測試集按照6∶2∶2的比例進(jìn)行劃分。在該數(shù)據(jù)集上分別進(jìn)行消融試驗和對比試驗，訓(xùn)練并驗證改進(jìn)模塊和改進(jìn)算法的有效性。

1.3 YOLOv7整體結(jié)構(gòu)改進(jìn)

YOLOv7 作為目前較先進(jìn)的目標(biāo)檢測網(wǎng)絡(luò)，相較于其他網(wǎng)絡(luò)而言已經(jīng)較為輕量且準(zhǔn)確率很高，但對于一些嵌入式設(shè)備仍然較大，對自建數(shù)據(jù)集的準(zhǔn)確率也有提升空間。為了進(jìn)一步改善YOLOv7算法的語義可分辨能力和輕量化程度，進(jìn)一步提高對邊緣模糊的蘋果缺陷的檢測效果，提出了基于改進(jìn)YOLOv7 的蘋果表面缺陷輕量化檢測算法。首先，采用輕量化GhostNetV2網(wǎng)絡(luò)替換原YOLOv7算法的特征提取網(wǎng)絡(luò)CSPDarkNet53，其中將第4、10、15 層作為主干網(wǎng)絡(luò)的輸出特征層與Neck部分相連，構(gòu)建出新檢測模型GhostNetV2-YOLOv7，從而減小模型規(guī)模，提高檢測速度。其次，為了避免由于使用了輕量級的特征提取網(wǎng)絡(luò)而導(dǎo)致的精確率下降，在backbone 輸出的3 個特征層后加入無參輕量型注意力機制SimAM，來強化特征層對特征信息的表達(dá)，提高模型的特征提取能力。頸部網(wǎng)絡(luò)部分采用BiFPN 結(jié)構(gòu)代替原有的FPN+PANet 結(jié)構(gòu)，進(jìn)一步提高特征聚合的效果，減少計算量，提高對蘋果表面缺陷的檢測能力。最后改用ECIOU 作為損失函數(shù)，實現(xiàn)檢測速度和準(zhǔn)確率協(xié)同優(yōu)化。改進(jìn)的YOLOv7網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)的YOLOv7網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 Improved YOLOv7 network model structure

1.3.1 使用GhostNetV2 作為特征提取網(wǎng)絡(luò)

GhostNetV2[14]是北京華為諾亞方舟實驗室于2022年提出的一種更輕量級的網(wǎng)絡(luò)模型。GhostNetV1的核心是使用Ghost 模塊代替標(biāo)準(zhǔn)卷積，以達(dá)到降低模型參數(shù)量的目的。而GhostNetV2 相較于GhostNetV1 的改進(jìn)主要是在Ghost 模塊的基礎(chǔ)上添加了一種長距離注意力機制模塊（DFC），其不僅可以在常見硬件上快速執(zhí)行，也可以捕獲長距離像素之間的依賴關(guān)系，有效解決了原始GhostNet 無法有效提取全局感受野的問題。

GhostNetV2 中 的GhostV2 bottleneck 是 一 個 反向殘差瓶頸結(jié)構(gòu)，主要包含DFC模塊和2個Ghost模塊，結(jié)構(gòu)如圖4 所示。其中第1 個Ghost 模塊與DFC模塊分支并行，對輸入信息進(jìn)行特征提取，以增強擴(kuò)展特征。之后通過逐元素相乘來豐富其語義信息。當(dāng)Stride=2 時，還需通過一個DW 卷積模塊，隨后特征傳入到第2個Ghost模塊中進(jìn)行通道壓縮，以產(chǎn)生輸出特征。該結(jié)構(gòu)使GhostV2獲得了長距離編碼能力，極大地增強了網(wǎng)絡(luò)的特征提取能力。因此，本研究使用GhostNetV2 作為YOLOv7 的主干網(wǎng)絡(luò)。首先使用16 個GhostV2 bottleneck 模塊進(jìn)行特征提取，其次提取主干GhostV2 bottleneck 模塊中的4、10、15層特征信息與YOLOv7的Neck部分相連，然后使用SPPCSPC 實現(xiàn)局部特征和全局特征的 融 合。 選 用GhostNetV2 作 為YOLOv7 的backbone，做到了在損失小部分準(zhǔn)確度的情況下減少了較多計算量，提高了檢測速度，更易嵌入到硬件移動設(shè)備中。

圖4 GhostNetV2 bottleneck結(jié)構(gòu)Fig.4 GhostNetV2 bottleneck structure

1.3.2 引入SimAM 注意力機制 因為模型輕量化

過程導(dǎo)致了一部分的精度損失，而注意力機制通過對網(wǎng)絡(luò)輸入部分賦予不同的權(quán)值，忽略無關(guān)信息，使網(wǎng)絡(luò)模型更加關(guān)注蘋果表面缺陷分類和定位任務(wù)所需要的重要信息。因此，本研究在主干網(wǎng)絡(luò)輸出的3 個特征層之后加入SimAM 注意力模塊來提高模型的特征提取能力，避免模型輕量化導(dǎo)致過多的精度損失。SimAM[15]注意力機制不同于現(xiàn)有的基于通道1D 和空間2D 的注意力模塊，SimAM 是一種輕量型3D 注意力模塊，其核心在于使用能量函數(shù)來計算注意力權(quán)重，無需向原始網(wǎng)絡(luò)添加參數(shù)。SimAM 注意力模塊結(jié)構(gòu)如圖5 所示，其中X 是特征圖，C 指通道數(shù)，H 指特征圖的高，W 指特征圖的寬。SimAM 通過在蘋果缺陷的相鄰神經(jīng)元上產(chǎn)生空間抑制來減少復(fù)雜背景對蘋果表面缺陷檢測的干擾，突出了蘋果表面缺陷的關(guān)鍵特征。

圖5 SimAM注意力機制結(jié)構(gòu)Fig.5 Structure of SimAM attention mechanism

1.3.3 引入雙向加權(quán)特征金字塔網(wǎng)絡(luò) YOLOv7 的頸部網(wǎng)絡(luò)是用于特征聚合的部分。在原有的FPN+PANet 結(jié)構(gòu)中，F(xiàn)PN 用于自上而下地傳遞深層語義信息，PANet 則增加了一條自下而上的層間傳輸路徑，改善了深層語義信息和淺層位置信息之間的聯(lián)系。這種結(jié)構(gòu)能夠處理不同尺寸的特征圖，減少信息的丟失，提高目標(biāo)檢測的精確率，但網(wǎng)絡(luò)訓(xùn)練的參數(shù)量有所增加。

BiFPN 網(wǎng)絡(luò)[16]是一種基于PANet 的改進(jìn)網(wǎng)絡(luò)，它忽略只有一個輸入的節(jié)點，在保證重要信息提取的前提下簡化網(wǎng)絡(luò)結(jié)構(gòu)。BiFPN 實現(xiàn)跨層連接，能更充分地提取位置信息，提高對小目標(biāo)蘋果缺陷及邊緣模糊缺陷目標(biāo)的檢測能力，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 BiFPN網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 BiFPN network structure

但是由于不同的輸入特征具有不同的分辨率，也就意味著不同特征層有著不同的貢獻(xiàn)。因此，為了進(jìn)一步提高特征聚合的效果，根據(jù)不同特征層的重要性，對每個特征層分配一個額外的權(quán)重，采用快速歸一化融合（Fast normalized fusion）進(jìn)行特征層加權(quán)特征融合[17]。融合過程如下：

本研究采用BiFPN 結(jié)構(gòu)代替原有的FPN+PANet結(jié)構(gòu)，能一定程度上減少參數(shù)量，提高網(wǎng)絡(luò)模型的檢測效率，同時提高對小目標(biāo)蘋果缺陷的檢測能力。

1.3.4 采用改進(jìn)損失函數(shù)ECIOU YOLOv7 模型使用CIOU[18]作為回歸損失函數(shù)，其定義如下：

由公式（6）可以看出，回歸期間預(yù)測框的寬高不能同時增加或者減少，因此，一旦預(yù)測框和邊界框是等比縮放的時候，CIOU 有時會阻止模型有效地優(yōu)化。而損失函數(shù)EIOU[19]在CIOU 的基礎(chǔ)上拆分了α，計算預(yù)測框和真實框的長度和寬度，解決CIOU存在的問題。公式如下：

而當(dāng)對存在距離很遠(yuǎn)邊緣的目標(biāo)進(jìn)行檢測時，只使用EIOU 會使得計算變慢，且沒有早期收斂。因此，本研究提出使用ECIOU 作為損失函數(shù)，前期先使用CIOU 損失函數(shù)進(jìn)行計算，當(dāng)它收斂到合適的范圍時，再利用EIOU 損失函數(shù)對缺陷邊緣進(jìn)行細(xì)微調(diào)整[20]，直至收斂到正確的值。ECIOU 損失函數(shù)定義如下：

1.4 試驗環(huán)境與參數(shù)配置

本試驗在Windows10 操作系統(tǒng)、硬件配置Intel（R）Core（TM）i5-11260H@2.60GHz、機帶RAM 16 GB、Nvidia Geforce RTX 3050Ti、顯存4 GB 的筆記本電腦上進(jìn)行，所使用的Pytorch 版本為1.12.1，CUDA版本為11.3。

算法使用隨機梯度下降（SGD）作為優(yōu)化器進(jìn)行訓(xùn)練，默認(rèn)權(quán)重衰減系數(shù)為0.000 5，其參數(shù)動量為0.9，初始學(xué)習(xí)率為0.01，訓(xùn)練時采用余弦退火方法動態(tài)調(diào)整學(xué)習(xí)率。其中batch size 設(shè)置為8，模型一共迭代300 輪。

1.5 評價指標(biāo)

采用精確率（Precision）、召回率（Recall）、檢測幀速、平均精度均值（mAP@0.5）、mAP@0.5:0.95 作為主要性能指標(biāo)，同時以模型運算量、參數(shù)量以及模型大小作為輕量化指標(biāo)，來評估模型對蘋果表面缺陷的綜合檢測性能。計算公式如下：

其中，TP表示正確識別的蘋果表面缺陷樣本數(shù)；FP表示錯誤識別的缺陷樣本數(shù)；FN表示未識別到的缺陷樣本；APi指一個類別的平均精度；n表示類別數(shù)目。mAP@0.5是指將IoU設(shè)為0.5時，求得的6 種蘋果缺陷的平均精確度，mAP@0.5:0.95 是指在不同的IoU 閾值（0.5—0.95，步長為0.05）上的平均mAP。

2 結(jié)果與分析

2.1 消融試驗結(jié)果

為了證明提出的使用GhostNetV2 替換CSPDarkNet53、引入注意力機制模塊SimAM、利用BiFPN 進(jìn)行快速歸一化融合、改用ECIOU 損失函數(shù)的改進(jìn)方法的有效性，進(jìn)行消融試驗，評估不同改進(jìn)措施在相同試驗條件下對算法性能的影響。消融試驗采用YOLOv7 作為基線模型，在增強后的蘋果表面缺陷數(shù)據(jù)集中進(jìn)行試驗，輸入圖像大小為640像素×640像素，訓(xùn)練300輪后，結(jié)果如表1所示。

表1 消融試驗結(jié)果Tab.1 Ablation experimental results

Model_1 是使用YOLOv7 作為基線模型的試驗結(jié)果。由Model_2 結(jié)果可以看出，在使用輕量化網(wǎng)絡(luò)GhostNetV2 替換YOLOv7 的特征提取網(wǎng)絡(luò)后，模型比原來小20.8 MB，檢測速度提高33.10幀/s，但是精確率和召回率都有明顯降低，說明GhostNetV2 作為輕量化網(wǎng)絡(luò)，其特征提取能力相對較弱。Model_3 是在此基礎(chǔ)上加入了注意力機制SimAM，強化了特征層對特征信息的表達(dá)，一定程度上彌補了輕量化帶來的不足，提高了網(wǎng)絡(luò)對小目標(biāo)特征的融合能力，使精確率提高了2.2 百分點，召回率提高了0.9百分點，SimAM 作為無參模塊沒有增加模型大小，但小幅度降低了運算速度。Model_4 為結(jié)合快速歸一化融合的BiFPN 結(jié)構(gòu)，可知BiFPN 并不增加模型的復(fù)雜度，還將精確率提高了0.4 百分點，召回率提高了4.7 百分點，表明了改進(jìn)的特征融合方法相比PANet 而言更具有優(yōu)勢。Model_5 為改用ECIOU 作為回歸損失函數(shù)，提高了模型的收斂速度，使召回率提升了1.1 百分點，檢測速度又提升了2.69 幀/s。改進(jìn)模型整體性能優(yōu)于基線模型YOLOv7，證明改進(jìn)算法是有效的。

2.2 模型改進(jìn)前后性能效果對比

如圖7、圖8 所示，與原YOLOv7 模型相比，改進(jìn)模型在訓(xùn)練和驗證過程中收斂速度更快、振蕩幅度更小、召回率更高。通過圖9、圖10 模型效果熱力圖可以明顯看出，改進(jìn)YOLOv7算法的精確率更高。經(jīng)過300 輪訓(xùn)練后，與YOLOv7 相比，改進(jìn)模型的平均精確度mAP@0.5 和mAP@0.5:0.95 分別提高了2.0、12.0 百分點，召回率提升了3.9 百分點，模型減小20.8 MB，速度提升36.43幀/s，改進(jìn)模型具有更好的性能，能夠更好地對蘋果缺陷進(jìn)行有效的檢測。

圖7 YOLOv7模型訓(xùn)練結(jié)果Fig.7 YOLOv7 model training results

圖8 改進(jìn)YOLOv7模型訓(xùn)練結(jié)果Fig.8 Improved YOLOv7 model training results

圖9 YOLOv7識別效果熱度圖Fig.9 YOLOv7 recognition effect heat map

圖10 改進(jìn)YOLOv7識別效果熱度圖Fig.10 Improved YOLOv7 recognition effect heat map

2.3 不同模型對比結(jié)果

為了驗證本研究設(shè)計的蘋果表面缺陷檢測網(wǎng)絡(luò)的先進(jìn)性，在蘋果缺陷數(shù)據(jù)集上，將改進(jìn)YOLOv7與SSD 等主流目標(biāo)檢測算法以及Efficientnet-YOLOv3 等輕量級改進(jìn)模型在mAP、模型大小和檢測幀速上進(jìn)行比較，結(jié)果見表2、3。

表2 與主流目標(biāo)檢測算法結(jié)果對比Tab.2 Comparison with the results of mainstream target detection algorithms

從表2 可以看出，和主流目標(biāo)檢測網(wǎng)絡(luò)相比，改進(jìn)YOLOv7 模型的內(nèi)存占比最小，僅為50.5 MB，其檢測速度最快，達(dá)到83.33 幀/s，在精度上也明顯優(yōu)于其他檢測方法。主要是因為本研究采用了輕量級網(wǎng)絡(luò)提取特征，以達(dá)到輕量化的目的。

從 表3 可 以 看 出，Efficientnet-YOLOv3 和Ghostnet-YOLOv4 模型進(jìn)行輕量化操作導(dǎo)致檢測精度損失嚴(yán)重，雖然YOLOv4-tiny 和YOLOv7-tiny 的內(nèi)存大小比改進(jìn)YOLOv7 模型的小，但改進(jìn)YOLOv7 的mAP@0.5 比 兩 者 分 別 高15.8、3.5 百 分點。與輕量級網(wǎng)絡(luò)比較，改進(jìn)YOLOv7 能夠達(dá)到檢測精度和檢測速度的平衡，保證實際應(yīng)用中準(zhǔn)確性和實時性的要求，且模型更易嵌入到移動設(shè)備中。改進(jìn)YOLOv7 檢測精度mAP@0.5 和mAP@0.5:0.95分別達(dá)到99.0%和85.3%，均優(yōu)于其他輕量級模型，是由于引入了SimAM 注意力模塊和快速歸一化融合BiFPN 結(jié)構(gòu)，融合更有效的缺陷特征，確保了更高的檢測精度。

表3 與輕量級檢測算法結(jié)果對比Tab.3 Comparison with the results of lightweight detection algorithms

2.4 模型改進(jìn)前后檢測結(jié)果對比

由圖11 可以看出，YOLOv7 存在對病害缺陷這類小目標(biāo)病斑的漏檢情況，對褶皺缺陷和腐爛缺陷的定位不準(zhǔn)確。相較于YOLOv7，改進(jìn)的YOLOv7模型對于小目標(biāo)蘋果缺陷檢測效果更好，對腐爛等這類邊緣模糊的缺陷的定位更準(zhǔn)確，檢測精度更高。說明引入SimAM 注意力模塊、BiFPN 結(jié)構(gòu)和ECIOU 不僅彌補了模型輕量化造成的精度下降，還較原YOLOv7提高了檢測準(zhǔn)確率。

圖11 蘋果表面缺陷檢測效果示意圖Fig.11 Detection effect diagram of apple surface defects

3 結(jié)論與討論

針對如何提高蘋果表面缺陷檢測的速度與精度以及減小模型大小等問題，提出一種基于改進(jìn)YOLOv7 的蘋果表面缺陷輕量化檢測方法。設(shè)計以GhostNetV2 作為YOLOv7 的特征提取網(wǎng)絡(luò)，進(jìn)而實現(xiàn)網(wǎng)絡(luò)的輕量化。此外，通過引入SimAM 注意力機制以及采用快速歸一化融合的BiFPN 結(jié)構(gòu)，進(jìn)一步提升蘋果表面缺陷的識別能力，采用改進(jìn)的損失函數(shù)ECIOU 進(jìn)一步提升了收斂速度。結(jié)果表明，改進(jìn)模型在提高檢測準(zhǔn)確度的同時提高了檢測速度，減小了內(nèi)存占比，達(dá)到了輕量化的目的，能對蘋果缺陷進(jìn)行有效檢測。改進(jìn)YOLOv7 模型的mAP@0.5、模型大小和檢測速度分別為99.0%、50.5 MB、83.33幀/s，其 綜 合 性 能 優(yōu) 于 YOLOv7、CenterNet、Efficientnet-YOLOv3 等算法，可實現(xiàn)對蘋果表面缺陷的快速準(zhǔn)確診斷，滿足農(nóng)業(yè)實際使用要求。研究過程中發(fā)現(xiàn)，YOLOv7-tiny 有比YOLOv7 更高的檢測幀數(shù)，內(nèi)存占比也更小。之后的工作可以側(cè)重在以YOLOv7-tiny作為基線模型進(jìn)行研究。