摘 要 針對目前蘋果外觀品質通過人工篩選成本高昂且效率低下，而傳統(tǒng)機器視覺方法準確率較低、魯棒性較差等問題，提出了一種運用語義分割技術自動識別蘋果及其表皮缺陷的方法。該方法以U-Net網絡為基礎，首先在編碼器的CNN分支使用resnet50作為網絡backbone，同時加入Transformer分支，用于兼顧局部信息與全局信息的特征提取能力；使用Patch Merging模塊替換原始網絡中的最大池化下采樣操作，避免空間信息丟失；在解碼器部分，使用dual up-sample提升網絡的分割精度。改進后的網絡平均像素準確率（MPA）達到98.14%，相比于原網絡提高了7.33%，平均交并比（MIoU）95.57% ，提高了14.14%。與原網絡相比，改進后的網絡有更好的特征提取能力與分割精度，針對不規(guī)則的缺陷特征也有更好的分割效果。

關鍵詞 表面缺陷；語義分割；U-Net網絡；蘋果缺陷；注意力機制

中圖分類號：S661.1 文獻標志碼：A DOI：10.19415/j.cnki.1673-890x.2024.11.056

科技創(chuàng)新是農業(yè)發(fā)展的動力源泉，習近平總書記曾指出：“農業(yè)現(xiàn)代化，關鍵是農業(yè)科技現(xiàn)代化。要加強農業(yè)與科技融合，加強農業(yè)科技創(chuàng)新”。在農產品的售前檢測中，依靠人工進行品質的分級篩選一直是個費時費力、效率低下的檢測方法。近年來，有許多研究者將計算機視覺技術應用于水果品質檢測中，使用計算機代替人眼進行觀察，這種方法擁有更加客觀的標準、更高的準確率與效率。水果的外觀代表著它的品質，對其銷售價格有著關鍵性影響。因此，在對水果進行售前品質檢測有利于改善消費者口碑、提高農產品經濟效益，具有十分重大的意義。

隨著計算機視覺與數(shù)字圖像處理技術的高速發(fā)展，以圖像處理理論為基礎的傳統(tǒng)方法被廣泛應用于水果缺陷檢測中。邱光應使用傳統(tǒng)的Canny邊緣檢測算法來提取蘋果邊緣和缺陷區(qū)域邊緣，將提取的顏色、紋理、形狀等特征輸入到SVM進行分類來確定是缺陷果還是正常果[1]。項輝宇等基于圖像處理方法使用蘋果形狀、邊緣、紋理等普通特征來定位缺陷目標[2]。林海波等提出了基于圖像處理與改進SVM（支持向量機）的蘋果多特征融合分級方法，實現(xiàn)了對蘋果的高精度自動化分級[3]。傳統(tǒng)圖像處理方法通?；谔囟ǖ膱D像處理算法和規(guī)則，缺乏魯棒性，無法處理復雜缺陷和變化環(huán)境；特征提取過程繁瑣，對于復雜缺陷手動設計的特征提取器可能無法捕捉到所有的關鍵信息，導致檢測精度下降；面對新的缺陷類型以及不同應用場景時，調整特征工程費時費力且無法保證良好檢測性能。

盡管傳統(tǒng)圖像處理方法在某些簡單場景和特定應用中仍然行之有效，但隨著深度學習和計算機視覺的發(fā)展，深度學習無需人工設計特征，能夠從海量數(shù)據(jù)中自動學習，提取出更深層次的特征。深度學習憑借其更強的學習能力、更高的檢測精度及更好的魯棒性，逐漸取代了傳統(tǒng)圖像處理方法，并在許多缺陷檢測任務中取得了更好的性能。薛勇等利用GoogleNet深度遷移模型對蘋果缺陷進行檢測，對測試樣本的識別準確率為91.91%[4]。何進榮等提出多卷積神經網絡融合DXNet模型，采用模型融合的方式抽取經典模型卷積部分進行融合，作為特征提取器，對蘋果外部品質分級展開研究，分級準確率達到97.84%[5]。周雨帆等通過改進AlexNet提出了一種基于輕量級卷積神經網絡的蘋果表面缺陷的檢測方法，對蘋果缺陷識別精度達到了98.57%[6]。

近年來，深度學習語義分割得到快速的發(fā)展。Long等通過將傳統(tǒng)的卷積神經網絡（CNN）的全連接層替換為卷積層，設計提出了一個全新網絡——全卷積神經網絡（FCN）。FCN實現(xiàn)了一個端到端的全卷積網絡，將編碼器-解碼器結構引入了圖像分割領域[7]。Ronneberger等通過改進全卷積神經網絡（FCN），提出了提出了語義分割網絡U-Net，該模型引入了跳躍連接，它將編碼階段與解碼階段的特征圖在通道上進行融合，有利于分割細節(jié)的恢復[8]。Zhao等提出了PSPNet，該模型引入了金字塔池化模塊（pyramid pooling module），通過在不同尺度的特征圖上執(zhí)行池化操作，捕獲多尺度的上下文信息以提高分割性能[9]。Vaswani等首次提出了Transformer自注意力機制（self-attention mechanism）模型，該模型最初應用于自然語言處理領域[10]。受Transformer強大的表示能力的啟發(fā)，研究人員提出將Transformer擴展到計算機視覺任務中，著重提取我們所關注的關鍵信息，減少無用的特征信息，提高特征提取效率。Dosovitskiy等將注意力機制的思想應用于計算機視覺領域，提出了Vision Transformer（ViT）模塊[11]。

無論CNN還是Transformer，它們都存在一定局限性。CNN卷積運算擅長提取局部特征，由于有限的感受致使其難以捕獲全局上下文信息，故在捕獲全局特征表示方面有一定的局限性；Transformer的級聯(lián)自注意力模塊可以捕獲特征的長距離表示，但會忽視局部的特征細節(jié)。因此，不少研究者將CNN與Transformer進行結合，Peng等提出的Conformer模型設計了并行的CNN和Transformer分支，采用橋接模塊實現(xiàn)特征融合[12]。Chen等提出了TransUnet，將U-Net網絡與Transformer相結合，先使用CNN提取的局部特征，再通過Transformer獲得全局特征，以此來彌補兩者的局限性[13]。

本文采用深度學習語義分割的缺陷檢測方法可以將蘋果表面缺陷檢測任務轉化為缺陷區(qū)域與非缺陷區(qū)域的語義分割問題，針對蘋果表面復雜多變的缺陷類型，本文提出一種改進U-Net蘋果表皮缺陷語義分割網絡，以U-Net網絡為基礎，在編碼階段提出CNN-Transformer并行結構，將CNN與Swim Transformer相結合，兼顧局部特征與全局特征，在解碼階段使用dual up-sample模塊替代原始的上采樣模塊，避免轉置卷積容易出現(xiàn)棋盤效應的情況，提高分割精度。

1" U-Net網絡

U-Net是在FCN的基礎上進行構建的，它U型的網絡結構解決了FCN無法捕捉上下文的信息和位置信息的弊端，作為語義分割的經典網絡，已經在醫(yī)學等領域得到廣泛應用。U-Net擁有獨特的U型編碼器—解碼器結構，U-Net網絡結構如圖1所示，其左邊部分為特征提取網絡，通過兩次卷積和最大池化組成下采樣模塊，以獲取不同尺度特征圖；右邊部分是特征融合網絡，由一次反卷積、特征拼接以及兩次卷積構成上采樣模塊，利用編碼部分得到的不同尺度特征圖通過跳躍連接送到解碼部分，使得高層語義信息和底層信息進行融合，并逐步恢復回原圖大小，最終得到分割結果。

2" 改進的U-Net網絡

改進后的U-Net其網絡結構依然保持U型編碼器—解碼器結構，首先在編碼器設計了一個CNN-Transformer的并行結構，在CNN分支中選用Resnet50作為特征提取網絡來代替原始網絡中普通CBR模塊（Conv、BN、Relu），并加入一條并行的Transformer分支，使用Swim Transformer模塊來捕獲全局特征表示；在解碼器部分使用dual up-sample模塊作為上采樣模塊，以及hard-swish激活函數(shù)并使用交叉熵dice損失函數(shù)，改進后的網絡結構如圖2所示。

2.1" CNN-Transformer并行結構

傳統(tǒng)的CNN擁有良好的性能，很大程度上歸因于卷積運算，卷積更加擅長于局部特征的提取，它以層級的方式一層層地捕獲局部特征以獲得更好的圖像表示，但對于全局特征的捕獲能力卻有所欠缺；Transformer則由于它的自注意力機制（self-attention）和多層感知機（MLP）結構，能夠反映復雜的空間變換和長距離特征依賴性，從而獲得全局特征表示。本文提出了一種CNN-Transformer的并行結構作為網絡的特征提取器，分為CNN分支與Transformer分支，融合不同分辨率下CNN的局部特征和Transformer的全局特征，這樣的并發(fā)結構可以最大程度地保留局部特征和全局表示，并兼顧CNN與Transformer兩者的優(yōu)點。

首先將原圖分別傳入CNN分支與Transformer分支進行特征提取，CNN分支使用resnet50作為特征提取器，總共進行4個階段的特征提取，提取到原圖1/4、1/8、1/16、1/32的特征圖，Transformer分支由不同數(shù)量的Swim Transformer模塊堆疊組成，同樣得到4個尺度的特征圖，最后再將兩分支多尺度的特征進行融合，以獲得更好的特征表示。

2.2" CNN分支

本研究使用Resnet50（Resdiual network 50）替換原始網絡中的CBR模塊作為局部特征提取模塊，該網絡是He等[14]于2015年提出的殘差結構網絡模型，Resnet使得模型更加容易訓練，既能防止模型退化，又能防止梯度消失，能夠增強各層之間的特征融合，更好地保留缺陷區(qū)域的特征信息。其次，Resnet可以加載在大數(shù)據(jù)數(shù)據(jù)集（如ImageNet）上的預訓練權重，可以幫助我們在U-Net的訓練中使用更好的初始化權重，加快網絡的收斂速度并提高網絡的泛化能力。

Resnet50的殘差塊由1×1、3×3、1×1的3個卷積層以及線性單元Relu和線性映射Identity組成，第二層殘差塊的內部結構如圖3所示。

在殘差結構中，通過線性映射identity可以將此前的輸入信息與輸出疊加后再通過激活函數(shù)得到輸出，這個簡單的加法并不會給網絡增加額外的參數(shù)和計算量，同時卻可以大大增加模型的訓練速度、提高訓練效果，并且當模型的層數(shù)加深時，這個簡單的結構能夠很好的解決退化問題。殘差的表述如下。

F（x）=H（x）?x （1）

Resnet50的特征提取部分通過1個初始化stem層與4個由殘差塊疊加構成的stage層，每層殘差塊疊加的數(shù)量依次為3、4、6、3，如表1所示。

2.3" Swim Transformer

Swim Transformer的窗口自注意力（Window Multi-heads Self-Attention，W-MSA）相比于基于全局的自注意力（Multi-heads Self-Attention，MSA）方法的方式r[15]，減少了計算復雜度；移動窗口（Shifted Window Multi-heads Self-Attention，SW-MSA）的方法，使相鄰兩個窗口之間的信息有了交互，變相的達到了全局建模的能力，層級結構使Transformer擁有了像CNN一樣的分層結構，多尺度的特征信息可以更好的應用在下游任務上。

2.4" Patch Merging模塊

原始的U-Net網絡在編碼階段，首先通過卷積提取特征，再通過最大池化層來降低特征圖的分辨率以此來獲得不同尺度的特征信息。在Swim Transformer分支中，為了讓圖像有層級式的概念，就需要類似池化的操Patch Merging模塊所做的是類似于池化的操作，作用是進行降采樣，用于縮小分辨率，調整通道數(shù)，使用池化層進行下采樣會損失空間信息，但Patch Merging不會。Patch Merging的作用就是將圖像的高和寬縮小至原來的1/2，將通道數(shù)升為原來的2倍，具體操作過程如圖4所示。假設傳入的圖像尺寸為[（H，W，C）]，如果降采樣率是2，首先在行方向和列方向上按位置間隔2選取元素，分隔出新的patch寬高都變?yōu)樵瓉淼囊话?，接著再把所有patch在進行通道上融合則得到[（H2，W2，4C）]，然后經過展平、歸一化再通過線性層調整通道數(shù)最總得到特征圖的尺寸為[（H2，W2，2C）]。

2.5" dual up-sample

U-Net網絡中通過編碼階段提取到不同尺度的特征圖，在解碼階段需要進行上采樣來逐步恢復至原圖大小，因此上采樣方法的選擇對于最終分割結果有很大的影響。普通的反卷積容易產生棋盤效應；插值法無可學習的參數(shù)，網絡無法學習如何更好地進行插值，因此還原效果較差；文獻[16]提出了一種dual up-sample模塊，該模塊融合了Pixel Shuffle及雙線性插值兩種上采樣方法，Pixel shuffle將低分辨率特征圖像[17]，通過重排列與重組來獲得高分辨率的特征圖，能有效改善棋盤效應；雙線性插值上采樣通過對鄰近像素進行加權平均來生成新的像素值，能夠在一定程度上保持圖像的平滑性和細節(jié)，且速度快，計算量小。本研究將dual up-sample代替U-Net網絡中原有地上采樣方案，增強上采樣時特征信息恢復能力以及提高邊緣信息的分割精度，以此來改善棋盤效益。本文的dual up-sample模塊如圖5所示，分為Pixel Shuffle通道與Bilinear通道，每個通道內包含2個卷積層及Hard-Swish[18]層。

3" 實驗與分析

3.1" 實驗數(shù)據(jù)

本文試驗采用的蘋果表面缺陷數(shù)據(jù)集通過網絡采集、實地拍攝等方法進行建立，數(shù)據(jù)集包含蘋果圖像共有1 930張，其中無缺陷的蘋果圖像700張，含缺陷的蘋果圖像1 230張，缺陷包括腐爛、病蟲害、外觀損傷、褶皺四種類型。將圖片分辨率統(tǒng)一縮放至512×512后進行人工標注，數(shù)據(jù)集類別劃分為蘋果、缺陷、背景3種類別，最后將1 700張圖片數(shù)據(jù)用于訓練，300張圖片數(shù)據(jù)用于測試。

3.2" 評價指標

3.3" 實驗過程及結果

為了確保實驗結果的準確性與有效性，本文實驗都在相同的環(huán)境配置下進行，具體實驗環(huán)境如表2所示。

為了衡量實驗的有效性，本文實驗統(tǒng)一將實驗每批次樣本數(shù)（batch size）設定為8，初始學習速率設置為0.01，迭代次數(shù)（epoch）設置為120次，使用Adam作為優(yōu)化器。

本文以U-Net為基礎網絡模型，為了驗證本文所提出改進方案的可行性與有效性，在確保實驗環(huán)境相同的情況下，進行了4組消融實驗進行對比，如表3所示，具體實驗方案為：1）原始U-Net網絡；2）在方案1中加入dual up-sample（DU）模塊；3）在方案2中加入并行Transformer分支；4）在方案3基礎上在CNN分支中使用Resnet50網絡進行替換。

在上述的消融實驗中，比較方案2與方案1可知，在使用dual up-sample模塊替換原始的雙線性插值上采樣模塊后，平均像素準確率上升了1.35%，平均交并比提高了3.93%；比較方案3在方案2的基礎上再加入Transformer并行分支，對模型的平均像素準確率和平均交并比也有一定的提升，分別提升了3.42%和5.56%；方案4在方案3的基礎上使用Resnet50作為CNN分支的特征提取器，并載入Imagenet上的預訓練權重，模型的性能更進一步得到提升，平均像素準確率達到98.14%，平均交并比95.57%，相較原始的U-Net模型有了大幅的提高，由此可知，本文的模型改進方案是切實可行的，能夠大幅的提高模型的性能與精度。

為了更進一步驗證本文模型的性能與檢測效果，本研究同時還復現(xiàn)了多個經典語義分割模型進行對比實驗：PspNet、Deeplabv3[19]、SegNet[20]。SegNet采用VGG16[21]作為特征提取網絡，PspNet、Depplabv3與本文的改進型U-Net都采用Resnet50作為特征提取網絡，各模型在相同的實驗配置環(huán)境下對本研究的紅蘋果表面缺陷數(shù)據(jù)集進行訓練。

由表4可知，本文改進的U-Net模型各項指標均優(yōu)于PspNet、Deeplabv3、SegNet，其中Deeplabv3的效果較差，準確率較低，在本研究的數(shù)據(jù)集上的分割效果不理想；PspNet則有較好的效果。

不同模型的分割效果如圖6所示，由圖可知，PspNet與SegNet的分割效果尚可，均能大致的分割出缺陷區(qū)域，但對于與正常果實顏色相近的缺陷類型SegNet無法正確分割，PspNet也存在小部分邊緣區(qū)域分割不精確的問題；Deeplabv3對于簡單明顯的缺陷區(qū)域可以正確識別，但在復雜多變的區(qū)域分割效果并不理想。本文在U-Net網絡中引入CNN-Transformer并行結構與dual up-sample上采樣等模塊對模型進行改進，不僅能正確識別各種類型的缺陷，而且改善了邊緣區(qū)域識別不準確的問題，提升分割精度，能夠有效地應用于蘋果表皮缺陷檢測中。

4" 結論

本研究基于U-Net語義分割網絡，首先對編碼模塊進行改進，引入了CNN-Transformer并行結構，并使用Resnet50作為CNN分支的特征提取網絡，使得模型能夠兼具局部特征與全局特征的能力，然后在解碼模塊中使用dual up-sample作為上采樣模塊，得到改進的U-Net蘋果表皮缺陷檢測模型。

通過消融實驗進行對比實驗驗證，實驗結果表明各種單獨改進方案均能不同程度的提升模型性能，最終結合所有改進方案的模型擁有最佳的檢測效果與精度。采用3種主流語義分割模型及本文改進模型進一步進行實驗驗證，結果表明本文模型在CPA、MPA及MIoU指標上均優(yōu)于其他3種語義分割模型，擁有更好的分割效果與準確率。

參考文獻：

[1]" 邱光應.基于機器視覺的蘋果果梗/花萼與缺陷識別[D].重慶：西南大學，2017.

[2]" 項輝宇，黃恩浩，冷崇杰，等.基于圖像處理與深度學習的蘋果檢測分級[J].食品安全導刊，2022（22）：48-53.

[3]" 林海波，盧元棟，丁榮誠，等.基于圖像處理與改進SVM的蘋果多特征融合分級方法[J].山東農業(yè)科學，2022，54（6）：141-149.

[4]" 薛勇，王立揚，張瑜，等.基于GoogLeNet深度遷移學習的蘋果缺陷檢測方法[J].農業(yè)機械學報，2020，51（7）：30-35.

[5]" 何進榮，石延新，劉斌，等.基于DXNet模型的富士蘋果外部品質分級方法研究[J].農業(yè)機械學報，2021，52（7）：379-385.

[6]" 周雨帆，李勝旺，楊奎河，等.基于輕量級卷積神經網絡的蘋果表面缺陷檢測方法[J].河北工業(yè)科技，2021，38（5）：388-394.

[7]" Long J， Shelhamer E， Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015：3431-3440.

[8] Ronneberger O， Fischer P， Brox T. U-Net： convolutional networks for biomedical image segmentation[C]. Medical Image Computing and Computer Assisted Intervention， Munich， Germany， 2015：234-241.

[9]" Zhao H S， Shi J P， Qi X J， et al. Pyramid scene parsing network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017：6230–6239.

[10] Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems， 2017：6000-6010.

[11] Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16×16 words： Transformers for image recognition at scale[J]. arXiv， 2010.11929，2020.

[12] Peng Z， Huang W， Gu S， et al. Conformer： Local features coupling global representations for visual recognition[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：367-376.

[13] Chen J n， Lu Y y， Yu Q h， et al. Transunet： Transformers make strong encoders for medical image segmentation[J]. arXiv，2102.04306，2021.

[14] He K m， Zhang X y， Ren S q， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016：770-778.

[15] Liu Z， Lin Y t， Cao Y， et al. Swin transformer： Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021：10012-10022.

[16] Fan C M， Liu T J， Liu K H. SUNet： swin transformer UNet for image denoising[C]//Proceedings of the 2022 IEEE International Symposium on Circuits and Systems， 2022：2333-2337.

[17] Shi W z， Caballero J， Huszár F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：1874-1883.

[18] Howard A， Sandler M， Chen B， et al. Searching for MobileNetV3[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019：1314-1324.

[19] Chen L C， Papandreou G， Schroff F， et al. Rethinking atrous convolution for semantic image segmentation[J]. arXiv：1706.05587，2017.

[20] Badrinarayanan V， Kendall A， Cipolla R. Segnet： A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence， 2017，39（12）：2481-2495.

[21] Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv：1409.1556，2015.

（責任編輯：敬廷桃）