李振軒，孫福臨，劉羿漩，齊振嶺，葛廣英

（1. 山東省光通信科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室，聊城 252059；2. 聊城大學(xué)計(jì)算機(jī)學(xué)院，聊城 252059）

0 引言

法蘭盤是一種管道間相互連接的盤狀機(jī)械零件，在管道工程中發(fā)揮著重要作用。法蘭盤加工過程復(fù)雜，步驟繁瑣，不可避免地會(huì)出現(xiàn)一些缺陷。其中法蘭盤表面缺陷不僅影響產(chǎn)品外觀，同時(shí)嚴(yán)重?fù)p害其性能，縮短使用壽命，甚至導(dǎo)致嚴(yán)重的安全事故。目前大多數(shù)企業(yè)采用人工檢測，人工質(zhì)檢方法受工人工作經(jīng)驗(yàn)等因素影響，無法形成統(tǒng)一、嚴(yán)格的判斷標(biāo)準(zhǔn)，漏檢、錯(cuò)檢的情況時(shí)常發(fā)生，人工檢測效率低下不僅阻礙企業(yè)擴(kuò)大生產(chǎn)規(guī)模，而且增加企業(yè)生產(chǎn)成本，嚴(yán)重影響企業(yè)健康發(fā)展［1］。因此，設(shè)計(jì)一種效率高、成本低的法蘭盤表面缺陷檢測方法尤為重要。

隨著人工智能技術(shù)的快速普及，深度學(xué)習(xí)算法在各個(gè)研究領(lǐng)域得到廣泛應(yīng)用，為實(shí)現(xiàn)簡捷、高效的缺陷檢測提供了新思路［2］。以Faster R-CNN［3］和Mask R-RCNN［4］等為代表的二階段檢測網(wǎng)絡(luò)和以SSD［5］、YOLO 系列等為代表的單階段檢測網(wǎng)絡(luò)在缺陷檢測中都有不錯(cuò)的表現(xiàn)。吳越等［6］提出了一種基于改進(jìn)Faster R-CNN 算法，通過改進(jìn)Faster R-CNN 的RPN 網(wǎng)絡(luò)，有效降低池化過程中的量化誤差，提高了小目標(biāo)的檢測精度，但改進(jìn)后的算法推理速度低于YOLOv3算法。針對傳統(tǒng)鑄件表面缺陷檢測效率低、精度差等問題，馬宇超等［7］將深度遷移學(xué)習(xí)的網(wǎng)絡(luò)自適應(yīng)策略與Mask R-CNN 算法相結(jié)合，構(gòu)建了深度網(wǎng)絡(luò)自適應(yīng)優(yōu)化的Mask R-CNN 算法模型，優(yōu)化后的模型泛化能力得到提升，在三種常見鑄件表面缺陷數(shù)據(jù)集中得到的平均檢測精度為92%，但檢測速率較低。魏智鋒等［8］設(shè)計(jì)了一種適用于人造板表面缺陷檢測的SDD-MoblieNet 算法模型，將SSD 算法中的VGGNet 網(wǎng)絡(luò)替換為輕量級的MobileNet 網(wǎng)絡(luò)，并將Inception 網(wǎng)絡(luò)附加到多個(gè)特征映射上，不僅增強(qiáng)網(wǎng)絡(luò)提取特征的能力，而且提高了模型檢測速度，在五種人造板表面缺陷數(shù)據(jù)中，該模型的平均檢測精度為93.76%，最快檢測速度為75 幀/秒。程婧怡等［9］將YOLOv3淺層特征和深層特征進(jìn)行融合并新增一個(gè)特征圖層，形成四個(gè)尺度預(yù)測，提升了模型檢測金屬表面小尺寸缺陷和模糊缺陷的能力，在NEU-DET 數(shù)據(jù)集中，改進(jìn)后的YOLOv3算法平均檢測精度為67.64%，但檢測速率低于YOLOv3 算法。張凱等［10］設(shè)計(jì)了基于YOLOv4 的輕量化發(fā)電機(jī)定子表面缺陷檢測算法，將YOLOv4 提取特征的主干網(wǎng)絡(luò)替換為改進(jìn)的MoblieNetv3 網(wǎng)絡(luò)，使模型體積大幅縮小，檢測速度提升了45.4%。雖然這些算法的檢測精度能滿足基本要求，但是對硬件的性能要求高，難以部署在計(jì)算資源有限的邊緣設(shè)備中，不利于在企業(yè)大規(guī)模推廣使用。為實(shí)現(xiàn)算法模型在邊緣設(shè)備的部署，本文對YOLOv5進(jìn)行優(yōu)化，實(shí)現(xiàn)網(wǎng)絡(luò)輕量化，并將輕量化后的模型部署在邊緣設(shè)備Jetson nano 中，驗(yàn)證模型在邊緣設(shè)備中的推理效果。

1 YOLOv5算法概述

YOLOv5 算法是由Ultralytics LLC 團(tuán)隊(duì)設(shè)計(jì)的一種高效、便捷的單階段目標(biāo)檢測算法，相較于先提取物體區(qū)域再對區(qū)域進(jìn)行CNN 分類識別的兩階段目標(biāo)檢測算法，單目標(biāo)檢測算法將目標(biāo)檢測任務(wù)轉(zhuǎn)換成一個(gè)回歸問題，雖然會(huì)損失一定的檢測精度，但有效縮短了檢測的時(shí)間，滿足實(shí)時(shí)檢測要求。根據(jù)網(wǎng)絡(luò)的復(fù)雜程度可以將YOLOv5 分為五個(gè)版本。本文以YOLOv5s 為基礎(chǔ)實(shí)現(xiàn)法蘭盤表面缺陷檢測，網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示。

圖1 YOLOv5結(jié)構(gòu)

YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)由圖像輸入模塊（Input）、負(fù)責(zé)輸入圖像特征提取的骨干網(wǎng)絡(luò)（Backbone）、由特征金字塔和路徑聚合網(wǎng)絡(luò)構(gòu)成的特征融合網(wǎng)絡(luò)（Neck）和預(yù)測模塊（Prediction）四部分組成［11］。YOLOv5 網(wǎng)絡(luò)的輸入模塊沿用YOLOv4 的Mosaic 數(shù)據(jù)增強(qiáng)，將輸入的四張圖片做隨機(jī)縮放、裁剪，然后再將其拼接，不僅豐富了檢測數(shù)據(jù)集，而且增加了很多小目標(biāo)，網(wǎng)絡(luò)的魯棒性得到增強(qiáng)，在進(jìn)行歸一化操作時(shí)會(huì)一次性計(jì)算四張圖片的數(shù)據(jù)，降低了模型的內(nèi)存需求，提升了網(wǎng)絡(luò)的訓(xùn)練速度。由于數(shù)據(jù)集中圖片的大小不一，通常是將原始圖片按一定比例縮放到一個(gè)固定尺寸，然后對圖片進(jìn)行填充，填充較多會(huì)造成信息冗余。而YOLOv5通過自適應(yīng)縮放算法，為縮放后的圖片添加最少的填充，有效避免因過度填充造成的信息冗余，提升了網(wǎng)絡(luò)的推理速度。在YOLOv5 6.0 版本中，使用Conv模塊代替了骨干網(wǎng)絡(luò)中的Focus模塊，二者在理論上是等價(jià)的，但對于GPU 設(shè)備和現(xiàn)有的優(yōu)化算法而言使用6×6 的卷積會(huì)更加高效［12］，更有利于模型在邊緣設(shè)備中部署。

2 YOLOv5算法改進(jìn)

2.1 ShuffleNetV2

ShuffleNetV2［13］是曠視科技團(tuán)隊(duì)設(shè)計(jì)的針對嵌入式設(shè)備的高效輕量化卷積神經(jīng)網(wǎng)絡(luò)，ShuffleNetV2 作者通過大量實(shí)驗(yàn)得出不能單純地以神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度FLOPs作為衡量輕量化卷積神經(jīng)網(wǎng)絡(luò)指標(biāo)的結(jié)論，并提出設(shè)計(jì)輕量化卷積神經(jīng)網(wǎng)絡(luò)的四條準(zhǔn)則，分別為G1 輸入輸出通道數(shù)相同時(shí)，內(nèi)存訪問量最??；G2分組數(shù)過大的分組卷積會(huì)增加內(nèi)存訪問量；G3碎片化操作不利于并行加速；G4逐元素操作帶來的內(nèi)存和耗時(shí)不可忽略。作者根據(jù)這四條準(zhǔn)則對ShuffleNetV1 加以改進(jìn)和優(yōu)化，設(shè)計(jì)出ShuffleNetV2。

ShuffleNetV2 主要由基本單元和下采樣單元構(gòu)成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在基本單元中通道拆分（Channel Split）操作將輸入特征矩陣的通道等分成兩份，左支路不做任何處理作恒等映射，減少了碎片化操作，滿足G3 準(zhǔn)則。右支路經(jīng)兩次步長為1 的1×1 標(biāo)準(zhǔn)卷積（Standard Convolution,SConv）和一次步長為1的3×3深度可分離卷積（Depth-wise separable convolution, DWConv）［14］，并且在卷積操作過程中輸入輸出通道數(shù)相同，滿足G2 準(zhǔn)則。為滿足G4 準(zhǔn)則ShuffleNetV2 放棄了ShuffleNetV1 中將左右兩支路拼接的Add 操作而采用通道拼接（Concat）操作將左右兩支路合并在一起。為保證左右兩個(gè)支路的特征信息得到充分的融合，在Concat 操作后引入Channel Shuffle 模塊，實(shí)現(xiàn)兩支路間的信息交流，提升網(wǎng)絡(luò)提取特征的能力。在ShuffleNetV2 基本單元中利用Channel Split 操作實(shí)現(xiàn)分組并將Shuffle-NetV1 中的分組卷積代替為DWConv，有效降低了分組數(shù)，滿足G1 準(zhǔn)則。ShuffleNetV2 下采樣單元與基本單元結(jié)構(gòu)相似，與基本單元相比少了對輸入特征圖Channel Split操作，并在左支路添加了步長為2 的3×3 DWConv 和1×1 SConv，增強(qiáng)網(wǎng)絡(luò)提取特征的能力。由于下采樣單元沒有通道拆分操作使得左右支路在通道拼接后輸出的通道數(shù)加倍。

圖2 ShuffleNetV2結(jié)構(gòu)

2.2 GSConv

目前，大多數(shù)的輕量化網(wǎng)絡(luò)通過大量使用DWConv，減少模型對計(jì)算資源的依賴，提升檢測速度，但在一定程度上影響模型檢測精度。Li等［15］針對DWConv 固有缺點(diǎn)，將SConv 與DWConv 相結(jié)合，設(shè)計(jì)出兼顧速度與精度的GSConv模塊。其結(jié)構(gòu)如圖3所示。設(shè)輸入特征圖X的通道數(shù)為C1，輸出通道數(shù)為C2，特征圖X經(jīng)一次SConv 操作得到通道數(shù)C2/2 的特征圖X1，再經(jīng)DWConv操作得到特征圖X2，通過Concat操作將X1、X2按通道進(jìn)行拼接，然后利用Shuffle 操作將來自SConv 的特征信息完全混合到DWConv 輸出的特征信息中，最后得到通道數(shù)為C2的特征圖X4。這種操作既保留了SConv 的全部特征信息，降低了因輕量化帶來的精度損失，同時(shí)還具備較高的檢測速度。

圖3 GSConv結(jié)構(gòu)

2.3 改進(jìn)后的網(wǎng)絡(luò)

改進(jìn)后的YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。利用ShuffleNetV2 替換YOLOv5 骨干網(wǎng)絡(luò)，網(wǎng)絡(luò)模型的復(fù)雜度和參數(shù)量大大降低，有利于部署在計(jì)算資源有限的邊緣設(shè)備中。為進(jìn)一步降低模型對硬件設(shè)備的性能要求，提升模型在邊緣設(shè)備中的運(yùn)行速度，在替換骨干網(wǎng)絡(luò)的YOLOv5中引入兼顧速度與精度的GSConv，實(shí)現(xiàn)模型在邊緣設(shè)備中的快速推理，滿足法蘭盤加工過程中實(shí)時(shí)檢測的需求。

圖4 改進(jìn)后YOLOv5結(jié)構(gòu)

3 實(shí)驗(yàn)推理流程

3.1 實(shí)驗(yàn)數(shù)據(jù)集的建立

由于目前沒有公開的法蘭盤表面缺陷數(shù)據(jù)集，本文所使用的數(shù)據(jù)集采集自某法蘭盤生產(chǎn)廠，本數(shù)據(jù)集包含黑皮、切傷、渣孔三種缺陷，如圖5所示。本文對采集到的圖像改變亮度、對比度并進(jìn)行平移、旋轉(zhuǎn)、縮放等操作實(shí)現(xiàn)數(shù)據(jù)集的擴(kuò)充。經(jīng)圖像增強(qiáng)處理后法蘭盤表面缺陷數(shù)據(jù)集一共有8540 張圖片，包含三種法蘭盤表面缺陷，黑皮2890張，切傷2920張，渣孔2730張，將得到的數(shù)據(jù)集按9 ∶1的比例劃分為訓(xùn)練集、驗(yàn)證集。利用LabelImg 工具對數(shù)據(jù)集進(jìn)行手工標(biāo)注，保存生成的XML文件。

圖5 法蘭盤表面缺陷數(shù)據(jù)集

3.2 實(shí)驗(yàn)平臺環(huán)境

本次模型訓(xùn)練使用的服務(wù)器硬件配置為Intel（R） Xeon（R） Platinum 8350C CPU， RTX A5000（24 GB）GPU，45 GB RAM。所使用的系統(tǒng)環(huán)境為Ubuntu 18.04，深度學(xué)習(xí)框架為PyTorch，其中torch版本為1.9.0+cuda11.1。

3.3 邊緣設(shè)備簡介

本次模型前端部署使用的邊緣設(shè)備為英偉達(dá)生產(chǎn)的Jetson nano。Jetson nano 是一款外形、接口類似樹莓派的微型電腦主板，相較于其他同類設(shè)備，Jetson nano性能強(qiáng)悍、價(jià)格適中。在硬件方面它配備了基本時(shí)鐘頻率為1.43 GHz 的Cortex-A57 四核處理器，內(nèi)存為4 GB LPDDR4。與樹莓派相比Jetson nano 最大優(yōu)勢是它配備了一塊128 核Maxwell?架構(gòu)的NVIDIA GPU，算力能夠達(dá)到472 GFLOPs。它采用高效、低功耗的封裝方式，具有5 W/10 W 功率模式和5 V DC 輸入。軟件方面Jetson nano 支持JetPack SDK 和多種主流的AI框架和算法，例如PyTorch，Tensor-Flow 等。JetPack SDK 是NVIDIA 用于構(gòu)建AI 應(yīng)用程序的開發(fā)環(huán)境包，支持Jetson模塊和開發(fā)套件，具有Linux 內(nèi)核、Ubuntu 桌面環(huán)境以及CUDA-X 加速庫和API，用于深度學(xué)習(xí)、計(jì)算機(jī)視覺、加速計(jì)算和多媒體。Jetson nano 基本參數(shù)見表1。

表1 Jetson nano基本參數(shù)

3.4 實(shí)驗(yàn)結(jié)果分析

本文網(wǎng)絡(luò)模型訓(xùn)練實(shí)驗(yàn)的參數(shù)如下：輸入圖片的大小為640×640，batch-size設(shè)為300。將訓(xùn)練好的網(wǎng)絡(luò)模型復(fù)制到已搭建YOLOv5運(yùn)行環(huán)境的Jetson nano 中，在Jetson nano 中運(yùn)行推理程序，完成推理任務(wù)，實(shí)現(xiàn)法蘭盤表面缺陷的檢測。

本文以YOLOv5s 作為法蘭盤表面缺陷檢測的基礎(chǔ)算法，通過對YOLOv5s 引入不同的優(yōu)化策略實(shí)現(xiàn)模型的輕量化，為驗(yàn)證優(yōu)化策略對模型的影響，設(shè)計(jì)了消融實(shí)驗(yàn)，具體結(jié)果見表2。

表2 YOLOv5s消融實(shí)驗(yàn)

由表2可知，YOLOv5s在法蘭盤表面缺陷檢測中平均檢測精度可達(dá)到95.4%，但GFLOPs、參數(shù)量和模型體積較大，難以在邊緣設(shè)備中部署。Changed（1）算法與YOLOv5s 相比，平均檢測精度下降了0.9 個(gè)百分點(diǎn)，這是由于模型骨干網(wǎng)絡(luò)輕量化，提取特征的能力下降所導(dǎo)致。但替換骨干網(wǎng)絡(luò)后模型的GFLOPs、參數(shù)量和大小分別變?yōu)閅OLOv5s 的37.5%、45.4%和46.2%，證明利用ShuffleNetV2 替換YOLOv5s 的骨干網(wǎng)絡(luò)，可有效降低網(wǎng)絡(luò)的復(fù)雜程度，快速實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化，同時(shí)這種輕量化方法對平均檢測精度的影響較小。Changed（2）算法在YOLOv5s的Neck 網(wǎng)絡(luò)引入GSConv，較YOLOv5s，其平均檢測精度提升了1.5 個(gè)百分點(diǎn)，模型的GFLOPs、參數(shù)量和大小雖略有下降，但仍處在較高水平，下降程度不足以滿足網(wǎng)絡(luò)輕量化的要求。本文算法融合了Changed（1）算法和Changed（2）算法的優(yōu)勢，既實(shí)現(xiàn)了網(wǎng)絡(luò)輕量化又保持了較高的檢測精度。與YOLOv5s 相比，本文算法的GFLOPs、參數(shù)量和模型大小分別下降了66.9%、60.9%、59.4%，便于在資源有限的邊緣設(shè)備中部署。

為驗(yàn)證本文優(yōu)化后模型在邊緣設(shè)備中的推理性能，將消融實(shí)驗(yàn)得到的算法模型部署到Jetson nano 中，對100 組數(shù)據(jù)進(jìn)行多次推理，其結(jié)果見表3。

表3 模型推理結(jié)果

由表3 中的實(shí)驗(yàn)結(jié)果可知，由于YOLOv5s參數(shù)量大，網(wǎng)絡(luò)層數(shù)深，對計(jì)算資源要求高，導(dǎo)致解析YOLO 層花費(fèi)時(shí)間長，推理速度慢，推理速度僅為6.62 FPS，無法滿足實(shí)時(shí)檢測的要求。Changed（1）算法將YOLOv5s 的骨干網(wǎng)絡(luò)輕量化，使得參數(shù)量和網(wǎng)絡(luò)層數(shù)明顯降低，大幅縮短YOLO 層解析時(shí)間和模型推理時(shí)間，與YOLOv5s相比，推理速度提升了76.3%，基本滿足了實(shí)時(shí)檢測的要求。Changed（2）算法將YOLOv5s 的Neck 網(wǎng)絡(luò)輕量化，平均檢測精度得到提升，同時(shí)縮短了YOLO 層解析時(shí)間，但網(wǎng)絡(luò)層數(shù)加深，在模型推理時(shí)間和推理速度方面與YOLOv5s 基本持平，沒有達(dá)到輕量化要求，難以在資源有限的設(shè)備中實(shí)現(xiàn)實(shí)時(shí)檢測。本文算法彌補(bǔ)了Changed（1）算法因骨干網(wǎng)絡(luò)輕量化造成的精度損失，與Changed（1）算法相比，平均檢測精度增長1.1 個(gè)百分點(diǎn)，同時(shí)進(jìn)一步降低Changed（2）算法參數(shù)量和網(wǎng)絡(luò)層數(shù)，大幅縮短模型推理時(shí)間，推理速度得到有效提升，變?yōu)镃hanged（2）算法的1.79倍。

本文將模型部署實(shí)驗(yàn)所使用100組數(shù)據(jù)的推理時(shí)間繪制成圖，如圖6所示。本文算法與其他消融實(shí)驗(yàn)算法相比所需推理時(shí)間最短，推理過程相對平穩(wěn)，推理時(shí)間在0.063～0.071 s 之間上下浮動(dòng)，本文算法在邊緣設(shè)備中的推理速度方面優(yōu)于其余三種網(wǎng)絡(luò)。本文算法推理效果如圖7所示。

圖6 推理時(shí)間折線圖

圖7 推理效果圖

4 結(jié)語

本文構(gòu)建了法蘭盤表面缺陷數(shù)據(jù)集，提出了一種基于改進(jìn)YOLOv5s 的法蘭盤表面缺陷檢測算法，通過替換YOLOv5s 骨干網(wǎng)絡(luò)，引入GSConv，實(shí)現(xiàn)網(wǎng)絡(luò)輕量化。其中，該模型的平均檢測精度可以達(dá)到95.6%，在Jetson nano 中平均推理速度為12.38 FPS，有較高檢測精度的同時(shí)也具有較高的檢測速度，為企業(yè)提供了一種法蘭盤表面缺陷實(shí)時(shí)檢測的參考方案。在接下來的研究工作中，還需對數(shù)據(jù)集進(jìn)行擴(kuò)充，豐富法蘭盤表面缺陷類別，對該模型做進(jìn)一步的驗(yàn)證；由于該模型在平均檢測精度方面還有提升空間，將嘗試對該模型做進(jìn)一步的優(yōu)化以提高平均檢測精度和檢測速度。