李志誠 曾志強

（五邑大學(xué)智能制造學(xué)部，廣東江門，529000）

造紙工業(yè)在國民經(jīng)濟中具有重要作用，2020 年，我國紙及紙板生產(chǎn)企業(yè)達2500 多家［1］。生活用紙企業(yè)是造紙工業(yè)的重要組成部分，在經(jīng)濟全球化以及科技不斷發(fā)展的大背景下，生活用紙企業(yè)的競爭日趨激烈。降低生產(chǎn)成本、提高生產(chǎn)效率以及產(chǎn)品質(zhì)量是生活用紙企業(yè)提升自身競爭力的有效途徑［2］。卷紙是生活用紙企業(yè)的主要產(chǎn)品之一，在卷紙的生產(chǎn)過程中，卷紙包裝是其中的一個工序，在包裝過程中，不可避免會出現(xiàn)包裝缺陷問題。卷紙包裝缺陷問題的出現(xiàn)給企業(yè)生產(chǎn)帶來了多種問題，主要體現(xiàn)在以下幾個方面：①導(dǎo)致產(chǎn)品重新包裝，浪費包裝材料，增加輔料的成本以及廢棄的包裝材料會增加環(huán)境污染；②需要花費大量的人力檢測產(chǎn)品包裝問題，增加人力成本并難以保證產(chǎn)品包裝過程的可靠性；③若有包裝缺陷的產(chǎn)品流入到市場，增加客戶的投訴以及降低企業(yè)的信譽。為此，有效解決卷紙的包裝缺陷檢測問題對于生活用紙企業(yè)的提質(zhì)增效具有重要意義。

傳統(tǒng)機器學(xué)習(xí)方法具有一定的缺陷檢測效果，如通過將方向梯度直方圖（Histogram of Oriented Gradi?ent，HOG）和支持向量機（Support Vector Machine，SVM）結(jié)合［3］的方法對車輛零件進行缺陷檢測；使用SIFT 匹配算法對PCB 板進行缺陷檢測［4］。然而，以上方法并不能有效地解決卷紙包裝缺陷檢測問題。隨著深度學(xué)習(xí)的快速發(fā)展，其在工業(yè)上的應(yīng)用越來越廣泛，尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN） 在缺陷檢測［5-7］和缺陷分類［8-9］上的應(yīng)用。

隨著CNN 的快速發(fā)展，其在計算機視覺領(lǐng)域也取得了很多重要的突破。例如，為了避免重復(fù)計算卷積特征，He 等［10］提出了空間金字塔池化（Spatial Pyramid Pooling，SPP），整個圖像僅計算1次特征圖，在任意區(qū)域中合并特征以生成固定長度的表示形式；為了減少神經(jīng)網(wǎng)絡(luò)計算的資源，Wang等［11］提出了跨階段局部網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet）；在目標檢測領(lǐng)域，Redmon等［12］提出了YOLOv3算法，使用Darknet-53作為骨架網(wǎng)絡(luò)，提取圖片信號的多尺度特征，然后進行多尺度特征融合以提取深層次特征，然后通過檢測頭進行預(yù)測。YOLOv3 算法在目標檢測方面具有較高的準確性和較快的檢測速度，目前在目標識別、缺陷檢測等領(lǐng)域獲得了很好的應(yīng)用［13-15］。

相對來說，CNN 的全局特征提取能力較弱，而Transformer具有更好的全局特征提取能力［16］，但其對于細節(jié)和局部特征的提取能力不如CNN。Transformer一開始被應(yīng)用在自然語言處理（NLP）領(lǐng)域，后來，Google Brain 提出了 Vision Transformer［17］，實現(xiàn)了圖片分塊處理，將Transformer 應(yīng)用到了計算機視覺領(lǐng)域，可獲得比CNN 更好的檢測效果，有利于圖像數(shù)據(jù)的全局特征提取。Srinivas等［18］結(jié)合多種計算機視覺任務(wù)的自注意力機制，提出了Bottleneck Transformer，采用多頭注意力（Multi-Head Self-Attention，MHSA）替換Resnet網(wǎng)絡(luò)中的3×3卷積，在實例分割和目標檢測方面，減少了參數(shù)量，提高了檢測速度。

1 基于iYOLOv3的卷紙包裝缺陷檢測算法

針對卷紙包裝缺陷檢測問題，筆者提出了改進的YOLOv3（iYOLOv3）算法，考慮卷紙包裝圖像信息具有很強的局部相關(guān)性和全局相關(guān)性，在對圖像數(shù)據(jù)的特征提取網(wǎng)絡(luò)設(shè)計上，將MHSA和CNN結(jié)合，對于圖像的低層特征圖和高層特征圖分別使用CNN和MH?SA 進行特征提取，有利于二者取長補短，更加充分地提取局部和全局特征；同時在特征融合網(wǎng)絡(luò)層設(shè)計上，將特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）［19］和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）［20］結(jié)合，以更深層次地提取圖像數(shù)據(jù)的上下文信息。

1.1 iYOLOv3算法的設(shè)計

iYOLOv3 算法的網(wǎng)絡(luò)模型主要分為3 部分：骨架網(wǎng)絡(luò)、特征融合層、檢測頭。通過骨架網(wǎng)絡(luò)提取出圖片數(shù)據(jù)的多尺度特征，然后通過特征融合層對多尺度特征進行特征融合，最后通過CNN 獲得初步預(yù)測結(jié)果，然后通過非極大值抑制（Non-Maximum Suppres?sion，NMS）［21］以去除多余的框，得到最終的預(yù)測結(jié)果。對于骨架網(wǎng)路的設(shè)計，并非使用全卷積網(wǎng)絡(luò)，而是采用MHSA和CNN結(jié)合的設(shè)計方法，因為自注意力機制的時間與空間復(fù)雜度、輸入尺寸成二次方關(guān)系，而低層特征圖的輸入尺寸太大，故直接使用MHSA將會消耗較大的計算資源。因此，筆者首先通過CNN獲得高層特征圖，而高層特征圖尺寸較小，故使用MHSA提取高層特征圖語義信息。iYOLOV3算法網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1中Conv0～Conv10各個CNN的結(jié)構(gòu)參數(shù)如表1所示。Conv0～Conv10 各個CNN 在完成卷積操作后，進行BatchNorm操作，而后經(jīng)過SiLU激活函數(shù)，得到相應(yīng)的特征圖。

圖1 iYOLOv3算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of iYOLOv3 algorithm

表1 CNN結(jié)構(gòu)參數(shù)Table 1 Structure parameters of CNN

式中，(bx，by)是預(yù)測框的中心坐標；bw和bh分別是預(yù)測框的寬和高；(cx，cy)是預(yù)測框相對于單元格的偏移值；pw和ph分別是邊界框的寬和高；δ是Sigmoid激活函數(shù)，其計算公式見式（2）。

1.2 Slice_CNN網(wǎng)絡(luò)層

在YOLOv3 的基礎(chǔ)上，筆者新增了Slice_CNN 網(wǎng)絡(luò)層。Slice_CNN 網(wǎng)絡(luò)層將輸入的圖像數(shù)據(jù)信息進行初步的特征提取，相對于全卷積神經(jīng)網(wǎng)絡(luò)，其層數(shù)和參數(shù)量更少，網(wǎng)絡(luò)推理速度更快。Slice_CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

圖2 Slice_CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network structure diagram of Slice_CNN

輸 入 圖 像 數(shù) 據(jù) 大 小 為 batch_size×3×640×640，Slice_CNN算法步驟如下：

（1）第0維和第1維維數(shù)不變，將第2維和第3維進行切片操作后變成 4 份 ［batch_size］［3］［320］［320］，4 份切片對應(yīng)的計算規(guī)則見式（3），其中，i，j=1，1，2，3，…，319。

式中，Input 是尺寸為batch_size×3×640×640 的輸入圖像數(shù)據(jù)。

（2）對4 份切片數(shù)據(jù)進行Concat 操作后，依次經(jīng)過3×3 卷積、BatchNorm、SiLU 激活函數(shù)，最后得到輸出結(jié)果。

二級平臺可作為景觀帶中的步道、活動廣場等，其高程適宜選取略高于200年一遇潮位7.93m，以滿足越浪自排的要求，同時應(yīng)低于堤頂高程，以滿足景觀空間層次感及觀海視線通透的要求，宜取8.0m～8.2m。二級平臺即主要活動空間與親水步道的銜接，則主要通過設(shè)置景觀擋墻、階梯、跌級花池、階梯坐墻等多種形式來巧妙消除二者高差，豐富濱水景觀。

1.3 多頭自注意力模塊

為了更好地獲取圖片數(shù)據(jù)的全局特征，使用全卷積神經(jīng)網(wǎng)絡(luò)可能需要堆積大量CNN，這雖然可提高模型的特征提取效果，但模型的計算速度降低，顯然不是最優(yōu)的選擇。因此，可通過MHSA替換部分CNN以獲得更好的效果。本研究使用MHSA 的頭數(shù)量為4，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 MHSA網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure diagram of MHSA

圖3中的Rw和Rh分別是特征圖寬度和高度的位置編碼，Q、K、V 分別表示查詢、鍵和位置編碼，⊕表示矩陣對應(yīng)位置元素求和，?表示矩陣乘法。

1.4 多尺度特征融合網(wǎng)絡(luò)層

高層特征圖具有較大的感受野，而低層特征圖具有較多的細節(jié)和局部信息。iYOLOv3模型的多尺度特征融合網(wǎng)絡(luò)層結(jié)合了FPN 和PAN 特征融合網(wǎng)絡(luò)的優(yōu)點，先對多尺度特征自上而下進行特征融合（見圖4（a）），而后對多尺度特征自下而上進行特征融合（見圖4（b）），因此可更有效地促進不同尺度特征信息的流通和融合，從而更好地提取上下文信息。多尺度特征融合網(wǎng)絡(luò)結(jié)構(gòu)如圖1中的特征融合層所示。

圖4 特征融合過程圖Fig.4 Diagram of feature fusion process

1.5 損失函數(shù)

邊框回歸的損失函數(shù)采用了GIoU_LOSS［23］，GIoU的計算公式見式（4）。

式中，A和B是 2 個待計算 GIoU 的矩形，C是矩形A和B的最小閉包。

計算Objectness 和計算分類的損失函數(shù)使用BCE?WithLogitsLoss 函數(shù)，將 Sigmoid 網(wǎng)絡(luò)層和 BCELoss 合并成一層，同時使用log-sum-exp 來提高結(jié)果的穩(wěn)定性，使得結(jié)果比使用單獨的Sigmoid 和BCELoss 更加穩(wěn)定。令BCEWithLogitsLoss 的計算函數(shù)為l(x，y)，其計算公式見式（5）。

式中，N是batch_size。

1.6 激活函數(shù)

采用SiLU 函數(shù)作為網(wǎng)絡(luò)的主要激活函數(shù)，其計算公式見式（6）。

2 實驗壞境和數(shù)據(jù)集

實驗軟件環(huán)境為Win10、CUDA11.0，硬件環(huán)境GPU 是 NVIDIA GetForce RTX 2080Ti， CPU 是 i9-10900K CPU 3.70GHz。

實驗數(shù)據(jù)集從江門某紙業(yè)公司采集而來，2531張訓(xùn)練圖片，843 張測試圖片。將包裝缺陷類型分為以下5 類：①未包裝（Class1），②包裝后卷紙倒下（Class2），③包裝正確（Class3），④側(cè)部包裝問題（Class4），⑤頂部包裝問題（Class5）。

3 實驗分析

首先對原始數(shù)據(jù)集的訓(xùn)練集進行數(shù)據(jù)增強，然后對模型進行訓(xùn)練，模型訓(xùn)練時的batch_size 設(shè)為16，一共訓(xùn)練了300個epoch，每個epoch訓(xùn)練完成后對測試集進行測試，保留訓(xùn)練過程中的模型權(quán)重文件。

3.1 數(shù)據(jù)增強

為了增強模型的魯棒性，在訓(xùn)練數(shù)據(jù)前，采用隨機數(shù)據(jù)增強的方法，隨機對一些訓(xùn)練圖像數(shù)據(jù)進行數(shù)據(jù)增強，圖片對應(yīng)的標簽也根據(jù)相應(yīng)的數(shù)據(jù)增強方法進行相應(yīng)的調(diào)整。采用的數(shù)據(jù)增強方法如下：①左右翻轉(zhuǎn)，②對比度、色彩飽和度、色調(diào)、銳度調(diào)整，③加入椒鹽噪音、高斯噪音，④圖像縮放。

3.2 訓(xùn)練策略

iYOLOv3算法通過隨機梯度下降的方法對模型進行訓(xùn)練。對網(wǎng)絡(luò)的不同網(wǎng)絡(luò)層采用了不同的學(xué)習(xí)率進行訓(xùn)練：權(quán)重層使用lr1 學(xué)習(xí)率進行訓(xùn)練、偏置層使用lr2學(xué)習(xí)率進行訓(xùn)練、BN網(wǎng)絡(luò)層和其他網(wǎng)絡(luò)層使用lr0 學(xué)習(xí)率進行訓(xùn)練。模型在訓(xùn)練的前1000 個迭代采用warm-up 方法對模型的學(xué)習(xí)率進行預(yù)熱，當訓(xùn)練時的迭代過程在warm-up 階段，使用一維線性插值的方法進行學(xué)習(xí)率的更新。在warm-up 階段后，使用余弦退火算法對學(xué)習(xí)率進行更新，其計算公式見式（7）。

式中，lr_new是新的學(xué)習(xí)率，t是當前的epoch，T是總的epoch，mi是最小學(xué)習(xí)率，mx是最大學(xué)習(xí)率，lr是最初學(xué)習(xí)率。

3.3 實驗和結(jié)果

iYOLOv3 算法訓(xùn)練過程中測試集中的準確率（P）、召回率（R）和AP@50∶5∶95（為通過計算具有10個不同IoU閾值（0.5，0.55，...，0.95）的AP的平均值）在不同epoch 的變化如圖5 所示。1 個epoch表示完成1次全部訓(xùn)練集數(shù)據(jù)的訓(xùn)練。

圖5 iYOLOv3算法訓(xùn)練過程中P、R、AP@50∶5∶95變化圖Fig.5 Variation of P,R,and AP@50∶5∶95 in the training process of iYOLOv3 algorithm

實驗采用P、R、AP@50∶5∶95 和F1 作為評價iYOLOv3算法的性能指標，相對P、R、F1，AP@50∶5∶95 對于檢測算法的測評更加全面，因為其同時評估了不同閾值時模型的分類和回歸的能力。F1-置信度曲線可以很好地反映檢測算法在不同置信度和F1的變化關(guān)系。將iYOLOv3 算法在測試集上進行測試，測試結(jié)果的F1-置信度曲線圖如圖6所示。

從圖6 可以看出，在置信度較大時，Class1～Class5的F1值仍能夠保持較高的水平。不同置信度對應(yīng)的P和R均能較好地反映檢測算法的性能［24］。為了更好地評價iYOLOv3 算法的性能，繪制了P-R曲線（見圖7）。圖7中，iYOLOv3算法的P在R較大時仍能保持較高水平，說明iYOLOv3算法具有很好的查準率和查全率。

圖6 iYOLOv3算法的F1-置信度曲線圖Fig.6 F1-confidence curve of iYOLOv3 algorithm

圖7 iYOLOv3算法的P-R曲線圖Fig.7 P-R curve of iYOLOv3 algorithm

利用訓(xùn)練至收斂后的iYOLOv3算法對卷紙包裝缺陷Class1～Class5進行檢測，結(jié)果如圖8所示。

為了比較不同激活函數(shù)對iYOLOv3 算法的影響，將iYOLOv3 模型中的激活函數(shù)替換成其他激活函數(shù)，對修改后的模型進行訓(xùn)練，同時分別進行了測試，結(jié)果如表2所示。其中，P、R、AP@50∶5∶95和F1均是 Class1～Class5 的平均結(jié)果，P、R和F1 的 IoU 閾值為0.85，P、R和F1的計算公式分別見式（8）～式（10），F(xiàn)PS是算法檢測速度，即每秒處理的圖像數(shù)量（幀/s）。

表2 不同激活函數(shù)的性能測試結(jié)果Table 2 Performance test results of different activation functions

式中，TP（True Positives）是邊界框被正確檢測的個數(shù)，F(xiàn)P（False Positives）是不需要檢測的目標被識別為檢測目標的個數(shù)，F(xiàn)N（False Negatives）是沒有被檢測到的邊界框的個數(shù)。

從表2可以看出，SiLU、ReLU、SoftPlus、Leaky?ReLU 激活函數(shù)對iYOLOv3 算法FPS的影響不大，但ReLU和SoftPlus激活函數(shù)對應(yīng)測試結(jié)果的P比SiLU激活函數(shù)分別高0.2 個百分點和0.3 個百分點；而SiLU激活函數(shù)在R、AP@50∶5∶95 和F1 評價指標上表現(xiàn)出更好的效果。

為了比較不同算法的性能，將iYOLOv3 和YO?LOv3 （輸入圖片分辨率為 608×608）、Faster RCNN［25］和SSD300［26］進行了比較，結(jié)果如表 3 所示。其中，F(xiàn)aster R-CNN的骨架網(wǎng)絡(luò)采用ResNet50［27］，輸入圖片分辨率為600×600。

由表3 可知，相較于YOLOv3、Faster R-CNN 和SSD300，iYOLOv3 算 法在P、R、 AP@50∶5∶95、F1、FPS評價指標上都取得了更好的效果，尤其是FPS，相較于YOLOv3提高了2倍多。

表3 不同檢測算法的性能測試結(jié)果Table 3 Performance test results of different detection algorithms

4 結(jié) 論

針對卷紙包裝圖像信息具有很強的局部相關(guān)性和全局相關(guān)性，提出了一種改進的YOLOv3卷紙包裝缺陷檢測算法（iYOLOv3 算法）。iYOLOv3 算法在特征提取時將卷積神經(jīng)網(wǎng)絡(luò)與多頭注意力機制結(jié)合，更加有利于提取卷紙包裝圖像數(shù)據(jù)的局部特征和全局特征；在進行多尺度特征融合時，將特征金字塔網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)進行結(jié)合，更有效地提取卷紙包裝數(shù)據(jù)的特征。此外，本研究采用了簡單有效的SiLU 激活函數(shù)，改進了YOLOv3 算法預(yù)測框的公式和損失函數(shù)。實驗分析結(jié)果表明，相對于YOLOv3 算法，iYO?LOv3算法在準確率、召回率、AP@50∶5∶95、F1及檢測速度評價指標上都獲得了更好的效果，可為流水線上卷紙包裝的缺陷檢測提供實時準確的檢測。