陳鈺枚 李兆飛，2，3，* 侯 勁，2 趙 俊，2

（1.四川輕化工大學(xué)自動化與信息工程學(xué)院，四川宜賓，643002；2.人工智能四川省重點(diǎn)實(shí)驗(yàn)室，四川宜賓，644002；3.企業(yè)信息化與物聯(lián)網(wǎng)測控技術(shù)四川省高校重點(diǎn)實(shí)驗(yàn)室，四川宜賓，643002）

在紙張的生產(chǎn)過程中，受生產(chǎn)工藝及現(xiàn)場環(huán)境等影響，紙張表面容易出現(xiàn)裂縫、孔洞、黑斑、線條、褶皺等缺陷或異常。本課題將超出預(yù)期模式范圍數(shù)據(jù)的紙張表面缺陷統(tǒng)稱為紙病[1]。在造紙過程中，要對紙張表面的紙病信息進(jìn)行實(shí)時(shí)檢測、處理，才能提高成紙的品質(zhì)和質(zhì)量，帶來更大的生產(chǎn)利潤。隨著現(xiàn)代高速紙機(jī)的普遍應(yīng)用，基于機(jī)器視覺的紙張表面缺陷檢測方法已逐步取代人工檢測方法[2]。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）表面缺陷檢測適用性廣，可以在兼顧質(zhì)量和效率的同時(shí)，實(shí)現(xiàn)智能化在線缺陷檢測，克服傳統(tǒng)紙病檢測算法實(shí)時(shí)性低、精度不高等問題。趙曉等人[3]利用紙病區(qū)域?yàn)楹唵芜B通圖像的特點(diǎn)，通過提取優(yōu)化的連通區(qū)域標(biāo)記和形狀特征值，提高了紙病檢測的準(zhǔn)確率及效率；雷揚(yáng)博等人[4]通過Markov 隨機(jī)場理論對紙病圖像紋理進(jìn)行分析，得到紋理特征參數(shù)，對紙病區(qū)域進(jìn)行分割，提高了分割的準(zhǔn)確度；魏曉艷[5]利用BP神經(jīng)網(wǎng)絡(luò)，建立紙病分類器，對各種紙病進(jìn)行識別；張璐[6]利用改進(jìn)后的鄰域均值濾波處理法，進(jìn)行了紙病動態(tài)識別；高樂樂等人[7]提出基于CNN 的辨識方法，并對紙張進(jìn)行紙病檢測；馮雨[8]采用MSER 分割算法對圖像進(jìn)行預(yù)處理，并利用CNN 對紙病進(jìn)行檢測，但預(yù)處理技術(shù)會增加算法的運(yùn)行成本，檢測速度較低；曲蘊(yùn)慧等人[9]結(jié)合遷移學(xué)習(xí)，改進(jìn)CNN 網(wǎng)絡(luò)，設(shè)計(jì)了一種適用于紙病圖像的小樣本深度CNN 分類器，但是對于實(shí)際紙機(jī)生產(chǎn)環(huán)境，遷移學(xué)習(xí)的適應(yīng)性不強(qiáng)；毛艷玲等人[10]提出了輕量化的Mobilenetv3-YOLOv4 紙病檢測網(wǎng)絡(luò)，但其需要對紙病進(jìn)行預(yù)處理，降低了算法速度，檢測精度也較低；張開生等人[11]采用基于YOLOv5的算法，對紙病進(jìn)行檢測，但其檢測速度不高，不適用于在線監(jiān)測。目前，紙機(jī)生產(chǎn)速度快、幅寬長，產(chǎn)生紙病數(shù)量也會大概率增加，尤其是對于寬幅紙張的小目標(biāo)紙病，常會出現(xiàn)漏檢情況，嚴(yán)重影響成紙的品質(zhì)，造成原料的浪費(fèi)和企業(yè)生產(chǎn)效率的下降。利用CNN 提取圖像特征時(shí)，隨著卷積層數(shù)的加深，特征圖分辨率逐漸減小，局部感受野能感知到原圖像的范圍不斷擴(kuò)大，越接近頂層的特征圖越傾向于關(guān)注圖像的全局信息，所以深層神經(jīng)網(wǎng)絡(luò)提取的深層特征非常不利于小目標(biāo)紙病檢測。王欣等人[12]在YOLOv3-Tiny 加入注意力模塊（Convolutional Block Attention Module，CBAM）；秦強(qiáng)強(qiáng)等人[13]將通道注意力（CA）模塊和空間注意力（SA）模塊相結(jié)合，均可以提升小目標(biāo)紙病檢測精度。

為了在保障一定速度的情況下，提高小目標(biāo)紙病檢測精確率，本課題在研究YOLO 系列[14]目標(biāo)檢測網(wǎng)絡(luò)的基礎(chǔ)上，借鑒前人的研究成果，選用精度更高、速度更快的YOLOv7 網(wǎng)絡(luò)作為紙病檢測算法，提出一種改進(jìn)YOLOv7 的紙病檢測方法。該方法的主干網(wǎng)絡(luò)用于特征提取，通過引入注意力機(jī)制模塊CBAM，提高紙病檢測的精確性和算法穩(wěn)定性；再將空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）加入主干網(wǎng)絡(luò)的空間金字塔池化（Spatial Pyramid Pooling，SPP） 中，在SSP 中加入ASPP 空洞卷積，可以在不丟失圖像分辨率的情況下擴(kuò)大特征圖的感受野，高分辨率可以精確定位目標(biāo)，有利于紙病缺陷目標(biāo)提取，而不同的感受野可以感受不同的尺度信息，從而實(shí)現(xiàn)不同大小紙病缺陷的目標(biāo)檢測及分類目的。

1 YOLOv7網(wǎng)絡(luò)模型

在COCO 公開數(shù)據(jù)集上5～160 幀/s的FPS范圍內(nèi)，YOLOv7 深度學(xué)習(xí)目標(biāo)檢測算法的檢測精度和檢測速度均超過了目前所有的目標(biāo)檢測算法[15]。所以本課題選用YOLOv7作為檢測模型。

YOLO 系列網(wǎng)絡(luò)均基本由3 個(gè)部分組成[16]，YOLOv7 包括Backbone、FPN 以及YOLO Head 3 個(gè)部分，其網(wǎng)絡(luò)模型如圖1 所示。Backbone 是YOLOv7 的主干特征提取網(wǎng)絡(luò)，輸入的圖片首先會在主干網(wǎng)絡(luò)獲得3 個(gè)有效特征層進(jìn)行特征提取。FPN 是YOLOv7 的加強(qiáng)特征提取網(wǎng)絡(luò)，3 個(gè)有效特征層會在這一部分進(jìn)行特征融合，目的是結(jié)合不同尺度的特征信息，提高檢測精度。YOLO Head 是YOLOv7 的分類器與回歸器，其輸入是3 個(gè)加強(qiáng)過的有效特征層，每1 個(gè)特征層都有寬度、高度和通道數(shù)，每個(gè)特征點(diǎn)上有3 個(gè)先驗(yàn)框，每1個(gè)先驗(yàn)框都有通道數(shù)個(gè)特征，以判斷是否有物體與其對應(yīng)。YOLOv7 所用解耦頭可使分類和回歸在一個(gè)1×1卷積里實(shí)現(xiàn)。

圖1 YOLOv7模型結(jié)構(gòu)圖Fig.1 Structure of YOLOv7 model

2 改進(jìn)YOLOv7算法

正常的卷積對圖片中的物體提取特征時(shí)，并不特別關(guān)注部分重要的信息，而是把所有的信息當(dāng)成相同權(quán)重進(jìn)行處理，導(dǎo)致許多重要信息的損失。為了提升YOLOv7 對于小目標(biāo)紙病的檢測能力，在YOLOv7 的主干網(wǎng)絡(luò)特征提取部分，將注意力機(jī)制模塊CBAM 加入其中，再將ASPP空洞卷積加入主干網(wǎng)絡(luò)的SPP中，能在不丟失圖像分辨率的情況下擴(kuò)大特征圖的感受野，提高分辨率，進(jìn)而精確定位紙病目標(biāo)，有利于紙病缺陷目標(biāo)的提取，而不同的感受野可以感受不同的尺度信息，實(shí)現(xiàn)不同大小紙病缺陷目標(biāo)檢測及識別。

2.1 引入CBAM

加入注意力機(jī)制能夠抑制無關(guān)信息的干擾，保留待檢測目標(biāo)的更多關(guān)鍵特征，使網(wǎng)絡(luò)關(guān)注到更多小目標(biāo)紙病，提高檢測精度。利用空間注意力機(jī)制有助于明確小目標(biāo)位置，利用通道注意力機(jī)制可建模特征通道的重要程度，CBAM 同時(shí)關(guān)注了空間和通道維度特征，對于小目標(biāo)紙病缺陷檢測效果更佳[17]。

給定一個(gè)中間特征圖后，CBAM 模塊會沿著2 個(gè)獨(dú)立的維度（通道和空間）依次推斷注意力圖，然后將注意力圖乘以輸入特征圖以進(jìn)行自適應(yīng)特征修飾。通道上，將輸入的特征圖F（H×W×C）分別經(jīng)過基于寬度、高度的全局最大池化和全局平均池化，得到2 個(gè)1×1×C的特征圖；再將其分別送入1 個(gè)2 層的神經(jīng)網(wǎng)絡(luò)（MLP），第1 層神經(jīng)元個(gè)數(shù)為C/r（r為減少率），激活函數(shù)為ReLu，第2層神經(jīng)元個(gè)數(shù)為C，這個(gè)2 層的神經(jīng)網(wǎng)絡(luò)是共享的；而后，將MLP 輸出的特征進(jìn)行加和操作，再經(jīng)過激活函數(shù)，生成最終的通道特征，即Mc；最后，將輸出Mc的和輸入特征圖F相乘，生成空間特征模塊需要的輸入特征?？臻g上，將通道特征模塊輸出的特征圖F作為本模塊的輸入特征圖。首先設(shè)置1個(gè)基于通道的全局最大池化和全局平均池化，得到2 個(gè)H×W×1 的特征圖，將這2 個(gè)特征圖基于通道做通道拼接；然后經(jīng)過一個(gè)7×7 卷積，降維為1 個(gè)通道，即H×W×1；再經(jīng)過激活函數(shù)生成空間特征，即Ms；最后將該特征和該模塊的輸入特征做乘法，得到最終生成的特征。通道上模塊具體計(jì)算如式(1)～式(4)所示，CBAM 具體計(jì)算如圖2所示。

圖2 CBAM結(jié)構(gòu)圖Fig.2 Structure of CBAM

式 中，σ為 激 活 函 數(shù)Sigmoid；W0∈RC/r·C，W1∈RC·C/r；f7×7為7×7的卷積。

2.2 引入ASPP

利用CNN 提取圖像特征時(shí)，隨著卷積層數(shù)的加深，特征圖分辨率逐漸減小，局部感受野能感知到原圖像的范圍不斷擴(kuò)大，且越接近頂層的特征圖越傾向于關(guān)注圖像的全局信息，所以深層神經(jīng)網(wǎng)絡(luò)提取的深層特征非常不利于小目標(biāo)檢測。引入ASPP 可以進(jìn)一步擴(kuò)大感受野[18]，使較小目標(biāo)紙病的特征信息在網(wǎng)絡(luò)傳遞時(shí)得到保留，有利于小目標(biāo)紙病的提取，進(jìn)而提高網(wǎng)絡(luò)性能。ASPP由2部分并聯(lián)組成：第1部分包含1 個(gè)1×1 卷積層和3 個(gè)3×3 的采樣率為Rate={6,12,18}的空洞卷積層，卷積核數(shù)量為256，包含批標(biāo)準(zhǔn)化層；第2部分是圖像級特征表示，具體操作是應(yīng)用全局平均池化之后接著1 個(gè)卷積核為256 的1×1 的卷積層，最后再進(jìn)行雙線性上采樣操作，得到所需的空間維度。ASPP 結(jié)構(gòu)里存在4 種不同采樣率的空洞卷積并行采樣，空洞卷積能在不丟失圖像分辨率的情況下，擴(kuò)大特征圖的感受野，分辨率高，可以精確定位紙病目標(biāo)，而不同的感受野可以感受不同的尺度信息，通過并行組合不同采樣率，可以獲得多個(gè)不同尺寸的感受野，實(shí)現(xiàn)對任意大小紙病目標(biāo)的分類目的。ASPP結(jié)構(gòu)如圖3所示。

圖3 ASPP結(jié)構(gòu)圖Fig.3 Structure of ASPP

2.3 改進(jìn)后的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的YOLOv7 主干網(wǎng)路部分，在第1、2、3個(gè)Conv2D+BN+SiLU 模塊和第1 個(gè)Multi_Concat_Block模塊后面分別添加1 個(gè)CBAM 模塊。前2 個(gè)CBAM 是在淺層網(wǎng)絡(luò)加入，可以提升網(wǎng)絡(luò)對于小目標(biāo)紙病缺陷特征提取能力。第3 個(gè)CBAM 模塊作用是在進(jìn)行下一次特征融合之前，先對特征圖進(jìn)行特征加強(qiáng)操作。通過該改進(jìn)，能使網(wǎng)絡(luò)忽略無關(guān)紙病信息的干擾，著重關(guān)注關(guān)鍵紙病特征，并將相對重要的特征加以融合，使融合后的特征圖包含更多有效紙病信息，提高小目標(biāo)紙病定位精度。特征提取部分CBAM 從空間和通道2 方面加強(qiáng)了關(guān)鍵紙病信息的檢測，保障算法穩(wěn)定性。

在主干網(wǎng)路里面加入ASPP 可以進(jìn)一步擴(kuò)大感受野，使較小目標(biāo)紙病的特征信息在網(wǎng)絡(luò)傳遞時(shí)得到保留，進(jìn)而提高網(wǎng)絡(luò)性能。有利于小目標(biāo)紙病的識別。改進(jìn)后YOLOv7 網(wǎng)絡(luò)如圖4 所示，紅色橢圓形為新加入的模塊。

圖4 改進(jìn)YOLOv7算法結(jié)構(gòu)Fig.4 Improved YOLOv7 algorithm structure

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與評價(jià)標(biāo)準(zhǔn)

本課題所有模型實(shí)驗(yàn)環(huán)境為Linux 系統(tǒng)，ubuntu118.04，anconda4.12.0 & python3.8，CUDA11.6；軟件采用Pycharm2022.1.1；框架pytorch1.12。GPU 為24 GB顯存的NVIDIA GeForce RTX 3090，CPU為Gold 5218R。

2017年3月31日，財(cái)政部修訂發(fā)布了《企業(yè)會計(jì)準(zhǔn)則第22號——金融工具確認(rèn)和計(jì)量》、《企業(yè)會計(jì)準(zhǔn)則第23號——金融資產(chǎn)轉(zhuǎn)移》和《企業(yè)會計(jì)準(zhǔn)則第24號——套期會計(jì)》等三項(xiàng)金融工具會計(jì)準(zhǔn)則。此次更新即是趨同國際會計(jì)準(zhǔn)則，結(jié)合我國實(shí)際情況和需要進(jìn)行的修訂。本次修訂也是金融工具相關(guān)準(zhǔn)則自2006年發(fā)布后的首次修訂。

精確率（P）、召回率（R）、平均精確率（AP）及平均精確率均值（mAP）作為網(wǎng)絡(luò)的性能評判指標(biāo)。在工廠檢測紙張表面缺陷需要滿足實(shí)時(shí)性，使用單張圖片平均推斷時(shí)間作為評價(jià)指標(biāo)。在檢測準(zhǔn)確性評價(jià)指標(biāo)方面，本課題選擇在目標(biāo)檢測領(lǐng)域中常用mAP 0.5 和mAP 0.5：0.95 指 標(biāo)，mAP 計(jì) 算 如 式(5)所示。

其中，AP 為精確率-召回率（P-R）曲線的曲線下面積。在計(jì)算P的過程中，首先設(shè)定預(yù)測框與真實(shí)框交并比（Intersection of Union，IoU）閾值，然后繪制預(yù)測框的P-R曲線，計(jì)算AP 值。mAP 0.5 指IoU 閾值取50%時(shí)的mAP 值。此外，將閾值從50%開始，以5%為步長逐漸升高至95%，得到不同IoU 閾值下的mAP，mAP 0.5：0.95即為所有mAP的平均值。

3.2 紙病數(shù)據(jù)集構(gòu)建

3.2.1 紙病圖像采集

研究中采用2 種方式采集紙病圖像，分別從包裝紙生產(chǎn)車間生產(chǎn)線上采集實(shí)際遇到的紙病和從實(shí)驗(yàn)室中通過實(shí)驗(yàn)室設(shè)備采集的紙張紙病。包裝紙生產(chǎn)車間生產(chǎn)線上收集到的紙病圖像是紙病診斷系統(tǒng)經(jīng)過裁剪處理后的圖像，實(shí)驗(yàn)室采集到的紙病圖像是相機(jī)拍攝的原圖，這些紙病圖像大部分圖片的長度和寬度不一樣，為了統(tǒng)一圖片尺寸大小并防止圖片失真，采用背景插值法和圖像外接矩形區(qū)域法對圖片進(jìn)行縮放。本課題紙病數(shù)據(jù)集一共有3500 張圖片，包含了黑斑、亮斑、孔洞、折皺、裂縫5類紙病，部分原始紙病圖像數(shù)據(jù)如圖5所示。

圖5 原始紙病圖像數(shù)據(jù)Fig.5 Paper disease image data

3.2.2 紙病圖像標(biāo)注

所有采集的圖像首先進(jìn)行了圖像縮放、翻轉(zhuǎn)、長寬扭曲等數(shù)據(jù)處理，以增加訓(xùn)練樣本的多樣性、擴(kuò)大紙病數(shù)據(jù)集規(guī)模；然后用labelimg 軟件標(biāo)注出目標(biāo)區(qū)域及類別，紙病類別一共有5 類，分別為黑斑、白斑、孔洞、裂口、褶子。通過執(zhí)行Python 腳本課題件把數(shù)據(jù)集按數(shù)量比8∶2 劃分生成訓(xùn)練集和驗(yàn)證集。執(zhí)行完結(jié)果在VOCdevkit/VOC2007 目錄下生成文件夾YOLOLabels，存放的文件是圖像的YOLO 格式的標(biāo)注文件，在VOCdevkit 目錄下生成images 和labels 文件夾，images 文件夾里有train 和val 文件夾，分別放置訓(xùn)練集和測試集圖片；labels 文件夾有train 和val 文件夾，分別放置訓(xùn)練集和測試集標(biāo)簽（YOLO 格式），在YOLOvX 下生成了2 個(gè)文件YOLOvX_train.txt 和YOLOvX_val.txt。YOLOvX_train.txt 和YOLOvX_val.txt 是分別存放的訓(xùn)練圖片文件和測試圖片文件的列表，含有每個(gè)圖片的路徑和文件名。

3.3 對比實(shí)驗(yàn)

為方便比較，設(shè)計(jì)了消融實(shí)驗(yàn)來驗(yàn)證改進(jìn)效果，改進(jìn)后的YOLOv7 消融實(shí)驗(yàn)結(jié)果如表1 所示。由表1可知，引入CBAM 和ASPP 均不同程度地提升了網(wǎng)絡(luò)性能；添加CBAM 模塊可以加強(qiáng)小目標(biāo)的特征信息提取，使模型的mAP 提升了1.4 個(gè)百分點(diǎn)；通過加入ASPP 模塊，擴(kuò)大感受野，模型的mAP 0.5 提升了0.9 個(gè)百分點(diǎn)。雖然加入的模塊會降低網(wǎng)絡(luò)的檢測速度，但由表1可知，其對于速度影響較小，改進(jìn)后的YOLOv7網(wǎng)絡(luò)仍能保證紙病缺陷的實(shí)時(shí)檢測。

表1 消融實(shí)驗(yàn)結(jié)果Table 1 Ablation experiment results

為了證明改進(jìn)后的算法性能，表2 顯示了改進(jìn)后的YOLOv7 算法模型在本課題紙病數(shù)據(jù)集里面的性能指標(biāo)對比。由表2 可知，改進(jìn)后的YOLOv7 算法P比YOLOv7提高了1.5個(gè)百分點(diǎn)，R比YOLOv7提高了2.3 個(gè)百分點(diǎn)，mAP 0.5 比YOLOv7 提升了2.1 個(gè)百分點(diǎn)，mAP 0.5:0.95 提升了3.2%。對于本課題的紙病數(shù)據(jù)集來說，改進(jìn)后的算法在保障了一定速度的情況下提升了P和R等指標(biāo)精度。

表2 對比實(shí)驗(yàn)結(jié)果Table 2 Comparative experimental results

為了更好地驗(yàn)證所提出的改進(jìn)YOLOv7算法的檢測性能，采用檢測準(zhǔn)確率與檢測時(shí)間2項(xiàng)指標(biāo)，將本課題的改進(jìn)YOLO 算法同現(xiàn)有基于CNN 的紙病分類算法與其余主流目標(biāo)檢測網(wǎng)絡(luò)模型SSD、YOLOv5在自建數(shù)據(jù)集上的訓(xùn)練結(jié)果進(jìn)行評估與對比，對比實(shí)驗(yàn)的結(jié)果如表3所示。由表3可以看出，本課題所提出的改進(jìn)算法相較于基于SSD 的紙病類算法的mAP 0.5高3.5個(gè)百分點(diǎn)，速度快38.1幀/s，相較于YOLOv5提升了3.1個(gè)百分點(diǎn)，速度提升了38.2 幀/s，相較于YOLOv7，提高了2.1個(gè)百分點(diǎn)，且檢測速度差異較小。

表3 傳統(tǒng)算法對比實(shí)驗(yàn)結(jié)果Table 3 Traditional algorithm compares the experimental results

通過紙病數(shù)據(jù)集對改進(jìn)YOLOv7 模型進(jìn)行訓(xùn)練，紙病數(shù)據(jù)集訓(xùn)練結(jié)果圖如圖6 所示。圖6 中從左到右前6個(gè)是訓(xùn)練的損失函數(shù)，分別為Box框的損失函數(shù)、不含目標(biāo)類別的損失函數(shù)、類別的損失函數(shù)，后4個(gè)是指標(biāo)變化圖。由圖6 可知，改進(jìn)后的YOLOv7 算法loss 值不斷下降并且收斂，訓(xùn)練精度不斷上升，網(wǎng)絡(luò)模型具有較好的收斂能力和學(xué)習(xí)能力。

圖6 紙病數(shù)據(jù)集訓(xùn)練結(jié)果圖Fig.6 Training result graphs for paper detect dataset

改進(jìn)后的YOLOv7 算法檢測結(jié)果如圖7 所示，圖片為經(jīng)過Mosaic 增強(qiáng)拼接后的訓(xùn)練結(jié)果。其中0～4分別代表裂痕、孔洞、黑斑、亮斑、折皺5 種紙病類別。從圖7 可以看出，改進(jìn)后的YOLOv7 的速度比YOLOv5 快，精度也比YOLOv5 和YOLOv7 高，提升了紙病檢測的效率和質(zhì)量，提升了造紙機(jī)的出紙品質(zhì)和效率，是一種有效的紙機(jī)紙病在線實(shí)時(shí)檢測的有效算法。

圖7 改進(jìn)后的YOLOv7 算法檢測結(jié)果Fig.7 Detection results of the improved YOLOv7 algorithm

4 結(jié) 論

本課題通過在YOLOv7 網(wǎng)絡(luò)中加入注意力機(jī)制CA 和BAM 及空洞空間卷積池化金字塔ASPP，提升了網(wǎng)絡(luò)對紙病檢測的精度，其平均精確率均值mAP 0.5提升了2.1個(gè)百分點(diǎn)，檢測速度超過78幀/s，且模型具有較好的魯棒性，具有較高的紙病缺陷在線檢測應(yīng)用價(jià)值。研究中只檢測了常見的5類紙病，后期可增加更多紙病類型；由于沒有開源的紙病數(shù)據(jù)集，紙病數(shù)據(jù)集數(shù)量僅3500 張左右，導(dǎo)致訓(xùn)練模型的泛化性能不高，后期可采集更多的紙病圖像，豐富數(shù)據(jù)集的規(guī)模；同時(shí)，可以考慮通過遷移學(xué)習(xí)策略提高紙病特征學(xué)習(xí)及檢測效率；并對紙病進(jìn)行預(yù)處理，放大小目標(biāo)圖像，進(jìn)一步提高檢測效率。