朱傳軍,梁澤啟,付 強(qiáng),張超勇,劉榮光

(1.湖北工業(yè)大學(xué)機(jī)械工程學(xué)院,武漢 430068;2.華中科技大學(xué)數(shù)字制造設(shè)備與技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,武漢 430074)

0 引言

近些年來(lái),卷積神經(jīng)網(wǎng)絡(luò)的性能得以驗(yàn)證,一系列以其為基礎(chǔ)進(jìn)行識(shí)別的缺陷檢測(cè)應(yīng)用廣泛。相比傳統(tǒng)的鋼材缺陷檢測(cè)算法[1-3],卷積神經(jīng)網(wǎng)絡(luò)得益于其更深的算法網(wǎng)絡(luò)結(jié)構(gòu),其非線性能力和魯棒性強(qiáng),和端對(duì)端的檢測(cè)模式,適用于更復(fù)雜的鋼材檢測(cè)場(chǎng)所。

而隨著神經(jīng)網(wǎng)絡(luò)的不斷更新迭代,為完成更復(fù)雜的目標(biāo)檢測(cè)任務(wù),網(wǎng)絡(luò)變得越來(lái)越深,計(jì)算量越來(lái)越大,盡管此類大型算法在精度上保持著完美的表現(xiàn)[4-5],但在實(shí)際生產(chǎn)環(huán)境下,像鋼板、電池片、電路板等大批量生產(chǎn)且需要即時(shí)檢測(cè),這對(duì)實(shí)時(shí)、高效及準(zhǔn)確檢測(cè)的算法模型提出了很高的要求,以低內(nèi)存成本和快速掃描檢測(cè)并保持一定精度是亟待解決的問(wèn)題。YOLO(you only look once)[6],通過(guò)將輸入圖像劃分為網(wǎng)格,每個(gè)網(wǎng)格對(duì)落在其中的目標(biāo)負(fù)責(zé)端對(duì)端檢測(cè),回歸出目標(biāo)的在網(wǎng)格中的坐標(biāo)以及邊界框大小和類別概率,重新定義目標(biāo)檢測(cè)問(wèn)題為簡(jiǎn)單的回歸任務(wù)。與其他目標(biāo)檢測(cè)網(wǎng)絡(luò)[7-9]相比,相同尺寸下速度更快,被廣泛應(yīng)用于實(shí)時(shí)檢測(cè)任務(wù)中。如李維鋼等[10]針對(duì)帶鋼表面缺陷檢測(cè)提出了改進(jìn)YOLOv3模型,通過(guò)淺層特征和深層特征多尺度融合檢測(cè),加快模型收斂,在公開(kāi)鋼材表面缺陷數(shù)據(jù)集NEU-DET上保持50 frame/s的檢測(cè)速度下取得80%的平均精度,但是該模型參數(shù)量過(guò)大,不易部署。ZHANG等[11]提出一種融合注意力機(jī)制改進(jìn)PP-YOLOE-m模型,檢測(cè)速度達(dá)到95 frame/s,但是其檢測(cè)精度較低。上述研究均表明YOLO模型在實(shí)施目標(biāo)檢測(cè)領(lǐng)域的高效性。但目前滿足能進(jìn)行實(shí)時(shí)檢測(cè)的模型,無(wú)法保持較高的檢測(cè)精度。

在資源有限和時(shí)間關(guān)鍵的工業(yè)環(huán)境中,受光線和快速滑動(dòng)生產(chǎn)的帶鋼產(chǎn)業(yè)線影響,使圖像像素點(diǎn)少和與背景對(duì)比度較低的小目標(biāo)鋼材表面缺陷特征易模糊,從而這些易漏目標(biāo)嚴(yán)重影響整體檢測(cè)精度。針對(duì)小目標(biāo)缺陷易漏檢的問(wèn)題,本文對(duì)回歸模型YOLOv5s進(jìn)行改進(jìn),通過(guò)在模型輸入端設(shè)計(jì)了多尺度動(dòng)態(tài)反饋訓(xùn)練數(shù)據(jù)增強(qiáng)方法,設(shè)計(jì)STD-CA優(yōu)化特征提取層,保證特征信息保留,引導(dǎo)對(duì)小目標(biāo)缺陷提取,提高對(duì)小目標(biāo)缺陷的定位精度。

1 鋼材表面缺陷檢測(cè)模型

1.1 回歸模型概述

卷積神經(jīng)網(wǎng)絡(luò)的反向傳播、自主學(xué)習(xí)的性能驅(qū)動(dòng),基于深度學(xué)習(xí)的檢測(cè)模型已經(jīng)成為解決鋼材表面缺陷的新方法。從僅知道“什么是缺陷”的分類網(wǎng)絡(luò)VGG16和ResNet。到在分類網(wǎng)絡(luò)的基礎(chǔ)上生成提議區(qū)域進(jìn)行分類的二階段模型FasterR-CNN[9]。再到對(duì)輸入圖像檢測(cè)關(guān)鍵點(diǎn)來(lái)設(shè)定錨框,通過(guò)對(duì)錨框左上角的坐標(biāo)、邊長(zhǎng)的回歸和計(jì)算分類的一階段模型YOLO系列網(wǎng)絡(luò)。雖二階段網(wǎng)絡(luò)相對(duì)一階段網(wǎng)絡(luò)具有較高的定位精度,特別是小目標(biāo)缺陷,但是將目標(biāo)檢測(cè)轉(zhuǎn)為回歸任務(wù)的一階段網(wǎng)絡(luò)具有絕對(duì)的速度優(yōu)勢(shì)。為了保證鋼材表面缺陷識(shí)別的實(shí)時(shí)效果,采用YOLO系列模型,通過(guò)優(yōu)化模型對(duì)小目標(biāo)缺陷檢測(cè)進(jìn)度,實(shí)現(xiàn)針對(duì)鋼材表面高效率的實(shí)時(shí)目標(biāo)檢測(cè)。

本文以輕量化YOLOv5s為基線模型(baseline model),改進(jìn)CSYOLO的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

模型輸入端(input)采用多尺度動(dòng)態(tài)反饋訓(xùn)練數(shù)據(jù)增強(qiáng)方法,通過(guò)對(duì)每次迭代損失比例分布判斷是否將鋼材表面圖片采用裁剪拼接的方式融合為一張圖片,降低尺度變化帶來(lái)的影響,提高小目標(biāo)鋼材表面缺陷的訓(xùn)練精度。骨干網(wǎng)絡(luò)(Backbone)通過(guò)卷積操作獲取不同層次的特征信息,借鑒GhostNet[12]網(wǎng)絡(luò)的思想,使用CSP結(jié)構(gòu),以及針對(duì)小目標(biāo)缺陷設(shè)計(jì)的STD-CA模塊。在1.3節(jié)詳細(xì)介紹,將特征圖大小由640逐次下降到20,通過(guò)跨層次連接將鋼材表面缺陷特征分解和融合,減少參數(shù)糅雜,提高模型泛化能力。特征融合網(wǎng)絡(luò)(Neck)部分采用FPN[13]特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)和PAN[14]路徑聚合結(jié)構(gòu)構(gòu)成。不僅通過(guò)FPN自上而下增強(qiáng)鋼材表面瑕疵的語(yǔ)義特征,使高層信息層層遞進(jìn),提高模型表征能力,還通過(guò)PAN結(jié)構(gòu)自底而上增強(qiáng)學(xué)習(xí)定位特征,以保證特征圖寬度。預(yù)測(cè)層(Prediction)部分分成3個(gè)檢測(cè)分支,對(duì)不同尺寸目標(biāo)進(jìn)行檢測(cè),從而提高了檢測(cè)的魯棒性。

1.2 多尺度動(dòng)態(tài)反饋訓(xùn)練

鋼材表面缺陷難以保證不同尺度目標(biāo)均衡分布,而尺度變化會(huì)降低少數(shù)尺寸的能力,影響模型整體性能。動(dòng)態(tài)多尺度訓(xùn)練可以通過(guò)優(yōu)化訓(xùn)練過(guò)程的尺度信息動(dòng)態(tài),引導(dǎo)數(shù)據(jù)準(zhǔn)備,減輕訓(xùn)練任務(wù)中尺度變換的問(wèn)題。

原模型輸入端雖引入Mosaic數(shù)據(jù)增強(qiáng),對(duì)訓(xùn)練圖像進(jìn)行拼接操作,但靜態(tài)的數(shù)據(jù)處理會(huì)無(wú)視對(duì)動(dòng)態(tài)優(yōu)化需求和大目標(biāo)缺陷過(guò)擬合,導(dǎo)致限制了模型處理不同尺度變化的能力。為此本文提出動(dòng)態(tài)尺度訓(xùn)練范式來(lái)應(yīng)對(duì)該問(wèn)題,如圖2所示。

在模型訓(xùn)練過(guò)程中,在每次迭代的前向傳播后計(jì)算,通過(guò)獲取鋼材表面缺陷的損失比例設(shè)計(jì)一個(gè)反饋驅(qū)動(dòng),判定當(dāng)次迭代是否低于決策閾值,從而決定是否進(jìn)行補(bǔ)償,來(lái)優(yōu)化尺度不平衡問(wèn)題。假設(shè)在第t個(gè)迭代中的損失比例低于決策閾值τ,則采用縮放、翻轉(zhuǎn)和隨機(jī)裁剪的方式將4張鋼材表面缺陷圖像,隨機(jī)裁剪拼接為一張圖片作為輸入圖像。相反,如果判定當(dāng)前損失比例超過(guò)決策閾值τ,則采用常規(guī)圖像作為輸入圖像,如式(1)所示。

(1)

式中,It+1代表t+1次迭代的輸入圖像數(shù)據(jù),I和Ic分別表示下次迭代輸入鋼材缺陷圖像是否為原始圖像。

圖3為原始圖像和k=4的拼接圖像。拼接圖像的缺陷框左上角0、1、2、3、4、5分別表示鋼材表面的裂紋、內(nèi)含物、點(diǎn)蝕、氧化軋皮、劃痕6種缺陷。通過(guò)圖3可以看出,多尺度動(dòng)態(tài)反饋訓(xùn)練中,重點(diǎn)將較小目標(biāo)缺陷按比例進(jìn)行拼接處理,較大缺陷按原始圖像顯示,并且拼接圖像大小保持不變,較好地通過(guò)輸入端數(shù)據(jù)處理,優(yōu)化尺度變換帶來(lái)的訓(xùn)練精度損失。同時(shí)拼接后圖像,尺寸的一致性也避免了模型生成多余的計(jì)算量。

圖3 原始圖像與拼接圖象對(duì)比

1.3 SPD-CA模塊

卷積神經(jīng)網(wǎng)絡(luò)在提取特征過(guò)程中使用了跨步卷積層(strided convolution)或者池化層,這種設(shè)計(jì)雖增大了感受野,但是降低了分辨率。針對(duì)在鋼材表面缺陷實(shí)際尺寸較小時(shí),其像素點(diǎn)突出較少,因缺陷圖像分辨率的降低,導(dǎo)致小目標(biāo)缺陷特征的丟失,使模型的檢測(cè)性能會(huì)迅速地下降。其次,常規(guī)卷積操作僅將通道和空間的局部信息簡(jiǎn)單融合,未引導(dǎo)定位顯著特征,減少了對(duì)小目標(biāo)缺陷的注意,導(dǎo)致小目標(biāo)缺陷漏檢。

為解決該問(wèn)題,PENG等[15]通過(guò)在預(yù)測(cè)目標(biāo)之前添加超分辨率模塊進(jìn)行端對(duì)端識(shí)別。SAJJADI等[16]提出將高分辨率訓(xùn)練圖像中獲得的像素細(xì)粒度知識(shí)遷移到低分辨率測(cè)試圖像中,但這些方法需要大量相對(duì)應(yīng)的高分辨率缺陷樣本訓(xùn)練,在實(shí)際鋼材產(chǎn)業(yè)生產(chǎn)線上,這類方法具有一定限制。

本文針對(duì)小目標(biāo)缺陷因池化和跨步卷積操作導(dǎo)致的低分辨率問(wèn)題設(shè)計(jì)輕量化STD-CA模塊,代替部分池化和跨步卷積,減少分辨率降低而導(dǎo)致圖片精細(xì)特征信息丟失帶來(lái)的性能影響,引導(dǎo)對(duì)小目標(biāo)鋼材表面缺陷的獲取,減少無(wú)關(guān)背景特征權(quán)重。STD-CA模塊由空對(duì)深STD模塊和CA(coordinate attention)注意力模塊兩部分組成,如圖4所示。

圖4 STD-CA流程圖

SPD模塊借鑒圖像轉(zhuǎn)換技術(shù)(image transformation technique)[17]對(duì)整個(gè)模塊的內(nèi)部特征圖進(jìn)行臨近下采樣操作,對(duì)任何輸入特征圖X,子圖可按比例s對(duì)輸入特征圖X進(jìn)行s倍下采樣得到2s個(gè)相同形狀的子圖,如圖5所示,s=2為例,切片為f0.0,f0.1,f1.0,f1.1均具有形狀(S/2,S/2,C1)的子圖,最后將4個(gè)特征圖沿通道方向進(jìn)行拼接成一個(gè)新特征圖X′(S/2,S/2,22×C1)。該操作將新特征圖在通道維度增加一個(gè)比例因子s,在對(duì)空間維度減少了一個(gè)比例因子s,使其面對(duì)小目標(biāo)缺陷,在保證特征下采樣的同時(shí)產(chǎn)生良好的效果,保留小目標(biāo)缺陷語(yǔ)義信息,大幅度優(yōu)化了小目標(biāo)缺陷特征提取的過(guò)程中分辨率降低導(dǎo)致的性能下降問(wèn)題。

圖5 內(nèi)部特征對(duì)比圖

如圖5所示,對(duì)比主干特征提取部分的內(nèi)部特征圖可發(fā)現(xiàn),在下采樣過(guò)程中,添加SPD模塊的特征圖5下面4張圖更大程度地保留了特征圖的語(yǔ)義特征,避免在低分辨率情況下,小目標(biāo)缺陷的缺失導(dǎo)致漏檢的問(wèn)題,從而更好提高整個(gè)模型的檢測(cè)性能。

CA模塊HOU等[18]提出了一種為輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)的通道注意力機(jī)制,由于位置信息被嵌入到通道中,通過(guò)全局平均池化分析通道信息之間的關(guān)系,自動(dòng)學(xué)習(xí)和分配各個(gè)特征的關(guān)注程度,從而可以準(zhǔn)確地定位和識(shí)別目標(biāo)區(qū)域,引導(dǎo)定位顯著特征,減少對(duì)小目標(biāo)缺陷的忽視。CA注意力機(jī)制的流程結(jié)構(gòu)如圖6所示。

圖6 CA流程圖

如圖7所示,為引入注意力機(jī)制后的可視化熱力圖,紅色區(qū)域?yàn)橹鲗?dǎo)識(shí)別區(qū)域,提升對(duì)特征內(nèi)容和特征位置雙重維度的敏感性,引導(dǎo)對(duì)小目標(biāo)鋼材表面缺陷的獲取,減少無(wú)關(guān)背景特征權(quán)重。通過(guò)熱力圖可發(fā)現(xiàn),模型主導(dǎo)局域集中為缺陷核心部分,對(duì)無(wú)關(guān)背景關(guān)注度降低,進(jìn)而提高模型對(duì)小目標(biāo)鋼材缺陷的檢測(cè)性能。

圖7 可視化熱力圖

2 實(shí)驗(yàn)分析與討論

2.1 數(shù)據(jù)集構(gòu)建

本試驗(yàn)所用數(shù)據(jù)采用由東北大學(xué)制作的鋼材表面缺陷公開(kāi)數(shù)據(jù)集(NEU-DET)。該數(shù)據(jù)集包含1800張缺陷圖像(含裂紋(crazing)、內(nèi)含物(inclusion)、斑塊(patches)、點(diǎn)蝕面(pitted surface)、氧化軋皮(rolled-in scale)、劃痕(scratches))。訓(xùn)練集、驗(yàn)證集與測(cè)試集以8:1:1的比例隨機(jī)劃分?jǐn)?shù)據(jù)集部分圖片如圖8所示。

圖8 部分缺陷展示圖

2.2 評(píng)價(jià)指標(biāo)

文中使用準(zhǔn)確率P、召回率R、平均精度AP、模型參數(shù)數(shù)量Para、平均推理時(shí)間t,mAP@0.5(當(dāng)檢測(cè)框和真實(shí)框的交并比IoU值大于0.5時(shí)各個(gè)類別的平均AP值)等多個(gè)維度評(píng)估模型。

當(dāng)IoU值大于0.5時(shí),將該樣本記為正樣本TP;反之記為負(fù)樣本FP。精度用來(lái)評(píng)估模型尋找正樣本能力。平均精度反應(yīng)模型的整體目標(biāo)檢測(cè)和分類能力。召回率表示在正樣本的基礎(chǔ)上,最終被正確預(yù)測(cè)的概率。模型參數(shù)數(shù)量和平均推理時(shí)間衡量模型的復(fù)雜度和推理速度。綜上所述,準(zhǔn)確率P、召回率R、平均精度AP,mAP@0.5越高,模型參數(shù)數(shù)量Para和平均推理時(shí)間t越低,模型性能越好。其表達(dá)式如式(2)～式(8)所示。

(2)

(3)

(4)

Para=H×W×Cin/g×Cout

(5)

(6)

FLOPs=(2×KH×KW×Cin/g-1)×Cout×Hout×Wout

(7)

(8)

2.3 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)使用Linux操作系統(tǒng),基于Pytorch學(xué)習(xí)框架,使用GPU加速,具體軟硬件參數(shù)如表1所示。

表1 實(shí)驗(yàn)平臺(tái)參數(shù)

為了驗(yàn)證單個(gè)結(jié)構(gòu)模型和整體模型對(duì)比其他模型的性能。本部分進(jìn)行消融實(shí)驗(yàn)對(duì)比,對(duì)Case1(使用多尺度動(dòng)態(tài)反饋訓(xùn)練)、Case2(使用STD-CA模塊)、CSYOLO,YOLOv5s進(jìn)行訓(xùn)練與測(cè)試,試驗(yàn)統(tǒng)一使用隨機(jī)梯度下降法SGD優(yōu)化器對(duì)模型進(jìn)行優(yōu)化,初始學(xué)習(xí)率為0.01,權(quán)值衰減參數(shù)為5×10-4,batch-size設(shè)為16,訓(xùn)練周期為300 epoch。對(duì)得到的5種模型的參數(shù)數(shù)量和性能進(jìn)行對(duì)比,結(jié)果如表2所示。

表2 模型多尺度對(duì)比

分析表2實(shí)驗(yàn)結(jié)果可知,CSYOLO相比于原YOLOv5s模型雖參數(shù)量增加,復(fù)雜度和推理速度減慢,但不影響實(shí)時(shí)檢測(cè)效果,且召回率、平均檢測(cè)精度均增加。Case1有效地緩解了鋼材表面缺陷多尺度變化帶來(lái)的影響,減少較大的特征不需要重復(fù)訓(xùn)練,拼接訓(xùn)練較差的小目標(biāo)缺陷,增強(qiáng)數(shù)據(jù)集,提高模型魯棒性,進(jìn)而優(yōu)化小目標(biāo)鋼材表面缺陷的訓(xùn)練精度。Case2保證下采樣過(guò)程中,小目標(biāo)鋼材表面缺陷語(yǔ)義特征的保留,對(duì)后續(xù)提升召回率和檢測(cè)精度有一定提升,并引導(dǎo)模型視覺(jué)集中在缺陷核心區(qū)域,降低對(duì)無(wú)關(guān)背景權(quán)重的關(guān)注度,可以清晰地辨別出小目標(biāo)缺陷的具體位置。

如圖9所示,PR曲線圖中橫軸表示召回率,縱軸表示精度。曲線越接近右上角,檢測(cè)結(jié)果就越好。各類型精度對(duì)比可得,內(nèi)含物、點(diǎn)蝕面、氧化軋皮,劃痕四種易分散,小目標(biāo)居多的缺陷檢測(cè)精度大幅度提升。由于本文針對(duì)小目標(biāo)缺陷做改進(jìn),偏大目標(biāo)缺陷裂紋和斑塊缺陷提升不明顯,但混合注意力機(jī)制主導(dǎo)注意特征信息,也有所小幅度提升,所以使最后改進(jìn)算法的缺陷檢測(cè)的平均精度遠(yuǎn)高于原算法。

圖9 PR曲線對(duì)比圖

如圖10所示,為改進(jìn)模型與原模型6種缺陷檢測(cè)結(jié)果對(duì)比,CSYOLO模型對(duì)小目標(biāo)缺陷更好的框選和正確分類針對(duì)鋼材表面易裂紋導(dǎo)致的小目標(biāo)缺陷缺檢漏檢問(wèn)題,本文方法具有很大改善。

圖10 檢測(cè)對(duì)比圖

2.4 不同算法對(duì)比

為進(jìn)一步評(píng)估本文提出的CSYOLO模型性能優(yōu)越性,選取YOLOv5s-GSD算法模型、PP-YOLOE-m模型、改進(jìn)YOLOv3模型和幾種主流目標(biāo)檢測(cè)算法做比較,其平均精度mAP、參數(shù)量,檢測(cè)速度FPS,如表3所示。

表3 模型性能對(duì)比

根據(jù)實(shí)驗(yàn)結(jié)果對(duì)比可得:CSYOLO模型有明顯提升,在保證實(shí)時(shí)檢測(cè)的效果下,檢測(cè)精度均明顯優(yōu)于其他模型,表明了本文改進(jìn)模型的優(yōu)越性。

3 結(jié)論

本文在YOLOv5s基礎(chǔ)上構(gòu)建了兼顧輕量化和精度要求的鋼材表面缺陷檢測(cè)模型CSYOLO。針對(duì)在保證鋼材表面缺陷實(shí)時(shí)檢測(cè)下,解決因小目標(biāo)缺陷易漏檢而導(dǎo)致模型檢測(cè)精度降低的問(wèn)題,實(shí)驗(yàn)結(jié)果可得,與原模型相比,CSYOLO模型準(zhǔn)確率提高17.6%,召回率提高6.1%,每秒可檢測(cè)54張鋼材表面缺陷圖像。本文從模型結(jié)構(gòu)和訓(xùn)練策略,提高對(duì)小目標(biāo)缺陷的檢測(cè)能力,滿足鋼材表面缺陷實(shí)時(shí)檢測(cè)能力。對(duì)未來(lái)實(shí)現(xiàn)鋼材產(chǎn)業(yè)線上高速度與高精度缺陷檢測(cè)具有現(xiàn)實(shí)意義。