王 飛，張素蘭

（太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024）

鑄件是根據(jù)不同鑄造方式制造出的一體成型金屬物件，其質(zhì)量的優(yōu)劣將對(duì)機(jī)器的安全運(yùn)轉(zhuǎn)產(chǎn)生直接影響[1]。有缺陷的鑄件在使用過(guò)程中會(huì)因載荷的變化短時(shí)間發(fā)生損壞的概率較高，損壞帶來(lái)的嚴(yán)重后果不可估量[2]。因此，采用有效措施實(shí)現(xiàn)鑄件缺陷檢測(cè)具有現(xiàn)實(shí)意義[3]。數(shù)字輻射成像（DR）的優(yōu)勢(shì)是成像快速、輻射量低、噪聲小，將其應(yīng)用于鑄件缺陷檢測(cè)中，不會(huì)對(duì)鑄件本身產(chǎn)生任何損壞[4-5]。因此，利用智能化技術(shù)對(duì)鑄件DR 圖像進(jìn)行識(shí)別，提高鑄件缺陷檢測(cè)精度成為當(dāng)下亟待解決的問(wèn)題[6-7]。

文獻(xiàn)[8]利用機(jī)器視覺(jué)技術(shù)獲取鋼軌表面缺陷圖像，通過(guò)基于級(jí)聯(lián)自編碼的語(yǔ)義分割模型識(shí)別其缺陷類別，但無(wú)法確定缺陷位置信息，同時(shí)，該網(wǎng)絡(luò)在微小多缺陷目標(biāo)識(shí)別方面難以取得較好的識(shí)別效果；文獻(xiàn)[9]在獲取鑄件DR 圖像后，通過(guò)引導(dǎo)濾波算法對(duì)其進(jìn)行處理，再利用YOLACT 網(wǎng)絡(luò)對(duì)標(biāo)注后的鑄件缺陷樣本進(jìn)行缺陷識(shí)別，但該算法的缺陷檢測(cè)率難以達(dá)到工業(yè)要求。深度學(xué)習(xí)算法因在目標(biāo)檢測(cè)上的良好效果，受到各行業(yè)領(lǐng)域的關(guān)注[10]。為了提高鑄件缺陷檢測(cè)效果，本文提出基于改進(jìn)深度學(xué)習(xí)算法的鑄件缺陷自動(dòng)檢測(cè)識(shí)別研究，通過(guò)對(duì)YOLOv3 網(wǎng)絡(luò)的骨架網(wǎng)絡(luò)、多尺度檢測(cè)網(wǎng)絡(luò)以及損失函數(shù)進(jìn)行改進(jìn)設(shè)計(jì)，以適應(yīng)多尺度缺陷目標(biāo)的檢測(cè)識(shí)別，將其與Faster RCNN、Cascade RCNN 網(wǎng)絡(luò)融合，達(dá)到降低鑄件缺陷漏檢率目標(biāo)，實(shí)現(xiàn)鑄件缺陷的高精度識(shí)別。

1 改進(jìn)YOLOv3 網(wǎng)絡(luò)的鑄件缺陷自動(dòng)檢測(cè)識(shí)別

1.1 鑄件DR 圖像預(yù)處理

為避免發(fā)生噪聲和圖像細(xì)節(jié)紋理一起過(guò)濾，提高鑄件缺陷檢測(cè)識(shí)別效果，本文采用引導(dǎo)濾波算法對(duì)鑄件DR 圖像進(jìn)行處理，使圖像紋理細(xì)節(jié)等獲得最大程度的保留，并且不損失鑄件DR 圖像的邊緣信息。在引導(dǎo)濾波算法中，I 定義為引導(dǎo)圖像，通過(guò)其可對(duì)原始鑄件DR 圖像z 作基于I 的加權(quán)濾波處理，獲得濾波后的鑄件DR 圖像δ。濾波器的數(shù)學(xué)表達(dá)式為

式中：Wij（I）為對(duì)I 作加權(quán)權(quán)值獲得的權(quán)值。當(dāng)原始鑄件DR 圖像z 為引導(dǎo)圖像時(shí)，此時(shí)的濾波器即為保邊濾波器。實(shí)現(xiàn)原始鑄件DR 圖像z 的平滑后，對(duì)I 與δ 作減法，即可獲得鑄件DR 圖像的細(xì)節(jié)與大體輪廓，將其與放大系數(shù)相乘，并與濾波后圖像δ 作加和后即可實(shí)現(xiàn)原始鑄件DR 圖像的增強(qiáng)，獲得處理后圖像Ie，其計(jì)算公式為

式中：α 為放大系數(shù)。

1.2 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 由YOLOv1、YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)延伸而來(lái)，它利用回歸算法能夠?qū)斎雸D像進(jìn)行分割處理，得到數(shù)量為N×N 的網(wǎng)絡(luò)，從而完成多目標(biāo)的檢測(cè)識(shí)別。

1.3 YOLOv3 網(wǎng)絡(luò)改進(jìn)

1.3.1 引入SPP 結(jié)構(gòu)

為實(shí)現(xiàn)鑄件缺陷的準(zhǔn)確識(shí)別，本文將空間金字塔池化（SPP）結(jié)構(gòu)引入到Y(jié)OLOv3 網(wǎng)絡(luò)中。SPP 結(jié)構(gòu)如圖1 所示，其內(nèi)包含3 個(gè)卷積核尺寸分別5×5、9×9、13×13 的最大池化層、1 個(gè)跳躍連接，4 個(gè)分支為并行關(guān)系。將SPP 添加到Y(jié)OLOv3 網(wǎng)絡(luò)的第五、六卷積層之間，通過(guò)SPP 可實(shí)現(xiàn)輸入鑄件圖像局部、整體特征的有效融合，獲得更全面、更完整的鑄件圖像特征描述，對(duì)鑄件缺陷誤檢率、漏檢率的減小產(chǎn)生有利影響。

圖1 SPP 基本結(jié)構(gòu)Fig.1 Basic structure of SPP

1.3.2 多尺度檢測(cè)網(wǎng)絡(luò)

多尺度檢測(cè)部分的輸出結(jié)果分別為1/32、1/16、1/8 尺寸的特征圖，分別對(duì)應(yīng)大目標(biāo)、中目標(biāo)、小目標(biāo)的檢測(cè)識(shí)別，其中大目標(biāo)識(shí)別結(jié)果需要在YOLOv3 網(wǎng)絡(luò)的79 個(gè)卷積層后通過(guò)多個(gè)卷積處理方能得到，對(duì)其進(jìn)行上采樣處理，并同61 層輸出結(jié)果進(jìn)行融合后，繼續(xù)執(zhí)行數(shù)個(gè)卷積處理過(guò)程即可獲得中目標(biāo)檢測(cè)識(shí)別結(jié)果；對(duì)第91 層的輸出作上采樣處理，再將其與第36 層輸出作為融合后，執(zhí)行若干個(gè)卷積即可得到小目標(biāo)檢測(cè)識(shí)別結(jié)果。經(jīng)過(guò)以上處理后，可獲得13×13、26×26、52×52 三種預(yù)測(cè)尺度，適應(yīng)不同尺寸目標(biāo)的檢測(cè)識(shí)別。為了準(zhǔn)確識(shí)別鑄件圖像中的更小缺陷目標(biāo)，本文在原網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，另添加了一種檢測(cè)尺度，在獲得52×52 特征圖后，對(duì)其作上采樣處理，再融合104×104 特征圖后獲得。

1.3.3 損失函數(shù)設(shè)計(jì)

鑄件圖像輸入到Y(jié)OLOv3 網(wǎng)絡(luò)后，會(huì)被切割成Sh×Sw尺寸網(wǎng)格，其中網(wǎng)格高、寬分別為Sh、Sw，用于對(duì)數(shù)量為B 的目標(biāo)框位置及其置信度分?jǐn)?shù)的預(yù)估。鑄件圖像特征圖訓(xùn)練時(shí)，預(yù)測(cè)的邊界框通過(guò)B（x，y，w，h，cs）五元組進(jìn)行描述，目標(biāo)框的中心坐標(biāo)為（x，y），其寬、高分別為w、h，其取值區(qū)間為［0，1］。對(duì)YOLOv3網(wǎng)絡(luò)作改進(jìn)處理后，目標(biāo)框的實(shí)際坐標(biāo)、寬度、高度分別通過(guò)下式獲得：

式中：cx、cy為鑄件圖像左上角處坐標(biāo)的偏移量；pw、ph為目標(biāo)框?qū)?、高的預(yù)測(cè)值；tx、ty、tw、th分別為改進(jìn)YOLOv3 網(wǎng)絡(luò)的學(xué)習(xí)對(duì)象。

如果各網(wǎng)格能夠?qū)崿F(xiàn)各目標(biāo)檢測(cè)類別的預(yù)估，則獲得的張量維度可通過(guò)Sh×Sw×B×（5+C）表示。在對(duì)鑄件缺陷類別及其位置進(jìn)行預(yù)測(cè)時(shí)，YOLOv3 網(wǎng)絡(luò)損失函數(shù)可表示為

式中：Errcoord 為鑄件缺陷坐標(biāo)預(yù)測(cè)值與實(shí)際結(jié)果間的誤差；ErrIOU 為置信度偏差；Errclass 為鑄件缺陷檢測(cè)識(shí)別偏差。鑄件缺陷位置預(yù)測(cè)誤差可表示為

式中：權(quán)重因子通過(guò)ηcoord=2-wihi求得，其值可通過(guò)目標(biāo)框的高度、寬度進(jìn)行調(diào)節(jié)，以使坐標(biāo)預(yù)測(cè)誤差Errcoord 受目標(biāo)框尺寸擾動(dòng)較小。對(duì)于第i 個(gè)網(wǎng)格，其坐標(biāo)、寬、高的預(yù)測(cè)結(jié)果分別為；其實(shí)際坐標(biāo)、寬、高分別為xi、yi、wi、hi；∈｛0，1｝，是對(duì)鑄件缺陷目標(biāo)是否位于第i 個(gè)網(wǎng)格的第j 個(gè)目標(biāo)框的描述。二元交叉熵函數(shù)通過(guò)Lcross-entropy表示，其公式為

式中：p 表示預(yù)測(cè)概率；q 表示實(shí)際概率。

置信度誤差通過(guò)下式進(jìn)行計(jì)算：

梯度會(huì)隨著目標(biāo)框尺寸偏差的增大而增大，故本文對(duì)鑄件缺陷位置預(yù)測(cè)誤差公式中的w、h 進(jìn)行改進(jìn)處理，改進(jìn)后的鑄件缺陷位置預(yù)測(cè)誤差可表示為

1.4 鑄件缺陷檢測(cè)識(shí)別融合模型構(gòu)建

為使鑄件缺陷檢測(cè)識(shí)別模型具有更好的缺陷識(shí)別效果、更高的缺陷召回率，對(duì)以上3 個(gè)網(wǎng)絡(luò)進(jìn)行融合處理，以使其能夠?qū)Ω嗳毕葸M(jìn)行識(shí)別。模型融合過(guò)程如下：

（1）將去噪后的鑄件DR 圖像訓(xùn)練樣本分別輸入到改進(jìn)后的YOLOv3 網(wǎng)絡(luò)、Faster RCNN、Cascade RCNN 網(wǎng)絡(luò)中實(shí)現(xiàn)各網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)，利用訓(xùn)練好的3 個(gè)缺陷檢測(cè)模型分別對(duì)處理后的鑄件DR 圖像測(cè)試樣本進(jìn)行缺陷識(shí)別，獲得缺陷位置、類別、置信度信息；

（2）隨機(jī)選取2 個(gè)缺陷目標(biāo)框，對(duì)其IOU 值進(jìn)行運(yùn)算，并與設(shè)定閾值進(jìn)行比較，若其值高于閾值，說(shuō)明兩目標(biāo)框中的缺陷目標(biāo)屬于同一缺陷類型，反之，表明識(shí)別的缺陷存在差異；

（3）當(dāng)識(shí)別的是相同類型鑄件缺陷時(shí)，則對(duì)置信度值進(jìn)行調(diào)整，將各缺陷檢測(cè)模型對(duì)各類鑄件缺陷的識(shí)別精度作為依據(jù)，設(shè)定各檢測(cè)模型權(quán)重，將其與該模型的缺陷檢測(cè)置信度分?jǐn)?shù)相乘，確定融合模型的置信度分?jǐn)?shù)，確定具有最大置信度分?jǐn)?shù)的缺陷目標(biāo)框，將其位置信息進(jìn)行保存，并對(duì)其置信度分?jǐn)?shù)進(jìn)行調(diào)整；

（4）當(dāng)2 個(gè)缺陷目標(biāo)框識(shí)別的鑄件缺陷類型不同時(shí)，則對(duì)其置信度分?jǐn)?shù)及其位置進(jìn)行保存。

2 性能測(cè)試與分析

以鐵道車輛上所用的搖枕鑄件為研究對(duì)象，在Pytorch 深度學(xué)習(xí)框架下進(jìn)行缺陷檢測(cè)實(shí)驗(yàn)，利用數(shù)字式輻射成像技術(shù)采集搖枕鑄件DR 圖像，圖像數(shù)量為1200 張，所有圖像均有一定缺陷，缺陷類型為氣孔、裂紋、縮松，采用本文算法對(duì)搖枕鑄件缺陷進(jìn)行檢測(cè)識(shí)別，分析本文算法的缺陷識(shí)別能力。

圖2（a）為從訓(xùn)練數(shù)據(jù)集中選取的一張搖枕DR圖像的一部分，采用本文算法對(duì)其進(jìn)行處理，通過(guò)對(duì)比處理前后搖枕DR 圖像質(zhì)量，分析本文算法的圖像處理能力，實(shí)驗(yàn)結(jié)果如圖2（b）所示。

圖2 處理前后搖枕DR 圖像質(zhì)量對(duì)比Fig.2 Comparison of bolster DR image quality before and after processing

分析圖2 可知，采用本文算法對(duì)原始搖枕DR圖像進(jìn)行處理，可有效改善原始搖枕DR 圖像質(zhì)量，原始圖像的霧化、邊緣模糊、細(xì)節(jié)信息不豐富的問(wèn)題均獲得有效解決。處理后的圖像邊緣清晰、細(xì)節(jié)信息得以完整保留。

通過(guò)對(duì)搖枕DR 圖像處理前后的灰度直方圖進(jìn)行對(duì)比，進(jìn)一步分析本文算法的圖像處理效果，實(shí)驗(yàn)結(jié)果如圖3 所示。分析圖3 可知，對(duì)搖枕DR 原始圖像進(jìn)行處理后，圖像像素灰度分布打破原有走勢(shì)規(guī)律，波動(dòng)幅度明顯減小，表現(xiàn)出均衡性分布特點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文算法可實(shí)現(xiàn)原始圖像的增強(qiáng)，圖像質(zhì)量明顯提高。

圖3 灰度直方圖對(duì)比結(jié)果分析Fig.3 Analysis of gray histogram comparison results

將訓(xùn)練樣本作為改進(jìn)后YOLOv3 網(wǎng)絡(luò)模型的輸入，完成改進(jìn)YOLOv3 網(wǎng)絡(luò)模型的訓(xùn)練，設(shè)定學(xué)習(xí)率為10-3，衰減因子為5×10-4，通過(guò)分析平均訓(xùn)練損失曲線與平均交并比曲線，驗(yàn)證改進(jìn)YOLOv3 網(wǎng)絡(luò)模型的缺陷識(shí)別性能，實(shí)驗(yàn)結(jié)果如圖4 所示。分析圖4 可知，利用訓(xùn)練樣本對(duì)改進(jìn)YOLOv3 網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練平均損失隨著訓(xùn)練次數(shù)的不斷增加呈下降趨勢(shì)變化，在前1000 次訓(xùn)練過(guò)程中，平均損失值下降幅度較大，繼續(xù)增加訓(xùn)練次數(shù)，其值變化幅度變小，當(dāng)訓(xùn)練3000 次后訓(xùn)練平均損失曲線逐漸開(kāi)始收斂，當(dāng)滿足4000 次訓(xùn)練條件后，平均損失值基本接近穩(wěn)定，其值為0.11；改進(jìn)YOLOv3 網(wǎng)絡(luò)模型在不斷訓(xùn)練過(guò)程中，平均交并比曲線呈逐漸增長(zhǎng)規(guī)律變化，訓(xùn)練次數(shù)小于3000 次前，該曲線增長(zhǎng)明顯，之后逐漸開(kāi)始收斂，當(dāng)達(dá)到4000 次訓(xùn)練后，其走勢(shì)更加平穩(wěn)。因此，改進(jìn)后YOLOv3 網(wǎng)絡(luò)模型可取得較好的訓(xùn)練效果。

圖4 改進(jìn)YOLOv3 網(wǎng)絡(luò)模型性能分析Fig.4 Performance analysis of improved YOLOv3 network model

為降低改進(jìn)YOLOv3 網(wǎng)絡(luò)模型的缺陷漏檢率，實(shí)現(xiàn)鑄件缺陷的高精度檢測(cè)識(shí)別，本文將其與Faster RCNN、Cascade RCNN 網(wǎng)絡(luò)進(jìn)行融合。以圖4 的搖枕DR 圖像為識(shí)別對(duì)象，采用融合模型對(duì)其缺陷進(jìn)行檢測(cè)識(shí)別，并將改進(jìn)YOLOv3 網(wǎng)絡(luò)模型作為對(duì)比模型，通過(guò)對(duì)兩模型的缺陷檢測(cè)結(jié)果進(jìn)行對(duì)比分析，驗(yàn)證本文方法的優(yōu)越性，實(shí)驗(yàn)結(jié)果如圖5 所示。分析圖5 可知，改進(jìn)YOLOv3 網(wǎng)絡(luò)模型在對(duì)搖枕鑄件DR 圖像進(jìn)行缺陷檢測(cè)識(shí)別時(shí)，對(duì)于圖像中的極微小缺陷目標(biāo)，難以實(shí)現(xiàn)完全識(shí)別，存在缺陷漏檢測(cè)問(wèn)題；融合模型的缺陷檢測(cè)識(shí)別效果明顯優(yōu)于改進(jìn)的YOLOv3 網(wǎng)絡(luò)模型，在極小缺陷目標(biāo)的檢測(cè)識(shí)別上優(yōu)勢(shì)明顯，利用檢測(cè)樣本集對(duì)融合模型的缺陷識(shí)別性能進(jìn)行測(cè)試，缺陷識(shí)別精度均值可達(dá)到97.5%以上。實(shí)驗(yàn)結(jié)果表明，本文方法的缺陷檢測(cè)識(shí)別能力突出。

圖5 本文方法缺陷檢測(cè)識(shí)別能力分析Fig.5 Analysis of defect detection and recognition ability of this method

3 結(jié)語(yǔ)

將本文方法應(yīng)用于搖枕鑄件缺陷檢測(cè)識(shí)別中，通過(guò)分析搖枕DR 圖像的處理性能以及改進(jìn)YOLOv3 網(wǎng)絡(luò)模型、混合模型的缺陷識(shí)別效果，驗(yàn)證本文方法的優(yōu)越性。實(shí)驗(yàn)結(jié)果表明：①該方法處理后的搖枕DR 圖像細(xì)節(jié)完整、邊緣清晰、像素灰度分布均勻；②改進(jìn)后的YOLOv3 網(wǎng)絡(luò)模型在訓(xùn)練4000次后，平均損失穩(wěn)定在0.11 左右，并獲得最大交并比，有效降低缺陷誤檢率、漏檢率；③混合模型在極小缺陷目標(biāo)檢測(cè)識(shí)別上具有突出優(yōu)勢(shì)，缺陷檢測(cè)精度均值可達(dá)到97.5%以上。