張志鋒 吳玉婷 羅銘強 聶德鍵

摘要：針對鋁材表面缺陷檢測方法中，特征提取方法未充分利用不同層次特征的問題，文章提出了一種融合多尺度特征的鋁材表面缺陷檢測方法，將低層次特征中包含的位置信息傳遞到高層次特征中，豐富高層次特征的語義表達能力。實驗結(jié)果表明，mAP平均每類準確率達到了90.22%，優(yōu)于其他對比的方法。在所有的缺陷類型分類準確率上，該方法的表現(xiàn)也優(yōu)于其他方法。

關(guān)鍵詞：缺陷檢測；多尺度特征融合；特征提取

中圖分類號：TP391.4中圖分類號? 文獻標志碼：A文獻標志碼

0 引言

鋁材表面缺陷檢測是指對鋁材的外觀進行評估和檢查，以識別和分析可能存在的缺陷。這些缺陷包括凹痕、劃痕、氧化、裂紋等。常見的傳統(tǒng)鋁材表面缺陷檢測方法如下。

（1）儀器檢測：利用一些專用儀器和設(shè)備進行檢測，如光學顯微鏡、高分辨率攝像機、掃描電子顯微鏡等。

（2）顏色檢測：利用顏色對比的方法來檢測鋁材表面的缺陷。涂覆或涂漆鋁材表面，然后觀察顏色變化或染料的吸附情況，以識別缺陷。

（3）磁粉檢測：將鋁材表面涂覆上磁粉，然后應(yīng)用磁場。磁粉會在缺陷處出現(xiàn)磁力線集聚，從而可以檢測出缺陷。

1 現(xiàn)有算法

近年來，基于深度神經(jīng)網(wǎng)絡(luò)的缺陷檢測方法［1-4］顯著提升了缺陷檢測的準確率和魯棒性。Neuhauser等［5］采用Faster R-CNN實現(xiàn)鋁材表面缺陷的檢測，在813張圖像的數(shù)據(jù)集上訓練時，實現(xiàn)了0.98的分類準確率和0.47的平均精度。Wei等［6］ 結(jié)合Faster R-CNN和YOLOv3，提出了一種混合式網(wǎng)絡(luò)的缺陷檢測方法，提高了YOLOv3對鋁材表面小缺陷的檢測能力，在廣東工業(yè)智能制造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁材缺陷識別”數(shù)據(jù)集上進行了實驗，其改進算法的平均精度（mAP）比YOLOv3高出3.4％，比Faster R-CNN高出1.8%。沈曉海等［7］提出了一種多任務(wù)深度學習的鋁材缺陷檢測方法，通過設(shè)計多任務(wù)損失層的自適應(yīng)權(quán)重，解決了多任務(wù)訓練中的收斂不均衡問題，提升了鋁材檢測的準確性，同時減少了推理時間。

現(xiàn)有算法在鋁材缺陷檢測上依舊存在一個問題：即只關(guān)注低層次特征的提取，缺少對中層語義特征的提取與融合。綜上所述，本文提出了一種基于多尺度融合的鋁材缺陷檢測方法，通過多尺度融合模塊將底層邊緣特征和中層語義特征進行融合，將底層邊緣特征的邊緣信息傳遞到中層語義特征中，提升了特征的表達能力。

2 基于多尺度融合的鋁材缺陷檢測方法

如圖1所示，基于多尺度融合的鋁材缺陷檢測方法分為3個模塊，分別是特征提取模塊、多尺度融合模塊和分類模塊。

（1）特征提取模塊由若干個堆疊的卷積層和池化層組成的VGG網(wǎng)絡(luò)構(gòu)成。在特征提取部分中，卷積層的卷積核大小為7×7，輸出通道為64個，步長為2，緊接著卷積層結(jié)構(gòu)的是一個3×3的最大池化層，步長也為2。輸入圖像將圖像寬度和高度減少1/4，并將其通道大小增加到了64個通道，殘差塊連接而成的模塊是殘差網(wǎng)絡(luò)的主要結(jié)構(gòu)，負責提取圖像中的深層特征。卷積層輸出通道數(shù)分別是64、128、256和

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

512個。

（2）多尺度融合模塊如圖2所示，階段1、階段2、階段3、階段4分別表示由殘差塊連接而成的模塊，用于提取4個不同尺度的特征{S1，S2，S3，S4}作為特征融合模塊的輸入，再通過多尺度信息融合模塊對特征提取模塊的各層次輸出進行雙向特征增強，自上而下的模塊輸出結(jié)果為{P1，P2，P3，P4}，自下而上的模塊分別輸出{N1，N2，N3，N4}。假設(shè)輸入圖像的尺寸為W×H×3的彩色圖像，則{S1，S2，S3，S4}各層次特征的尺寸分別為（W/2）×（H/2）×64、（W/4）×（H/4）×128、（W/8）×（H/8）×256、（W/16）×（H/16）×512。

圖2 上下文信息融合

（3）分類模塊由一個多層感知機（MLP）、一個維度變化操作和卷積操作組成。具體來講，分類損失采用二分類交叉熵損失，其公式如式（1）所示：

Lcls=-［p*ilog（pi）+（1-p*i）log（1-pi）］（1）

其中，pi為第i個區(qū)域預(yù)測為真實標簽的概率；p*i為當標簽為正樣本時取為1，負樣本時取為0。

位置損失用IoU損失計算，公式為：

LIoU=1-IoU（bboxgt，bboxpred）（2）

其中，bboxgt為缺陷的真實坐標位置；bboxpred為預(yù)測缺陷的坐標位置。則總的損失函數(shù)表示為：

L=Lcls+LIoU（3）

3 實驗與分析

實驗環(huán)境為Ubuntu操作系統(tǒng)，使用的CPU為Intel i7-8700，主頻為3.2 GHz，GPU為Nvidia GeForce GTX 1080Ti，顯存容量為11 GB。

3.1 數(shù)據(jù)集

實驗數(shù)據(jù)集來自廣東堅美鋁業(yè)有限公司生產(chǎn)線采集的缺陷圖片，其缺陷類型包括不導(dǎo)電、擦花、角位漏底、桔皮、漏底、噴流、漆泡、起坑、雜色、臟點10種，樣本從100張到800張不等。圖像大小統(tǒng)一縮小為800×400，再對部分數(shù)據(jù)集數(shù)據(jù)進行數(shù)據(jù)增強，消除樣本不均衡的影響，加快梯度下降求最優(yōu)解的速度。訓練集、測試集和驗證集的比例為8∶1∶1。

3.2 評價指標

將數(shù)據(jù)集中的IoU閾值設(shè)置為0.5，把IoU大于0.5的預(yù)測結(jié)果認為是真陽例（TP），用類似的方法計算出假陽例（FP）、真陰例（TN）和假陰例（FN）。接著，精確率（Precision）可以被計算為真陽例與真陽例以及假陽例之和的比值，表示所有被預(yù)測為“陽”的樣本中實際為“陽”的樣本的比例；召回率（Recall）表示實際為“陽”的樣本中被預(yù)測為“陽”的概率。并計算出預(yù)測平均每類準確率mAP，計算mAP時，對同一個ground-truth框，重復(fù)預(yù)測n次，取置信度最高的預(yù)測：

mAP=1N∑Ni=1判定為i類且正確的圖片個數(shù)判定為i類的圖片個數(shù)（4）

3.3 實驗結(jié)果分析

表1展示了本文方法與Fast RCNN和YOLOv3在測試數(shù)據(jù)集上的實驗結(jié)果相比，通過融合上下文多尺度信息，本文方法的性能指標都有較為明顯的提升。此外，本文方法的mAP平均每類準確率達到了90.22%，優(yōu)于其他對比方法。在所有的缺陷類型分類準確率上，本文方法的表現(xiàn)也優(yōu)于其他方法。

此外，在部分存在極端長寬比的缺陷種類中，如漆泡、起坑、漏底、不導(dǎo)電等，本文方法的檢測精度相比于第二名平均提高了9.45%，可以看出本文方法對于極端長寬比的情況相比于其他方法更具有優(yōu)勢。本文方法的精確率-召回率曲線如圖3所示，從圖3中可以看出，對于各種類型的缺陷，本文方法都可以在取得超過90%的精確率的同時，獲得不低于85%的召回率。這也說明了本文方法的魯棒性。

4 結(jié)語

針對現(xiàn)有鋁材表面缺陷檢測方法只關(guān)注低層次特征的提取，缺少對中層語義特征的提取與融合的問題，本文提出了一種融合多尺度信息的鋁材表面缺陷檢測方法。該方法通過多尺度融合模塊將底層邊緣特征和中層語義特征進行融合，將底層邊緣特征的邊緣信息傳遞到中層語義特征中，實驗結(jié)果表明本文方法的平均每類準確率優(yōu)于Fast RCNN和YOLOv3。

參考文獻

［1］程康.基于深度學習的工業(yè)品不規(guī)則缺陷檢測研究［D］.杭州：浙江工業(yè)大學，2019.

［2］寧柏鋒，董召杰.基于機器學習的輸電線路設(shè)備細微缺陷智能檢測方法［J］.自動化與儀器儀表，2020（5）：161-165.

［3］林文偉.基于深度學習的機箱表面細微劃痕檢測方法研究［D］.天津：天津工業(yè)大學，2019.

［4］潘云龍，王森，張印輝，等.結(jié)合特征復(fù)用注意力與精細化分層殘差的細微裂紋密集連續(xù)檢測［J］.儀器儀表學報，2021（2）：285-296.

［5］NEUHAUSER F M，BACHMANN G，HORA P.Surface defect classification and detection on extruded aluminum profiles using convolutional neural networks［J］.International Journal of Material Forming，2020（13）：591-603.

［6］WEI R，BI Y.Research on recognition technology of aluminum profile surface defects based on deep learning［J］.Materials，2019（10）：1681.

［7］沈曉海，栗澤昊，李敏，等.基于多任務(wù)深度學習的鋁材表面缺陷檢測［J］.激光與光電子學進展，2020（10）：283-292.

（編輯 王雪芬編輯）

Aluminum profile surface defect detection method based on multi-scale feature fusion

Zhang? Zhifeng1， Wu? Yuting2*， Luo? Mingqiang3， Nie? Dejian3

（1.Guangdong Zhonghong Design Engineering Co.， Ltd.， Foshan 528300， China;

2.Guangdong Vocational College of Post and Telecom， Guangzhou 510630， China;

3.Guangdong Xingfa Aluminum Industry Co.， Ltd.， Foshan 528000， China）

Abstract： To address the issue of insufficient utilization of different hierarchical features in the surface defect detection method for aluminum materials， a multi-scale information fusion-based surface defect detection method for aluminum materials is proposed. This method transfers the positional information contained in low-level features to high-level features， thereby enriching the semantic expression capability of high-level features. Experimental results show that the mean average precision （mAP） of this method reaches 90.22%， which is higher than other comparative methods. The performance of this method in terms of accuracy in classifying all types of defects also outperforms other methods.

Key words： defect detection; multi-scale feature fusion; feature extraction