姚 波, 溫秀蘭, 焦良葆, 王樹剛, 錢 崢, 李子康

(1.南京工程學(xué)院 自動化學(xué)院,江蘇 南京 211167;2.江蘇省智能感知技術(shù)與裝備工程研究中心,江蘇 南京 211167;3.無錫市計量測試院,江蘇 無錫 214000;4.南京市計量監(jiān)督檢測院,江蘇 南京 210049)

1 引 言

鋁型材廣泛應(yīng)用于建筑、工業(yè)、醫(yī)療等行業(yè),其表面缺陷直接影響鋁型材的質(zhì)量,長期以往會出現(xiàn)鋁型材扭曲變形等問題,造成嚴(yán)重的安全事故,因此能否對鋁型材表面缺陷進行快速準(zhǔn)確檢測極為重要[1]。然而在鋁型材實際的生產(chǎn)過程中,由于多方面因素影響,鋁型材表面會產(chǎn)生擦花、漏底、碰凹、凸粉等缺陷,這些缺陷會與鋁型材本身的紋路相混淆,使檢測難度增加。早期對表面缺陷檢測多是采用人工肉眼進行檢測,不僅耗時耗力而且準(zhǔn)確率不高[2]。缺陷的自動檢測大都是先根據(jù)現(xiàn)場環(huán)境特征,選取適合的光源,對缺陷所在的區(qū)域進行打光,以提高缺陷特征的提??；其次再選取合適的特征提取算法,如方向梯度直方圖(histogram of oriented gradient, HOG),尺度不變特征變換(scale invariant feature transform, SIFT)等,再通過支持向量機(support vector machine, SVM)等分類器對缺陷進行分類[3]。因鋁型材本身亮度高,極易反光,因此無法通過打光突出其缺陷特征,使得現(xiàn)有的缺陷檢測方法難以達到良好的檢測效果。

深度學(xué)習(xí)因具有適應(yīng)性好,學(xué)習(xí)能力強和可移植性好等特點,成為近年來研究的熱點,有關(guān)學(xué)者先后提出Faster-RCNN( faster region convolution neural network)[4],SSD(single shot multiBox detector)[5],YOLO(you only look once)等性能良好的網(wǎng)絡(luò)模型,并成功應(yīng)用于缺陷檢測。其中具有代表性的有：文獻[6]提出了一種基于改進Faster-RCNN的金屬材料工件表面缺陷檢測,通過引入多級ROI池化層結(jié)構(gòu)設(shè)計算法和改進原圖位置坐標(biāo),能夠?qū)饘俨牧媳砻嫒毕莺芎玫淖R別,但當(dāng)缺陷區(qū)域與正常像素區(qū)域存在較大像素差時,檢測效果較差。文獻[7]將Faster-RCNN與FPN網(wǎng)絡(luò)相結(jié)合,利用嚴(yán)格非極大值抑制算法對鋼筋表面的缺陷做出檢測,檢測精度較高,但實時性方面還有待進一步提高。文獻[8]分析了熱鍍鋅表面的紋理特征,設(shè)計出檢測精度和速度并重的G-SSD算法和G-Mobile分類網(wǎng)絡(luò),但是只有在稀疏的背景下,檢測精度才高并且不能對同一圖像上多個缺陷進行精確定位。文獻[9]提出利用Mask-RCNN和引導(dǎo)濾波增強的方法,完成圖像差分以及圖像增強,實現(xiàn)對鑄件X射線DR圖像的缺陷檢測,但整體83%的準(zhǔn)確率不足以在工業(yè)生產(chǎn)使用。文獻[10]提出將SSD算法和YOLOv3算法相結(jié)合,利用SSD算法準(zhǔn)確率高和YOLOv3實時檢測速度快的特點,完成了對輸電線路螺栓缺陷的檢測,單張圖像的檢測耗時僅0.5 s,準(zhǔn)確率達到96%。

總結(jié)現(xiàn)有研究成果,發(fā)現(xiàn)深度學(xué)習(xí)在缺陷檢測方面有獨到之處,但是目前針對鋁型材表面缺陷目標(biāo)大且缺陷特征不盡相同的問題,研究甚少。本文提出了一種改進的YOLOv3算法用于鋁型材表面缺陷檢測,并與YOLOv3以及經(jīng)典的卷積網(wǎng)絡(luò)Faster-RCNN和SSD進行比較,以驗證提出方法在準(zhǔn)確率和檢測效率等方面的有效性。

2 傳統(tǒng)YOLOv3算法

YOLOv3網(wǎng)絡(luò)模型特征的尺寸變化是通過卷積層改變卷積核的步長大小來改變的,為了能夠更好的提取圖像中的特征信息,在網(wǎng)絡(luò)模型中加入了殘差塊。對于小尺寸目標(biāo)的檢測,YOLOv3借鑒了特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN),將不同尺寸的特征進行融合,采用多尺度的預(yù)測方式來完成對小目標(biāo)的檢測,而在邊界框的回歸問題上,采用了非極大值抑制算法,保留置信分最高的邊界框為最終目標(biāo)的檢測框[11]。

YOLOv3中損失函數(shù)定義[12]為

LLoss=Lbox_xywh+Lcls+Lconf

(1)

其中：Lbox_xywh、Lcls、Lconf分別表示預(yù)測框、類別及置信度帶來的誤差。

(2)

(3)

(4)

3 改進的YOLOv3模型

3.1 先驗框的聚類分析

先驗框是一組寬高比例固定的候選框,其寬高比例的大小會直接影響網(wǎng)絡(luò)模型對于目標(biāo)檢測的精度和速度。YOLOv3在COCO數(shù)據(jù)集上針對3種不同的特征尺寸聚類出9種不同尺寸的先驗框,但其聚類出來的先驗框大小不能滿足鋁型材表面缺陷檢測的要求,因此需要重新對數(shù)據(jù)集進行聚類分析,選取適合目標(biāo)的候選框。

目前,常見的聚類算法主要有k-means聚類,均值漂移聚類,基于密度的聚類和凝聚層次聚類。由于k-means聚類算法具有原理簡單,聚類效果較優(yōu)和收斂速度較快等優(yōu)點,因此選取k-means聚類算法來對數(shù)據(jù)集進行重新聚類。為了更好地評價聚類結(jié)果的好壞,采用平均交并比(average intersection over union,Avg IOU)作為評價指標(biāo),該值越大,說明聚類的結(jié)果越好。在k-means聚類算法中,k的值是自定義的,選取k=1～10,分別對數(shù)據(jù)集進行聚類分析,得到k值與Avg IOU的關(guān)系圖,如圖1所示。

圖1 聚類分析結(jié)果圖Fig.1 Cluster analysis result graph

由圖1可見,隨著k值遞增,Avg IOU值逐漸趨于平緩,在曲線斜率最大的地方也即是k=3時,為最佳的先驗框(anchor boxes)的個數(shù)。當(dāng)k=3時,不僅能夠減少大量的計算,快速地降低損失函數(shù),還能減小候選框引起的誤差,因此先驗框個數(shù)取為3,在本數(shù)據(jù)集上聚類出來的先驗框像素大小為(519×210)、(508×281)、(500×366)。

3.2 改進的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

針對鋁型材缺陷檢測中缺陷目標(biāo)大且特征不盡相同的問題,對YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)進行改進,改進后的網(wǎng)絡(luò)結(jié)構(gòu)見圖2。原始的YOLOv3中輸出像素大小為(13×13),(26×26),(52×52)3種不同尺度大小的特征圖?？紤]到鋁型材缺陷較大,原始的(52×52)輸出的特征圖不能很好的將缺陷特征顯示出來,因此改進后的網(wǎng)絡(luò)結(jié)構(gòu)剔除了(52×52)特征尺度的預(yù)測,在減少冗余候選框的同時還減小候選框帶來的誤差及計算工作量,提高了網(wǎng)絡(luò)模型的精度和效率。為避免因剔除了(52×52)小尺度的預(yù)測導(dǎo)致一些淺層的語義信息丟失,使類別檢測誤差增加[13],將原YOLOv3在目標(biāo)檢測層前設(shè)置的6個convolution batch_normalize leaky(CBL)單元修改為4個CBL單元,再補充2個殘差單元,來改善網(wǎng)絡(luò)模型的精度,改進后的殘差結(jié)構(gòu)如圖3所示。

圖2 改進后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Improved YOLOv3 network structure diagram

圖3 改進前后的殘差結(jié)構(gòu)Fig.3 Residual structure before and after improvement

4 鋁型材表面缺陷檢測

4.1 數(shù)據(jù)集的獲取

數(shù)據(jù)集源于某鋁型材商品制造廠的“鋁型材瑕疵識別”數(shù)據(jù)集,在數(shù)據(jù)集中得到圖4中的4種典型鋁型材表面缺陷圖像,分別為擦花(scratch)、漏底(bottom)、凸粉(convex)和碰凹(bump)。

圖4 典型鋁型材表面缺陷圖像Fig.4 Typical surface defect image of aluminum profile

首先對采集到的數(shù)據(jù)集進行整理,前期采集到3 058張缺陷圖像,通過對數(shù)據(jù)集進行旋轉(zhuǎn)、調(diào)整飽和度和曝光量等手段,將數(shù)據(jù)集擴充到10 000張,其中訓(xùn)練集占80%,驗證集占10%,測試集占10%。

4.2 實驗運行環(huán)境

實驗硬件環(huán)境配置見表1。軟件環(huán)境采用CUDA10.2,OpenCV3.4.0,VisualStudio2019,其中深度學(xué)習(xí)框架采用Darknet-53。

表1 實驗硬件環(huán)境配置Tab.1 Experimental hardware environment configuration

4.3 網(wǎng)絡(luò)訓(xùn)練

在網(wǎng)絡(luò)模型訓(xùn)練過程中,通過損失函數(shù)loss曲線觀察網(wǎng)絡(luò)訓(xùn)練的狀態(tài),改進前后的YOLOv3-LLoss曲線對比見圖5。由圖5可見,原YOLOv3算法在迭代到7 000次時,損失函數(shù)逐步收斂,當(dāng)?shù)?10 000次的時候,LLoss值降到1.0左右,而改進后的YOLOv3其損失函數(shù)在迭代到約4 000次時,開始逐步收斂,當(dāng)?shù)?0 000次的時候,LLoss值降到0.2左右。由此可見,改進后的網(wǎng)絡(luò)模型訓(xùn)練結(jié)果更佳,可以作為一個合適的網(wǎng)絡(luò)模型進行測試。

圖5 改進前后的YOLOv3-LLoss曲線圖Fig.5 YOLOv3-LLosscurve before and after improvement

4.4 改進前后檢測算法性能的對比

在目標(biāo)檢測領(lǐng)域常用準(zhǔn)確率P和召回率R來評價1個算法的優(yōu)劣[14]，其中P是用來評估1個模型預(yù)測是否準(zhǔn)確,R是用來評估1個模型檢測的目標(biāo)是否全,其計算公式如下：

(5)

式中：NTP表示模型正確檢測目標(biāo)的個數(shù)；NFP表示模型錯誤檢測目標(biāo)的個數(shù)；NFN表示模型沒有檢測出目標(biāo)的個數(shù)；分別使用YOLOv3改進前(v3)和改進后(i-v3)來對測試集的圖片進行檢測,計算其P和R,計算結(jié)果如表2所示。

表2 算法改進前后的檢測性能結(jié)果對比Tab.2 Comparison of the detection performance results of the algorithm before and after the improvement

由表2可見,針對本文缺陷檢測,改進后的YOLOv3算法其P達到了92.64%,R達到了94.13%,分別較改進前的算法提升了9.4%和9.37%,在性能上有了很大的提升。

為了更好地評價模型的準(zhǔn)確性,通常在評價算法性能優(yōu)劣時還會引入平均準(zhǔn)確率AP(average precision)和平均準(zhǔn)確率均值mAP(mean average precision)兩個指標(biāo)[15]。采用上述2個指標(biāo)評價結(jié)果如表3所示。由表3可見,改進后的檢測算法在4種缺陷檢測上的平均準(zhǔn)確率都有了明顯的改善,其平均準(zhǔn)確率均值從78.05%上升到96.49%,提升了18.44%,而且檢測速度從31幀/s提升到現(xiàn)在的47幀/s,由此可見,提出的改進算法在準(zhǔn)確率和檢測速度方面都有很大提升。

表3 算法改進前后的檢測結(jié)果對比Tab.3 Comparison of the detection results of the algorithm before and after the improvement

圖6同時繪制了改進前后算法的實際檢測效果。其中,圖6(a)和圖6(b)分別是改進前后算法對擦花(scratch)和凸粉(convex)的檢測結(jié)果,對比可見：原YOLOv3算法在沒有對數(shù)據(jù)集重新進行聚類分析時,會有重復(fù)檢測的邊界框,而改進后的算法解決了該問題,并且重新聚類分析后,邊界框的尺寸得到了優(yōu)化,邊界框能夠完美的將缺陷區(qū)域標(biāo)記出來。圖6(c)和圖6(d)分別是改進前后算法對碰凹(bump)的檢測結(jié)果,由圖可見原算法會出現(xiàn)缺陷漏檢的情況,而改進后的算法則可以實現(xiàn)正常檢測。圖6(e)和圖6(f)分別是改進前后算法對漏底(bottom)的檢測結(jié)果,可見原算法將鋁型材漏底的缺陷誤檢測為擦花缺陷,而改進后的算法可以將誤檢的缺陷正確檢測出來。

圖6 改進前后算法的實際檢測效果圖Fig.6 The actual detection results of the algorithm before and after the improvement

4.5 不同目標(biāo)檢測模型的對比

為了進一步驗證提出方法的有效性,在同一數(shù)據(jù)集下,分別采用目前用于缺陷檢測的主流Faster R-CNN,SSD,YOLOv3算法對本文缺陷進行檢測[16],并與改進后的YOLOv3算法進行比較。4種不同的目標(biāo)檢測模型對比結(jié)果如表4所示。

表4 不同算法的檢測結(jié)果Tab.4 Detection results of different algorithms

其中Faster R-CNN與SSD算法在PyTorch框架下的實驗結(jié)果如圖7和圖8所示。

圖7 Faster R-CNN檢測結(jié)果Fig.7 Faster R-CNN detection results

圖8 SSD檢測結(jié)果Fig.8 SSD detection results

由圖7、圖8和表4可見,改進后的YOLOv3算法其準(zhǔn)確度最高,達到了96.49%,Faster R-CNN其次,這主要得益于網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化,加大了對大尺度特征的檢測,并且優(yōu)化了目標(biāo)檢測層之前的殘差結(jié)構(gòu),提高了對高層的特征信息復(fù)用,并且相對于其它幾種網(wǎng)絡(luò)模型,其檢測速度更快,主要是因為只選取了兩組尺度特征對缺陷目標(biāo)進行檢測,簡化了網(wǎng)絡(luò)結(jié)構(gòu),從而提升了網(wǎng)絡(luò)的運行速度。

5 結(jié) 論

針對鋁型材表面缺陷問題,提出了改進的YOLOv3算法,其主要特點在于對自制的數(shù)據(jù)集重新進行了聚類分析,選取了最佳的候選框尺寸,提高了目標(biāo)檢測的精度；同時對YOLOv3的骨干網(wǎng)絡(luò)進行了重新構(gòu)造,將目標(biāo)檢測層之前的6個CBL單元改成4個,再補償2個殘差單元,大量實驗結(jié)果證實了將提出的改進算法用于鋁型材表面缺陷檢測使得檢測準(zhǔn)確率高和檢測速度分別達到了96.49%和47幀/s,適于在鋁型材行業(yè)推廣應(yīng)用。