亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        改進(jìn)型YOLOv5s的瓷磚表面缺陷檢測(cè)方法

        2024-01-15 05:44:54吳航星張宏怡譚湘瓊林海峰
        關(guān)鍵詞:錨框瓷磚高分辨率

        吳航星,張宏怡,譚湘瓊,林海峰

        (廈門理工學(xué)院光電與通信工程學(xué)院,福建 廈門 361024)

        目前,瓷磚表面缺陷檢測(cè)仍然依賴于人工視檢的方法,然而這種方法容易受到檢驗(yàn)人員經(jīng)驗(yàn)、情緒及視覺疲勞等因素的影響,從而導(dǎo)致瓷磚缺陷漏檢或者誤檢等問題。因此,開發(fā)一種基于機(jī)器視覺的自動(dòng)化瓷磚表面缺陷檢測(cè)方法,成為瓷磚產(chǎn)業(yè)發(fā)展的迫切需求。基于機(jī)器視覺的缺陷檢測(cè)方法主要分為傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法兩類。傳統(tǒng)方法需要人工提取圖像特征,利用經(jīng)過訓(xùn)練的分類器進(jìn)行缺陷檢測(cè)和分類[1-3]。由于傳統(tǒng)方法需要手動(dòng)提取特征,其應(yīng)用場(chǎng)景受限,難以在實(shí)際生產(chǎn)環(huán)境中得到廣泛應(yīng)用。近年來,深度學(xué)習(xí)技術(shù)在機(jī)器視覺領(lǐng)域中取得巨大的進(jìn)展,成為缺陷檢測(cè)的新興方法。相較于傳統(tǒng)的圖像處理方法,深度學(xué)習(xí)方法具有自動(dòng)化特征學(xué)習(xí)和端到端訓(xùn)練等優(yōu)勢(shì),能夠更好地應(yīng)用于實(shí)際生產(chǎn)環(huán)境中[4-6]?;谏疃葘W(xué)習(xí)的缺陷檢測(cè)算法主要分為以SSD[4]、YOLO(you only look once)系列[5-7]為代表的一階段檢測(cè)算法和以Fast RCNN[8]、Mask RCNN[9]為代表的兩階段檢測(cè)算法。例如,歐陽周等[10]針對(duì)瓷磚圖像的復(fù)雜背景紋理的“成像性”與“聚集性”特征,建立基于視覺注意機(jī)制的檢測(cè)模型,提出一種基于人眼視覺注意機(jī)制的顯著性目標(biāo)檢測(cè)方法,但在檢測(cè)之前需要對(duì)數(shù)據(jù)在顏色空間進(jìn)行預(yù)處理;陳學(xué)仕等[11]提出一種基于Faster RCNN[12]的印刷電路板瑕疵檢測(cè)算法,在邊界框回歸定位中使用DIoU 損失函數(shù)替換原始的smooth-L1損失函數(shù)加速模型的收斂,但是在檢測(cè)速度上還有待提升;趙楚等[13]針對(duì)瓷磚存在極小瑕疵和形態(tài)差異大的問題,引入可變形卷積,提出基于Faster RCNN 的瓷磚缺陷檢測(cè)算法;文獻(xiàn)[14-15]提出改進(jìn)特征融合結(jié)構(gòu)、多尺度特征及損失函數(shù),一定程度上提高模型的檢測(cè)性能。以上方法雖然可以提高缺陷檢測(cè)性能,但是基于兩階段檢測(cè)算法的改進(jìn)方案普遍存在檢測(cè)時(shí)間較長(zhǎng)的問題,且在工業(yè)生產(chǎn)中難以部署;相比之下,單階段檢測(cè)算法由于其端到端的檢測(cè)特性,具有更快的檢測(cè)速度,也更容易部署到其他設(shè)備上。另外,上述缺陷檢測(cè)算法需要將待檢測(cè)圖像縮放或裁剪至固定的尺寸,才能輸入檢測(cè)模型進(jìn)行缺陷檢測(cè),對(duì)于高分辨率的圖像來說,這種數(shù)據(jù)處理方式易使一些目標(biāo)的特征丟失,從而導(dǎo)致漏檢的情況。為縮短檢測(cè)時(shí)長(zhǎng),本文采用單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)框架,在此基礎(chǔ)上提出一種改進(jìn)型YOLOv5網(wǎng)絡(luò)的瓷磚缺陷檢測(cè)方法,通過改進(jìn)錨框匹配算法和特征提取模塊來提高模型的檢測(cè)精度;同時(shí),在模型預(yù)測(cè)階段,使用滑窗預(yù)測(cè)的方法對(duì)高分辨率圖像進(jìn)行切片預(yù)測(cè),實(shí)現(xiàn)模型對(duì)高分辨率圖像的端到端預(yù)測(cè),從而解決目標(biāo)漏檢的問題。

        1 YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)及瓷磚缺陷檢測(cè)原理

        1.1 YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)

        YOLOv5是一種基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)算法,由多個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和相關(guān)的數(shù)據(jù)處理算法組成。YOLOv5(6.2版本)由特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)、檢測(cè)頭3個(gè)部分構(gòu)成。其中,特征提取網(wǎng)絡(luò)通過卷積(Conv)模塊、C3(CSP bottleneck with 3 convolutions)模塊和SPPF(spatial pyramid pooling fast)模塊對(duì)輸入圖像提取不同尺度的特征,使特征圖的分辨率下采樣到輸入圖像的1/32;特征融合網(wǎng)絡(luò)分別將1/8、1/16和1/32下采樣率的特征圖進(jìn)行多尺度融合;3個(gè)檢測(cè)頭分別對(duì)融合網(wǎng)絡(luò)的3 個(gè)融合輸出特征圖進(jìn)行解碼,輸出預(yù)測(cè)結(jié)果,其中,淺層特征圖主要負(fù)責(zé)檢測(cè)小尺寸目標(biāo),深層特征圖主要負(fù)責(zé)檢測(cè)大尺寸的目標(biāo)。

        1.2 基于YOLOv5算法的瓷磚缺陷檢測(cè)原理

        使用YOLOv5 檢測(cè)算法進(jìn)行瓷磚缺陷檢測(cè),需要在瓷磚缺陷數(shù)據(jù)集上進(jìn)行模型的訓(xùn)練,使得YOLOv5 能夠在瓷磚缺陷數(shù)據(jù)集上獲得更佳的性能表現(xiàn),完成瓷磚缺陷的檢測(cè)任務(wù)。YOLOv5 檢測(cè)算法首先對(duì)輸入圖像進(jìn)行預(yù)處理,將待檢測(cè)圖像縮放至固定的尺寸(640 px×640 px);然后,輸入檢測(cè)網(wǎng)絡(luò),在檢測(cè)網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)中提取瓷磚的紋理及語義信息,在特征融合網(wǎng)絡(luò)中融合不同尺度的特征信息,再在三個(gè)不同尺度的檢測(cè)頭上設(shè)置不同長(zhǎng)寬比的錨框以進(jìn)行密集預(yù)測(cè);最后,將網(wǎng)絡(luò)輸出的密集預(yù)測(cè)結(jié)果依次通過置信度閾值和非極大值抑制算法,去除目標(biāo)周圍多余的預(yù)測(cè)框,最終實(shí)現(xiàn)對(duì)瓷磚圖像的缺陷定位和類別預(yù)測(cè)。

        2 YOLOv5算法的改進(jìn)

        本文對(duì)YOLOv5 算法主要進(jìn)行3 個(gè)方面的改進(jìn)。首先,傳統(tǒng)的YOLOv5 算法在模型的訓(xùn)練階段,通過標(biāo)準(zhǔn)K-Means算法和遺傳算法(genetic algorithm, GA)為每個(gè)檢測(cè)頭上的網(wǎng)格單元格設(shè)置3組不同長(zhǎng)寬比的錨框,使模型能夠快速收斂。標(biāo)準(zhǔn)K-Means算法中的歐式距離度量無法體現(xiàn)不同維度上的比例信息,傳統(tǒng)的YOLOv5算法在極端長(zhǎng)寬比的數(shù)據(jù)集上聚類出的結(jié)果不太理想。因此針對(duì)此問題提出優(yōu)化。其次,在C3 模塊的殘差單元里,不同尺寸的卷積核在層級(jí)上進(jìn)行串接,單個(gè)模塊的處理能力受限,無法捕捉到不同分辨率特征之間存在的內(nèi)在聯(lián)系和依賴關(guān)系,需要多個(gè)模塊協(xié)同工作來提取多尺度特征。傳統(tǒng)的YOLOv5 只通過多尺度特征融合結(jié)構(gòu)來進(jìn)行目標(biāo)的多尺度檢測(cè)。因此對(duì)C3 模塊進(jìn)行優(yōu)化,提升模型的模塊級(jí)別多尺度檢測(cè)能力。最后,傳統(tǒng)的YOLOv5算法在模型的推理階段,通過自適應(yīng)圖像縮放算法將不同尺寸的圖像縮放到固定的尺寸,然后將圖像輸入模型進(jìn)行檢測(cè)。對(duì)于高分辨率圖像而言,在圖像中占比較小的目標(biāo)縮放后只占一個(gè)像素甚至失真,容易導(dǎo)致缺陷漏檢情況發(fā)生。因此,針對(duì)此問題進(jìn)行優(yōu)化。

        2.1 優(yōu)化自適應(yīng)錨框匹配算法

        基于K-Means 聚類的方式預(yù)先獲得標(biāo)簽框尺寸的大致分布情況,然后在寬-高的二維空間中對(duì)標(biāo)簽框尺寸進(jìn)行K-Means 聚類,得到k 個(gè)簇,計(jì)算每個(gè)簇在不同維度上的均值,得到k 個(gè)聚類中心。在標(biāo)準(zhǔn)K-Means聚類中采用歐式距離(euclidean distance)作為度量標(biāo)準(zhǔn),即

        式(1)中:ρ為點(diǎn)(wb,hb)和點(diǎn)(wc,hc)之間的歐式距離;wb和hb分別表示標(biāo)簽框?qū)捀叱叽纾粀c和hc分別表示錨框?qū)捀叱叽纭?/p>

        YOLOv5 采用自適應(yīng)錨框匹配算法,通過對(duì)數(shù)據(jù)集中每個(gè)目標(biāo)的尺寸和形狀進(jìn)行K-Means 聚類,得到適配數(shù)據(jù)集尺寸的錨框。這一算法使得YOLOv5能夠更好地滿足不同目標(biāo)的檢測(cè)需求,提高模型的適應(yīng)性。K-Means 聚類算法使用歐式距離來確定樣本所屬的簇,并使用平均IoU 來評(píng)估聚類效果。然而,歐式距離在n維空間中計(jì)算兩點(diǎn)之間的距離,沒有考慮n個(gè)維度的比例信息,并不適合用于聚類出具有合適寬高比的錨框。因此,在聚類過程中使用歐式距離作為度量函數(shù)并不太合適。本文引入CIoU作為K-Means的度量函數(shù), CIoU計(jì)算公式為

        式(2)~(4)中:boxes 為標(biāo)簽框;centroid 為聚類的質(zhì)心;ρ為質(zhì)心與標(biāo)簽框中心點(diǎn)的歐氏距離;c 為錨框與目標(biāo)框的最小閉包矩形對(duì)角線距離;v用來度量長(zhǎng)w與寬h比值的相似性;α為權(quán)重系數(shù);ε為無窮小數(shù)。

        CIoU 表示虛線框A 和虛線框B 的交并比與正則項(xiàng)((ρ(boxes,centroid) c2) + αv )的差值,其示意如圖1 所示。式(2)中的ρ(boxes,centroid) c2為圖1中AB中心點(diǎn)的距離d與最小外包框C對(duì)角線的距離c的比值。相比于歐式距離,CIoU 考慮長(zhǎng)寬比的一致性,并利用參數(shù)v 來表示長(zhǎng)寬比的一致性。這種改進(jìn)使得K-Means 能夠有效地提取出具有較高重疊度和合理的長(zhǎng)寬比的先驗(yàn)框,從而更好地捕捉數(shù)據(jù)集中真實(shí)的長(zhǎng)寬比分布。

        基于CIoU 距離度量對(duì)數(shù)據(jù)集標(biāo)簽尺寸進(jìn)行K-Means 聚類,并比較自適應(yīng)錨框匹配算法優(yōu)化前后的結(jié)果。不同特征圖尺寸的錨框?qū)捀叱叽鐚?duì)比結(jié)果如表1所示。表1中的數(shù)據(jù)表示錨框映射到輸入圖像分辨率的寬高尺寸。經(jīng)過K-Means 聚類后,舍棄2 個(gè)較大的先驗(yàn)框,先驗(yàn)框的尺寸更集中在中小型目標(biāo)的范圍內(nèi)。

        表1 自適應(yīng)錨框算法優(yōu)化前后不同特征圖上的錨框尺寸對(duì)比Table 1 Anchor frame sizes on feature maps by original and optimized adaptive anchor frame algorithms in Pixel

        2.2 優(yōu)化特征提取C3模塊

        融合不同尺度的特征是提高檢測(cè)性能的重要方法之一。圖2 展示了原始YOLOv5 和優(yōu)化后的殘差模塊的結(jié)構(gòu)對(duì)比。在圖2(a)中,ResNet 通過2 個(gè)1 × 1 的卷積層和一個(gè)3 × 3 的卷積層組成瓶頸結(jié)構(gòu)的殘差塊,其中,1 × 1 的卷積對(duì)輸入的通道進(jìn)行降維和升維操作,在低維度使用3 × 3 卷積進(jìn)行特征提取。當(dāng)恢復(fù)維度后將輸出與輸入信息進(jìn)行合并。圖2(b)中,Res2Net[16]通過將降維的1 × 1 卷積輸出特征在通道維度上分成n等份,每一份特征的尺度大小都相等,但通道是輸入特征的1n,定義為xi,i∈{1,2,…,n},其中x1不參與卷積計(jì)算,直接傳遞到下一層1 × 1 卷積輸入。其余n- 1 份,首先將1 份特征使用3 × 3 的卷積核進(jìn)行計(jì)算,提取特征信息,將輸出結(jié)果與下一份特征合并,并使用下一個(gè)3 × 3 卷積提取特征。不斷重復(fù)上述過程直到n- 1 份特征全部計(jì)算完畢。每個(gè)3 × 3 卷積用fi表示,用oi表示對(duì)應(yīng)的卷積fi的輸出,oi如公式(5)所示。最后將所有輸出結(jié)果進(jìn)行通道堆疊,作為升維1 × 1 卷積的輸入,將原始輸入與升維1 × 1卷積的輸出合并后,作為整個(gè)Res2Net的卷積塊輸出。

        圖2 殘差模塊結(jié)構(gòu)對(duì)比圖Fig.2 Structure of residual elements compared

        Res2Net是在傳統(tǒng)的ResNet基礎(chǔ)上進(jìn)行優(yōu)化的一種方法,旨在提升特征提取網(wǎng)絡(luò)的多尺度表征能力。它通過對(duì)原始?xì)埐顔卧械? × 3 卷積在通道上進(jìn)行分組,構(gòu)建具有階梯制的殘差連接。通過引入Res2Net 殘差單元到Y(jié)OLOv5 的C3 模塊中,替換原始的殘差單元,使YOLOv5 更充分地提取缺陷目標(biāo)的多尺度特征。這樣一來,不僅可以在模塊級(jí)別上提取多尺度特征,豐富初始模型的多尺度檢測(cè)能力,而且有利于小目標(biāo)在淺層融合語義特征。

        2.3 優(yōu)化高分辨率圖像缺陷檢測(cè)方式

        在模型預(yù)測(cè)過程中,YOLOv5 采用圖像自適應(yīng)縮放算法,通過最小化黑邊提高模型的推理速度,實(shí)現(xiàn)更有效地圖像縮放。具體流程如下:(1) 根據(jù)原始圖像的大小和模型輸入端的圖片大小計(jì)算圖像縮放比例;計(jì)算原始圖像與目標(biāo)尺寸的長(zhǎng)-長(zhǎng)比例、寬-寬比例,取最小比值為縮放比例。(2) 根據(jù)最小比值等比縮放原始圖像。(3) 計(jì)算黑邊填充的數(shù)值。由于網(wǎng)絡(luò)執(zhí)行5次下采樣操作,因此將最短邊的像素?cái)?shù)量填充到最近的32的倍數(shù)(25=32),以保證在網(wǎng)絡(luò)深層特征圖的尺寸為整數(shù)。

        對(duì)于一些高分辨率圖像,YOLOv5若采用自適應(yīng)圖像縮放算法對(duì)圖像縮放到固定的尺寸,對(duì)于那些在圖像中占比較小的目標(biāo),導(dǎo)致在縮放后的圖像中只占一個(gè)像素甚至失真,造成圖像中目標(biāo)漏檢情況的發(fā)生。由于瓷磚缺陷尺寸屬于小目標(biāo)范疇,而圖片分辨率為8 192 px×6 000 px,因此,在預(yù)測(cè)時(shí)若采用將全圖縮放至640 px×640 px 進(jìn)行預(yù)測(cè)的方法,將無法檢測(cè)出缺陷,造成大量的缺陷漏檢。因此,本文采用滑窗預(yù)測(cè)算法[17],對(duì)高分辨率圖像進(jìn)行滑窗預(yù)測(cè),最后將所有預(yù)測(cè)結(jié)果映射到原圖,從而有效解決此問題,實(shí)現(xiàn)YOLOv5對(duì)高分辨率圖像的端到端預(yù)測(cè)。

        3 實(shí)驗(yàn)結(jié)果與分析

        本實(shí)驗(yàn)在Ubuntu20.04操作系統(tǒng)下進(jìn)行,GPU為NVIDIA GeForce RTX 3090,單張24 GB顯存。使用CUDA11.1.1 和CUDNN8 進(jìn)行GPU 加速。Batch-Size 參數(shù)設(shè)置為32,Image-Size 設(shè)置為640 px×640 px,訓(xùn)練300次迭代。

        3.1 數(shù)據(jù)集分析與處理

        本實(shí)驗(yàn)采用2021 廣東工業(yè)智造創(chuàng)新大賽智能算法賽提供的瓷磚缺陷檢測(cè)數(shù)據(jù)集。經(jīng)統(tǒng)計(jì),瓷磚缺陷數(shù)據(jù)集共5 388 張圖片,其中1張沒有標(biāo)簽。分別有尺寸為8 192 px×6 000 px 的圖像3 962 張,尺寸為4 096 px×3 500 px 的圖像1 435 張;瓷磚缺陷共6 個(gè)類別,分別是邊異常、角異常、白邊、淺色塊、深色塊和光圈。圖3為原始數(shù)據(jù)標(biāo)簽尺寸統(tǒng)計(jì)結(jié)果。從圖3可見,數(shù)據(jù)集中的缺陷標(biāo)簽非常小,且更多地分布在圖像的4個(gè)角上,缺陷存在極端長(zhǎng)寬比的情況。

        圖3 原始數(shù)據(jù)的標(biāo)簽位置和尺寸統(tǒng)計(jì)結(jié)果Fig.3 Statistical results of label position and size of raw data

        由于缺陷的平均絕對(duì)尺寸為21.8 px,且圖像分辨率過大,為減少數(shù)據(jù)計(jì)算量,在模型訓(xùn)練的過程中,在數(shù)據(jù)預(yù)處理階段需要將訓(xùn)練數(shù)據(jù)自適應(yīng)縮放到統(tǒng)一的640 px×640 px。缺陷特征和標(biāo)簽同時(shí)縮小一個(gè)數(shù)量級(jí),會(huì)導(dǎo)致數(shù)據(jù)集中的大部分目標(biāo)在輸入網(wǎng)絡(luò)之前只有2~3個(gè)像素,甚至無法參與訓(xùn)練。因此,對(duì)數(shù)據(jù)集進(jìn)行切片處理,保留有標(biāo)簽的圖像塊,過濾切片后標(biāo)簽與原始標(biāo)簽的比例小于0.1 的圖像塊和沒有標(biāo)簽的圖像塊,切片尺寸為640 px×640 px,邊緣重疊比率為20%。切片后的數(shù)據(jù)集共23 185 張圖片,按照64%、20%、16%的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。切片后類別與標(biāo)簽尺寸統(tǒng)計(jì)結(jié)果如圖4 所示。在沒有改變數(shù)據(jù)類別分布的情況下,使更多的小目標(biāo)參與到模型的訓(xùn)練,同時(shí)標(biāo)簽在圖像中的位置分布更加隨機(jī)。

        圖4 圖像切片后的標(biāo)簽位置和尺寸統(tǒng)計(jì)結(jié)果Fig.4 Statistical results of label position and size after image slicing

        3.2 評(píng)價(jià)指標(biāo)

        實(shí)驗(yàn)采用目標(biāo)檢測(cè)算法中常用的評(píng)價(jià)指標(biāo),包括精度(precision,P)、召回率(recall,R)、平均精確率均值(mean average precision,mAP),其中,除了計(jì)算50%交并比閾值下各個(gè)類別的平均精確率均值(mAP50),還考慮了在50%至95%交并比閾值范圍內(nèi),以5%步長(zhǎng)共計(jì)10組閾值上的平均mAP(mAP50-95)。精度、召回率和交并比精度均值分別表示為

        式(6)~(8)中:TP 為正例中模型的正確預(yù)測(cè);FP 為負(fù)例中模型的錯(cuò)誤預(yù)測(cè);FN 為正例中模型的錯(cuò)誤預(yù)測(cè);AP為P-R曲線的積分面積;mAP為各個(gè)缺陷類別的AP均值。

        3.3 實(shí)驗(yàn)結(jié)果對(duì)比分析

        通過引入CIoU 作為自適應(yīng)錨框匹配中KMeans 的距離表示,所有標(biāo)簽的平均CIoU 和錨框數(shù)量K的關(guān)系曲線如圖5所示。

        圖5 平均CIoU與錨框數(shù)量K的關(guān)系曲線Fig.5 Average CIoU vs. number K of anchor frames

        由圖5可見,真實(shí)框的平均CIoU 與錨框數(shù)量K之間呈正相關(guān)關(guān)系。當(dāng)初始錨框數(shù)量K為9 時(shí),平均CIoU 約為0.5。隨著錨框數(shù)量K的增加,平均CIoU緩慢增長(zhǎng)。然而,隨著K的增加,模型的復(fù)雜度也會(huì)增加,并且?guī)砀嗟呢?fù)訓(xùn)練樣本。

        隨著特征圖上總錨框的數(shù)量增加,如何將它們分配到不同尺度的檢測(cè)頭上成為一個(gè)亟待解決的問題。對(duì)比存在2 種可行的解決方案,第1 種是在3 個(gè)檢測(cè)頭上各增加一個(gè)錨框,這意味著每個(gè)尺度的特征圖上分配4個(gè)錨框;第2種是增加一個(gè)更小尺度的目標(biāo)檢測(cè)頭,同時(shí)保持每個(gè)檢測(cè)頭上的先驗(yàn)框數(shù)量不變。

        為了對(duì)實(shí)驗(yàn)進(jìn)行評(píng)估,設(shè)置4 組實(shí)驗(yàn):第1 組是對(duì)照組,即不進(jìn)行任何改變;第2 組改變距離度量方法;第3組改變錨框數(shù)量;第4組改變檢測(cè)頭的數(shù)量。實(shí)驗(yàn)結(jié)果如表2所示。

        根據(jù)表2,可以得出以下結(jié)論:

        1)在檢測(cè)頭上錨框數(shù)量不改變的情況下,第2組實(shí)驗(yàn)的性能優(yōu)于第4組實(shí)驗(yàn)。第2組實(shí)驗(yàn)的檢測(cè)精度、召回率、mAP50 和mAP50-95 都有明顯提升,檢測(cè)精度從73.8%提升至79.4%,提高5.6%;召回率從69.0%提升至76.5%,提高7.5%;mAP50 從72.6%提升至78.9%,提高6.3%;mAP50-95從34.1%提升至41.6%,提高7.5%。而第4 組實(shí)驗(yàn)的性能提升較小,檢測(cè)精度從73.8%提升至77.2%,提高3.4%;召回率從69.0%提升至73.9%,提高4.9%;mAP50從72.6%提升至75.4%,提高2.8%;mAP50-95從34.1%提升至38.0%,相比較于初始模型提高3.9%。

        2)增加高分辨率檢測(cè)頭會(huì)增加模型的參數(shù)量(Params)和浮點(diǎn)運(yùn)算量(FLOPS)。參數(shù)量從7.0 M提升至7.2 M,提高0.2 M;每秒浮點(diǎn)運(yùn)算從15.8 G提升至18.6 G,提高2.8 G。

        3)在檢測(cè)頭數(shù)量不變的情況下,第3 組實(shí)驗(yàn)(使用CIoU 度量的K-Means 聚類算法)的性能顯著提升。檢測(cè)精度從73.8%提升至78.5%,提高4.7%;召回率從69.0%提升至76.3%,提高7.3%;mAP50從72.6%提升至78.7%,提高6.1%;mAP50-95從34.1%提升至41.3%,提高7.2%。

        綜上所述,根據(jù)實(shí)驗(yàn)結(jié)果可知,9個(gè)錨框比12個(gè)錨框在性能上更佳,且沒有增加模型的參數(shù)量和計(jì)算量。另外,使用CIoU度量的K-Means聚類算法能有效提高模型對(duì)瓷磚缺陷的檢測(cè)性能。

        為驗(yàn)證將Res2Net殘差塊應(yīng)用在不同深度的特征圖上是否對(duì)模型的檢測(cè)性能有影響,本文設(shè)置多組對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示。表3中:“√”表示在對(duì)應(yīng)下采樣率的C3模塊中應(yīng)用Res2Net殘差塊。所有實(shí)驗(yàn)均經(jīng)過錨框優(yōu)化且錨框數(shù)量K=9。

        表3 Res2Net殘差塊應(yīng)用在不同下采樣層的性能對(duì)比Table 3 Performance of Res2Net unit applications in different downsampling layers compared

        由表3的結(jié)果可知,Res2Net殘差塊會(huì)帶來更多的參數(shù)量和計(jì)算量。另外,Res2Net殘差塊應(yīng)用在特征提取網(wǎng)絡(luò)中的不同層均對(duì)模型的檢測(cè)性能存在不同程度的影響。其中,將殘差塊應(yīng)用到1/32 下采樣層的C3 模塊中,各項(xiàng)評(píng)價(jià)指標(biāo)都有所提升,模型對(duì)缺陷的檢測(cè)精度從79.4%提升至80.0%,提高0.6%;召回率從76.5%提升至78.1%,提高1.6%;mAP50 從78.9%提升至80.5%,提高1.6%;mAP50-95 從41.6%提升至42.6%,提高1.0%。實(shí)驗(yàn)結(jié)果表明,Res2Net 殘差塊更適用于處理檢測(cè)任務(wù)的深層全局信息,能有效提高瓷磚缺陷的檢測(cè)性能。

        為了驗(yàn)證上述2種優(yōu)化方法對(duì)瓷磚表面缺陷檢測(cè)的綜合性能影響,在瓷磚瑕疵數(shù)據(jù)集上對(duì)模型進(jìn)行訓(xùn)練和測(cè)試。實(shí)驗(yàn)的初始算法為YOLOv5s(6.2版本)檢測(cè)模型,所有實(shí)驗(yàn)設(shè)置相同的參數(shù)和訓(xùn)練技巧,實(shí)驗(yàn)結(jié)果如表4所示。

        表4 不同改進(jìn)方法的實(shí)驗(yàn)結(jié)果Table 4 Experimental results of different improvement methods%

        從表4 中可以看到,基于CIoU 度量的K-Means 算法對(duì)數(shù)據(jù)集進(jìn)行錨框匹配后,模型的精度從73.8%提升至79.4%,提高5.6%;召回率從69.0%提升至76.5%,提高7.5%;mAP50 從72.6%提升至78.9%,相比較于初始模型提高6.3%;mAP50-95從34.1%提升至41.6%,相比較于初始模型提高7.5%。在此基礎(chǔ)上,在C3 模塊中引入Res2Net 卷積塊后,模型的精度從79.4%提升至80.0%,提高0.6%;召回率從76.5%提升至78.1%,提高1.6%;mAP50 從78.9% 提升至80.5%,提高1.6%;mAP50-95 從41.6%提升至42.6%,提高1.0%。綜上所述,本文提出的自適應(yīng)錨框匹配算法和C3模塊的優(yōu)化方案在瓷磚缺陷檢測(cè)任務(wù)中取得良好的效果。

        為了驗(yàn)證本文改進(jìn)方法對(duì)瓷磚表面各個(gè)類別瑕疵的檢測(cè)性能,將優(yōu)化后的算法與其他檢測(cè)模型進(jìn)行比較,采用AP 和mAP50 來評(píng)估各個(gè)類別的性能。進(jìn)行模型推理時(shí),在類別預(yù)測(cè)正確的情況下,預(yù)測(cè)結(jié)果與原始標(biāo)簽的IoU大于0.5視為正確預(yù)測(cè),小于0.5 則視為錯(cuò)誤預(yù)測(cè)。實(shí)驗(yàn)結(jié)果如圖6 所示。綜合評(píng)估指標(biāo)顯示,本文算法在檢測(cè)性能上優(yōu)于其他6 種算法,并且對(duì)各個(gè)類別的檢測(cè)性能更加均衡。這證明本文算法在滿足對(duì)瓷磚缺陷高精度要求的同時(shí),能夠更好地檢測(cè)各類瑕疵。

        圖6 不同算法對(duì)瓷磚各個(gè)瑕疵的檢測(cè)性能對(duì)比Fig.6 Detection performance of different algorithms on individual defect of ceramic tiles compared

        為了直觀展示本文算法的有效性,圖7 展示改進(jìn)前后網(wǎng)絡(luò)在瓷磚切片圖像上的檢測(cè)效果。從圖7中可以清楚地看出,本文算法相較于傳統(tǒng)的YOLOv5模型,在瓷磚缺陷檢測(cè)方面具有更好的表現(xiàn)。本文算法能夠檢測(cè)出更多YOLOv5漏檢的瓷磚缺陷,例如更細(xì)粒度的深色塊類型的缺陷和邊異常類型的缺陷。此外,對(duì)于角異常類型的缺陷,傳統(tǒng)的YOLOv5只能檢測(cè)出角異常的局部區(qū)域,而本文算法能夠檢測(cè)出更完整的角異常類型缺陷。

        圖7 改進(jìn)前后算法的檢測(cè)效果對(duì)比Fig.7 Detection effects of original and improved networks compared

        為了進(jìn)一步解決YOLOv5在高分辨率圖像上的漏檢問題,并實(shí)現(xiàn)對(duì)高分辨率圖像的端到端缺陷檢測(cè),本文采用文獻(xiàn)[17]中提出的滑窗算法。該算法通過對(duì)高分辨率圖像進(jìn)行滑窗推理,對(duì)每個(gè)窗口進(jìn)行獨(dú)立的檢測(cè),并將所有推理結(jié)果映射回原始高分辨率圖像上。本文算法在瓷磚高分辨率圖片上進(jìn)行缺陷檢測(cè)的結(jié)果如圖8所示。從圖8中可以觀察到,采用滑窗算法進(jìn)行缺陷檢測(cè),本文方法能夠檢測(cè)到高分辨率瓷磚圖像中的極小缺陷。這進(jìn)一步驗(yàn)證本文算法在解決YOLOv5在高分辨率圖像上漏檢問題方面的有效性,并展示其在端到端缺陷檢測(cè)任務(wù)中的能力。

        圖8 本文方法在瓷磚高分辨率圖片上進(jìn)行缺陷檢測(cè)的結(jié)果Fig.8 Results of defect detection on high-resolution pictures of tiles using this method

        4 結(jié)論

        為了解決瓷磚質(zhì)檢過程中瓷磚缺陷漏檢和檢測(cè)精度低的問題,提出一種改進(jìn)型的YOLOv5網(wǎng)絡(luò)瓷磚表面缺陷檢測(cè)方法。首先,該方法引入基于CIoU 度量的適應(yīng)錨框匹配算法。通過對(duì)數(shù)據(jù)集標(biāo)簽進(jìn)行聚類,重新獲取9個(gè)更適合數(shù)據(jù)集的先驗(yàn)框。這樣可以降低極端長(zhǎng)寬比缺陷漏檢的風(fēng)險(xiǎn),提高檢測(cè)性能。其次,在特征提取網(wǎng)絡(luò)的C3模塊中引入Res2Net殘差塊。這個(gè)改進(jìn)使得網(wǎng)絡(luò)在模塊級(jí)別上能夠提取更細(xì)粒度的多尺度特征,從而提高模型的檢測(cè)精度。最后,在模型推理階段,采用在線滑窗檢測(cè)算法,對(duì)高分辨率圖像進(jìn)行滑窗預(yù)測(cè),實(shí)現(xiàn)對(duì)整個(gè)高分辨率圖像的端到端預(yù)測(cè)。這樣可以更好地處理高分辨率圖像上的缺陷,并提高檢測(cè)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明,本研究提出的自適應(yīng)錨框匹配算法和C3模塊的優(yōu)化方案能夠有效提高YOLOv5算法在瓷磚缺陷檢測(cè)方面的性能。瓷磚表面缺陷檢測(cè)的精度由73.8%提升至80.0%;召回率由69.0%提升至78.1%; mAP50 由72.6%提升至80.5%;同時(shí),與其他主流算法相比,本研究具有更好的檢測(cè)效果和魯棒性。這些改進(jìn)措施有效地解決瓷磚缺陷漏檢和檢測(cè)精度低的問題。

        未來的工作可以考慮使用注意力機(jī)制和其他有效的策略進(jìn)一步優(yōu)化模型,以避免模型對(duì)背景中的小目標(biāo)產(chǎn)生誤檢,并進(jìn)一步提高缺陷檢測(cè)的準(zhǔn)確率。另外,還可以探索如何優(yōu)化高分辨率圖像的滑窗預(yù)測(cè)過程,以降低檢測(cè)時(shí)長(zhǎng),提高效率。

        猜你喜歡
        錨框瓷磚高分辨率
        基于YOLOv3錨框優(yōu)化的側(cè)掃聲吶圖像目標(biāo)檢測(cè)
        錨框策略匹配的SSD飛機(jī)遙感圖像目標(biāo)檢測(cè)
        基于SSD算法的輕量化儀器表盤檢測(cè)算法*
        基于GA-RoI Transformer的遙感圖像任意方向目標(biāo)檢測(cè)
        高分辨率合成孔徑雷達(dá)圖像解譯系統(tǒng)
        Dekorami瓷磚系列:以靜態(tài)時(shí)空講述瓷磚的故事
        比大小招數(shù)多
        高分辨率對(duì)地觀測(cè)系統(tǒng)
        太空探索(2015年8期)2015-07-18 11:04:44
        基于Curvelet-Wavelet變換高分辨率遙感圖像降噪
        高分辨率遙感相機(jī)CCD器件精密熱控制
        久久久精品少妇—二区| 亚洲国产精品一区二区第四页 | 国产AV无码一区精品天堂| 和少妇人妻邻居做爰完整版| 国产精品成人自拍在线观看| 亚洲av永久无码一区二区三区| 狠狠色狠狠色综合日日不卡| 久久亚洲av成人无码软件| 久久国产精品亚洲我射av大全| 日本国主产一区二区三区在线观看| 中文字幕高清不卡视频二区| 色综合av综合无码综合网站| 国产第19页精品| 国产V亚洲V天堂A无码| 亚洲中文字幕日本日韩| 中文字幕人乱码中文字幕乱码在线 | 亚洲不卡av不卡一区二区| 一区二区三区在线视频观看| 亚洲国产成人av在线观看 | 欧美精品AⅤ在线视频| 性色av一区二区三区密臀av| 中文字幕一区二区三区四区五区| 亚洲日本在线电影| 亚洲国产成人AⅤ片在线观看| 人妻体体内射精一区中文字幕 | a在线免费| 精品午夜中文字幕熟女| 色综合天天综合欧美综合| 久久人人玩人妻潮喷内射人人 | 人与禽交av在线播放| 91精品啪在线看国产网站| 国产精品日韩亚洲一区二区| 日韩精品综合一本久道在线视频| 无码国产精品一区二区免费模式| 国产最新AV在线播放不卡| 日韩人妻大奶子生活片| 国产精品久人妻精品老妇| 免费国精产品自偷自偷免费看| 国产亚洲曝欧美不卡精品| 亚洲美女毛多水多免费视频 | 少妇下蹲露大唇无遮挡|