凌 強,劉 宇,王春舉,賀海東,孫立寧

(蘇州大學(xué) 機電工程學(xué)院,江蘇 蘇州 215137)

在雙碳大背景下,發(fā)展氫能已成為全球主要國家的共識,氫燃料電池產(chǎn)業(yè)同樣受到了高度重視。近年來,中國有關(guān)氫能和燃料電池相關(guān)的政策持續(xù)加碼,積極推進氫能及燃料電池的推廣和應(yīng)用。氫燃料電池產(chǎn)業(yè)鏈最主要、最核心的是燃料電池系統(tǒng),微流道雙極板作為新能源燃料電池的關(guān)鍵部件,起到均勻分配氣體、收集電流、冷卻和支撐等作用。其中金屬雙極板擁有較高的能量密度,并且具有優(yōu)異的導(dǎo)電、導(dǎo)熱性能,低成本、易加工,適合大規(guī)模批量生產(chǎn)。因此,研制高性能金屬雙極板是目前的重要發(fā)展方向。金屬雙極板的技術(shù)難點在于成形技術(shù)以及金屬雙極板表面處理技術(shù)[1],在眾多成形工藝中,精密沖壓成形具有高生產(chǎn)效率、低成本、成形精度好等優(yōu)點,成為金屬雙極板主要制造技術(shù)。然而,金屬雙極板沖壓成形后雙極板表面變形,流道深度不一致對其表面質(zhì)量造成了重大影響[2]。同時,受到實驗環(huán)境、機器磨損以及極板運輸操作不當(dāng)?shù)纫蛩氐挠绊?使得金屬雙極板的表面留下大量不同種類的缺陷[3]。這些缺陷有些存在于局部物理形態(tài)上的,如劃痕、褶皺、凹陷[4]等,還有一些表面缺陷涉及到化學(xué)性質(zhì)的不均勻,如夾雜、斑點[5]等大大的影響金屬雙極板的表面結(jié)構(gòu)及性能優(yōu)劣。所以,良好的金屬雙極板表面缺陷檢測技術(shù)能夠保證其表面質(zhì)量,對其生產(chǎn)方式和保存運輸具有重大意義。本文著重研究一種基于深度學(xué)習(xí)的缺陷檢測算法,在保證具有高檢測精度的同時能夠有高傳輸效率,且模型足夠輕量化能夠滿足部署移動端的需求。

隨著計算機視覺技術(shù)的發(fā)展,缺陷檢測可以分為兩個方向。一個是基于傳統(tǒng)圖像處理的方向,還有一個是基于深度學(xué)習(xí)的圖像檢測方向。

在傳統(tǒng)圖像處理中,Li等[6]提出了一種基于直方圖特征的缺陷分類算法,用于自動檢測圖案缺陷。Zhang[7]提出了一種結(jié)合LBP和GLCM的算法。利用LBP和GLCM分別提取缺陷圖像的局部特征信息和整體紋理信息。Halfawy等[8]提出了一種高效的模式識別算法,利用HOG和支持向量機(support vector machines,SVM)對管道缺陷進行自動化檢測和分類。特征提取方法多種多樣,各有優(yōu)缺點。對于具體的目視檢測項目,應(yīng)考慮特征提取方法是否充分利用全局信息,其計算是否方便,是否能滿足實時性需求等。

在深度學(xué)習(xí)中,主要有Faster RCNN、YOLO系列網(wǎng)絡(luò)、SSD網(wǎng)絡(luò)可應(yīng)用于缺陷檢測[9]。有研究者基于Faster RCNN進行缺陷檢測,如Zhou等[10]在Faster RCNN加入了可變形卷積。Wei等[11]在Faster RCNN 基礎(chǔ)上添加了視覺增益機制,通過視覺增益機制增加模型知覺的靈敏程度。Su等[12]基于Faster RCNN構(gòu)建了通道注意子網(wǎng)絡(luò)與空間注意子網(wǎng)絡(luò)連接的互補注意網(wǎng)絡(luò),用于表面缺陷檢測。YOLO[13]是一種基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別和定位算法,通過固定網(wǎng)格回歸進行目標(biāo)檢測。它的主要特點是運行速度快,可用于實時系統(tǒng)。YOLO基于回歸的思想,將整個圖像作為網(wǎng)絡(luò)的輸入,直接對圖像多個位置上的物體邊界和物體類別進行回歸。Adibhatla等[14]采用YOLO/CNN模型對PCB缺陷進行檢測,缺陷檢測準(zhǔn)確率達到98.79%。但是,該方法能夠檢測到的缺陷類型有限,需要進行優(yōu)化。Lv等[15]提出了一種基于YOLOv2[16]的鋼材表面缺陷檢測主動學(xué)習(xí)方法。該模型實現(xiàn)了高效率,但以犧牲精度為代價。Jing等[17]提出了一種改進的YOLOv3[18]模型,利用K-means算法對標(biāo)記數(shù)據(jù)進行聚類。實驗結(jié)果表明,改進的YOLOv3模型在織物疵點檢測中具有較好的性能。但是,實時性能還有待提高。YOLOv4[19]網(wǎng)絡(luò)作為一種基于回歸的檢測方法,具有良好的檢測速度。但對小目標(biāo)的檢測精度還有待提高。在檢測鐵片表面裂紋中,Deng等[20]提出了一種級聯(lián)YOLOv4 (C-YOLOv4)網(wǎng)絡(luò)。實驗結(jié)果表明,C-YOLOv4具有較好的魯棒性和裂紋檢測精度。SSD結(jié)合了YOLO和Faster R-CNN的一些策略,Zhai等[21]提出了一種基于DenseNet和特征融合的DF-SSD目標(biāo)檢測方法。實驗結(jié)果表明,所提出的DF-SSD方法在小物體和特定關(guān)系物體的檢測方面具有較高的性能。Li等[22]在SSD框架基礎(chǔ)上將淺層信息與深層特征融合進行缺陷檢測,效果優(yōu)于原SSD網(wǎng)絡(luò)。

本文提出的DN-YOLOv5算法對主干網(wǎng)絡(luò)進行了優(yōu)化和調(diào)整,大大減少了模型參數(shù),提升了網(wǎng)絡(luò)輕量化程度,能夠?qū)饘匐p極板表面缺陷圖像進行快速、精準(zhǔn)的檢測,另外本文的模型具有良好的魯棒性且模型較小,完全滿足輕量化模型部署到移動端的需求。

1 DN-YOLOv5網(wǎng)絡(luò)改進

1.1 輕量化主干網(wǎng)絡(luò)DN-YOLOv5結(jié)構(gòu)

YOLOv5是由輸入端、Backbone、Neck、Head構(gòu)成的。而DN-YOLOv5是在原YOLOv5的基礎(chǔ)上通過改進其Backbone主干網(wǎng)絡(luò)結(jié)構(gòu)得到的一種極其輕量化的網(wǎng)絡(luò)結(jié)構(gòu)。在DN-YOLOv5主干網(wǎng)絡(luò)中,考慮到計算參數(shù)量方便后期模型導(dǎo)出和部署,本文去除了頭部Focus特征提取模塊,將第1層CBS模塊采用16輸出3×3卷積核大小代替原先的64輸出6×6卷積核大小的CBS模塊。然后在接下來若干層中使用顯著減少參數(shù)量的深度可分離卷積模塊替代原先這種CSP/CBS特征提取模塊,在主干結(jié)構(gòu)末端添加NAM[23]注意力機制并仍以SPPF為封口模塊作為最終輸出。整個DN-YOLOv5的主干網(wǎng)絡(luò)結(jié)構(gòu)部分如圖1所示。

圖1 DN-YOLOv5主干網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure diagram of DN-YOLOv5 backbone network

1.2 深度可分離卷積替代CSP/CBS模塊

一般來說,隨著現(xiàn)在的模型特征提取能力的增加以及FLOP的數(shù)量越來越大,在移動端或CPU設(shè)備上實現(xiàn)快速推理速度會變得緩慢[24]。為實現(xiàn)在不增加模型參數(shù)計算量和盡可能降低延遲的情況下增強網(wǎng)絡(luò)特征提取能力。當(dāng)從ARM移動設(shè)備切換到Intel CPU設(shè)備上時,往往大部分的輕量級網(wǎng)絡(luò)不能滿足推理時間較少的要求。為了在不增加推理時間條件下進一步提升模型的性能,選取MobileNetV1[25]輕量化網(wǎng)絡(luò)中的DepthSepConv來作為基本模塊,這種深度可分離卷積模塊沒有shortcut操作,也沒有concat或elementwise-add這樣的額外操作,經(jīng)驗證這些操作不僅不會提升模型的準(zhǔn)確性,還會降低模型的推理速度。由于該模塊已被Intel CPU加速庫深度優(yōu)化,它的推理速度優(yōu)于大部分輕量化網(wǎng)絡(luò)模塊。一個深度可分離卷積層可選模塊包含關(guān)系如圖2所示。

圖2 深度可分離卷積模塊圖Fig.2 Depth separable convolution block diagram

1.3 主干網(wǎng)絡(luò)末端處添加NAM注意力機制

很多類似于CBAM[26]這樣的卷積塊注意力模塊都嵌入了通道和空間注意力子模塊,但是許多這樣的工作大多忽略了來自訓(xùn)練的調(diào)整權(quán)重的信息,所以想要利用訓(xùn)練模型權(quán)重的方差測量來突出顯著特征。而NAM作為一種高效、輕量級的注意力模塊,采用CBAM的模塊集成,并重新設(shè)計了通道和空間注意力子模塊。在上述可分離卷積模塊的輸出即主干網(wǎng)絡(luò)的末端將NAM注意力模塊嵌入,對于殘余網(wǎng)絡(luò),它嵌在殘余結(jié)構(gòu)的末端。對于通道注意力子模塊,使用批量歸一化(batch normalization,BN)[27]的比例系數(shù),如下式所示。這個比例系數(shù)可以測量通道的方差并體現(xiàn)其重要性。

(1)

式中:μβ、σβ分別為小批量β的平均值和標(biāo)準(zhǔn)偏差,γ、β分別為可訓(xùn)練的放射變化參數(shù)(尺度和位移)。通道注意力子模塊為(如圖3所示)

圖3 通道注意力機制Fig.3 Channel attention mechanism

Mc=sigmoid(Wγ(BN(F1)))

(2)

式中Mc為通道輸出特征。

γ是每個通道的比例系數(shù),得到的權(quán)重為Wγ=γi/Σj=0γj。將BN的比例系數(shù)應(yīng)用到空間維度中來衡量像素重要性并將其稱為像素歸一化。對應(yīng)的空間注意力子模塊為(如圖4所示)

圖4 空間注意力機制Fig.4 Spatial attention mechanism

Ms=sigmoid(Wλ(BNs(F2)))

(3)

式中:Ms為空間輸出特征,λ為比例系數(shù)。

1.4 重新定義的損失函數(shù)SIoU

YOLOv5采用CIoU損失函數(shù),傳統(tǒng)的目標(biāo)檢測損失函數(shù)依賴于邊界框回歸指標(biāo)的聚合,例如預(yù)測框和真實框(即GIoU、CIoU、ICIoU等)的距離、重疊區(qū)域和縱橫比。然而,目前使用的方法都沒有考慮到所需真實框與預(yù)測框間方向的不匹配。這種不足導(dǎo)致收斂速度較慢且效率較低,因為預(yù)測框可能在訓(xùn)練過程中“四處游蕩”并最終產(chǎn)生更差的模型。針對上述問題,采用SIoU損失函數(shù)替換原損失函數(shù)。

本文中的損失函數(shù)SIoU,考慮了期望回歸之間的向量角度,重新定義了損失指標(biāo)。應(yīng)用于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)集表明,SIoU提高了訓(xùn)練的速度和推理的準(zhǔn)確性。SIoU損失函數(shù)由4個函數(shù)組成:Angle cost,Distance cost,Shape cost,IoU cost。

1.4.1 Angle cost

添加這種角度感知LF組件背后的想法是最大限度地減少與距離相關(guān)的變量數(shù)量?；旧?模型將嘗試首先將預(yù)測帶到x或y軸(以最接近者為準(zhǔn)),然后沿著相關(guān)軸繼續(xù)接近,如圖5所示。為了實現(xiàn)這一點,通過下式來引入LF組件并評估損失。

圖5 損失函數(shù)中的角度損失Fig.5 Angle loss in loss function

(4)

1.4.2 Distance cost

考慮到上述定義的角度損失,重新定義距離損失為

(5)

圖6為真實邊界框距離計算方法和預(yù)測。

圖6 真實邊界框距離計算Fig.6 Calculation of true bounding box distance

1.4.3 Shape cost

形狀損失的函數(shù)定義為

(6)

1.4.4 IoU cost

定義的損失函數(shù)為

(7)

IoU組成作用關(guān)系如圖7所示。

圖7 IoU組成作用關(guān)系示意Fig.7 Schematic relation of IoU component contribution

2 模型訓(xùn)練、評估及對比實驗

2.1 缺陷數(shù)據(jù)集

本文的缺陷數(shù)據(jù)集使用500 W分辨率的HZ20-GS050GM的工業(yè)CMOS黑白全局快門相機以及FA-25-5MP的工業(yè)鏡頭來進行圖像的采集工作。使用COP-200B的同軸光源配合DBFL-160W120的直發(fā)背光源多角度混合光搭建最佳采集工作臺(盡可能的減小金屬表面反光的影響)。每張采集到的原始圖像尺寸大小為2 448×2 048,通過對原始圖像椒鹽添噪、高斯模糊、翻轉(zhuǎn)、平移、裁剪等多種數(shù)據(jù)擴增方式,得到了凹凸點、夾雜和劃痕三大類缺陷共600張的缺陷圖集,并用Labelimg對其進行標(biāo)注。數(shù)據(jù)集的部分樣本如圖8所示(由于本文中的檢測對象金屬雙極板流道區(qū)域受限于相關(guān)協(xié)議約束,故已作模糊虛化處理,僅展示金屬雙極板兩端檢測區(qū)域)。

圖8 缺陷數(shù)據(jù)集部分圖樣Fig.8 Partial pattern of defect data set

2.2 實驗環(huán)境與參數(shù)配置

本文采用的工作站是在Win10操作系統(tǒng)下且顯卡為RTX3080,基于Pycharm平臺,使用語言為Python3.9,Pytorch版本1.12.1,CUDA版本11.3.1來實現(xiàn)模型搭建以及訓(xùn)練工作。根據(jù)8∶1的比例,將金屬雙極板缺陷數(shù)據(jù)集劃分為訓(xùn)練集和測試集,見表1。

表1 金屬雙極板缺陷數(shù)據(jù)集劃分Tab.1 Defect data set division of metal bipolar plate

對模型參數(shù)初始化,設(shè)置學(xué)習(xí)率為0.01,訓(xùn)練epoch為300,batch-size為4,為了使訓(xùn)練圖像尺寸與相機實際采集到的圖像尺寸相符從而避免特征信息丟失最小化,故將圖片輸入尺寸設(shè)定為2 240×2 240。

2.3 模型評估

為了更加客觀精準(zhǔn)地評估網(wǎng)絡(luò)DN-YOLOv5在本文缺陷數(shù)據(jù)集上的檢測效果,本實驗采用平均精度均值map@0.5(IoU=0.5),混淆矩陣,PR曲線,Box,Objectness,Classfication訓(xùn)練Loss擬合圖多重指標(biāo)來進行模型的評估工作。如圖9所示是該模型的混淆矩陣圖,由圖中可知真實值與預(yù)測值較接近,其中凹凸點和劃痕正類樣本比分別為0.98,0.97,而夾雜達到了1.00,可見模型精確度較高。

圖9 模型混淆矩陣Fig.9 Model confusion matrix

模型的PR曲線如圖10所示,該曲線圖反應(yīng)的是精確率(Precision)和召回率(Recall)的相互關(guān)系,圖10反應(yīng)了模型評價標(biāo)準(zhǔn)中的多類別平均精度map@0.5,凹凸點、劃痕以及夾雜的map@0.5值分別為0.979,0.991,0.996,3種缺陷的平均map@0.5值達到了0.988,模型精準(zhǔn)度較高,性能良好。

圖10 模型PR曲線圖Fig.10 Model PR curve

如圖11所示,3個指標(biāo)Box,Objectness,Classification在經(jīng)歷300個epoch訓(xùn)練中能夠理想的擬合符合預(yù)期,精確率和召回率如下:

圖11 指標(biāo)Loss擬合圖Fig.11 Index Loss fitting diagram

(8)

(9)

式中,正類樣本占比較高。從圖11中Precision和Recall可知,單精確率和召回率都較高,該模型訓(xùn)練良好,具備優(yōu)異性能。

本文在NVIDIA GeForce RTX3080的顯卡環(huán)境下,對75張缺陷測試圖像進行檢測,部分檢測效果圖像如圖12～14所示,圖15為訓(xùn)練過程中多種缺陷的隨機混合測試圖,經(jīng)測試,75張缺陷圖像檢測共耗時7.51 s,模型每秒傳輸幀數(shù)為9.98,所有缺陷的真檢率為99.74%。

圖12 凹凸點檢測效果圖Fig.12 Bumppoint detection renderings

圖13 夾雜檢測效果圖Fig.13 Inclusion detection renderings

圖14 劃痕檢測效果圖Fig.14 Scratch detection renderings

2.4 消融實驗

2.4.1 NAM注意力機制對模型性能的改善

為了驗證主干網(wǎng)絡(luò)中的深度可分離卷積模塊和末端添加的NAM注意力機制分別在文中具有優(yōu)化改進作用,同時得出特征融合網(wǎng)絡(luò)DN-YOLOv5具備更佳的性能,本文進行了消融實驗。首先,通過對原YOLOv5主干網(wǎng)絡(luò)結(jié)構(gòu)末端添加NAM注意力機制和不添加NAM的情況進行了消融實驗。實驗表明,在原YOLOv5主干網(wǎng)絡(luò)中末端添加NAM注意力機制,模型參數(shù)減少了17.29%,每秒傳輸幀數(shù)增加了0.15,map值提升0.003,網(wǎng)絡(luò)輕量化得到改善,檢測率以及圖像傳輸效率提升,見表2。

2.4.2 DN-YOLOv5深度可分離卷積模塊融合末端NAM和SIoU對模型性能的改善

將深度可分離卷積模塊(DepthSepConv)替代原YOLOv5中的Backbone主干網(wǎng)絡(luò)部分,并在末端層插入NAM這種輕量、高效的注意力模塊,以SPPF為封口模塊作為輸出,并重新定義SIoU作為損失函數(shù)。在網(wǎng)絡(luò)中,利用更多淺層特征信息來檢測多目標(biāo)的同時加入NAM來增強檢測效果并進一步使得模型參數(shù)輕量化。本文分別進行了在DN-YOLOv5主干網(wǎng)絡(luò)末端層相同位置處添加SE、CBAM模塊與NAM做消融實驗,同時再結(jié)合SIoU損失函數(shù)對模型作出最后的完善。實驗表明,深度可分離卷積模塊在替代原YOLOv5主干網(wǎng)絡(luò)結(jié)構(gòu)后,其模型參數(shù)大大減小,網(wǎng)絡(luò)輕量化程度大幅提升,見表3。本文的DN-YOLOv5(DepthSepConv+NAM+SIoU)相較于在末端添加SE模塊,其模型參數(shù)減小了29.92%,每秒傳輸幀數(shù)提升0.07,map值基本持平,總體輕量化程度提升較高。相較于末端添加CBAM模塊,模型參數(shù)減小13.40%,每秒傳輸幀數(shù)提升0.14,map值略有提升。相較于原YOLOv5主干網(wǎng)絡(luò)結(jié)構(gòu),模型參數(shù)減小了52.13%,網(wǎng)絡(luò)輕量化程度得到大幅提升,且每秒傳輸幀數(shù)提升0.52,這對長時間、多數(shù)據(jù)的傳輸效率有很大改善,map值略有下降影響較小。

2.4.3 主流目標(biāo)檢測模型對缺陷真檢性能對比

主流目標(biāo)檢測模型與DN-YOLOv5對缺陷圖像檢測的性能對比見表4,由表4可知,DN-YOLOv5的真檢率為99.74%,誤檢、漏檢數(shù)量都小于其他主流目標(biāo)檢測模型,結(jié)合DN-YOLOv5中各模塊的性能對比可知,DN-YOLOv5針對該缺陷數(shù)據(jù)集的map值較高,模型性能較好。

表4 主流檢測模型性能對比Tab.4 Performance comparison of mainstream detection models

3 結(jié) 論

1)本文針對氫燃料電池中的金屬雙極板表面缺陷存在種類多、尺寸小對比不明顯、難檢、易誤檢漏檢、大參數(shù)量模型難部署等問題,提出了一種DN-YOLOv5輕量化網(wǎng)絡(luò)的缺陷檢測算法。

2)修改原YOLOv5主干網(wǎng)絡(luò)結(jié)構(gòu)和模塊數(shù)量,融合深度可分離卷積模塊,在主干網(wǎng)絡(luò)末端添加NAM注意力機制的操作來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),引入了SIoU作為新的損失函數(shù),提升了網(wǎng)絡(luò)檢測小目標(biāo)、多目標(biāo)檢測能力,大大減少了模型參數(shù)量,提升了網(wǎng)絡(luò)輕量化程度。

3)實驗表明,在NVIDIA GeForce RTX3080的顯卡環(huán)境下,75張缺陷圖像檢測共耗時7.51 s,模型每秒傳輸幀數(shù)為9.98,所有缺陷的真檢率為99.74%,故本文提出的DN-YOLOv5網(wǎng)絡(luò)算法能夠快速、準(zhǔn)確的檢測出金屬表面缺陷圖像,滿足輕量化模型部署移動端設(shè)備的要求。