崔俊佳,張 軍,莦茹茹,蔣 浩,廖宇軒,李光耀
(1.湖南大學(xué)汽車車身先進(jìn)設(shè)計制造國家重點(diǎn)實(shí)驗(yàn)室,長沙 410082;2.北京理工大學(xué)深圳汽車研究院(電動車輛國家工程實(shí)驗(yàn)室深圳研究院),深圳 518118)
為響應(yīng)國家可持續(xù)發(fā)展戰(zhàn)略,輕量化已經(jīng)成為節(jié)能減排的重要方式,特別在航空工業(yè)中,對航空飛行器每一克的自重都錙銖必較,對輕量化的需求十分迫切。針對輕量化需求,多種材料機(jī)身成為主流,由此誕生多種異種材料連接工藝。其中自沖鉚接在連接異種材料時穩(wěn)固可靠、方便快捷而備受關(guān)注。飛機(jī)蒙皮和骨架上,都會大面積運(yùn)用鉚接完成材料的連接。因此,針對自沖鉚接工藝產(chǎn)生的缺陷以及接頭性能評估的研究就顯得尤為重要。
國內(nèi)外學(xué)者針對自沖鉚接工藝進(jìn)行了較為全面的研究,Han等[1]以預(yù)應(yīng)變等級為變量,對SPR(Selfpiercing riveting)試件進(jìn)行剪切拉伸試驗(yàn)和疲勞試驗(yàn),得出預(yù)應(yīng)變等級同抗拉強(qiáng)度和疲勞壽命呈正相關(guān)。Rao等[2]研究了兩種不同搭接方式下碳纖維復(fù)材– AA6111鋁合金鉚接件的疲勞性能,試驗(yàn)結(jié)果表明鉚接件的釘頭高度對接頭的最大剪切載荷及失效時應(yīng)力循環(huán)次數(shù)有著顯著的影響。黎雄等[3]采用LS – DYNA軟件建立玻璃纖維增強(qiáng)熱塑性復(fù)合材料 (GFRTP)的自沖鉚接有限元模型,對SPR過程進(jìn)行數(shù)值模擬和試驗(yàn)驗(yàn)證,與金屬SPR接頭釘腿被下工件完全包裹而形成自鎖結(jié)構(gòu)不同,GFRTP工件SPR接頭的形成機(jī)理是釘腿穿透下工件而向外翻卷,與釘頭一起形成機(jī)械鎖。蔣浩等[4]采用電磁鉚接的方式探究了碳纖維–鋁合金電磁鉚接接頭的力學(xué)性能,當(dāng)以微觀組織等性能作為評價指標(biāo)時,最優(yōu)放電能量為5.0 kJ;當(dāng)以接頭剪切力作為評價指標(biāo)時,最優(yōu)放電能量為5.3 kJ。
針對自沖鉚接質(zhì)量檢測方法的研究也隨著自沖鉚接工藝的發(fā)展而逐漸深入。Han等[5]使用NDT(Non-Destructive-Testing)技術(shù)測試了一系列SPR接頭,研究得出對于一些有兩層或三層的鋁接頭,NDT技術(shù)可以檢測到壞的接頭,但是對于涉及非常薄的鋁板和鋼板的接頭,該方法的檢測精度還有待提高。Johnson等[6]引入機(jī)器視覺的方式,對鉚釘裝載是否到位、是否存在重復(fù)鉚接進(jìn)行監(jiān)控,并且提供了一些可確定鉚接面板厚度的方法,繼而避免一些可能會在強(qiáng)度和美觀方面損害機(jī)械自鎖結(jié)構(gòu)的故障發(fā)生。Haque等[7]研究了不同厚度的碳鋼板和不同硬度等級的鋼鉚釘鉚接時產(chǎn)生的力–位移特性曲線,將力–位移曲線分為四個不同的階段,并提出力–位移曲線可用于監(jiān)測相同工藝參數(shù)鉚接接頭質(zhì)量的可行性。
人工智能技術(shù)的逐步成熟和在制造業(yè)中的成功應(yīng)用,是制造業(yè)實(shí)現(xiàn)智能化的關(guān)鍵技術(shù)保障,目前越來越多基于人工智能的方法被運(yùn)用到無損檢測的領(lǐng)域。Zhao等[8]采用ANN(Artificial Neural Network)對自沖鉚接內(nèi)部自鎖結(jié)構(gòu)進(jìn)行預(yù)測,并對鉚釘、鉚模進(jìn)行最優(yōu)化匹配。Karathanasopoulos等[9]也提出類似的神經(jīng)網(wǎng)絡(luò)對廣泛可能的自穿鉚接場景下的成功接頭的形成進(jìn)行精確分類。蔣玲[10]構(gòu)建了兩種基于卷積神經(jīng)網(wǎng)絡(luò)的子圖像裂紋識別網(wǎng)絡(luò),并編寫遍歷搜索算法,將已構(gòu)建的基于子圖像的裂紋識別網(wǎng)絡(luò)的應(yīng)用范圍拓展到自沖壓鉚接全尺寸圖像的裂紋待檢測區(qū)域,完成自沖鉚接裂紋的自動識別。
雖然針對自沖鉚接工藝的研究比較充分,但針對其工藝產(chǎn)生的缺陷及其缺陷檢測方面的研究卻鮮見。本文針對自沖鉚接偏鉚缺陷提出了一種基于YOLOv5s加ResNet18的檢測算法。算法兼顧效率和正確率,并具有極高的魯棒性和遷移能力。
自沖鉚接的設(shè)備和鉚接過程如圖1所示。鉚接步驟主要可以分為4個階段:
圖1 自沖鉚接設(shè)備及流程圖Fig.1 Self-piercing riveting equipment and flow chart
(1)夾緊階段,壓邊圈對上板施加壓力,為固定鉚釘、上下板材和凹模之間提供下壓力;
(2)穿刺階段,鉚釘受力持續(xù)下降,刺穿上板,該環(huán)節(jié)鉚釘不會發(fā)生較大的形變,否則會影響自鎖結(jié)構(gòu)的形成;
(3)擴(kuò)張階段,鉚釘受力下降并受下板和鉚模的阻礙,擴(kuò)張變形,形成自鎖結(jié)構(gòu);
(4)卸載階段,鉚接完成,壓邊圈和沖頭上升,鉚接接頭卸力回彈。
本次試驗(yàn)所有圖像均由一款4800 W像素的CCD(Charge Coupled Device)工業(yè)相機(jī)采集得到。為避免偏鉚標(biāo)定時出現(xiàn)由圖像采集造成的誤差,所有圖像均在設(shè)備調(diào)試合適后,固定設(shè)備同一批次采集。采集設(shè)備如圖2所示,最上方為圖像采集設(shè)備和廣角鏡頭,中部為環(huán)狀補(bǔ)光燈,下方為鉚接工件。本次試驗(yàn)共采集了33個自沖鉚接件825張圖像數(shù)據(jù)。
圖2 視覺檢測平臺Fig.2 Platform of vision detection
采用厚度2 mm的5052鋁合金板 (下板)與3 mm的5083鋁合金板(上板)具體尺寸如圖3(a)所示,制作了3組正常件與3組偏鉚件,接頭形貌如圖3(b)所示。采用美國斯特朗公司生產(chǎn)的Instron 5985萬能試驗(yàn)機(jī)對樣件進(jìn)行2 mm/min的準(zhǔn)靜態(tài)剪切試驗(yàn) (圖3(c))得到表1的試驗(yàn)結(jié)果。偏鉚件相較于正常件最大剪切力下降了423.64 N,考慮到自沖鉚接作為車身或機(jī)身連接方式時總是成批使用,所以積累的力學(xué)性能下降會造成連接可靠性下降。
表1 最大剪切力Table 1 Maximum shear force
圖3 準(zhǔn)靜態(tài)剪切試驗(yàn)Fig.3 Quasi-static shear experiment
由于偏鉚程度過大時輪廓不能用標(biāo)準(zhǔn)圓擬合,所以需要一種適用性更廣泛的量化偏鉚方法。如圖4所示,首先標(biāo)出最大圓的最小外接矩形,通過該矩形找到最大圓圓心。然后以該圓心為中心,以最遠(yuǎn)距離、最近距離為半徑畫圓。所作兩圓應(yīng)該滿足以下條件:輪廓與最近距離圓有且只有一個相切點(diǎn),且輪廓上其余點(diǎn)均在最近距離圓外;與最遠(yuǎn)距離圓有且只有一個相切點(diǎn),且輪廓上其余點(diǎn)均在最遠(yuǎn)距離圓內(nèi)。最遠(yuǎn)距離圓直徑減去最近距離圓直徑的差值,即可量化鉚接接頭的偏鉚程度。為了消除圖像獲取、標(biāo)記軟件對圖像放大或縮小的影響,將直徑差值除以最大外接圓的最小外接矩形平均邊長,獲得一個無量綱的數(shù)。為了更加方便地表述偏鉚程度,在滿足自沖鉚接偏鉚程度從完全無偏鉚到極端偏鉚的情況下,將該數(shù)擴(kuò)大30倍,使該數(shù)處于0到10的區(qū)間,偏鉚程度P為
提及體育學(xué)科的核心素養(yǎng),簡單來說,就是自主健身,其核心能力則主要包括運(yùn)動認(rèn)知能力、健身實(shí)踐能力和社會適應(yīng)能力,而體育學(xué)科核心素養(yǎng)是對知識與技能、過程與方法、情感態(tài)度價值觀的整合,是以學(xué)生發(fā)展素養(yǎng)為核心價值追求。
圖4 偏鉚程度量化示意圖Fig.4 Quantification diagram of degree of partial riveting
式中,D1是最大距離圓直徑;D2是最小距離圓直徑;W是鉚接接頭外接矩形的寬;H是該矩形的高。將偏鉚程度按[0,3)、[3,6)、[6,10)分別劃分為正常件、良品和次品。
1.3.1 基于YOLOv5s的偏鉚檢測
YOLO是“You Only Look Once”的縮寫,是單階段端對端的目標(biāo)檢測算法,經(jīng)過訓(xùn)練的目標(biāo)檢測網(wǎng)絡(luò)可以根據(jù)圖像輸入直接輸出目標(biāo)邊界框和類別,兼具高效率和高精度,被廣泛應(yīng)用于工業(yè)質(zhì)量檢測及缺陷檢測中[11]。YOLOv5是該系列在開源網(wǎng)站維護(hù)較為活躍的網(wǎng)絡(luò)結(jié)構(gòu),其中YOLOv5s網(wǎng)絡(luò)參數(shù)量最小,算力要求小,檢測效率高。因此本文在偏鉚缺陷檢測上選用YOLOv5s網(wǎng)絡(luò),并在后續(xù)雙步檢測中,將YOLOv5s網(wǎng)絡(luò)進(jìn)行剪枝使其充當(dāng)一個單純的目標(biāo)檢測網(wǎng)絡(luò),不再兼顧分類任務(wù)。
YOLOv5s在對采集到的圖像分訓(xùn)練集和驗(yàn)證集進(jìn)行100輪訓(xùn)練后的結(jié)果如圖5所示。此處YOLOv5s采用CIOU Loss和BCE Loss來計算損失,后續(xù)網(wǎng)絡(luò)采用CrossEntropy Loss計算損失,可看出在3個損失中,無論是在訓(xùn)練集還是在測試集中,邊界盒損失和客觀性損失經(jīng)過一段急劇下降后,以相對平滑的曲線下降并最終呈現(xiàn)收斂的狀態(tài)。但是在驗(yàn)證集中的分類損失卻以一種極其夸張的反復(fù)跳躍逐步完成下降,并且最終也不收斂,處于反復(fù)的振蕩狀態(tài)。經(jīng)過100輪訓(xùn)練后,YOLOv5s雖然得到了一個接近于1的精度和召回率 (Recall),但是召回率和正確率始終處于一種振蕩狀態(tài)。召回率在50輪次左右甚至有接近30%的回撤。
圖5 YOLOv5s訓(xùn)練結(jié)果Fig.5 YOLOv5s training results
邊界盒損失和客觀性損失平滑下降并最終收斂于極小的值,由此可知YOLOv5s在找出鉚接接頭并框選出鉚接接頭區(qū)域的任務(wù)上表現(xiàn)優(yōu)秀。但是在鉚接接頭分類任務(wù)上表現(xiàn)卻不理想,最終實(shí)測可得95.18%的正確率。
1.3.2 基于ResNet18的偏鉚檢測
ResNet網(wǎng)絡(luò)[12]創(chuàng)造性地提出殘差結(jié)構(gòu),解決了在深度學(xué)習(xí)中當(dāng)網(wǎng)絡(luò)堆疊到一定深度會出現(xiàn)的梯度消失或梯度爆炸以及退化問題。在ResNet中按網(wǎng)絡(luò)結(jié)構(gòu)的深度又分為若干分支,本文采用網(wǎng)絡(luò)結(jié)構(gòu)最為簡單的ResNet18作為分類網(wǎng)絡(luò)。
本次試驗(yàn)用采用ResNet18網(wǎng)絡(luò)結(jié)構(gòu)對樣本數(shù)據(jù)進(jìn)行100輪訓(xùn)練。經(jīng)過100輪訓(xùn)練后,在訓(xùn)練集中的訓(xùn)練損失達(dá)到了0.00013862,在驗(yàn)證集中的準(zhǔn)確率達(dá)到91.46%,并且在10 ~ 50輪的時候準(zhǔn)確率有較大幅度的波動 (圖6)。
圖6 ResNet18訓(xùn)練結(jié)果Fig.6 ResNet18 training results
由于只采用一種深度學(xué)習(xí)網(wǎng)絡(luò)難以達(dá)到預(yù)期的目標(biāo),萌生出將自沖鉚接接頭檢測任務(wù)分為鉚接接頭檢出和分類兩個任務(wù),并由不同的方法分別完成,如圖7所示。使用YOLOv5和霍夫2-1圓檢測完成鉚接接頭檢出任務(wù),使 用ResNet18、VGG16和GooLeNet完成鉚接接頭分類。
圖7 檢測流程圖Fig.7 Detection process chart
1.4.1 鉚接接頭檢出
YOLOv5鉚接接頭檢出方法采用基于YOLOv5網(wǎng)絡(luò)修改完成,去掉原網(wǎng)絡(luò)的分類損失,不再進(jìn)行鉚接接頭分類,保留其中的客觀性損失和邊界盒損失,檢測圖像中是否存在鉚接接頭和鉚接接頭的具體位置。去掉YOLOv5網(wǎng)絡(luò)head部分中用以檢測小目標(biāo)的80×80檢測部分和用以檢測中等目標(biāo)的40×40檢測部分,僅保留用以檢測大目標(biāo)的20×20檢測部分。
經(jīng)過訓(xùn)練后特制YOLOv5網(wǎng)絡(luò)優(yōu)秀地完成了鉚接接頭檢測的任務(wù)(總共825張鉚接工件圖像),檢出825張鉚接接頭圖像,無漏檢無錯檢。檢出的鉚接接頭圖像完整、準(zhǔn)確,鉚接接頭基本以最大外圓的最小外接矩形裁剪完成。部分鉚接接頭圖像如圖8所示。
圖8 鉚接接頭類別Fig.8 Types of riveted joints
霍夫2-1圓檢測基本完成鉚接接頭檢測任務(wù) (總共825張鉚接工件圖像),但是出現(xiàn)了1漏檢和1錯檢,檢出823張鉚接接頭圖像。在被檢出的鉚接接頭圖像中同時存在著部分鉚接接頭并不是完整且準(zhǔn)確檢出的情況,如圖9所示。
圖9 霍夫檢測中不完整的鉚接接頭Fig.9 Incomplete riveted joint in Hough
由兩種方法對鉚接接頭檢出結(jié)果可知,定制的YOLOv5網(wǎng)絡(luò)在鉚接接頭檢出任務(wù)上的表現(xiàn)更好,檢出的鉚接接頭完整且準(zhǔn)確。霍夫2-1圓檢測在該任務(wù)上不僅沒法做到全部檢出,檢出的鉚接接頭存在殘缺的問題,而且檢出的鉚接接頭區(qū)域不夠準(zhǔn)確。但是兩種方法中,霍夫2-1圓檢測的檢測方法擁有更加樸素且可解釋的過程,所需要的計算量相較于YOLOv5網(wǎng)絡(luò)更少。在嚴(yán)格控制圖像采集環(huán)境和采集方法的工業(yè)化生產(chǎn)線上,霍夫2-1圓檢測具有超過YOLOv5深度學(xué)習(xí)網(wǎng)絡(luò)的潛力。
1.4.2 鉚接接頭分類
在上一步將鉚接接頭檢出的基礎(chǔ)上,需要對鉚接接頭進(jìn)行分類,以區(qū)分合格品、次品和殘品。常見的CNN(Convolutional neural networks)分類網(wǎng)絡(luò)的過程大致可以分為兩步,先通過若干層卷積層提取圖像深層特征,然后展開為全連接層,通過激活函數(shù)分別計算圖像所屬各個類別的可能性。不同的CNN分類網(wǎng)絡(luò)主要區(qū)別在于采用的特征提取卷積層結(jié)構(gòu)不同,所以本次試驗(yàn)采用3種常見的CNN分類網(wǎng)絡(luò)ResNet18、VGG16和GoogLeNet。
VGG網(wǎng)絡(luò)[13]在定位任務(wù)和分類任務(wù)中有著優(yōu)秀的表現(xiàn)。VGG16分別用霍夫2-1圓檢測和YOLOv5所檢測出的鉚接接頭圖像進(jìn)行訓(xùn)練,試驗(yàn)結(jié)果如圖10所示。其中呈下降趨勢的是訓(xùn)練集分類損失,呈上升趨勢的是驗(yàn)證集正確率,分類損失越低、正確率越高說明網(wǎng)絡(luò)對該分類任務(wù)的完成情況越好。VGG16在YOLOv5所采集的鉚接接頭數(shù)據(jù)集上表現(xiàn)相對較好,相較于在霍夫算法所采集的數(shù)據(jù)集上的表現(xiàn),訓(xùn)練集的分類損失更快下降,驗(yàn)證集的正確率更快上升。但VGG16網(wǎng)絡(luò)在訓(xùn)練過程中波動較大,分類損失和正確率都無法收斂。
圖10 VGG16訓(xùn)練結(jié)果Fig.10 VGG16 training results
GoogLeNet是一種包含Inception的深度卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)[12],能較好地完成分類和檢測任務(wù)。GoogLeNet分別用霍夫2-1圓檢測和YOLOv5所檢測出的鉚接接頭圖像進(jìn)行訓(xùn)練,試驗(yàn)結(jié)果如圖11所示。GoogLeNet在YOLOv5所采集的鉚接接頭數(shù)據(jù)集上表現(xiàn)相對較好,相較于在霍夫算法所采集的數(shù)據(jù)集上的表現(xiàn),其訓(xùn)練集分類損失幾乎全程都更小。但是在兩種數(shù)據(jù)上的驗(yàn)證集正確率都處于巨大的波動中,在YOLOv5采集的數(shù)據(jù)集上甚至在訓(xùn)練后期出現(xiàn)了接近30%的反彈。無論是分類損失還是正確率都處于一直振蕩狀態(tài)無法收斂,所以GoogLeNet網(wǎng)絡(luò)不能很好地完成該分類任務(wù)。
圖11 GoogLeNet訓(xùn)練結(jié)果Fig.11 GoogLeNet training results
ResNet18網(wǎng)絡(luò)試驗(yàn)結(jié)果如圖12所示。ResNet18在該分類任務(wù)上表現(xiàn)極好,無論是在YOLOv5或是霍夫算法采集的數(shù)據(jù)集上,訓(xùn)練集分類損失都能收斂到0,驗(yàn)證集正確率都能收斂到1,ResNet18網(wǎng)絡(luò)展現(xiàn)出了極好的分類效果。令人意外的是該網(wǎng)絡(luò)在第10輪訓(xùn)練時就在YOLOv5采集的數(shù)據(jù)集上達(dá)到了測試集分類誤差為0,驗(yàn)證集正確率為1的最好狀態(tài),擁有極快的收斂速度。并且在整個訓(xùn)練過程中網(wǎng)絡(luò)表現(xiàn)都很穩(wěn)定,沒有出現(xiàn)前兩種網(wǎng)絡(luò)的大幅振蕩,僅在YOLOv5數(shù)據(jù)集上訓(xùn)練初期和霍夫數(shù)據(jù)集上接近收斂時驗(yàn)證集正確率出現(xiàn)了5%左右的振蕩,訓(xùn)練集分類損失僅在急速下降末期和收斂前期出現(xiàn)了小幅振蕩。雖然ResNet18網(wǎng)絡(luò)在霍夫算法采集的數(shù)據(jù)集和在YOLOv5采集的數(shù)據(jù)集上均有優(yōu)秀的表現(xiàn),但是可以很明顯地看出YOLOv5采集的數(shù)據(jù)集在促進(jìn)ResNet18網(wǎng)絡(luò)快速收斂方面更有優(yōu)勢,無論是訓(xùn)練集分類損失還是驗(yàn)證集正確率ResNet18網(wǎng)絡(luò)在YOLOv5采集的數(shù)據(jù)集上的表現(xiàn)都更加優(yōu)秀。
圖12 ResNet18訓(xùn)練結(jié)果Fig.12 ResNet18 training results
由以上結(jié)果可知,在鉚接接頭分類任務(wù)中ResNet18表現(xiàn)最好。ResNet18相較于VGG16和GoogLeNet不僅最終結(jié)果達(dá)到了測試集分類損失0.000104128,測試集正確率100%,并且ResNet18的訓(xùn)練過程更平順,收斂速度更快。YOLOv5所采集的鉚接接頭數(shù)據(jù)集在3種深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程中都對霍夫2-1圓檢測的數(shù)據(jù)集有著不同程度的領(lǐng)先,這也從側(cè)面說明YOLOv5采集的鉚接接頭在質(zhì)量上更加完整和準(zhǔn)確。
Grad-CAM[14]使用任何目標(biāo)概念的梯度流到最后的卷積層,產(chǎn)生一個粗定位地圖,突出圖像中的重要區(qū)域,以預(yù)測該概念。Grad-CAM先獲取CNN網(wǎng)絡(luò)正向傳播的特征層,一般為最后一個卷積層的輸出,因?yàn)樵缴顚拥木矸e層抽象程度越高,語義信息越豐富,然后獲得未經(jīng)激活函數(shù)處理的網(wǎng)絡(luò)預(yù)測值y,從中分離出所需的分類類別yc。然后針對該分類反向傳播,獲取其針對目標(biāo)特征層每個通道的權(quán)重,再通過激活函數(shù)ReLu就可以獲得該圖像在分類下的Grad-CAM。
式中,A代表某個特征層,在本次試驗(yàn)中所用的是最后的一個卷積層;k代表特征層A中的第k個通道;c代表類別c;Ak代表特征層A中通道k的數(shù)據(jù);代表針對Ak的權(quán)重。
式中,yc代表網(wǎng)絡(luò)針對類別c預(yù)測的未經(jīng)激活函數(shù)處理的分?jǐn)?shù);代表特征層A在通道k中,坐標(biāo)為 (i,j)位置處的數(shù)據(jù);Z等于特征層的寬度和高度的乘積。
在單步檢測和雙步檢測中均采用了ResNet18,在單步檢測中ResNet18只能達(dá)到84.1%正確率,但在雙步檢測中正確率卻可以達(dá)到100%,如圖13所示。本試驗(yàn)保存了在訓(xùn)練過程中每一次訓(xùn)練后網(wǎng)絡(luò)的權(quán)重數(shù)據(jù),然后通過Grad-CAM對每個權(quán)重數(shù)據(jù)下ResNet18網(wǎng)絡(luò)對于圖像的側(cè)重進(jìn)行可視化顯示,最終結(jié)果如圖14和15所示??梢钥吹皆趩尾綑z測中,ResNet18雖然能夠找到鉚接接頭所在位置,但是其關(guān)注的都是鉚接接頭的局部信息,并且還會關(guān)注板料所擺放的夾角等無效信息。在單步檢測中,由于畫面含有許多無效信息,這些無效信息明顯干擾了ResNet18網(wǎng)絡(luò)對于鉚接接頭種類的判斷。在圖16中,由于雙步檢測將圖像除鉚接接頭外的區(qū)域全部裁剪丟掉,只保留接頭位置圖像。通過ResNet18網(wǎng)絡(luò)學(xué)習(xí),ResNet18網(wǎng)絡(luò)迅速找到鉚接接頭核心區(qū)域,它似乎明白了該分類任務(wù)的實(shí)質(zhì)就是找到鉚接接頭內(nèi)圓和外圓的關(guān)系。從最后一輪權(quán)重的3種分類的Grad-CAM圖像可以看出,ResNet18在尋找圖像重要區(qū)域的時候,并不是機(jī)械地將圖像中心區(qū)域設(shè)置為重要,而是將圖像核心區(qū)域隨著鉚接接頭內(nèi)圓位置而改變。
圖13 ResNet18單–雙步訓(xùn)練結(jié)果Fig.13 ResNet18 single-double step training results
圖14 ResNet18單步訓(xùn)練Grad-CAM圖像Fig.14 ResNet18 single step training Grad-CAM image
圖15 ResNet18雙步訓(xùn)練Grad-CAM圖像Fig.15 ResNet18 double step training Grad-CAM image
本試驗(yàn)研究了VGG16和ResNet18在雙步檢測中面對同樣的訓(xùn)練數(shù)據(jù)集出現(xiàn)巨大差異的原因,如圖16所示。VGG16不僅訓(xùn)練過程振蕩,最終結(jié)果也只達(dá)到97.5%的正確率。VGG16經(jīng)過50輪訓(xùn)練的Grad-CAM圖形如圖17所示,可以發(fā)現(xiàn)VGG16對合格件所采取預(yù)測策略令人非常迷惑,不對圖像某個通道側(cè)重,而是采取了均等權(quán)重的處理方式,在其看來圖像角點(diǎn)的信息和鉚接接頭所產(chǎn)生的信息是等價值的,但是很明顯圖像邊角的圖像信息不提供任何一點(diǎn)鉚接接頭是否偏鉚的判斷數(shù)據(jù)。并且在次品和殘品類別中,VGG16所側(cè)重的只是鉚接接頭核心區(qū)域的某一局部信息,并且該網(wǎng)絡(luò)更關(guān)注圖像上一小部分區(qū)域的信息。訓(xùn)練過程中Grad-CAM圖像側(cè)重區(qū)域的大幅度變動也解釋了為什么VGG16在訓(xùn)練過程中反復(fù)振蕩的問題,VGG16所迭代的策略比較激進(jìn),繼而會出現(xiàn)下一輪權(quán)重大面積推翻上一輪預(yù)測的情況。
圖16 ResNet18和VGG16雙步訓(xùn)練結(jié)果Fig.16 ResNet18 and VGG16 double step training results
圖17 VGG16雙步訓(xùn)練Grad-CAM圖像Fig.17 VGG16 double step training Grad-CAM image
(1)試驗(yàn)論證了偏鉚缺陷對自沖鉚接工件最大剪切力有負(fù)面影響,偏鉚件最大剪切力為7200.71 N,相較于正常件的7624.35 N,下降了5.6%。
(2)為了實(shí)現(xiàn)偏鉚缺陷的正確檢出,提出了剪枝后的YOLOv5s加ResNet18的檢測方案。單獨(dú)使用ResNet18時,驗(yàn)證集中的分類正確率達(dá)到91.46%;單獨(dú)使用YOLOv5s,驗(yàn)證集中的分類正確率達(dá)到95.18%。而當(dāng)將YOLOv5s裁剪掉分類功能和適配不同大小目標(biāo)的分支后,得到一個專用的自沖鉚接接頭檢測算法,再用ResNet18對裁剪出的鉚接接頭進(jìn)行分類,最后實(shí)現(xiàn)驗(yàn)證集中分類正確率達(dá)到100%。
(3)通過Grad-CAM解釋最終結(jié)果,ResNet18在雙步檢測中比單步檢測中有更少無關(guān)信息干擾,并且經(jīng)過YOLOv5s裁剪的鉚接接頭圖像能提供更多的鉚接接頭信息,使得雙步檢測中ResNet18能快速且正確地捕捉核心區(qū)域,并做出正確的分類預(yù)測。ResNet18擁有殘差模塊,能有效避免梯度消失;VGG16中沒有該結(jié)構(gòu),在提取圖像信息時,深層網(wǎng)絡(luò)受淺層網(wǎng)絡(luò)的影響權(quán)重快速消失,并不能提取到圖像深層信息,所以完成分類任務(wù)時效果不如ResNet18優(yōu)秀。