何衛(wèi)隆，王平,2，張愛(ài)華,2，梁婷婷，馬強(qiáng)杰

(1.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，甘肅 蘭州 730050；2.甘肅省工業(yè)過(guò)程先進(jìn)控制重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州 730050)

焊接電弧是在一定的電壓、電流參數(shù)和環(huán)境條件下，在具有適當(dāng)距離的兩電極之間產(chǎn)生的強(qiáng)烈持久的氣體放電現(xiàn)象[1].電弧燃燒行為和形態(tài)變化會(huì)直接導(dǎo)致焊接電流和電弧電壓的動(dòng)態(tài)改變，進(jìn)而影響焊縫成形及焊接接頭質(zhì)量.對(duì)電弧形態(tài)及其動(dòng)態(tài)行為和特征參數(shù)進(jìn)行深入研究，可以實(shí)現(xiàn)對(duì)焊接質(zhì)量的監(jiān)測(cè)和控制[2].

應(yīng)用于4～5 mm窄坡口的超窄間隙焊接須先將特制焊劑帶置于坡口兩側(cè)壁，再對(duì)電弧加以約束以抑制側(cè)壁坡口電弧攀升，進(jìn)而有效控制電弧在坡口的加熱區(qū)域，使側(cè)壁根部熔合良好，線能量低至0.6kJ/mm，對(duì)熱輸入敏感的先進(jìn)材料焊接有重要的價(jià)值[3-4].在該方法中，焊劑片對(duì)電弧的約束效果是焊接好壞的關(guān)鍵.當(dāng)焊劑片的熔化面積小于焊劑片對(duì)電弧的固壁約束面積時(shí)，電弧約束良好、加熱集中且密度高，兩側(cè)熔合良好.焊劑片的熔化面積和焊劑片對(duì)電弧的固壁約束面積等價(jià)于焊劑片被熔化的高度和電弧的長(zhǎng)度[5].當(dāng)焊縫的底部側(cè)壁熔寬大于坡口寬度時(shí)，電弧能夠充分加熱坡口兩側(cè)壁和坡口根部，焊接接頭熔合良好，底部側(cè)壁熔寬由電弧寬度決定[6].在焊接過(guò)程中，當(dāng)坡口的寬度和焊劑片的融化高度已知時(shí)，在線定量監(jiān)測(cè)電弧長(zhǎng)和寬的動(dòng)態(tài)變化就能夠?qū)崟r(shí)感知焊縫的熔合狀態(tài)，實(shí)現(xiàn)焊接質(zhì)量的在線監(jiān)測(cè).

已有研究通過(guò)電弧形態(tài)來(lái)分析焊接過(guò)程的穩(wěn)定性，監(jiān)測(cè)焊接過(guò)程，尋找最佳焊接參數(shù)[7-8].在熔化極氣體保護(hù)焊中，電弧形態(tài)獲取以視覺(jué)傳感為主，電弧形態(tài)檢測(cè)的方法可以分為2個(gè)類(lèi)別：在線和離線.在線檢測(cè)方面，Li等[9]提出閾值分割的方法，在線檢測(cè)旋轉(zhuǎn)電弧窄間隙熔化極活性氣體保護(hù)焊(metal active gas arc welding, MAG)電弧中心坐標(biāo)和電弧面積以實(shí)時(shí)監(jiān)測(cè)焊接狀態(tài)；王聰?shù)萚10]提出水域分割的形態(tài)學(xué)處理方法，將在線提取的熔化極氣體保護(hù)焊(gas metal arc welding, GMAW)電弧的輪廓信息反饋至工控機(jī)以調(diào)整焊接參數(shù)；Jamrozik等[11]使用感興趣區(qū)域提取和閾值分割方法，結(jié)合簡(jiǎn)易相機(jī)標(biāo)定，粗略提取手工電弧焊中電弧的長(zhǎng)度，建立手工焊教學(xué)輔助系統(tǒng).離線檢測(cè)方面，程世佳等[12]對(duì)電弧圖像進(jìn)行二值化、閾值分割和邊緣提取后，獲得電弧關(guān)鍵點(diǎn)的像素坐標(biāo)，求得電弧面積和周長(zhǎng)；Zhu等[13]通過(guò)ImageJ軟件手動(dòng)測(cè)量鋁合金窄間隙GMAW焊接方法中電弧弧長(zhǎng)和電弧翹度，分析焊縫熔深和焊縫側(cè)壁熔深的關(guān)系.以上研究都是利用傳統(tǒng)的圖像處理算法，檢測(cè)速度最高只能達(dá)到10 幀/s，提取的形態(tài)特征有電弧弧長(zhǎng)、輪廓和中心坐標(biāo)等，很少有研究提取電弧的寬度.在線同時(shí)檢測(cè)電弧實(shí)際長(zhǎng)和寬的研究較少，關(guān)于定量描述電弧的長(zhǎng)和寬，Jamrozik等[11]所提標(biāo)定方法的測(cè)量精度無(wú)法滿(mǎn)足要求.隨著Faster R-CNN[14]、SDD[15]、YOLO系列[16-19]等目標(biāo)檢測(cè)網(wǎng)絡(luò)的出現(xiàn)，采用檢測(cè)錨框的高和寬分別表示電弧的長(zhǎng)和寬來(lái)檢測(cè)電弧形態(tài)的方法使電弧形態(tài)在線檢測(cè)成為可能.目標(biāo)檢測(cè)網(wǎng)絡(luò)在實(shí)際工業(yè)問(wèn)題中已經(jīng)有廣泛應(yīng)用，郝琨等[20]通過(guò)改進(jìn)Mobilenet-YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)，實(shí)現(xiàn)水下生物檢測(cè)；董紅召等[21]在YOLOv5網(wǎng)絡(luò)中添加角度預(yù)測(cè)分支，解決了再生物品分揀場(chǎng)景中旋轉(zhuǎn)目標(biāo)難檢測(cè)的問(wèn)題.

電弧是高速運(yùn)動(dòng)的對(duì)象，要求網(wǎng)絡(luò)檢測(cè)速度快且易部署在工業(yè)現(xiàn)場(chǎng).現(xiàn)有的目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，精度和速度無(wú)法同時(shí)滿(mǎn)足要求.本研究在YOLOv5s網(wǎng)絡(luò)的基礎(chǔ)上提出超窄間隙焊接電弧形態(tài)在線檢測(cè)網(wǎng)絡(luò)YOLO-SEC主要工作如下：1) 建立超窄間隙電弧數(shù)據(jù)集LUT-Arc.2) 設(shè)計(jì)ADShufflenet、LC3和Conv-Maxpool模塊，使用單檢測(cè)層推理結(jié)構(gòu)，降低原網(wǎng)絡(luò)的計(jì)算量和參數(shù)量，提高網(wǎng)絡(luò)推理速度.3) 使用k-means+算法聚類(lèi)數(shù)據(jù)集的預(yù)設(shè)錨框，引入定位損失函數(shù)EIoU[22]，提高檢測(cè)錨框約束電弧的精準(zhǔn)度.4) 在預(yù)測(cè)框繪制函數(shù)中，引入單目線性相機(jī)標(biāo)定算法，實(shí)現(xiàn)電弧尺寸的定量描述.

1 系統(tǒng)流程

本研究通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)錨框的高和寬代替電弧的長(zhǎng)和寬，實(shí)現(xiàn)電弧形態(tài)的在線定量檢測(cè)，檢測(cè)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練是實(shí)現(xiàn)電弧形態(tài)準(zhǔn)確檢測(cè)的關(guān)鍵.如圖1所示，焊接電弧形態(tài)檢測(cè)的流程為1）通過(guò)數(shù)據(jù)采集系統(tǒng)采集電弧視頻，進(jìn)行分幀、增強(qiáng)和標(biāo)注處理，建立數(shù)據(jù)集；2）根據(jù)電弧圖像特點(diǎn)，設(shè)計(jì)并訓(xùn)練YOLO-SEC；3）在電弧目標(biāo)檢測(cè)平臺(tái)上運(yùn)行YOLO-SEC，對(duì)新的電弧圖像進(jìn)行在線處理，實(shí)現(xiàn)在線檢測(cè).

圖1 焊接電弧形態(tài)檢測(cè)流程Fig.1 Process of welding arc shape detection

2 電弧圖像獲取和數(shù)據(jù)集構(gòu)建

2.1 數(shù)據(jù)采集平臺(tái)

圖像采集和現(xiàn)場(chǎng)實(shí)驗(yàn)在超窄間隙焊接平臺(tái)上完成，焊接對(duì)象是長(zhǎng)為20 cm的低碳鋼試樣.焊接工藝參數(shù)如表1所示，其中bg為試樣坡口寬度,U為焊接電壓，vf 為送絲速度，v為焊接速度.工況1代表正常工況，工況2代表異常工況，電弧圖像數(shù)據(jù)在這2種工況下隨機(jī)獲取.如圖2所示，焊接電弧圖像采集系統(tǒng)主要由焊接電源、焊接機(jī)構(gòu)、PLC、工控機(jī)、數(shù)據(jù)采集卡、高速相機(jī)和圖像處理計(jì)算機(jī)組成.相機(jī)選用CrashCam 4010高速相機(jī)，為了確保電弧圖像的一致性，設(shè)定光圈大小為F8，曝光時(shí)間為10 us，并配備810±10 nm濾光片和UV鏡.在進(jìn)行電弧采集時(shí)，鏡頭和焊道水平距試樣35 cm，相機(jī)和焊槍由PLC控制進(jìn)行同步運(yùn)動(dòng).

表1 焊接實(shí)驗(yàn)的工藝參數(shù)Tab.1 Process parameters of welding experiment

圖2 焊接電弧圖像采集系統(tǒng)示意圖Fig.2 Diagram of welding arc image acquisition system

2.2 超窄間隙焊接電弧數(shù)據(jù)集

構(gòu)建超窄間隙焊接電弧數(shù)據(jù)集LUT-Arc.電弧形態(tài)會(huì)隨著焊接工況的變化而變化，為了提高網(wǎng)絡(luò)泛化能力和魯棒性，設(shè)定如圖3所示的4種電弧圖像類(lèi)型.電弧前景和背景的區(qū)分度大，少量數(shù)據(jù)就可以訓(xùn)練出高精度的檢測(cè)網(wǎng)絡(luò)，因此隨機(jī)選擇415張采集圖像，以旋轉(zhuǎn)和加噪聲的方式進(jìn)行數(shù)據(jù)增強(qiáng)，最終得到1 245張圖片，使用Labelimg標(biāo)注圖像，按照8∶2隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集，數(shù)據(jù)集不同類(lèi)型電弧的數(shù)量N如表2所示.

表2 LUT-Arc數(shù)據(jù)集焊接電弧類(lèi)型構(gòu)成Tab.2 LUT-Arc data set welding arc type composition

圖3 LUT-Arc數(shù)據(jù)集中典型焊接電弧圖像Fig.3 Typical welding arc images in LUT-Arc data set

3 YOLO-SEC電弧形態(tài)檢測(cè)網(wǎng)絡(luò)

電弧形態(tài)在線定量檢測(cè)的關(guān)鍵是檢測(cè)網(wǎng)絡(luò)對(duì)電弧定位的準(zhǔn)確性和高效性.將多目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv5s直接用于電弧形態(tài)檢測(cè)任務(wù)，面臨以下問(wèn)題：網(wǎng)絡(luò)的主干網(wǎng)絡(luò)層數(shù)深、檢測(cè)層數(shù)量多，計(jì)算量過(guò)剩，導(dǎo)致網(wǎng)絡(luò)體積大，檢測(cè)速度慢；電弧預(yù)測(cè)錨框定位精度低，錨框的寬和高以像素點(diǎn)表示，電弧的長(zhǎng)、寬無(wú)法量化.本研究在YOLOv5s網(wǎng)絡(luò)（5.0版本）的基礎(chǔ)上設(shè)計(jì)檢測(cè)器，具體過(guò)程如下.

1) 通過(guò)設(shè)計(jì)3種輕量化模塊Conv-Maxpool、AD-Shufflenet和LC3，分別替代骨干網(wǎng)絡(luò)(Backbone)中的Focus模塊、C3模塊和頸網(wǎng)絡(luò)(Neck)中的C3模塊.裁剪原網(wǎng)絡(luò)的檢測(cè)層，降低參數(shù)量，提高檢測(cè)速度.

2) 提出k-means+算法對(duì)LUT-Arc數(shù)據(jù)集預(yù)設(shè)錨框重新聚類(lèi)，引入定位損失函數(shù)EIoU.在不影響網(wǎng)絡(luò)體積及推理速度的情況下，提高電弧的定位精度.

3) 針對(duì)電弧長(zhǎng)和寬無(wú)法量化的問(wèn)題，將單目線性相機(jī)標(biāo)定算法加入預(yù)測(cè)框繪制函數(shù)，在焊接前標(biāo)定出真實(shí)點(diǎn)和像素點(diǎn)的對(duì)應(yīng)關(guān)系.

3.1 YOLOv5s網(wǎng)絡(luò)介紹

如圖4所示，YOLOv5s目標(biāo)檢測(cè)網(wǎng)絡(luò)由輸入端、骨干網(wǎng)絡(luò)、路徑聚合網(wǎng)絡(luò)[23]和檢測(cè)端組成.輸入端對(duì)電弧圖像進(jìn)行數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算；骨干網(wǎng)絡(luò)采用CSPDarknet53[24]網(wǎng)絡(luò)結(jié)構(gòu)，在不同的圖像粒度上聚合形成圖像特征；路徑聚合網(wǎng)絡(luò)對(duì)提取的圖像特征進(jìn)行拼接并傳輸?shù)綑z測(cè)端；檢測(cè)端對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框和預(yù)測(cè)類(lèi)別.

圖4 基線網(wǎng)絡(luò)YOLOv5s的結(jié)構(gòu)圖Fig.4 Structure diagram of baseline network YOLOv5s

3.2 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

3.2.1 LC3模塊和Conv-Maxpool模塊設(shè)計(jì) 在YOLOv5s中，C3模塊實(shí)現(xiàn)在骨干網(wǎng)絡(luò)和頸網(wǎng)絡(luò)中提取特征，如圖5(a)所示，它有2條分支，分支1先通過(guò)卷積層(斜底紋方塊)降低通道數(shù)量，再經(jīng)過(guò)多個(gè)Bottleneck模塊(豎底紋方塊)；分支2只經(jīng)過(guò)卷積層降低通道數(shù)量.將2個(gè)分支的輸出進(jìn)行Concat，再經(jīng)過(guò)卷積層后輸出.Concat是將2路特征圖進(jìn)行張量拼接，實(shí)現(xiàn)通道信息融合的操作，該操作雖然能夠豐富語(yǔ)義特征，但會(huì)增加特征圖的維度，增加計(jì)算量.在頸網(wǎng)絡(luò)中，輸入特征圖經(jīng)主干網(wǎng)絡(luò)完成特征提取，特征圖語(yǔ)義趨于類(lèi)似，因此使用Add操作代替Concat操作.Add操作是張量相加，不會(huì)擴(kuò)充維度，比Concat操作更節(jié)省參數(shù)和計(jì)算量.基于此，創(chuàng)建如圖5(b)所示的LC3模塊，替換頸網(wǎng)絡(luò)中的C3模塊，使網(wǎng)絡(luò)輕量化.

圖5 C3模塊和LC3模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of C3 module and LC3 module

原網(wǎng)絡(luò)中Focus模塊是對(duì)輸入圖片進(jìn)行切片處理，將W-H平面上的信息轉(zhuǎn)換到通道維度，再用3×3的卷積提取特征，如圖6(a)所示.Focus模塊包含大量的Concat操作，使計(jì)算量增加，對(duì)輕量化網(wǎng)絡(luò)不友好.基于此，設(shè)計(jì)如圖6(b)所示的Conv-Maxpool模塊，先對(duì)特征圖進(jìn)行卷積，再進(jìn)行最大池化下采樣，實(shí)現(xiàn)與Focus模塊相同的作用，但參數(shù)量降低了1/5.

圖6 Focus模塊和Conv-Maxpool模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure of Focus module and Conv-Maxpool module

3.2.2 AD-Shufflenet主干網(wǎng)絡(luò)設(shè)計(jì) AD-Shufflenet

模塊由高性能神經(jīng)網(wǎng)絡(luò)Shufflenet V2[25]架構(gòu)改進(jìn)而來(lái)，用作新網(wǎng)絡(luò)的主干模塊.如圖7所示，Shufflenet v2包含2個(gè)基本單元，其中一個(gè)實(shí)現(xiàn)特征提取，是主干單元；另一個(gè)進(jìn)行2倍下采樣，提升通道數(shù)量，增加特征的豐富性.Shufflenet V2主要結(jié)構(gòu)包括通道分割(channel split)、逐通道卷積(depthwise convolution, DWConv)和通道混洗(channel shuffle).通道混洗包含分組卷積操作(group convolution, GConv) ，通道分割將輸入特征的通道數(shù)一分為二，逐通道卷積是分組卷積的分組數(shù)等于通道數(shù)的特例.分組卷積會(huì)大幅降低卷積層的參數(shù)量，假設(shè)輸入的特征圖大小為W×H×C，卷積核的大小為k×k，卷積核的個(gè)數(shù)為n.傳統(tǒng)卷積層的參數(shù)量NPC滿(mǎn)足

圖7 Shufflenet V2模塊和AD-Shufflenet V2模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Network structure of Shufflenet V2 module and AD-Shufflenet V2 module

分組卷積是將輸入特征圖分小組后按小組單獨(dú)進(jìn)行卷積計(jì)算（假設(shè)分組數(shù)為g，則每小組的特征圖大小為W×H×C/g，對(duì)應(yīng)小組需要卷積核的空間大小為k×k×n/g），最后將各個(gè)小組進(jìn)行拼接.分組卷積的卷積層參數(shù)NPG滿(mǎn)足：

對(duì)比式(1)和(2)可以看出，分組卷積將傳統(tǒng)卷積的參數(shù)量壓縮至原來(lái)的1/g.由于分組卷積各小組彼此沒(méi)有信息交流，通道混洗實(shí)現(xiàn)了跨小組的信息融合，增強(qiáng)了信息表達(dá)能力.

根據(jù)輕量級(jí)網(wǎng)絡(luò)的設(shè)計(jì)準(zhǔn)則“當(dāng)網(wǎng)絡(luò)的輸出通道和輸入通道相同時(shí)，計(jì)算機(jī)的內(nèi)存占用最低”可以確定，在Shufflenet V2的2個(gè)基本單元中，逐通道卷積前后的1×1普通卷積的作用是增強(qiáng)逐通道卷積通道間信息融合的能力，但是前后重復(fù)使用存在冗余，為此將后面的1×1卷積裁剪掉，降低網(wǎng)絡(luò)的計(jì)算量.分析Shufflenet V2的計(jì)算量分布發(fā)現(xiàn)，逐通道卷積的計(jì)算量占比較小，再根據(jù)式(2)可知，逐通道卷積上卷積核的大小對(duì)卷積層計(jì)算量的影響較小，因此將3×3卷積核改為5×5卷積核，以提高網(wǎng)絡(luò)特征提取的能力.裁剪和修改的模塊如圖7中虛線框所示.通過(guò)卷積核的裁剪和放大分別改進(jìn)Shufflenet V2網(wǎng)絡(luò)的基本單元1和基本單元2得到的AD-Shufflenet模塊如圖7(d)所示.

3.2.3 單檢測(cè)層設(shè)定和k-means+錨框聚類(lèi) 基線網(wǎng)絡(luò)共有3個(gè)檢測(cè)層.當(dāng)輸入的圖像尺寸為640×640時(shí)，路徑聚合網(wǎng)絡(luò)輸出分辨率分別為20×20、40×40、80×80的3個(gè)融合特征圖，檢測(cè)層分別預(yù)測(cè)大、中、小3種尺度的目標(biāo).考慮到電弧圖像普遍較小且比較均衡，為了使網(wǎng)絡(luò)輕量化，只保留80×80的小目標(biāo)檢測(cè)層.該檢測(cè)層由主干網(wǎng)絡(luò)輸出和第2個(gè)AD-Shufflenet模塊的輸出特征融合組成.

檢測(cè)層設(shè)定完成后，須設(shè)定預(yù)設(shè)錨框(bboxes)的尺寸.YOLOv5s采用k-means算法聚類(lèi)數(shù)據(jù)集得到預(yù)設(shè)錨框，并采用變異遺傳算法在聚類(lèi)過(guò)程中調(diào)整錨框.k-means算法用歐氏距離度量bboxes到每個(gè)簇的距離，較大邊界框的尺寸誤差比較小邊界框的大.為了提高聚類(lèi)效率，優(yōu)化k-means算法，提出k-means+算法.為了使邊界框交并比的大小與邊界框尺寸無(wú)關(guān)，根據(jù)交并比的重疊度選取更優(yōu)錨框

式中：L為樣本點(diǎn)到聚類(lèi)中心的距離，A為樣本框大小，B為聚類(lèi)框大小，U為聚類(lèi)邊界框和聚類(lèi)中心框的交并比.k-means+算法步驟如下: 1) 在所有的bboxes中隨機(jī)挑選k個(gè)作為簇的中心，本研究取k=3；2) 按式(3)計(jì)算每個(gè)bboxes離每個(gè)簇的距離，計(jì)算最近的簇中心，并分配到最近的簇中；3) 根據(jù)每個(gè)簇中的bboxes重新計(jì)算簇中心；4) 重復(fù)步驟3）、4），直到每個(gè)簇中元素不在發(fā)生變化.如表3所示為k-mans與k-means+的聚類(lèi)效果對(duì)比.可以看出，k-means+算法的錨框的適應(yīng)度F和召回準(zhǔn)確率RP均優(yōu)于k-mean算法，與k-means+遺傳算法的聚類(lèi)效果相當(dāng)，但是k-means+算法在聚類(lèi)效率方面占優(yōu).

3.3 定位損失函數(shù)的改進(jìn)

在電弧形態(tài)檢測(cè)網(wǎng)絡(luò)中，預(yù)測(cè)框準(zhǔn)確度直接決定檢測(cè)精度，在目標(biāo)檢測(cè)網(wǎng)絡(luò)中，預(yù)測(cè)框準(zhǔn)確度由定位損失函數(shù)決定.YOLOv5s采用CIoU[26]損失函數(shù).CIoU考慮重疊面積、中心點(diǎn)距離和寬高，但無(wú)法準(zhǔn)確描述真實(shí)框和預(yù)測(cè)框長(zhǎng)寬之間的差異.EIoU優(yōu)化CIoU，以邊長(zhǎng)損失代替長(zhǎng)寬比損失項(xiàng).本研究使用EIoU作為YOLO-SEC的定位損失函數(shù).

EIoU損失函數(shù)示意圖如圖8所示，實(shí)線框表示目標(biāo)的真實(shí)框，wgt、hgt和bgt分別為其寬、高和中心點(diǎn)；虛線框?yàn)轭A(yù)測(cè)框，w、h、b分別為其寬、高和中心點(diǎn)；雙實(shí)線框?yàn)轭A(yù)測(cè)框和真實(shí)框的最大外接矩形，cw、和c分別為其寬、高和對(duì)角線長(zhǎng)度.中心點(diǎn)損失Ldis通過(guò)歸一化中心點(diǎn)的距離，給電弧分配更近的預(yù)測(cè)框，提高中心點(diǎn)的定位精度，邊長(zhǎng)損失Lasp直接減小預(yù)測(cè)框B和真實(shí)框Bgt的高度和寬度的差異，使預(yù)測(cè)框回歸更精確.

3.4 預(yù)測(cè)框繪制函數(shù)的改進(jìn)

YOLO-SEC的預(yù)測(cè)定位錨框由預(yù)測(cè)框繪制函數(shù)plot_one_box以像素為單位繪制并顯示，定量檢測(cè)的關(guān)鍵是得到電弧的實(shí)際尺寸.本研究在plot_one_box中加入基于單目視覺(jué)的線性相機(jī)標(biāo)定，該方法可以求出世界坐標(biāo)系（電弧前平面）到圖像坐標(biāo)系（電弧像平面）轉(zhuǎn)換的隱參數(shù)矩陣M[27].設(shè)預(yù)測(cè)錨框左上角點(diǎn)A和左下角點(diǎn)B的像素坐標(biāo)分別為(u1,v1)和(u2,v2)，電弧長(zhǎng)度d的計(jì)算過(guò)程如下.

1) 建立相機(jī)內(nèi)外參數(shù)模型

2) 將標(biāo)定板與焊絲共面，世界坐標(biāo)系建立于標(biāo)定板上，則zw=0，將式(8)簡(jiǎn)化代入式(7)，得到

m9=pz≠0，消去zc并除以m9，得到

3) 基于harris亞像素角點(diǎn)提取方法搜索并識(shí)別角點(diǎn)，通過(guò)特征點(diǎn)的像素坐標(biāo)與已知的世界坐標(biāo)求解隱參數(shù)矩陣M，

4) 由式(10)和(11)得到特征點(diǎn)圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為

特征點(diǎn)的世界坐標(biāo)為

5)將點(diǎn)A、B像素坐標(biāo)代入式(13)，得到世界坐標(biāo)分別為(xw1,yw1)，(xw2,yw2)，則電弧長(zhǎng)度

為了驗(yàn)證線性相機(jī)標(biāo)定方法的性能，探究測(cè)量長(zhǎng)度、標(biāo)定板角點(diǎn)數(shù)量對(duì)測(cè)量結(jié)果的影響，實(shí)驗(yàn)結(jié)果如圖9所示.在角點(diǎn)個(gè)數(shù)NCP＞10的前提下，任意變化測(cè)量長(zhǎng)度lm，標(biāo)定算法都比較穩(wěn)定且精度較高.為了驗(yàn)證標(biāo)定算法的精度，選用尺寸符合國(guó)標(biāo)的螺絲、螺母和焊絲作為參照物進(jìn)行多次如圖10所示的測(cè)量試驗(yàn)，結(jié)果如表4所示.實(shí)際長(zhǎng)度l和測(cè)量長(zhǎng)度lm的平均相對(duì)誤差E＜0.5%，說(shuō)明該方法具有較高的精度.

表4 不同參照物實(shí)際測(cè)量結(jié)果Tab.4 Actual measurement results of different reference objects

圖9 不同變量對(duì)標(biāo)定方法性能影響的測(cè)試結(jié)果Fig.9 Test results of effects for different variables on performance of calibration method

圖10 不同參照物實(shí)際標(biāo)定圖像Fig.10 Actual calibration images of different reference objects

YOLO-SEC的網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示.骨干網(wǎng)絡(luò)由Conv-Maxpool模塊和16個(gè)AD-Shufflenet模塊組成，實(shí)現(xiàn)特征提取.頸網(wǎng)絡(luò)由1個(gè)Conv模塊、1個(gè)Upsamping模塊和1個(gè)Concat模塊組成，實(shí)現(xiàn)特征的聚合與拼接.LC3模塊為電弧檢測(cè)端，對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框和預(yù)測(cè)類(lèi)別.

圖11 YOLO-SEC的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.11 Network structure diagram of YOLO-SEC

4 實(shí)驗(yàn)和分析

4.1 實(shí)驗(yàn)環(huán)境和評(píng)價(jià)指標(biāo)

采用Pytorch-1.7.1深度學(xué)習(xí)框架，操作系統(tǒng)為Windows10，GPU為NVIDA RTX 1050，處理器為Intel(R) Core(TM) i5-9300H 2.40 GHz，對(duì)YOLO-SEC和對(duì)比網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，訓(xùn)練過(guò)程中所有網(wǎng)絡(luò)均不使用預(yù)訓(xùn)練模型.圖像的大小為640×640，批量大?。╞atch size）為8，訓(xùn)練迭代次數(shù)（epoch）為200.采用Adam優(yōu)化，初始學(xué)習(xí)率（learning rate）為0.01.

實(shí)驗(yàn)采用準(zhǔn)確率P、召回率R、平均精度均值mAP0.5[28]作為網(wǎng)絡(luò)精度的評(píng)價(jià)指標(biāo).其中mAP0.5為所有類(lèi)別AP的均值，通常作為評(píng)估精度的綜合指標(biāo).此外，本研究使用網(wǎng)絡(luò)單張圖片推理時(shí)間t、參數(shù)量NPC、浮點(diǎn)型計(jì)算量FLOPs及網(wǎng)絡(luò)體積V來(lái)評(píng)估網(wǎng)絡(luò)的輕量化程度.

4.2 消融實(shí)驗(yàn)

設(shè)計(jì)消融實(shí)驗(yàn)探究所提出的改進(jìn)對(duì)網(wǎng)絡(luò)性能的影響.以YOLOv5s網(wǎng)絡(luò)為基礎(chǔ)，將Focus模塊替換為Conv-Maxpool模塊的網(wǎng)絡(luò)稱(chēng)為YOLO-SECA；以YOLO-SEC-A為基礎(chǔ)，將Shufflenet V2作為主干網(wǎng)絡(luò)的網(wǎng)絡(luò)稱(chēng)為YOLO-SEC-B；以YOLOSEC-B為基礎(chǔ)，將改進(jìn)后的AD-Shufflenet模塊作為主干網(wǎng)絡(luò)的網(wǎng)絡(luò)稱(chēng)為YOLO-SEC-C；在YOLOSEC-C網(wǎng)絡(luò)的基礎(chǔ)上將頸網(wǎng)絡(luò)中的C3模塊替換為L(zhǎng)C3模塊，得到的網(wǎng)絡(luò)稱(chēng)為YOLO-SEC-D；將YOLO-SEC-D網(wǎng)絡(luò)的定位損失函數(shù)修改為EIoU，得到的網(wǎng)絡(luò)稱(chēng)為YOLO-SEC-E；將YOLO-SEC-E的錨框用k-means+聚類(lèi)方法重新聚類(lèi)，并聚合第4個(gè)AD-Shufflenet模塊輸出的特征圖信息的單檢測(cè)層的網(wǎng)絡(luò)稱(chēng)為YOLO-SEC-F；在YOLO-SECF的基礎(chǔ)上，將聚合的特征圖改為第2個(gè)AD-Shufflenet模塊的輸出得到的網(wǎng)絡(luò)稱(chēng)為YOLO-SEC.加入不同模塊的電弧檢測(cè)網(wǎng)絡(luò)的P-R曲線和消融實(shí)驗(yàn)指標(biāo)如表5和圖12所示.

表5 YOLO-SEC消融實(shí)驗(yàn)的檢測(cè)指標(biāo)對(duì)比Tab.5 YOLO-SEC ablation test index comparison

圖12 不同電弧檢測(cè)網(wǎng)絡(luò)的準(zhǔn)確率-召回率曲線Fig.12 Precision-recall curves of different welding arc detection networks

對(duì)比YOLOv5s和YOLO-SEC-A的評(píng)估指標(biāo)可知，Conv-Maxpool模塊的引入，降低了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量，提高了推理速度，但傳統(tǒng)卷積的應(yīng)用導(dǎo)致mAP0.5從YOLOv5s的97.8%降低到Y(jié)OLO-SEC-A的97.4%.對(duì)比YOLO-SEC-B和YOLO-SEC-A的評(píng)估指標(biāo)可知，主干網(wǎng)絡(luò)中引入輕量化模塊Shufflenet V2降低了參數(shù)量和網(wǎng)絡(luò)體積，檢測(cè)精度和推理速度均提高.對(duì)比YOLO-SEC-B和YOLO-SEC-C的評(píng)估指標(biāo)可知，AD-Shufflenet模塊使網(wǎng)絡(luò)更輕量，mAP0.5從98.0%提高至98.1%.對(duì)比YOLO-SEC-C和YOLO-SEC-D的評(píng)估指標(biāo)可知，引入LC3模塊Add操作使網(wǎng)絡(luò)輕量化，但由于特征圖減少，導(dǎo)致mAP0.5從98.1%降低至97.7%.對(duì)比YOLO-SEC-D和YOLO-SEC-E的評(píng)估指標(biāo)可知，引入EIoU損失函數(shù)后mAP0.5從97.7%提高至98.1%.對(duì)比YOLO-SEC-E和YOLO-SEC-F的評(píng)估指標(biāo)可知，單檢測(cè)層的設(shè)計(jì)降低了網(wǎng)絡(luò)的參數(shù)量，提高了網(wǎng)絡(luò)精度和檢測(cè)速度.對(duì)比YOLO-SEC-F和YOLO-SEC的評(píng)估指標(biāo)可知，聚合第2個(gè)ADShufflenet模塊輸出的特征圖信息，網(wǎng)絡(luò)的精度和速度都是最佳的.對(duì)比YOLO-SEC和原網(wǎng)絡(luò)YOLOv5s的指標(biāo)發(fā)現(xiàn)，網(wǎng)絡(luò)精度指標(biāo)準(zhǔn)確率P、召回率R和mAP0.5相較YOLOv5s分別提高了0.8%、2.4%和1.4%；網(wǎng)絡(luò)復(fù)雜度指標(biāo)參數(shù)量NPC、FLOPs和網(wǎng)絡(luò)體積V相較YOLOv5s分別降低了78%、96%和97%，網(wǎng)絡(luò)的單張圖片推理時(shí)間從12.9 ms提高至3.1 ms.結(jié)果表明改進(jìn)后的網(wǎng)絡(luò)在保證精度的同時(shí)，提高了檢測(cè)速度.

4.3 不同方法對(duì)比試驗(yàn)

將YOLO-SEC的性能與通用目標(biāo)檢測(cè)網(wǎng)絡(luò)SDD、YOLOv3、YOLOv4和輕量化目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv3-tiny、YOLOv4-tiny、YOLOv5 lite、YOLOv5 Nano的性能進(jìn)行比較，結(jié)果如表6所示.對(duì)比不同網(wǎng)絡(luò)的精度指標(biāo)mAP0.5，YOLO-SEC與YOLOv3網(wǎng)絡(luò)相當(dāng)，優(yōu)于其他通用檢測(cè)網(wǎng)絡(luò)；對(duì)比不同網(wǎng)絡(luò)的輕量化指標(biāo)，YOLO-SEC都優(yōu)于其他網(wǎng)絡(luò).如圖13所示，以精度指標(biāo)mAP0.5為縱坐標(biāo)，分別以網(wǎng)絡(luò)體積V、計(jì)算量FLOPs和推理速度v為橫坐標(biāo)，進(jìn)行YOLO-SEC與輕量化網(wǎng)絡(luò)的性能對(duì)比，YOLO-SEC的各項(xiàng)對(duì)比指標(biāo)均優(yōu)于其他網(wǎng)絡(luò).

表6 不同目標(biāo)檢測(cè)網(wǎng)絡(luò)的檢測(cè)指標(biāo)對(duì)比Tab.6 Comparison of test index for different object detection networks

圖13 YOLO-SEC與4種輕量化網(wǎng)絡(luò)檢測(cè)指標(biāo)對(duì)比Fig.13 Comparison of comprehensive indicators for YOLO-SEC and four lightweight networks

傳統(tǒng)網(wǎng)絡(luò)在檢測(cè)速度上劣勢(shì)明顯，如圖14所示為輕量化網(wǎng)絡(luò)間的實(shí)際檢測(cè)效果對(duì)比.對(duì)于沒(méi)有明顯飛濺和火焰干擾的電弧圖像，各種網(wǎng)絡(luò)都能準(zhǔn)確地定位電弧的位置，但是除了YOLO-SEC之外的其他網(wǎng)絡(luò)對(duì)約束不佳(含飛濺)的電弧圖像的識(shí)別都出現(xiàn)過(guò)度擬合的情況，YOLOv4-tiny檢測(cè)出2個(gè)預(yù)測(cè)框，YOLOv5 lite對(duì)約束不佳電弧圖像的識(shí)別出現(xiàn)欠擬合.對(duì)于飛濺和火焰都比較明顯的約束良好(含火焰)電弧圖像，YOLOv5 lite、YOLOv4-tiny、YOLOv5 Nano都對(duì)飛濺產(chǎn)生誤檢，YOLOv5 Nano網(wǎng)絡(luò)把火焰識(shí)別為電弧.綜合對(duì)比發(fā)現(xiàn)，在對(duì)比實(shí)驗(yàn)的所有網(wǎng)絡(luò)中，只有YOLO-SEC對(duì)各種情況下電弧的識(shí)別和定位最準(zhǔn)確，說(shuō)明YOLO-SEC在電弧數(shù)據(jù)集LUT-Arc上的應(yīng)用效果最優(yōu).

圖14 YOLO-SEC與4種輕量化網(wǎng)絡(luò)的實(shí)際檢測(cè)效果對(duì)比Fig.14 Comparison of detection effect for YOLO-SEC and four lightweight networks

4.4 實(shí)際檢測(cè)效果

為了測(cè)試電弧形態(tài)的實(shí)際檢測(cè)效果，在如圖15所示的檢測(cè)平臺(tái)進(jìn)行現(xiàn)場(chǎng)實(shí)驗(yàn).1)用單目線性相機(jī)標(biāo)定方法標(biāo)定相機(jī)相，標(biāo)定結(jié)果為0.1 μm/pixel.2）在坡口寬度為5.0 mm的試樣上，按照表1所示的2種工況各進(jìn)行一道焊接實(shí)驗(yàn)，以100 幀/s的采集速率分別采集2段時(shí)長(zhǎng)為10 s的電弧視頻，并在檢測(cè)平臺(tái)進(jìn)行實(shí)時(shí)檢測(cè).如圖16所示，第一次焊接的第2.31 s，電弧約束正常，長(zhǎng)度為8.1 mm，寬度為3.2 mm；第2.35 s，電弧約束良好(含火焰)，長(zhǎng)度為7.3 mm，寬度為2.9 mm.第二次焊接的第7.71 s，電弧約束不佳(含飛濺)，長(zhǎng)度為7.8 mm，寬度為5.2 mm；第7.97 s電弧約束不佳，長(zhǎng)度為7.4 mm，寬度為5.4 mm.實(shí)驗(yàn)結(jié)果表明，YOLO-SEC實(shí)現(xiàn)了對(duì)不用類(lèi)型的電弧精準(zhǔn)的定位和檢測(cè).

圖15 上位機(jī)終端顯示界面展示Fig.15 Display interface of upper computer terminal

圖16 4種焊接電弧的實(shí)際檢測(cè)效果展示Fig.16 Actual detection effect of four types of welding arcs

5 結(jié) 語(yǔ)

本研究將深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)應(yīng)用在焊接電弧形態(tài)在線檢測(cè)領(lǐng)域.以YOLOv5s為基準(zhǔn)網(wǎng)絡(luò)，針對(duì)超窄間隙電弧檢測(cè)任務(wù)的特點(diǎn)，對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和錨框繪制函數(shù)進(jìn)行針對(duì)性的改進(jìn)，提出輕量化的電弧檢測(cè)網(wǎng)絡(luò)YOLO-SEC；建立電弧目標(biāo)檢測(cè)數(shù)據(jù)集LUT-Arc，實(shí)現(xiàn)電弧長(zhǎng)和寬的在線定量檢測(cè)，對(duì)電弧狀態(tài)的監(jiān)測(cè)有一定的指導(dǎo)意義.與YOLOv5s網(wǎng)絡(luò)相比，準(zhǔn)確率、召回率、mAP0.5分別提高了0.8%、2.4%和1.4%；參數(shù)量、計(jì)算量FLOPs、網(wǎng)絡(luò)體積分別降低了78%、96%和97%，網(wǎng)絡(luò)的單張圖片推理時(shí)間從12.9 ms提高到3.1 ms.在未來(lái)的工作中，考慮將網(wǎng)絡(luò)部署在嵌入式設(shè)備上，緊密結(jié)合焊接機(jī)理，探究電弧形態(tài)與焊接工況的關(guān)系，更好地指導(dǎo)焊接過(guò)程.