陳 凱，王 海*

(1.安徽工程大學(xué) 機(jī)械工程學(xué)院，安徽 蕪湖 241000；2.先進(jìn)數(shù)控和伺服驅(qū)動(dòng)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 蕪湖 241000；3.特種顯示與成像技術(shù)安徽省技術(shù)創(chuàng)新中心，安徽 蕪湖 241000)

在自動(dòng)跟蹤焊接機(jī)器人的工作中，要做到機(jī)器人實(shí)時(shí)焊縫跟蹤焊接就要知道目標(biāo)焊縫的準(zhǔn)確位置。對(duì)于焊縫位置的定位，通常有主動(dòng)視覺和被動(dòng)視覺兩種檢測(cè)方法，無論是哪一種方法最終都要根據(jù)焊縫位置得到焊槍的運(yùn)行軌跡再進(jìn)行跟蹤焊接。在焊接大型桁架、滾筒等工件時(shí)，由于各種復(fù)雜的環(huán)境，焊縫的大小、類型的多樣性等情況使得焊縫目標(biāo)識(shí)別難度增加。

近年來，隨著互聯(lián)網(wǎng)的發(fā)展，人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)在焊縫圖像的識(shí)別領(lǐng)域中運(yùn)用廣泛，其中深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)增加了學(xué)習(xí)能力[1-4]，GPU的出現(xiàn)讓深度學(xué)習(xí)超大規(guī)模的計(jì)算變?yōu)榭赡?，通過大量數(shù)據(jù)樣本可以在復(fù)雜環(huán)境中精確地識(shí)別目標(biāo)。李鶴喜等[5]針對(duì)焊接機(jī)器人的焊縫識(shí)別視覺建模使用了深度學(xué)習(xí)的方式來構(gòu)建，其網(wǎng)絡(luò)模型中輸入層、隱含層和輸出層構(gòu)成了全連接層，相當(dāng)于一個(gè)分類器用于焊縫目標(biāo)識(shí)別,對(duì)9種類別的焊縫進(jìn)行分類，但未做到定位檢測(cè)。郭鵬飛[6]提出用Faster-RCNN對(duì)焊縫圖像進(jìn)行深度特征提取。張宇飛等[7]基于視覺的焊接機(jī)器人跟蹤焊接問題提出了一種圖像處理算法，并且在計(jì)算機(jī)Python平臺(tái)上基于OpenCV開發(fā)出焊縫圖像的識(shí)別程序。Yang等[8]使用LSTM生成相關(guān)濾波器，再用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取的特征進(jìn)行卷積，但這種方法在復(fù)雜的焊接環(huán)境中無法獲得穩(wěn)定的結(jié)果。張永帥等[9]通過卷積神經(jīng)網(wǎng)絡(luò)將焊縫圖片進(jìn)行端對(duì)端的像素分類，將圖像中目標(biāo)焊縫激光條紋和背景分割處理，利用跳躍結(jié)構(gòu)將高層信息和低層信息融合完善邊緣細(xì)節(jié)，提高圖像分割精度。鄒焱飚等[10]還提供了一個(gè)根據(jù)深度分層特征的焊縫檢驗(yàn)單元，有很好的畸變?nèi)萑棠芰Γ梢栽谠肼曃廴镜臅r(shí)序圖中定位焊縫。

本文的方法可以在復(fù)雜環(huán)境下通過MobileNetV3算法判斷捕捉到圖像中是否有焊縫和對(duì)焊縫類型進(jìn)行分類。由于輕量化網(wǎng)絡(luò)性能優(yōu)勢(shì)，分類過程中時(shí)效性大大提高，并結(jié)合了GAN算法用SeGAN網(wǎng)絡(luò)對(duì)焊縫圖像進(jìn)行分割得到焊縫的準(zhǔn)確位置，綜合后提高了分類分割性能。

1 基本原理

1.1 MobileNetV3分類網(wǎng)絡(luò)

MobileNetV3[11]是由google提出的一種輕量化網(wǎng)絡(luò)，該網(wǎng)絡(luò)綜合了V1、V2的新模塊，并具有相對(duì)常規(guī)卷積計(jì)算中參數(shù)更少的深度可分離卷積、倒殘差式結(jié)構(gòu)和線性瓶頸結(jié)構(gòu)、SE模塊，利用NAS(神經(jīng)結(jié)構(gòu)搜索)尋找合適的網(wǎng)絡(luò)參數(shù)與配置。MobileNetV2中加入了線性瓶頸結(jié)構(gòu)和反向剩余結(jié)構(gòu)，并通過利用問題的低秩本質(zhì)來實(shí)現(xiàn)更有效的層結(jié)構(gòu)。MnasNet是在MobileNetV2架構(gòu)上創(chuàng)新形成的，在瓶頸結(jié)構(gòu)中融入了基于擠壓和激勵(lì)的輕量級(jí)注意模塊，目的是利用結(jié)合特征信道的關(guān)系來加強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。MobileNetV3網(wǎng)絡(luò)通過組合不同層來構(gòu)建出更有效的網(wǎng)絡(luò)模型。MobileNetV3網(wǎng)絡(luò)有MobileNetV3-large以及MobileNetV3-small兩種形式，針對(duì)不同情況選用不同模型。相對(duì)而言，MobileNetV3-small運(yùn)用在ImageNet圖片分類任務(wù)上相對(duì)于MobileNetV2，精度提升約3.2%，運(yùn)行耗時(shí)卻減少了15%；MobileNetV3-small與MobileNetV2相比，若在COCO數(shù)據(jù)集上輸出訓(xùn)練結(jié)果精度相同時(shí)，速度提高了25%，同時(shí)在分割算法上也有一定的提高。MobileNetV3-small的整體結(jié)構(gòu)如表1所示，Input代表每個(gè)特征層大小的變化；Operator為每次的特征層經(jīng)歷的瓶頸以及對(duì)應(yīng)深度可分離卷積的卷積核大??；SE代表是否引入注意力機(jī)制；NL為選擇使用激活函數(shù)ReLU或者h(yuǎn)-swish；s為bneck結(jié)構(gòu)所用步長(zhǎng)。

表1 MobileNetV3-small整體結(jié)構(gòu)

圖1 Bneck結(jié)構(gòu)示意圖

(1)

在MobileNetV3網(wǎng)絡(luò)中用到一個(gè)Pytorch Image Models(timm)庫(kù)，包括models、layers、utilities、optimizers、schedulers等，即將各種較好且先進(jìn)的模型組合在一起。

在MobileNetV3多分類任務(wù)中損失函數(shù)用交叉熵?fù)p失函數(shù)(nn.CrossEntropyLoss())，該損失函數(shù)綜合了nn.LogSoftmax()和nn.NLLLoss()兩種函數(shù)方法，nn.LogSoftmax()相當(dāng)于激活函數(shù)，nn.NLLLoss()則是損失函數(shù)。其公式表達(dá)為

(2)

1.2 SeGAN分割算法

SeGAN算法也引入了對(duì)抗網(wǎng)絡(luò)算法的思想[12]，在GAN中會(huì)有兩種不同的網(wǎng)絡(luò)訓(xùn)練：生成器網(wǎng)絡(luò)(Generator)和判別網(wǎng)絡(luò)(Discriminator)，GAN算法流程圖如圖2所示。由圖2可知，給生成網(wǎng)絡(luò)加入隨機(jī)噪音變量z，則輸出的將是虛假圖片數(shù)據(jù)G(z;θg)，然后判別網(wǎng)絡(luò)輸入兩個(gè)參數(shù):真實(shí)圖片x和虛假圖片z，輸出的結(jié)果表明了該輸入為真實(shí)數(shù)據(jù)圖像還是虛假圖片的二分類置信度D(x;θd)。在理想情形下，判別網(wǎng)絡(luò)D要通過結(jié)果準(zhǔn)確識(shí)別輸入的圖像究竟是個(gè)真實(shí)的圖像還是生成器生成的圖像，而生成器G所要做的就是以最大可能性去欺騙D，讓判別器把產(chǎn)生的虛假圖像判斷為真實(shí)的圖像。

圖2 GAN算法流程圖

訓(xùn)練過程是典型的博弈思維，通過互相提升網(wǎng)絡(luò)的特性,增加分割精度，增強(qiáng)辨別能力。由算法訓(xùn)練方式和過程定義了其損失函數(shù)如下：

(3)

式中，xi、zi為實(shí)際的圖片數(shù)據(jù)和noise變量，優(yōu)化目標(biāo)是minGmaxDLoss。訓(xùn)練過程中在不斷對(duì)參數(shù)進(jìn)行優(yōu)化，在這里不是對(duì)θg、θd直接進(jìn)行梯度優(yōu)化，而是逐步進(jìn)行。對(duì)于訓(xùn)練判別器D，即更新θd，循環(huán)k次，每循環(huán)一次準(zhǔn)備一組真實(shí)數(shù)據(jù)x=x1,x2,x3，…,xm和一組偽圖片數(shù)據(jù)z=z1,z2,z3，…,zm，通過式(4)進(jìn)行計(jì)算,

(4)

再用梯度上升法更新θd。通過訓(xùn)練生成器網(wǎng)絡(luò)G更新θg：先提供一組偽圖片數(shù)據(jù)z=z1,z2,z3,…,zm，計(jì)算如式(5)所示:

(5)

接著用梯度下降法更新θg，以此為循環(huán)交替訓(xùn)練網(wǎng)絡(luò)。

盡管SeGAN和Gan都利用了對(duì)抗性訓(xùn)練過程，但它們有不同的目標(biāo)。不同于傳統(tǒng)的Gan試圖找到兩個(gè)分布pdata和Pz之間的映射函數(shù)，SeGAN旨在解決輸入圖像和它們正確的分割掩碼之間的映射(即像素方向的標(biāo)簽映射)。在SeGAN中，首先給出一個(gè)數(shù)據(jù)集，其中包含訓(xùn)練圖像xn和一一對(duì)應(yīng)的標(biāo)簽圖像yn，定義多尺度目標(biāo)損失函數(shù)為

(6)

式中，lmae為平均絕對(duì)誤差(MAE)；xn·S(xn)是被分割的預(yù)測(cè)標(biāo)簽映射(即預(yù)測(cè)標(biāo)簽映射與原始圖像的像素相乘)的輸入圖像；xn·yn是被真實(shí)的標(biāo)簽映射(即真實(shí)的標(biāo)簽映射與原始圖像的像素相乘)的輸入圖像；fc(x)表示評(píng)價(jià)網(wǎng)絡(luò)從圖像x中提取的層次特征。

圖3 SeGAN網(wǎng)絡(luò)結(jié)構(gòu)圖

SeGAN網(wǎng)絡(luò)結(jié)構(gòu)主要由Segmentor和Critic兩部分構(gòu)成。Segmentor部分是類似U-Net的u型網(wǎng)絡(luò)結(jié)構(gòu)，編碼器部分先使用卷積核大小為4×4、步長(zhǎng)為2的卷積層進(jìn)行降采樣，解碼器部分通過卷積調(diào)整圖像大小進(jìn)行上采樣，最后一步通過卷積核大小為3×3、步幅為1的卷積層進(jìn)行上采樣，最后輸出結(jié)果是網(wǎng)絡(luò)預(yù)測(cè)的焊縫二值圖像；Critic部分的網(wǎng)絡(luò)共用Segmentor部分編碼的前3層，依次向Critic輸送經(jīng)過預(yù)測(cè)的焊縫二值圖掩膜的原始輸入圖像，以及真實(shí)焊縫二值圖掩膜的原始輸入圖像，而最后的loss值則經(jīng)過計(jì)算兩個(gè)不同輸出之間的MAE值(L1 loss)得到。其中Multi-scale對(duì)Critic部分的每一個(gè)卷積計(jì)算層產(chǎn)生的特征圖像都計(jì)算其MAE值，對(duì)最終的總loss取平均值。訓(xùn)練網(wǎng)絡(luò)方式類似于GAN網(wǎng)絡(luò)的對(duì)抗訓(xùn)練學(xué)習(xí)過程。首先，固定S(Segmentor)，對(duì)C(Critic)開始一輪訓(xùn)練；再固定C(Critic)，對(duì)S(Segmentor)再開始下一輪訓(xùn)練，如此反復(fù)。對(duì)Critic的訓(xùn)練目的是使loss變大(max)，對(duì)Segmentor訓(xùn)練的目的是使loss變小(min)。隨著訓(xùn)練的不斷進(jìn)行，兩個(gè)網(wǎng)絡(luò)會(huì)變得越來越大,一直訓(xùn)練到分割生成器能夠生成出與真實(shí)圖片非常接近的圖像即為預(yù)測(cè)圖像。

2 焊縫的分類與定位實(shí)驗(yàn)

2.1 數(shù)據(jù)集和實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)是在一臺(tái)服務(wù)器上完成，CPU為酷睿I5-11400F，GPU為GeForce RTX2060，運(yùn)行內(nèi)存為6 G。要進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練首先要收集焊縫數(shù)據(jù)，對(duì)大量數(shù)據(jù)樣本圖片進(jìn)行圖像預(yù)處理。數(shù)據(jù)集圖片來自于焊接現(xiàn)場(chǎng)拍攝,部分如圖4所示。共2 000張圖片，其中500張為不含目標(biāo)焊縫和已經(jīng)焊接完成的圖片，1 000張為含有T型角接焊縫的圖片，另有500張含有V型焊縫的圖片。由于數(shù)據(jù)樣本量較少，對(duì)其進(jìn)行擴(kuò)充，使得數(shù)據(jù)量擴(kuò)大100倍。對(duì)于收集的焊縫圖片，這些采集到的圖片數(shù)據(jù)集是沒有標(biāo)簽的，需要人工對(duì)其逐一進(jìn)行標(biāo)注，標(biāo)注后的圖片結(jié)果才能用于網(wǎng)絡(luò)訓(xùn)練。標(biāo)注工具使用的是一個(gè)圖形界面的圖像標(biāo)注軟件——LabelMe。對(duì)原始圖像使用LabelMe標(biāo)注，對(duì)不含目標(biāo)焊縫的圖片直接標(biāo)注為0，L型焊縫紅色框標(biāo)注標(biāo)簽為1，T型焊縫用綠色框標(biāo)注標(biāo)簽為2。標(biāo)注過的焊縫圖如圖5所示。

圖4 部分圖像數(shù)據(jù)集

圖5 部分焊縫圖數(shù)據(jù)標(biāo)注

2.2 模型測(cè)試與評(píng)估

針對(duì)研究的分類問題，用準(zhǔn)確率(Accuracy)、精確率(Precision)和召回率(Recall)來表示訓(xùn)練和預(yù)測(cè)效果。

(7)

(8)

(9)

式中，TP為真陽(yáng)性；TN為真陰性；FP為假陽(yáng)性；FN為假陰性。MobileNetV3訓(xùn)練驗(yàn)證過程參數(shù)曲線如圖6所示。由圖6可知，用MobileNetV3網(wǎng)絡(luò)在焊縫圖片數(shù)據(jù)集上的準(zhǔn)確度快速達(dá)到穩(wěn)定狀態(tài)，而且訓(xùn)練和驗(yàn)證時(shí)的誤差收斂較好，訓(xùn)練過程曲線較平滑。

圖6 MobileNetV3訓(xùn)練驗(yàn)證過程參數(shù)曲線

將訓(xùn)練結(jié)果較好的模型用在測(cè)試集上進(jìn)行訓(xùn)練，訓(xùn)練集混淆矩陣如圖7a所示；測(cè)試集混淆矩陣如圖7b所示。通過公式計(jì)算得出各指標(biāo)數(shù)值如表2、3所示。

圖7 混淆矩陣

表2 訓(xùn)練結(jié)果各項(xiàng)指標(biāo)

表3 測(cè)試結(jié)果各項(xiàng)指標(biāo)

由表2和表4可知，訓(xùn)練集上的精確度為99.74%，測(cè)試集結(jié)果的準(zhǔn)確率為99.39%，已達(dá)到要求精度。為了驗(yàn)證MobileNetV3在焊縫分類識(shí)別中的有效性，分別用了MobileNetV2、VGG16和RestNet網(wǎng)絡(luò)在焊縫圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練測(cè)試，得到各參數(shù)結(jié)果如表4所示。其中，Parameter amount為權(quán)重、卷積核等各參數(shù)的數(shù)量，Predicted time為測(cè)試所有測(cè)試集數(shù)據(jù)的時(shí)間。

表4 不同網(wǎng)絡(luò)在焊縫圖像數(shù)據(jù)集上的訓(xùn)練測(cè)試結(jié)果

分類結(jié)束后將結(jié)果保存的文件放在Precdict-result.py文件后面，為進(jìn)行預(yù)測(cè)焊縫位置做準(zhǔn)備。對(duì)于焊縫位置定位用到SeGAN網(wǎng)絡(luò)訓(xùn)練，首先生成訓(xùn)練判別器G，然后生成訓(xùn)練判別器D。輸入圖片像素為180×180×128大小，在進(jìn)行網(wǎng)絡(luò)訓(xùn)練過程中，進(jìn)一步將圖片大小隨機(jī)剪裁為160×160×128大小，從而達(dá)到數(shù)據(jù)增強(qiáng)的效果。

訓(xùn)練模型時(shí)，通過對(duì)比使用批量隨機(jī)梯度算法、動(dòng)量梯度下降方法和自適應(yīng)調(diào)節(jié)學(xué)習(xí)率的Adam優(yōu)化器，得知Adam算法結(jié)果最好。訓(xùn)練過程參數(shù)設(shè)置：一次訓(xùn)練選取樣本數(shù)Batch Size為10，完整訓(xùn)練Epoch為30，每個(gè)Epoch訓(xùn)練1 302張圖片，學(xué)習(xí)率設(shè)置為0.000 2，動(dòng)量系數(shù)設(shè)置為0.9，使用單個(gè)GPU訓(xùn)練，學(xué)習(xí)衰減率設(shè)為0.5。訓(xùn)練過程中，生成器網(wǎng)絡(luò)損失值G-loss和判別器網(wǎng)絡(luò)損失值D-loss如圖8所示。在訓(xùn)練10個(gè)Epoch后，損失值都趨于穩(wěn)定狀態(tài)。

圖8 G-loss與D-loss曲線 圖9 Dice值曲線

訓(xùn)練結(jié)果Dice值如圖9所示。Dice值為預(yù)測(cè)的正確結(jié)果的兩倍比上真實(shí)結(jié)果和預(yù)測(cè)結(jié)果的總和，數(shù)學(xué)表達(dá)式如式(10)所示，Dice值越高表示預(yù)測(cè)區(qū)域與真實(shí)樣本標(biāo)注區(qū)域重合度越高，分割效果越好。在第10個(gè)Epoch過后Dice都穩(wěn)定在0.95左右。

(10)

將分類定位兩部分合成一個(gè)運(yùn)行程序，輸入260張測(cè)試焊縫圖片，預(yù)測(cè)種類結(jié)果和定位，輸出結(jié)果標(biāo)簽值為0或1或2，分別為無焊縫、L型焊縫和T型焊縫。為了使分割的效果可視化，抽取部分的結(jié)果如圖10所示，黑色部分為焊接件，白色區(qū)域?yàn)榉指畛鰜淼暮缚p位置，可見SeGAN網(wǎng)絡(luò)具有較好的分割效果，尤其是對(duì)寬度較小的焊縫也具有良好的分割效果。在識(shí)別效率方面，預(yù)測(cè)時(shí)間約為1.38 s，SeGAN網(wǎng)絡(luò)分割較傳統(tǒng)U-Net分割網(wǎng)絡(luò)效率有所提高。

圖10 焊縫分割結(jié)果

最后，將本文算法與其他分割算法進(jìn)行了對(duì)比實(shí)驗(yàn)，將每個(gè)模型訓(xùn)練過程中的超參數(shù)設(shè)置為文獻(xiàn)推薦參數(shù)值，同樣在本文的焊縫數(shù)據(jù)集上進(jìn)行訓(xùn)練預(yù)測(cè)，得到不同模型的MPA值和MIOU值如表5所示。

表5 不同算法實(shí)驗(yàn)對(duì)比

通過對(duì)比幾個(gè)不同算法的參數(shù)結(jié)果，結(jié)合了GAN的分割網(wǎng)絡(luò)與其他幾個(gè)網(wǎng)絡(luò)相比，其MAP值和MIOU值均有所提高，相對(duì)原本SegNet算法平均交并比提高了1.5%。

3 結(jié)論

本文用一種輕量化的網(wǎng)絡(luò)MobileNetV3將傳統(tǒng)卷積替換成深度可分離卷積，當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)為深層網(wǎng)絡(luò)結(jié)構(gòu)時(shí)可以大大減少參數(shù)量，計(jì)算量和參數(shù)量為傳統(tǒng)卷積的1/3，可以防止模型過擬合，有效提高網(wǎng)絡(luò)模型的魯棒性。研究借鑒了GAN網(wǎng)絡(luò)的思路，采用SeGAN分割網(wǎng)絡(luò)，用min-max的對(duì)抗學(xué)習(xí)來訓(xùn)練Segment和Critic部分，并用Multi-scale L1 loss來優(yōu)化分割網(wǎng)絡(luò)，分割出的圖像較原始圖像更平滑，包含更少噪聲，MIOU值較U-Net提高了4.7%，較SegNet提高了1.5%。對(duì)于研究中實(shí)驗(yàn)樣本數(shù)量不夠大，影響網(wǎng)絡(luò)模型分割性能的問題，后續(xù)將對(duì)數(shù)據(jù)樣本量進(jìn)行擴(kuò)充，并擴(kuò)增焊縫類型，提高深度學(xué)習(xí)在焊縫檢測(cè)方面的適用性。