岳耀帥，陳成軍，李東年，官源林，洪軍，趙正旭

(1.青島理工大學(xué)機(jī)械與汽車(chē)工程學(xué)院，山東青島 266520；2.西安交通大學(xué)機(jī)械工程學(xué)院，陜西西安 710049)

0 前言

裝配是將機(jī)械零部件按照設(shè)計(jì)順序組裝在一起形成產(chǎn)品的生產(chǎn)過(guò)程，裝配順序是影響產(chǎn)品裝配質(zhì)量的關(guān)鍵。在復(fù)雜產(chǎn)品裝配過(guò)程中，檢測(cè)每個(gè)裝配步驟新裝零部件，有助于獲取機(jī)械裝配過(guò)程的相關(guān)信息，及時(shí)發(fā)現(xiàn)裝配順序錯(cuò)誤，提高機(jī)械產(chǎn)品的生產(chǎn)效率。因此對(duì)機(jī)械類裝配體的裝配過(guò)程智能檢測(cè)具有重要研究?jī)r(jià)值，但目前還缺乏監(jiān)測(cè)產(chǎn)品裝配順序的有效技術(shù)手段。

圖像的變化檢測(cè)可以通過(guò)分析2幅不同時(shí)刻的圖像，檢測(cè)出圖像中隨時(shí)間發(fā)生變化的信息。圖像的變化檢測(cè)目前主要應(yīng)用在遙感圖像分析中，可以實(shí)現(xiàn)土地利用變化檢測(cè)[1]、災(zāi)害評(píng)估[2-3]和環(huán)境監(jiān)測(cè)[4]等。例如，ALESHEIKH等[5]利用圖像的變化檢測(cè)方法檢測(cè)海岸線的變化；CHEN等[6]將圖像的變化檢測(cè)應(yīng)用于檢測(cè)街道場(chǎng)景變化；DU等[7]將圖像的變化檢測(cè)應(yīng)用于檢測(cè)城市建筑物場(chǎng)景變化。此研究擬將圖像的變化檢測(cè)技術(shù)應(yīng)用于機(jī)械裝配體變化檢測(cè)，以識(shí)別每個(gè)裝配步驟變化的零部件，實(shí)現(xiàn)產(chǎn)品裝配順序的監(jiān)測(cè)。

傳統(tǒng)的變化檢測(cè)方法可以分為2類：基于像素的變化檢測(cè)方法和基于對(duì)象的變化檢測(cè)方法[8]?；谙袼氐淖兓瘷z測(cè)方法是根據(jù)圖像的像素信息生成差異圖像，并通過(guò)閾值分割或聚類得到變化圖像[9-11]，這種方法實(shí)現(xiàn)簡(jiǎn)單，但是忽略了空間信息，并且圖像處理過(guò)程中會(huì)出現(xiàn)大量噪聲[12]?；趯?duì)象的變化檢測(cè)方法是利用圖像的紋理、結(jié)構(gòu)和幾何信息獲得變化圖像[13-15]，這種方法雖然充分利用了圖像的空間信息，但特征提取方法較為復(fù)雜，魯棒性較差。

最近幾年，深度學(xué)習(xí)方法被廣泛應(yīng)用在變化檢測(cè)中?；谏疃葘W(xué)習(xí)的圖像變化檢測(cè)方法主要分為2類，有監(jiān)督的圖像變化檢測(cè)和無(wú)監(jiān)督的圖像變化檢測(cè)?；谏疃葘W(xué)習(xí)有監(jiān)督圖像變化檢測(cè)方法利用包含像素級(jí)標(biāo)簽的數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將待檢測(cè)圖像輸入到訓(xùn)練好的模型中，分割出圖像中的變化區(qū)域。例如，ZHAN等[16]提出一種基于深度孿生卷積神經(jīng)網(wǎng)絡(luò)的圖像變化檢測(cè)方法，該網(wǎng)絡(luò)使用加權(quán)對(duì)比損失訓(xùn)練孿生卷積網(wǎng)絡(luò)，直接提取圖像特征，使提取到的特征更具區(qū)分性。ZHANG等[17]提出了深度監(jiān)督圖像融合網(wǎng)絡(luò)的圖像變化檢測(cè)方法，使用全卷積網(wǎng)絡(luò)提取圖像的深度特征，然后利用深度監(jiān)督差異識(shí)別網(wǎng)絡(luò)進(jìn)行圖像變化檢測(cè)。CAO等[18]在卷積神經(jīng)網(wǎng)絡(luò)中加入深度去噪模型，降低圖像噪聲，提高檢測(cè)精度。CHEN等[12]在孿生網(wǎng)絡(luò)中加入雙注意力模塊，獲得更多的判別特征，提高神經(jīng)網(wǎng)絡(luò)的性能。無(wú)監(jiān)督變化檢測(cè)方法通常是先提取圖像特征，然后通過(guò)處理圖像特征實(shí)現(xiàn)圖像的變化檢測(cè)。例如DE JONG、BOSMAN[19]利用卷積神經(jīng)網(wǎng)絡(luò)分別提取輸入圖像5個(gè)級(jí)別的特征映射，利用每個(gè)級(jí)別特征映射的差異生成變化圖像。LI等[20]利用全卷積神經(jīng)網(wǎng)絡(luò)提取圖像更具區(qū)分性的特征，同時(shí)在網(wǎng)絡(luò)中加入噪聲建模模塊減少圖像噪聲。REN等[21]利用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)生成配準(zhǔn)圖像，提高了變化檢測(cè)網(wǎng)絡(luò)的效率。

當(dāng)前，基于深度學(xué)習(xí)的圖像變化檢測(cè)方法取得了較好的效果，其中有監(jiān)督變化檢測(cè)應(yīng)用比較廣泛。但目前對(duì)機(jī)械裝配體的變化檢測(cè)研究較少，缺少機(jī)械裝配體圖像變化檢測(cè)的數(shù)據(jù)集，這是由于裝配體的顏色單一，并且缺少紋理特征；另外一方面，現(xiàn)有的圖像變化檢測(cè)方法主要是檢測(cè)視角相近的圖像，對(duì)視角變化較大圖像的變化檢測(cè)研究較少。

本文作者創(chuàng)新性地應(yīng)用圖像多視角變化檢測(cè)技術(shù)檢測(cè)裝配場(chǎng)景的變化，獲取新裝配的零部件，監(jiān)測(cè)產(chǎn)品的裝配順序。建立用于機(jī)械裝配體多視角變化檢測(cè)的2個(gè)數(shù)據(jù)集，分別為合成深度圖像數(shù)據(jù)集、真實(shí)彩色圖像數(shù)據(jù)集，提出一種基于三維注意力和雙邊濾波的機(jī)械裝配體多視角變化檢測(cè)網(wǎng)絡(luò)(TAF Net)。TAF Net網(wǎng)絡(luò)引入三維注意力機(jī)制，可以同時(shí)關(guān)注特征圖中的通道特征和空間特征，提高了TAF Net網(wǎng)絡(luò)細(xì)節(jié)特征的提取能力。輸出的變化圖像經(jīng)過(guò)雙邊濾波處理，能夠優(yōu)化變化圖像中零部件的邊界，減少圖像中的噪聲。在真實(shí)數(shù)據(jù)集訓(xùn)練中引入遷移學(xué)習(xí)，將合成深度圖像數(shù)據(jù)集的訓(xùn)練模型作為真實(shí)數(shù)據(jù)集的預(yù)訓(xùn)練模型，提高網(wǎng)絡(luò)模型的精度；實(shí)現(xiàn)只用少量訓(xùn)練集就可以實(shí)現(xiàn)機(jī)械裝配體的多視角變化檢測(cè)，降低人工標(biāo)注標(biāo)簽的工作量。為了驗(yàn)證文中所提方法在機(jī)械裝配場(chǎng)景下的多視角變化檢測(cè)性能，將在2個(gè)數(shù)據(jù)集上分別進(jìn)行消融實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)。

1 TAF Net網(wǎng)絡(luò)結(jié)構(gòu)

文中在CDNet網(wǎng)絡(luò)[22]基礎(chǔ)上，提出了一種基于三維注意力和雙邊濾波的機(jī)械裝配體圖像多視角變化檢測(cè)網(wǎng)絡(luò)(TAF Net)，使用圖像變化檢測(cè)監(jiān)測(cè)裝配順序。TAF Net網(wǎng)絡(luò)是具有編碼器和解碼器的體系結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)共包含4個(gè)模塊：編碼、解碼、注意力和雙邊濾波。TAF Net網(wǎng)絡(luò)的輸入為機(jī)械裝配體t0和t12個(gè)不同時(shí)刻的圖像，然后編碼器提取2個(gè)不同時(shí)刻的圖像特征，將2個(gè)不同時(shí)刻圖像的特征融合后傳給解碼器進(jìn)行解碼。為了提取圖像更多的細(xì)節(jié)特征，文中在TAF Net網(wǎng)絡(luò)中引入三維注意力機(jī)制，編碼層提取到的特征經(jīng)注意力模塊后和解碼層輸出的特征進(jìn)行融合，將融合后的特征傳給下一層解碼器繼續(xù)解碼。引入雙邊濾波處理模塊，對(duì)輸出的變化圖像經(jīng)過(guò)雙邊濾波處理，有效過(guò)濾圖像中的噪聲，優(yōu)化圖像中變化零件的邊界。

1.1 編碼模塊

編碼模塊的結(jié)構(gòu)如圖2所示。編碼器選用ResNet18[23]，它主要由4個(gè)殘差塊(Block1、Block2、Block3、Block4)組成。隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)的感受野會(huì)增大，高維特征的語(yǔ)義信息表達(dá)能力會(huì)增強(qiáng)，但深度網(wǎng)絡(luò)缺乏空間幾何細(xì)節(jié)，因此將Block4提取的特征經(jīng)過(guò)三維注意力模塊處理后再傳給解碼器，增強(qiáng)深層網(wǎng)絡(luò)對(duì)細(xì)節(jié)特征的提取能力。

圖2 編碼模塊

1.2 三維注意力模塊

注意力機(jī)制借鑒了人類視覺(jué)系統(tǒng)獲取信息的方式，通過(guò)快速掃描全局圖像，獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域。由于圖像中包含的特征信息非常大，如果對(duì)圖像中的每個(gè)位置都進(jìn)行特征構(gòu)建，會(huì)使網(wǎng)絡(luò)學(xué)習(xí)到很多無(wú)用的特征。引入注意力機(jī)制能夠使網(wǎng)絡(luò)更好地聚焦在圖像重要區(qū)域和重要特征上，忽略圖像中的不重要信息，有效提高神經(jīng)網(wǎng)絡(luò)的效率，降低網(wǎng)絡(luò)模型的復(fù)雜度?，F(xiàn)有的注意力機(jī)制主要分為2類：通道注意力和空間注意力。通道注意力的作用是對(duì)重要的特征通道進(jìn)行加強(qiáng)，對(duì)不重要的通道進(jìn)行抑制。HU等[24]通過(guò)對(duì)特征通道進(jìn)行加權(quán)，使網(wǎng)絡(luò)更容易區(qū)分特征通道的重要程度，提高了網(wǎng)絡(luò)的特征表達(dá)能力?？臻g注意力是對(duì)圖像的空間維度信息進(jìn)行特征提取，利用不同的空間位置獲得不同的二維權(quán)重，然后與對(duì)應(yīng)的空間位置相乘，突出空間位置的重要性。相比通道注意力，空間注意力能夠增強(qiáng)網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)特征的提取，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

利用卷積神經(jīng)網(wǎng)絡(luò)提取到的特征圖，不僅在通道上包含大量的有用信息，在通道內(nèi)部的特征圖像素點(diǎn)之間也包含了大量的有用信息，單獨(dú)使用通道注意力或空間注意力都會(huì)造成信息的丟失。因此，文中將三維注意力機(jī)制SimAM[25]融合到變化檢測(cè)網(wǎng)絡(luò)中。三維注意力的引入有助于突出圖像的細(xì)節(jié)特征，有助于TAF Net網(wǎng)絡(luò)找出對(duì)應(yīng)位置上特征圖的相似性，在一定程度上解決了隨著網(wǎng)絡(luò)層數(shù)的加深，圖像的細(xì)節(jié)信息丟失的問(wèn)題。SimAM的原理如圖3所示，它是一種無(wú)參數(shù)的注意力模塊，和現(xiàn)有的通道注意力和空間注意力不同，它不需要添加額外參數(shù)就可以計(jì)算特征圖的三維注意力權(quán)值，三維權(quán)重同時(shí)考慮了空間和通道維度，使TAF Net網(wǎng)絡(luò)提取更多的圖像特征，有效提高圖像變化檢測(cè)的精度。

圖3 三維注意力機(jī)制原理

SimAM利用了神經(jīng)科學(xué)的理論，構(gòu)建了一種能量函數(shù)用來(lái)計(jì)算注意力權(quán)值，判斷神經(jīng)元的重要性，能量函數(shù)的公式如下：

(1)

(2)

上述公式的計(jì)算過(guò)程較為復(fù)雜，但公式(2)有一種解析解，可以通過(guò)微分wt和bt得到，將解析解代入能量函數(shù)中可以得到最小能量的計(jì)算公式：

(3)

上式表明能量越低，神經(jīng)元t與周?chē)窠?jīng)元的差別越大，神經(jīng)元t的重要性就越高。

(4)

1.3 雙邊濾波

由于裝配體的各零部件緊密連接，所以變化檢測(cè)網(wǎng)絡(luò)檢測(cè)出的變化區(qū)域可能存在邊界不清晰的問(wèn)題。為了提高TAF Net網(wǎng)絡(luò)變化檢測(cè)的精度，引入雙邊濾波優(yōu)化變化圖像中零部件的邊界，降低變化圖像中的噪聲。雙邊濾波[26]是一種基于高斯濾波[27]的非線性濾波器，不僅考慮了像素之間的歐氏距離，也考慮了像素亮度和深度上的相似性，使濾波后的圖像既可以減少圖像中的噪聲，又可以保持圖像的邊緣信息清晰。雙邊濾波對(duì)深度圖像和彩色圖像都具有較好的效果，有較強(qiáng)的適用性。雙邊濾波的數(shù)學(xué)表達(dá)式[28]為

(5)

其中：g(i，j)為濾波后的輸出像素值；S(i，j)表示中心點(diǎn)(i，j)的相鄰像素點(diǎn)；f(k，l)表示點(diǎn)(k，l)的像素值；w(i，j，k，l)是雙邊濾波的權(quán)重函數(shù)，w(i，j，k，l)的計(jì)算公式如下：

w(i，j，k，l)=ws×wr

(6)

其中：

(7)

(8)

σs和σr表示濾波半徑，文中都設(shè)定為70；ws函數(shù)的權(quán)重和像素的距離有關(guān)，由公式(7)可以看出像素的距離越近，函數(shù)的權(quán)重越大，相當(dāng)于對(duì)圖像進(jìn)行高斯濾波。函數(shù)wr的權(quán)重和像素值之間的差異有關(guān)，即當(dāng)像素值越接近，即使距離較遠(yuǎn)，也比差異大距離近的像素點(diǎn)權(quán)重大，函數(shù)的權(quán)重越大。函數(shù)wr使圖像中距離近但差異大的像素點(diǎn)能夠保留，有效保存了變化圖像中零件的邊界。

2 裝配體圖像變化檢測(cè)數(shù)據(jù)集

文中以二級(jí)圓錐齒輪減速器的裝配為例驗(yàn)證文中提出的TAF Net網(wǎng)絡(luò)的性能。為了準(zhǔn)確評(píng)估TAF Net網(wǎng)絡(luò)模型的性能，建立2個(gè)數(shù)據(jù)集，分別為二級(jí)圓錐齒輪減速器的合成深度圖像數(shù)據(jù)集、真實(shí)彩色圖像數(shù)據(jù)集。下面將分別對(duì)2個(gè)數(shù)據(jù)集進(jìn)行介紹。

數(shù)據(jù)集1是減速器的合成深度圖像數(shù)據(jù)集，深度圖像不僅包含圖像的三維信息，而且還具有很強(qiáng)的抗干擾性。為建立深度圖像數(shù)據(jù)集，此研究首先使用SolidWorks建立減速器的三維模型，然后通過(guò)3DMAX的三維渲染功能得到減速器三維模型的深度圖像，減速器的裝配過(guò)程分為4個(gè)步驟，每次裝配一個(gè)零部件，裝配過(guò)程如圖4所示。

圖4 裝配過(guò)程示意

深度圖像的合成需要對(duì)減速器T0—T4共5個(gè)節(jié)點(diǎn)分別合成，每個(gè)節(jié)點(diǎn)可以合成619張不同角度的照片。數(shù)據(jù)集選取的原則是保持前一時(shí)刻的視角不變，后一時(shí)刻圖像的視角連續(xù)性變化。每個(gè)步驟中前一時(shí)刻包含3個(gè)角度，每個(gè)角度在后一時(shí)刻中對(duì)應(yīng)52張圖像，訓(xùn)練集共包含624張圖像，驗(yàn)證集和測(cè)試集各有207張圖像。

數(shù)據(jù)集2是真實(shí)彩色圖像數(shù)據(jù)集，使用的是物理裝配體的彩色圖像。合成數(shù)據(jù)集具有方便高效的特點(diǎn)，但是合成圖像過(guò)于理想化，不足以驗(yàn)證網(wǎng)絡(luò)的實(shí)用性。通過(guò)建立真實(shí)數(shù)據(jù)集訓(xùn)練TAF Net網(wǎng)絡(luò)，準(zhǔn)確反映TAF Net網(wǎng)絡(luò)的實(shí)際性能。物理裝配體的彩色圖像如圖5所示。

圖5 物理裝配體的彩色圖像

使用RealSense相機(jī)采集物理裝配體的彩色圖像，通過(guò)固定相機(jī)位置，旋轉(zhuǎn)減速器獲得裝配體的多視角圖像。數(shù)據(jù)集選取的原則和深度圖像的相一致，訓(xùn)練集中前一時(shí)刻包含3個(gè)角度，每個(gè)角度在后一時(shí)刻對(duì)應(yīng)15張圖像。數(shù)據(jù)集中訓(xùn)練集包含180張圖像，驗(yàn)證集和測(cè)試集各有88張圖像。由于物理裝配體的彩色圖像數(shù)量不多，數(shù)據(jù)集的標(biāo)簽使用Photoshop進(jìn)行標(biāo)記。物理裝配體的彩色圖像人工標(biāo)注示意如圖6所示。

圖6 物理裝配體的彩色圖像人工標(biāo)注示意

3 實(shí)驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

變化檢測(cè)網(wǎng)絡(luò)得到的變化檢測(cè)結(jié)果是一個(gè)二值圖像，圖像中的白色像素點(diǎn)表示變化的像素，黑色像素點(diǎn)表示未發(fā)生變化的像素。為了客觀評(píng)價(jià)變化檢測(cè)的結(jié)果，使用準(zhǔn)確率(Precision)[29]、召回率(Recall)[29]和F1_score[29]作為精度評(píng)價(jià)的指標(biāo)，其中：

δPrecision=nTP/(nTP+nFP)

(9)

δRecall=nTP/(nTP+nFN)

(10)

δF1_score=2nTP/(2nTP+nFN+nFP)

(11)

其中：nTP表示正確判斷的像素變化數(shù)目；nTN為正確判斷的像素未變化數(shù)目；nFN為變化像素被檢測(cè)為未變化的數(shù)量；nFP是未變化像素被檢測(cè)為變化的數(shù)量；δF1_score是根據(jù)準(zhǔn)確率和召回率計(jì)算的綜合評(píng)價(jià)指標(biāo)，是評(píng)價(jià)實(shí)驗(yàn)結(jié)果的主要參數(shù)。

3.2 實(shí)驗(yàn)結(jié)果和分析

3.2.1 消融實(shí)驗(yàn)

為了驗(yàn)證三維注意力模塊和雙邊濾波對(duì)TAF Net網(wǎng)絡(luò)的影響，將使用2個(gè)數(shù)據(jù)集分別對(duì)網(wǎng)絡(luò)進(jìn)行評(píng)估，觀察不同模塊對(duì)變化檢測(cè)結(jié)果的影響。

不同模塊在數(shù)據(jù)集1上的實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯觯寒?dāng)在網(wǎng)絡(luò)中加入注意力后，網(wǎng)絡(luò)能夠關(guān)注到更多的細(xì)節(jié)特征，準(zhǔn)確率提高了2.6%，綜合評(píng)價(jià)指標(biāo)F1_score提高了1.5%，實(shí)驗(yàn)結(jié)果表明注意力能夠有效提高網(wǎng)絡(luò)的性能。輸出變化圖像經(jīng)過(guò)雙邊濾波過(guò)濾，優(yōu)化圖像中變化零部件的邊界，減少變化圖像中的無(wú)關(guān)像素點(diǎn)。從表中的數(shù)據(jù)可以看出：增加雙邊濾波后網(wǎng)絡(luò)的各項(xiàng)評(píng)價(jià)指標(biāo)均有提高，有效提高了圖像變化檢測(cè)的性能。

表1 不同模塊在數(shù)據(jù)集1上的實(shí)驗(yàn)結(jié)果

數(shù)據(jù)集2用的是物理裝配體的彩色圖像，由于真實(shí)圖像對(duì)應(yīng)標(biāo)簽的標(biāo)注較為復(fù)雜，此數(shù)據(jù)集只采集少量真實(shí)裝配體圖像并進(jìn)行標(biāo)注，所以可供訓(xùn)練的樣本較少，而且人工標(biāo)注的數(shù)據(jù)集標(biāo)簽存在標(biāo)注不精確的問(wèn)題，影響網(wǎng)絡(luò)的檢測(cè)精度。為了提高網(wǎng)絡(luò)模型的性能，文中引入遷移學(xué)習(xí)，將數(shù)據(jù)集2的訓(xùn)練模型作為真實(shí)數(shù)據(jù)集的預(yù)訓(xùn)練模型。實(shí)驗(yàn)結(jié)果如表2所示，注意力結(jié)合遷移學(xué)習(xí)使準(zhǔn)確率、召回率和F1_score分別提高了1.7%、0.4%和1%，有效提升了模型的精確度。遷移學(xué)習(xí)結(jié)合雙邊濾波能加速網(wǎng)絡(luò)訓(xùn)練和消除變化圖像中的噪聲，使網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)準(zhǔn)確率提高2.2%，F(xiàn)1_score提升1.4%，召回率也有小幅的提高。

表2 不同模塊在數(shù)據(jù)集2上的實(shí)驗(yàn)結(jié)果

綜合上述實(shí)驗(yàn)結(jié)果可以看出：注意力和雙邊濾波在2個(gè)不同的數(shù)據(jù)集上都可以提高網(wǎng)絡(luò)的性能，合成數(shù)據(jù)集在網(wǎng)絡(luò)中添加注意力后的評(píng)價(jià)指標(biāo)優(yōu)于雙邊濾波，真實(shí)數(shù)據(jù)集雙邊濾波的效果更優(yōu)。這是由于真實(shí)圖像含有噪聲，雙邊濾波既可以優(yōu)化零件的邊界也可以達(dá)到降噪的效果。真實(shí)數(shù)據(jù)集中圖像的標(biāo)簽為手工標(biāo)注，標(biāo)注過(guò)程比較耗時(shí)，而且存在標(biāo)注不精確的問(wèn)題，引入遷移學(xué)習(xí)可以在標(biāo)簽不精確、訓(xùn)練集較少的情況下完成機(jī)械裝配體的多視角變化檢測(cè)，這有助于此研究算法在真實(shí)裝配體變化檢測(cè)中的應(yīng)用。

3.2.2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證文中提出的機(jī)械裝配體圖像多視角變化檢測(cè)網(wǎng)絡(luò)TAF Net的有效性，將TAF Net與STANet[30]和SNUNet-CD[31]變化檢測(cè)網(wǎng)絡(luò)進(jìn)行比較，對(duì)比實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 對(duì)比實(shí)驗(yàn)數(shù)據(jù)

從表3可以看出：文中提出的TAF Net網(wǎng)絡(luò)在2個(gè)數(shù)據(jù)集上都有較好的表現(xiàn)，其中綜合評(píng)價(jià)指標(biāo)F1_score都達(dá)到96%以上。STANet網(wǎng)絡(luò)將圖像分割成多尺度的子區(qū)域進(jìn)行訓(xùn)練，在合成數(shù)據(jù)集1中F1_score為91.6%，在真實(shí)數(shù)據(jù)集中F1_score僅有85.0%。SNUNet-CD網(wǎng)絡(luò)通過(guò)編解碼器的密集連接，減少深層定位信息丟失，在數(shù)據(jù)集1中的效果最優(yōu)，F(xiàn)1_score達(dá)到94.5%，但在數(shù)據(jù)集2中F1_score數(shù)值僅為85.9%。SNUNet-CD和STANet網(wǎng)絡(luò)在數(shù)據(jù)集2中的檢測(cè)精度都較低，分析原因?yàn)橛?xùn)練集較少并且真實(shí)圖像中包含噪聲，標(biāo)簽標(biāo)注不夠準(zhǔn)確，變化檢測(cè)難度大，檢測(cè)結(jié)果較差。

圖7顯示的是數(shù)據(jù)集1在不同方法下變化檢測(cè)的效果。與真實(shí)變化的標(biāo)簽圖相比可以看出：文中提出的TAF Net網(wǎng)絡(luò)能夠精確檢測(cè)出變化區(qū)域，STANet網(wǎng)絡(luò)對(duì)邊緣細(xì)節(jié)特征的檢測(cè)效果較差。SNUNet-CD網(wǎng)絡(luò)造成了圖像信息丟失，在結(jié)果圖中出現(xiàn)了無(wú)關(guān)像素點(diǎn)，影響了檢測(cè)精度。

圖7 數(shù)據(jù)集1變化檢測(cè)結(jié)果

圖8所示為數(shù)據(jù)集2的變化檢測(cè)結(jié)果。可以看出：文中提出的TAF Net網(wǎng)絡(luò)可以精確找出變化區(qū)域，檢測(cè)出的變化零部件邊界平滑，檢測(cè)結(jié)果明顯優(yōu)于對(duì)比網(wǎng)絡(luò)。STANet網(wǎng)絡(luò)檢測(cè)出的變化圖像中有黑洞，而且將非變化零部件檢測(cè)為變化。SNUNet-CD網(wǎng)絡(luò)檢測(cè)出的變化零部件不完整，而且沒(méi)能有效消除圖像中的噪聲。

通過(guò)對(duì)比實(shí)驗(yàn)可以得出：文中提出的TAF Net網(wǎng)絡(luò)能夠滿足裝配體深度圖像和彩色圖像的變化檢測(cè)。在真實(shí)數(shù)據(jù)集的訓(xùn)練中，TAF Net網(wǎng)絡(luò)與遷移學(xué)習(xí)相結(jié)合，有效解決了標(biāo)簽不精確和訓(xùn)練集不足的問(wèn)題，能夠滿足實(shí)際應(yīng)用。綜合上述實(shí)驗(yàn)分析，TAF Net網(wǎng)絡(luò)具有較好的適用性，在2個(gè)不同的數(shù)據(jù)集中都能較好地實(shí)現(xiàn)機(jī)械裝配體圖像多視角變化檢測(cè)。

4 結(jié)論

文中提出了一種基于三維注意力和雙邊濾波的機(jī)械裝配體圖像多視角變化檢測(cè)網(wǎng)絡(luò)TAF Net，TAF Net網(wǎng)絡(luò)引入三維注意力機(jī)制，增強(qiáng)了網(wǎng)絡(luò)關(guān)鍵信息提取能力；引入雙邊濾波優(yōu)化檢測(cè)出變化零部件的邊界和消除圖像中的噪聲。文中建立了2個(gè)不同的裝配體變化檢測(cè)數(shù)據(jù)集(合成深度圖像數(shù)據(jù)集、真實(shí)彩色圖像數(shù)據(jù)集)，用于驗(yàn)證TAF Net網(wǎng)絡(luò)的性能，實(shí)驗(yàn)證明提出的TAF Net網(wǎng)絡(luò)能夠?qū)崿F(xiàn)機(jī)械裝配體的多視角變化檢測(cè)。在真實(shí)數(shù)據(jù)集的訓(xùn)練中引入遷移學(xué)習(xí)，有效解決了人工標(biāo)注標(biāo)簽不精確的問(wèn)題。與其他變化檢測(cè)網(wǎng)絡(luò)的相比，文中提出的方法都能達(dá)到最優(yōu)。