宋怡仁,陳成軍,李東年,官源林

(青島理工大學(xué)機(jī)械與汽車工程學(xué)院,山東青島 266520)

0 前言

裝配環(huán)節(jié)作為機(jī)械產(chǎn)品生產(chǎn)過程的重要組成部分，將直接影響最終機(jī)械產(chǎn)品質(zhì)量的好壞。復(fù)雜產(chǎn)品的裝配步驟和規(guī)范較多，若單純依靠裝配工人的操作經(jīng)驗(yàn)和技能容易產(chǎn)生裝配體出現(xiàn)錯(cuò)裝、漏裝等問題。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，計(jì)算機(jī)視覺技術(shù)在裝配監(jiān)測中逐漸得到應(yīng)用。如田中可等[1-2]提出一種基于深度圖像和像素分類的裝配體零件識別及裝配監(jiān)測方法和一種基于像素局部二值模式(PX-LBP)和像素分類的裝配體零件識別及裝配監(jiān)測方法。李勇[3]針對汽車門鎖裝配過程中拉簧裝配狀態(tài)進(jìn)行機(jī)器視覺檢測，對比了基于邊緣特征的模板匹配檢測方法和基于SVM的檢測方法，證明了基于SVM檢測方法具有良好的時(shí)效性和準(zhǔn)確性，能夠滿足車門鎖拉簧裝配狀態(tài)檢測的性能要求。

現(xiàn)有的裝配零件檢測和裝配過程監(jiān)測方法多采用機(jī)器學(xué)習(xí)算法，通過分析圖像中零件或裝配體的特征，選用圖像特征提取算法提取圖像特征，然后利用分類算法來識別零件或裝配體。該類算法中，圖像特征提取算法和分類算法的選擇對識別精度影響較大，算法選擇不當(dāng)會造成識別效果下降。深度學(xué)習(xí)算法能夠通過對數(shù)據(jù)集的學(xué)習(xí)，自動提取圖像特征，面對復(fù)雜的裝配場景具有更好的適應(yīng)性。因此，基于深度學(xué)習(xí)零件識別和裝配過程監(jiān)測是重要的發(fā)展方向。

目前，已經(jīng)有一些關(guān)于深度學(xué)習(xí)應(yīng)用在裝配領(lǐng)域的研究。如王必賢等[4]提出了一種使用深度學(xué)習(xí)目標(biāo)檢測算法精確定位裝配區(qū)域的系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)了裝配區(qū)域定位、工件分類和手部跟蹤等功能，可在裝配工作中引導(dǎo)操作人員完成裝配。冒文彥[5]基于卷積神經(jīng)網(wǎng)絡(luò)算法開發(fā)了線夾裝配質(zhì)量檢測系統(tǒng),實(shí)現(xiàn)了對高鐵線纜吊弦線夾裝配質(zhì)量的智能化檢測。李成鈿[6]提出基于SVM和卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)子面型智能分類方法，解決轉(zhuǎn)子面型分類準(zhǔn)確率低的難題。

本文作者以RV減速器為研究對象，將深度學(xué)習(xí)中的語義分割算法和目標(biāo)檢測算法應(yīng)用在RV減速器裝配過程監(jiān)測中，搭建RV減速器裝配過程監(jiān)測系統(tǒng)實(shí)驗(yàn)臺，建立語義分割和目標(biāo)檢測模型和相應(yīng)數(shù)據(jù)集，進(jìn)行模型訓(xùn)練，編寫RV減速器裝配過程監(jiān)測系統(tǒng)軟件，實(shí)現(xiàn)了RV減速器裝配過程的監(jiān)測。

1 RV減速器裝配過程監(jiān)測系統(tǒng)

如圖1所示，RV減速器裝配過程監(jiān)測系統(tǒng)包括實(shí)驗(yàn)臺和RV減速器裝配過程監(jiān)測軟件，該系統(tǒng)與深度學(xué)習(xí)算法進(jìn)行結(jié)合，將實(shí)驗(yàn)臺采集到的真實(shí)圖像數(shù)據(jù)和RV減速器虛擬模型生成的虛擬圖像數(shù)據(jù)送入深度學(xué)習(xí)算法中進(jìn)行模型訓(xùn)練，再將訓(xùn)練完成的模型結(jié)構(gòu)和權(quán)重送入系統(tǒng)的軟件中，軟件可對實(shí)驗(yàn)臺提供的圖像進(jìn)行預(yù)測計(jì)算，實(shí)現(xiàn)裝配過程監(jiān)測功能。

圖1 RV減速器裝配過程監(jiān)測系統(tǒng)Fig.1 RV reducer assembly process monitoring system

1.1 RV減速器裝配過程監(jiān)測系統(tǒng)實(shí)驗(yàn)臺

RV減速器裝配過程監(jiān)測系統(tǒng)實(shí)驗(yàn)臺如圖2所示，主要包括RV減速器和RGB-D相機(jī)。RV減速器主要應(yīng)用在工業(yè)機(jī)器人的關(guān)節(jié)處；RGB-D相機(jī)采用Intel Realsense D415，可以同時(shí)采集彩色圖像和深度圖像。該實(shí)驗(yàn)臺可為深度學(xué)習(xí)模型提供圖像數(shù)據(jù)以供它訓(xùn)練，也可為RV減速器裝配過程監(jiān)測軟件實(shí)時(shí)傳輸圖像。

圖2 RV減速器裝配過程監(jiān)測系統(tǒng)實(shí)驗(yàn)臺Fig.2 Test bed of RV reducer assemblyprocess monitoring system

1.2 RV減速器裝配過程監(jiān)測軟件

為了使深度學(xué)習(xí)算法應(yīng)用到裝配過程監(jiān)測中，并部署到實(shí)際工業(yè)場景中，文中設(shè)計(jì)了監(jiān)測軟件。軟件基于Qt5平臺開發(fā)軟件界面，使用Python語言編寫程序?qū)崿F(xiàn)圖像采集、預(yù)測和界面操作等功能。如圖3所示，RV減速器裝配過程監(jiān)測軟件包括界面操作模塊、圖像采集模塊和圖像預(yù)測模塊。

圖3 RV減速器裝配過程監(jiān)測軟件功能結(jié)構(gòu)Fig.3 Functional structure of RV reducer assembly process monitoring software

圖像采集模塊使用Intel Realsense D415 RGB-D相機(jī)實(shí)時(shí)采集RV減速器深度圖像和彩色圖像，相機(jī)首先進(jìn)行分辨率、幀數(shù)等參數(shù)的設(shè)置，再對視頻圖像進(jìn)行濾波和裁剪等操作。裝配體表面會將RGB-D相機(jī)發(fā)出的紅外光鏡面反射，在拍攝出的真實(shí)深度圖像中裝配體邊緣和一些局部地區(qū)會有黑斑，因此使用INPAINT_TELEA[7]算法修復(fù)深度圖像中的黑斑，最后將圖像實(shí)時(shí)傳輸?shù)浇缑娌僮髂K中。

界面操作模塊包括控制RGB-D相機(jī)的啟停，顯示RGB-D相機(jī)采集的圖像，設(shè)置當(dāng)前裝配工序中的零件信息，讀取本地圖像，截取圖像，顯示預(yù)測結(jié)果和保存預(yù)測結(jié)果等功能。

圖像預(yù)測模塊實(shí)現(xiàn)了基于深度學(xué)習(xí)模型的RV減速器圖像識別和裝配過程監(jiān)測功能。首先將訓(xùn)練好的深度學(xué)習(xí)模型結(jié)構(gòu)與參數(shù)權(quán)重載入圖像預(yù)測模塊，然后讀取界面操作模塊傳輸?shù)膱D像和當(dāng)前工序信息，利用載入的深度學(xué)習(xí)模型識別圖像，最后將識別結(jié)果可視化為圖像和文字。同時(shí)將識別結(jié)果與當(dāng)前工序信息對比，以此判斷是否存在漏裝的情況，實(shí)現(xiàn)裝配過程監(jiān)測。

2 基于深度學(xué)習(xí)的裝配監(jiān)測算法

此系統(tǒng)應(yīng)用了深度學(xué)習(xí)中的語義分割和目標(biāo)檢測算法來檢測裝配體中不同的零件。語義分割是一種將圖像中所有像素點(diǎn)進(jìn)行分類，將相同類別的像素歸為相同標(biāo)簽的算法；目標(biāo)檢測是一種能夠精確地定位出圖像中某一物體類別信息和所在位置的算法。

如圖2所示，RV減速器大部分零件是壓合裝配，零件之間互相重合，互相遮擋，且多數(shù)零件外表顏色為銀白色，難以分辨出不同零件之間的邊界，深度學(xué)習(xí)算法也難以從彩色圖像中學(xué)習(xí)到特征。但是因?yàn)槊總€(gè)零件之間的高度有所差異，所以不同零件在深度圖像中就有明顯的深度值差異。同樣，因?yàn)镽V減速器大部分零件是壓合裝配，大多數(shù)零件都有它固定明確的安裝位置，所以在裝配過程中最可能出現(xiàn)的是漏裝問題。因此針對圖2中的外殼、左行星架、小軸承、大軸承和曲軸等類似零件，采用語義分割算法識別深度圖像中的此類零件。

如圖2所示，螺釘這類微小的零件沉入到其他零件中，它們在深度圖像中的深度值與周圍其他零件并沒有明顯的區(qū)別，同時(shí)它們分布較為分散，不存在互相遮擋等問題，因此采用目標(biāo)檢測算法識別彩色圖像中的螺釘。

2.1 語義分割算法

2.1.1 語義分割模型的選擇

此系統(tǒng)語義分割算法采用了UNet網(wǎng)絡(luò)模型[8]，該網(wǎng)絡(luò)模型通常應(yīng)用于數(shù)據(jù)量小、場景結(jié)構(gòu)較為固定的圖像分割中，如生物醫(yī)學(xué)圖像分割。工業(yè)上采集的裝配體圖像也具有裝配錯(cuò)誤樣本量小、場景結(jié)構(gòu)單一等特點(diǎn)，UNet網(wǎng)絡(luò)模型可以在較小的數(shù)據(jù)量下達(dá)到較高的語義分割準(zhǔn)確率。

如圖4所示，UNet網(wǎng)絡(luò)模型結(jié)構(gòu)分為兩部分：分別是特征提取和上采樣。在特征提取過程中，先對輸入的圖像進(jìn)行3×3卷積和2×2最大池化操作，每通過一個(gè)池化層，就生成一個(gè)新尺度的特征圖。在上采樣過程中，對提取出的特征圖進(jìn)行2×2反卷積和3×3卷積的上采樣操作，每上采樣一次，就與特征提取部分通道數(shù)相同的特征圖進(jìn)行融合。由于特征提取過程中的特征圖與上采樣過程中特征圖的大小不一致，因此在融合之前需要對前者進(jìn)行裁剪。最后再通過1×1卷積生成對應(yīng)每個(gè)類別的熱圖，經(jīng)過激活函數(shù)的處理，計(jì)算出圖像中每個(gè)像素點(diǎn)對應(yīng)每個(gè)類別的概率，實(shí)現(xiàn)對圖像中每一個(gè)像素的分類。

圖4 UNet網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.4 Structure of UNet network model

2.1.2 語義分割數(shù)據(jù)集的建立

如圖5所示，將RV減速器按照裝配順序分成4個(gè)裝配階段，每個(gè)裝配階段單獨(dú)制作語義分割數(shù)據(jù)集，分別訓(xùn)練語義分割模型，生成4個(gè)語義分割模型權(quán)重，從而避免各個(gè)裝配階段之間相互影響，導(dǎo)致識別準(zhǔn)確率降低。

圖5 4個(gè)裝配階段圖像Fig.5 Images of four assembly stages

語義分割數(shù)據(jù)集包括虛擬數(shù)據(jù)集和真實(shí)數(shù)據(jù)集。在建立虛擬數(shù)據(jù)集中，首先使用SolidWorks三維建模軟件進(jìn)行裝配體的建模，再使用3DMAX三維渲染軟件對裝配體模型中的每一個(gè)零件標(biāo)記顏色標(biāo)簽，然后使用OSG(Open Scene Graph)對模型進(jìn)行渲染，自動生成模型的深度圖像以及對應(yīng)的顏色標(biāo)簽圖像。在每生成一次圖像后，自動調(diào)整模型的位置和角度，再生成下一個(gè)圖像，重復(fù)以上過程。在調(diào)整模型的位置和角度時(shí)，考慮到采集的真實(shí)數(shù)據(jù)集圖像都為一面朝上，為了使虛擬數(shù)據(jù)集和真實(shí)數(shù)據(jù)集統(tǒng)一，所以主要調(diào)整模型繞z軸旋轉(zhuǎn)的角度。對裝配體裝配過程的4個(gè)階段分別進(jìn)行建模、標(biāo)記顏色標(biāo)簽和生成圖像，最終形成的虛擬數(shù)據(jù)集如圖6所示，上方為深度圖像，下方為顏色標(biāo)簽圖像。每個(gè)裝配階段各生成360張深度圖像及其對應(yīng)的顏色標(biāo)簽圖像，圖像大小均為224像素×224像素，格式為PNG，并按照9∶1的比例來劃分訓(xùn)練集和測試集。

圖6 虛擬數(shù)據(jù)集實(shí)例Fig.6 Example of virtual dataset

為了建立真實(shí)數(shù)據(jù)集，此研究使用Intel Realsense D415 RGB-D相機(jī)采集真實(shí)的裝配體進(jìn)行深度圖像。為了提高語義分割模型訓(xùn)練和預(yù)測速度，并與虛擬數(shù)據(jù)集中的深度圖像的效果盡量保持統(tǒng)一，此研究將拍攝距離設(shè)置為700 mm，真實(shí)圖像的大小裁剪為224像素×224像素，圖像格式設(shè)置為PNG。再使用Adobe Photoshop對深度圖像中的每個(gè)零件進(jìn)行人工標(biāo)記顏色標(biāo)簽，每一個(gè)裝配階段各制作30張真實(shí)圖像及其對應(yīng)的顏色標(biāo)簽圖像。為了擴(kuò)展真實(shí)數(shù)據(jù)集的數(shù)量，提高所訓(xùn)練的語義分割模型的魯棒性，對這30張深度圖像和顏色標(biāo)簽圖像進(jìn)行旋轉(zhuǎn)、鏡像和加噪等數(shù)據(jù)增強(qiáng)操作，最終每個(gè)裝配階段的真實(shí)語義分割數(shù)據(jù)集共有100張圖像，并按照9∶1的比例來劃分訓(xùn)練集和測試集，形成的真實(shí)數(shù)據(jù)集如圖7所示，圖7中的深度圖像已使用INPAINT_TELEA算法修復(fù)黑斑。

圖7 真實(shí)數(shù)據(jù)集實(shí)例Fig.7 Example of real dataset

2.1.3 語義分割模型的訓(xùn)練

在Windows系統(tǒng)下，使用百度公司開源的PaddlePaddle深度學(xué)習(xí)平臺[9]建立了網(wǎng)絡(luò)模型并進(jìn)行模型訓(xùn)練。首先使用虛擬數(shù)據(jù)集對UNet網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，使用在COCO數(shù)據(jù)集上訓(xùn)練的UNet網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重作為初始權(quán)重，迭代輪數(shù)為1 000，學(xué)習(xí)率為0.005，批大小為2。訓(xùn)練結(jié)束后，保存評價(jià)指標(biāo)MIoU最優(yōu)時(shí)的模型權(quán)重，然后使用上述模型權(quán)重和真實(shí)數(shù)據(jù)集訓(xùn)練UNet網(wǎng)絡(luò)模型，迭代輪數(shù)為500，學(xué)習(xí)率為0.005，批大小為2，最終保存MIoU最優(yōu)時(shí)的模型權(quán)重。通過這種方式可以讓模型預(yù)先學(xué)習(xí)一些虛擬數(shù)據(jù)集的特征，從而在訓(xùn)練規(guī)模較小的真實(shí)數(shù)據(jù)集上也能有較好的訓(xùn)練結(jié)果，同時(shí)可以減少訓(xùn)練迭代次數(shù)，加快訓(xùn)練速度。對裝配體裝配過程的4個(gè)階段的數(shù)據(jù)集分別進(jìn)行訓(xùn)練，最終得出的語義分割平均準(zhǔn)確率和平均交并比如表1所示，可以看到：語義分割在4個(gè)裝配階段上的平均準(zhǔn)確率分別為95.82%、96.96%、96.77%和96.99%。

表1 4個(gè)裝配階段的語義分割平均準(zhǔn)確率和平均交并比

2.2 目標(biāo)檢測

2.2.1 目標(biāo)檢測模型的選擇

此系統(tǒng)的目標(biāo)檢測算法采用了YOLOv3網(wǎng)絡(luò)模型[10]。YOLOv3是輕量快速的單階段目標(biāo)檢測模型，它融合了FPN(特征圖金字塔網(wǎng)絡(luò))[11]和殘差網(wǎng)絡(luò)[12]等結(jié)構(gòu)，使得預(yù)測速度和精度快于傳統(tǒng)的目標(biāo)檢測模型，因此適用于工業(yè)場景。

如圖8所示，YOLOv3網(wǎng)絡(luò)模型的特征提取由Darknet-53網(wǎng)絡(luò)實(shí)現(xiàn)，該網(wǎng)絡(luò)包含大量1×1卷積、 3×3卷積和res unit(殘差單元)，YOLOv3使用了步長為2卷積來實(shí)現(xiàn)下采樣，降低了池化層帶來的圖像梯度負(fù)面影響。然后使用了類似FPN的上采樣和特征融合方法，分為13×13、26×26和52×52三個(gè)尺度，每個(gè)尺度下堆積不同尺度的特征圖，再通過卷積的方式實(shí)現(xiàn)不同尺度特征圖之間的局部特征融合，最后在這3個(gè)特征圖上分別分類和位置回歸，實(shí)現(xiàn)對圖像中每一個(gè)物體的位置和類別的識別。

圖8 YOLOv3網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.8 Structure of YOLOv3 network model

PaddlePaddle深度學(xué)習(xí)平臺的YOLOv3網(wǎng)絡(luò)在原版的YOLOv3基礎(chǔ)上做了一些改進(jìn)，例如將骨架網(wǎng)絡(luò)更換為ResNet50-VD[13]、引入可變形卷積[14]替代原始卷積、使用label smooth優(yōu)化方法[15]等，進(jìn)一步提高了YOLOv3的工程應(yīng)用性能。

2.2.2 目標(biāo)檢測數(shù)據(jù)集的建立

采用目標(biāo)檢測算法是為了檢測螺釘，螺釘?shù)难b配位于第三裝配階段，因此使用第三裝配階段的彩色圖像制作數(shù)據(jù)集進(jìn)行訓(xùn)練。使用Intel Realsense D415 RGB-D相機(jī)對裝配體進(jìn)行彩色圖像的采集，然后使用LabelImg標(biāo)注軟件對彩色圖像中的每個(gè)螺釘進(jìn)行人工標(biāo)注生成標(biāo)簽文件，形成100張圖像及其對應(yīng)的標(biāo)簽文件，圖像的大小為224像素×224像素，格式為PNG。最后對采集的彩色圖像進(jìn)行旋轉(zhuǎn)、鏡像和加噪等數(shù)據(jù)增強(qiáng)操作，同時(shí)也對標(biāo)簽文件進(jìn)行相應(yīng)的修改，最終的目標(biāo)檢測數(shù)據(jù)集有300張圖像，并按照9∶1的比例來劃分訓(xùn)練集和測試集。目標(biāo)檢測數(shù)據(jù)集如圖9所示。

圖9 目標(biāo)檢測數(shù)據(jù)集典型實(shí)例Fig.9 Typical example of object detection dataset

2.2.3 目標(biāo)檢測模型的訓(xùn)練

在與語義分割模型訓(xùn)練相同的計(jì)算機(jī)系統(tǒng)和深度學(xué)習(xí)平臺上，使用上述數(shù)據(jù)集訓(xùn)練YOLOv3網(wǎng)絡(luò)模型，使用在COCO數(shù)據(jù)集上訓(xùn)練的YOLOv3網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重作為初始權(quán)重，迭代輪數(shù)為500，學(xué)習(xí)率為0.000 5，批大小為2，模型在第260個(gè)迭代輪次時(shí)性能達(dá)到最優(yōu)，此時(shí)模型的螺釘目標(biāo)檢測訓(xùn)練結(jié)果為精確率99.8%，召回率99.7%，對訓(xùn)練完成的模型的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)權(quán)重進(jìn)行保存。

3 實(shí)驗(yàn)及結(jié)果分析

文中使用的裝配體為RV減速器，在RV減速器裝配過程監(jiān)測系統(tǒng)實(shí)驗(yàn)臺上實(shí)時(shí)采集圖像，利用RV減速器裝配過程監(jiān)測軟件進(jìn)行裝配過程監(jiān)測。軟件運(yùn)行環(huán)境如下：計(jì)算機(jī)為Intel(R) Core(TM) i5-6300HQ CPU@2.30 GHz，8 GB內(nèi)存，Windows10系統(tǒng)。

3.1 小齒輪漏裝監(jiān)測

如圖10所示，該圖像為第四裝配階段的RV減速器，在此裝配階段中應(yīng)完成2個(gè)小齒輪的裝配，容易出現(xiàn)的裝配錯(cuò)誤為小齒輪漏裝。針對此問題，使用RV減速器裝配過程監(jiān)測軟件識別第四裝配階段的圖像。

圖10 小齒輪正常(a)與漏裝(b)Fig.10 Normal (a) and missing pinion (b)

首先打開相機(jī)顯示深度視頻，選擇第四裝配階段，然后截取當(dāng)前的視頻圖像，對該圖像進(jìn)行語義分割預(yù)測，在左側(cè)的信息欄中顯示預(yù)測結(jié)果為當(dāng)前有小軸承1個(gè)、密封圈1個(gè)、右行星架1個(gè)、外殼1個(gè)、小齒輪1個(gè)和曲軸2個(gè)。根據(jù)第四裝配階段的零件標(biāo)準(zhǔn)，當(dāng)前零件類別應(yīng)為密封圈1個(gè)、右行星架1個(gè)、外殼1個(gè)、小齒輪2個(gè)和曲軸2個(gè)，兩者對比前者缺少1個(gè)小齒輪，軟件由此得出缺少1個(gè)小齒輪的判斷。多出1個(gè)小軸承是由于缺少小齒輪后，其下方的小軸承呈現(xiàn)在圖像上。此時(shí)的軟件界面如圖11所示，左側(cè)的信息欄提示缺少1個(gè)小齒輪。預(yù)測完成后可對當(dāng)前的預(yù)測結(jié)果進(jìn)行保存，圖像默認(rèn)命名為當(dāng)前的系統(tǒng)時(shí)間，方便后期對裝配過程進(jìn)行追溯。

圖11 檢測到小齒輪漏裝時(shí)的軟件界面Fig.11 Software interface when missing pinion is detected

3.2 螺釘漏裝監(jiān)測

如圖12所示，該圖像為第三裝配階段的裝配體。

圖12 螺釘正常(a)與漏裝(b)圖示Fig.12 Normal (a) and missing screws (b)

在此裝配階段中應(yīng)完成4個(gè)螺釘?shù)难b配，裝配錯(cuò)誤為螺釘漏裝。針對此問題，使用RV減速器裝配過程監(jiān)測軟件識別第三裝配階段的圖像。

首先打開相機(jī)顯示彩色視頻，選擇第三裝配階段，截取當(dāng)前的視頻圖像，對該圖像進(jìn)行目標(biāo)檢測預(yù)測，在左側(cè)的信息欄中顯示預(yù)測結(jié)果為當(dāng)前有1個(gè)螺釘，根據(jù)第三裝配階段的零件標(biāo)準(zhǔn)，當(dāng)前應(yīng)有螺釘4個(gè)，兩者對比缺少3個(gè)螺釘，軟件由此得出缺少3個(gè)螺釘?shù)呐袛?。此時(shí)的軟件界面如圖13所示，左側(cè)的信息欄提示缺少螺釘3個(gè)。

圖13 檢測到螺釘漏裝時(shí)的軟件界面Fig.13 Software interface when missing screws is detected

4 結(jié)束語

針對機(jī)械產(chǎn)品裝配過程中容易產(chǎn)生漏裝的問題，提出一種基于深度學(xué)習(xí)的RV減速器裝配過程監(jiān)測系統(tǒng)。首先，搭建了RV減速器裝配過程監(jiān)測系統(tǒng)實(shí)驗(yàn)臺；然后使用了深度學(xué)習(xí)中語義分割和目標(biāo)檢測算法對裝配體圖像進(jìn)行預(yù)測計(jì)算，語義分割在4個(gè)裝配階段上的平均準(zhǔn)確率分別為95.82%、96.96%、96.77%和96.99%，目標(biāo)檢測對于螺釘?shù)念A(yù)測精確率為99.8%；最后編寫RV減速器裝配過程監(jiān)測軟件，將深度學(xué)習(xí)預(yù)測、RGB-D相機(jī)視頻實(shí)時(shí)采集等功能集成到軟件中，實(shí)現(xiàn)了對裝配過程的監(jiān)測。實(shí)驗(yàn)結(jié)果證明：此軟件可以正確監(jiān)測裝配過程中的零件是否存在漏裝情況。