蘇建，慕存強，任善劍，王仁忠，黃婷，劉廣

(蘇州市職業(yè)大學(xué)機電工程學(xué)院，江蘇蘇州 215104)

0 前言

新一代信息技術(shù)與制造業(yè)的融合發(fā)展，加速了制造型企業(yè)數(shù)字化變革，促進了制造業(yè)數(shù)字化轉(zhuǎn)型，推動了企業(yè)數(shù)字化、網(wǎng)絡(luò)化、智能化的發(fā)展。數(shù)字孿生是伴隨新一代信息技術(shù)飛速發(fā)展的新興技術(shù)，它利用物理模型、傳感器更新、運行歷史等數(shù)據(jù)，集成多學(xué)科、多物理量、多尺度、多概率的仿真過程，在虛擬空間中完成映射，從而反映相應(yīng)實體裝備的全生命周期過程，其本質(zhì)就是信息世界對物理世界的等價映射。

數(shù)字孿生與智能制造的深度融合，是當(dāng)前制造型企業(yè)快速發(fā)展的一個重要方向。企業(yè)融入數(shù)字孿生技術(shù)后，可以為物理世界中的產(chǎn)品開發(fā)、生產(chǎn)過程等建立虛擬模型，縮短了產(chǎn)品設(shè)計開發(fā)周期，實現(xiàn)生產(chǎn)過程的實時監(jiān)控，優(yōu)化生產(chǎn)設(shè)備的維護與管理等，有利于企業(yè)提高生產(chǎn)效率和產(chǎn)品質(zhì)量。

當(dāng)前，制造業(yè)中數(shù)字孿生技術(shù)的研究主要集中在數(shù)控加工領(lǐng)域中，如吳雁等人[1]實現(xiàn)了在MCD平臺上完成數(shù)控車床上下料機械手機電一體化概念設(shè)計與控制仿真；林裕程、韓勇[2]提出了基于TIA博圖和MCD的數(shù)控機床虛擬調(diào)試方案；趙輝等人[3]提出了全自動注塑機的虛擬調(diào)試方法。鄭魁敬等[4]、楊艷芳等[5]、趙丹丹[6]針對工業(yè)機器人的數(shù)字孿生技術(shù)開展了一些研究工作，但是基于視覺的工業(yè)機器人分揀作業(yè)數(shù)字孿生系統(tǒng)的研究還不夠深入。

針對生產(chǎn)過程中多類型、多顏色工件的檢測、識別與分揀作業(yè)，作者提出一個基于工業(yè)視覺的工業(yè)機器人分揀作業(yè)控制方案，應(yīng)用NX MCD軟件構(gòu)建了工業(yè)機器人分揀作業(yè)數(shù)字孿生系統(tǒng)，將工業(yè)視覺檢測到的工件數(shù)據(jù)映射到孿生系統(tǒng)中，實現(xiàn)高精度、高效率的工件虛實同步分揀作業(yè)，縮短了系統(tǒng)開發(fā)調(diào)試周期，實現(xiàn)了產(chǎn)品生產(chǎn)過程實時監(jiān)控。

1 方案設(shè)計

針對一批底座、電機、減速器和法蘭工件，每種工件均有紅、黃、藍、黑4種不同顏色，現(xiàn)需要設(shè)計一個工業(yè)機器人分揀作業(yè)控制系統(tǒng)，實現(xiàn)不同顏色、不同類型工件的檢測、識別和分揀作業(yè)。

1.1 物理系統(tǒng)設(shè)計

融合工業(yè)視覺和以太網(wǎng)技術(shù)的工業(yè)機器人分揀控制系統(tǒng)[7]，可以提高工件識別準確率和分揀作業(yè)效率，如圖1和圖2所示。

圖2 數(shù)字孿生系統(tǒng)構(gòu)建

該系統(tǒng)選用康耐視工業(yè)視覺檢測工件類型、顏色等特征數(shù)據(jù)；利用裝有雙功能末端工具的工業(yè)機器人進行工件分揀搬運；采用西門子S7-1200PLC進行硬件系統(tǒng)的組態(tài)、通信及流程控制；同時通過變頻驅(qū)動的輸送帶、步進驅(qū)動的打包分揀平臺、阻擋氣缸、檢測傳感器、人機界面等設(shè)備實現(xiàn)工件檢測與分揀作業(yè)流程。

1.2 數(shù)字孿生系統(tǒng)設(shè)計

為了實現(xiàn)系統(tǒng)的虛實同步作業(yè)，基于NX MCD軟件，構(gòu)建一個工業(yè)機器人分揀作業(yè)數(shù)字孿生系統(tǒng)，系統(tǒng)包含工業(yè)機器人、工件輸送帶、工件分揀平臺、氣缸、傳感器等三維模型，將物理系統(tǒng)相關(guān)數(shù)據(jù)映射到孿生系統(tǒng)中，實現(xiàn)虛實同步的功能。數(shù)字孿生系統(tǒng)中相關(guān)模型的機電概念如表1所示。

表1 孿生系統(tǒng)模塊與機電概念

1.3 系統(tǒng)通信方案設(shè)計

此系統(tǒng)需要將視覺檢測到的數(shù)據(jù)實時發(fā)送給PLC，PLC將數(shù)據(jù)處理完成后發(fā)送給工業(yè)機器人，實現(xiàn)工件的檢測、識別、分揀等功能，還需要將物理系統(tǒng)中的相關(guān)數(shù)據(jù)實時映射到數(shù)字孿生系統(tǒng)中，因此需要構(gòu)建一個包含工業(yè)機器人、PLC、工業(yè)視覺、HMI、變頻器、編程計算機、孿生系統(tǒng)等的以太網(wǎng)通信網(wǎng)絡(luò)，如圖2所示。同時需要利用相關(guān)軟件對物理和孿生系統(tǒng)中的數(shù)據(jù)進行分析與處理，如利用KeMotion軟件對工業(yè)機器人進行編程調(diào)試；利用In-Sight軟件進行工件特征學(xué)習(xí)與訓(xùn)練；利用TIA Portal軟件對系統(tǒng)進行組態(tài)、通信及流程控制。為了能夠?qū)\生系統(tǒng)與物理系統(tǒng)進行虛實同步，需要將物理系統(tǒng)的控制量、狀態(tài)量等數(shù)據(jù)映射到孿生系統(tǒng)，利用KEPServer軟件實現(xiàn)TIA Portal和NX MCD之間的數(shù)據(jù)映射。

2 工件的視覺檢測與識別

此系統(tǒng)選用康耐視IS2000系列的智能相機，基于In-Sight軟件中視覺工具檢測工件的顏色、位置、直徑、孔數(shù)等數(shù)據(jù)，PLC接收到檢測數(shù)據(jù)后進行分析與處理，進而識別出工件的顏色、類型、位置等特征數(shù)據(jù)，以便工業(yè)機器人正確抓取并分揀工件。

2.1 視覺檢測原理

2.1.1 RGB顏色檢測原理

RGB顏色空間是以紅、綠、藍3種基本色為基礎(chǔ)，進行不同程度的疊加，產(chǎn)生各種各樣的顏色效果，也稱三基色模式[8]。3種基本色所占比例不同，得到的顏色就不同。在RGB顏色空間，任意色光F都可以用RGB 3種顏色不同分量的相加混合而成，如公式(1)所示：

F=r[R]+g[G]+b[B]

(1)

根據(jù)學(xué)習(xí)訓(xùn)練的目標(biāo)色光，在允許的誤差范圍內(nèi)，根據(jù)公式(2)進行圖像二值化處理，根據(jù)公式(3)計算圖像中目標(biāo)色光的像素總數(shù)。

(2)

(3)

其中：F0為目標(biāo)圖像學(xué)習(xí)訓(xùn)練得到的色光值；d為允許色光誤差；B(x,y)為允許誤差范圍內(nèi)的二進制圖像；PN為目標(biāo)顏色像素數(shù)和。

2.1.2 圖像匹配位置檢測原理

圖像匹配是應(yīng)用計算機和相應(yīng)的數(shù)學(xué)理論對給定圖像按照特定目的進行相應(yīng)匹配處理[9]。匹配原理如下：在特定的搜索范圍內(nèi)(如對稱圖像范圍為[-90°，90°])，將圖像模板T0(m0,n0)旋轉(zhuǎn)θ角度得到新的模板圖像Tθ(m0,n0)，然后與被搜索圖S(W,H)進行匹配，當(dāng)新的模板圖像與搜索圖像中的部分區(qū)域達到一定相似度時，即可在搜索區(qū)域中獲得模板圖像的角度、x方向偏移量、y方向偏移量等特征數(shù)據(jù)。模板匹配公式如下所示：

(4)

其中：i、j為子圖左下角在被搜索圖S上的坐標(biāo)；θ為模板旋轉(zhuǎn)角度。

2.1.3 圓孔及直徑檢測原理

圓孔檢測是模式識別領(lǐng)域和計算機視覺領(lǐng)域的重要研究內(nèi)容[10]?；诨舴蜃儞Q[11]及相似度的圓孔檢測方法較為成熟。此例基于霍夫變換原理，對目標(biāo)圖像進行濾波、二值化、邊緣檢測等預(yù)處理[12-13]，然后獲取若干封閉圖形邊沿，若邊沿滿足如下公式，則該封閉圖形邊沿即為圓孔。

(5)

其中：Rk(i,j)為圓的半徑；(i,j)為當(dāng)前圓孔的圓心位置；k為目標(biāo)圖像中圓孔個數(shù)。

2.2 特征學(xué)習(xí)

此系統(tǒng)選用In-Sight軟件中的顏色像素計數(shù)、圖案匹配、斑點計數(shù)和圓直徑4種工具來檢測工件的特征數(shù)據(jù)。其中，顏色像素計數(shù)工具需要關(guān)閉背光源，避免背光源太亮顏色失真，其他3個工具需要打開背光源，以便獲得清晰圖像。圖案匹配工具主要用來確定工件的位置和角度，而斑點和圓直徑用來區(qū)分工件的類型。以黑色減速器工件為例，該工件檢測圖像與特征數(shù)據(jù)如圖3—5所示。

圖3 關(guān)閉背光源

2.3 檢測數(shù)據(jù)處理

由于IS2000型號智能相機只能檢測工件特征數(shù)據(jù)，不能編寫數(shù)據(jù)處理腳本程序，因此需要將檢測到的特征數(shù)據(jù)發(fā)送給PLC，由PLC對特征數(shù)據(jù)進行處理，識別工件顏色與類型，確定工件位置。

圖6為工件顏色識別處理程序，其中KK、RR、YY、BB為檢測到的顏色標(biāo)記。圖7為工件類型識別處理程序。

圖6 顏色識別

經(jīng)測量，底座、法蘭、減速器和電機4種工件外圓直徑分別約為240、210、188、178個像素，且誤差不超過±2%。此處設(shè)定4種工件的外圓直徑界限為230、200、182、170像素，通過外圓直徑和工件圓孔數(shù)量結(jié)合的方式區(qū)分工件類型。圖8為工件位置數(shù)據(jù)處理程序。通過模板匹配獲取工件的特征數(shù)據(jù)，然后與基準位置作差獲取x方向、y方向偏移像素，再乘以像素當(dāng)量Px，獲取偏移距離。為了確保數(shù)據(jù)轉(zhuǎn)化過程中小數(shù)點后1位數(shù)據(jù)不丟失，將偏移數(shù)據(jù)乘以10，機器人接收數(shù)據(jù)后再除以10。工件的高度經(jīng)測量后有序存放在H數(shù)組中，根據(jù)工件類型進行調(diào)用。

圖8 工件位置處理程序

3 數(shù)字孿生系統(tǒng)的構(gòu)建

3.1 工業(yè)機器人數(shù)字孿生系統(tǒng)構(gòu)建

工業(yè)機器人數(shù)字孿生系統(tǒng)(如圖9所示)的機電概念主要由剛體、固定副、鉸鏈副、位置控制組成，如圖10所示。工業(yè)機器人由8個剛體組成：承重板、基座、關(guān)節(jié)1、關(guān)節(jié)2、關(guān)節(jié)3、關(guān)節(jié)4、關(guān)節(jié)5、關(guān)節(jié)6。工業(yè)機器人的各個關(guān)節(jié)之間通過6個鉸鏈副串聯(lián)而成，其中關(guān)節(jié)1鉸鏈副的基本件為基座，連接件為關(guān)節(jié)1，軸矢量方向向上，1軸電機限制角度范圍為[-175°，175°]；關(guān)節(jié)2鉸鏈副的基本件為關(guān)節(jié)1，連接件為關(guān)節(jié)2。依次類推，完成6個鉸鏈副的創(chuàng)建，并對應(yīng)創(chuàng)建6個位置控制。

圖9 機器人孿生系統(tǒng)

工業(yè)機器人末端安裝了吸盤和手爪雙功能工具(如圖11所示)，其中吸盤工具的機電概念由剛體、滑動副、碰撞傳感器和彈簧阻尼器組成，如圖12所示；手爪工具機電概念由剛體、滑動副、位置控制和碰撞傳感器組成。通過固定副將工具安裝到工業(yè)機器人六軸法蘭上。

圖11 末端工具孿生系統(tǒng)

3.2 輸送帶數(shù)字孿生系統(tǒng)構(gòu)建

輸送帶數(shù)字孿生系統(tǒng)的機電概念主要由剛體、傳輸面、碰撞體、滑動副、位置控制、碰撞傳感器組成，如圖13所示，其中拍照位阻擋氣缸、抓取位阻擋氣缸和空托盤庫為剛體，輸送鏈及輸送帶末端創(chuàng)建了碰撞體，輸送鏈上創(chuàng)建了一個傳輸面，拍照位氣缸和抓取位氣缸均創(chuàng)建了滑動副和位置控制，還創(chuàng)建了拍照位和抓取位兩個碰撞傳感器。

圖13 輸送帶機電概念

輸送帶的控制由PLC發(fā)送過來的輸送帶啟停信號CovSt和速度信號CovSp決定，在輸送帶信號適配器中創(chuàng)建real型參數(shù)CovSpd，添加bool型信號CovSt和real型信號CovSp，通過公式(6)實現(xiàn)輸送帶的控制。

CovSpd=If (CovSt) Then (CovSp) Else (0)

(6)

輸送帶上YV1和YV2兩個氣缸通過PLC的輸出信號控制。此處采用仿真序列實現(xiàn)，拍照位碰撞傳感器的下降沿觸發(fā)YV1氣缸伸出，拍照完成信號控制YV1氣缸縮回；抓取位碰撞傳感器的下降沿觸發(fā)YV2氣缸伸出，抓取完成信號控制YV2氣缸縮回，保證氣缸虛實同步控制。YV1氣缸控制仿真序列如圖14所示。

3.3 工件數(shù)字孿生系統(tǒng)設(shè)置

工業(yè)機器人視覺分揀數(shù)字孿生系統(tǒng)的難點是工件的正確識別與同步顯示。物理系統(tǒng)中，通過工業(yè)相機對工件的x、y方向偏移量、角度、顏色等特征數(shù)據(jù)進行檢測，通過PLC處理程序?qū)ぜ愋瓦M行識別，同時將識別后的工件類別、位置偏移量、工件顏色實時映射給數(shù)字孿生系統(tǒng)，數(shù)字孿生系統(tǒng)獲取數(shù)據(jù)后通過剛體質(zhì)心、鉸鏈副、位置控制、顯示更改器等機電概念，實現(xiàn)工件虛實同步顯示。

3.3.1 工件位置確定

NX MCD中剛體確定后其質(zhì)心也就確定了，即Px、Py、Pz質(zhì)心值是唯一的，改變質(zhì)心數(shù)值即可改變剛體的位置。將工件基準位置的質(zhì)心與工業(yè)相機拍照獲取的偏移量進行代數(shù)和，實現(xiàn)工件隨機位置的正確顯示，x、y、z三個方向質(zhì)心計算如下所示：

x=x0+Δx

(7)

y=y0+Δy

(8)

z=z0+Δz

(9)

其中：x0、y0、z0為工件基準位置的質(zhì)心數(shù)據(jù)；x、y、z為工件實際位置的質(zhì)心數(shù)據(jù)；Δx、Δy為工業(yè)相機檢測到的水平方向偏移量，Δz為工件的高度，用于隱藏和顯示工件。以上變量單位均為mm。

確定工件基準位置和初始位置質(zhì)心數(shù)據(jù)后，即可在信號適配器中通過公式(10)確定x方向質(zhì)心數(shù)值，y方向和z方向質(zhì)心數(shù)值同理可得。

If ((基座號=1)&拍照完成&(工件類型=1)) Then

( 855.1+X方向偏移 )

Else ( Base1_X )

(10)

3.3.2 工件角度確定

數(shù)字孿生系統(tǒng)中工件的角度主要通過鉸鏈副和位置控制實現(xiàn)，將相機拍照獲得的角度與基準角度進行代數(shù)和，獲取工件實際角度值，從而使孿生系統(tǒng)中的工件與實際工件角度顯示一致。

如圖15所示，電機的鉸鏈副設(shè)置中，基本件為一個可移動的長方體，影藏于托盤輸送帶內(nèi)部，鏈接件為電機。由于電機為對稱工件，設(shè)置上下限角度為[-90°，90°]。如圖16所示，電機位置控制的對象為電機鉸鏈副，通過最短路徑方式、360°/s速度旋轉(zhuǎn)到達目標(biāo)角度，實現(xiàn)電機角度的控制。

3.3.3 工件顏色確定

為了保證工件顏色虛實同步，此處選用“顯示更改器”，依據(jù)顏色信息修改數(shù)字孿生系統(tǒng)工件的顏色。進入顯示更改器設(shè)置界面，選擇對象為電機剛體，單擊顏色可以修改并查看顏色的ID號，其中紅色為186、黃色為6、藍色為175、黑色為201。利用信號適配器，根據(jù)公式(11)確定當(dāng)前工件的顏色ID。工件顯示及對應(yīng)數(shù)據(jù)如表2所示。

表2 工件顯示及對應(yīng)數(shù)據(jù)

If ((電機號=1)&拍照完成&(顏色號=1)) Then ( 186 )

Elsif ((電機號=1)&拍照完成&(顏色號=1)) Then ( 6)

Elsif ((電機號=1)&拍照完成&(顏色號=1)) Then ( 175)

Else (201)

(11)

4 PLC與工業(yè)機器人聯(lián)合編程與測試

PLC是整個系統(tǒng)的控制中心，它不僅控制工業(yè)相機拍照、獲取并處理視覺檢測數(shù)據(jù)，而且控制系統(tǒng)的作業(yè)流程，發(fā)送機器人工件取放數(shù)據(jù)，控制機器人分揀作業(yè)，還通過KEPServer軟件將數(shù)據(jù)發(fā)送并映射到NX MCD中，實現(xiàn)虛實同步。

為了提高機器人的作業(yè)效率，建立PLC和工業(yè)機器人以太網(wǎng)通信網(wǎng)絡(luò)，通過兩者聯(lián)合編程實現(xiàn)機器人快速分揀功能。如圖17所示，左側(cè)為機器人程序流程，右側(cè)為PLC程序流程，通過信號交互的方式可以減少機器人延時等待時間，在通信速率范圍內(nèi)實現(xiàn)信號快速交互，確保數(shù)據(jù)的可靠發(fā)送和接收。PLC發(fā)送給機器人16個INT型數(shù)據(jù)，其中I0為控制字、I1為機器人工步、I3-I6為機器人抓取工件的x、y、z方向和旋轉(zhuǎn)角度A偏移數(shù)據(jù)，I7-I10為機器人放置工件的x、y、z方向和旋轉(zhuǎn)角度A偏移數(shù)據(jù)。機器人將O0狀態(tài)字實時發(fā)送給PLC，以便PLC確定機器人的當(dāng)前狀態(tài)。

圖17 PLC和機器人編程流程

針對以上控制方案，對100個不同顏色、不同類型的工件進行測試，如圖18—21所示為藍色電機、紅色底座、黑色減速器和黃色法蘭4種工件的檢測、抓取、分揀的虛實同步效果圖。實驗結(jié)果表明：基于工業(yè)視覺的工件檢測與識別正確率為100%，機器人分揀速度達到20個/min。

圖18 藍色電機虛實同步

圖19 紅色底座虛實同步

圖21 黃色法蘭虛實同步

5 結(jié)束語

綜上所述，針對多顏色、多類型工件的工業(yè)機器人視覺分揀作業(yè)控制方案是可行的；利用In-Sight軟件中視覺工具能夠檢測到工件特征數(shù)據(jù)，并結(jié)合PLC程序正確識別工件；基于NX MCD軟件構(gòu)建了工業(yè)機器人、輸送帶、工件等數(shù)字孿生系統(tǒng)，能夠與物理系統(tǒng)同步動作；通過工業(yè)機器人和PLC的聯(lián)合編程，簡化了機器人的程序、提高了機器人的作業(yè)效率。實驗證明，該系統(tǒng)工件識別正確率高，工件分揀效率高，數(shù)字孿生系統(tǒng)能夠?qū)崿F(xiàn)虛實同步作業(yè)、動態(tài)監(jiān)控和虛擬調(diào)試。