李光雷，崔亞輝，王利花，孟 磊

（1.西安理工大學(xué)，陜西 西安 710048；2.南京工業(yè)職業(yè)技術(shù)大學(xué)，江蘇 南京 210023）

1 引言

復(fù)雜曲面拋磨作業(yè)是汽車、水暖衛(wèi)浴、航空等產(chǎn)品制造中的精加工步驟，其對(duì)產(chǎn)品的最終質(zhì)量和成本有重要影響。目前，基于技術(shù)及成本考量，國(guó)內(nèi)中小型制造企業(yè)仍多采用傳統(tǒng)的手工方式對(duì)工件進(jìn)行拋磨作業(yè)。采用去除→測(cè)量→再去除→再測(cè)量的試湊加工方式，加工質(zhì)量高度依賴于操作人員的經(jīng)驗(yàn)[1]。在以人為本和機(jī)器換人的大環(huán)境下，傳統(tǒng)模式已越來越不適應(yīng)制造產(chǎn)業(yè)的發(fā)展。同時(shí)，隨著部分制造行業(yè)的轉(zhuǎn)型升級(jí)，其對(duì)復(fù)雜曲面拋磨作業(yè)的加工質(zhì)量、自動(dòng)化程度要求越來越高，傳統(tǒng)的作業(yè)模式還存在工作環(huán)境惡劣、加工一致性差等缺點(diǎn)，已成為制約部分中小型制造企業(yè)提高加工工藝和產(chǎn)品質(zhì)量的瓶頸。

基于機(jī)器人的視覺拋磨系統(tǒng)，如圖1所示。主要由工業(yè)機(jī)器人、視覺系統(tǒng)、多維力傳感器、拋磨工具、上位機(jī)等構(gòu)成。具有靈活性高、通用性強(qiáng)、易于擴(kuò)展、一致性好等優(yōu)點(diǎn)[2]。

圖1 智能拋磨系統(tǒng)結(jié)構(gòu)圖Fig.1 Structure Diagram of Intelligent Grinding System

拋磨作業(yè)的主要參數(shù)包括拋磨點(diǎn)提取、磨削速度、拋磨深度等。工藝流程，如圖2所示。目前國(guó)內(nèi)外關(guān)于工業(yè)機(jī)器人拋磨系統(tǒng)的研究已經(jīng)很多。文獻(xiàn)[3]基于工業(yè)機(jī)器人拋磨系統(tǒng)中，砂帶因磨損導(dǎo)致拋磨效率降低，加工一致性降低等問題，提出基于提高拋磨速度的補(bǔ)償策略及其機(jī)制，該策略克服了傳統(tǒng)的線性提速補(bǔ)償策略與砂帶非線性磨損之間的矛盾。

圖2 基于深度學(xué)習(xí)的工業(yè)機(jī)器人視覺拋磨系統(tǒng)工藝流程圖Fig.2 Process Flow Diagram of Industrial Robot Vision Polishing System Based on Deep Learning

文獻(xiàn)[4]提出一種基于特征值坐標(biāo)的機(jī)器人局部拋磨定位方法，該方法基于協(xié)方差矩陣，建立各點(diǎn)相對(duì)于旋轉(zhuǎn)和平移坐標(biāo)變換不變的特征值坐標(biāo)，以此直接搜索拋磨零件的設(shè)計(jì)曲面，生成對(duì)應(yīng)點(diǎn)對(duì)，進(jìn)而將各點(diǎn)主軸取向歸一化，給出一種計(jì)算測(cè)量數(shù)據(jù)和模型曲面間坐標(biāo)變換的方法，實(shí)現(xiàn)機(jī)器人到復(fù)雜曲面指定拋磨區(qū)域的準(zhǔn)確定位。

文獻(xiàn)[5?6]提出通過葉片的區(qū)域劃分來定義每個(gè)區(qū)域?qū)?yīng)的特征點(diǎn)，獲取工件與模型之間的形狀和坐標(biāo)差異，然后基于標(biāo)定結(jié)果的差異進(jìn)行實(shí)際工件的位置和外形的擬合重構(gòu)，從而得到待打磨區(qū)域模型。當(dāng)前這方面的研究大多基于拋磨軌跡、離線編程、拋磨姿態(tài)優(yōu)化、夾具設(shè)計(jì)等。關(guān)于待拋磨點(diǎn)位識(shí)別的研究不多。

傳統(tǒng)的基于視覺的機(jī)器人拋磨系統(tǒng)主要有兩種，主要包括基于激光掃描的立體視覺和基于特征點(diǎn)的三維重構(gòu)兩種方式?；谀Ｐ偷囊曈X拋磨系統(tǒng)是利用三維掃描儀對(duì)工件進(jìn)行掃描以獲得點(diǎn)云數(shù)據(jù)，再對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理得到工件的三維模型，將得到的模型導(dǎo)入離線編程軟件，在軟件中選定拋磨區(qū)域，生成拋磨軌跡和路徑，然后由離線編程軟件將程序數(shù)據(jù)同步到工業(yè)機(jī)器人進(jìn)行拋磨作業(yè)［7?10］。

基于特征點(diǎn)的機(jī)器人拋磨系統(tǒng)也是利用三維掃描系統(tǒng)掃描出待拋磨工件的點(diǎn)云數(shù)據(jù)，將點(diǎn)云數(shù)據(jù)導(dǎo)入建模軟件擬合出模型，將重構(gòu)出的模型與工件的設(shè)計(jì)模型進(jìn)行比對(duì)，出入部分即是待拋磨的區(qū)域，然后將待拋磨區(qū)域數(shù)據(jù)導(dǎo)入工業(yè)機(jī)器人離線編程軟件進(jìn)行離線編程，最后將程序數(shù)據(jù)導(dǎo)入工業(yè)機(jī)器進(jìn)行拋磨作業(yè)［11?12］。由上可以看出，基于工業(yè)機(jī)器人拋磨系統(tǒng)的關(guān)鍵是被提取出待拋磨區(qū)域，傳統(tǒng)的拋磨區(qū)域識(shí)別方法受制于點(diǎn)云數(shù)據(jù)量較大、運(yùn)算復(fù)雜，識(shí)別準(zhǔn)確率和速度都受到一定限制。

本研究正是基于此背景，對(duì)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)對(duì)異常區(qū)域識(shí)別進(jìn)行研究，介紹了機(jī)器人視覺拋磨系統(tǒng)構(gòu)成，對(duì)基于深度學(xué)習(xí)的識(shí)別算法進(jìn)行了介紹，并結(jié)合工業(yè)相機(jī)拍攝的金屬表面進(jìn)行識(shí)別，對(duì)識(shí)別后的數(shù)據(jù)進(jìn)行分析，最后對(duì)提出的方法進(jìn)行了驗(yàn)證，取得較好的實(shí)驗(yàn)效果。

2 基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法對(duì)待拋磨區(qū)域數(shù)據(jù)的識(shí)別和提取

近年來，隨著深度學(xué)習(xí)在視覺領(lǐng)域的蓬勃發(fā)展。利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類，以及對(duì)圖像中目標(biāo)進(jìn)行識(shí)別定位成為比較前沿的技術(shù)。神經(jīng)網(wǎng)絡(luò)的構(gòu)建是進(jìn)行目標(biāo)識(shí)別的基礎(chǔ)，典型的神經(jīng)網(wǎng)絡(luò)主要有輸入層，中間層和輸出層組成。

為讓構(gòu)建的神經(jīng)網(wǎng)絡(luò)系統(tǒng)能夠識(shí)別出典型的拋磨數(shù)據(jù)，需要用一定數(shù)量的具有典型待拋磨特征的工件對(duì)系統(tǒng)進(jìn)行訓(xùn)練，考慮到系統(tǒng)運(yùn)行速度和識(shí)別準(zhǔn)確性，本研究選取50張（400×600）像素的鋁型材做為訓(xùn)練樣本，使用預(yù)訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)作為主干，來提取底層特征信息，因此這些特征由于經(jīng)過這些數(shù)據(jù)集的訓(xùn)練過而具有較好的底層特征識(shí)別能力。

用具體的例子來說，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)將樣本基礎(chǔ)特征組成更高級(jí)的特征，比如鋁型材表面的砂眼、坑洞、擦花、橘皮、碰傷、凸粉、涂層開裂等，直到最底層將這種具有上述特征的表面識(shí)別為瑕疵，即待拋磨區(qū)域。

因此，即使對(duì)圖像進(jìn)行平移、縮放、旋轉(zhuǎn)，系統(tǒng)依舊能提取出點(diǎn)、線、面等基礎(chǔ)特征，在最底層將其識(shí)別為待拋磨區(qū)域，并輸出數(shù)據(jù)給機(jī)器人系統(tǒng)，作為機(jī)器人的坐標(biāo)數(shù)據(jù)。

本研究所采用的圖片素材為2018年廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽的鋁型材表面瑕疵數(shù)據(jù)庫。在構(gòu)建好神經(jīng)網(wǎng)絡(luò)以后，利用所構(gòu)建的神經(jīng)網(wǎng)絡(luò)對(duì)待識(shí)別圖像進(jìn)行識(shí)別效果，如圖3所示。

由圖3可以看出，構(gòu)建的神經(jīng)網(wǎng)絡(luò)算法可以較好的識(shí)別出鋁型材圖片的瑕疵信息，并且可以顯示識(shí)別的準(zhǔn)確率和待拋磨區(qū)域坐標(biāo)信息。沒有識(shí)別到瑕疵數(shù)據(jù)的圖片則未作處理，前述圖片識(shí)別后的坐標(biāo)信息，如表1所示。

圖3 基于深度學(xué)習(xí)構(gòu)建神經(jīng)網(wǎng)絡(luò)識(shí)別出的待拋磨區(qū)域數(shù)據(jù)Fig.3 Deep Learning Based Neural Network to Identify the Area to be Polished

通過上面的表格可以看出，在經(jīng)系統(tǒng)識(shí)別的12張圖片中，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法可以較好的識(shí)別出待拋磨數(shù)據(jù)。表1中第二列的位置信息里面方括號(hào)內(nèi)四位數(shù)字中的前兩位表示識(shí)別矩形框的左上角坐標(biāo)，后兩組數(shù)據(jù)表示矩形方框的長(zhǎng)和寬，此數(shù)據(jù)可以直接在離線編程時(shí)作為工業(yè)機(jī)器人的運(yùn)動(dòng)參數(shù)，大大減少試教工工作量和試教效率。

由表1還可以看出，第1，2，3，7分別有兩個(gè)矩形方框，表示本算法在這4個(gè)圖中分別識(shí)別出兩塊需要拋磨的異常區(qū)域，這兩塊區(qū)域具有前述瑕疵特征中的任意兩張。第三列表示系統(tǒng)識(shí)別的準(zhǔn)確率，通過前期訓(xùn)練的識(shí)別器對(duì)每一張圖片的各個(gè)區(qū)域進(jìn)行比對(duì)，識(shí)別率越高，表明訓(xùn)練的識(shí)別器準(zhǔn)確性好，誤差越低。

表1 神經(jīng)網(wǎng)絡(luò)識(shí)別出的異常區(qū)域數(shù)據(jù)和識(shí)別率Tab.1 Data and Recognition Rate of Anomalous Regions Identified by Neural Networks Constructed

3 實(shí)驗(yàn)驗(yàn)證與分析

為了對(duì)所提出的基于深度學(xué)習(xí)的機(jī)器人視覺拋磨系統(tǒng)在實(shí)際拋磨加工中的有效性進(jìn)行驗(yàn)證，以工業(yè)機(jī)器人為平臺(tái)搭建了智能拋磨工作站。工作站以現(xiàn)代重工業(yè)工業(yè)機(jī)器人為基礎(chǔ)平臺(tái)，其末端負(fù)載為250kg，工作范圍為3.3m，重復(fù)定位精度為0.23mm。實(shí)驗(yàn)中選用Astra Pro鏡頭為圖像采集設(shè)備，以汽車鈑金件常用鋁型材為待識(shí)別和拋磨工件，對(duì)其進(jìn)行特征提取。拋磨設(shè)備目數(shù)為240目，拋磨設(shè)備線速度為16.3m∕s。

以常見的異常特征為訓(xùn)練樣本，訓(xùn)練了神經(jīng)網(wǎng)絡(luò)，搭建好的工作站，如圖4所示。

圖4 基于深度學(xué)習(xí)的工業(yè)機(jī)器人視覺拋磨系統(tǒng)Fig.4 Deep Learning?Based Vision Polishing System for Industrial Robots

通過相機(jī)對(duì)目標(biāo)區(qū)域進(jìn)行拍攝，采集到目標(biāo)區(qū)域的圖像信息。將圖像信息導(dǎo)入由Matlab構(gòu)建的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，進(jìn)行識(shí)別，識(shí)別出的待拋磨區(qū)域的坐標(biāo)信息，將坐標(biāo)信息和目標(biāo)工件的模型導(dǎo)入機(jī)器人離線編程軟件。

通過坐標(biāo)變換，將神經(jīng)網(wǎng)絡(luò)系統(tǒng)識(shí)別出的待拋磨區(qū)域坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為大地坐標(biāo)系下的坐標(biāo)數(shù)據(jù)，通過離線變成軟件實(shí)現(xiàn)對(duì)拋磨軌跡的離線編程，為保證拋磨效果，盡量將拋磨工具所受的法向力與拋磨工件垂直，如圖5所示。

圖5 離線拋磨軌跡編程Fig.5 Off?Line Grinding Track Programming

最后，將優(yōu)化后的程序通過離線編程軟件同步方式導(dǎo)入到工業(yè)機(jī)器人系統(tǒng)，在工作站完成工具坐標(biāo)系、工件坐標(biāo)系的創(chuàng)建、坐標(biāo)轉(zhuǎn)換、系統(tǒng)標(biāo)定和部分點(diǎn)位示教與修正，即可開始拋磨作業(yè)。對(duì)照組為采用傳統(tǒng)目視檢測(cè)異常區(qū)域，手動(dòng)試教工業(yè)機(jī)器人進(jìn)行拋磨作業(yè)。兩種方法拋磨效果，如圖6所示。兩種拋磨方式測(cè)得的粗糙度平均值分別為0.625μm和0.326μm。采用基于深度學(xué)習(xí)的拋磨系統(tǒng)在表面粗糙度和加工效果一致性方面均好于對(duì)照組。

圖6 傳統(tǒng)機(jī)器人拋磨和基于深度學(xué)習(xí)的工業(yè)機(jī)器人拋磨Fig.6 Traditional Robot Grinding and Deep Learning Based Industrial Robot Grinding

可以看出，基于深度學(xué)習(xí)的工業(yè)機(jī)器人拋磨系統(tǒng)能夠準(zhǔn)確、快速地識(shí)別出待拋磨區(qū)域，識(shí)別出的拋磨區(qū)域坐標(biāo)信息準(zhǔn)確，磨拋后的汽車左前門表面，磨拋軌跡均勻，過渡圓滑，無棱角和過磨、欠磨現(xiàn)象，并且拋磨一致性較好，加工工藝滿足拋磨作業(yè)要求[13]。

4 結(jié)語

研究了基于深度學(xué)習(xí)的工業(yè)機(jī)器人視覺拋磨系統(tǒng)。對(duì)現(xiàn)有拋磨系統(tǒng)進(jìn)行改進(jìn)完善，通過引入工業(yè)相機(jī)、深度學(xué)習(xí)算法實(shí)現(xiàn)系統(tǒng)的升級(jí)改造，實(shí)現(xiàn)了對(duì)異常區(qū)域的和待拋磨區(qū)域的智能識(shí)別，基于該方法能夠獲取待拋磨區(qū)域的坐標(biāo)數(shù)據(jù)，采用離線仿真軟件完成機(jī)器人打磨軌跡的自動(dòng)規(guī)劃。

同時(shí)借助人工對(duì)部分特殊區(qū)域進(jìn)行輔助優(yōu)化，完成了智能拋磨系統(tǒng)的離線編程，該方法可以實(shí)現(xiàn)對(duì)典型鈑金件異常區(qū)域的自動(dòng)識(shí)別、提取，通過系統(tǒng)集成，對(duì)待拋磨區(qū)域?qū)崿F(xiàn)離線編程，實(shí)現(xiàn)了拋磨過程的自動(dòng)化、智能化，減少了人工干預(yù)，保證了拋磨效果的一致性和準(zhǔn)確性。