吳立華，白 潔，康國(guó)坡，黃冠成

（1.廣東開(kāi)放大學(xué)（廣東理工職業(yè)學(xué)院），廣州 510091；2.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510006）

0 引言

棒材廠軋制的鋼棒在經(jīng)過(guò)打捆和稱重后，需對(duì)成品鋼捆焊上具有相關(guān)產(chǎn)品信息的標(biāo)牌以供入庫(kù)和外銷，該操作一直以來(lái)都由人工完成，極易出現(xiàn)錯(cuò)焊、漏焊和掉牌等問(wèn)題，且作業(yè)環(huán)境惡劣而復(fù)雜，存在極大的安全隱患。目前在國(guó)內(nèi)一些棒材廠所實(shí)施的自動(dòng)焊牌系統(tǒng)基本只能通過(guò)機(jī)器人完成單一的焊牌作業(yè)流程，存在以下問(wèn)題：無(wú)法適用多種型號(hào)自動(dòng)識(shí)別定位；無(wú)法完成焊接標(biāo)牌區(qū)域凸起30 mm 的檢測(cè)，導(dǎo)致螺紋鋼損壞標(biāo)牌的焊接質(zhì)量問(wèn)題、兩捆螺紋鋼靠近時(shí)無(wú)法區(qū)分和數(shù)量識(shí)別錯(cuò)誤，無(wú)法令當(dāng)前焊接的螺紋鋼單支端面平整導(dǎo)致焊釘無(wú)法充分接觸螺紋鋼而引起運(yùn)輸過(guò)程脫落的焊接質(zhì)量問(wèn)題；沒(méi)有與產(chǎn)線和計(jì)量系統(tǒng)進(jìn)行有效的交互，無(wú)法真正實(shí)現(xiàn)全自動(dòng)化和無(wú)人化[1-3]。

螺紋鋼焊掛標(biāo)的自主作業(yè)對(duì)于生產(chǎn)效率的提升非常重要。對(duì)于多品種螺紋鋼端面的計(jì)數(shù)和焊接標(biāo)牌，已有的方案不能滿足實(shí)時(shí)性需求；對(duì)于螺紋鋼機(jī)器人焊掛標(biāo)，當(dāng)前的方案不能實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別、定位及作業(yè)過(guò)程的自動(dòng)編程；對(duì)于復(fù)雜光照環(huán)境和螺紋鋼品種多變情況下的螺紋鋼棒材智能計(jì)數(shù)，已有方案不能實(shí)現(xiàn)非結(jié)構(gòu)化環(huán)境的三維重構(gòu)和三維點(diǎn)云快速高精度匹配。因此，迫切需要開(kāi)發(fā)和應(yīng)用基于深度學(xué)習(xí)的螺紋鋼焊牌機(jī)器人3D視覺(jué)計(jì)數(shù)和定位方法，以提高生產(chǎn)效率和市場(chǎng)競(jìng)爭(zhēng)力。

目前關(guān)于棒材識(shí)別的方法是通過(guò)模糊圓周模糊模板匹配尋找棒材截面[4]，另一種是通過(guò)圖像分割、圖像濾波、圖像數(shù)字形態(tài)學(xué)處理等傳統(tǒng)圖像處理方法識(shí)別篩選[5-10]。但是，這兩種方法對(duì)于不規(guī)則的棒材截面不能做到適應(yīng)。本文針對(duì)當(dāng)前螺紋鋼棒材的識(shí)別和定位的通用性和魯棒性問(wèn)題，提出使用深度學(xué)習(xí)算法在二維RGB圖像中識(shí)別螺紋鋼棒材，然后在三維點(diǎn)云圖中定位棒材中心坐標(biāo)的方法。

1 總體算法框架

如圖2 所示，由于螺紋鋼存在截面形狀不標(biāo)準(zhǔn)、發(fā)藍(lán)、發(fā)黑，長(zhǎng)短不一等問(wèn)題，無(wú)法用傳統(tǒng)的視覺(jué)定位方法識(shí)別計(jì)數(shù)，本文提出基于Faster-RCNN 的視覺(jué)方法識(shí)別計(jì)數(shù)核驗(yàn)和焊接位置定位[11-15]。

圖2 螺紋鋼截面示意

算法框架如圖3 所示。首先對(duì)圖片進(jìn)行標(biāo)注，生成對(duì)應(yīng)的標(biāo)注數(shù)據(jù)文件，記錄每個(gè)螺紋鋼在圖片的起點(diǎn)坐標(biāo)和長(zhǎng)寬，然后通過(guò)數(shù)據(jù)增強(qiáng)：隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、噪點(diǎn)、模糊、顏色變換等生成更多的樣本數(shù)據(jù)。棒材原圖如圖2（b）所示，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后如圖4所示。

圖4 經(jīng)過(guò)數(shù)據(jù)增強(qiáng)

其次，將樣本數(shù)據(jù)按照訓(xùn)練集95%和測(cè)試集5%進(jìn)行劃分，訓(xùn)練集經(jīng)過(guò)共享卷積特征網(wǎng)絡(luò)提取目標(biāo)特征并進(jìn)行訓(xùn)練，生成模型文件，識(shí)別結(jié)果的流程是使用候選區(qū)域生成網(wǎng)絡(luò)RPN（Region Proposal Network）生成目標(biāo)的候選框，再通過(guò)聚類算法篩選出候選目標(biāo)的區(qū)域，對(duì)候選區(qū)域特征進(jìn)行池化處理生成相同尺寸的圖片，最后經(jīng)過(guò)Softmax分類器篩選最優(yōu)目標(biāo)，并輸出目標(biāo)類別和位置。

本文使用了Faster RCNN 網(wǎng)絡(luò)結(jié)構(gòu)，如圖5所示，其步驟如下。

圖5 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)

（1）特征提取網(wǎng)絡(luò)（Conv layers）

其輸入為一張圖片，輸出為一張圖片的特征，即feature map。通過(guò)一組conv+relu+pooling 層提取圖像的feature map，用于后續(xù)的RPN網(wǎng)絡(luò)和全連接層。

（2）區(qū)域候選網(wǎng)絡(luò)（Region proposal Network）

其輸入為第一步中的feature map，輸出為多個(gè)興趣區(qū)域（ROI）。輸出的每個(gè)興趣區(qū)域具體表示為1 個(gè)概率值（用于判斷anchor 是前景還是背景）和4 個(gè)坐標(biāo)值，概率值表示該興趣區(qū)域有物體的概率，這個(gè)概率是通過(guò)Softmax 對(duì)每個(gè)區(qū)域進(jìn)行二分類得到的；坐標(biāo)值是預(yù)測(cè)的物體的位置，在進(jìn)行訓(xùn)練時(shí)會(huì)用這個(gè)坐標(biāo)與真實(shí)的坐標(biāo)進(jìn)行回歸計(jì)算，使測(cè)試時(shí)預(yù)測(cè)的物體位置更加準(zhǔn)確。

（3）興趣域池化（ROI pooling）

這一層以RPN 網(wǎng)絡(luò)輸出的興趣區(qū)域和Conv layers 輸出的feature map 為輸入，將兩者進(jìn)行綜合后得到固定大小的區(qū)域特征圖（proposal feature map）并輸出到后面的全連接網(wǎng)絡(luò)中進(jìn)行分類。

（4）分類和回歸（Classification and Regression）

其輸入為上一層得到的proposal feature map，輸出為興趣區(qū)域中物體所屬的類別以及物體在圖像中的精確位置。這一層通過(guò)Softmax對(duì)圖像進(jìn)行分類，并通過(guò)邊框回歸修正物體的精確位置。

2 手眼標(biāo)定

本文使用Intel RealSense L515 三維相機(jī)，安裝在工業(yè)機(jī)器人末端，如圖6所示。

圖6 坐標(biāo)系關(guān)系

baseHtool 表示為工具坐標(biāo)系大機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系，可由機(jī)器人系統(tǒng)中獲??；toolHcam 表示相機(jī)坐標(biāo)系到工具坐標(biāo)系的轉(zhuǎn)換關(guān)系，這個(gè)轉(zhuǎn)換關(guān)系在機(jī)器人移動(dòng)的過(guò)程中是不變的，但為未知的變量；calHcam 表示標(biāo)定板坐標(biāo)系到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系，只要標(biāo)定板與機(jī)器人基坐標(biāo)系相對(duì)位置不變，該矩陣就不變[16-17]。由此可得：

聯(lián)合上面3個(gè)公式，則有：

機(jī)器人移動(dòng)到位置2后：

baseHcal不變，則有：

式中：baseHtoo（l1）=A1；baseHtoo（l2）=A2；toolHcam（1）=X；calHcam（1）=B1；calHcam（2）=B2。

由此：

3 圖像拼接

單次拍照和多次拍照的區(qū)別如圖7 所示。由于裁剪長(zhǎng)度誤差和捆扎動(dòng)作導(dǎo)致偏移，使得螺紋鋼棒材端面不平整，最大誤差約有50 mm，因此如果相機(jī)一次拍整捆棒材，遠(yuǎn)離相機(jī)中心的螺紋鋼可能被遮擋，導(dǎo)致計(jì)數(shù)不準(zhǔn)確，所以本文在采集圖像步驟加入了拼接環(huán)節(jié)，由機(jī)器人帶動(dòng)相機(jī)在4×3 的位置點(diǎn)共12 個(gè)拍照點(diǎn)對(duì)整捆螺紋鋼拍照，然后再進(jìn)行圖像拼接，圖像拼接流程如下。

圖7 單次拍照和多次拍照的區(qū)別

（1）特征提取和匹配。在拼接圖像之前，首先使用改進(jìn)的SURF 方法提取并匹配圖像的特征點(diǎn)。SURF 通過(guò)海森矩陣檢測(cè)特征點(diǎn)，選擇行列式值極大或極小的點(diǎn)。為了在尺度上保持不變，SURF使用不同σ值的行列式值來(lái)檢測(cè)特征點(diǎn)。在特征點(diǎn)的圓形鄰域內(nèi)，統(tǒng)計(jì)60°扇形內(nèi)所有點(diǎn)的水平、垂直haar 小波特征總和，并以此作為該特征點(diǎn)的主方向。與以往的方法不同，本文還選取一個(gè)4×4 的矩形區(qū)域塊，但這個(gè)區(qū)域的方向是沿著特征點(diǎn)的主方向。每個(gè)子區(qū)域統(tǒng)計(jì)25個(gè)像素的水平方向和垂直方向的haar 小波特征。通過(guò)計(jì)算兩個(gè)特征點(diǎn)間的歐氏距離來(lái)確定匹配度，同時(shí)考慮Hessian矩陣跡的正負(fù)號(hào)，排除對(duì)比度變化方向相反的特征點(diǎn)[18-20]。

經(jīng)過(guò)手眼標(biāo)定后，將圖像上的每個(gè)坐標(biāo)轉(zhuǎn)換到機(jī)器人坐標(biāo)系上，獲得每個(gè)像素點(diǎn)的物理坐標(biāo)。利用機(jī)器人實(shí)際位置計(jì)算兩張圖像之間的中心位置關(guān)系，將其加入surf判定條件，可以提高拼接精度和穩(wěn)定性。

（2）計(jì)算圖像變換。特征匹配后，可以通過(guò)計(jì)算圖像間的變換矩陣，經(jīng)過(guò)仿射變換和透視變換，將兩張圖像對(duì)齊。這個(gè)變換矩陣描述了如何將一個(gè)圖像上的點(diǎn)映射到另一個(gè)圖像上的對(duì)應(yīng)點(diǎn)。

（3）圖像拼接。一旦得到了圖像間的變換矩陣，就可以將兩張圖像拼接成一張更大的圖像。在拼接時(shí)，可以通過(guò)像素融合算法來(lái)平滑處理圖像之間的過(guò)渡區(qū)域，使拼接結(jié)果看起來(lái)更自然。

經(jīng)過(guò)以上拼接步驟后，在端面不平整的情況下，實(shí)現(xiàn)了圖像的無(wú)遮擋重構(gòu)，效果如圖8所示。

圖8 圖像拼接效果

4 實(shí)驗(yàn)驗(yàn)證

系統(tǒng)結(jié)構(gòu)如圖9 所示。三維相機(jī)、補(bǔ)光燈和焊槍集成在保護(hù)箱內(nèi)并安裝在埃夫特20 kg工業(yè)機(jī)器人末端。機(jī)器人提前取牌，當(dāng)螺紋鋼棒材到位后，三維相機(jī)采集圖像，并通過(guò)上述算法識(shí)別棒材，計(jì)算棒材的支數(shù)和中心棒材的焊接坐標(biāo)，焊接坐標(biāo)誤差要求在±5 mm以內(nèi)。

圖9 硬件結(jié)構(gòu)

圖像識(shí)別結(jié)果如圖10所示。經(jīng)過(guò)Faster R-CNN 算法識(shí)別后，可準(zhǔn)確統(tǒng)計(jì)出棒材的數(shù)量并輸出每個(gè)棒材的中心位置，圖中綠色點(diǎn)表示最佳焊牌位置。

圖10 圖像識(shí)別結(jié)果

分別對(duì)25、28、32 共3 種直徑規(guī)格的棒材進(jìn)行100次計(jì)數(shù)和焊接成功率統(tǒng)計(jì)，結(jié)果如表1所示。

表1 測(cè)試統(tǒng)計(jì)結(jié)果

由于部分棒材長(zhǎng)短差異較大，導(dǎo)致短棒材被長(zhǎng)棒材幾乎完全遮擋，計(jì)數(shù)無(wú)法達(dá)到100%準(zhǔn)確率，但整體而言，本文算法計(jì)數(shù)準(zhǔn)確率可達(dá)99%以上，焊接準(zhǔn)確率能達(dá)到100%。

5 結(jié)束語(yǔ)

針對(duì)螺紋鋼棒材在識(shí)別和機(jī)器人定位焊牌工序的問(wèn)題，提出基于Faster R-CNN 框架的深度學(xué)習(xí)算法識(shí)別螺紋鋼，再通過(guò)三維點(diǎn)云處理定位中心棒材三維位置，實(shí)現(xiàn)螺紋鋼計(jì)數(shù)和定位焊牌功能，搭建硬件環(huán)境，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果表明：本文所提方法可以完成整捆螺紋鋼棒材的準(zhǔn)確識(shí)別計(jì)數(shù)和機(jī)器人定位焊牌，焊牌位置準(zhǔn)確，焊接質(zhì)量穩(wěn)固，驗(yàn)證了該方法具有較強(qiáng)的通用性和魯棒性；由于不同型號(hào)的棒材截面特征相似度高，相比于傳統(tǒng)圖像算法，本文方法更具有廣泛的適用性，可降低對(duì)技術(shù)人員調(diào)試水平的要求，能廣泛應(yīng)用于螺紋鋼棒材生產(chǎn)企業(yè)的焊接工位，減輕人工識(shí)別99%以上的工作量，提高企業(yè)效益。