楊忠炯，鄒紹昕，周立強(qiáng)

（1.中南大學(xué) 機(jī)電工程學(xué)院，長沙 410083；2.中南大學(xué) 高性能復(fù)雜制造國家重點(diǎn)實(shí)驗(yàn)室，長沙 410083）

0 引言

國內(nèi)金屬行業(yè)的質(zhì)檢部門需對供應(yīng)商車輛運(yùn)輸?shù)牡V粉進(jìn)行采樣，通常是在礦粉堆的不同位置進(jìn)行人工采樣作為該批次的樣本，樣本化驗(yàn)結(jié)果作為該批次礦粉的定價(jià)依據(jù)?，F(xiàn)有的采樣方式很大程度上還依賴于人工，國內(nèi)對于采樣系統(tǒng)的研究發(fā)展落后于歐美等發(fā)達(dá)國家[1]。實(shí)現(xiàn)采樣自動(dòng)化要解決的技術(shù)問題是準(zhǔn)確檢測出采樣區(qū)域，并在采樣機(jī)器人基礎(chǔ)坐標(biāo)系得到采樣點(diǎn)坐標(biāo)。通過視覺引導(dǎo)的方式，協(xié)助機(jī)器人到目標(biāo)點(diǎn)進(jìn)行工作，這種方法可以有效地提高生產(chǎn)線的工作效率和自動(dòng)化水平[2-5]，特別是對于一些人工操作危險(xiǎn)復(fù)雜的工作，具有非常重要的意義。

文中依據(jù)實(shí)際項(xiàng)目提出了一種基于SSD的采樣區(qū)域檢測算法，并基于激光定位燈實(shí)現(xiàn)圖像坐標(biāo)系到機(jī)器人基礎(chǔ)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換，并通過現(xiàn)場實(shí)驗(yàn)對采樣系統(tǒng)的精度和可靠性進(jìn)行了驗(yàn)證。

1 系統(tǒng)硬件組成

1）相機(jī)采用hikvision的MV-CA032-10GC型號(hào)的工業(yè)相機(jī)，靶面積為1/1.8英寸，使用千兆網(wǎng)線與上位機(jī)通訊，相機(jī)安裝在采樣現(xiàn)場的正上方。

2）鏡頭采用mindvision的MV-LD-4-4M-G型號(hào)的定焦鏡頭，焦距為4mm，鏡頭畸變率小于0.5%，靶面積為1/1.8英寸。

3）激光定位燈為工業(yè)用激光燈，型號(hào)為G0028，輸出功率為400mw，波長為532nm，投射綠色光斑。

4）工控機(jī)采用Lenovo的工控機(jī)，負(fù)責(zé)從CMOS相機(jī)采集的圖像中識(shí)別采樣區(qū)域、生成隨機(jī)采樣點(diǎn)、進(jìn)行圖像坐標(biāo)系到實(shí)際坐標(biāo)系的轉(zhuǎn)換、TCP通訊以及PLC控制等。

5）采樣機(jī)器人為三自由度導(dǎo)軌式機(jī)器人，電機(jī)采用siemens的SIMOTICS S-1FK7緊湊型的永磁同步電機(jī)，并通過PLC控制電機(jī)以及液壓系統(tǒng)控制采樣機(jī)器人進(jìn)行采樣。

采樣系統(tǒng)整體如圖1所示，工業(yè)相機(jī)和激光定位燈固定在頂部，且激光定位燈垂直向下投射綠色光斑，激光定位燈所在位置為采樣機(jī)器人原點(diǎn)，采樣機(jī)器人可沿著導(dǎo)軌在xw、yw方向運(yùn)動(dòng)，當(dāng)車輛?？繒r(shí)，采樣機(jī)器人可沿zw方向進(jìn)行采樣工作，zw方向采樣深度根據(jù)電機(jī)轉(zhuǎn)矩傳感器進(jìn)行控制。

圖1 采樣系統(tǒng)組成

2 基于SSD的采樣區(qū)域檢測

2.1 SSD算法的核心思想

SSD[6]網(wǎng)絡(luò)是目標(biāo)檢測中常用的one-stage類算法，能夠在保證檢測精度的同時(shí)，大大提升檢測速度，且SSD網(wǎng)絡(luò)內(nèi)置有數(shù)據(jù)增強(qiáng)的方法，如剪裁、放大、縮小等，SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)

其主要思路是使用VGG16作為基礎(chǔ)網(wǎng)絡(luò)，在此基礎(chǔ)上使用卷積層、池化層等結(jié)構(gòu)，得到多尺度預(yù)測特征圖，在圖像的預(yù)測特征圖中進(jìn)行多次采樣，并在6個(gè)預(yù)測特征圖層根據(jù)不同尺寸和長寬比生成共8732個(gè)默認(rèn)框(defalut box)，大尺度的預(yù)測特征圖用于檢測小目標(biāo)物，小尺度的預(yù)測特征圖用于檢測大目標(biāo)物，可覆蓋所有待檢測目標(biāo)，對默認(rèn)框內(nèi)的目標(biāo)類別進(jìn)行預(yù)測，并對默認(rèn)框的邊界進(jìn)行回歸，再使用非極大值抑制[7]，得到最后的檢測結(jié)果。

2.2 訓(xùn)練結(jié)果

通過相機(jī)采集5127張現(xiàn)場圖片，數(shù)據(jù)集中包括不同光線強(qiáng)度、不同時(shí)間段的情況下所有運(yùn)輸車輛的俯視拍攝圖，并通過數(shù)據(jù)擴(kuò)增的方式對每張圖片進(jìn)行亮度調(diào)整、對比度調(diào)整、添加噪聲、圖像翻轉(zhuǎn)、圖像模糊的操作，每張圖片可額外擴(kuò)充5張圖片，得到共30762張訓(xùn)練樣本，對采樣區(qū)域數(shù)據(jù)集進(jìn)行標(biāo)注后進(jìn)行訓(xùn)練，訓(xùn)練后的模型對現(xiàn)場的運(yùn)輸車輛進(jìn)行采樣區(qū)域檢測，結(jié)果如下圖所示。

圖3 SSD模型的檢測結(jié)果圖

SSD的檢測結(jié)果將用于引導(dǎo)采樣機(jī)器人進(jìn)行采樣，因此對預(yù)測框的精度要求高，預(yù)測框若超出實(shí)際采樣范圍，會(huì)造成安全問題。將IoUG定義為預(yù)測框與真實(shí)框交集的面積除以真實(shí)框面積所得到的比值，若預(yù)測框超出采樣范圍、未檢測出采樣范圍或IoUG＜0.8，則認(rèn)為檢測失敗；若0.8≤IoUG≤1且未超出采樣范圍，則認(rèn)為檢測成功，則對1000張測試集圖片進(jìn)行檢測，結(jié)果如表1所示。

表1 SSD模型對于采樣范圍的檢測情況

使用數(shù)據(jù)擴(kuò)增之前，由于運(yùn)輸車輛出現(xiàn)的時(shí)間段限制，同一車輛在不同光線強(qiáng)度以及對比度的數(shù)據(jù)集較少，導(dǎo)致52張測試集圖像都無法在圖像中檢測中采樣范圍，并且42張測試集圖像的預(yù)測框超出采樣范圍，61張測試集圖像的預(yù)測框IoUG＜0.8，使用數(shù)據(jù)擴(kuò)增后，成功率從84.5%提高到97.6%，表明使用數(shù)據(jù)擴(kuò)增能有效提高檢測成功率，由于待檢測目標(biāo)為大目標(biāo)且場景穩(wěn)定，使用數(shù)據(jù)擴(kuò)增后的SSD模型可用于采樣范圍的檢測，對于檢測失敗的情況，人工可在控制界面對預(yù)測框進(jìn)行修正，確保采樣機(jī)器人在采樣范圍內(nèi)工作。

3 隨機(jī)采樣點(diǎn)的產(chǎn)生規(guī)則

由于現(xiàn)場采樣要求采樣點(diǎn)為16個(gè)，且滿足均勻隨機(jī)分布，按圖4(a)的規(guī)則產(chǎn)生采樣點(diǎn)。

圖4 隨機(jī)采樣點(diǎn)的生成

將SSD模型檢測出的采樣區(qū)域按4×6方式劃分為24個(gè)候選區(qū)域，通過隨機(jī)函數(shù)在24個(gè)候選區(qū)域中選取16個(gè)待采樣區(qū)域，再將每個(gè)待采樣區(qū)域按3×3方式劃分為9個(gè)子區(qū)域，通過隨機(jī)函數(shù)在9個(gè)子區(qū)域的選取一個(gè)子區(qū)域的中心點(diǎn)作為隨機(jī)采樣點(diǎn)?，F(xiàn)場隨機(jī)采樣點(diǎn)的產(chǎn)生結(jié)果如圖4(b)所示，每次生成的16個(gè)采樣點(diǎn)都滿足隨機(jī)均勻分布的要求，可避免出現(xiàn)在礦粉內(nèi)摻假的現(xiàn)象。

4 視覺定位模型

機(jī)械人視覺定位方法通常是將棋盤靶標(biāo)固定于機(jī)器人法蘭末端,使得棋盤靶標(biāo)隨機(jī)器人運(yùn)動(dòng)而運(yùn)動(dòng)，相機(jī)拍攝處于不同位姿下的棋盤靶標(biāo),從而標(biāo)定相機(jī)與機(jī)器人之間的位姿關(guān)系[8]，采樣機(jī)器人為導(dǎo)軌式且相機(jī)安裝在頂部，無法通過手眼標(biāo)定的方式來進(jìn)行坐標(biāo)轉(zhuǎn)換。文中提出一種易部署且滿足采樣精度要求的視覺定位模型，用于引導(dǎo)采樣機(jī)器人移動(dòng)到隨機(jī)生成的采樣點(diǎn)位置進(jìn)行采樣。

4.1 綠色激光點(diǎn)的識(shí)別

綠色激光定位燈投射在采樣平面后，在圖像中找到綠色激光點(diǎn)在圖像中的位置，圖像處理過程如圖5所示。

圖5 圖像處理流程圖

4.1.1 顏色特征篩選

在OpenCV中將原圖從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，根據(jù)綠色在HSV顏色空間中的范圍，從原圖中提取出綠色像素點(diǎn)，并進(jìn)行灰度化、二值化、形態(tài)學(xué)膨脹等操作，得到二值化圖像，不同光線強(qiáng)度下綠色激光點(diǎn)的識(shí)別結(jié)果如圖6(a)所示。

圖6 顏色特征篩選后的圖像

顏色特征篩選后，得到的二值化圖像中仍存在其他連通體區(qū)域，如圖6(c)所示，僅通過顏色特征無法直接從圖像中得到綠色激光點(diǎn)的位置，還需根據(jù)二值化圖像中的連通體特征進(jìn)一步篩選。

4.1.2 連通體特征篩選

需根據(jù)激光點(diǎn)連通體特征[9]，從二值化圖像中唯一確定綠色激光點(diǎn)的質(zhì)心位置坐標(biāo)，并將綠色激光點(diǎn)的質(zhì)心作為圖像坐標(biāo)系原點(diǎn)，選取以下3個(gè)連通體特征進(jìn)行篩選：

1）連通體質(zhì)心位置：(xM,yM)指二值化圖像中單個(gè)連通域質(zhì)心坐標(biāo)在圖像中的坐標(biāo)，OpenCV坐標(biāo)系是以左上角為原點(diǎn)，橫向?yàn)閤，縱向?yàn)閥。

2）連通體面積特征S：指二值化圖像中單個(gè)連通域的像素個(gè)數(shù)。

3）連通體圓形度特征θ：指二值化圖像中單個(gè)連通域的面積與最小外接圓面積之比。

式中，L為連通體長軸，i為二值化圖像中連通體序號(hào)，n為二值化圖像中連通體總數(shù)；xmin、xmax為綠色激光點(diǎn)質(zhì)心坐標(biāo)x方向的極限位置，ymin、ymax為綠色激光點(diǎn)質(zhì)心坐標(biāo)x方向的極限位置，xmin、xmax、ymin、ymax可在最低采樣平面以及最高采樣平面情況下測得；Smin、Smax為綠色激光點(diǎn)連通體的極限面積，θmin代表綠色激光點(diǎn)連通體圓形度的最小值，Smin、Smax、θmin可根據(jù)現(xiàn)場環(huán)境設(shè)定；Pi為所有連通體的圓形度特征和面積特征進(jìn)行加權(quán)后計(jì)算得到的最大值，α為連通體圓形度權(quán)重系數(shù)，β為連通體面積權(quán)重系數(shù)。

二值化圖像中的連通體需滿足式(2)的條件，對于所有滿足式(2)的連通體，通過式(3)得到目標(biāo)連通體Pi，Pi對應(yīng)的第i個(gè)連通體為綠色激光點(diǎn)對應(yīng)的連通體，該連通體的質(zhì)心坐標(biāo)為綠色激光點(diǎn)的中心坐標(biāo)，并將綠色激光點(diǎn)的質(zhì)心作為圖像坐標(biāo)系原點(diǎn)，對綠色激光點(diǎn)的識(shí)別結(jié)果如圖7所示，對于照射在采樣平面的綠色激光點(diǎn)，通過都能在圖像中都找到其位置，為后續(xù)的坐標(biāo)轉(zhuǎn)換提供可靠信息。

圖7 現(xiàn)場圖片中綠色激光點(diǎn)的識(shí)別結(jié)果

4.2 坐標(biāo)轉(zhuǎn)換

在采樣機(jī)器人基礎(chǔ)坐標(biāo)系中，采樣機(jī)器人的運(yùn)動(dòng)原點(diǎn)為激光定位燈所在位置，由于采樣機(jī)器人z方向采樣深度根據(jù)電機(jī)轉(zhuǎn)矩傳感器進(jìn)行控制，且綠色激光點(diǎn)垂直投射在采樣平面，可將三維的采樣機(jī)器人基礎(chǔ)坐標(biāo)系簡化為二維的采樣平面坐標(biāo)系，采樣平面坐標(biāo)系的原點(diǎn)為激光定位燈在采樣平面投影點(diǎn)的質(zhì)心位置，因此可通過采樣平面坐標(biāo)系的坐標(biāo)點(diǎn)(x,y)控制采樣機(jī)器人到對應(yīng)位置采樣。

圖8 坐標(biāo)轉(zhuǎn)換示意圖

因相機(jī)中心與激光定位燈中心的橫向距離Δx可通過測量得到，且圖像坐標(biāo)系中，圖片中心點(diǎn)與綠色激光點(diǎn)質(zhì)心的橫向像素距離Δu也可通過計(jì)算得到，16個(gè)采樣點(diǎn)的計(jì)算如下：

式中，Kt為圖像坐標(biāo)系到采樣平面標(biāo)系的轉(zhuǎn)換系數(shù)，Δx為采樣平面坐標(biāo)系中的常量，Δu隨采樣平面高度變化，采樣平面越高Δu越大，i為采樣點(diǎn)序號(hào)，(xi,yi)T為采樣平面坐標(biāo)系中的采樣點(diǎn)，(ui,vi)T為圖像坐標(biāo)系中按規(guī)則隨機(jī)生成的點(diǎn)。

圖像坐標(biāo)系中16個(gè)隨機(jī)采樣點(diǎn)換算到采樣平面坐標(biāo)系后，通過TCP通訊的方式從工控機(jī)傳輸?shù)絇LC，進(jìn)而引導(dǎo)采樣機(jī)器人到對應(yīng)位置進(jìn)行采樣。

5 實(shí)驗(yàn)結(jié)果

采用人工方式在圖像中生成采樣點(diǎn)，對視覺定位的精度進(jìn)行多次實(shí)驗(yàn)，每次實(shí)驗(yàn)選定10個(gè)采樣點(diǎn)進(jìn)行視覺定位誤差實(shí)驗(yàn)，進(jìn)行三次實(shí)驗(yàn)，共測試30個(gè)采樣點(diǎn)，且30個(gè)采樣點(diǎn)均勻分布在整個(gè)采樣平面，計(jì)算x、y方向的最大誤差以及平均誤差，第一次的實(shí)驗(yàn)結(jié)果如表2所示，視覺引導(dǎo)采樣實(shí)驗(yàn)如圖9所示。

表2 視覺定位結(jié)果與采樣頭實(shí)際位置（mm）

圖9 視覺引導(dǎo)采樣實(shí)驗(yàn)

實(shí)驗(yàn)的定位誤差結(jié)果如圖10所示，30個(gè)采樣點(diǎn)在x方向的最大絕對誤差為9mm，y方向的最大絕對誤差為7mm，誤差產(chǎn)生原因是由于綠色激光點(diǎn)質(zhì)心的識(shí)別精度、機(jī)器人運(yùn)動(dòng)誤差等因素造成，采樣過程是在采樣區(qū)域隨機(jī)生成取樣點(diǎn)進(jìn)行采樣，采樣點(diǎn)不能超出采樣區(qū)域，根據(jù)采樣點(diǎn)的產(chǎn)生規(guī)則，在極限情況下，隨機(jī)生成的邊緣點(diǎn)距離采樣區(qū)域邊界在x方向有167mm裕量，y方向上有87mm裕量，因此不會(huì)出現(xiàn)采樣點(diǎn)超出采樣范圍的情況，該采樣精度可滿足現(xiàn)場采樣要求。

6 結(jié)語

針對半封閉式空間的采樣環(huán)境，文中提出一種視覺引導(dǎo)的采樣系統(tǒng)用于三自由度導(dǎo)軌式采樣機(jī)器人，主要的研究成果如下：

1）基于SSD目標(biāo)檢測算法實(shí)現(xiàn)采樣區(qū)域檢測，可從采集的圖像中自動(dòng)識(shí)別出采樣區(qū)域。

2）根據(jù)采樣要求，提出一種隨機(jī)采樣點(diǎn)的產(chǎn)生規(guī)則，并且生成的采樣點(diǎn)滿足隨機(jī)均勻分布。

3）基于激光定位燈提出一種視覺定位模型，實(shí)現(xiàn)從圖像坐標(biāo)系到采樣機(jī)器人基礎(chǔ)坐標(biāo)系的轉(zhuǎn)換，進(jìn)而引導(dǎo)采樣機(jī)器人到對應(yīng)隨機(jī)點(diǎn)進(jìn)行采樣。

通過現(xiàn)場實(shí)驗(yàn)驗(yàn)證了采樣系統(tǒng)的可行性，采樣點(diǎn)的分布以及定位精度均滿足現(xiàn)場采樣要求，對提高采樣自動(dòng)化具有重要意義。