陳煜 曹錦江 周湛 陳浩冉 戴燁 胡嚴斌

摘? 要：運用視覺識別技術能引導機器人實現(xiàn)工件自動識別并進行分揀搬運。本課題研究基于索尼相機為硬件基礎，以FANUC機器人為搬運分揀平臺，內(nèi)置視覺識別軟件，搭建了基于視覺識別技術在FANUC機器人上的自動分揀系統(tǒng)。本文主要針對在系統(tǒng)搭建過程中遇到的問題進行分析，運用本實驗研究結果給出解決方法，并提出參考意見。

關鍵詞：工業(yè)機器人? 機器視覺? 分揀系統(tǒng)? 標定

中圖分類號：TP391.41? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：1674-098X（2021）05（b）-0061-05

Some Experience in the Application of Machine Vision System

CHEN Yu? CAO Jinjiang*? ZHOU Zhan? CHEN Haoran DAI Ye? HU Yanbin

（School of Automation， Nanjing Institute of Technology， Nanjing， Jiangsu province， 211167? China）

Abstract： Using visual recognition technology can guide the robot to realize automatic recognition and sorting of workpiece. Based on the hardware of Sony camera， FANUC robot as the sorting platform and built-in visual recognition software， an automatic sorting system based on visual recognition technology on FANUC robot is built. This paper mainly analyzes the problems encountered in the process of building the system， uses the experimental results to give solutions， and puts forward some suggestions.

Key Words： Industrial robot; Machine vision; Sorting system; Calibration

傳統(tǒng)的工業(yè)機器人能對固定位置的同一形態(tài)工件進行作業(yè)，按照程序設定的工藝流程進行搬運或加工。此方法相較于人工作業(yè)大大節(jié)省了時間和成本，但是一旦工件的位置或形態(tài)出現(xiàn)偏差，就會導致機器人抓取失誤，甚至加工失敗。在這樣的背景下，機器視覺為我們提供了良好的解決方案。通過事先加裝工業(yè)相機，對工件的位置進行實時監(jiān)控，再配合視覺識別程序處理相機圖片，得到實時的工件位置，進而對機器人的抓取或加工進行位置補正，從而達到在預定范圍內(nèi)的自動化作業(yè)要求。

與傳統(tǒng)的機器分揀相比，加入了視覺識別的自動化作業(yè)能有效地降低工件的擺放要求，降低抓取的失敗率，大幅提高了整個系統(tǒng)的自動化程度。但是加裝了機器視覺模塊后整個系統(tǒng)又面臨了一些新的問題。

本文主要針對加裝了視覺識別模塊的分揀機器人，在搭建系統(tǒng)的過程中遇到的難點問題進行研究與討論，并給出解決方法。

1? 系統(tǒng)組成

基于視覺識別的FANUC分揀機器人主要由工業(yè)相機、FANUC機器人、氣動吸盤、空氣壓縮機、FANUC機器人控制裝置等組成。機器人的抓取動作主要通過空氣壓縮機提供吸合動力，由軟管傳遞到氣動吸盤，再由系統(tǒng)控制的電磁閥控制是否吸取工件[1]。

工業(yè)相機：本次研究選用的是索尼模擬相機（XC-56），分辨率為640像素×480像素，像素尺寸為7.4μm。相機的檢測范圍由相機的拍照距離，鏡頭焦距，成像單元CCD尺寸決定。有公式：檢測范圍L≈（拍照距離D-鏡頭焦距f）÷鏡頭焦距f×成像單元CCD尺寸Lc。成像單元CCD尺寸Lc=像素尺寸×分辨率。

工 業(yè)機器人：選用的是FANUC Mate200iD六軸機器人。

2? 系統(tǒng)搭建過程中遇到的問題及其解決方法

在系統(tǒng)的搭建過程中，由于使用的是FANUC機器人平臺，其提供了不少的視覺分析及處理程序，大大簡化了調試工作，但是在此過程中也遇到了不少棘手的問題，接下來本文將一一列舉這些問題并提出解決方法。

2.1 圖像識別過程中陰影的干擾

在進行圖像識別的過程中，首先進行的就是模型的示教，即預先對樣板工件進行拍照識別，對得到的樣板照片進行處理，可通過軟件自動框選目標工件輪廓或者便于識別的標志性形狀，再輔助以手動框選進一步優(yōu)化識別結果[2]。將此過程最終得到的工件識別輪廓存儲為示教模型，以供之后對所需工件進行識別，如圖1所示。在系統(tǒng)正常工作時，工 業(yè)相機首先對工件進行拍照，然后傳遞至控制器內(nèi)進行分析處理，將識別出的結果與事先已示教的模型進行對比。

但是在某些情況下，由于光照沒有垂直于工件會使相機拍攝得到的照片上出現(xiàn)工件產(chǎn)生的不規(guī)則陰影[3]。由于使用的是黑白相機，視覺識別時相機得到的黑白圖像，會收到干擾數(shù)據(jù)，視覺識別程序會將這塊陰影錯誤識別為工件的一部分，從而導致下一步與示教模型進行比對時出現(xiàn)偏差，進而將原本應當被識別為目標工件的工件錯誤地被識別為無效工件，致使系統(tǒng)的分揀出現(xiàn)失誤。

2.1.1 針對陰影問題有兩種解決方法。

方法一：在工業(yè)相機得到工件照片后先進行一次圖像預處理，運用陰影去除程序去除圖像中的陰影[4]。其原理為先對陰影的濃淡值進行示教并存儲，在執(zhí)行陰影去除時，將濃淡值低于已示教值的圖像部分的像素的濃淡值變?yōu)?，即不會再被視覺識別程序識別。加入陰影去除工具前后的識別結果如圖2所示。

方法二：提供更好、更穩(wěn)定的光源，理想的光源應當具備結構簡單、光照均勻穩(wěn)定的特點。此外想要達到抑制陰影產(chǎn)生的目標，還應當將光源放置于工件的正上方。要想達到最理想的光照效果，應當采用環(huán)形光源圍繞相機，圍繞相機的環(huán)形光源如圖3所示。

2.2 系統(tǒng)中坐標系的標定問題

在了解這個問題之前，我們應當先了解系統(tǒng)中所用到的各個坐標系。機器人的位置和姿態(tài)用坐標系來進行描述。常用有以下兩類坐標系，第一類是用戶坐標系，第二類是工具坐標系。用戶坐標系是用戶給定的用來定義機器人作業(yè)空間的坐標系。工具坐標系是用來定義機器人工具的位置和朝向的坐標系，工具坐標系的原點可稱之為Tool Central Point（簡稱為TCP）。本文的研究應用FANUC的機器人，采用叫做示教重放的方式進行作業(yè)。該方式的機器人按照示教的方式再現(xiàn)動作。因此，在一般機器人系統(tǒng)上，并不將坐標系視為十分重要。但是在帶視覺系統(tǒng)的機器人運用上，坐標系有著十分重要的意義。由于視覺識別物體得到的是用戶坐標系下的坐標，因此在設定用戶坐標系時必須力求準確。在物塊抓取時，機器人依靠的是工具坐標系進行抓取補正，因此我們在設定工具坐標系時也需力求準確[5]。

但是在坐標系的標定過程中，初學者對于這兩種坐標系的概念不能很清楚的理解，從而導致在標定中出現(xiàn)失誤與偏差，更有甚者會把這兩種坐標系混淆[6]。再加上除了這2個坐標系需要標定外，相機本身也需要進行標定，但是相機的標定是基于已經(jīng)標定好的用戶坐標系[7]，相機標定部分將在下一部分進行詳盡敘述。下文將列舉幾種準確且可靠的標定用戶坐標系和工具坐標系的方法。坐標系的標定方法如下。

方法一：通過使用觸針，進行觸碰來設定用戶坐標系和工具坐標系。將觸針安裝在機械手上，觸針需要選擇前端較為尖銳的且觸針，要固定在機械手上，不能因為觸碰而產(chǎn)生偏移。此外，還需要一個固定在機械手工作范圍內(nèi)的尖銳的銷針，銷針應當固定在支架上，觸針和銷針實物示意圖4所示。

我們先介紹工具坐標系標定的方法：用安裝在機械手上的觸針和安裝在固定位置的銷針前端對合的方式設定工具坐標系的原點TCP[7]。我們使用觸針的方式進行TCP設定時運用的方法叫做“三點示教法”，其內(nèi)容是使用點動的方法操作機械手，使觸針從3個不同的方向趨近銷針的頂點，這3個方向與機械手所用的姿勢應當盡可能各不相同。其次，再通過機器人內(nèi)置的存儲器記錄下此時機械手的位置與形態(tài)。通過FANUC機器人內(nèi)置的TCP設定程序即可計算出工具坐標系。最后檢查工具坐標系時，先用點動的方法將觸針移至銷針頂端，再改變工具姿勢，若TCP設定正確，則觸針前端會始終指向支架的銷針前端，如圖5所示[8]。

運用觸針進行用戶坐標系的設定時，只需用點動的方式使觸針對準點陣板上的固定點并記錄位置即可完成用戶坐標系的設定。

方法二：使用網(wǎng)格坐標系功能的坐標系設定[9]。這是一種使用相機和點陣板夾具的設置信息的一種功能。FANUC機器人能提供的一種自動標定程序。機器人會自動改變相機與點陣板的相對位置反復進行測量，最后識別并記錄從機器人的基本坐標系看到的點陣板的坐標系位置如圖6所示[10]。與基于觸碰的方法相比其具有以下優(yōu)點：可不受用戶操作水平的制約，無需安裝觸針和銷針，采用半自動方法進行設置操作簡單。但是半自動的標定方法還是會受到手持相機的機器人運動靈敏度的制約，其要求進行的半自動標定方法的精準度與機器人能夠運動的角度與范圍成正比，只有在機器人能夠在理論要求的范圍與角度內(nèi)運動時，半自動標定的精準度才能達到預期。所以非六軸聯(lián)動機器人一般不推薦半自動標定方法。

2.3 相機標定問題

在討論相機標定問題之前首先要了解介紹一下目前主要的相機標定方法。目前主流的相機標定方法分兩種，第一種是傳統(tǒng)相機標定方法，第二種是相機的自標定方法[11]。傳統(tǒng)的相機標定方法是使用需要進行標定操作的相機拍攝現(xiàn)有的標定模板，例如棋盤格模板、網(wǎng)格紙模板等（上文提到的點陣板即為一種），再將所得圖片與標定模板上的固定大小和位置的圖案進行對比，經(jīng)過算法處理后得到空間位置參數(shù)，使機器人能記錄下當前狀態(tài)下的相機處于何種狀態(tài)，位于什么位置。而相機的自標定方法則不需要用到固定的標靶模板，其原理是以空間中的某一未知點作為參考點，以相機做特定運動的方式得到場景圖像，從而完成相機的標定。相較于傳統(tǒng)的相機標定方法，相機自標定法雖然無需用到標定模板，但是它對手持相機的機器人和位置處理算法提出了更高的要求，且標定精度與機器人運動靈敏度和精準度直接掛鉤。因此，在非六軸聯(lián)動的高精度機器人上，一般不推薦用相機自標定法。

本文主要介紹傳統(tǒng)的相機標定方法，本實驗主要對一板標定法進行了研究。在進行一板法標定相機時，實驗人員發(fā)現(xiàn)其標定方法與坐標系標定類似，但是并不是創(chuàng)建一個新的坐標系，而是基于上所述文已經(jīng)建立的用戶坐標系，判斷當前相機的狀態(tài)與位置，進而完成相機標定的。

首先，本實驗運用到的標定板即為圖6（a）所示點陣板，根據(jù)相機是否固定于機器人上，點陣板的放置有兩種方法，一種是相機固定于機器人時，點陣板固定于相機下的平面，另一種是相機固定時，點陣板固定于機器人上，然后進行點陣板夾具參考坐標系的設置。此時根據(jù)點陣板位置的不同又分為兩種情況：點陣板固定在平面時用已經(jīng)設定好的用戶坐標系作為基準坐標系;點陣板固定在機器人上時用工具坐標系作為基準坐標系。本實驗運用的是固定于機器人的相機，點陣板因此固定于相機下的平面上，基準坐標系選用設定好的用戶坐標系。

以FANUC機器人為例，需要操作人員輸入點陣板上的點間間距與相機的焦距，這里的焦距也可以讓機器人自動計算，推薦使用焦距固定的相機，手動輸入焦距，以較小誤差，如圖7所示。

最后相機進行拍照，拍照位置最好在點陣板中心線的正上方，相機光軸垂直于點陣板[12]。拍照得到的圖像應當在機器人中進行處理，根據(jù)輸入的點間間距與焦距自動計算出相機高度、位置偏差等的參數(shù)并記錄。至此相機的一板法標定完成。

3? 結語

在設計基于機器視覺的機器人自動分揀系統(tǒng)的過程中遇到的這些常見問題，本文主要針對圖像陰影干擾、坐標系標定、相機標定等問題進行分析，運用本實驗研究結果給出解決方法，并提出參考意見。

參考文獻

[1] 劉亞奇.基于機器視覺的自動分揀機器人[D].開封：河南大學，2018.

[2] 盧振利，謝亞飛，周立志，等.基于機器視覺的機器人辨識及分揀盒裝香煙的系統(tǒng)[J].高技術通訊，2016，26（6）：585-592.

[3] 廖家驥，劉建群，高偉強，等.基于機器視覺的機器人分揀系統(tǒng)設計[J].組合機床與自動化加工技術，2019（4）：25-27，31.

[4] 朱亞紅.基于機器視覺的工業(yè)機器人分揀系統(tǒng)[J].智慧工廠 ，2018（12）：73-74.

[5] 劉瀟，萬其，倪銀堂，等.基于視覺的移動分揀機器人系統(tǒng)研究[J].工業(yè)控制計算機，2018，31（12）：91-93.

[6] 張翔.基于工業(yè)機器人的多工件視覺識別與分揀[D].北京：北京化工大學，2018.

[7] 徐青青.基于機器視覺的工業(yè)機器人智能分揀系統(tǒng)設計[J].儀表技術與傳感器，2019（8）：92-95，100.

[8] 上海發(fā)那科機器人有限公司，F(xiàn)ANUC機器人視覺操作說明書（B-83304CM_04）[Z].2016.10.

[9] 上海發(fā)那科機器人有限公司，F(xiàn)ANUC機器人R-30iB-MateiRVision視覺操作說明書（B-83304CM-1_02_01））[Z].2016.10.

[10] 上海發(fā)那科機器人有限公司，F(xiàn)ANUC機器人R-30iB-MateiRCalibration操作說明書（B-83724C? ? ?M_02）[Z].2016.10.

[11] 陳懇.基于機器視覺的物料分揀工業(yè)機器人關鍵技術研究[D].深圳：深圳大學，2017.

[12] Hyattyonatan.TheRoleofAdaptiveVisionAiinAutonomousMachineVision[J]Photonicsviews，2021，18（2）.