王 堃, 唐厚君, 韓 斐

(1.上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240；2.上海寶承自動化設(shè)備有限公司，上海 200240)

0 引言

沖床作為沖壓工藝的載體，在我國基礎(chǔ)工業(yè)領(lǐng)域占有非常重要的地位，但是由于我國自動化發(fā)展起步較晚，沖床自動化程度整體比較低，大多數(shù)還屬于人工送料、套料、沖壓的階段，不僅危險性較高，效率、質(zhì)量、材料利用率等也難以保證，而且對于重量或尺寸稍大的原材料，僅靠單個人力很難持續(xù)工作，大大限制了這類材料的利用[1]；現(xiàn)在市面上已推出少數(shù)沖床自動化送料設(shè)備，如搖擺機、基于機器人手臂的送料套料裝置等，其適用場景比較受限，搖擺機只能沖壓圈帶料，無法對一些板料或邊角料進行送料套料處理，同時由于設(shè)備空間需求較大，廠房的空間利用率較低；基于機器人手臂的送料套料裝置，一般只能對固定形狀的板料進行送料，一旦板料形狀發(fā)生更改，機械的校準相對麻煩。而且當前市面的大多數(shù)自動送料裝置，應(yīng)用程序都是基于PLC控制，這使得其擴展性、靈活性都相對較差[2-4]。

本文設(shè)計了一種基于機器視覺的自動送料、套料的沖床自動送料機，可以自動識別待沖壓板料，并對其進行套料處理，運送到?jīng)_頭下進行自動沖壓。機器視覺模塊的增加，使得理論上可以對任意形狀的板料，任意形狀的工件都能進行沖壓；只需要對應(yīng)用程序進行升級，增加對應(yīng)的工件模型的最優(yōu)套料算法，就可以對新的板料和工件進行套料沖壓處理，這使得自動送料機的靈活性、可擴展性大大增強。同時機械結(jié)構(gòu)的巧妙設(shè)計，也使得其場地的空間利用率得到了很大提高。

1 沖床自動送料機系統(tǒng)構(gòu)成

沖床自動送料機系統(tǒng)由硬件系統(tǒng)，圖像分析處理、套料軟件系統(tǒng)，以及運動控制單元三部分構(gòu)成，運動控制單元由上海寶承自動化設(shè)備有限公司輔助完成，本文重點在于介紹軟件控制系統(tǒng)的設(shè)計。

1.1 沖床自動送料機系統(tǒng)的硬件系統(tǒng)構(gòu)成

系統(tǒng)硬件主要包括工業(yè)相機、鏡頭、光源和運算處理平臺等組成的控制系統(tǒng)，以及主要由傳動膠輥、電機以及運動軸卡等構(gòu)成的運動系統(tǒng)。自動送料系統(tǒng)的整體結(jié)構(gòu)如圖1所示。

工業(yè)相機和鏡頭的選取，直接影響了對板料的識別精度，進而影響套料效果，因此對于相機和鏡頭的選取就顯得尤為重要。帶沖壓的板料檢測精度需要在0.5mm，相機的視場范圍是400mm × 300mm，物距60mm，因此可選用大恒的MER-500-7UM和M0814-MP2鏡頭。由于圖像提取的過程中主要是對二維平行板料進行精確還原，因此在光源方面選擇的是面光源。計算處理平臺，選擇的是PC端的工業(yè)電腦，其在用戶現(xiàn)場運行比較穩(wěn)定，而且運算能力足夠。

圖1 沖床自動送料機硬件結(jié)構(gòu)

1.2 沖床自動送料機軟件系統(tǒng)設(shè)計

沖床自動送料機的軟件系統(tǒng)，主要由圖像采集模塊、圖像處理模塊和套料處理模塊構(gòu)成。其工作流程如圖2所示。

圖2 軟件處理流程圖

圖像采集模塊將板料信息采集上來，將圖像格式轉(zhuǎn)換成cv::Mat傳遞到圖像處理模塊進行板料的提取處理，之后轉(zhuǎn)換成自定義的Image::Array格式，傳遞給套料處理模塊進行套料和沖壓。

2 沖床自動送料機系統(tǒng)的軟件模塊實現(xiàn)

圖像采集模塊主要是通過標定后的相機，對當前的板料信息進行實時采集，采集后進行格式轉(zhuǎn)換；圖像處理模塊主要是對采集上來的圖像進行高度補償、閾值分割、前景提取等操作，準確提取出板料信息；套料模塊主要是在板料上進行套料算法的實現(xiàn)，同時將圖像坐標系轉(zhuǎn)換成機床坐標系，并將待沖壓坐標發(fā)送到下位機，進行工件沖壓。

2.1 圖像采集模塊實現(xiàn)

圖像采集模塊主要實現(xiàn)相機的圖像采集，然后轉(zhuǎn)換為cv::Mat格式數(shù)據(jù)，傳遞給圖像處理模塊進行處理。其中圖像采集是用C++開發(fā)完成，可以通過直接調(diào)用大恒相機的SDK獲得。

相機在使用前需要對其進行標定，以獲取相機的內(nèi)外參數(shù)。標定相機內(nèi)參，用的是標準棋盤格標定板，標定過程由軟件實現(xiàn)；因為不同機床的相機安裝位置有所變化，因此還需要一塊定制的棋盤格標定板來標定出相機外參。

2.1.1 相機標定

相機標定使用的原理是張正友標定法[5]，以標準棋盤格標定板作為標定參照物。軟件標定界面如圖3所示，采用QT/C++開發(fā)實現(xiàn)。進行標定的時候，客戶需要拍攝多張不同角度的標定板照片，軟件會提示每張照片的識別情況，用于完成標定。成功標定后系統(tǒng)會反饋重投影誤差，用以判斷標定的可靠性[6]。

圖3 相機標定界面

采用相機的小孔成像模型，其數(shù)學(xué)模型表達式如下，其中Min是內(nèi)參矩陣，可以通過上述標定求出：

(1)

2.1.2 拍照臺平面標定

相機與拍照臺模型如圖4所示。

圖4 透視變換模型

(2)

由于使用的是二維空間信息，因此式(1)中zc維度可以忽略，聯(lián)立式(2)可得：

(3)

其中，H是單應(yīng)矩陣，由于其作用于齊次坐標，因此只有8個自由度，求解該矩陣，至少需要4個已知亞像素精度的點。為了獲取更準確的映射關(guān)系，使用定制的棋盤格來求解，如圖5所示。

圖5 棋盤格標定板

該棋盤格規(guī)格是7×12,奇數(shù)和偶數(shù)分別代表X方向和Y方向，每個方格規(guī)格為20mm×20mm。通過cv::findChessboardCorners和cv::findHomography函數(shù)可以求解出H，同時可進一步求出相機的外參矩陣Mex(通過cv::solvePnP分解求出旋轉(zhuǎn)矩陣R和平移矩陣T)。

2.2 圖像處理模塊實現(xiàn)

圖像處理模塊主要實現(xiàn)將輸入的cv::Mat圖像，通過平行高度補償以及圖像分割、前景提取等操作，精確提取出板料的具體輪廓信息，進一步轉(zhuǎn)換為套料所需要的image::Array 類型數(shù)據(jù)，進而將其傳入到套料處理模塊進行下一步套料，流程如圖6所示。

圖6 圖像處理流程

2.2.1 平行平面高度補償

由于膠輥安放、板材厚度變化等機械結(jié)構(gòu)原因，板料和拍照臺平面存在高度差，這將引起放大效應(yīng)，導(dǎo)致圖像中直接測得的工件尺寸將比實際偏大。為了得到準確的測量結(jié)果，必須對高度差進行補償，高度補償后會重新生成新的單應(yīng)矩陣。

RT1=T1-R-1A
T2=T1-R-1A

其中，R和T1是在拍照臺平面標定時，求解出來的平移和旋轉(zhuǎn)矩陣，故補償過后的單應(yīng)矩陣H為：

(3)

2.2.2 基于Otsu自適應(yīng)閾值的圖像分割

圖像分割算法有很多，最簡單是閾值分割，設(shè)定好一個固定閾值，每次都按照該值進行提取，缺點在于環(huán)境適應(yīng)性比較差，對于環(huán)境光線條件比較敏感；基于邊緣的分割方法，是通過檢測圖像邊緣信息，分割邊緣兩側(cè)區(qū)域的一種分割方法，其缺點在于難以獲得邊緣的包含關(guān)系，對于有孔工件較難區(qū)分，同時易受噪聲影響；基于區(qū)域的分割方法是以分水嶺法、種子生長法等為代表的按照區(qū)域相似性準則的分割方法，但是由于工件形狀位置皆不確定，且分割出來的工件前景而不再需要繼續(xù)分割其他區(qū)域，因此不適合。

Otsu 法是一種常用的灰度圖像動態(tài)二值化算法[7]。該算法試圖遍歷 0～255 的灰度值范圍直到找到一個閾值使得通過該閾值分割的前景類和背景類有最小的類內(nèi)方差和最大的類間方差，這個閾值即最優(yōu)的分割閾值。

對于M×N的灰度圖像，t為分割閾值且t∈(0,255)，g(i)表示像素i的灰度值，N0表示灰度值小于t的像素個數(shù)，N表示灰度值大于t的像素個數(shù)，g0表示前景像素的平均灰度，g1表示背景像素的平均灰度。

(4)

(5)

g(t)=ω0(t)·g0(t)+ω1(t)·g1(t)

(6)

類間方差定義為：

(7)

遍歷全部灰度值，尋找V最大值對應(yīng)閾值t即為最優(yōu)閾值。

(a) 拍照臺原始圖

(b) 閾值分割板料提取圖
圖7 板料前景提取對比圖

2.2.3 圖像格式轉(zhuǎn)換

為了方便后續(xù)的套料處理，自定義了板料圖片的格式image::Array，該格式包含了最基本的圖片中板料的邊緣信息，孔洞情況以及二值化之后的圖像信息等。具體格式轉(zhuǎn)換流程如圖8所示。

圖8 圖像格式轉(zhuǎn)換流程

2.3 套料處理模塊實現(xiàn)

套料問題是組合優(yōu)化中的經(jīng)典問題，在數(shù)學(xué)上屬于裝載問題(Packing Problem)，即在有限空間內(nèi)尋求放置最多指定物體的解[8]。但是，在沖床自動送料機的實際應(yīng)用中，又有其本身的特殊性。舉例而言，在沖床自動送料機的套料過程中，很難預(yù)知完整板料的輪廓，因為板料是被逐步送入機器進行套料的；另外，在套料過程中，單次套料最優(yōu)化的解不一定會導(dǎo)致最終套料結(jié)果的整體最優(yōu)；最后，套料的美觀性(如對稱)需要被考慮到方案中，這一點是出于用戶本身對產(chǎn)品的需求[9]。

2.3.1 套料算法實現(xiàn)

貪婪算法(Greedy Algorithm)的思想是在無法獲得全局最優(yōu)解的情況下，盡可能求得局部最優(yōu)解，用局部最優(yōu)解的合集逼近全局最優(yōu)解[10]。這是由于板料較長時，套料是隨著板料的一步一步送入疊加完成，無法單次獲取全部板料信息進行套料?；谪澙匪惴ǖ乃枷?，設(shè)計了基于模板的單次套料方案，即根據(jù)板料和工件形狀，生成在無窮大平面內(nèi)最優(yōu)的套料模板，用已有模板對當前板料進行匹配套料。但是對于較小的拼接板料，普通的模板無法適配，因此需要通過板料輪廓內(nèi)區(qū)域進行掃面套料，還需要進一步采用回溯算法(Back-tracking Algorithm)，對套料結(jié)果進行回溯篩選，得到最優(yōu)的套料結(jié)果[11]。

(a) 拼接后完整板料圖

(b) 軟件套料模擬圖圖9 套料前后對比圖

2.3.2 沖壓路徑的組合優(yōu)化

套料完成后，獲取到的是一些散亂的坐標信息，為了最大限度的減少送料機的運動幅度，需要對這些坐標進行路徑規(guī)劃，這屬于經(jīng)典的旅行商問題(Travelling salesman problem)，但是由于每次套料產(chǎn)生的坐標個數(shù)較少，因此可以采用枚舉法，對所有坐標間距進行遍歷，對比選取出最優(yōu)的沖壓路徑。

圖10 沖壓路徑組合優(yōu)化示意圖

3 方案測試分析

為驗證自動送料系統(tǒng)的運行情況，測試沖壓了3種不同的板料，每種板子沖壓10張。令η表示沖壓效率，N表示沖壓總個數(shù)，T表示沖壓總時間，則沖壓效率表示為：

η=N/T

(8)

自動送料機和人工沖壓情況對比如表1所示。

表1 軟件人工沖壓對比

圖11 實際板料沖壓效果

通過上述對比表格可以看出，自動送料機能夠輕松完成三種常見板料的套料、沖壓工作，同時在沖壓速度和沖壓效率相較于人工而言有很大優(yōu)勢，平均效率提升30%左右，對于較小工件，邊角料的情況，效率提升效果更加明顯。

4 結(jié)論

自動送料機系統(tǒng)采用的是基于機器視覺的方案，利用圖像處理的方式將待沖壓板料提取出，并通過一系列套料算法進行套料，同時也對沖壓路徑進行了組合優(yōu)化，最后將沖壓坐標發(fā)送到下位機進行機械沖壓。通過實際對比測試發(fā)現(xiàn)，沖壓的整體效率相較于人工提升較為明顯，同時相較于市場上針對板料的專一送料機，該套系統(tǒng)具有足夠的靈活性，大大降低了對板料的依賴性。機器視覺模塊的加入，使得能夠?qū)崟r提取板料形狀，讓實時排料成為了可能；同時其對工件的提取也不僅僅局限于手動輸入，可以在拍照臺智能提取，因此對工件形狀的限制也大大降低；PC平臺的控制裝置，使得軟件升級變得更加便捷，為套料算法的持續(xù)性研發(fā)提供了基礎(chǔ)；這些設(shè)計都大大增加了自動送料裝置的靈活性和擴展性。