郭 鶴,常修源
(鄭州科技學院,河南 鄭州 450064)
機器視覺目前正被廣泛運用于人們生產(chǎn)生活的各個領(lǐng)域,它使機器更加智能化,對自動化技術(shù)的發(fā)展也起到至關(guān)重要的推動作用[1]。目前,對于不同形狀和顏色的產(chǎn)品分揀工作多通過人工進行,費時費力。為了改變這一現(xiàn)狀,許多學者對自動分揀方法進行了研究。張亞婉等[2]設(shè)計了一種以ARM單片機為核心、利用OpenMV對物料進行分析與識別的物料分揀機器人,實現(xiàn)了對物料的智能化分揀;李橙等[3]利用激光視覺主動成像技術(shù)引導機器人完成分揀任務;鄒子杰等[4]采用機器視覺對加油口進行特征識別,實現(xiàn)了對加油機器人的軌跡規(guī)劃。目前的分揀機器人能夠?qū)崿F(xiàn)分揀工作自動化,但對于某些特殊場合,卻無法實現(xiàn)非接觸啟動,針對這一問題,設(shè)計了一種基于機器視覺的物料分揀裝置,能夠?qū)Σ煌螤睢㈩伾奈锪线M行自動化分揀,并可通過手勢識別實現(xiàn)裝置的非接觸啟動。
本課題所需分揀的物料分為紅、綠、藍、黑4種顏色,形狀分為等邊三角形和正方形2種,其中等邊三角形物料邊長為30 mm,正方形物料邊長為20 mm,所有物料厚度均為5 mm,物料材料為亞克力。根據(jù)物料規(guī)格,設(shè)計了分揀裝置結(jié)構(gòu)。
設(shè)計的分揀裝置結(jié)構(gòu)主要由攝像頭、工作臺、抓取機構(gòu)、十字滑臺機構(gòu)組成。裝置整體結(jié)構(gòu)示意圖如圖1所示。物料分揀工作在分揀裝置的工作臺上進行,同時工作臺還作為整個裝置的底座,十字滑臺機構(gòu)和攝像頭均被固定在工作臺上。
圖1 物料分揀裝置結(jié)構(gòu)示意圖
十字滑臺機構(gòu)由滑塊、步進電機、光杠、同步帶及帶輪組成。物料抓取機構(gòu)安裝在十字滑塊機構(gòu)的末端。十字滑塊機構(gòu)采用CoreXY結(jié)構(gòu),兩步進電機被固定在工作臺上,滑塊以固定在型材上的2根橫向光杠為導軌,可相對于工作臺進行橫向運動,抓取機構(gòu)安裝在2根穿過滑塊的縱向光杠上,光杠與滑塊之間采用直線軸承連接,使縱向光杠可相對于滑塊做縱向運動。抓取機構(gòu)相對工作臺的運動由步進電機驅(qū)動同步帶傳動提供,當兩步進電機轉(zhuǎn)速相同轉(zhuǎn)向相反時,抓取機構(gòu)相對于工作臺進行縱向移動,當兩步進電機轉(zhuǎn)速相同且轉(zhuǎn)向相同時,抓取機構(gòu)相對于工作臺進行橫向移動。通過控制兩步進電機的轉(zhuǎn)速轉(zhuǎn)向和轉(zhuǎn)角就能控制抓取機構(gòu)的位置和移動速度。
抓取機構(gòu)由豎向?qū)к墶⒒瑝K、吸盤、舵機及連桿組成,其結(jié)構(gòu)如圖2所示。豎向?qū)к壓投鏅C被固定在面板上,滑塊被安裝在導軌上,可相對于導軌進行豎向運動,舵機通過連桿與滑塊相連,而吸盤則被固定在滑塊上,舵機的旋轉(zhuǎn)運動通過連桿-滑塊機構(gòu)轉(zhuǎn)化為吸盤的豎向運動。通過控制舵機的轉(zhuǎn)向與轉(zhuǎn)角即可控制吸盤在豎向上的抓取和放置動作。
圖2 抓取機構(gòu)結(jié)構(gòu)示意圖
設(shè)計的分揀裝置控制系統(tǒng)由攝像頭、機器視覺系統(tǒng)、上位機、ARM單片機和氣動系統(tǒng)組成。系統(tǒng)原理如圖3所示。
圖3 系統(tǒng)原理框圖
攝像頭采集物料及手勢圖像,并傳送到機器視覺系統(tǒng),通過視覺算法識別圖像內(nèi)容,通過TCP通信協(xié)議將圖像信息傳送至上位機,上位機通過人機交互界面顯示物料信息,并將分揀信號通過串口通信協(xié)議傳送至ARM單片機,最終由單片機控制抓取機構(gòu)和吸盤動作實現(xiàn)物料的抓取和放置[5]。
視覺系統(tǒng)采用藍天科技LT-USB1080P攝像頭采集圖像,其參數(shù)如表1所示。機器視覺系統(tǒng)算法由手勢識別、形狀識別與顏色識別3部分組成。
表1 攝像頭參數(shù)
2.2.1 手勢識別
考慮到在某些特定場合中分揀裝置需要采用非接觸方式啟動,為確保操作人員安全避免誤啟動,本設(shè)計添加了手勢識別功能以控制分揀裝置非接觸啟動。
設(shè)計采用谷歌MediaPipe框架進行手勢識別,該算法利用機器學習可推算出手部21個關(guān)鍵點信息,通過判斷這21個關(guān)鍵點位姿計算出手勢,當手部被部分遮擋時,該算法仍能推算出手勢信息,具有較好的魯棒性[6-7]。手勢識別效果圖如圖4所示。
圖4 手勢識別效果圖
2.2.2 形狀與顏色識別
設(shè)計的分揀裝置視覺系統(tǒng)首先對物料形狀進行識別,再進行顏色識別,最終得出物料規(guī)格信息。在進行形狀識別時,采用Canny算子進行物料邊緣檢測[8],首先將圖像轉(zhuǎn)化為灰度圖,采用高斯濾波算法消除圖像中的干擾,利用Sobel算子計算像素點的梯度幅值和方向,采用非極大值抑制得到二值圖像,其中非邊緣點灰度為0,而可能為邊緣的點的灰度值為255,最后利用雙閾值篩選出最接近邊緣的點并得到最終邊緣圖像。在得到的邊緣圖像中進行輪廓查找,將得到的輪廓信息進行多變形擬合,通過判斷擬合后圖像的交點確定物料的形狀。
設(shè)計的視覺系統(tǒng)以圖像的HSV模型為基礎(chǔ)對物料進行顏色識別。首先將拍攝RGB模型圖像轉(zhuǎn)化為HSV模型,設(shè)K1=max(r,g,b),K2=min(r,g,b),轉(zhuǎn)換公式如下:
通過判斷每個形狀中心點的HSV值,判斷該物料顏色,設(shè)中心點的H值為color[0],S值為color[1],V值為color[2],則算法如下:
采用Visual Studio 2013軟件搭建分揀裝置人機交互界面。通過人機交互界面可設(shè)置上位機與ARM單片機的串口通訊參數(shù),并可實時顯示識別的物料規(guī)格和數(shù)量。設(shè)計的人機交互界面如圖5所示。
圖5 人機交互界面
設(shè)計的物料分揀裝置的單片機控制系統(tǒng)以STM32F103C8T6單片機為核心,通過串口協(xié)議與上位機進行通訊,并通過Ⅰ/O口實現(xiàn)對步進電機、舵機及電磁閥的控制。設(shè)計的控制系統(tǒng)電路由CPU模塊、Type_C接口模塊、穩(wěn)壓電源模塊、接口模塊、限位傳感器模塊等組成。PCB板仿真圖如圖6所示。
圖6 PCB板仿真圖
購買的主要零部件型號如表2所示。非標準件如支架、滑塊、抓取機構(gòu)連桿等,采用鄭州科技學院機械工程創(chuàng)新實驗室3D打印機進行增材制作,材料為PLA。抓取機構(gòu)面板、電路板安裝板等采用機械工程創(chuàng)新實驗室激光切割機進行制造,材料為亞克力。
表2 主要零部件型號
制作的物料分揀裝置及上位機如圖7所示。用制作的裝置進行分揀實驗,分揀物料規(guī)格及數(shù)量如表3所示。對所有物料進行20次分揀實驗,記錄每次分揀準確率和總用時。計算出平均分揀準確率為100%,平均分揀時間為78 s。
表3 物料規(guī)格及數(shù)量
圖7 物料分揀裝置及上位機
根據(jù)物料分揀要求,設(shè)計并制作了基于機器視覺的物料分揀裝置,采用CoreXY機構(gòu)和連桿-滑塊機構(gòu)實現(xiàn)抓取機構(gòu)的三自由度驅(qū)動,裝置控制系統(tǒng)由視覺系統(tǒng)、上位機、單片機控制系統(tǒng)和執(zhí)行機構(gòu)組成,可通過手勢識別進行非接觸啟動控制,實驗證明,設(shè)計的分揀裝置平均分揀準確率和分揀速度達到了預期效果。