許江淳， 岳秋燕， 任向陽， 王 晴

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650000)

基于機(jī)器視覺的藥片表面缺陷識(shí)別與分揀系統(tǒng)設(shè)計(jì)

許江淳， 岳秋燕， 任向陽， 王 晴

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650000)

針對(duì)制藥企業(yè)采用人眼識(shí)別藥片表面缺陷受光線強(qiáng)度及視覺疲勞影響，存在漏檢和低效等問題，利用機(jī)器視覺技術(shù)，進(jìn)行了藥片圖像預(yù)處理，設(shè)計(jì)了藥片缺陷檢測(cè)及分類、異色處理算法并處理；在此基礎(chǔ)上，利用反問題的最小二乘解算法確定缺陷藥片的物理位置，控制3自由度 Delta機(jī)器人實(shí)現(xiàn)缺陷藥片的分揀。經(jīng)過測(cè)試，系統(tǒng)分揀成功率高，且易于實(shí)施，達(dá)到了設(shè)計(jì)要求。

缺陷藥片； 缺陷分類； Delta機(jī)器人； 識(shí)別分揀系統(tǒng)

0 引 言

目前，很多藥廠生產(chǎn)線仍在使用人工肉眼觀察的方法識(shí)別出有缺陷的藥片。藥片在其生產(chǎn)加工過程當(dāng)中，不可避免會(huì)產(chǎn)生各種各樣的瑕癡缺陷，例如斷裂、漏印、異色及長(zhǎng)短不一等等[1]。由于工作人員的視覺疲勞以及人眼對(duì)細(xì)微部分的識(shí)別極限，往往會(huì)有漏檢而且速度較慢。如何高效檢測(cè)并能在檢測(cè)過程中保持較高的檢測(cè)合格率，這是目前各制藥企業(yè)面臨的困難。為了保障企業(yè)的生產(chǎn)效率，以機(jī)械檢測(cè)分揀方式代替人工檢測(cè)及分揀方式已迫不及待[2]?；谝陨媳尘?，本文研制一種藥片表面缺陷自動(dòng)識(shí)別和分揀系統(tǒng)，對(duì)藥片的缺陷能夠在線識(shí)別，減少識(shí)別過程中產(chǎn)生的誤差，并根據(jù)結(jié)果分揀出質(zhì)量合格的藥片，提高藥片出廠的質(zhì)量等級(jí)[3]。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)原理與工作流程

藥片缺陷識(shí)別與分揀系統(tǒng)原理框圖如圖1所示。電荷藕合器件(charge coupled device,CCD)攝像機(jī)拍攝的藥片檢測(cè)場(chǎng)景圖像送入計(jì)算機(jī)，實(shí)時(shí)圖像經(jīng)過缺陷檢測(cè)、異色檢測(cè)和缺陷藥片定位后，發(fā)出控制命令控制Delta機(jī)器人，實(shí)現(xiàn)缺陷藥片的分揀剔除。

圖1 藥片缺陷識(shí)別與分揀系統(tǒng)原理框圖

1.2 系統(tǒng)的硬件組成

硬件主要是自主設(shè)計(jì)組建的Delta機(jī)器人，計(jì)算機(jī)、 Arduino單片機(jī)、相機(jī)、鏡頭及氣泵組成。其中相機(jī)和計(jì)算機(jī)是用傳輸線連接在一起，Arduino單片機(jī)和計(jì)算機(jī)通過RS—232相連。Arduino單片機(jī)和delta機(jī)器人實(shí)物如圖2所示。

CCD攝像機(jī)，具有體積小、重量輕、耗電小、壽命長(zhǎng)、靈敏度高、動(dòng)態(tài)范圍大、抗振動(dòng)沖擊性、沒有幾何畸變及對(duì)光響應(yīng)高度線性的等特點(diǎn)[4]，在工業(yè)中得到廣泛的應(yīng)用。本系統(tǒng)選用維視公司型號(hào)為MV—VD030SM/SC的攝像機(jī)，其具體參數(shù)如表1所示。

圖2 Arduino單片機(jī)和 Delta機(jī)器人實(shí)物

表1 MV—VD030SM/SC攝像機(jī)參數(shù)表

選用Arduino單片機(jī)控制機(jī)器人運(yùn)動(dòng)。Arduino是一種便捷靈活、方便上手的開源電子原型平臺(tái)[5]，包含硬件(各種型號(hào)的Arduino板)和軟件(Arduino IDE)。

設(shè)計(jì)組裝的Delta機(jī)器人由靜止的平臺(tái)(上平臺(tái))、移動(dòng)的平臺(tái)(下平臺(tái)),3根主動(dòng)臂及3個(gè)平行四邊形從動(dòng)桿組成[6]。運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)特性由這3個(gè)運(yùn)動(dòng)桿決定[7]。動(dòng)平臺(tái)不能旋轉(zhuǎn)，但是它可以在空間的x,y,z坐標(biāo)系內(nèi)平移移動(dòng)，即3空間平移自由度。

2 藥片表面缺陷識(shí)別

藥片缺陷識(shí)別主要是基于圖像處理技術(shù)和圖像的模式識(shí)別。機(jī)器視覺系統(tǒng)中, 視覺信息的處理主要是圖像處理，它包括圖像增強(qiáng)、平滑、邊緣銳化、分割、特征抽取、圖像識(shí)別與理解等內(nèi)容[8]。經(jīng)過處理后, 輸出圖像的質(zhì)量得到相當(dāng)程度的改善,便于計(jì)算機(jī)對(duì)圖像進(jìn)行分析、處理和識(shí)別。

2.1 圖像預(yù)處理

圖像預(yù)處理通常包括圖像的旋轉(zhuǎn)定位、去除噪聲、二值化及圖像邊緣檢測(cè)幾個(gè)方面。

1)去除噪聲：采用了中值濾波的方法，去除由于燈光、環(huán)境等因素所產(chǎn)生的噪聲，中值濾波法較好地保留了圖像的邊緣, 使其輪廓比較清晰，為后面的圖像識(shí)別做好了準(zhǔn)備[9]。

2)邊緣檢測(cè)和閾值分割：采用最優(yōu)的階梯型邊緣檢測(cè)算法(Canny邊緣檢測(cè))[10]。確定瑕疵的灰度閾值，超過閾值的判斷為存在瑕疵的區(qū)域[11]。Canny邊緣檢測(cè)算法：用高斯濾波器平滑圖像；用一階偏導(dǎo)的有限差分來計(jì)算梯度的幅值和方向；對(duì)梯度幅值進(jìn)行非極大值抑制；用雙閾值算法檢測(cè)和連接邊緣。能有效地抑制噪聲并盡量精確確定邊緣的位置；根據(jù)對(duì)信噪比與定位乘積進(jìn)行測(cè)度，得到最優(yōu)化逼近算子。

2.2 缺陷的檢測(cè)算法

缺陷的圖像識(shí)別采取的算法為支持向量機(jī)(SVM)的方法[12]，該算法先獲取流水線上合格產(chǎn)品的圖像，構(gòu)造出模板，再采集待檢測(cè)產(chǎn)品的圖像，將標(biāo)準(zhǔn)模板圖像與實(shí)際采集的產(chǎn)品圖像進(jìn)行匹配和相減操作，之后把圖像劃分成子塊，提取灰度直方圖作為特征向量輸入SVM，事先訓(xùn)練SVM，由SVM進(jìn)行分類。

2.2.1 缺陷特征計(jì)提取

藥片表面缺陷的具有斷裂、漏印、異色及長(zhǎng)短不一等特點(diǎn)，并且缺陷大小是隨機(jī)的，需要特征不隨尺寸大小變化而變化，這里選擇灰度特征、形狀特征、幾何特征來建立特征數(shù)據(jù)庫(kù)，作為模式分類系統(tǒng)的輸入特征向量，提取的特征量及計(jì)算公式如表2所示。其中WMER和LMER分為MER(最小外接矩形)的短邊和長(zhǎng)邊，(x0，y0)和(x1，y1)是一條長(zhǎng)邊上的兩個(gè)點(diǎn)，A0和AMER為缺陷和MER的面積，f(i，j)是缺陷在像素點(diǎn)(i，j)的灰度值[13]。

表2 特征量計(jì)算公式

2.2.2 識(shí)別計(jì)算

采用處理算法結(jié)合多個(gè)二分類器，完成對(duì)缺陷的分類識(shí)別。x為n維特征向量，w為類別標(biāo)簽，都滿足判別函數(shù)w·x+b=0。為了最大化間隔，不發(fā)生重疊[14]，定義兩平行的超平面w·x+b=1，w·x+b=-1，當(dāng)xi滿足

wi(w·x+b)≥1

(1)

時(shí)SVM進(jìn)入訓(xùn)練模式。

優(yōu)化運(yùn)算過程，根據(jù)拉格朗日原理，得到最大化間隔的判別式

(2)

其中,超平面的距離為2/‖w‖，w為類別標(biāo)簽，即分類越少，識(shí)別的準(zhǔn)確率越高。

因?yàn)樵诰€識(shí)別藥品缺陷為非線性可分的問題[15]，運(yùn)用非線性核函數(shù)代替線性支持向量分類器的點(diǎn)積，即k(xi,xj)=Φ(xi)·Φ(xj)可得判別函數(shù)(3)如下

(3)

以200組藥片表面缺陷作為訓(xùn)練樣本，采用SVM方法訓(xùn)練樣本得到缺陷分類器，其中非線性核函數(shù)為Sig-moid函數(shù)，并對(duì)50組測(cè)試樣本進(jìn)行分類[16]。

2.2.3 檢測(cè)流程與通信

與分揀系統(tǒng)進(jìn)行通信，通過輸出控制信號(hào)來控制分揀部分進(jìn)行自動(dòng)分揀，檢測(cè)核心流程如圖3所示。

圖3 檢測(cè)核心算法流程

2.3 異色缺陷檢測(cè)識(shí)別結(jié)果展示

毛澤東作為一位出色的政治家詩(shī)人，其詩(shī)詞作品始終洋溢著樂觀的革命精神，飽含著深厚的人民情懷，蘊(yùn)藏著巨大的精神力量。在他的眾多詩(shī)詞作品中，《菩薩蠻·大柏地》一詞尤其引起筆者關(guān)注。一是因?yàn)檫@首詞在一定的程度上反映了毛澤東領(lǐng)導(dǎo)工農(nóng)紅軍開辟、創(chuàng)建和鞏固中央紅色政權(quán)的歷史過程；二是因?yàn)楣P者好奇，是什么樣的力量能讓毛澤東在逆境中始終昂揚(yáng)著樂觀豪邁的革命精神，從而抒寫出恢弘大氣的壯麗詩(shī)篇？古人云：詩(shī)言志。意謂詩(shī)詞的創(chuàng)作是詩(shī)人理想抱負(fù)、感情意志的自然流露，最能反映詩(shī)人的內(nèi)心世界。下面，筆者試著聯(lián)系這首詞背后的歷史細(xì)節(jié)來探究毛澤東的革命情懷。

1)預(yù)處理結(jié)果

對(duì)異色藥片進(jìn)行模板匹配和特征提取之前，為了減少干擾進(jìn)行的預(yù)處理的結(jié)果如圖4和圖5所示。

圖4 異色缺陷預(yù)處理圖

圖5 HSV顏色空間直方圖

2)異色檢測(cè)結(jié)果

圖6分別展示的是在異色缺陷檢測(cè)中根據(jù)圖像處理結(jié)果中灰度值的不同檢驗(yàn)出的不同顏色的藥片。

圖6 異色識(shí)別

3 工業(yè)機(jī)器人的分揀

3.1 優(yōu)化的反問題的最小二乘解

坐標(biāo)轉(zhuǎn)換是世界坐標(biāo)轉(zhuǎn)換成像素坐標(biāo)。已知特征點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)，由矩陣反問題的最小二乘逼近解的方法得到投影矩陣H[17]。投影矩陣H的精確度跟藥片數(shù)量正相關(guān)。H的解與相機(jī)參數(shù)無關(guān)，系統(tǒng)搭建靈活[18]。

證明存在與世界坐標(biāo)對(duì)應(yīng)的像素坐標(biāo)。E為單位矩陣，EH為單位矩陣的共軛轉(zhuǎn)置，G為行滿秩矩陣，Cn×n為復(fù)數(shù)矩陣空間。設(shè)E∈Cn×n，?G∈HCn×n，根據(jù)不等式

(4)

(5)

(6)

可得惟一的最優(yōu)解

表3為求單應(yīng)性矩陣時(shí)使用的數(shù)據(jù)，世界坐標(biāo)和圖像的像素坐標(biāo)的對(duì)應(yīng)，求出單應(yīng)性矩陣。

表3 坐標(biāo)對(duì)應(yīng)關(guān)系

求出的單應(yīng)性矩陣H為

(7)

由于此次的設(shè)計(jì)原因，相機(jī)不能夠垂直于物體平面，所以,在求出的單應(yīng)性矩陣有一定的誤差，但是也能滿足藥品分揀的要求。表4為仿真結(jié)果。

表4 測(cè)試結(jié)果 mm

由表4可以看出結(jié)果誤差小于等于1 mm，當(dāng)選取的點(diǎn)達(dá)到一定數(shù)量時(shí)，得到的結(jié)果誤差最小，可以很好地實(shí)現(xiàn)藥品的分揀工作。

3.2 機(jī)器人控制程序軟件實(shí)現(xiàn)

機(jī)器人控制程序軟件流程如圖7所示，其工作流程可描述為: 首先相機(jī)對(duì)傳送帶上的藥片進(jìn)行圖像采集，然后進(jìn)行缺陷識(shí)別定位，確定圖像坐標(biāo)進(jìn)行轉(zhuǎn)換，機(jī)器人通過Arduino單片機(jī)控制進(jìn)行分揀動(dòng)作。

圖7 機(jī)器人控制程序軟件流程圖

4 系統(tǒng)運(yùn)行測(cè)試

在機(jī)器人前方的傳送帶上隨意放置藥片，分揀作業(yè)要求將缺陷藥片放置在玻璃容器中，啟動(dòng)機(jī)器人分揀系統(tǒng)后，機(jī)器人末端執(zhí)行器立刻運(yùn)動(dòng)到X方向像素坐標(biāo)最小的缺陷上方3 mm處→真空吸盤吸附缺陷藥片→機(jī)器人末端執(zhí)行器運(yùn)動(dòng)到玻璃容器上方2 cm處→電磁真空吸盤缺陷藥片放入到玻璃容器中→機(jī)器人末端執(zhí)行器運(yùn)行到下一顆缺陷藥片上方3 mm處，并重復(fù)上述過程。機(jī)器人重復(fù)上述過程缺陷藥片全部放入另一個(gè)玻璃容器中。實(shí)驗(yàn)結(jié)果表明，該分揀系統(tǒng)識(shí)別并分揀的正確率達(dá)到約100 %，所使用的方法簡(jiǎn)單有效，實(shí)驗(yàn)效果如圖8所示。

圖8 實(shí)驗(yàn)效果

5 結(jié)束語

以制藥企業(yè)的缺陷藥片識(shí)別分揀為研究對(duì)象，設(shè)計(jì)了缺陷藥片識(shí)別分揀系統(tǒng)的軟硬件平臺(tái)，進(jìn)行了基于缺陷藥片檢測(cè)分類算法及識(shí)別的方法研究。在此基礎(chǔ)上，運(yùn)用反問題的最小二乘法確定了缺陷藥片的物理位置。系統(tǒng)能在檢測(cè)過程中保持較高的檢測(cè)合格率以及較低的錯(cuò)誤分揀率，該系統(tǒng)方案能為制藥企業(yè)的缺陷藥片自動(dòng)識(shí)別和分揀提供解決思路。由于機(jī)器人的高效作業(yè)替代了繁重的體力勞動(dòng)，提高了自動(dòng)化水平和作業(yè)質(zhì)量[19]，機(jī)器人自動(dòng)分揀將會(huì)越來越廣泛地應(yīng)用于生產(chǎn)領(lǐng)域。

[1] 志 江,孫立寧,富歷新.醫(yī)療機(jī)器人發(fā)展概況綜述[J].機(jī)器人,2013,25(2):182-187.

[2] RaoA C.Topological characteristics of linkage mechanisms[J].Mech Mach Thewy,1995,30(1):33-42.

[3] 李樹軍,杜立群,張國(guó)忠.運(yùn)動(dòng)鏈和機(jī)構(gòu)的拓?fù)涮匦约捌湫阅茉u(píng)價(jià)[J].東北大學(xué)學(xué)報(bào):自然科學(xué)版,1997,18(6):671-675.

[4] 杜高峰,劉辛軍.五自由度五軸并聯(lián)虛擬軸機(jī)床:中國(guó),ZL00100193_0.[P]2000—07—05.

[5] 呂傳毅,朱 均,曹惟慶.齒輪連桿機(jī)構(gòu)結(jié)構(gòu)拓?fù)涮卣骱妥詣?dòng)生成方法探討[J].西安交通大學(xué)學(xué)報(bào),1997,31(10):78-82.

[6] Rosheim M E.Robotic manipulator:US,6,105,455[P].2000—08—22.

[7] Merlet J P.Jacobian,manipulability,condition number, and accuracy of parallel robots[J].Journal of Mechanical Design,2006,128(1):199-206.

[8] Tsai L W,Walsh G C,Stamper R E.Kinematics of a novel three DOF translational platform[C]∥Proceedings of 1996 IEEE International Conference on Robotics and Automation,IEEE,1996:3446-3451.

[9] 張利敏,梅江平,趙學(xué)滿.Delta機(jī)械手動(dòng)力尺度綜合[J].機(jī)械工程學(xué)報(bào)，2010,46(3):1-6.

[10] Qiu H,Lin C J,Li Z Y,et al.An universal optimal approach to cam curve design and its applications[J].Mechanism and Machine Theory,2005,40(6):669-692.

[11] Nabat V,Company O,Krut S,et al.Very high speed parallel robot for pick-and-place[C]∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems,NewYork:IEEE,2009:202-207.

[12] Huang T,Mei J,Li Z,et al.A method for estimating servomotor parameters of a parallel robot for rapid pick-and-place operation-s[J].Journal of Mechanical Design,2015,127(4):596-601.

[13] 張利敏,梅江平,趙學(xué)滿,等.Delta機(jī)械手動(dòng)力尺度綜合[J].機(jī)械工程學(xué)報(bào),2010(3):1-7.

[14] 張利敏.基于動(dòng)力學(xué)指標(biāo)的Delta高速并聯(lián)機(jī)械手集成優(yōu)化設(shè)計(jì)方法研究[D].天津:天津大學(xué),2011.

[15] Pierrot F.Company O.H4:A new family of 4-DOF parallel robot-s[C]∥1999.Proceedings of 1999 IEEE/ASME International Conference on Advanced Intelligent Mechatronics,IEEE,1999:508-513.

[16] 阮曉鋼,李亞磊,朱曉慶.兩輪機(jī)器人在坡面上的運(yùn)動(dòng)平衡控制[J].傳感器與微系統(tǒng),2014,33(3):44-47.

[17] 張廣軍.視覺測(cè)量[M].北京:科學(xué)出版社,2008:33.

[18] Li Ge.Cache architecture for high-speed multidimensional packet processing[C]∥The 6th International Conference on Internet Computing for Science and Engineering,2012:60-65.

[19] 陳 庚,李 擎,時(shí)佳斌,等.未知環(huán)境中機(jī)器人可行區(qū)域的認(rèn)知研究[J].傳感器與微系統(tǒng),2015,34(1):66-68，72.

Design of tablet form merohedral stuffing identification and sorting system based on machine vision

XU Jiang-chun, YUE Qiu-yan，REN Xiang-yang,WANG Qing

(College of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650000,China)

Aiming at problem that pharmaceutical companies use human eye to identify tablet surface defects which cause visual fatigue affected by light intensity,undetected and inefficient problems exist,use machine vision technology for tablet image pre-processing,tablet defect detection and classification of different color processing algorithms and processing;on this basis,the least squares solution of inverse problems for the use of algorithms to determine the physical location of the defect tablets,3 DOF Delta robot control pills sort of defect.By testing,the system has high sorting success rate,and easy to implement,and meet design requirements.

defect pills; defect classification; Delta robots; identifying sorting system

2016—06—02

10.13873/J.1000—9787(2017)06—0090—04

TP 311

A

1000—9787(2017)06—0090—04

許江淳(1962-)，男，副教授，碩士生導(dǎo)師，從事嵌入式系統(tǒng)技術(shù)及應(yīng)用，SOC及FPGA系統(tǒng)技術(shù)應(yīng)用等研究工作。