鄒騰躍，唐小琦，宋 寶，陳吉紅

(華中科技大學(xué) 國(guó)家數(shù)控系統(tǒng)工程技術(shù)研究中心，武漢 430074)

0 引言

根據(jù)中國(guó)的人口普查結(jié)果，從2000 年到2010 年間，中國(guó)10 到14 歲以下的人口數(shù)量減少了約5%。照此速度，到2015 年左右，制造業(yè)就將迎來(lái)一輪缺工的高潮。為此富士康等大型制造型企業(yè)紛紛開(kāi)展了自己的機(jī)器人計(jì)劃，擬用高性能、高效率的工業(yè)機(jī)器人替代工人完成部分工作以彌補(bǔ)用工荒。但我們國(guó)家的機(jī)器人技術(shù)起步時(shí)間晚，起點(diǎn)低，以至進(jìn)口工業(yè)機(jī)器人大量充斥市場(chǎng)，特別是瑞士的ABB 和日本的FANUC 更是占有了國(guó)內(nèi)大部分市場(chǎng)份額。因此研發(fā)我國(guó)具有自主知識(shí)產(chǎn)權(quán)的高性能機(jī)器人控制系統(tǒng)及應(yīng)用系統(tǒng)迫在眉睫。

分揀作業(yè)是流水生產(chǎn)線上的一道重要的工序，其目的是將不同類(lèi)型的物料或工件分類(lèi)擺放到相應(yīng)的位置，其步驟主要分為定位、識(shí)別、抓取和放置四個(gè)階段。因工人操作存在疲勞度的問(wèn)題，使用基于機(jī)器視覺(jué)的工業(yè)機(jī)器人進(jìn)行分揀，不但高效準(zhǔn)確而且穩(wěn)定持久，具有很大的優(yōu)勢(shì)。隨著人工智能的發(fā)展，機(jī)器人也能夠?qū)崟r(shí)適應(yīng)分揀環(huán)境，隨時(shí)變更作業(yè)對(duì)象和分揀工序。國(guó)外機(jī)器人公司已有相關(guān)的視覺(jué)系統(tǒng)，如ABB 的True View 系統(tǒng)，F(xiàn)ANUC 的M-liA 高速揀選系統(tǒng)，Sehuster-prazision 的鉆頭分揀系統(tǒng)等［1］;而國(guó)內(nèi)尚無(wú)成熟的商業(yè)分揀系統(tǒng)［2］?，F(xiàn)有的系統(tǒng)部分僅使用顏色進(jìn)行分類(lèi)，部分將重點(diǎn)放在小目標(biāo)的定位上，對(duì)于形狀的分類(lèi)往往只簡(jiǎn)單采用幾何模板匹配的方式進(jìn)行識(shí)別，不能很好地適應(yīng)實(shí)際情況。因?yàn)轭伾膮^(qū)分較易實(shí)現(xiàn)，而三維工件擺放角度不同和攝像機(jī)視場(chǎng)差異帶來(lái)的形狀識(shí)別誤差往往是引發(fā)分揀錯(cuò)誤的主要原因。本文旨在運(yùn)用形狀內(nèi)容分析方法對(duì)物料形狀的分類(lèi)識(shí)別進(jìn)行強(qiáng)化，依靠數(shù)控中心自主研發(fā)的工業(yè)機(jī)器人控制系統(tǒng)，實(shí)現(xiàn)對(duì)不同形狀物料的準(zhǔn)確、穩(wěn)定、快速分揀。

1 視覺(jué)系統(tǒng)建立及圖像預(yù)處理

對(duì)于機(jī)器人視覺(jué)系統(tǒng)，首要問(wèn)題是取得場(chǎng)景的視頻圖像，以便下一步進(jìn)行分析或識(shí)別。本系統(tǒng)采用大恒 圖 像 1/1.8”的 USB-CMOS 面 陣 相 機(jī) DHHV1351UC-ML，采集1280×1024 的數(shù)字圖像，幀率15 fps，通過(guò)USB 口直接接入筆記本或平板電腦。實(shí)際攝像機(jī)因其使用的鏡頭成像并非理想的透視成像，通常都帶有不同程度的畸變。而相機(jī)內(nèi)參數(shù)也會(huì)在攝像機(jī)坐標(biāo)系與圖像點(diǎn)像素坐標(biāo)對(duì)應(yīng)時(shí)帶來(lái)誤差。

系統(tǒng)可通過(guò)攝像機(jī)標(biāo)定對(duì)相機(jī)內(nèi)參數(shù)和透鏡畸變參數(shù)進(jìn)行矯正。標(biāo)定過(guò)程可以使用如圖1 所示的棋盤(pán)和自標(biāo)定算法［3］進(jìn)行。矯正后攝像機(jī)采集的二維圖像可正確反映物體在三維空間中的位置和形狀。

采集的視場(chǎng)圖像在進(jìn)行位置判斷和形狀分析之前還需要進(jìn)行相應(yīng)的預(yù)處理，從而拋棄噪聲將有效的前景目標(biāo)從背景中分割出來(lái)。預(yù)處理包括圖像閾值化、中值濾波、去除噪點(diǎn)、輪廓查找等，處理的效果如圖2 所示。預(yù)處理得到的輪廓將進(jìn)行分形識(shí)別和定位操作。

圖1 視頻采集系統(tǒng)參數(shù)矯正

圖2 圖像預(yù)處理效果示例

2 形狀內(nèi)容分析及匹配

形狀內(nèi)容分析［4-5］是一種利用目標(biāo)對(duì)象內(nèi)外輪廓特征點(diǎn)間相對(duì)位置信息來(lái)描述形狀的方法。因采用相對(duì)位置信息來(lái)進(jìn)行描述，所以物體的旋轉(zhuǎn)、縮放和攝像機(jī)引起的輪廓畸變對(duì)其影響不大，其在形狀的分形識(shí)別方面具有較強(qiáng)的魯棒性。

2.1 形狀內(nèi)容獲取與描述

形狀內(nèi)容獲取的第一步是用一個(gè)離散特征點(diǎn)集來(lái)表示物體的形狀輪廓。它需要使用一個(gè)邊緣特征探測(cè)器來(lái)尋找出物體內(nèi)外輪廓的特征點(diǎn)，并用密集的離散點(diǎn)集來(lái)表示連續(xù)的輪廓邊線，這一過(guò)程稱(chēng)為特征的離散化。圖3 所示為特征點(diǎn)提取與描述的一個(gè)例子，(d)(e)(f)分別為工件輪廓(a)(b)(c)的特征點(diǎn)描述，每個(gè)輪廓提取100 個(gè)特征點(diǎn)，圖中還按每個(gè)特征點(diǎn)梯度方向的不同標(biāo)示了相應(yīng)的箭頭。

提取了特征點(diǎn)以后就可以根據(jù)特征點(diǎn)的相對(duì)位置進(jìn)行形狀內(nèi)容的描述。相對(duì)位置的表示是通過(guò)log 極坐標(biāo)直方圖來(lái)實(shí)現(xiàn)的。這種坐標(biāo)系使臨近參考點(diǎn)的特征點(diǎn)的影響要大于遠(yuǎn)處特征點(diǎn)的影響，從而令參考特征點(diǎn)對(duì)個(gè)體周?chē)男螤钭兓鼮槊舾?。log 極坐標(biāo)直方圖可描述尺度log r 和旋轉(zhuǎn)角度θ 兩個(gè)方面的內(nèi)容，本系統(tǒng)使用5 個(gè)log r 區(qū)間和12 個(gè)θ 區(qū)間的直方圖。

圖3 特征點(diǎn)提取與描述示例

圖4 形狀內(nèi)容獲取與描述示例

如圖4a 所示，使某一特征點(diǎn)位于坐標(biāo)系中心作為參考點(diǎn)，通過(guò)計(jì)數(shù)落在每個(gè)坐標(biāo)系區(qū)間中其他特征點(diǎn)的數(shù)量可得相應(yīng)的直方圖區(qū)間值。圖中示例分別對(duì)擁有4 個(gè)和9 個(gè)其他特征點(diǎn)的區(qū)間進(jìn)行了標(biāo)注示例。令pi為形狀上任意特征點(diǎn)，hi表示其相對(duì)于其他n－1 個(gè)特征點(diǎn)的直方圖值，則hi可由式(1)得到，hi(k)的集合即為特征點(diǎn)pi的形狀內(nèi)容值。

圖4d，e，f 分別對(duì)圖4b，c 中用□，◇，△標(biāo)記的三個(gè)特征點(diǎn)的形狀內(nèi)容值進(jìn)行了可視化描述。從圖中可以看出，用□，◇標(biāo)記的兩個(gè)特征點(diǎn)在不同輪廓上具有位置相關(guān)性，因此在形狀內(nèi)容值的表示上也有相似性，即其匹配誤差較小。相比之下，用△標(biāo)記的特征點(diǎn)在形狀內(nèi)容描述上則大為不同，對(duì)應(yīng)其在輪廓上的位置與前兩點(diǎn)比也相距較遠(yuǎn)。

2.2 形狀內(nèi)容匹配與物料分類(lèi)

獲得了目標(biāo)物料的形狀內(nèi)容信息之后就要對(duì)它進(jìn)行分類(lèi)了。分類(lèi)是通過(guò)與樣品模板進(jìn)行形狀匹配來(lái)完成的，確切地說(shuō)是通過(guò)輪廓特征點(diǎn)的匹配來(lái)完成的。而輪廓特征點(diǎn)的匹配是通過(guò)其形狀內(nèi)容信息的匹配來(lái)完成的，即找相似程度最高的特征點(diǎn)。若pi為第一個(gè)形狀輪廓上的特征點(diǎn)，qj為第二個(gè)形狀輪廓上的特征點(diǎn)，令Cij= C(pi，qj)表示兩點(diǎn)匹配的代價(jià)，則Cij的值可由式(2)得到。

其中hi(k)和hj(k)分別表示以pi和qj點(diǎn)為參考的k區(qū)間的標(biāo)準(zhǔn)直方圖值。為每對(duì)可能的特征點(diǎn)匹配關(guān)系計(jì)算Cij則可以得到一個(gè)匹配代價(jià)Cij的集合。使該集合中所有元素的和最小化，則可以找到一種最佳的特征點(diǎn)配對(duì)關(guān)系。這種方式可使輪廓克服旋轉(zhuǎn)、縮放和鏡頭畸變等因素，最大程度地重合在一起。圖5a，b 展示了圖3a 和圖3b 中兩個(gè)輪廓的特征點(diǎn)匹配效果，而圖5c，d 展示了圖3a 和圖3c 中兩個(gè)輪廓的特征點(diǎn)匹配效果?？梢钥闯觯螤钗锪显谔卣鼽c(diǎn)匹配后，便可以基本重合在一起。得到特征點(diǎn)的最佳配對(duì)后，在已知各分類(lèi)樣品形狀的情況下，可以使用最近鄰方法［6-7］或計(jì)算所有特征點(diǎn)形狀內(nèi)容的最小誤差和來(lái)進(jìn)行物料分類(lèi)。

圖5 特征點(diǎn)對(duì)應(yīng)與形狀匹配示例

3 物料定位與抓取

在進(jìn)行了物料的分形識(shí)別以后，就需要把相應(yīng)的物料抓取并放置到預(yù)設(shè)的位置。如圖6 所示，相應(yīng)的定位與抓取工作涉及到多次坐標(biāo)變換的過(guò)程。首先，物體需要通過(guò)數(shù)字?jǐn)z像機(jī)成像將其世界坐標(biāo)轉(zhuǎn)化為圖像中的像素坐標(biāo)。攝像機(jī)外參數(shù)定義了攝像機(jī)坐標(biāo)系相對(duì)于已知世界坐標(biāo)系的位置平移和姿態(tài)旋轉(zhuǎn)的關(guān)系。而內(nèi)參數(shù)用于進(jìn)一步將圖像點(diǎn)的攝像機(jī)坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)。在此過(guò)程中，攝像機(jī)的內(nèi)參數(shù)會(huì)帶來(lái)誤差，需要通過(guò)標(biāo)定進(jìn)行矯正。接著通過(guò)圖像中每一像素與空間中距離的對(duì)應(yīng)關(guān)系進(jìn)行坐標(biāo)變換，得到在三維空間中抓取物體的機(jī)器人位姿坐標(biāo)。

圖6 機(jī)器人物料拾取坐標(biāo)變換過(guò)程

定位抓取使用MOTOMAN-SK6 機(jī)器人實(shí)現(xiàn)，對(duì)其機(jī)器人位姿坐標(biāo)采用反變換法進(jìn)行運(yùn)動(dòng)學(xué)反解［8］?？傻肧K6 型機(jī)器人的關(guān)節(jié)角度變量θ1～θ6，再通過(guò)關(guān)節(jié)角和電機(jī)驅(qū)動(dòng)角的關(guān)系轉(zhuǎn)化為電機(jī)驅(qū)動(dòng)變量，最后由數(shù)控系統(tǒng)控制電機(jī)進(jìn)行轉(zhuǎn)動(dòng)，精確抓取目標(biāo)，實(shí)驗(yàn)過(guò)程示例如圖7 所示。

圖7 視覺(jué)引導(dǎo)下機(jī)器人的物料拾取

4 控制系統(tǒng)軟硬件結(jié)構(gòu)

工業(yè)機(jī)器人分揀控制系統(tǒng)分為硬件和軟件兩個(gè)部分。如圖8 所示，硬件系統(tǒng)的核心是數(shù)控中心擁有自主知識(shí)產(chǎn)權(quán)的華中數(shù)控HNC-08 型數(shù)控系統(tǒng)。HNC-08 系統(tǒng)8 軸聯(lián)動(dòng)的控制功能，加上豐富的I/O接口，可以滿(mǎn)足最復(fù)雜的工業(yè)機(jī)器人控制要求。其最小分辨率為0.001μm，最小插補(bǔ)周期為0.125ms，充分保證了分揀機(jī)器人速度的穩(wěn)定性和運(yùn)動(dòng)的精度性。數(shù)控系統(tǒng)到伺服驅(qū)動(dòng)單元以及I/O 單元采用基于實(shí)時(shí)工業(yè)以太網(wǎng)的NCUC-BUS 現(xiàn)場(chǎng)總線［9-10］進(jìn)行連接。其高速通信滿(mǎn)足了機(jī)器人系統(tǒng)的實(shí)時(shí)性與可靠性要求。攝像機(jī)通過(guò)USB 接口與筆記本或平板電腦相連接，圖像經(jīng)識(shí)別軟件處理后，將分析結(jié)果通過(guò)以太網(wǎng)傳入數(shù)控系統(tǒng)，從而操控機(jī)器人進(jìn)行物料分揀。

圖8 控制系統(tǒng)硬件結(jié)構(gòu)

圖9 所示為機(jī)器人控制系統(tǒng)的軟件結(jié)構(gòu)。由攝像機(jī)采集的視頻圖像通過(guò)攝像接口模塊進(jìn)入圖像識(shí)別終端，該終端通常為筆記本或平板電腦。物料圖像經(jīng)圖像分析模塊定位分類(lèi)后將結(jié)果通過(guò)通信管理模塊發(fā)往數(shù)控系統(tǒng)。數(shù)控系統(tǒng)上運(yùn)行的核心應(yīng)用模塊對(duì)圖像分析結(jié)果進(jìn)行處理后調(diào)用機(jī)器人軟件操作接口產(chǎn)生相應(yīng)的機(jī)器人操作指令，并通過(guò)NCUC 總線驅(qū)動(dòng)模塊或脈沖口驅(qū)動(dòng)模塊輸出到伺服驅(qū)動(dòng)單元控制機(jī)器人運(yùn)動(dòng)到相應(yīng)位置實(shí)現(xiàn)分揀。

圖9 控制系統(tǒng)軟件結(jié)構(gòu)

5 試驗(yàn)驗(yàn)證

圖10 所示為運(yùn)行于圖像識(shí)別終端上的圖像分析軟件對(duì)一例L 型工件定位識(shí)別的效果?？煽闯霰鞠到y(tǒng)識(shí)別軟件可以對(duì)目標(biāo)工件進(jìn)行有效分割和輪廓搜索，并通過(guò)形狀內(nèi)容分析和坐標(biāo)變換得到其物料分類(lèi)和在機(jī)器人三維空間中的坐標(biāo)。

將設(shè)計(jì)的工業(yè)機(jī)器人分揀系統(tǒng)應(yīng)用于木塊、鋁制工件、塑料插件等多種復(fù)雜形狀、不同材質(zhì)的物料分揀中，正確識(shí)別率達(dá)到98.73%，定位精度誤差小于2mm，分揀一件物料平均用時(shí)3.8s。實(shí)驗(yàn)表明，該控制系統(tǒng)能夠準(zhǔn)確、穩(wěn)定、高速地完成各種材質(zhì)物料的分揀工作，支持不規(guī)則形狀物體的匹配識(shí)別以及近似物體的區(qū)分。

圖10 圖像分析軟件定位識(shí)別效果

6 結(jié)束語(yǔ)

隨著自動(dòng)化技術(shù)的不斷發(fā)展，工業(yè)機(jī)器人終將取代人類(lèi)完成各類(lèi)生產(chǎn)制造工作。而視覺(jué)引導(dǎo)是機(jī)器人感知外部世界的一個(gè)重要組成部分，可為人工智能技術(shù)提供最直接的處理素材。本文設(shè)計(jì)實(shí)施的工業(yè)機(jī)器人物料分揀系統(tǒng)除了能穩(wěn)定、高效地實(shí)現(xiàn)復(fù)雜工件原料的分揀外，還能為進(jìn)一步實(shí)現(xiàn)更為復(fù)雜的機(jī)器人視覺(jué)控制系統(tǒng)提供借鑒。其構(gòu)建于Linux 操作系統(tǒng)之上的控制軟件系統(tǒng)，具有良好的開(kāi)放性，為進(jìn)一步實(shí)現(xiàn)系統(tǒng)擴(kuò)展和功能升級(jí)奠定了堅(jiān)實(shí)的基礎(chǔ)。

［1］唐健. 基于機(jī)器視覺(jué)的機(jī)器人分揀技術(shù)研究［D］. 南京林業(yè)大學(xué)，2001.

［2］焦恩璋，杜榮. 工業(yè)機(jī)器人分揀技術(shù)的實(shí)現(xiàn)［J］. 組合機(jī)床與自動(dòng)化加工技術(shù)，2010(2):84－87.

［3］Z.Zhang."Flexible Camera Calibration By Viewing a Plane From Unknown Orientations，"ICCV1999，Kerkyra，Greek，20－27 Sep 1999:666－673.

［4］S. Belongie，J. Malik，J. Puzicha."Matching Shapes，" ICCV2001，Vancouver，Canada，07－14 Jul 2001:454－461.

［5］S. Belongie，J.Malik，J.Puzicha."Shape matching and object recognition using shape contexts，"IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(4):509－522.

［6］ E. Rosch. " Natural Categories，" Cognitive Psychology，1973，4(3):328－350.

［7］E.Rosch，C. B. Mervis，W. D. Gray，D. M. Johnson，and P. Boyes-Braem. " Basic Objects in Natural Categories，"Cognitive Psychology，1976，8(3):382－439.

［8］熊有倫，唐立新，丁漢，等. 機(jī)器人技術(shù)基礎(chǔ)［M］. 武漢:華中理工大學(xué)出版社，1996.

［9］王翰，宋寶，唐小琦，等. 基于NCUC_Bus 現(xiàn)場(chǎng)總線的數(shù)據(jù)硬件復(fù)制設(shè)計(jì)實(shí)現(xiàn)［J］. 組合機(jī)床與自動(dòng)化加工技術(shù)，2012(7):23－26.

［10］劉慧雙，宋寶，周向東，等. 嵌入式數(shù)控系統(tǒng)NCUC_Bus現(xiàn)場(chǎng)總線設(shè)備驅(qū)動(dòng)研究與開(kāi)發(fā)［J］. 組合機(jī)床與自動(dòng)化加工技術(shù)，2012(8):62－69.