廖 飄 宋京偉

（華東交通大學(xué)機(jī)電與車(chē)輛工程學(xué)院，江西南昌330013）

0 引言

機(jī)器視覺(jué)技術(shù)在現(xiàn)代工業(yè)自動(dòng)化生產(chǎn)中被廣泛應(yīng)用于各種事物的檢查、測(cè)量和識(shí)別。比如，李萌等人[1]針對(duì)目前鋁塑泡罩藥品包裝檢測(cè)系統(tǒng)存在漏檢、誤檢等問(wèn)題，提出了利用機(jī)器視覺(jué)技術(shù)對(duì)鋁塑泡罩藥品包裝是否達(dá)標(biāo)進(jìn)行檢測(cè)；陳慧麗等人[2]采用機(jī)器視覺(jué)技術(shù)代替人眼，對(duì)方便面包裝內(nèi)是否有調(diào)料進(jìn)行檢測(cè)；張樹(shù)君等人[3]針對(duì)產(chǎn)品標(biāo)簽是否存在誤貼、漏貼、貼歪等問(wèn)題，研發(fā)了一款以機(jī)器視覺(jué)技術(shù)為基礎(chǔ)的產(chǎn)品標(biāo)簽檢測(cè)設(shè)備；在藥品裝盒或者裝罐生產(chǎn)中，由于藥片尺寸較小，嚴(yán)重影響人員的計(jì)數(shù)準(zhǔn)確性，為此，賈雄[4]利用圖像處理技術(shù)來(lái)解決藥片計(jì)數(shù)難的問(wèn)題；黃丹平等人[5]研發(fā)了一套基于機(jī)器視覺(jué)技術(shù)的瓦楞紙板自動(dòng)計(jì)數(shù)設(shè)備，從而解決了瓦楞紙板數(shù)量難以統(tǒng)計(jì)的問(wèn)題；夏天煜等人[6]利用智能相機(jī)及配套的視頻軟件In-Sight4.1.0，解決了在線(xiàn)生產(chǎn)的食鹽包裝袋容易折疊的問(wèn)題。

顆粒物包裝袋在流水線(xiàn)生產(chǎn)中，容易出現(xiàn)折疊、歪斜等問(wèn)題，嚴(yán)重影響包裝袋的計(jì)數(shù)以及包裝袋的后續(xù)裝箱。然而，目前相關(guān)研究大多側(cè)重于盒裝、罐裝等包裝的識(shí)別與裝箱。因此，本文在上述研究背景下，針對(duì)顆粒物包裝袋的識(shí)別與擺正問(wèn)題，將機(jī)器視覺(jué)技術(shù)與機(jī)械臂運(yùn)動(dòng)原理相結(jié)合，先智能識(shí)別包裝袋的位姿信息，再利用機(jī)械臂進(jìn)行擺正操作，最后對(duì)實(shí)驗(yàn)樣機(jī)進(jìn)行研制，對(duì)顆粒物包裝袋進(jìn)行擺正實(shí)驗(yàn)。

1 顆粒物包裝袋的識(shí)別與擺正系統(tǒng)

顆粒物包裝袋的識(shí)別與擺正系統(tǒng)由電源模塊、光電檢測(cè)模塊、傳送帶裝置、上位機(jī)識(shí)別模塊、下位機(jī)控制器、機(jī)械臂擺正模塊等組成。其中，電源模塊由電源器（24 V、5 A）、降壓模塊、穩(wěn)壓模塊組成，為系統(tǒng)各個(gè)模塊提供合適、穩(wěn)定的電源。模擬的包裝袋流水線(xiàn)傳送帶裝置由皮帶、軸承、軸、滾筒、電機(jī)、電機(jī)驅(qū)動(dòng)器等構(gòu)成。上位機(jī)識(shí)別模塊由CCD圖像傳感器和上位機(jī)組成，而機(jī)械臂擺正模塊主要由電機(jī)、真空管、驅(qū)動(dòng)器、機(jī)械臂機(jī)械結(jié)構(gòu)等組成。其系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

該系統(tǒng)通過(guò)光電檢測(cè)模塊檢測(cè)包裝袋到達(dá)的指定位置信息，并利用該信息來(lái)控制上位機(jī)識(shí)別模塊對(duì)包裝袋圖像進(jìn)行識(shí)別，而上位機(jī)將識(shí)別的結(jié)果經(jīng)串口傳送給下位機(jī)控制系統(tǒng)。下位機(jī)讀取識(shí)別結(jié)果，并將其轉(zhuǎn)換為機(jī)械臂、傳送帶控制指令，以此實(shí)現(xiàn)顆粒物包裝袋的擺正操作。

2 包裝袋空間位置變換

顆粒物包裝袋經(jīng)過(guò)兩個(gè)光電傳感器下方時(shí)，下位機(jī)將控制機(jī)械臂抓取顆粒物包裝袋。機(jī)械臂對(duì)包裝袋進(jìn)行擺正的過(guò)程中，由于傳送帶仍以原定速度進(jìn)行傳輸操作，則機(jī)械臂通過(guò)旋轉(zhuǎn)操作將顆粒物包裝袋放至傳送帶原位置處。

由于顆粒物包裝袋以任意位置進(jìn)入到傳送帶，因此需對(duì)包裝袋空間位置進(jìn)行變換。該系統(tǒng)將其空間位置轉(zhuǎn)換為坐標(biāo)系空間，其處理思路為將原坐標(biāo)系平移至包裝袋所處位置，包裝袋在平移后的坐標(biāo)系下進(jìn)行旋轉(zhuǎn)，再將坐標(biāo)系平移回原始坐標(biāo)系，即將顆粒物包裝袋從標(biāo)準(zhǔn)位置變換到初始位置，再變換到標(biāo)準(zhǔn)位置。包裝袋平移、旋轉(zhuǎn)如圖2所示。

圖2 包裝袋平移、旋轉(zhuǎn)

該系統(tǒng)當(dāng)顆粒物包裝袋處于攝像頭正下方且無(wú)偏斜角度時(shí)建立坐標(biāo)系X3OY3，當(dāng)顆粒物包裝袋偏移，以任意位置進(jìn)入攝像頭正下方時(shí)，以該包裝袋的中心建立坐標(biāo)X4O′Y4。為了表示顆粒物包裝袋空間位置的變換關(guān)系，該系統(tǒng)取顆粒物包裝袋P點(diǎn)進(jìn)行表示。設(shè)P點(diǎn)在原坐標(biāo)（X3OY3）中的坐標(biāo)為（x，y），而顆粒物包裝袋處于任意位置時(shí)，則原P點(diǎn)平移至P′，則P′在坐標(biāo)系X4O′Y4中的坐標(biāo)為（x1，y1）。設(shè)P平移至P′點(diǎn)的距離可用兩坐標(biāo)系原點(diǎn)平移進(jìn)行表示，則O′相對(duì)O點(diǎn)的X軸偏移量為a，Y軸的偏移量為b，則：

以矩陣的形式表示：

因此，空間P點(diǎn)旋轉(zhuǎn)到P′，可以將其分成3個(gè)步驟來(lái)完成：

（1）將坐標(biāo)系X3OY3變成X4O′Y4；

（2）將點(diǎn)P順時(shí)針旋轉(zhuǎn)θ角（類(lèi)似于顆粒物包裝袋旋轉(zhuǎn)）；

（3）將坐標(biāo)系X4O′Y4平移回原坐標(biāo)系X3OY3，該變換過(guò)程用如下變換矩陣表示。

式（3）變換后的結(jié)果為：

3 包裝袋圖像采集及算法處理

3.1 包裝袋圖像采集

常用的圖像傳感器有COMS攝像頭和CCD攝像頭。其中，COMS攝像頭成像質(zhì)量較差、分辨率低，易受外界環(huán)境干擾；而CCD攝像頭能夠保持信號(hào)在傳輸過(guò)程中不失真，不容易出現(xiàn)壞點(diǎn)現(xiàn)象。因此，該系統(tǒng)選用CCD圖像傳感器。上位機(jī)發(fā)送指令，操作CCD圖像傳感器拍攝包裝袋照片，再讀取CCD圖像傳感器所拍攝的圖片信息，之后保存顆粒物包裝袋圖片，最后發(fā)送關(guān)閉攝像頭的指令。

3.2 圖像處理與信息提取

圖像采集獲得了顆粒物包裝袋的全彩圖片，將其轉(zhuǎn)換為雙精度圖像，經(jīng)過(guò)灰圖化處理后，再采用小波除噪、中值濾波的方法提高圖像質(zhì)量，獲得包裝袋圖像的數(shù)字矩陣表示形式，再進(jìn)一步用雙三次插值及Sobel算子方法對(duì)圖像進(jìn)行邊緣提取，獲取顆粒物包裝袋的邊緣信息，即圖2所示A′、B′、C′、D′四個(gè)點(diǎn)的坐標(biāo)。

包裝袋在傳送帶運(yùn)輸中的位置是隨機(jī)放置的，因此必須獲取包裝袋偏斜角度及偏移距離。在獲得包裝袋邊緣信息后，提取包裝袋圖像的四個(gè)頂點(diǎn)坐標(biāo)，然后利用A′與B′、C′與D′的坐標(biāo)分別求出A′B′與C′D′兩條直線(xiàn)的方程，而兩條直線(xiàn)的交點(diǎn)為顆粒物包裝袋的幾何中心，再進(jìn)一步計(jì)算包裝袋偏斜角度及偏移距離，其具體算法思路如下：

（1）通過(guò)搜索找出二值圖像BW1數(shù)組中值為1的元素，并分別生成元素行、列下的數(shù)組row、col。原設(shè)定的坐標(biāo)系的原點(diǎn)坐標(biāo)為（row/2，col/2）。

（2）利用最大、最小函數(shù)，求出包裝袋頂點(diǎn)坐標(biāo)。其中，xa=min（col），xc=max（col），yd=min（row），yb=max（row）；利用所求的xa、xc、yd、yb的值求ya、yc、xb、xd，可得，ya=max（find（BW1（:，xa）==1）），yc=min（find（BW1（:，xc）==1）），xb=min（find（BW1（yb，:）==1）），xd=min（find（BW1（yd，:）==1））。

（3）利用包裝袋四個(gè)頂點(diǎn)的坐標(biāo)，求解包裝袋的幾何中心坐標(biāo)。直線(xiàn)AC的方程為（x-xa），直線(xiàn)BD的方程為包裝袋幾何中心為直線(xiàn)AC與BD的交點(diǎn)，因此，將兩個(gè)直線(xiàn)方程聯(lián)立求解可得包裝袋的幾何中心坐標(biāo)，即（xo，yo）。

（4）求顆粒物包裝袋偏移的距離。設(shè)定原坐標(biāo)系的原點(diǎn)坐標(biāo)為（row/2，col/2），而在（3）中求得的包裝袋幾何中心點(diǎn)的坐標(biāo)為（xo，yo）。因此，顆粒物包裝袋偏移設(shè)定坐標(biāo)系中心的距離為l=，然后利用偏移距離對(duì)包裝袋進(jìn)行平移操作。

（5）求顆粒物包裝袋的偏斜角度。在（4）中已將包裝袋平移至設(shè)定坐標(biāo)系的原點(diǎn)處，可求出包裝袋的偏斜角度。包裝袋邊AB與AD的長(zhǎng)度分別為lAB=當(dāng)lAB值大于lAD值時(shí)，包裝袋偏斜角度是AB與Y軸之間的夾角θ=arctan，反之則為AD與Y軸之間的夾角

（6）包裝袋偏斜方向判斷。獲取包裝袋偏斜角度之后，對(duì)二值化圖像進(jìn)行旋轉(zhuǎn)處理，并按旋轉(zhuǎn)處理后的結(jié)果重復(fù)上述操作進(jìn)行驗(yàn)證，同時(shí)對(duì)包裝袋的標(biāo)識(shí)點(diǎn)進(jìn)行提取及判斷。

4 樣機(jī)研制與實(shí)驗(yàn)驗(yàn)證

4.1 樣機(jī)研制

為了檢驗(yàn)上述方法應(yīng)用于顆粒物包裝袋識(shí)別與擺正的可行性，我們研制了一套用于顆粒物包裝袋流水生產(chǎn)線(xiàn)的模擬樣機(jī)。樣機(jī)主要由傳送帶裝置、機(jī)械臂擺正模塊、上位機(jī)識(shí)別模塊、直流電機(jī)驅(qū)動(dòng)器、光電檢測(cè)模塊等組成。光電檢測(cè)模塊檢測(cè)包裝袋到達(dá)指定位置的信息，控制傳送帶傳輸速度及攝像頭工作的開(kāi)啟，上位機(jī)讀取圖像傳感器拍攝的照片，經(jīng)過(guò)上位機(jī)識(shí)別處理，將包裝袋位姿信息經(jīng)串口發(fā)給下位機(jī)控制器，控制器控制機(jī)械臂擺正裝置對(duì)顆粒物包裝袋進(jìn)行擺正操作。模擬樣機(jī)如圖3所示。

圖3 模擬樣機(jī)圖

4.2 實(shí)驗(yàn)驗(yàn)證

試驗(yàn)樣機(jī)制作完成后，需對(duì)任意位置的顆粒物包裝袋進(jìn)行識(shí)別實(shí)驗(yàn)。將顆粒物包裝袋放置在偏離設(shè)定坐標(biāo)系原點(diǎn)的地方，開(kāi)啟系統(tǒng)電源，傳送帶將包裝袋運(yùn)輸至光電傳感器、圖像傳感器可檢測(cè)的范圍內(nèi)。圖像傳感器將拍攝的包裝袋圖像傳輸給上位機(jī)，上位機(jī)識(shí)別的原圖如圖4（a）所示，原圖經(jīng)灰圖化、濾波、邊緣提取，得到包裝袋的二值化圖像。再利用矩陣變換及圖像幾何變換函數(shù)，對(duì)顆粒物包裝袋圖像進(jìn)行旋轉(zhuǎn)和平移操作，其處理結(jié)果如圖4（c）和（d）所示。

5 結(jié)語(yǔ)

圖4 上位機(jī)識(shí)別效果圖

本文針對(duì)包裝流水生產(chǎn)線(xiàn)中顆粒物包裝袋存在的識(shí)別問(wèn)題展開(kāi)探討，提出了利用機(jī)器視覺(jué)技術(shù)對(duì)顆粒物包裝袋進(jìn)行識(shí)別與擺正的設(shè)想。經(jīng)過(guò)模擬樣機(jī)的實(shí)驗(yàn)表明，機(jī)器視覺(jué)技術(shù)能實(shí)現(xiàn)對(duì)處于任意位置的包裝袋進(jìn)行識(shí)別與擺正的操作。本研究可以解決藥品包裝后續(xù)處理中需要包裝袋處于一致方向的問(wèn)題，為顆粒物包裝袋類(lèi)型的識(shí)別與擺正研究奠定了理論基礎(chǔ)。

［參考文獻(xiàn)］

[1]李萌，孫鐵波.基于機(jī)器視覺(jué)的鋁塑藥品包裝在線(xiàn)檢測(cè)系統(tǒng)[J].塑料工業(yè)，2016，44（4）：138-141.

[2]陳慧麗，李繼偉.基于機(jī)器視覺(jué)的方便面包裝品質(zhì)檢測(cè)系統(tǒng)設(shè)計(jì)[J].包裝工程，2017，38（13）：159-163.

[3]張樹(shù)君，辛瑩瑩，陳大千.基于機(jī)器視覺(jué)的飲料瓶標(biāo)簽檢測(cè)設(shè)備[J].食品研究與開(kāi)發(fā)，2014，35（3）：134-136.

[4]賈雄，葉邦彥.基于圖像處理的藥片計(jì)數(shù)系統(tǒng)設(shè)計(jì)[J].電子設(shè)計(jì)工程，2013，21（12）：67-69.

[5]黃丹平，廖世鵬，于少東，等.基于機(jī)器視覺(jué)瓦楞紙板自動(dòng)計(jì)數(shù)系統(tǒng)研究[J].機(jī)械工程學(xué)報(bào)，2017，55（10）：79-86.

[6]夏天煜，湯曉華，李可，等.在線(xiàn)智能視覺(jué)檢測(cè)系統(tǒng)在小包裝食鹽裝箱中的應(yīng)用[J].北京工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，29（5）：61-64.