劉振宇，李中生，2，，馮柏潤，郭名坤，趙 雪

（1.沈陽工業(yè)大學 信息科學與工程學院，遼寧 沈陽110870；2.新松機器人自動化股份有限公司，遼寧 沈陽110168；3.空軍駐沈陽地區(qū)軍事代表室，遼寧 沈陽110016；4.沈陽防銹包裝材料有限責任公司，遼寧 沈陽110084）

機器視覺系統(tǒng)是指通過視覺圖像獲取裝置獲取被測目標的圖像信號，經(jīng)過專用的圖像處理軟件系統(tǒng)，根據(jù)圖像像素的顏色、亮度等信息，進行目標特征的檢測提取、分析判別，進而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。機器視覺向批量生產(chǎn)線、大型機械制造業(yè)、精密裝配行業(yè)等各個應用領(lǐng)域的滲透，帶來了對機器視覺需求的提升，也決定了機器視覺將由過去單純的數(shù)據(jù)采集、傳遞、判斷動作，逐漸朝著開放性的方向發(fā)展。這一趨勢也預示著機器視覺與人工智能技術(shù)、機器人技術(shù)、自動化技術(shù)、智能控制技術(shù)等的進一步相結(jié)合，促進工業(yè)生產(chǎn)過程智能化、自動化、機器人化是時代發(fā)展的必然趨勢[1]。

制造業(yè)是機械產(chǎn)品的重要工業(yè)部門，是衡量一個國家工業(yè)化程度的重要標志。隨著科學技術(shù)的發(fā)展以及生產(chǎn)自動化程度的逐步提高，從機械設(shè)備加工的焊縫跟蹤、精密裝配作業(yè)、食品和醫(yī)藥灌裝等大型生產(chǎn)線、高樓大廈窗戶的自動擦洗、惡劣環(huán)境下的清洗工作，再到國防武器裝備制造等，采用傳統(tǒng)技術(shù)方法的生產(chǎn)過程已無法滿足人們對生產(chǎn)效率、產(chǎn)品質(zhì)量等越來越高的要求[2]。針對當前生產(chǎn)過程中零件尺寸跨度大、裝配效率低、檢測一致性差、自動化和智能化程度低的狀況，將機器視覺引入到工業(yè)生產(chǎn)過程中來，即機器在無人干預的條件下，通過分析采集的圖像數(shù)據(jù)，對零部件進行識別、定位，從而實現(xiàn)對零件的抓取、檢測、裝配等作業(yè)過程是大勢所趨。參考文獻[3]中提到在對印制電路板（PCB）上焊點實時檢查中，首先是對獲得的圖像進行預處理以減少圖像的噪聲，然后根據(jù)上焊點典型的幾何特征進行分類，從而判斷焊點的質(zhì)量是否合格。2002年，LAHAJNAR F[4]利用機器視覺系統(tǒng)檢測電路板。該系統(tǒng)應用兩個長焦相機，并采用亞邊緣檢測技術(shù)和對系統(tǒng)進行半自動校準，精確測量出電路板的幾個尺寸參數(shù)，且機器視覺系統(tǒng)能夠很好地跟蹤電路板的生產(chǎn)過程，檢測每一個電路板，并分揀出次品。2006年，合肥工業(yè)大學針對球柵陣列BGA（Ball Grid Array）封裝形式的半導體芯片進行了BGA全自動植球機視覺檢測和自動對準控制技術(shù)的研究，從而利用機器視覺技術(shù)解決了BGA植球機存在的無法精確定位和準確檢測兩大突出難題[5]。

在日本、歐美等一些發(fā)達國家和地區(qū)，機器視覺在機械、食品、醫(yī)藥等生產(chǎn)領(lǐng)域的應用已經(jīng)相當普及，但國內(nèi)視覺技術(shù)在實際的生產(chǎn)線應用較少，在技術(shù)水平上也與國外存在較大的差距。根據(jù)目前我國的市場需求狀況和相關(guān)技術(shù)研究，將機器視覺與工業(yè)生產(chǎn)的有機結(jié)合有著十分重要的意義。本文搭建硬件系統(tǒng)平臺，成功地將機器視覺引入到工業(yè)生產(chǎn)線上，實驗結(jié)果表明，機械手對工件的抓取成功率達到了100%，為我國實現(xiàn)工業(yè)生產(chǎn)智能化積累了經(jīng)驗。

1 總體結(jié)構(gòu)

本實驗為了滿足自動化生產(chǎn)的需要，將機器視覺與工業(yè)生產(chǎn)結(jié)合起來，設(shè)計并搭建了圖1所示的基于單目視覺的工業(yè)機器人視覺抓取系統(tǒng)實驗平臺。該實驗平臺主要組成部分包括：新松6軸SRH6工業(yè)機器人，機器人參數(shù)如表1所示；DALAS公司生產(chǎn)的GM1400千兆以太網(wǎng)工業(yè)相機，具體參數(shù)如表2所示；工件放置臺、控制機、Vmax=1 m/s的皮帶傳送帶、攝像機支架和光源等硬件。

圖1 基于機器視覺的工業(yè)機器人抓取系統(tǒng)實驗平臺

表1 SRH6工業(yè)機器人相關(guān)參數(shù)

表2 GM1400千兆以太網(wǎng)工業(yè)相機參數(shù)值

本實驗系統(tǒng)基本流程如圖2所示。首先對生產(chǎn)線上的工件建立特征庫，然后由工業(yè)相機對進入工作區(qū)的工件進行圖像采集，軟件對采集到的數(shù)字圖像進行處理分析，匹配成功后對其識別定位，再利用坐標變換得到工件的空間位置，最后由機械人控制機械手來完成工件的抓取并將其放置到放置臺上。

圖2 實驗原理流程圖

2 模式識別

2.1 攝像機標定

攝像機標定是視覺系統(tǒng)開發(fā)的關(guān)鍵步驟，它的基本任務之一就是通過對從攝像機采集到的圖像進行處理，以獲得三維空間中物體的幾何信息，并由此重建和識別物體[6]，是機器視覺在工業(yè)生產(chǎn)線上得以應用的一個必要前提。攝像機標定目的在于建立圖像像素坐標與空間位置之間的相互關(guān)系。針孔模型是攝像機模型中最簡單的模型，本系統(tǒng)以小孔成像為標定算法模型，采用了張正友標定法。只需要拍攝2張相片，并根據(jù)圖像點之間對應關(guān)系即可標定出攝像機內(nèi)參數(shù)與外參數(shù)[7]。

為提高標定的精度，本實驗采集了7幅1280×960的高質(zhì)量圖像，并開發(fā)了圖3所示的攝像機標定界面，標定結(jié)果為：攝像機參數(shù)fx=2 241.151 0，fy=2 213.049 5，u0=681.865 39，v0=478.601 21；攝像機畸變參數(shù)k1=0.053 131，k2=0.944 376，p1=0.001 223，p2=0.001 319。

圖3 攝像機標定實驗結(jié)果

2.2 圖像處理

2.2.1 相機光源

相機光源在機器視覺系統(tǒng)中起著重要的作用。好的光源可以增加其零件的對比度，增加其期望的目標視域，模糊其不期望的目標視域。理想的光源也可以減輕其后續(xù)實驗處理壓力，否則會給實驗結(jié)果造成誤解，帶來不必要的麻煩。如相機的花點和過度曝光會隱藏許多重要信息；陰影會引起邊緣的誤檢；信噪比的降低以及不均勻的照明會增加圖像處理的閾值選擇的困難。經(jīng)過大量實驗驗證，本實驗選用了能夠獲取工件的特征信息較大的前置恒光源，放置在待測物前方的光源，這種光源方式稱為“前光式照明”，如圖4所示。

圖4 前光式照明光源

2.2.2 高斯濾波

鏡頭模糊、光照條件、空氣雜物的干擾使拍攝的圖像難免存在噪聲影響，從而使圖像出現(xiàn)模糊不清或者雜質(zhì)現(xiàn)象，因而進行圖像濾波處理是必須進行的步驟。目前使用較為廣泛的濾波方式主要有均值濾波、中值濾波以及高斯濾波。經(jīng)過試驗對比，本實驗選擇高斯濾波。

高斯濾波器是一種線性平滑濾波器，是根據(jù)高斯函數(shù)的形狀來決定所選擇的權(quán)值的大小。高斯分布參數(shù)的坐標決定了高斯濾波器的寬度。為了求取二維高斯函數(shù)的權(quán)值，其二維高斯函數(shù)首先進行離散化處理，高斯函數(shù)的最佳逼近由二項式展開系數(shù)決定，展開式可由楊輝三角形法來確定，其模板的取值如式（1）所示。

其中，σ決定了高斯濾波模板的寬度，σ越大，其作用域越寬，即利用這一模板的窗口越大。

2.2.3 特征匹配

特征匹配即從已建立的模型特征數(shù)據(jù)庫中查找出與目標相匹配的數(shù)據(jù)模型的過程。應用比較廣泛的主要有灰度直方圖匹配和輪廓匹配。

（1）灰度直方圖匹配

灰度直方圖是灰度級的函數(shù)，它表示圖像中具有每種灰度級的像素的個數(shù)，反映圖像中每種灰度出現(xiàn)的頻率。如圖5所示，灰度直方圖的橫坐標是灰度級，縱坐標是該灰度級出現(xiàn)的頻率，是圖像最基本的統(tǒng)計特征。

圖5 工件及其直方圖

（2）輪廓匹配

數(shù)字圖像的最基本特征就是物體圖像的邊緣輪廓。在一幅數(shù)字圖像中，圖像的邊緣有如下3個方面主要特點：①圖像邊緣部分的像素灰度值呈不連續(xù)性變化；②圖像邊緣兩側(cè)具有不同的紋理特征；③圖像邊緣處的像素灰度值具有明顯的方向性特征。輪廓匹配正是基于圖像中工件的邊緣特征來識別圖像。與直方圖匹配的實驗對比，輪廓匹配能夠在極大程度上減少數(shù)據(jù)計算量的基礎(chǔ)上保留數(shù)字圖像最重要的結(jié)構(gòu)屬性，同時剔除不相關(guān)的次要信息。本實驗對工件識別的輪廓特征如圖6所示。

圖6 工件及其邊緣輪廓

2.3 目標定位

工件得到識別之后進行抓取，為了能夠讓吸盤機械手精準地抓取工件，需要對其進行定位，即確定工件的幾何中心。求取工件的質(zhì)心過程如下：

首先用矩陣描述區(qū)域的形狀特征，對于大小為M×N的數(shù)字圖像f（i，j），其（p+q）階矩定義為：

其中，f（i，j）相當于一個像素的質(zhì)量；Mpq為不同p、q值下圖像的矩。然后用中心矩求取質(zhì)心，零階矩M00是區(qū)域密度的總和：

一階矩M10為圖像對j軸的慣性矩；M01為圖像對i軸的慣性矩：

然后用一階矩M10和M01分別除以零階矩M00，得到的就是物體的質(zhì)心坐標：

在生產(chǎn)線上任意取一組（5個）模板進行測量，由式（5）計算得出，該組工件的質(zhì)心坐標即旋轉(zhuǎn)角度如表3所示。

表3 傳送帶工件中心坐標及姿態(tài)

3 工件抓取

本實驗采用新松公司SRH6機器人工業(yè)機器人操作吸盤機械手進行抓取動作。拍攝運動物體時，拍攝目標與攝像系統(tǒng)之間存在相對運動，極易形成拖影。對于尺寸測量的項目，拖影對測量精度會有嚴重影響，在這種情況下，就會要求拖影長度盡可能短，本實驗要求拖影不超過1/3像素。在硬件固定的情況下，直接影響拖影長度的參數(shù)是物體的運動速度和曝光時間。一般情況下滿足以下條件即可保證測量精度：物體運動速度Vp×曝光時間Ts＜允許最長拖影s單位系統(tǒng)精度。

根據(jù)選取的相機，曝光時間為22μs～1 000 ms，確定的測量精度為0.937 5 mm/像素，可以得到物體的運動速度Vp，即傳送帶Vmax為42.613 m/s。結(jié)合實際情況，設(shè)定傳送帶速度為0.3 m/s。

根據(jù)工件的質(zhì)心坐標，機器人控制吸盤機械手能夠準確地在傳送帶上抓取物體，實驗驗證，抓取率為100%。實驗效果如圖7所示。

本文利用工業(yè)相機對工件進行圖像采集，然后對圖像進行分析處理，識別出工件位置，從而引導機器人對工件進行抓取，實驗驗證抓取效果精確有效。將機器視覺成功應用到工業(yè)生產(chǎn)線上，從而驗證了算法的有效性和正確性，為后續(xù)的機器人碼垛打下了基礎(chǔ)，為工業(yè)生產(chǎn)線的分揀積累了經(jīng)驗和數(shù)據(jù)，為實現(xiàn)工業(yè)生產(chǎn)自動化、智能化提出了解決方案，有良好的應用前景。

圖7 實驗效果

[1]RAO A R.Future directions in industrial machine vision：a case study of semiconductor manufacturing applications[J].Image and Vision Computing，1996（14）：3-19.

[2]ALDRICH C，MARAIS C，SHEAN B J，et al.Online monitoring and control of froth flotation systems with machine vision：a review[J].International Journal of Mineral Processing，2010，96（1-4）：1-13.

[3]KIM T H，CHO T H，MOON Y S，et al.Visual inspection system for the classification of solder joints.Pattern Recognition，1999，（32）：565-575.

[4]LAHAJNARF，BERNARD R，PERNUS F，et al.Machine vision system for inspecting electric plates[J].Computers in Industry，2002，47（1）：113-122.

[5]郭建強.BGA全自動植球機視覺檢測和自動對準 控制技術(shù)研究[D].合肥：合肥工業(yè)大學，2006.

[6]陳天飛，馬孜，李鵬，等.一種基于非量測畸變校正的攝像機標定方法[J].控制與決策，2012，27（2）：243-251.

[7]HEMAYED E A.survey of camera self-calibration[J].Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance，2003.