林冬梅，陳曉雷，楊富龍，馬玉潤

（蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，甘肅 蘭州；甘肅省電子信息省級實驗教學(xué)示范中心，甘肅 蘭州；甘肅省工業(yè)過程先進(jìn)控制重點實驗室，甘肅 蘭州；蘭州理工大學(xué)電氣與控制工程國家級實驗教學(xué)示范中心，甘肅 蘭州）

一 引言

機器視覺技術(shù)是一項涉及視覺傳感器、光源照明、光學(xué)成像、數(shù)字圖像處理、模擬與數(shù)字視頻、計算機軟硬件和自動控制等的綜合技術(shù)。機器視覺主要用計算機模擬人的視覺功能，從客觀事物的圖像中提取信息，進(jìn)行處理并加以理解，最終用于實際檢測、測量和控制[1]。機器視覺系統(tǒng)由硬件系統(tǒng)和組態(tài)軟件組成，主要包括圖像獲取部分、圖像處理與分析部分和判決執(zhí)行部分。機器視覺技術(shù)具有速度快、精度高、信息量大、功能多等特點。隨著機器視覺技術(shù)的發(fā)展，其在生產(chǎn)生活等各行各業(yè)中發(fā)揮著重要作用，在人工智能的發(fā)展歷程中扮演著越來越重要的地位[2]。研究報告顯示，2020 年全球機器視覺市場規(guī)模為107 億美元，預(yù)計到2025 年將增長至127 億美元[3]。

隨著工業(yè)智能化的發(fā)展，機器視覺技術(shù)在工業(yè)領(lǐng)域有著非常廣泛的應(yīng)用，科技成果層出不窮[4]。機器視覺技術(shù)被應(yīng)用在部件裝配、產(chǎn)品特征檢測、缺陷檢測、非接觸測量、數(shù)控機床加工等多個生產(chǎn)環(huán)節(jié)。以汽車制造業(yè)為例，涉及汽車產(chǎn)品裝配加工、3D 四輪定位、整車與零部件自動檢測、車身特定位置缺陷檢測等[5]。

在農(nóng)業(yè)領(lǐng)域，機器視覺技術(shù)涉及農(nóng)業(yè)生產(chǎn)的各個環(huán)節(jié)。在農(nóng)業(yè)生產(chǎn)前期，進(jìn)行土壤檢測、種子精選及質(zhì)量檢測、精密播種等；農(nóng)業(yè)生產(chǎn)中期，有植物生長信息監(jiān)測、田間雜草識別、病蟲害檢測、農(nóng)藥精量噴灑等；在農(nóng)業(yè)生產(chǎn)后期，主要體現(xiàn)在農(nóng)產(chǎn)品采摘、品質(zhì)檢測與分級、包裝等。其中，還涉及到各種農(nóng)業(yè)機械的研制與控制，主要有自動采摘機械、除草機械、噴藥機械、產(chǎn)品分級機械等。機器視覺技術(shù)能有效提升農(nóng)業(yè)生產(chǎn)的自動化與機械化水平，促進(jìn)農(nóng)業(yè)快速現(xiàn)代化的進(jìn)程[6-8]。

在醫(yī)療領(lǐng)域，機器視覺技術(shù)主要運用在輔助診斷及手術(shù)方面。如X 射線成像增強，CT、MRI 的標(biāo)記、渲染、融合等，得到準(zhǔn)確、清晰且包含更多信息的圖像，便于醫(yī)生和專家進(jìn)行綜合診斷；甚至能給出診斷結(jié)果，供專家參考。再者，基于機器視覺技術(shù)，手術(shù)機器人能精準(zhǔn)地實施手術(shù)[9]。此外，還可以應(yīng)用在藥用玻璃瓶缺陷檢測、藥劑雜質(zhì)檢測以及對藥品外包裝泄露的檢測等，能夠充分保障藥物的質(zhì)量安全[6]。

交通領(lǐng)域同樣離不開機器視覺技術(shù)，它在車牌識別系統(tǒng)、視頻檢測系統(tǒng)、安全保障系統(tǒng)及無人駕駛、車聯(lián)網(wǎng)等復(fù)雜任務(wù)中發(fā)揮著舉足輕重的作用，推進(jìn)了智能交通的快速發(fā)展。

基于機器視覺技術(shù)的機器人分揀系統(tǒng)被廣泛地應(yīng)用于零件、農(nóng)產(chǎn)品、食品、藥品、紙幣、快遞等的分揀工作中，不僅提高了分揀效率，而且大大降低了誤揀、漏揀的概率，逐漸替代人工分揀及傳統(tǒng)機器分揀方法[10-12]。

隨著機器視覺技術(shù)的發(fā)展，還涉及安防監(jiān)控、偵查追蹤、網(wǎng)絡(luò)信息安全、機器人、航空航天、天氣預(yù)測、防疫抗災(zāi)等眾多領(lǐng)域。

我國機器視覺技術(shù)的發(fā)展正處于上升期，國家對機器視覺技術(shù)的研究投入不斷加大，機器視覺已逐漸成為國內(nèi)的熱門行業(yè)。因此，高校應(yīng)積極響應(yīng)國家需求，重視培養(yǎng)機器視覺技術(shù)行業(yè)人才。

二 本校在機器視覺技術(shù)方向的畢業(yè)設(shè)計現(xiàn)狀

2013 年，蘭州理工大學(xué)電子信息科學(xué)與技術(shù)專業(yè)培養(yǎng)方案中，將《圖像處理和分析》課程修訂為《機器視覺技術(shù)》課程。在后續(xù)的授課中，采用示范性項目式、案例式教學(xué)方法進(jìn)行課程建設(shè)[13]。雖然課程進(jìn)行了改革，但機器視覺技術(shù)方面的畢業(yè)設(shè)計題目，大部分實質(zhì)上仍是純圖像處理算法研究的畢業(yè)論文，存在不少弊端。一方面，由于偏向理論算法研究，存在選題單一或類似現(xiàn)象，深度不夠，且創(chuàng)新性不足。另一方面，沒有將《機器視覺技術(shù)》課程所學(xué)的知識很好地綜合應(yīng)用到畢業(yè)設(shè)計中，很難跟實際工程聯(lián)系起來，綜合應(yīng)用能力得不到有效提高，學(xué)生的實踐技能滯后于現(xiàn)代技術(shù)，不能滿足工程實際的需要。因此，在這方面的畢業(yè)設(shè)計亟需改革。

三 視覺機器人教學(xué)實驗平臺在畢業(yè)設(shè)計中的應(yīng)用實踐

2018 年，蘭州理工大學(xué)啟動了機器視覺實驗室建設(shè)，并于2019 年9 月完成了建設(shè)。機器視覺實驗室以視覺機器人教學(xué)實驗平臺為主要設(shè)備。為了改變電子信息科學(xué)與技術(shù)專業(yè)在機器視覺技術(shù)方面的畢業(yè)設(shè)計脫離工程實際的現(xiàn)狀，引入視覺機器人教學(xué)實驗平臺是改革畢業(yè)設(shè)計的一條有效途徑。首先，可以實現(xiàn)機器視覺方向的畢業(yè)設(shè)計從論文研究型向綜合設(shè)計型轉(zhuǎn)變。其次，可以提高學(xué)生的學(xué)習(xí)興趣和綜合實踐能力，為將來從事機器視覺技術(shù)相關(guān)工作奠定基礎(chǔ)。最后，它可以促進(jìn)視覺機器人教學(xué)實驗平臺的應(yīng)用推廣，為社會培養(yǎng)專門人才。因此，在2020 及2021 屆電子信息科學(xué)與技術(shù)專業(yè)學(xué)生的畢業(yè)設(shè)計中，探索了視覺機器人教學(xué)實驗平臺的應(yīng)用，以更好地鍛煉學(xué)生的工程思維、動手能力及分析和解決實際工程問題的能力。

（一） 實驗平臺介紹

西安交通大學(xué)研制的視覺機器人教學(xué)實驗平臺（XVS-1600），由硬件系統(tǒng)和組態(tài)軟件組成，硬件配置及軟件功能達(dá)到國內(nèi)領(lǐng)先水平。

1.硬件系統(tǒng)

硬件系統(tǒng)主要由視覺機器人、末端執(zhí)行器和氣泵組成，如圖1 所示。視覺機器人具有4 個自由度，關(guān)節(jié)材料采用鋁合金，控制電機重復(fù)精度≤0.2mm，機械臂伸展范圍8~18cm，機械臂伸展速度1~4cm/s，最大旋轉(zhuǎn)角范圍±110°；配有攝像頭2 個，視覺感知圖像分辨率≥100 萬像素。末端執(zhí)行器有開合夾抓和吸盤兩種，采用鋁合金與 PLA 材料。氣泵用于控制末端執(zhí)行器的開合，采用SW 電驅(qū)接口及SP 通信控制插口。

圖1 視覺機器人教學(xué)實驗平臺（XVS-1600）硬件系統(tǒng)

2.組態(tài)軟件

組態(tài)軟件名稱為機器視覺智能組態(tài)軟件（Xavis），它擁有包括圖像采集、處理、測量、定位、識別、教學(xué)機器人控制通信等260 多個算法庫函數(shù)；有70 多個人工智能教學(xué)創(chuàng)新實驗案例，包括圖像處理、圖像測量、目標(biāo)檢測、模式識別、目標(biāo)跟蹤、機器人多工件自主智能裝配與拆卸、麻將抓取識別等[14-15]。該軟件的最大特色是可視化組態(tài)編程，簡單易學(xué)；界面上分布有圖像區(qū)、參數(shù)區(qū)、值顯區(qū)和代碼區(qū)，如圖2 所示。

圖2 機器視覺智能組態(tài)軟件（Xavis）

3.功能及特點

實驗平臺基于機器視覺智能組態(tài)軟件，集工件圖像采集、圖像處理、模式識別和教學(xué)機器人控制等多項視覺測控以及教學(xué)機器人編程功能于一體，用其可開設(shè)電子信息、自動化、人工智能、機器人、機械工程、計算機、機電一體化及測控儀器等專業(yè)的教學(xué)、創(chuàng)新及科研實驗；具有教學(xué)機器人編程、機器視覺算法庫、智能組態(tài)編程、教學(xué)基本實驗、實驗擴展等功能。使得《機器視覺技術(shù)》等課程實驗?zāi)軌蜉^高水平開設(shè)，同時也能夠豐富綜合訓(xùn)練、課程設(shè)計、創(chuàng)新訓(xùn)練及科研實驗的實踐內(nèi)容。

綜上所述，將視覺機器人教學(xué)實驗平臺用于畢業(yè)設(shè)計，能很好地培養(yǎng)學(xué)生的動手能力以及創(chuàng)新能力，可以滿足機器視覺技術(shù)復(fù)雜工程問題的實踐需求。

（二） 畢業(yè)設(shè)計案例

蘭州理工大學(xué)2020 及2021 屆電子信息科學(xué)與技術(shù)專業(yè)學(xué)生，嘗試了基于視覺機器人教學(xué)實驗平臺的畢業(yè)設(shè)計，完成了棋子識別系統(tǒng)設(shè)計、麻將抓取識別系統(tǒng)設(shè)計、物品分揀系統(tǒng)設(shè)計、物品裝載系統(tǒng)設(shè)計等題目。下面以物品分揀系統(tǒng)設(shè)計及物品裝載系統(tǒng)設(shè)計為例，展示實驗平臺的應(yīng)用情況。

1.物品分揀系統(tǒng)設(shè)計

基于Xavis 組態(tài)軟件，用程序控制并移動視覺機器人的末端攝像頭，實時采集物品圖像；采用圖像灰度化、形態(tài)學(xué)運算、濾波、二值化、融合、分割、邊緣檢測、圓檢測、直線檢測等圖像處理方法，最終提取物品的形狀特征，并找到物品中心實現(xiàn)物品的定位；利用特征，進(jìn)行物品分類；控制機器人，用其末端執(zhí)行器將不同特征的物品抓取并放置到指定位置，實現(xiàn)物品的分揀。該設(shè)計實現(xiàn)了長方形麻將、圓形象棋、三角形模具3 類形狀物品的分揀，模擬生產(chǎn)生活中的機器人分揀系統(tǒng)。

圖3 物品分揀系統(tǒng)工作情況

2.物品裝載系統(tǒng)設(shè)計

物品裝載系統(tǒng)由五個模塊組成，分別是參數(shù)設(shè)置模塊、掃描模塊、圖像處理模塊、識別定位模塊、裝載模塊。參數(shù)設(shè)置模塊需要完成機械臂初始化、靜態(tài)參數(shù)和動態(tài)參數(shù)設(shè)置、攝像頭編號設(shè)置、角度偏移量和抓取偏移量設(shè)置等。掃描模塊負(fù)責(zé)循環(huán)掃描物品和放置目標(biāo)區(qū)域位置。圖像處理模塊涉及到的圖像處理方法有圖像灰度化、形態(tài)學(xué)運算、面積濾波、二值化、連通區(qū)域標(biāo)記、分割、邊緣檢測等。識別定位模塊包括找到物品中心及目標(biāo)位置中心，實現(xiàn)物品及目標(biāo)位置的定位。裝載模塊實現(xiàn)物品抓取并按要求放置到指定位置。

該系統(tǒng)可以自動掃描并確定目標(biāo)位置和需要裝載的物品，自動定位抓取物品并進(jìn)行裝載，可以獲取實時圖像并顯示裝載進(jìn)程，能夠循環(huán)執(zhí)行直至所有物品裝載完成。本設(shè)計實現(xiàn)了將8 個麻將整齊裝載到具有四個分格的紙盒中，模擬生產(chǎn)線上產(chǎn)品的自動裝載。

圖4 物品裝載系統(tǒng)流程圖

圖5 物品裝載系統(tǒng)工作情況

（三） 應(yīng)用效果

上述兩個畢業(yè)設(shè)計，在文獻(xiàn)資料查閱階段，學(xué)生能充分了解機器視覺技術(shù)在物品分揀及裝載領(lǐng)域的應(yīng)用現(xiàn)狀；通過設(shè)計過程，學(xué)生充分理解物品分揀及裝載的方法和流程，熟練掌握機器人分揀及裝載系統(tǒng)中涉及到圖像獲取方法、圖像處理方法、機器人控制方法等相關(guān)知識，并能編程實現(xiàn)及靈活運用。整個設(shè)計能很好地鍛煉學(xué)生的綜合能力。

《機器視覺技術(shù)》課程的實踐性較強，采用純粹的理論算法研究型的畢業(yè)論文，無法綜合應(yīng)用該課程的知識，不能達(dá)到預(yù)期效果。通過基于視覺機器人教學(xué)實驗平臺的畢業(yè)設(shè)計，學(xué)生對機器視覺系統(tǒng)組成、機器視覺方法和實現(xiàn)、機器視覺技術(shù)應(yīng)用等一系列相關(guān)內(nèi)容有了更深的理解，并能綜合運用課程所學(xué)知識來解決實際工程問題，鍛煉了工程思維，提高了專業(yè)能力。

四 結(jié)語

通過應(yīng)用視覺機器人教學(xué)實驗平臺，畢業(yè)設(shè)計質(zhì)量有了明顯改善，學(xué)生的工程思想得到了充分鍛煉，這為學(xué)生將來從事機器視覺技術(shù)領(lǐng)域的工作打下了良好的實踐基礎(chǔ)，也為學(xué)生將來繼續(xù)從事機器視覺方向的研究奠定理論基礎(chǔ)。同時，基于視覺機器人教學(xué)實驗平臺的畢業(yè)設(shè)計又為《機器視覺技術(shù)》課程的項目式教學(xué)提供了大量素材，有望促進(jìn)《機器視覺技術(shù)》課程教學(xué)質(zhì)量的提高。今后繼續(xù)將視覺機器人教學(xué)實驗平臺應(yīng)用于本科畢業(yè)設(shè)計中，提高畢業(yè)設(shè)計質(zhì)量，加深學(xué)生對機器視覺技術(shù)的認(rèn)識和理解，增強實踐能力，培養(yǎng)機器視覺技術(shù)行業(yè)人才。