王福斌 曾凱 張瑞成 陳波

[關(guān)鍵詞]專業(yè)學位研究生;案例（庫）建設;機器視覺課程;實踐技能

機器視覺課程作為控制科學與工程及控制工程學科的專業(yè)學位課，是一門實踐性極強的課程，要求學生在掌握基本的數(shù)字圖像處理理論的基礎(chǔ)上，利用計算機視覺技術(shù)解決實際與圖像、視覺相關(guān)的工程技術(shù)問題。隨著感知技術(shù)的多元化，尤其是智能感知技術(shù)的發(fā)展，基于視覺的識別、測量技術(shù)得到了重視，如在機器人視覺伺服控制領(lǐng)域、生產(chǎn)線瑕疵產(chǎn)品檢測領(lǐng)域、人臉識別安全監(jiān)測領(lǐng)域等，機器視覺技術(shù)都扮演著越來越重要的角色。在研究生課程學習階段引入機器視覺案例教學，將理論知識與工程實際案例相結(jié)合，不僅可加深學生對課程理論知識的理解，更能讓其掌握將所學的理論知識應用于實踐的技能，為學生在研究生課題研究階段解決實際問題能力的提升打下基礎(chǔ)。

《教育部關(guān)于做好全日制碩士專業(yè)學位研究生培養(yǎng)工作的若干意見》（教研〔2009〕1號）闡明了開展專業(yè)學位碩士研究生教育的必要性，為培養(yǎng)社會緊缺的應用型、技能型專門人才給出了指導性建設原則[1]。各高校對研究生課程教學案例庫建設投入了較大的力量進行研究和建設，并取得了積極成果;圍繞專業(yè)學位研究生教育對案例資源庫建設的案例選擇、整理與優(yōu)化以及案例資源庫案例的實踐與應用進行了大量研究[2]，從師資培訓、教學內(nèi)容調(diào)整、案例庫建設、課程組織實施和教學評價等方面對案例建設與研究生培養(yǎng)進行探索[3]。案例式教學模式在研究生培養(yǎng)效果提升方面的作用日益顯現(xiàn)，對專業(yè)學位研究生培養(yǎng)的應用效果顯著，對提高研究生綜合能力，讓其更好地適應將來的工作具有積極的意義[4]。

一、機器視覺課程典型工程案例（庫）建設總體方案

為深化專業(yè)學位研究生培養(yǎng)模式改革，提高培養(yǎng)質(zhì)量，教育部出臺了《關(guān)于加強專業(yè)學位研究生案例教學和聯(lián)合培養(yǎng)基地建設的意見》[5]，對案例教學的意義及地位進行了闡明。

機器視覺是一門實踐性很強的課程。自開設機器視覺課程起，對授課對象（包括專業(yè)型碩士、學術(shù)型碩士）就引進工程案例方法進行分析與講解。近幾年在機器視覺應用方面積累了一些工程案例，如，成捆鋼筋的端面圖像采集與計數(shù)、燒結(jié)火焰斷面圖像特征識別、天車機器人雙目立體視覺避障及視覺實時距離測量、振動模糊圖像復原、激光結(jié)構(gòu)光視覺測量及三維目標物重構(gòu)、無人機航點視覺定位、飛秒激光燒蝕微光斑的微視覺幾何參數(shù)測量等。如何對以往的案例進行整合、總結(jié)及系統(tǒng)化，使案例內(nèi)容更翔實、豐富，更符合教學規(guī)律，是本課程案例庫建設遵循的原則。

機器視覺課程典型工程案例（庫）建設過程以工程應用為主線，以案例分析與程序?qū)崿F(xiàn)為方法，通過實際應用需求分析、工藝分析、詳細設計、程序?qū)崿F(xiàn)、程序運行及調(diào)試、運行結(jié)果分析等環(huán)節(jié)，使學生能對機器視覺快速地認知、熟悉，進而解決機器視覺“做什么、怎么做”的問題。案例庫先期基本建設框架如圖1所示。案例庫建設過程遵循動態(tài)建設原則，在反饋及修正補充過程中不斷地得到完善。

二、機器視覺課程先期案例建設核心內(nèi)容

案例庫建設將結(jié)合機器視覺課程的講授內(nèi)容，在總結(jié)現(xiàn)有機器視覺應用的基礎(chǔ)上，針對機器視覺系統(tǒng)構(gòu)建、硬件設備選型、相機標定、結(jié)構(gòu)光視覺系統(tǒng)、視覺三維重建等環(huán)節(jié)給出詳細的工程實現(xiàn)過程。在多個機器視覺技術(shù)應用的關(guān)鍵環(huán)節(jié)結(jié)合典型案例給出詳細的實現(xiàn)步驟、方法、程序及運行結(jié)果。整個案例建設給出“手把手”式的機器視覺構(gòu)建與分析詳細過程，對學生快速融入機器視覺領(lǐng)域、增強實踐能力具有較好的指導意義，這能為學生今后在機器視覺研究領(lǐng)域及工程應用打下堅實的理論及實踐基礎(chǔ)[6]。

要本著真實性、典型性及創(chuàng)新性原則對案例進行篩選，并能利用實驗室現(xiàn)有實驗平臺進行實驗內(nèi)容建設，以保證案例的真實、可復現(xiàn)、可驗證性。同時，突出案例的典型性、代表性，并兼具一定的創(chuàng)新性，保證案例教學的效能及新知識、新觀點的啟發(fā)作用。機器視覺案例庫教學的核心建設內(nèi)容有以下幾方面。

（一）機器視覺光學系統(tǒng)設計、選型及參數(shù)計算

為學生講述如何根據(jù)實際工程要求搭建一個光學系統(tǒng)，實現(xiàn)對特定目標的圖像采集。為提高圖像采集質(zhì)量，需對照明光源進行選型設計，包括條形光源、點光源及環(huán)形光源設計等;為使得工業(yè)相機適合工程實際目標圖像采集的需要，需對相機視場、靶面尺寸、分辨率及物距等參數(shù)進行計算，確定相機與計算機的通訊形式等;對鏡頭與相機的接口進行選配，對鏡頭焦距等參數(shù)進行計算等。通過光學系統(tǒng)硬件設計、選型，可提高學生對光學系統(tǒng)的感性認識，促進工程設計理念的形成。

（二）微視覺系統(tǒng)及微結(jié)構(gòu)目標的圖像測量

為學生講述基于單目相機的微視覺系統(tǒng)圖像測量方法及基于雙目微視覺系統(tǒng)的圖像測量方法。首先，采用遠心鏡頭構(gòu)建微視覺測量系統(tǒng)，對飛秒激光在硅晶片上燒蝕的微光斑進行圖像采集;對光斑圖像進行預處理、分割及幾何中心提取，獲得光斑本身的像素尺寸及光斑之間的像素尺寸;通過測量尺寸已知的標準物體尺寸，標定出幾何尺寸與像素尺寸之間的對應比例系數(shù)，進而應用比例系數(shù)求出光斑的幾何尺寸，實現(xiàn)微結(jié)構(gòu)的視覺測量。

（三）雙目立體視覺系統(tǒng)的標定及視覺測量

采用兩個面陣工業(yè)相機構(gòu)建雙目立體視覺系統(tǒng)，對工件幾何尺寸進行測量。通過案例建設使學生掌握立體視覺的構(gòu)建，相機畸變參數(shù)標定及雙目立體相機的旋轉(zhuǎn)矩陣與平移向量的標定;工件深度方向的尺寸測量方法等。這可為學生將來采用視覺方法進行不同目標物體的圖像幾何測量問題提供有意義的借鑒。

（四）激光結(jié)構(gòu)光視覺系統(tǒng)的標定及視覺測量

在光學實驗平臺上搭建線激光結(jié)構(gòu)光與單目相機構(gòu)成的結(jié)構(gòu)光測量系統(tǒng);將待測工件放置在二維運動控制工作臺上，當工件隨著工作臺移動時，激光線掃描整個工件，由工業(yè)相機采集激光線條圖像，構(gòu)成工件的激光線條圖像。通過標定相機參數(shù)及激光與相機之間的光學系統(tǒng)，實現(xiàn)激光結(jié)構(gòu)光測量系統(tǒng)。

（五）基于激光結(jié)構(gòu)光的工件三維重建

所用硬件平臺與激光結(jié)構(gòu)光測量系統(tǒng)一致，包括相機、激光器、精密移動平臺及標定板等。只是在相機內(nèi)外參數(shù)標定、激光器的光平面標定基礎(chǔ)上，通過對激光光條圖像的處理，在光條二維圖像坐標基礎(chǔ)上求取光條的三維點云數(shù)據(jù)。

三、案例庫動態(tài)建設過程

在先期建設完成的案例庫實踐教學基礎(chǔ)上，總結(jié)教學實踐經(jīng)驗、教學效果及存在的不足，動態(tài)完成了第二部分案例庫的建設內(nèi)容，如圖2所示。

案例庫后期建設內(nèi)容涵蓋基于Blob分析的目標識別、基于模板匹配及仿射變換的幾何定位與動態(tài)跟隨、直角坐標機器人視覺系統(tǒng)的9點標定、基于直角坐標機器人的工件隨機視覺抓取及定位擺放、基于視覺的光學字符識別及C#聯(lián)合Halcon編程內(nèi)容。

（一）基于Blob分析的視覺目標識別案例

研究實現(xiàn)目標圖像的分割及識別，主要內(nèi)容有：采集圖像—圖像分割（Blob分析前，將圖像分割成區(qū)域和背景）—形態(tài)學處理—連通域分析，將圖像中不同目標打散—數(shù)學形態(tài)學處理—特征提取，根據(jù)不同幾何特征條件，篩選出目標。

（二）基于模板匹配及仿射變換的幾何定位與動態(tài)跟隨

建設內(nèi)容：確定圖像對比度，形成目標輪廓。對于模板中的輪廓線，輪廓線少了，提取的輪廓特征也少，匹配精度不好;相反，輪廓線太多了，則不易匹配，因此，用三個參數(shù)進行篩選（對比度（低）、對比度（高）、最小組件尺寸）。確定合適的圖像匹配金字塔級別，基于形狀的模板匹配，將圖像和模板在高層金字塔進行搜索，然后映射到低層，提高搜索速度。模板設計為可旋轉(zhuǎn)、放縮的搜索，從原圖創(chuàng)建模板圖像再生成模板輪廓，從原點開始搜索。

（三）直角坐標機器人視覺系統(tǒng)的9點標定

利用實驗室現(xiàn)有三坐標直角運動平臺，配置單目相機構(gòu)成直角坐標機器人視覺系統(tǒng)。講述實現(xiàn)9點標定的詳細過程：建立圖像平面與機械手之間的一一對應關(guān)系，利用圖像得出機械坐標偏差。通過9點視覺系統(tǒng)標定，將圖像的像素坐標和目標點的物理坐標對應起來，將像素位移轉(zhuǎn)換為機械手的幾何尺寸位移。

（四）基于直角坐標機器人的工件隨機視覺抓取及定位擺放

講述機器人的基礎(chǔ)坐標、工具坐標的建立，并通過特征點標定機器人工具坐標系的0點位置;通過9點標定確定工具坐標與圖像坐標間的關(guān)系。對標定后的4軸機械手進行目標物體的隨機擺放視覺識別、抓取，并進行定點擺放。

（五）基于視覺的光學字符識別

完成如下內(nèi)容的建設：1.坐標變換：通過極坐標變換調(diào)整圖像，將字符轉(zhuǎn)換到標準位置;2.光學字符圖像的處理：圖像平滑、閾值分割、圖像匹配、連通域分割、形態(tài)學處理、區(qū)域特征提取;3.光學字符識別，應用OCR分類器，識別出分割出來的字符。

（六）C#聯(lián)合Halcon編程

結(jié)合工程實際案例，以“自動售藥機剩余藥品數(shù)量的視覺統(tǒng)計”為例，講述并實現(xiàn)如下案例內(nèi)容：C#聯(lián)合Halcon編程過程。創(chuàng)建C#窗體程序項目，設計C#控件操作界面，將HALCON/.NET類庫、控件HwindowControl添加到C#的工具箱中;為實現(xiàn)C#中調(diào)用Halcon相關(guān)算子，加入using HalconDotNet命名空間的引用，將Halcon程序?qū)С龀蒀#程序等內(nèi)容。

四、課程建設與效果反饋

機器視覺課程的實踐性要求在課程學習過程中必須緊密結(jié)合實踐，這樣學生才能真正將所學的理論知識學活、學透徹。在案例庫教學活動中遵循教師講解與啟發(fā)、學生實踐、效果反饋機制，使每個學生都能從案例教學過程中收益，有所收獲，有所進步。完整的案例建設及效果反饋機制如圖3所示。

機器視覺案例庫建設是一個動態(tài)的、持續(xù)改進的過程，在案例庫建設之初要列出詳細的建設大綱、建設方案并進行可行性分析，同時廣泛征求有益的意見和建議，使得案例庫建設一開始就能做到科學、可行、合理、有效。案例庫主要通過教學實施及學生實踐形成教學活動，此環(huán)節(jié)是檢驗案例庫建設成效的關(guān)鍵，因此要保證案例庫建設內(nèi)容要豐富、翔實，同時教學手段及教學方法要與案例庫實際相銜接，充分調(diào)動學生的學習積極性，鼓勵學生大膽實踐并進行創(chuàng)新性學習[7]，在案例庫基本教學內(nèi)容基礎(chǔ)上有所收獲、有所啟發(fā)。在對案例庫建設成效、教學效果及學生學習效果評價環(huán)節(jié)，主要采用師生互動進行討論、分析、查找不足等方法。在對討論結(jié)構(gòu)形成共識的基礎(chǔ)上對案例庫內(nèi)容進行修正、完善，做到在建設中改進、在改進中完善。

五、結(jié)束語

案例庫教學是提高研究生實踐教學效能的主要方式之一。我校在研究生案例庫建設方面給予了大力的支持，在設備購置、建設資金支持方面得到了保障。我校結(jié)合控制學科研究生教育與培養(yǎng)過程，建設了機器視覺教學案例庫，突出了機器視覺教學活動的實踐性，使學生在學習與實踐過程中真正掌握機器視覺課程學習的理論及實踐技能，實現(xiàn)了“學有所成，為我所用”的目標。本文研究內(nèi)容提高了機器視覺課程教學效果，提升了學生的學習效能，具有實踐意義。