李 哲,張小剛,王耀南,方 遒

(湖南大學電氣與信息工程學院,湖南 長沙 410082)

1 引言

隨著人工智能、機器人、智能制造等新技術的飛速發(fā)展,工科專業(yè)新型技術創(chuàng)新人才需求的壓力也日益增大[1-4]。教育部于2017年推行新工科建設,創(chuàng)建了一批新型工科專業(yè),并對傳統(tǒng)工科專業(yè)進行改革升級,著力培養(yǎng)工科學生的實踐綜合能力和解決復雜工程問題的能力[5-8]。機器人在現(xiàn)代工業(yè)中起到越來越重要的作用,其技術具有知識難度大、綜合性強等特點,為了培養(yǎng)新工科人才的綜合設計能力,基于機器人視覺感知與控制技術國家工程實驗室中真實的電子制造產(chǎn)線設備,設計了一套“機器人視覺引導運動控制虛擬仿真平臺”,用于開展自動化、機器人工程等專業(yè)的綜合設計課程,同時也對相關課程的仿真環(huán)節(jié)進行支撐。

課程以一套面向手機殼的機器人裝配電子產(chǎn)線為工藝對象,利用Unity3D、3D Studio Max等軟件技術,在高保真度虛擬環(huán)境中,通過完成仿真操作與編程調(diào)試,實現(xiàn)機器人視覺引導手機上料的功能。通過仿真教學,培養(yǎng)與訓練機器視覺識別與定位(眼)、機械臂運動學求解(手)、視覺引導控制算法集成創(chuàng)新與應用(腦)等專業(yè)知識和實踐創(chuàng)新能力。

2 虛擬仿真環(huán)境

2.1 虛擬仿真平臺組成

仿真環(huán)境中的設備均與實際場景一一對應,具有較高的保真度(圖1)。其系統(tǒng)設備主要由視覺相機與圖像處理上位機、UR10工業(yè)機器人、工控柜、傳送帶及手機物料架等組成。視覺相機安裝在機械臂末端,用于采集物料圖像,并上傳至上位機進行圖像識別定位,將生成坐標發(fā)送至工業(yè)機器人,引導其完成抓取手機上料的過程;UR10機器人為六自由度工業(yè)機器人,按照設定軌跡抓取手機殼完成上料任務;工控柜中包含可編程邏輯控制器(PLC)、變頻器、開關等電控設備,控制整條產(chǎn)線的邏輯和節(jié)拍動作;被抓取的手機被放至傳送帶上運送至末端,通過位置傳感器檢測是否完成上料過程。通過實現(xiàn)該過程,可學習掌握工控系統(tǒng)“感知-控制-執(zhí)行”的知識閉環(huán),培養(yǎng)解決實際復雜工程問題的能力。

圖1 真實系統(tǒng)與虛擬設備對應圖

2.2 仿真算法開發(fā)環(huán)境

仿真軟件除了具有自身參數(shù)設置和仿真功能外,還提供了外部軟件接口,能夠與Visual Studio和SIEMENS Portal進行通訊,根據(jù)不同的難度要求完成算法設計及仿真任務。實驗任務及對應的軟件需求如圖2所示。利用虛擬仿真軟件本身可以完成機器人視覺引導控制的核心知識仿真;配合Visual Studio并利用C#語言編程可實現(xiàn)高級視覺及運動算法的自主編程;通過SIEMENS Portal利用梯形圖編程可完成虛擬產(chǎn)線系統(tǒng)的綜合控制與虛擬調(diào)試。

圖2 實驗任務與相關軟件

3 仿真教學任務

依托所設計的虛擬仿真軟件,設計了三個層次的實驗內(nèi)容,分別學習機器視覺識別與定位、機器人運動學求解與控制、以及視覺引導控制的知識內(nèi)容。

3.1 視覺識別與定位實驗

1)配置虛擬設備:連接虛擬仿真環(huán)境中的視覺相機、UR10機器人、圖像處理上位機等設備,完成數(shù)據(jù)連通;

2)視覺坐標系標定:目標識別算法的原理是通過圖像的分析和處理,識別并定位目標在圖像中的像素位置,其過程涉及世界坐標系、相機坐標系、圖像坐標系和像素坐標系之間的變換。在實驗環(huán)境中,通過正確配置相機坐標軸參數(shù),完成視覺相機的標定及參數(shù)設定;

3)圖像采集及坐標識別:在虛擬仿真環(huán)境中,首先在合適位置處對目標拍照并生成模板圖像,之后用C#自主編程實現(xiàn)基于模板匹配的視覺定位算法并確定其坐標。在編程時,已知模板圖片數(shù)據(jù)和相機拍攝圖像數(shù)據(jù),利用視覺算法確定其中一個手機殼左上角的坐標,并賦值給相應變量(xpos, ypos),再對拍攝圖像進行處理,識別出四個手機殼,通過尺寸數(shù)據(jù)計算標出各中心點坐標,生成最終結果(圖3)。

圖3 視覺識別定位實驗結果

3.2 機器人運動學求解與控制

1)運動軌跡設置:首先利用點動示教或關節(jié)示教來確定機器人上料過程的參考軌跡點,如拍照點、預抓取點、放料點、歸位點等,再利用插補進給的方式來實現(xiàn)機械臂的運動;

2)運動示教指令編程:在機器人指令輸入窗口中,根據(jù)指令格式編寫機器人示教控制指令,來實現(xiàn)機器人運動控制。該部分的運動是基于設定的軌跡參考點來完成的,遵循插補的直線或圓弧等軌跡運動,以測試預設軌跡是否能夠完成上料任務;

3)機器人正運動學求解:機器人運動學主要研究機器人本身的位姿描述與控制,其包括機器人某關節(jié)或末端執(zhí)行器的位置和姿態(tài)。正運動學指當各關節(jié)的旋轉角度給定時,求解機器人末端執(zhí)行器在空間坐標系下的坐標。根據(jù)實驗程序框架,在Visual Studio環(huán)境下可實時讀取當前機器人各軸角度值,并定義了待發(fā)送數(shù)據(jù)變量及格式。利用相關計算函數(shù)和齊次變換矩陣變量,通過自主編程計算機器人末端姿態(tài)矩陣,實現(xiàn)正運動學求解。通訊成功并運行程序后,調(diào)節(jié)機器人關節(jié)示教,若計算結果與機器人末端位姿一致,則說明結果正確;

4)機器人逆運動學求解:若已知機器人末端位姿,通過計算求得機器人到該位姿時各關節(jié)轉角變量的過程即為機器人逆運動學分析。逆運動學求解會產(chǎn)生多重解,需要通過約束關系來選取最符合要求的一組作為逆解。在實驗中給定機器人模型的D-H參數(shù)(表1),可實時讀取目標姿態(tài)矩陣值,根據(jù)運動學逆解原理編程可求出8組逆解,并從中選出最優(yōu)的一組解,賦值給相應結果變量。最后同樣通過仿真軟件的點動示教比較結果來驗證程序的正確性。正逆運動學自主編程求解操作如圖4所示。

表1 UR10 機器人D-H模型參數(shù)

圖4 正逆運動學自主編程過程示意圖

3.3 視覺引導控制上料流程實現(xiàn)

根據(jù)前面的機器人視覺識別定位和機器人運動控制的實現(xiàn)方法,結合上料工藝流程和匹配的生產(chǎn)線控制時序、節(jié)拍等,可實現(xiàn)基于視覺引導的機器人上料過程,其綜合控制流程如圖5所示。在基礎實驗任務中,為了實現(xiàn)各設備的綜合調(diào)試,仿真軟件提供了一個“外部通訊程序”來模擬現(xiàn)實中的PLC功能,實現(xiàn)生產(chǎn)線各設備的時序和節(jié)拍控制。在該通訊程序中,各設備的I/O點和對應關系已確定,根據(jù)圖5的控制流程及視覺定位反饋坐標結果,綜合前面的機器人運動控制方案,最終實現(xiàn)完整的機器人視覺引導上料流程(圖6)。

圖5 電子產(chǎn)線系統(tǒng)機器人視覺引導控制流程

圖6 機器人上料完整工藝效果演示

4 虛擬仿真教學項目的創(chuàng)新性

4.1 可靈活拓展的仿真環(huán)境

該仿真平臺在完成機器人視覺引導控制的核心功能基礎上,還提供了與專業(yè)工控軟件的接口功能,能夠?qū)崿F(xiàn)創(chuàng)新拓展實驗任務[13,14]。在上料工位的基礎上,可利用仿真平臺內(nèi)置的設備模型庫自主設計搭建新工位(如下料工位等),利用相應控制方案進行仿真。仿真平臺可以與SIEMENS Portal進行通訊聯(lián)合調(diào)試,基于虛擬設備對應的I/O端口,編寫梯形圖程序,控制生產(chǎn)線各工位的節(jié)拍與時序,完成虛擬調(diào)試的任務。通過該過程引導學生進行自主設計與調(diào)試,探索實踐不同的方案,利用已有知識和能力進行創(chuàng)新拓展。

4.2 科教融合的仿真平臺

該仿真平臺基于實驗室真實的科研平臺,依托數(shù)字孿生技術理念進行了虛擬化,并將其應用于教學過程。因此可將前沿的科研和技術內(nèi)容進行簡化和提煉,將其中的知識和理論融入到教學過程中,并在仿真平臺中實現(xiàn)[15,16]。例如,實際工業(yè)環(huán)境中的光照條件對視覺識別與定位的結果會造成影響,虛擬仿真軟件中具有選擇光照開關的功能。在打開光照的條件下,用傳統(tǒng)的模板匹配算法仿真將無法實現(xiàn)準確的視覺識別與定位,因此可利用基于伽瑪校正(Gamma Correction)的光照補償方法進行算法設計及編程,再將程序與仿真環(huán)境連通進行目標的成功識別。在此過程中,可將科研和實際工程中應用的知識和算法融入教學過程中,激發(fā)學生對于科研工作的熱情,實現(xiàn)科教融合理念。

4.3 虛實結合的教學實踐過程

課程依托國家級工程實驗室平臺展開,采用由淺入深、虛實結合的方法引導學生進行學習,教學環(huán)節(jié)施行“現(xiàn)場認知—理論授課—仿真實驗—實操驗證—報告考核”的學習過程。實驗由實際系統(tǒng)設備認知過渡到虛擬仿真,再通過虛擬調(diào)試改進設計方案并利用實際設備操作進行驗證,實現(xiàn)虛實結合的實驗教學方案。在較低的改造成本下,充分利用了現(xiàn)有科研與教學資源,開展具有創(chuàng)新性和綜合性的仿真教學。

5 結語

面向教育部新工科建設需求,充分發(fā)揮虛擬仿真技術的優(yōu)勢,基于實驗室的真實科研設備,開發(fā)了一套機器人視覺引導控制虛擬仿真平臺,并設計了“虛實結合,科教融合”的虛擬仿真教學方案。虛擬仿真軟件具有較高的保真度和開放性,能夠綜合訓練學生機器視覺識別與定位、機器人運動學求解、視覺引導運動控制的核心知識與實踐方法,同時還可利用其豐富的接口與其它軟件配合實現(xiàn)工控系統(tǒng)設計與虛擬調(diào)試等功能,培養(yǎng)學生解決復雜工程問題和創(chuàng)新性設計與實踐能力,探索利用虛擬仿真技術培養(yǎng)新工科創(chuàng)新型人才的新模式。