季云峰 王剛
(上海理工大學(xué)機(jī)器智能研究院 上海 200093)
隨著近年來(lái)人工智能與機(jī)器人技術(shù)的不斷進(jìn)步,出現(xiàn)不同類型的機(jī)器人逐步進(jìn)入高校實(shí)驗(yàn)室中,也成為相關(guān)專業(yè)教師上課的輔助器具之一。而隨著“中國(guó)制造2025”計(jì)劃的不斷接近,我國(guó)對(duì)科技創(chuàng)新新型人才的需求大量增加,提高了我國(guó)高校對(duì)“新工科”教育背景中的人才培養(yǎng)的重視程度。2018年,教育部發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,里面明確提出高校需要完善新工科教育培養(yǎng)體系,加強(qiáng)人工智能相關(guān)專業(yè)建設(shè),形成新一代工業(yè)體系下復(fù)合型“新工科”人才的培養(yǎng)新模式。
在“新工科”教育背景下,本文作者所屬的上海理工大學(xué)于2019年1月成立了機(jī)器智能研究院,以“物理世界人工智能”為核心特色,依托學(xué)??刂瓶茖W(xué)、機(jī)械工程、系統(tǒng)科學(xué)與生物醫(yī)學(xué)工程等學(xué)科,發(fā)展具有多學(xué)科交叉特色的“新工科”本科教育特色班。
目前“新工科”培養(yǎng)模式大多以理論教學(xué)+上機(jī)操作+實(shí)驗(yàn)教學(xué)為主,教師購(gòu)買某套機(jī)器人設(shè)備作為教學(xué)平臺(tái),在提供一定學(xué)時(shí)的理論教學(xué)基礎(chǔ)上,逐步教會(huì)學(xué)生使用機(jī)器人軟件及操作平臺(tái)。這種模式較之傳統(tǒng)的課堂教學(xué),大幅度提高了學(xué)生的實(shí)操及動(dòng)手能力,擴(kuò)展了課堂教學(xué)的局限性。但由于教學(xué)平臺(tái)是購(gòu)買的商用機(jī)器人,外接的功能是有限的,使得學(xué)生無(wú)法深入進(jìn)入實(shí)際項(xiàng)目,掌握的知識(shí)較為淺顯?;诖祟悊?wèn)題,本論文探索出一種基于項(xiàng)目課程的“新工科”特色培養(yǎng)模式。
在上海理工大學(xué)的大力支持下,機(jī)器智能研究院成立了智能科學(xué)與技術(shù)(人工智能)第二專業(yè),該專業(yè)是面向“新工科”創(chuàng)新型人才培養(yǎng)的試點(diǎn)專業(yè),其特點(diǎn)是以項(xiàng)目式教學(xué)為主導(dǎo)、交叉學(xué)科基礎(chǔ)理論為支撐,采用導(dǎo)師制個(gè)性化定制的模式,培養(yǎng)“機(jī)器人+人工智能”方向,符合新工科要求的人才。本專業(yè)課程分為三類:基礎(chǔ)課程、項(xiàng)目課程與專家講座課程,學(xué)生第一年以學(xué)習(xí)人工智能與機(jī)器人專業(yè)基礎(chǔ)知識(shí)為主,從第二年開(kāi)始,教師以項(xiàng)目課程形式對(duì)學(xué)生授課,以帶領(lǐng)學(xué)生實(shí)際做項(xiàng)目的形式上課。在授課同時(shí),機(jī)器智能研究院在提供高性能計(jì)算設(shè)備、寬松的科研環(huán)境、前沿的科研方向和全面的培養(yǎng)方案的基礎(chǔ)上,鼓勵(lì)專業(yè)所屬學(xué)生參加相關(guān)領(lǐng)域內(nèi)的比賽,表現(xiàn)優(yōu)異者將提供出國(guó)交流的機(jī)會(huì),以及創(chuàng)業(yè)與就業(yè)機(jī)會(huì)。本論文作者從事乒乓球機(jī)器人項(xiàng)目十余年,在此基礎(chǔ)上,開(kāi)設(shè)了基于乒乓球機(jī)器人項(xiàng)目的“新工科”項(xiàng)目課程。
乒乓球機(jī)器人項(xiàng)目課程是“新工科”特色教育培養(yǎng)中的一個(gè)亮點(diǎn)特色,由本文作者擔(dān)任授課教師,授課對(duì)象為智能科學(xué)與技術(shù)(人工智能)第二專業(yè)的學(xué)生,授課地點(diǎn)在實(shí)驗(yàn)室內(nèi),課程實(shí)驗(yàn)環(huán)境如圖1所示。
圖1 課程實(shí)驗(yàn)環(huán)境
本項(xiàng)目課程以實(shí)際參與乒乓球機(jī)器人為主要學(xué)習(xí)內(nèi)容,乒乓球機(jī)器人分為三個(gè)系統(tǒng):視覺(jué)系統(tǒng)、控制系統(tǒng)及執(zhí)行系統(tǒng)。故在上課期間,教師將學(xué)生分成三個(gè)組別,每個(gè)組別負(fù)責(zé)機(jī)器人的一個(gè)系統(tǒng)。
(1)在視覺(jué)系統(tǒng)中,主要指導(dǎo)學(xué)生學(xué)習(xí)數(shù)字圖像處理的相關(guān)內(nèi)容,讓學(xué)生逐步了解圖像的構(gòu)成,進(jìn)而學(xué)習(xí)部分圖像處理算法。給定學(xué)生目標(biāo),讓學(xué)生實(shí)現(xiàn)對(duì)攝像機(jī)捕捉圖像及傳輸,再完成對(duì)雙目視覺(jué)的標(biāo)定,同時(shí)實(shí)現(xiàn)對(duì)乒乓球的在線識(shí)別,最終實(shí)現(xiàn)對(duì)乒乓球三維坐標(biāo)的實(shí)時(shí)跟蹤;
(2)在控制系統(tǒng)中,讓學(xué)生了解各類濾波、曲線擬合及多種控制算法,讓學(xué)生根據(jù)項(xiàng)目需求改進(jìn)算法,最終實(shí)現(xiàn)對(duì)乒乓球運(yùn)動(dòng)軌跡的預(yù)測(cè)以及對(duì)最佳擊球點(diǎn)的選擇;
(3)在執(zhí)行系統(tǒng)中,讓學(xué)生參與設(shè)計(jì)乒乓球機(jī)器人的本體機(jī)械結(jié)構(gòu),學(xué)習(xí)機(jī)器人運(yùn)動(dòng)學(xué),實(shí)現(xiàn)對(duì)本體結(jié)構(gòu)的運(yùn)動(dòng)規(guī)劃及柔順控制,以及選擇最佳擊球策略。
(1)視覺(jué)系統(tǒng)項(xiàng)目課程舉例——雙目標(biāo)定。
在雙目立體視覺(jué)中,相機(jī)標(biāo)定是獲得物體三維信息必不可少的過(guò)程,相機(jī)標(biāo)定的結(jié)果將直接影響后續(xù)目標(biāo)物體三維坐標(biāo)的計(jì)算精度,所以對(duì)相機(jī)進(jìn)行標(biāo)定至關(guān)重要。當(dāng)前相機(jī)標(biāo)定方法分為三種:傳統(tǒng)標(biāo)定法、主動(dòng)視覺(jué)法和自標(biāo)定法。本課程指導(dǎo)學(xué)生使用的是張正友標(biāo)定法,此種方法可利用matlab工具箱,操作較為簡(jiǎn)單,標(biāo)定精度高。
在相機(jī)標(biāo)定過(guò)程中,標(biāo)定板作為信息的重要來(lái)源,關(guān)系到特征信息的提取和相機(jī)的標(biāo)定精度。為了有效提取特征信息并保證相機(jī)的標(biāo)定精度,需要選取合適的標(biāo)定板。本項(xiàng)目課程選用平面黑白棋盤格作為相機(jī)標(biāo)定過(guò)程中的標(biāo)定板,棋盤格規(guī)格為12×9,特征點(diǎn)為其內(nèi)角點(diǎn),黑白格子的大小為30mm。此時(shí)讓學(xué)生分為兩個(gè)組別,一個(gè)組別去了解標(biāo)定方法,另一個(gè)組別去制作標(biāo)定板。
確定好標(biāo)定板后,需要對(duì)標(biāo)定圖像進(jìn)行采集。具體方法是將標(biāo)定板放置在雙目視覺(jué)系統(tǒng)的視野范圍之內(nèi)進(jìn)行拍攝采集,并在每組標(biāo)定圖像采集后將標(biāo)定板變換不同的位置和角度,采集多組標(biāo)定圖像??紤]畸變對(duì)相機(jī)的影響,在移動(dòng)標(biāo)定板時(shí)要盡量保證標(biāo)定板能覆蓋視覺(jué)系統(tǒng)的整個(gè)成像視野,視覺(jué)系統(tǒng)視野范圍內(nèi)標(biāo)定板覆蓋的越多,對(duì)于邊角視場(chǎng)的畸變系數(shù)的估算就會(huì)更準(zhǔn)確。此外,由于視覺(jué)系統(tǒng)與標(biāo)定板并不是垂直的,所以在調(diào)整標(biāo)定板的角度時(shí)不能過(guò)于傾斜,以免標(biāo)定時(shí)影響對(duì)棋盤格行列數(shù)的判斷。
最終利用matlab中的Stereo Camera Calibration工具箱對(duì)雙目相機(jī)進(jìn)行標(biāo)定,其左右相機(jī)分別采集棋盤格標(biāo)定圖像62張,共124張,通過(guò)提取標(biāo)定圖像平面中的特征點(diǎn)并精確亞像素角點(diǎn),得到雙目相機(jī)各自的內(nèi)外參數(shù)矩陣。由于所采集的部分標(biāo)定圖像中標(biāo)定板的傾斜角度過(guò)大,可能導(dǎo)致標(biāo)定板的角點(diǎn)識(shí)別不準(zhǔn)確,引起相機(jī)的標(biāo)定誤差。故本文通過(guò)調(diào)整重投影誤差大小,篩選出重投影誤差較大的標(biāo)定圖像,經(jīng)篩選后得到的圖像對(duì)、重投影誤差及角點(diǎn)提取結(jié)果如圖2所示。
圖2 篩選后的標(biāo)定圖像及結(jié)果
通過(guò)對(duì)重投影誤差進(jìn)行微調(diào),可以剔除對(duì)標(biāo)定結(jié)果影響較大的標(biāo)定圖像對(duì),能夠保證相機(jī)標(biāo)定的準(zhǔn)確性。此時(shí)通過(guò)matlab工具箱還可以得到相機(jī)的極限約束矯正結(jié)果,通過(guò)上述相機(jī)標(biāo)定后,左右相機(jī)圖像的坐標(biāo)軸基本實(shí)現(xiàn)了對(duì)齊,同時(shí)也完成了對(duì)原始圖像邊緣的徑向畸變和切向畸變的校正,并獲得左右兩個(gè)相機(jī)的標(biāo)定矩陣。
至此,視覺(jué)系統(tǒng)組別完成對(duì)左右相機(jī)的標(biāo)定工作,在本次示例課程中,學(xué)生掌握了相機(jī)的標(biāo)定原理,親手制作了標(biāo)定板,了解了攝像機(jī)的工作原理,并掌握了matlab中的工具箱使用方法,最終實(shí)現(xiàn)了對(duì)相機(jī)的標(biāo)定,為后續(xù)目標(biāo)三維定位打下堅(jiān)實(shí)基礎(chǔ)。
(2)控制系統(tǒng)項(xiàng)目課程舉例——乒乓球飛行軌跡建模。
在本節(jié)項(xiàng)目課程中,主要培養(yǎng)學(xué)生的物理建模能力,通過(guò)對(duì)學(xué)生講解乒乓球在飛行過(guò)程中的軌跡影響因素,讓學(xué)生更加直觀地了解到乒乓球的飛行過(guò)程。根據(jù)教師講解的建模知識(shí),學(xué)生做進(jìn)一步的歸納總結(jié),最終完成對(duì)乒乓球飛行軌跡的建模。
乒乓球在飛行過(guò)程中主要受重力、浮力、空氣阻力及旋轉(zhuǎn)時(shí)的馬格努斯力的影響。浮力Fb的大小相較于其他幾個(gè)力可以忽略不計(jì)。由于乒乓球旋轉(zhuǎn)的測(cè)量有很大的難度,在本項(xiàng)目課程中暫不考慮旋轉(zhuǎn)球,根據(jù)乒乓球受合力為重力和空氣阻力對(duì)乒乓球進(jìn)行受力分析后可得簡(jiǎn)化模型如下:
其中V是乒乓球的速度,m是乒乓球的質(zhì)量,g是重力加速度,ρ是空氣密度,s是乒乓球的截面積,Cd是空氣阻力系數(shù)。對(duì)式積分可以得到x,y,z三個(gè)方向上的模型結(jié)果。
根據(jù)上述預(yù)測(cè)模型,只需獲取乒乓球飛行軌跡的起始點(diǎn)及其速度,即可計(jì)算求得在無(wú)其他外力介入情況下,任意時(shí)刻乒乓球的位置和速度。
至此,完成對(duì)乒乓球飛行軌跡的建模,學(xué)生充分了解到軌跡建模的相關(guān)知識(shí),也為后續(xù)做乒乓球落點(diǎn)及擊球點(diǎn)預(yù)測(cè)打下堅(jiān)實(shí)基礎(chǔ)。
(3)執(zhí)行系統(tǒng)項(xiàng)目課程舉例——機(jī)械臂軌跡規(guī)劃算法。
在本節(jié)項(xiàng)目課程中,主要培養(yǎng)學(xué)生對(duì)多自由度機(jī)械臂的軌跡規(guī)劃算法的設(shè)計(jì),本項(xiàng)目的乒乓球機(jī)器人使用的是六自由度機(jī)械臂,通過(guò)正逆運(yùn)動(dòng)學(xué)可以獲得乒乓球機(jī)器人在擊球時(shí)各個(gè)關(guān)節(jié)應(yīng)當(dāng)?shù)竭_(dá)的位置和速度。本節(jié)由教師對(duì)學(xué)生講解軌跡規(guī)劃算法來(lái)控制機(jī)械臂完成擊球任務(wù),學(xué)生了解并需要對(duì)算法進(jìn)行進(jìn)一步改進(jìn)。
本節(jié)軌跡規(guī)劃算法使用的是五次多項(xiàng)式軌跡規(guī)劃算法,預(yù)先計(jì)算好機(jī)器人每個(gè)關(guān)節(jié)在整個(gè)運(yùn)動(dòng)過(guò)程中每一時(shí)刻的位置、速度和加速度,按照預(yù)先規(guī)劃的結(jié)果控制機(jī)器人運(yùn)動(dòng)即可完成指定任務(wù)。但此方法并不能直接應(yīng)用于本文中的乒乓球機(jī)器人,由于每次擊球過(guò)程中擊球點(diǎn)位置和擊球時(shí)間并不唯一確定,而是在乒乓球?qū)崟r(shí)定位系統(tǒng)每次給出一個(gè)新的采樣點(diǎn)后都會(huì)做一次修正,并不能預(yù)先規(guī)劃好一條擊球軌跡。緊接著由教師指導(dǎo)學(xué)生在傳統(tǒng)的五次多項(xiàng)式軌跡規(guī)劃算法的基礎(chǔ)上進(jìn)行了改進(jìn),使其能夠在運(yùn)動(dòng)終點(diǎn)不斷變化的情況下實(shí)現(xiàn)動(dòng)態(tài)規(guī)劃。
至此,本項(xiàng)目課程中的機(jī)械臂軌跡規(guī)劃算法完成,學(xué)生掌握到對(duì)機(jī)械臂的控制算法,通過(guò)對(duì)傳統(tǒng)五次多項(xiàng)式算法的改進(jìn),學(xué)生利用項(xiàng)目了解到機(jī)械臂是如何做規(guī)劃控制的,并最終在執(zhí)行機(jī)構(gòu)上實(shí)現(xiàn)了對(duì)乒乓球機(jī)械臂的柔順控制,進(jìn)一步提升了學(xué)生的算法熟悉程度及興趣。
學(xué)生在分組進(jìn)行學(xué)習(xí)和實(shí)際做項(xiàng)目過(guò)程中,學(xué)習(xí)大量實(shí)操知識(shí)和算法,并有項(xiàng)目及時(shí)進(jìn)行驗(yàn)證反饋,極大地提升了學(xué)生的學(xué)習(xí)興趣和動(dòng)手能力。本項(xiàng)目課程共持續(xù)兩年時(shí)間,在此過(guò)程中,由教師指導(dǎo)學(xué)生實(shí)現(xiàn)對(duì)各小組目標(biāo)的完成,并最終完成三個(gè)小組之間的聯(lián)調(diào),保證乒乓球機(jī)器人可實(shí)現(xiàn)正常人機(jī)對(duì)打,并不斷優(yōu)化,教師在學(xué)生學(xué)習(xí)過(guò)程中根據(jù)學(xué)生的學(xué)習(xí)態(tài)度及項(xiàng)目成果進(jìn)行評(píng)分,最終需要完成整體項(xiàng)目目標(biāo)才算結(jié)課。
本次基于乒乓球機(jī)器人項(xiàng)目課程的“新工科”教學(xué)模式改革旨在培養(yǎng)高素質(zhì)人工智能與機(jī)器人學(xué)科人才,目前已經(jīng)在教育改革實(shí)施中。課程學(xué)生經(jīng)過(guò)項(xiàng)目學(xué)習(xí)后,體現(xiàn)出了強(qiáng)大的團(tuán)隊(duì)合作及科技創(chuàng)新能力,在參與課程學(xué)習(xí)同時(shí),學(xué)生帶著課程項(xiàng)目參與了多項(xiàng)科創(chuàng)比賽,并取得了驕人的成績(jī),如,第七屆互聯(lián)網(wǎng)加全國(guó)銀獎(jiǎng)、電子設(shè)計(jì)大賽全國(guó)二等獎(jiǎng)、Robocom機(jī)器人開(kāi)發(fā)者大賽全國(guó)一等獎(jiǎng)以及世界機(jī)器智能大賽一等獎(jiǎng)等重量級(jí)獎(jiǎng)項(xiàng)。這些榮譽(yù)印證了本次教學(xué)改革的有效性,為“新工科”教育教學(xué)模式培養(yǎng)提供了一種新的改革思路,希望在將來(lái)進(jìn)一步提高課程教學(xué)質(zhì)量,為培養(yǎng)具有深度思考、動(dòng)手實(shí)操、創(chuàng)新創(chuàng)業(yè)等核心能力的人工智能與機(jī)器人領(lǐng)域高端人才而做出貢獻(xiàn)!