殷聰聰，張秋菊+

1.江南大學 機械工程學院，江蘇 無錫 214122

2.江蘇省食品先進制造裝備技術重點實驗室，江蘇 無錫 214122

1 引言

近年來機器人產業(yè)發(fā)展迅猛，2019 年全球機器人市場規(guī)模預計將達到294.1億美元，2014—2019年的平均增長率約為12.3%[1]。從統(tǒng)計數據中可以看出無論工業(yè)機器人還是服務機器人，產業(yè)規(guī)模都在快速增長。

工業(yè)機器人在制造業(yè)中的應用越來越廣泛，從最初的汽車制造業(yè)，到近年來快速發(fā)展的3C 電子產品制造業(yè)，工業(yè)機器人在其中都發(fā)揮著重要作用。然而，隨著社會經濟的快速發(fā)展，工業(yè)產品逐步呈現(xiàn)出多品種、小批量、短周期的特點[2]，這對機器人編程的便捷性和快速性提出了更高的要求。傳統(tǒng)工業(yè)機器人的編程方式對從業(yè)人員的編程水平有著較高的要求，并且編程周期較長，針對一種新的產品，機器人編程調試可能要花費數天，甚至數周的時間，難以滿足產品多品種、小批量、短周期的生產需求。服務機器人近年來也取得了快速發(fā)展，尤其家庭服務機器人，已逐步走進日常生活。與工業(yè)機器人相比，服務機器人主要針對的是非專業(yè)用戶，這對機器人編程的人機交互體驗提出了更高的要求。

下一代智能機器人有望實現(xiàn)和人類協(xié)作共同完成任務。這就需要機器人能夠在非結構化環(huán)境中靈活、安全、可靠地與人類互動。其中需要解決的兩個重要問題是：機器人如何理解人類動作以及如何執(zhí)行所學的任務。

針對上述情況，基于演示學習（learning from de-monstration，LfD）的機器人編程技術的研究逐漸興起。演示學習編程技術是通過人的示范行為向機器人傳遞知識的一種新方式，不需要專業(yè)人員通過編程語言來告訴機器人應該怎么做，而是讓機器人具備識別并理解操作人員示范行為中的有效信息，并能夠將這些信息轉換成機器人的執(zhí)行文件，進而重現(xiàn)操作人員的示范行為，完成相應任務的能力[3]。該技術不僅可以大幅降低工業(yè)機器人的編程難度，還可以大幅提高工業(yè)機器人的編程效率，可推廣應用到家庭服務機器人、特種機器人等領域，對提高機器人智能化水平，提高制造業(yè)生產效率以及提升服務機器人的人機交互體驗都具有重要意義。

歐美國家在機器人演示學習方面的研究起步較早。20世紀90年代已有學者提出基于隱馬爾可夫模型的人體演示技能獲取方法[4]。2008年，Billard等人[5]指出機器人演示編程（programming by demonstration，PbD）是一種很有前途的方法，它可以使繁瑣的機器人手工編程自動化，降低工廠中機器人開發(fā)和維護的成本。同時提出，PbD 也可以稱為機器人模仿學習。2011 年，Aksoy 等人[6]提出采用語義事件鏈（se-mantic event chain，SEC）來描述演示操作過程中對象關系的變化，以便于機器人在新的場景中重現(xiàn)演示任務。2015 年，Cubek 等人[7]使用概念空間讓機器人在更高的概念抽象級別上解釋人類演示的抓取和放置動作。近年來，在工業(yè)機器人領域的機器人演示編程研究逐漸增多。2017年，Ramirez-Amaro等人[8-9]開發(fā)了一種可快速部署的工業(yè)機器人演示編程系統(tǒng)。該系統(tǒng)借助一種電子皮膚和深度相機來獲取人類的演示信息，使非專業(yè)的操作者能夠對工業(yè)機器人進行新的任務編程。2018 年，Kyrarini 等人[10]提出一種機器人學習框架，通過演示讓機器人學習裝配任務的動作順序，而不需要預先編程。

國內雖然對機器人演示學習的研究起步較晚，但近年來也取得了一些重要成果，值得后續(xù)的研究者們借鑒學習。2014 年，深圳機器人學院的Gu 等人[11]為了通過人體演示使機器人獲得裝配技能，利用RGB-D 攝像機，建立了一個可識別零件/工具、動作和裝配狀態(tài)的便攜式裝配演示系統(tǒng)，該系統(tǒng)能夠生成裝配腳本，具有良好的目標識別、動作識別和裝配狀態(tài)估計精度。東南大學馬旭東教授等人[12-13]對服務機器人的演示學習進行了深入研究，將服務機器人的任務分為聯(lián)動任務和非聯(lián)動任務，并分別設計不同的學習方法。浙江大學的熊蓉教授等人[14-16]針對工業(yè)裝配任務的演示編程進行了廣泛的研究。開發(fā)了基于概率圖的空間裝配關系推理系統(tǒng)，著重研究了演示過程中動作識別與物體跟蹤方法，建立了一個機器人裝配任務自動編程框架。

國內外研究者都對機器人演示編程（PbD）開展了廣泛的研究。本文針對不同的演示學習方式，對近年來較為典型的研究工作進行綜述，探討現(xiàn)階段機器人演示學習面臨的挑戰(zhàn)，并指明其發(fā)展趨勢。

2 LfD編程技術的分類

LfD編程技術按照傳感器的類型分為：動覺演示編程[17-18]、視覺演示編程[19-21]、遙操作演示編程[22]。按照其學習信息的邏輯層次可以分為：基于運動的演示學習[17-18,20,23]和基于任務的演示學習[19,21,24-25]。本文采用按照其學習信息的邏輯層次進行分類闡述，如圖1所示。

Fig.1 Classification of robot learning from demonstration圖1 機器人演示學習分類

基于任務的演示學習和基于運動的演示學習在行為表達上分別對應于語義符號層面和運動軌跡層面[26]。也有的研究工作中這兩種演示學習方法同時被采用，以應對不同類型的演示學習編程任務[26-27]?；谌蝿盏难菔緦W習將機器人觀察到的人類的示范行為和人類與場景中物體的交互行為采用符號基元進行描述，整個示范行為由一個語義符號描述序列來表達；基于運動的演示學習則直接記錄人類示范行為的運動軌跡，用傳感器記錄的軌跡和運動規(guī)劃器所規(guī)劃的軌跡之間的非線性映射關系來描述人類的示范行為。

與傳統(tǒng)的機器人示教編程技術不同的是，演示學習編程技術不是簡單重復人類的演示動作，而是要從示范行為數據中提取到有效信息，生成相應的運動模型，并能夠將其應用到新的任務場景中，具備一定的軌跡泛化和任務泛化能力，能夠根據學習到的技能在新的場景下完成相應的任務。因此，演示學習編程技術可以分為演示和執(zhí)行兩個階段：在演示階段，機器人需要識別人類的示范行為，并且能夠對行為中的子動作進行分割，由此建立運動基元庫；在執(zhí)行階段，需要根據行為的抽象表示和運動基元建立具有泛化能力的運動模型，以滿足新場景下完成任務的要求。

3 基于運動的演示學習

基于運動的演示學習根據是否需要關節(jié)或者末端映射可以分為映射方式和非映射方式。其中，映射方式又分為關節(jié)映射和末端映射兩種。

3.1 映射方式

映射學習方式通常采用視覺識別或數據手套等方式來提取人的示范行為中關節(jié)或手末端的運動軌跡信息，并將處理后的軌跡信息映射到機器人空間，使機器人能夠重現(xiàn)操作人員的演示動作。

若僅識別提取人手末端或者人手所持的工具的運動軌跡信息，稱之為末端映射方式。Huang等[20]提出了一種基于視覺的多機器人操作演示學習。操作人員首先演示如何使用工具執(zhí)行任務，同時使用視覺系統(tǒng)觀察工具的運動。然后使用統(tǒng)計模型對演示進行編碼，以生成參考運動軌跡。機器人使用相同的工具和學習模型，在視覺的引導下完成任務。如圖2所示，該方法為了快速精確地跟蹤手持工具的運動軌跡，在工具上設置了一個五面體二維碼以確保任何一個角度下相機都可以看到兩個不平行平面上的二維碼，用于估算工具末端位姿。

Fig.2 Pentahedral QR code used to estimate terminal pose圖2 用于估算末端位姿的五面體二維碼

如圖3所示，張思倫[28]利用二維碼作為人手末端位姿軌跡估計的標記，并提出在動態(tài)運動基元（dyna-mic movement primitives，DMPS）中加入運動特征與障礙物的耦合項因子，拓展為具備避障功能的運動規(guī)劃系統(tǒng)，使得機器人能夠從操作人員多次演示軌跡中根據實際場景中障礙物的約束自主泛化出新的軌跡。

Fig.3 Estimation of human hand end pose trajectory using QR code圖3 利用二維碼估算人手末端位姿軌跡

除了利用多面體二維碼或者平面二維碼作為運動軌跡和位姿的標記外，還有的研究者針對具體的工作場景，設計了專門的標記物。Ferreira 等[29]針對噴漆等作業(yè)條件較為惡劣的應用場景，設計了一個帶有多個高強度led 發(fā)光標記的20 面體結構（如圖4所示）。其優(yōu)點是，結構緊湊，方便安裝，對作業(yè)環(huán)境的光線沒有要求，使機器人能夠快速根據演示行為自主編程。Lin 等[30]設計了一種示教筆（如圖5 所示），利用運動捕捉系統(tǒng)捕捉示教筆上的標記點位置，計算出示教筆的姿態(tài)。通過記錄示教筆的軌跡，并將其映射到機器人的末端來實現(xiàn)工業(yè)機器人的自動編程。

Fig.4 Icosahedral structure with luminescent mark圖4 有發(fā)光標記的20面體結構

Fig.5 Schematic diagram of teaching pen teaching system圖5 示教筆示教系統(tǒng)示意圖

目前針對末端軌跡的學習映射方式多采用上述設置固定標記特征點的方案，這類方案的優(yōu)點可以較為精確地估算出工具末端的姿態(tài)和精確地記錄末端軌跡。由于設置有特殊的標記點，特征提取速度很快，軌跡跟蹤可以做到很高的幀率，可以滿足較高的實時性要求。然而，此類方法的缺點也較為明顯，尤其是在一些需要徒手操作的場景下，人手不可能在持有特殊標記物的情況下再執(zhí)行其他任務。固定標記物只是解決了某個點的軌跡跟蹤問題，對于某些需要人手多指配合，甚至是雙手配合完成的工作，此類方法基本是無效的。因此，如何快速高精度地跟蹤記錄徒手操作的運動軌跡，或者設計一種不影響徒手操作的標記物等問題還有待于進一步研究。

與末端映射相對應的是關節(jié)映射。王朝陽[31]采用Kinect相機獲取人臂特征點的位置數據，提出并推導了一種基于肘部約束的冗余七自由度逆運動學解法來獲得人臂關節(jié)角度數據，建立了人機7-DOF 關節(jié)映射將人臂運動傳遞給機械臂。如圖6所示，該方法實現(xiàn)了基于視覺的人體手臂對機械臂的直接示教。與此類似，Jha 等[32]利用人手臂和機器人的運動學模型以及基于Kinect 的運動傳感系統(tǒng)實現(xiàn)對機器人的視覺示教。如圖7所示，與王朝陽的工作不同之處在于Jha等采用了多臺相機從不同角度采集人體姿態(tài)數據，并加以互補融合得到更為精確的軌跡數據。

Fig.6 Teaching of manipulator based on vision圖6 基于視覺的機械臂示教

Fig.7 Teaching system of manipulator with multiple Kinects圖7 采用多臺Kinect的機械臂示教系統(tǒng)

Sander等[33]提出一種基于遺傳算法（genetic algo-rithm，GA）和主成分分析（principal components ana-lysis，PCA）技術相結合的學習算法，用于仿人機器人模擬人自舉動作。如圖8 所示，在這項工作中，視覺引導技術成功地應用于學習捕捉人體姿勢。

Fig.8 Humanoid robot simulating human self lifting action圖8 仿人機器人模擬人自舉動作

從上述工作中可以看出，關節(jié)映射方式適用于仿人機器人或者結構與人體類似的機械臂，能夠讓機器人做出更類似于人的動作。但是，因為人手臂自由度較多，將其映射到結構差異較大的機器人空間中非常困難。而末端映射方式的使用場景較為廣泛，無需考慮機器人結構上的差異，只需要關注機器人末端軌跡，機器人其他關節(jié)的運動可采用其他算法根據實際情況進行規(guī)劃。

3.2 非映射方式

非映射方式是指從機器人本體的運動數據中學習，通常通過牽引或者遙操作來控制機器人進行示范運動[34]。

Chen等[35]利用KUKA LBR iiwa機器人的拖動演示的功能，針對指定任務進行多次拖動示教，然后利用高斯混合回歸對人的示范動作進行粗略建模，接著基于李雅普諾夫穩(wěn)定性定理，建立了一個約束非線性優(yōu)化模型，并對之前的微分方程進行了迭代求解，最后得到機器人在動態(tài)場景下的動作泛化能力。如圖9 所示，即使每次瓶子所放置的位置不一樣，機器人依然可以通過軌跡泛化來得到新的運動路徑去完成抓取瓶子的任務。

Fig.9 Completing dynamic tasks through teaching and learning圖9 通過示教學習完成動態(tài)任務

采用拖動示教的機器人通常在末端設置有一個六維力傳感器或者機器人關節(jié)中配置有力矩傳感器。因此機器人不僅僅可以獲取示教過程中的軌跡信息，還可以獲取在演示過程中的交互力信息。Duan等[36]提出了一個新的學習框架，該框架采用序貫學習神經網絡對機器人運動進行編碼，并采用一種新的基于力的變阻抗學習方法來估計三個方向的變化阻尼和剛度矩陣。通過多次拖動演示記錄軌跡和力信息（如圖10 所示），演示結束后，無需手動編碼，可以自動獲得統(tǒng)一的控制策略。該項研究中機器人從演示動作中不僅學習到了軌跡信息，還學習到了示范行為中的柔順性。

Fig.10 Obtaining interaction information from demonstration圖10 從演示中獲取交互力信息

采用拖動演示的方式，往往存在一些冗余動作，不能充分利用機器人的自由度。針對這個問題，Koc等[37]提出一種演示參數稀疏學習算法（learning sparse demonstration parameters，LSDP），來實現(xiàn)關節(jié)空間參數的稀疏性，該方法將多任務彈性網絡回歸與非線性優(yōu)化交替進行。彈性網絡將解投射到稀疏特征集上，而在非線性優(yōu)化過程中，這些特征（基函數）在二次優(yōu)化中與數據相適應。如圖11 所示，該方法可以成功地在較少參數的情況下捕捉到動作的風格，減少冗余運動的產生。

Fig.11 Learning action style from demonstration圖11 從演示中學習動作風格

從已有的研究工作中可以看出，非映射學習方式需要機器人本身具備相應的功能，而且對于小而精的任務難以通過拖動示教的方式進行學習，無法對于需要雙手完成的工作進行演示。而映射方式，尤其是末端映射學習方式，可以借助外部傳感器，進行非接觸式自然學習。特別是近年來發(fā)展迅速的視覺傳感器在末端映射學習中應用越來越廣泛。

4 基于任務的演示學習

基于運動的演示學習主要是學習示范行為中動作的軌跡信息與交互力信息，然后根據所提取的有效信息建立相應的運動控制模型，來提高機器人對工作場景變化后的自適應性。而基于任務的演示學習則注重對任務語義層次的學習，需要對獲取的信息進行理解和推理，并能夠將其應用到相應的任務中。與基于運動的演示學習相比，基于任務的演示學習能更好地適應任務環(huán)境的變動。因此，基于任務的演示學習引起了很多研究者的關注，逐漸成為研究熱點。按照不同類型的任務語義，基于任務的演示學習可以分為基于物體位姿變化的語義學習、基于行為動作的語義學習、基于操作規(guī)則的語義學習三類。

4.1 基于物體位姿變化的語義學習

基于物體位姿變化的語義學習是指通過識別判斷物體在被操作前后的位姿空間關系來推理出操作行為的語義信息。如圖12 所示，Dantam 等[38]通過演示中的物體間的裝配邏輯，將人類裝配演示行為離散化為語義上相關的對象連接操作序列。然后，從一組任務演示中推斷出表示任務語義信息的機器人動作語法。最后，將任務語義與機器人的動作語法結合起來，在仿真中展示了機器人執(zhí)行所演示的裝配任務。該工作實現(xiàn)了裝配任務從人到機器人的自動轉移。

Fig.12 Learning assembly sequence from demonstration圖12 從演示中學習裝配序列

Ahmadzadeh等[39]提出了一種融合模仿學習（imita-tion learning，IL）、視覺空間技能學習（visuospatial skill learning，VSL）和傳統(tǒng)規(guī)劃方法的機器人學習方法。該方法能夠通過觀察演示來學習連續(xù)的任務。利用IL 學習基于軌跡的原始動作，VSL 通過視覺感知學習操作的順序。如圖13 所示，通過判斷物塊的空間位置來學習演示動作中的推拉語義信息。

Fig.13 Inferring operation semantics according to change of location of object block圖13 根據物塊的位置變化推理操作語義

Ahmadzadeh 的研究中沒有涉及到多個物體之間的位置關系，當任務中存在多個被操作物體時，問題將會變得復雜。如圖14所示，Das等[40]提出一種基于符號編碼的技能學習方法，針對任務中的多個物體，分別提取它們的絕對位置變化（absolute position change，APC）、相對位置變化（relative position change，RPC）、絕對方向變化（absolute orientation change，AOC）、相對方向變化（relative orientation change，ROC）以及各物體間的鄰近關系推理出演示動作的序列關系。最后調用規(guī)劃模塊來讓機器人執(zhí)行用戶想要放置的對象的動作序列。

Fig.14 Operation sequence reasoning圖14 操作序列推理

在有些場景中，不僅包含被操作物本身，還包含不同類型的操作工具。Gu等[41]建立了一個便攜式裝配演示（portable assembly demonstration，PAD）系統(tǒng)，該系統(tǒng)能夠自動識別所涉及的對象（部件/工具）、所進行的動作以及表征部件間空間關系的裝配狀態(tài)。如圖15所示，為了方便表征部件的識別定位，該系統(tǒng)在部件上貼有二維碼，并通過工具與物體之間的交互行為來推理裝配關系。

Fig.15 Inferring assembly relationship through interaction between tool and object圖15 通過工具與物體的交互推理裝配關系

基于物體位姿變化的語義學習注重的是物體間的空間關系，避免直接識別較為復雜的手勢動作，適合物體種類固定的且操作邏輯簡單的場景，例如：分揀、抓取等。然而有些場景下，物體被操作前后沒有明顯的位置變化。例如裝配任務中的按壓操作、擰緊操作對工件的空間位置變化影響很小，難以被察覺。因此，在需要對物體進行精細化操作的場景中，僅通過物體位姿變化難以提取動作的語義信息。

4.2 基于行為動作的語義學習

基于行為動作的語義學習是指通過對示范行為的識別分割，根據前后動作的邏輯關系推理出任務的語義信息。Lambrecht等[42]設計了一種基于無標記手勢識別和移動增強現(xiàn)實技術的工業(yè)機器人編程系統(tǒng)。用戶可以在三維空間中通過手勢與真實或虛擬對象進行自然交互，程序員可以在機器人工作空間的一張桌子上移動和旋轉他面前的虛擬物體，根據變化自動調整機器人程序。研究中通過對pick-and-place 任務編程的演示，展示了該系統(tǒng)任務級編程的能力。該系統(tǒng)可以使非專業(yè)人員在沒有廣泛實踐和經驗的情況下定義、評估和操作機器人任務。如圖16所示，與其他研究中多采用固定相機的方式不同，該系統(tǒng)中除了配置有固定相機，還配置有一個手持相機設備用于輔助識別人的操作手勢。通過這種方式可以在一定程度上減弱視線遮擋對手勢識別的影響。但是利用現(xiàn)有移動設備上的相機作為輔助相機，影響人操作的靈活性，并且只能單手操作。如圖17所示，Chen 等[43]設計了一種可穿戴的手勢視覺識別設備，通過手腕處的相機采集手勢圖像，較好地解決了常規(guī)固定相機存在的視線遮擋問題，便于演示人員靈活操作。

Fig.16 Hand camera assisting gesture recognition圖16 手持相機輔助手勢識別

Fig.17 Wearable camera equipment圖17 可穿戴相機設備

Ramirez-Amaro等[44]提出一種結合手部運動信息和兩種物體屬性來提取人類演示行為意義的方法。該方法通過在演示學習過程中采集的人的運動信息（move，not move，tool use）和物體狀態(tài)屬性（object acted on，object in hand）來構建知識庫。如圖18 所示，機器人利用知識庫中的信息推理出新任務中的動作序列。

Lin等[45]提出一種卷積神經網絡用來識別演示動作中的手勢并生成動作序列，在機器人控制模塊中實現(xiàn)相應的運動原語，最后基于可擴展代理行為規(guī)范語言（extensible agent behavior specification language，XABSL）在機器人上實現(xiàn)拾取和放置任務。該系統(tǒng)的特點是將基于手勢識別系統(tǒng)與基于行為的編程平臺結合，前者為后者提供高層次的任務序列輸入，來完成人工演示中的取放任務。如圖19所示，該系統(tǒng)通過基于XABSL的平臺實現(xiàn)了一個立方體的堆積任務。

相對于“拿-放”操作任務的示范學習，對動作精細化要求較高的裝配作業(yè)任務的示范學習要困難很多。因為相同的手勢可能出現(xiàn)在不同的裝配環(huán)節(jié)，代表了不同的裝配任務，例如擰緊操作，其手勢姿態(tài)與拿取操作沒有明顯區(qū)別。這對動作的精確識別分割提出了較高的要求。Wang等[46]提出了結合滑動窗口的分割點檢測和基于迭代動態(tài)規(guī)劃的識別優(yōu)化的方法以實現(xiàn)連續(xù)裝配動作分割與識別。如圖20 所示，該方法成功從演示動作中識別分割出不同的裝配動作。

Fig.18 Inferring action sequence圖18 推理動作序列

Fig.19 Cube stacking task圖19 立方體堆積任務

Fig.20 Recognition and segmentation of assembly action圖20 識別分割裝配動作

基于行為動作的語義學習主要研究如何從人連續(xù)的演示動作中提取語義信息，有些研究工作中也同時考慮了物體的屬性[44]，且這些屬性的變化通常是由操作行為引起的，這與基于物體位姿變化的語義學習中單純考慮物體屬性不同。由于基于行為動作的語義學習不依賴于特定的操作對象，因此方法通用性強，具有廣闊的應用前景。但是，對連續(xù)操作動作進行實時識別分割很具有挑戰(zhàn)性。目前大部分研究工作主要針對較為簡單的連續(xù)動作進行識別分割，如何提高對復雜且持續(xù)時間較長的連續(xù)動作進行識別分割的精度和穩(wěn)定性還有待于進一步研究。

4.3 基于操作規(guī)則的語義學習

基于操作規(guī)則的語義學習是指從示范行為和物體位姿的相互關系中提取完成相應任務所需要的規(guī)則約束，根據所獲取的約束條件來完成同類型任務。Lee等[47]提出了一種模仿學習的句法方法，這種方法在有噪聲的情況下從相當少的樣本中以概率激活語法的形式捕獲重要的任務結構。這些學習到的語法可以用于幫助識別不可預見的、共享底層結構的更復雜的任務。如圖21 所示，利用該方法從演示視頻中學習推理出解決漢諾塔問題的規(guī)則，并利用這些規(guī)則解決更大規(guī)模的漢諾塔問題。該方法適用于具有相同底層規(guī)則的任務，通過對小規(guī)模問題的演示學習，來解決大規(guī)模問題。

Fig.21 Solving Hanoi Tower problem by learning rules圖21 通過學習規(guī)則解決漢諾塔問題

陳世佳等[48]提出一種基于對比示范的演示學習方法，通過動作識別和狀態(tài)檢測將信息抽象成符號形式，然后經過認知推理得到演示任務的執(zhí)行決策和約束條件，并通過動作共享指導機器人重現(xiàn)任務。如圖22 所示，演示者分別演示先拿懸空的杯子和先拿桌子上的杯子，通過不同的取杯順序告訴機器人任務的約束條件是先拿懸空的杯子，否則懸空的杯子會摔落。

Fig.22 Extracting task constraints from comparative demonstration圖22 從對比示范中提取任務約束

在各種演示學習的研究中，基于操作規(guī)則的語義學習相對較少。在針對具體的生產生活中包含的規(guī)則種類不多的場景中，可以利用機器人來學習相關的基礎規(guī)則，使機器人能夠根據這些基礎規(guī)則推理出如何執(zhí)行包含若干基礎規(guī)則的復雜任務。例如搭積木、拼圖、恢復魔方等規(guī)則性較強的任務。

5 面臨的挑戰(zhàn)與發(fā)展趨勢

針對基于演示學習的機器人編程問題，國內外研究者已經開展了較為廣泛的研究工作。基于運動的演示學習注重獲取演示者的運動軌跡信息，通常應用于工作內容較為簡單的場景。其優(yōu)點是，可借助機器人本體的拖動示教功能或者借助特定的標記物來記錄用于建模的軌跡信息，避免了對復雜手勢的識別，大大降低了演示學習的實施難度。然而，在工作內容較為復雜的場景下，軌跡信息復雜，甚至還包含不同工具的切換信息，使用基于運動的演示學習往往難以滿足要求。基于任務的演示學習則關注任務本身的語義信息，通過解析任務的語義序列，利用動作原語庫，根據語義序列對原語動作進行組合來重現(xiàn)演示任務。這大大增強了機器人對不同任務靈活應變的能力。但是解析語義序列，需要對連續(xù)動作進行識別和分割，這是一項具有挑戰(zhàn)性的工作。

現(xiàn)階段大部分研究工作主要針對簡單的演示任務，仍處于實驗階段。若要將基于演示學習的機器人編程技術推廣到實際生產應用中，仍面臨以下挑戰(zhàn)：

（1）建立具備通用性的編程框架

現(xiàn)有的演示編程技術往往針對某一具體場景，通用性較低，難以將相關方法移植到其他任務場景下。例如基于拖動演示的方法要求機器人本身具備相應的功能，難以移植到傳統(tǒng)的機器人上。近年來發(fā)展迅速的機器人視覺技術是提高演示編程技術通用性很有潛力的一種方法。建立一套可移植性強的演示編程框架，是一項具有挑戰(zhàn)性的工作。

（2）穩(wěn)定可靠的語義提取方法

與實驗環(huán)境相比，實際的應用場景中的工作條件不可預知，因此相關的示范行為識別分割方法需要較高的環(huán)境自適應性和魯棒性。語義序列提取出錯，可能導致機器人執(zhí)行任務過程中發(fā)生嚴重的事故。一些應用場景下可能涉及到較為復雜和精細化的操作，例如縫補操作、細小零件裝配操作等。提高這些動作在動態(tài)場景下的識別率，對于提高演示編程的穩(wěn)定性具有重要意義。

（3）良好的人機交互體驗

與傳統(tǒng)機器人編程技術相比，演示編程技術雖然降低了對操作人員專業(yè)性的要求，然而現(xiàn)有的演示編程技術的人機交互體驗離自然人機交互的要求還有很大的距離。在使用前往往需要一定程度的培訓，例如：需要告知演示者一些特定的手勢動作[43]；配置特定的演示環(huán)境[46]等。建立良好的人機交互機制，是發(fā)展演示編程技術的重要目標之一。利用多源信息融合提高人機交互體驗是很有前景的方案。

隨著模式識別、人工智能技術的快速發(fā)展，基于演示學習的機器人編程技術將向著智能化、通用化方向發(fā)展：

（1）多感官信息融合

面對建立通用性的編程框架和開發(fā)穩(wěn)定可靠的語義提取方法等挑戰(zhàn)，多感官信息融合是提高通用性和可靠性的有效手段。文獻[49-50]利用視覺、慣性單元、肌電信號等不同種類的傳感信息來獲取演示行為中高層次的語義信息。多源信息融合可以增強算法框架對不同任務環(huán)境的適應能力，提高了機器人演示編程技術的智能化和通用化水平，是優(yōu)化人機交互體驗的重要手段。在可預期的未來，機器人演示編程技術將借助模式識別、人工智能，通過多感官信息融合向智能化、通用化方向發(fā)展。

（2）利用深度神經網絡實現(xiàn)端到端學習

近年來，快速發(fā)展的深度神經網絡技術逐漸引起了機器人領域相關研究者的注意。2018年英偉達公司開發(fā)了一套采用神經網絡的機器人演示學習系統(tǒng)，并在2019年的開發(fā)者大會上進行了現(xiàn)場展示[51]。該系統(tǒng)每個環(huán)節(jié)都由神經網絡組成，可根據人類的演示動作，重現(xiàn)物塊堆疊任務。2018年，中國科學院自動化研究所智能機器人系統(tǒng)研究中心也開展了類似的研究工作[52]。也有的研究者利用深度神經網絡實現(xiàn)了端到端的演示學習[53-54]。端到端的學習方式將研究人員從繁瑣的特征提取環(huán)節(jié)中解放出來，降低了機器人演示學習框架的復雜性。深度神經網絡還具有很強的泛化能力，使得演示學習框架在不同類型的機器人間的移植相對容易，提高了演示學習框架的通用性。利用深度神經網絡實現(xiàn)端到端的機器人演示學習方法將逐漸成為研究熱點。

6 結束語

近年來，隨著制造業(yè)的快速發(fā)展，機器人在生產活動中的應用越來越廣泛。如何簡化機器人編程、提高編程效率、降低機器人的使用門檻對企業(yè)提高生產效率、降低成本具有重要意義?；谘菔緦W習的機器人編程技術是實現(xiàn)這一目標的重要途經之一。現(xiàn)階段基于演示學習的機器人編程技術仍不成熟?？深A期的未來，模式識別、人工智能技術的快速發(fā)展，將會對機器人演示學習技術的完善起到重要的推動作用。另外，人們不僅通過視覺特征，而且通過聲音、動作和其他特征來與其他人交流、學習。與此類似，機器人僅通過單一的感知方法很難學習到高層次的語義信息。因此，多感官信息融合和人工智能技術相結合是演示編程技術發(fā)展的一大趨勢。