朱德良,謝劼欣,嚴海濤,賈路寬,郭士杰,

1(河北工業(yè)大學 機械工程學院,天津 300130) 2(復旦大學 工程與應用技術研究院,上海 200433)

1 前 言

我國社會人口老齡化日益嚴重,失能/半失能老人數(shù)量增加,護理人力資源匱乏的問題也愈發(fā)突出[1].作為緩解老人照護人手不足問題及提高失能人群生活質(zhì)量的有效手段,護理機器人受到廣泛關注與期待.護理機器人可以代替護工完成護理任務,由于護理機器人與人直接接觸,對安全性、自然性和舒適性要求極高[2].目前自主智能護理機器人在技術上還難以應用,利用遙操作技術進行操控是實現(xiàn)機器人護理的合理選擇.事實上,目前投入使用的護理機器人和手術機器人都工作在遙操作模式下.然而,機器人遙操作員的培養(yǎng)并不容易,程序性知識和靈活的操作技能是操作員的必備能力[3].其中程序性知識指難以直接陳述、只能借助于某種作業(yè)形式間接學習的知識.為提高遙操作員技能,標準化護理場景中模擬訓練十分必要.傳統(tǒng)機器人操作訓練采用霍爾斯特德模式,遵循“看—做—學”的流程,這種模式需要專家全程參與指導[4].訓練效果通常經(jīng)由專家評價或采用級量表(如GOALS 或 MISTELS)進行評估[5].然而,專家評價的方式主觀性較大,相關專家人數(shù)過少也使機器人操作員培養(yǎng)困難.Shawn Tsuda等提出了一種新型培訓概念“熟能生巧”[6],該系統(tǒng)在沒有任何專家參與的條件下,向操作員反饋訓練效果,使其提高操作技能.訓練效果基于完成時間、運動碰撞和軌跡穩(wěn)定性等計算出的性能分數(shù)進行評價[7].然而,性能指標只能反映操作員的熟練程度,難以對程序性知識進行有效評估,無法確保被護理人的安全性與舒適性.考慮到護理機器人的動作往往是若干種基本動作(子軌跡)的組合和復用,這些子軌跡可以有效反應操作員的程序性知識水平.本文提出一種基于無監(jiān)督軌跡分割的訓練評價方法.首先構建基于粒度概念對機器人軌跡數(shù)據(jù)進行建模,為操作員的培訓與評估提供合理的依據(jù).其次構建無監(jiān)督聚類模型(TSC-CRP)對操作員的任務軌跡進行分割,得到相應子軌跡.而后通過和專家子軌跡組成的標準任務流程進行對比,為操作員提供更加直觀和程序性的評估方案(如圖1所示).該方案可以在沒有專家參與情況下,對操作員的技能水平進行全面而準確的評估,同時提供有效的反饋信息幫助其進行針對性訓練.本研究主要貢獻如下:

圖1 護理機器人操作員自反饋訓練示意圖Fig.1 Schematic diagram of self-feedback training for nursing robot operators

1)搭建了遙操作護理機器人系統(tǒng),并設計了基于無監(jiān)督軌跡分割的遙操作護理機器人操作員訓練方法,使操作員可以在無專家參與的情況下進行培訓,大大提高了訓練效率;

2)對遙操作護理機器人軌跡從粒度上進行建模,為遙操作護理機器人操作員培訓提供了可靠的反饋標準;

3)提出一種新型TSC-CRP無監(jiān)督聚類模型,可以在無需人工標注的情況下對機器人軌跡進行快速準確分割.

2 相關工作

2.1 機器人操作員技能評估

基于程序性知識的操作員技能評估最早出現(xiàn)在工業(yè)機器人領域,當時的評價方式十分粗糙,程序性知識的應用也僅僅是為了確保作業(yè)安全[8].隨后,程序性知識在外科手術培訓中被重視,并延伸出了手術過程建模(SPM)的概念[9].與此同時,手術軌跡分解被證明可以用于外科醫(yī)生的技能評估.因此,機器人軌跡分割對于護理機器人操作員的培訓與評估也是一種合理的解決方案.

2.2 遙操作機器人軌跡建模

Swaroop Vedula等基于醫(yī)療程序性知識對遙操作醫(yī)療機器人進行了軌跡建模,從而指導醫(yī)生進行微創(chuàng)手術機器人操作訓練[10].該建模圍繞粒度概念將遙操作機器人的軌跡在不同的粒度級別上進行抽象.操作員執(zhí)行的子軌跡,也是手術過程中在最低粒度級別上具有意義的機器人動作.護理機器人的軌跡建模與之類似,都是面向任務過程的子軌跡抽象,這些子軌跡可以直觀的反應操作員的程序性知識水平[11].因此,結合醫(yī)護人員的經(jīng)驗,使用相關信息(如運動學數(shù)據(jù)等)對護理機器人子軌跡進行層次化建模十分必要.

2.3 機器人軌跡分割

早期的軌跡分割方法主要是特征匹配,這種方法人工量大,分割準確度較差.近年來,基于神經(jīng)網(wǎng)絡的機器人軌跡分割成為研究主流.本研究希望在沒有專家參與的情況下對操作員進行技能評估,因此采用無監(jiān)督方法對機器人軌跡進行分割.無監(jiān)督方法將軌跡分割視為軌跡數(shù)據(jù)的聚類問題,構建不同的聚類模型,通過迭代尋優(yōu)獲取最佳的聚類分布.高斯混合模型(GMM)是無監(jiān)督聚類的常用方法,也是最早應用于機器人軌跡分割的無監(jiān)督方法.Sang Hyoung Lee等人[12]利用GMM模型完成了機器人軌跡的分割,該方法首次證明了利用GMM不同高斯組份的切換點作為機器人子軌跡分割點的可行性.然而GMM需要預先指定高斯組份的個數(shù),對于復雜的機器人軌跡數(shù)據(jù),其效果較差.Murali等[13]拓展了該方法,利用一個貝葉斯參數(shù)來估計GMM中高斯組份的個數(shù),再由狄利克雷過程求解該參數(shù),稱為DP-GMM方法.該方法大大提升了基于高斯混合模型聚類算法的實用性.但是,基于GMM聚類的算法都容易出現(xiàn)過度分割現(xiàn)象,在軌跡數(shù)據(jù)中不可避免的存在噪聲或者抖動,這些數(shù)據(jù)點在聚類過程中往往會單獨成類,形成很多聚類碎片,導致分割過度分割.Sanjay Krishnan等[14]在GMM方法的基礎上,提出了轉移狀態(tài)聚類(Transition state clustering,TSC).該類方法的特點是不直接在原始數(shù)據(jù)上得出聚類結果,而是采用一種層次化的聚類的結構,首先尋找轉移狀態(tài)點,再對得到的轉移狀態(tài)點進行聚類,如此反復最終識別出機器人軌跡的分割點[15].

無監(jiān)督聚類方法在機器人軌跡分割中已經(jīng)有了一些實際應用,然而分割精度差且容易產(chǎn)生過度分割的問題仍然難以解決.為了對操作員的技能水平進行更加準確的評估,研究精度更高,魯棒性更強的聚類模型是十分必要的.

3 護理機器人遙操作系統(tǒng)

護理機器人遙操作系統(tǒng)如圖2所示主要由主機器人、從機器人、遠程通信系統(tǒng)組成.主機器人主要包括仿生操作臂、控制臺、監(jiān)視器等.從機器人主要由護理機器人、遠端執(zhí)行器等組成.操作員操縱控制臺上的手柄或者使用仿生操作臂將其意圖通過遠程通信系統(tǒng)傳輸給護理機器人,從而完成任務.

圖2 護理機器人遙操作系統(tǒng)Fig.2 Nursing telerobot operation system

3.1 從端護理機器人結構設計

從端護理機器人結構如圖2(a)所示,從端護理機器人受到主端信號的控制.護理機器人本體由移動底盤、腰部、雙臂、靈巧手等組成.腰部由腰關節(jié)和髖關節(jié)組成,腰關節(jié)實現(xiàn)前后擺動,髖關節(jié)實現(xiàn)左右擺動.腰關節(jié)和髖關節(jié)需要承載較大力矩,選用諧波減速器可以提高帶負載能力,提升系統(tǒng)穩(wěn)定性.為保證雙臂的協(xié)調(diào),護理機器人左右手臂采用對稱結構.每條手臂由肩關節(jié)、肘關節(jié)和腕關節(jié)組成,每個關節(jié)具有兩個自由度.手臂上的3個關節(jié)都采用差動結構,該結構采用雙電機驅(qū)動,結構緊湊的同時提高了系統(tǒng)剛度.靈巧手分別固定在左右機械臂末端,為機械臂的執(zhí)行機構.采用麥克納母輪作為驅(qū)動輪系,實現(xiàn)全向移動.

3.2 主端控制臺以及操作臂結構設計

為了能夠更準確的表達操作者的動作意圖,主端采用控制臺和仿生操作臂作為信號的采集裝置.控制臺由控制手柄、推桿、模擬量旋鈕以及監(jiān)控器組成.護士機器人相比工業(yè)機器人,其作業(yè)方式對機器人的類人動作特性要求高,仿生操作臂由與護理機器人同構的機械雙臂以及多軸控制手柄組成,從物理形態(tài)上能夠采用主從兩端系統(tǒng)對應關節(jié)直接映射的方法,降低了操作者的控制難度和工作負擔,如圖2(b)所示.操作臂共有12個自由度,左右臂各有6個自由度,每個自由度單獨采用高扭矩舵機作為執(zhí)行元件,其運動學參數(shù)與從端護理機器人完全相同.基于人體工程學,選取仿生操作臂的整體尺寸為護理機器人機械臂的2/3,提高了操作者的舒適性和操作性.

3.3 遙操作控制系統(tǒng)方案

操作員在對護理機器人進行遠程控制時,控制臺和仿生操作臂可用于量化操作者的控制指令.仿生操作臂通過總線與控制器通信,控制器將仿生操作臂各舵機的角度值傳輸給護理機器人.控制臺通過對護理機器人手臂末端位姿、手臂單關節(jié)角度以及移動底盤進行調(diào)整來完成控制.通過改變控制臺上手柄的方向和手柄上的按鈕狀態(tài)對護理機器人下達位姿調(diào)整的指令,使手臂末端在標定的機器人坐標系里沿X方向、Y方向、Z方向的平移和旋轉.通過改變控制臺上的推桿狀態(tài)對護理機器人下達手臂單個關節(jié)調(diào)整的指令.護理機器人不僅接收主端發(fā)來的指令,還將視覺信息和當前護理機器人狀態(tài)信息進行反饋.為保證數(shù)據(jù)傳輸流暢性和同步性,采集的圖像數(shù)據(jù)通過TCP進行傳輸,而控制數(shù)據(jù)則由數(shù)傳電臺發(fā)送.

4 護理機器人軌跡建模

4.1 護理機器人數(shù)據(jù)描述

護理機器人的軌跡數(shù)據(jù)主要為運動學數(shù)據(jù),共50個維度,所有運動量都在標定的機器人坐標系下以5Hz頻率采集.其中包含關節(jié)轉角(26維)和機械臂末端位姿(24維).關節(jié)轉角數(shù)據(jù)為機器人各活動關節(jié)相對其標定參考系的角度,包括肩部角度值(兩個變量,θ1,θ2),肘部角度值(2個變量,θ3,θ4),腕部角度值(2個變量,θ5,θ6),靈巧手角度值(6個變量,θ7～θ12),以上關節(jié)為左右對稱結構.腰部則只有兩個角度運動量(2個變量,θx,θy).位姿為機械臂末端在機器人坐標系下的位置和姿態(tài),包含手臂末端位置(3個變量,用xyz表示),手臂末端旋轉矩陣(9個變量,用R1～R9表示).

4.2 子軌跡建模與驗證

從護理任務的運動軌跡中分離出的最低粒度的軌跡段稱為“子軌跡”,子軌跡是可被感知和有意義的最小單元[16,17].通過對子軌跡的組合和復用,操作員可以完成不同的護理動作;對操作員的任務軌跡劃分,通過對比操作員和專家子軌跡,還可以對操作員的程序性知識進行可靠的評估.根據(jù)所獲得的機器人運動學數(shù)據(jù)以及護理機器人在日常護理任務中連續(xù)運動時間、間歇時間、以及任務完成程度,再結合專家豐富的護理經(jīng)驗和知識,本研究將日常的護理任務軌跡,建模為一個包含11段子軌跡集合,如表1所示.日常護理任務可認為由劃分的子軌跡中的元素進行一定的組合復用形成的.

表1 護理機器人子軌跡劃分表Table 1 Nursing robot sub-trajectory division table

為驗證所建模子軌跡的合理性和有效性,本研究使用劃分的子軌跡,對20名操作員進行操作培訓.而后操作員使用操作臂控制護理機器人完成倒水(PW)和移乘(MT)兩個典型的護理任務.兩個任務流程和軌跡劃分如下所示:

倒水(PW)任務:操作員將護理機器人機械臂進行定位(T1),分別移動到放在桌子上的水杯與水瓶附近(T8).機械臂左臂末端微調(diào)(T3)和右臂末端微調(diào)后(T3)同時抓握水杯和水瓶(T4).右臂末端移動至右側標記點(T11),左臂末端移動至左側標記點(T11),并調(diào)整目標水平(T5).右臂關節(jié)旋轉將水瓶中水倒入水杯(T10),右臂末端調(diào)整水平(T5),其視頻快照如圖3(a)所示.

圖3 遙操作護理機器人子軌跡流程圖Fig.3 Flowchart of sub-trajectories for teleoperated robot

移乘(MT):操作員將護理機器人機械臂定位,到達被護理人背部斜后方和大腿內(nèi)側(T1).底盤移動至機械臂末端超過被護理人身體另外一側(T8).研究對象微調(diào)機械臂使機械臂左臂與被護理人背部貼合(T3),機械臂右臂與被護理人大腿內(nèi)測貼合(T3),靈巧手抓握被護理人(T4).調(diào)整護理機器人腰部使被護理人被抬起(T9),底盤移動至輪椅一側(T8).之后調(diào)整腰部使被護理人從護理機器人處移乘至輪椅上(T9),調(diào)整機械臂左臂末端(T3)和右臂末端(T3)使被護理人完全脫離機械臂,其視頻快照如圖3(b)所示.

通過對子軌跡學習,20名操作員均能控制機器人準確規(guī)范的完成倒水與移乘兩項護理任務,這說明基于子軌跡的操作員培訓是切實有效的.

4.3 NRTDS數(shù)據(jù)集構建

本研究將20名操作員的執(zhí)行任務軌跡構建為護理機器人軌跡數(shù)據(jù)集(NRTDS1).NRTDS包含20名技術熟練度不同的操作員(索引為A～T)對倒水(PW)和移乘(MT)兩個任務所完成的軌跡數(shù)據(jù),其中操作員A～E的訓練時間為15～20小時,F～T的訓練時長為1～3小時.軌跡數(shù)據(jù)則為護理機器人的關節(jié)轉角和末端執(zhí)行器位姿的運動學數(shù)據(jù),共50個維度.

5 TSC-CRP無監(jiān)督聚類模型

護理任務中,操作員經(jīng)常會重復某些基礎動作來完成護理動作,由于這些動作在空間中的高度相似性,使用傳統(tǒng)的時不變模型無法完成軌跡分割任務.TSC方法可以識別空間中重復動作,但分割精度差,過度分割嚴重導致其實用性較差.本研究基于轉移狀態(tài)思想,結合中餐館過程(CRP)[18,19],提出了一種TSC-CRP聚類模型.TSC-CRP的兩個關鍵組件是DP-CRP聚類算法和TSC-CRP模型實現(xiàn),下面分別對兩個部分進行介紹.

5.1 DP-CRP聚類算法

本小節(jié)介紹DP-CRP的實現(xiàn)過程,每輪DP-CRP聚類可以被分為兩個階段:1)初始化階段,初始化階段為每一幀數(shù)據(jù)節(jié)點確定一個預分配結果,得到一個假定的聚類結果;2)經(jīng)由吉布斯采樣對聚類結果進行迭代優(yōu)化,直到聚類結果穩(wěn)定.

初始化階段,每一幀數(shù)據(jù)需要經(jīng)過一次遍歷從而確定其歸屬于哪個類簇.首先計算第i個數(shù)據(jù)點屬于第k個類簇的概率Pr(i,k),如公式(1)所示,而后利用Pr(i,k)對聚類進行采樣,得到一個初始化的分布結果.

Pr(i,k)=Pr(prior,i)×Pr(Likelihood,i)

(1)

其中Pr(Likelihood)代表似然概率,由當前聚類狀態(tài)構建的似然函數(shù)得到.

Pr(prior)則表示先驗概率,CRP過程中,每個數(shù)據(jù)點都可能被分到新的類簇或已經(jīng)存在的類簇,兩種情況所對應的先驗概率如公式(2)所示,其中α為CRP過程參數(shù).

(2)

第2個階段利用吉布斯采樣對出初始化結果進行迭代優(yōu)化.首先選取一個數(shù)據(jù)節(jié)點A,而后從聚類中移除該節(jié)點,并更新聚類狀態(tài),重新利用公式(2)計算數(shù)據(jù)A屬于每一個聚類的概率,而后經(jīng)由吉布斯采樣確定新的聚類結果,如果聚類結果趨于穩(wěn)定,即重采樣已經(jīng)不會影響聚類狀態(tài)的變化,則視為聚類結果穩(wěn)定,結束并輸出結果,如果不穩(wěn)定,則進入下一輪吉布斯采樣.

5.2 TSC-CRP模型實現(xiàn)

一名操作員進行一次護理任務的完整過程稱為一個示范,假設X為操作員某個示范的特征序列,由關節(jié)轉角A和位姿數(shù)據(jù)P拼接融合組成X=(A,P)T,則轉移Tt可以用一段時間窗口內(nèi)的運動軌跡表示,即Tt=(Xt-1,Xt,Xt+1),轉移Tt反映了護理動作在t時刻的運動模式.

構造轉移后,使用DP-CRP算法進行聚類可以找到相同的運動模式的,即一系列的轉移聚類簇.該過程如圖4中階段1所示,識別轉移狀態(tài)的過程是沿著時間軸尋找轉移聚類簇發(fā)生變化的轉移點,直觀來講,也就是運動模式發(fā)生變化的點,稱之為轉移狀態(tài).經(jīng)過上述步驟,可以識別出一系列轉移狀態(tài),然而這些轉移狀態(tài)為潛在的軌跡分割點,然而其冗余性過高,無法直接用于子軌跡分割,需要對其進行聚類消去從而識別出最終的軌跡分割點.

圖4 TSC-CRP無監(jiān)督聚類模型Fig.4 TSC-CRP unsupervised clustering model

本研究提出了一種層次化的聚類模型,如圖4中階段2所示,模型中所有的聚類都使用DP-CRP算法.識別后轉移狀態(tài)首先在關節(jié)角度空間進行一次聚類得到關節(jié)角度空間聚類簇,該結果在位姿空間再進行一次聚類,進行冗余消去,最終仍然保留的轉移狀態(tài)點即被認為是軌跡分割點.在軌跡分割的過程中,模型一共在不同的空間域進行了3次聚類,最大限度利用機器人不同模態(tài)的軌跡信息,DP-CRP的模型的類簇收斂性也可以有效的避免的過度分割現(xiàn)象.

5.3 實驗驗證

本小節(jié)使用不同的無監(jiān)督模型對軌跡數(shù)據(jù)進行分割,通過對比分割準確率驗證本文所提出TSC-CRP模型的有效性.同時驗證該模型可以識別操作員的技能水平.

分別使用本文方法和當前主流無監(jiān)督軌跡分割方法對機器人軌跡數(shù)據(jù)集進行軌跡分割,通過比較不同方法的分割準確率以驗證本文方法的有效性,用于實驗對比的無監(jiān)督軌跡分割方法有:GMM,DP-GMM和TSC.實驗數(shù)據(jù)集為4.3節(jié)構建的護理機器人軌跡數(shù)據(jù)集,該數(shù)據(jù)集包含20名操作員所執(zhí)行的倒水和移乘兩個任務共40組軌跡數(shù)據(jù).

實驗評價指標采用分割準確率(Segmentation Accuracy),即算法所分割出的子軌跡段和真實的人工標注是否一致,下文中記為Seg-acc.Seg-acc的計算過程如圖5所示[20].

圖5 SEG-ACC計算過程示意圖Fig.5 Schematic diagram of the SEG-ACC calculation

(3)

分別用GMM、DP-GMM、TSC和TSC-CRP對護理機器人軌跡數(shù)據(jù)集進行分割,各個分割方法的SEG-ACC如表2所示,其中E代表熟練度為15～30小時的操作員,而N表示熟練度為1～2小時的操作員.移乘任務分割結果的可視化對比如圖6所示,圖中軌跡段空白的部分表示分割段的有效長度沒有達到設定閾值,或者存在嚴重的過度分割,不予統(tǒng)計.

表2 SEG-ACC對比表Table 2 SEG-ACC comparison table

圖6 移乘任務子軌跡分割可視化對比圖Fig.6 Visualization of segmented sub-trajectories for human transfer task

由表2可以看出,本文提出的TSC-CRP模型無論在倒水任務還是移乘任務,都取得了最優(yōu)的分割效果,對比基準線GMM,倒水任務的分割準確率提高了32.6%～38.1%,而移乘任務提高了32.2%～34.1%.其中TSC方法對新手操作員的提升略大于熟練操作員,這是因為新手的軌跡機器人軌跡往往不夠平滑,導致算法對分割點的識別不夠準確,TSC算法在不同的數(shù)據(jù)域?qū)Y果進行篩選,可以有效的提高其分割準確率.如圖6所示為一組移乘任務軌跡分割結果的可視化,其中每一種顏色都代表一段可以表示一個原子操作的子軌跡,分割結果與真實標記的相似度越高,說明軌跡分割結果越準確.

對比圖6中的結果可以發(fā)現(xiàn),基于GMM聚類的方法通常有大量的空白段,實驗中可以發(fā)現(xiàn),導致識別失敗的空白段大部分都是過度分割,而TSC方法的可視化結果要明顯優(yōu)于其他.對比TSC-GMM和本文提出的TSC-CRP模型,可以發(fā)現(xiàn)本文模型對較長分割段的處理結果要優(yōu)于TSC-GMM,這得益于TSC-CRP采用基于中餐館過程的聚類,中餐館過程對于聚類簇的個數(shù)有一定收斂性,隨著數(shù)據(jù)量的增加,數(shù)據(jù)點屬于新類簇的先驗概率會隨之下降,從而自動優(yōu)化分割結果.另一方面,TSC-CRP對專家軌跡的分割結果是明顯由于非專家軌跡的,這說明模型可以有效的識別不同操作員的技能水平.軌跡中被標記空白的部分,則意味著操作員在該部分可能存在問題,操作員可以對比該部分軌跡同專家軌跡的差距,從而更有針對性的進行訓練.

6 結 論

本研究提出了一種基于無監(jiān)督軌跡分割的遙操作護理機器人操作員訓練與評估方法.實驗證明,子軌跡建?？梢栽诟泳毜牧６壬蠈Σ僮鲉T提供指導反饋,促進其程序性技能水平提升.無監(jiān)督分割模型可以 對操作員的技能進行直觀全面的評估,同時提供有效的反饋幫助其進行針對性訓練.在未來的工作中,本文計劃結合虛擬現(xiàn)實和觸覺增強技術,使操作員可以擺脫硬件平臺限制,隨時隨地進行訓練模擬,從而進一步提高訓練效率.