李潔，袁雪純，張千

類人型機(jī)器人動(dòng)作情感識(shí)別研究

李潔，袁雪純，張千

（河北工業(yè)大學(xué)，天津 300401）

為優(yōu)化人與機(jī)器人動(dòng)作情感交互方式，研究類人型機(jī)器人動(dòng)作單模態(tài)情緒表達(dá)的可識(shí)別性，探究類人型機(jī)器人動(dòng)作情緒識(shí)別的影響因素。以類人型機(jī)器人NAO為例，采用問卷調(diào)查的方式，基于離散情緒模型，獲取機(jī)器人NAO動(dòng)作表達(dá)情緒的識(shí)別性、效價(jià)和喚醒度，研究類人型機(jī)器人動(dòng)作的情緒識(shí)別性、效價(jià)和喚醒度，基于認(rèn)知匹配理論研究類人型機(jī)器人動(dòng)作與真人模擬動(dòng)作、真人自然動(dòng)作情緒表達(dá)差異的影響因素。人類能夠通過類人型機(jī)器人動(dòng)作的單模態(tài)情緒表達(dá)，在不同情感語義上進(jìn)行比較細(xì)膩的情緒識(shí)別，機(jī)器人形態(tài)及動(dòng)作的幅度、速度、力量是情緒識(shí)別的影響因素。建立類人型機(jī)器人動(dòng)作與情感語義、效價(jià)及喚醒度的關(guān)系模型，以及類人型機(jī)器人動(dòng)作情緒能量圖，為機(jī)器人情感表達(dá)和動(dòng)作交互設(shè)計(jì)提供較為系統(tǒng)的參考模型。

類人型機(jī)器人；動(dòng)作單模態(tài)；情緒識(shí)別；機(jī)器人形態(tài)

智能時(shí)代與體驗(yàn)經(jīng)濟(jì)的到來，使情感機(jī)器人成為服務(wù)機(jī)器人研究領(lǐng)域的熱點(diǎn)。類人型機(jī)器人外形與人相似，被賦予豐富的情感功能，通過語言、屏幕、肢體動(dòng)作、面部表情等多感覺模態(tài)與人類進(jìn)行情感溝通。人類有38%的溝通信息通過身體動(dòng)作進(jìn)行傳遞[1]，因此，研究機(jī)器人動(dòng)作的情感識(shí)別性和影響因素十分有意義。

1 研究概述

近10年來，類人型機(jī)器人動(dòng)作的情感研究逐漸受到學(xué)者的關(guān)注[2-7]，相關(guān)研究主要集中在如何建立機(jī)器人動(dòng)作模型來表達(dá)情感方面。如Nayak等[8]探索了通過肢體語言自動(dòng)表達(dá)角色心理狀態(tài)的可能性。Sial等[9]建立了機(jī)器人運(yùn)動(dòng)參數(shù)與情感變化之間的關(guān)系模型。王梅等[10]提出了人體動(dòng)作姿勢識(shí)別方法，建立了人體手臂與四自由度機(jī)械手臂的人–機(jī)動(dòng)作映射規(guī)則。

在人與機(jī)器人交互過程中，對于用戶情感的相關(guān)研究，學(xué)者多采用問卷調(diào)查的方式對其進(jìn)行評價(jià)，如Bretan等[11]通過離散情感模型，得到了被試者對機(jī)器人情緒行為的分類結(jié)果。邢妍[12]通過用戶體驗(yàn)數(shù)據(jù)，建立了用戶情感曲線，最終構(gòu)建了服務(wù)機(jī)器人交互過程模型。牛國臣等[13]提出了基于個(gè)性的機(jī)器人情感生成機(jī)制和情感決策模型，來建立從個(gè)性到情感空間、從情感空間到各種行為輸出的映射。李抒桐[14]按照情感的類別和強(qiáng)弱，提出了情感改進(jìn)模型，并將模型中的情感量化并代入了情感特征值公式，實(shí)現(xiàn)了對各種情感狀態(tài)的評估。吳偉國等[15]針對類人型機(jī)器人，在PAD三維情感空間內(nèi)，建立了更具普遍性的人工情感計(jì)算模型，可針對外界刺激自主地產(chǎn)生個(gè)性化的情緒響應(yīng)，有效模擬了人類情緒的變化過程。徐桂芝等[16]通過引入深度分離卷積算法，對人臉表情進(jìn)行了特征提取和分類，設(shè)計(jì)了機(jī)器人面部情緒識(shí)別和肢體情感表達(dá)的人機(jī)交互系統(tǒng)。鐘翔偉等[17]制作了真人動(dòng)作數(shù)據(jù)與機(jī)器人動(dòng)作數(shù)據(jù)的動(dòng)畫視頻，根據(jù)實(shí)驗(yàn)得到了交互動(dòng)作的感性量評價(jià)分值，為類人型機(jī)器人的交互行為設(shè)計(jì)提供了定量評估方法。江浩等[18]提出了智能終端產(chǎn)品的最簡情感表達(dá)方法，設(shè)計(jì)開發(fā)了一款最簡情感表達(dá)設(shè)計(jì)的輔助工具。目前，對于類人型機(jī)器人情緒動(dòng)作情感體驗(yàn)的相關(guān)研究較少，且尚未有研究探索類人型機(jī)器人動(dòng)作與真人動(dòng)作之間情緒表達(dá)的差異，以及情緒動(dòng)作表達(dá)的影響因素。文章旨在研究機(jī)器人動(dòng)作單模態(tài)情緒表達(dá)的可識(shí)別性，探究機(jī)器人動(dòng)作情緒識(shí)別的影響因素，為類人型機(jī)器人動(dòng)作設(shè)計(jì)提供參考。

2 機(jī)器人動(dòng)作的情感識(shí)別

2.1 實(shí)驗(yàn)一：設(shè)計(jì)

實(shí)驗(yàn)?zāi)康模候?yàn)證人類能否通過機(jī)器人動(dòng)作單模態(tài)進(jìn)行情感識(shí)別；研究機(jī)器人動(dòng)作單模態(tài)情感識(shí)別的心理范式。

實(shí)驗(yàn)對象：選取NAO機(jī)器人作為實(shí)驗(yàn)對象，NAO機(jī)器人由法國阿爾德巴蘭（Aldebaran Robotics）公司研發(fā)，身高58 cm，全身擁有25個(gè)自由度，機(jī)器人的眼睛、耳朵、軀干、腳等部位都裝有LED燈，可通過動(dòng)作、語音、眼燈與人進(jìn)行交互。

實(shí)驗(yàn)設(shè)計(jì)：控制機(jī)器人其他交互變量，基于動(dòng)作單模態(tài)進(jìn)行情感識(shí)別研究。通過文獻(xiàn)梳理及焦點(diǎn)小組討論，收集到高興、生氣、悲傷、害怕4種情緒的人類動(dòng)作，每種情緒篩選4個(gè)動(dòng)作，另選取2個(gè)中性動(dòng)作，通過編程軟件Choregraphe為機(jī)器人NAO進(jìn)行動(dòng)作編程。將機(jī)器人NAO的18個(gè)動(dòng)作拍成視頻并制成問卷，見圖1。

圖1 機(jī)器人動(dòng)作樣本

問卷設(shè)計(jì)：Q1—Q3分別測量機(jī)器人動(dòng)作情緒識(shí)別、效價(jià)和喚醒度。情緒識(shí)別：將高興、生氣、悲傷、害怕，以及中性的情緒詞匯，依據(jù)情緒效價(jià)和喚醒度擴(kuò)充至13個(gè)，結(jié)合Russel[19]提出的離散情緒模型來設(shè)計(jì)成本實(shí)驗(yàn)情緒模型，見圖2。被試者通過觀看機(jī)器人動(dòng)作視頻，從Q1情緒模型中選取1～2個(gè)情緒詞匯，Q2效價(jià)（0消極—7積極）、Q3喚醒度（0平靜—7強(qiáng)烈）通過李克特量表測量。定向發(fā)放網(wǎng)絡(luò)問卷，共收回問卷50份、有效問卷45份，被試者年齡為19～22歲（=19.96，=0.85），其中男性15人、女性30人。

圖2 情緒模型

2.2 試驗(yàn)數(shù)據(jù)分析

2.1.1 情緒識(shí)別

動(dòng)作情緒識(shí)別結(jié)果見表1。通過SPSS方差分析得出具有情緒識(shí)別顯著性的動(dòng)作：高興（1搖臂晃動(dòng)78%、3飛吻87%、4搖手晃動(dòng)94.2%）、悲傷（2揉眼哭93%、2蹲66%）、害怕（1捂臉后退92%、2抱頭下蹲84%）、生氣（1叉腰側(cè)仰頭62%、2叉腰指向57%）、中性（1站立78%）。18個(gè)樣本動(dòng)作中有10個(gè)動(dòng)作具有顯著性，證明機(jī)器人動(dòng)作單模態(tài)表達(dá)的情緒可以被識(shí)別。根據(jù)每個(gè)動(dòng)作情緒識(shí)別的高頻詞匯來統(tǒng)計(jì)動(dòng)作表達(dá)情緒的細(xì)膩性，例如通過動(dòng)作可以區(qū)分高興、愉悅和歡樂等情緒。情緒識(shí)別率顯示：高興情緒最容易被識(shí)別；悲傷和害怕情緒容易混淆，3、4、3、4等4個(gè)動(dòng)作均表現(xiàn)出悲傷和害怕，且差異性不顯著；生氣情緒表現(xiàn)出識(shí)別率低的特點(diǎn)；站立動(dòng)作被識(shí)別為中性情緒，下蹲動(dòng)作被識(shí)別為悲傷情緒，且具有顯著性。

表1 動(dòng)作情緒識(shí)別結(jié)果

Tab.1 Result of action emotion recognition

注：*表示<0.05。

2.1.2 效價(jià)和喚醒度

1）效價(jià)表達(dá)情緒的積極性。對Q2數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析（見表2）：高興動(dòng)作表達(dá)出最強(qiáng)烈的積極性；生氣動(dòng)作也表達(dá)出積極情緒；中性動(dòng)作的效價(jià)平均值為3.51處于消極和積極的中值；悲傷動(dòng)作表達(dá)出消極情緒；害怕動(dòng)作表現(xiàn)出的情緒消極性最高。同類情緒中不同動(dòng)作的效價(jià)具有差異性，且Q2的效價(jià)結(jié)果與Q1的高頻詞匯語義結(jié)果相對應(yīng)，證明了機(jī)器人可以通過動(dòng)作單模態(tài)傳達(dá)十分細(xì)膩的情感。

表2 動(dòng)作效價(jià)排序

Tab.2 Ranking of action potency

2）喚醒度表達(dá)情緒的強(qiáng)烈程度。對Q3數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析（見表3）：害怕動(dòng)作表現(xiàn)出最強(qiáng)烈的情緒效應(yīng)，喚醒度最高，其次是高興和生氣動(dòng)作，兩者強(qiáng)烈程度相似，再次是悲傷動(dòng)作，最后中性動(dòng)作表現(xiàn)出的情緒喚醒度最低。同類情緒中不同動(dòng)作的喚醒度具有差異性，并且Q3的喚醒度結(jié)果與Q1的高頻詞匯語義結(jié)果相對應(yīng)，證明了機(jī)器人可以通過動(dòng)作單模態(tài)傳達(dá)十分細(xì)膩的情感。

表3 動(dòng)作喚醒度排序

Tab.3 Sequence of action arousal

2.3 實(shí)驗(yàn)一：結(jié)論

人類能夠通過機(jī)器人動(dòng)作單模態(tài)進(jìn)行有效的情感識(shí)別，并且是比較細(xì)膩的情感識(shí)別，具體表現(xiàn)在機(jī)器人動(dòng)作與情感語義、效價(jià)及喚醒度的模型關(guān)系，見圖3。

圖3 動(dòng)作–語義–效價(jià)–喚醒度模型

人類身體形態(tài)常作為隱喻形式用于人工產(chǎn)品形態(tài)，人類動(dòng)作也常作為理解產(chǎn)品功能和交互方式的范式。千百萬年來，通過勞動(dòng)、社交、藝術(shù)活動(dòng)等形式，形成了以人的身體美學(xué)為范式的認(rèn)知及交互準(zhǔn)則，因此機(jī)器人動(dòng)作的情感識(shí)別也是建立在人類動(dòng)作交互范式基礎(chǔ)之上的。實(shí)驗(yàn)中10個(gè)具有情緒識(shí)別顯著性的動(dòng)作可以分為2類范式：一是人類自然動(dòng)作，即人在相應(yīng)情緒中自然表現(xiàn)出來的動(dòng)作，可以被人類共同理解。自然動(dòng)作有1搖臂晃動(dòng)、4搖手晃動(dòng)、2下蹲、1捂臉后退、2抱頭下蹲，動(dòng)作情緒表現(xiàn)為高興會(huì)自然地手臂上揚(yáng)、身體有節(jié)奏的晃動(dòng)，悲傷會(huì)不自覺地表現(xiàn)出向下的趨勢（如下蹲或低頭），害怕會(huì)本能地后退蜷縮并且用手形成遮擋，生氣動(dòng)作中肢體會(huì)下意識(shí)地產(chǎn)生向外的速度和力量，這是人類的本能反應(yīng)。二是人類語義動(dòng)作，即在特定社會(huì)環(huán)境中形成的特定人群共同理解的動(dòng)作含義，此類動(dòng)作含義受人群、地域、時(shí)間等因素的影響。語義動(dòng)作有3飛吻、2揉眼哭、1叉腰側(cè)仰頭、2叉腰指向，這些動(dòng)作形成了特定的社會(huì)語義，能夠準(zhǔn)確地表達(dá)動(dòng)作情感，但人類也會(huì)因社會(huì)文化差異而產(chǎn)生對動(dòng)作不同的理解。

3 機(jī)器人動(dòng)作情感識(shí)別的影響因素研究

人類以自身身體形態(tài)和動(dòng)作語義為基礎(chǔ)來理解機(jī)器人，形成了機(jī)器人動(dòng)作情感識(shí)別的心理范式。然而，機(jī)器人形態(tài)千差萬別，即使是類人型機(jī)器人也與人類形態(tài)有差別，在交互過程中人類的認(rèn)知系統(tǒng)會(huì)根據(jù)機(jī)器人形態(tài)自動(dòng)調(diào)節(jié)，形成與機(jī)器人形態(tài)相匹配的動(dòng)作情感認(rèn)知模型。實(shí)驗(yàn)二在機(jī)器人動(dòng)作單模態(tài)情感識(shí)別心理范式基礎(chǔ)之上，基于機(jī)器人形態(tài)來研究機(jī)器人動(dòng)作情感識(shí)別的影響因素。

3.1 實(shí)驗(yàn)二：設(shè)計(jì)

為探究動(dòng)作的形態(tài)載體，即人和機(jī)器人形態(tài)差異能否影響動(dòng)作的情感識(shí)別，并進(jìn)一步探尋影響動(dòng)作情感識(shí)別的特征因素，實(shí)驗(yàn)二進(jìn)行了機(jī)器人與真人動(dòng)作的對比實(shí)驗(yàn)。

實(shí)驗(yàn)設(shè)計(jì)：通過實(shí)驗(yàn)一識(shí)別結(jié)果，選取最具代表性的3個(gè)機(jī)器人動(dòng)作與真人動(dòng)作進(jìn)行對比研究，選取的動(dòng)作有1搖臂晃動(dòng)（高興）、2抱頭下蹲（害怕）、3出拳（生氣）。

實(shí)驗(yàn)方法：為機(jī)器人NAO的3個(gè)動(dòng)作拍攝真人比對視頻，分別由真人錄制2組動(dòng)作，一組為真人完全模擬機(jī)器人動(dòng)作，另一組為保留動(dòng)作類型的真人自然動(dòng)作。控制真人視頻樣本的面部表情，被試者需全程佩戴口罩，服裝低調(diào)樸素，并嚴(yán)格控制除動(dòng)作之外影響情感識(shí)別的其他變量。

問卷設(shè)計(jì)：將每個(gè)動(dòng)作的機(jī)器人視頻、真人模擬視頻和真人自然視頻設(shè)為一組，每個(gè)視頻設(shè)有情緒識(shí)別度、效價(jià)和喚醒度3個(gè)問題，問題（Q1：你同意視頻中動(dòng)作表達(dá)的情緒是xx嗎？Q2：你認(rèn)為視頻中情緒表達(dá)的消極/積極程度是？Q3：你認(rèn)為視頻中情緒表達(dá)的強(qiáng)烈程度是？）均采用7級(jí)李克特量表形式。定向發(fā)放網(wǎng)絡(luò)問卷，共收回問卷50份，有效問卷43份，被試者年齡為18～22歲（=19.93，=0.83），其中男14人、女29人。

3.2 實(shí)驗(yàn)二：數(shù)據(jù)

采用網(wǎng)格坐標(biāo)法對數(shù)據(jù)進(jìn)行定位，選取動(dòng)作主要關(guān)節(jié)部位（頭部、頸部、腕部和膝部），并通過關(guān)節(jié)坐標(biāo)點(diǎn)的變化來計(jì)算動(dòng)作幅度和速度，見表4。

表4 實(shí)驗(yàn)二樣本數(shù)據(jù)

Tab.4 Sample data of Experiment 2

3.2.1 高興–搖臂晃動(dòng)

搖臂晃動(dòng)動(dòng)作考察高興情緒識(shí)別。SPSS方差分析結(jié)果見表5，機(jī)器人動(dòng)作和真人自然動(dòng)作在情緒識(shí)別、效價(jià)及喚醒度上沒有顯著性差異，均高于真人模擬動(dòng)作且具有顯著性差異。實(shí)驗(yàn)中機(jī)器人和真人模擬動(dòng)作幅度趨于一致，但真人模擬動(dòng)作的情緒識(shí)別性顯著低于機(jī)器人動(dòng)作，證明動(dòng)作載體的形態(tài)會(huì)影響動(dòng)作的情緒識(shí)別。機(jī)器人動(dòng)作與真人自然動(dòng)作相比，真人自然動(dòng)作幅度大于機(jī)器人動(dòng)作幅度，說明人可以根據(jù)動(dòng)作載體形態(tài)自動(dòng)匹配與之相對應(yīng)的動(dòng)作幅度，因此幅度是機(jī)器人動(dòng)作情緒識(shí)別的影響因素。

表5 高興-搖臂晃動(dòng)顯著性結(jié)果

Tab.5 Significant results of happy-rocker rocking

3.2.2 害怕–抱頭下蹲

抱頭下蹲考察害怕情緒識(shí)別。實(shí)驗(yàn)中機(jī)器人和真人的身體結(jié)構(gòu)比例不一致，機(jī)器人腿部占比小且下蹲幅度小，視頻樣本中通過控制速度，來保持真人模擬動(dòng)作與機(jī)器人動(dòng)作下蹲速度的視覺感受一致。SPSS方差分析結(jié)果見表6，真人自然動(dòng)作情緒識(shí)別高于機(jī)器人動(dòng)作，也高于真人模擬動(dòng)作，其中真人自然動(dòng)作與真人模擬動(dòng)作有顯著性差異=0.042；真人自然動(dòng)作的喚醒度高于機(jī)器人動(dòng)作和真人模擬動(dòng)作，有顯著性差異。真人自然動(dòng)作的下蹲速度高于真人模擬動(dòng)作和機(jī)器人動(dòng)作，且情緒識(shí)別及喚醒度與二者具有顯著性差異。結(jié)果說明，人可以根據(jù)動(dòng)作載體形態(tài)自動(dòng)匹配與之相對應(yīng)的動(dòng)作速度，因此速度是機(jī)器人動(dòng)作情緒識(shí)別的影響因素。

表6 害怕-抱頭下蹲顯著性結(jié)果

Tab.6 Significant results of fear-head holding squat

3.2.3 生氣–出拳

出拳動(dòng)作考察生氣情緒識(shí)別。SPSS方差分析結(jié)果見表7，真人自然動(dòng)作識(shí)別高于真人模擬動(dòng)作，高于機(jī)器人動(dòng)作，且三者間具有顯著性差異=0.001。真人自然動(dòng)作的喚醒度高于真人模擬動(dòng)作和機(jī)器人動(dòng)作，且有顯著性差異=0.001。機(jī)器人動(dòng)作和真人模擬動(dòng)作有情緒識(shí)別的顯著性差異，說明動(dòng)作形態(tài)載體影響動(dòng)作情緒識(shí)別。由于機(jī)器人結(jié)構(gòu)和技術(shù)限制無法完成動(dòng)作的力量性，所以機(jī)器人生氣情緒識(shí)別率較低。真人自然動(dòng)作力量感明顯高于模擬動(dòng)作和機(jī)器人動(dòng)作，且在情緒識(shí)別性和喚醒度上與兩者具有顯著性差異。實(shí)驗(yàn)結(jié)果表明力量感是動(dòng)作情緒識(shí)別的影響因素。

表7 生氣-出拳顯著性結(jié)果

Tab.7 Significant results of anger and punch

3.3 實(shí)驗(yàn)二：結(jié)論

實(shí)驗(yàn)證明動(dòng)作載體的形態(tài)影響動(dòng)作的情緒識(shí)別，機(jī)器人動(dòng)作在幅度、速度及力量感上均弱于真人自然動(dòng)作，但人可以根據(jù)動(dòng)作載體形態(tài)自動(dòng)匹配與之相對應(yīng)的動(dòng)作認(rèn)知模型。機(jī)器人動(dòng)作的幅度、速度和力量是動(dòng)作情緒識(shí)別的影響因素。

基于實(shí)驗(yàn)一的結(jié)論，并結(jié)合實(shí)驗(yàn)二的動(dòng)作情緒識(shí)別影響因素來繪制動(dòng)作情緒能量表，見表5。分別用范圍、箭頭、圓圈代表動(dòng)作的幅度、速度、力量，面積越大代表動(dòng)作幅度越大，箭頭數(shù)量越多代表運(yùn)動(dòng)速度越快，箭頭方向代表運(yùn)動(dòng)方向，圓圈越大代表運(yùn)動(dòng)力量越強(qiáng)。

表8 機(jī)器人動(dòng)作情緒能量表

Tab.8 Emotional energy diagram of robot action

由表8可知，高興動(dòng)作能量圖范圍大、顏色較深、2個(gè)向上箭頭、手部有力量點(diǎn)，代表動(dòng)作幅度大、速度較快、手部力量較弱、動(dòng)作呈向上趨勢；悲傷動(dòng)作能量圖范圍較小、顏色淺、1個(gè)向下箭頭、無力量點(diǎn)，代表動(dòng)作幅度較小、速度慢、無力量、動(dòng)作呈向下趨勢；害怕動(dòng)作能量圖范圍較大、顏色深、3個(gè)箭頭由外指向內(nèi)、手腕和手肘沒有力量點(diǎn)，代表動(dòng)作幅度較大、速度快、手臂力量較弱、動(dòng)作趨勢呈收縮和遠(yuǎn)離趨勢；生氣動(dòng)作能量圖范圍較大、顏色深、2個(gè)方向相反的箭頭、手部有力量點(diǎn)，代表動(dòng)作幅度較大、速度快、沒有固定運(yùn)動(dòng)方向、手部力量強(qiáng)。

4 總結(jié)

基于實(shí)驗(yàn)一和實(shí)驗(yàn)二的結(jié)論，綜合歸納類人型機(jī)器人的情感動(dòng)作交互設(shè)計(jì)參考模型，見圖4。模型包括機(jī)器人情感動(dòng)作交互范式及動(dòng)作設(shè)計(jì)要素，動(dòng)作設(shè)計(jì)要素依據(jù)4種基本情緒進(jìn)行拆分，由動(dòng)作方向、幅度、速度、力量感4個(gè)維度構(gòu)成，為機(jī)器人情感表達(dá)和動(dòng)作交互設(shè)計(jì)提供了一套較為系統(tǒng)的參考。

圖4 類人型機(jī)器人情感動(dòng)作交互設(shè)計(jì)參考模型

5 結(jié)語

通過實(shí)驗(yàn)驗(yàn)證了：人類能夠通過機(jī)器人動(dòng)作單模態(tài)進(jìn)行比較細(xì)膩的情緒識(shí)別，機(jī)器人動(dòng)作表達(dá)的高興情緒是最容易被識(shí)別的，悲傷和害怕情緒容易混淆，生氣情緒識(shí)別率低，機(jī)器人動(dòng)作單模態(tài)的情緒識(shí)別有2種心理范式，一是人類自然動(dòng)作、二是人類語義動(dòng)作；機(jī)器人形態(tài)影響動(dòng)作的情緒識(shí)別，人可以根據(jù)機(jī)器人形態(tài)自動(dòng)匹配與之相對應(yīng)的動(dòng)作認(rèn)知模型，機(jī)器人動(dòng)作幅度、速度和力量是動(dòng)作情緒識(shí)別的影響因素。

通過實(shí)驗(yàn)分析總結(jié)了：機(jī)器人動(dòng)作與情感語義、效價(jià)及喚醒度的模型關(guān)系；機(jī)器人動(dòng)作情緒能量圖；類人型機(jī)器人情感動(dòng)作交互設(shè)計(jì)參考模型。文中關(guān)于機(jī)器人動(dòng)作情緒感知的研究結(jié)果，可以為服務(wù)機(jī)器人動(dòng)作交互設(shè)計(jì)提供參考。

[1] MEHRABIAN A. Communication without Words[J]. Psychology Today, 1968, 2: 53-55.

[2] 王志良, 王巍, 谷學(xué)靜, 等. 具有情感的類人表情機(jī)器人研究綜述[J]. 計(jì)算機(jī)科學(xué), 2011, 38(1): 34-39.

WANG Zhi-liang, WANG Wei, GU Xue-jing, et al. Research Summarization of Humanoid Expression Robot with Emotion[J]. Computer Science, 2011, 38(1): 34-39.

[3] 王巍, 王志良, 鄭思儀, 等. 一類具有相同結(jié)構(gòu)的表情機(jī)器人共同注意方法[J]. 機(jī)器人, 2012, 34(3): 265-274.

WANG Wei, WANG Zhi-liang, ZHENG Si-yi, et al. Joint Attention for a Kind of Facial Expression Robots with the Same Structure[J]. Robot, 2012, 34(3): 265-274.

[4] 柯顯信, 尚宇峰, 盧孔筆. 仿人情感交互表情機(jī)器人研究現(xiàn)狀及關(guān)鍵技術(shù)[J]. 智能系統(tǒng)學(xué)報(bào), 2013, 8(6): 482-488.

KE Xian-xin, SHANG Yu-feng, LU Kong-bi, et al. Joint Analysis of the Present Research Status and Key Technology of the Humanoid Emotion-interactive Countenance Robot[J]. CAAI Transactions on Intelligent Systems, 2013, 8(6): 482-488.

[5] 柯顯信, 陳玉亮, 唐文彬, 等. 仿人面部表情機(jī)器人連續(xù)表情運(yùn)動(dòng)控制系統(tǒng)設(shè)計(jì)[J]. 微電機(jī), 2011, 44(6): 35-39.

KE Xian-xin, CHEN Yu-liang, TANG Wen-bin, et al. A continuous facial motion control system of facial expression robot[J]. Micromotors, 2013, 8(6): 482-488.

[6] 吳偉國, 宋策, 孟慶梅. 仿人頭像機(jī)器人"H&Frobot- Ⅲ"語音及口形系統(tǒng)研制與實(shí)驗(yàn)[J]. 機(jī)械設(shè)計(jì), 2008, 25(1): 15-19.

WU Wei-guo, SONG Ce, MENG Qing-mei. Development and Experiment of Speech and Mouth Shape System of Humanoid Robot "H & frobot -Ⅲ"[J]. Journal of Machine Design, 2008, 25(1): 15-19.

[7] 唐文彬. 仿人面部表情機(jī)器人及表情實(shí)現(xiàn)方法的研究[D]. 上海: 上海大學(xué), 2010.

TANG Wen-bin. Research on Humanoid Facial Expression Robot and Expression Realization Method[D]. Shanghai: Shanghai University, 2010.

[8] NAYAK V, TURK M. Emotional Expression in Virtual Agents through Body Language[M]. Springer Berlin Hei--del-berg, 2005.

[9] SIAL S B, SIAL M B, AYAZ Y, et al. Interaction of Robot with Humans by Communicating Simulated Emo-tional States through Expressive Movements[J]. Intelligent Service Robotics, 2016, 9(3): 231-255．

[10] 王梅, 盧熙昌, 屠大維, 等. 基于人體動(dòng)作姿態(tài)識(shí)別的機(jī)器人仿人運(yùn)動(dòng)[J]. 機(jī)械工程學(xué)報(bào), 2016, 52(21): 26-34.

WANG Mei, LU Xi-chang, TU Da-wei, et al. Humanoid Motion of Manipulator that Based on Human-posture Recognition[J]. Journal of Mechanical Engineering, 2016, 52(21): 26-34.

[11] BRETAN M, HOFFMAN G, WEINBERG G. Emotionally Expressive Dynamic Physical Behaviors in Robots[J]. International Journal of Human-Computer Studies, 2015, 78: 1-16．

[12] 邢妍. 服務(wù)機(jī)器人交互設(shè)計(jì)研究與應(yīng)用[D]. 沈陽: 沈陽工業(yè)大學(xué), 2017.

XING Yan. Research and Application of Service Robot Interaction Design[D]. Shenyang: Shenyang University of Technology, 2017.

[13] 牛國臣, 胡丹丹, 高慶吉. 基于個(gè)性的機(jī)器人情感生成和決策模型構(gòu)建[J]. 機(jī)器人, 2011, 33(6) : 706-711.

NIU Guo-chen, HU Dan-dan, GAO Qing-ji. Robot Emotion Generation and Decision-making Model Construction Based on Personality[J]. Robot, 2011, 33(6): 706-711.

[14] 李抒桐. 類人型機(jī)器人的情感化肢體語言模型研究[D]. 哈爾濱: 哈爾濱理工大學(xué), 2014.

LI Shu-tong. Research on Emotional Body Language Model of Humanoid Robot[D]. Harbin: Harbin University of Science and Technology, 2014.

[15] 吳偉國, 李虹漫. PAD情感空間內(nèi)人工情感建模及人機(jī)交互實(shí)驗(yàn)[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2019, 51(1): 29-37.

WU Wei-guo, LI Hong-man. Artificial Emotion Modeling in PAD Emotional Space and Human-robot Interactive Experiment[J]. Journal of Harbin Institute of Technology, 2019, 51(1): 29-37.

[16] 徐桂芝, 趙陽, 郭苗苗, 等. 基于深度分離卷積的情緒識(shí)別機(jī)器人即時(shí)交互研究[J]. 儀器儀表學(xué)報(bào), 2019, 40(10): 161-168.

XU Gui-zhi, ZHAO Yang, GUO Miao-miao, et al. Research on Real-time Interaction for the Emotion Recognition Robot Based on Depthwise Separable Convolution[J]. Chinese Journal of Scientific Instrument, 2019, 40(10): 161-168.

[17] 鐘翔偉, 留滄海, 蔣剛. 仿人機(jī)器人交互行為設(shè)計(jì)評估方法[J]. 西南科技大學(xué)學(xué)報(bào), 2017, 32(1) : 78-84.

ZHONG Xiang-wei, LIU Cang-hai, JIANG Gang. A Study on the Evaluation Method of the Humanoid Robot Interaction Design[J]. Journal of Southwest University of Science and Technology, 2017, 32(1): 78-84.

[18] 江浩, 徐婧玨, 林思遠(yuǎn), 等. 智能終端的最簡情感表達(dá)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2020, 32(7): 1042-1051.

JIANG Hao, XU Jing-yu, LIN Si-yuan, et al. Minimal Emotional Expressivity in Intelligent Terminals[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(7): 1042-1051.

[19] RUSSELL J A. A Circumplex Model of Affect[J]. Journal of Personality & Social Psychology, 1980, 39(6): 1161-1178.

Emotion Recognition of Humanoid Robot Action

LI Jie, YUAN Xue-chun, ZHANG Qian

(Hebei University of Technology, Tianjin 300401, China)

In order to optimize the emotional interaction between human and robot, the identifiability of single-mode emotion expression of humanoid robot action was studied, and the influencing factors of humanoid robot action emotion recognition were explored. Taking the humanoid robot NAO as an example, the recognition, potency and arousal degree of the emotion expressed by the NAO action of the robot are obtained by questionnaire survey based on the discrete emotion model. The emotion recognition, potency and arousal degree of the humanoid robot action are studied. Based on the cognitive matching theory, the emotional expression differences between humanoid robot action and human simulated action and human natural action are studied The influencing factors. It is found that human beings can recognize emotions in different emotional semantics through the single-mode emotion expression of humanoid robot action. The robot shape, the amplitude, speed and strength of action are the influencing factors of emotion recognition. The relationship model between humanoid robot action and emotion semantics, valence and arousal degree is established, and the emotion energy diagram of humanoid robot action is also established, which provides a more systematic reference model for robot emotion expression and action interaction design.

humanoid robot; singl- mode emotion expression; emotion recognition; robot shape

TB472

A

1001-3563(2022)10-0066-07

10.19554/j.cnki.1001-3563.2022.10.007

2021-12-15

李潔（1981—），女，碩士，副教授，主要研究方向?yàn)楣I(yè)設(shè)計(jì)。

責(zé)任編輯：馬夢遙