doi：10.19734/j. issn.1001-3695.2024.12.0466

Multimodal dialogue emotion perception algorithm based on feature divergence

Ren Qinze ^a，b ，Yuan Yea，b，F(xiàn)u Ketinga，?，F(xiàn)u Junxiua，?，Xu Kanga，b，Liu Na，bt （a.Institutefcneelie，ooflheamp;，Ueitffoneamp;oi ，China）

Abstract：Multimodalemotion perceptioniscrucialfor monitoring personal healthand providing medicalcareinthe fieldof proactive health.Currnt multimodal dialogue emotionperceptiontechnologiesfacechallenges ifusing informationacross differentmodalities，particularlyincapturinglocalrelationshipsbetweenmodalies.Theproposedmultimodalfusionalgorithm basedonfeaturediversion，MEPAD（multimodalemotionperceptionalgorithmwith featurediversion），addressedthesechallenges bycapturing global information indialogues using graphneural networks and integrating homogeneous and specific features across modalities through thehypercomplex number system and pairwise feature fusion mechanisms.Experiments on he IEMOCAP and MOSEI datasets demonstratethat MEPAD significantlyoutperforms existing methodsin multimodal dialogue emotionperceptiontasks，highlightingitsefectiveessandpotentialinhandlingomplexemotionaldata.Thisresearchoffs newinsights for theapplication of multimodal emotion perception technology in proactive health.

Key words：multimodal emotionrecognition；graph neural networks；hypercomplex number system；pairwisefeature fusion; dialogue emotion perception

0 引言

情緒感知是人類交流中的一個關(guān)鍵組成部分，在主動健康領(lǐng)域，對話者情緒變化也可以作為評估人類健康信息監(jiān)控的重要指標[1]。主動健康強調(diào)通過個體的主動參與和自我管理來提升整體健康水平，而情緒感知在這一過程中發(fā)揮著重要作用。因此，為了更有效地進行健康風(fēng)險預(yù)警，分析對話中的情緒感知任務(wù)顯得尤為必要[2]

在人類交流過程中，表達情緒的方式多種多樣，包括面部表情、聲音、姿態(tài)、文本及圖像等。近年來，對話中的情感識別（emotionrecognitioninconversations，ERC）任務(wù)逐漸受到關(guān)注，通過利用對話中的多模態(tài)信息來檢測說話人的情緒狀態(tài)，已經(jīng)吸引了廣泛的關(guān)注，并逐步應(yīng)用于健康監(jiān)控、醫(yī)療陪護、對話生成等多個實際場景。本研究聚焦于主動健康理念下的醫(yī)療陪護場景應(yīng)用，通過多模態(tài)情緒識別技術(shù)，致力于精準地感知對話中的情緒信息，以此即可根據(jù)情緒變化提供相應(yīng)的對話信息，旨在全方位提升使用者的交互體驗與心理舒適度，助力打造更加人性化、智能化的醫(yī)療陪護模式。具體的情緒對話示例如圖1所示。

目前，基于多模態(tài)的ERC任務(wù)已經(jīng)取得了顯著進展。利用不同模態(tài)間的依賴性與互補性來提升情感識別精度已成為該領(lǐng)域的新趨勢。相比單模態(tài)ERC任務(wù)，多模態(tài)情感識別能夠充分利用各個模態(tài)之間的互補信息，從而實現(xiàn)更高準確性和魯棒性。然而，多模態(tài)數(shù)據(jù)引人后也帶來了新的挑戰(zhàn)：如何有效融合不同模態(tài)特征，以及如何建立各個模態(tài)間的隱含聯(lián)系，成為多模態(tài)ERC任務(wù)亟待解決的問題[3]

針對此問題，已然提出了諸多研究方法：a）對于數(shù)據(jù)融合策略的研究。如文獻［4]使用深度玻爾茲曼機（DBM）來學(xué)習(xí)多模態(tài)輸人發(fā)現(xiàn)不同模態(tài)之間低層次特征的復(fù)雜非線性關(guān)系以及文獻[5]中的流式兩階段特征融合。b）對于對話中復(fù)雜關(guān)系的捕捉。如文獻[6，7]利用門控單元模擬說話者自身的情感影響，以此檢測對話中的情緒；同時隨著圖神經(jīng)網(wǎng)絡(luò)（graphneuralnetwork，GNN）技術(shù)的興起，利用GNN捕獲對話中的全局信息已成為一個有前景的研究方向。如文獻[8，9]均利用圖來捕獲對話中復(fù)雜信息，文獻[10]提出了一種基于時序感知的多模態(tài)對話情緒感知模型（MTDAG），該模型利用有向無環(huán)圖（DAG）結(jié)構(gòu)來融合文本、語音和圖像三種模態(tài)的信息。然而，這些方法對于對話中各模態(tài)間不同特性的復(fù)雜信息捕捉往往并不理想，這限制了對不同模態(tài)間互補信息的充分利用，進而影響了多模態(tài)情感表達的能力。

針對此問題，本文提出了一種基于特性分流的特征提取結(jié)構(gòu)（multimodal emotion perception algorithm with feature diver-sion，MEPAD），該結(jié)構(gòu)的主要工作如下：

a）提出了一種新的復(fù)合圖結(jié)構(gòu)，設(shè)計相應(yīng)的圖生成器，旨為對話雙方建立聯(lián)系，同時對一句話中多個模態(tài)的特征進行關(guān)聯(lián)。通過這種圖結(jié)構(gòu)，能夠捕捉和整合來自不同模態(tài)的豐富信息，如文本、聲音和面部表情。這些生成的圖數(shù)據(jù)隨后被輸入到圖卷積網(wǎng)絡(luò)中，以提取情緒對話中的全局信息。這種方法不僅提高了情緒感知的準確性，而且通過圖結(jié)構(gòu)的引人，為理解對話中的復(fù)雜情感動態(tài)提供了一種強大的工具。

b）在MEPAD結(jié)構(gòu)中引人超復(fù)數(shù)模塊。該模塊中借鑒了數(shù)學(xué)中超復(fù)數(shù)的概念，在特征融合過程中引入了復(fù)數(shù)的加法和乘法，以表示特征的疊加和變換。這種變換操作能夠更靈活地組合和調(diào)整不同模態(tài)的特征，從而提高特征融合的靈活性和效果[]

c）為了更好地捕獲多模態(tài)間的聯(lián)系，在MEPAD結(jié)構(gòu)中提出使用成對Transformer用于提取模態(tài)間的特異性特征，將提取的特征與超復(fù)數(shù)模塊結(jié)合使用以提取多模態(tài)特征。

d）在IEMOCAP和MOSEI兩個數(shù)據(jù)集上與其他模型基線相比較，進行一系列的實驗對比，證明本文提出的多模態(tài)融合結(jié)構(gòu)的有效性。

1相關(guān)工作

1.1對話中多模態(tài)情緒感知

對話中的情緒感知是指在對話交互過程中，通過分析和理解說話人的多種信息，識別和理解對話參與者的情緒狀態(tài)。目前，關(guān)于多模態(tài)情緒感知中多個模態(tài)的研究有MMS2S的三單峰編碼器，使用多頭的方式進行模態(tài)提取[12]，以及TFN中利用矩陣運算進行特征融合[13]。此外，在對話中復(fù)雜信息的捕捉上，DialogueRNN[14]使用了三個門控循環(huán)單元（GRU）來建模對話中的情緒，DialogueGCN[15]與MMGCN[16]均通過建立圖結(jié)構(gòu)使用圖卷積來獲取對話中前后文的信息。本文中，出圖神經(jīng)網(wǎng)絡(luò)在對話的復(fù)雜信息提取方面展現(xiàn)出了較為優(yōu)秀的性能。

1.2多模態(tài)融合策略

多模態(tài)融合策略的研究已經(jīng)取得了豐富的成果，現(xiàn)如今關(guān)于多模態(tài)融合策略主要分為早期融合、中期融合和后期融合三種，各自具有不同的優(yōu)缺點，如 OSF^[17] 按順序一步步合并數(shù)據(jù)，并且可以對不同類型的數(shù)據(jù)進行選擇性加權(quán)。CMN[18]方法通過直接連接不同模態(tài)的特征。 ICON^[6] 方法則提取多模態(tài)會話特征，并利用全局記憶分層來建模情緒影響，提高了話語視頻情感識別的性能。Lopez等人[19]提出了一種基于超復(fù)數(shù)的多模態(tài)架構(gòu)，在超復(fù)數(shù)域中通過融合模塊一起處理，從而捕獲學(xué)習(xí)到的潛在特征之間的關(guān)系。本文進一步探索了多模態(tài)融合中的方法應(yīng)用，多模態(tài)數(shù)據(jù)的使用會產(chǎn)生更多的噪聲。想要更好地提取到模態(tài)間的互補性特征，減少模態(tài)間噪聲造成的影響，本文提出了一種基于特性分流的多模態(tài)情緒感知算法，通過對多模態(tài)間的數(shù)據(jù)進行分流特性提取，減少噪聲的影響。為此，引入數(shù)學(xué)中超復(fù)數(shù)方法，將特征信息輸人到復(fù)數(shù)數(shù)系中進行融合，同時引人模態(tài)間特異性特征的概念，使用成對Transformer結(jié)構(gòu)對模態(tài)間的特異性信息進行提取，兩者結(jié)合共同提取多模態(tài)特征。

1.3 圖結(jié)構(gòu)構(gòu)建

在利用圖神經(jīng)網(wǎng)絡(luò)進行對話中信息的提取時，需要考慮相應(yīng)圖結(jié)構(gòu)設(shè)計，不同圖結(jié)構(gòu)的設(shè)計對于特征的提取存在著較大的影響。DialogueGCN使用圖卷積網(wǎng)絡(luò)來編碼對話中的上下文信息，MMGCN通過將每個話語的每個模態(tài)視為一個節(jié)點來構(gòu)建異構(gòu)圖，兩者均是對于對話中的不同數(shù)據(jù)特性而進行的圖結(jié)構(gòu)設(shè)計。MTAG[20]能夠?qū)Ξ惒椒植嫉亩嗄B(tài)序列數(shù)據(jù)進行融合和對齊。COGMEN[21]使用基于GNN的架構(gòu)來建模復(fù)雜的依賴關(guān)系，包括對話中的本地和全局信息。Chen等人[22]提出了一種 M³Net ，用來探索多模態(tài)數(shù)據(jù)和上下文之間的關(guān)系。但這些方法對于圖設(shè)計中模態(tài)間的數(shù)據(jù)考慮并不完善，為此Nguyen等人[23]提出了CORECT架構(gòu)，建立圖結(jié)構(gòu)時將模態(tài)間的聯(lián)系也建立了連接，但單純增加圖的復(fù)雜性卻并非最優(yōu)解，為了提取特定特性的特征，本文的圖結(jié)構(gòu)設(shè)計為一種復(fù)合圖結(jié)構(gòu)，對模態(tài)間建立小型圖結(jié)構(gòu)，并將結(jié)合的小型圖結(jié)構(gòu)作為圖節(jié)點建立復(fù)合圖，分別用于捕捉對話中上下文的時間特性以及不同模態(tài)間的交互特性。

2方法介紹

圖2展示了本文所設(shè)計的MEPAD結(jié)構(gòu)。該網(wǎng)絡(luò)主要由兩部分組成：首先，將輸入的三模態(tài)信息轉(zhuǎn)換為多模態(tài)特征，具體為對多模態(tài)數(shù)據(jù)集進行預(yù)處理，分別提取語音、文本和視覺模態(tài)的特征；然后，這些特征被分別輸入到特征融合層中預(yù)定義的三種特性提取模塊，用于提取不同特性的交互特征。實現(xiàn)方法為，將圖神經(jīng)網(wǎng)絡(luò)中三個模態(tài)數(shù)據(jù)間的每個模態(tài)數(shù)據(jù)當(dāng)作一個節(jié)點建立一個無向圖，再將多條對話的多模態(tài)數(shù)據(jù)建立的圖當(dāng)作一個節(jié)點，建立一個有向圖，最后將這些圖結(jié)構(gòu)建立相應(yīng)的邊類型并輸入RGCN圖卷積網(wǎng)絡(luò)中。在超復(fù)數(shù)網(wǎng)絡(luò)中，將多模態(tài)特征映射到復(fù)數(shù)域的不同部分，通過復(fù)數(shù)的乘法和加法規(guī)則進行特征變換和提取。在成對模態(tài)特征融合模塊，將模態(tài)數(shù)據(jù)兩兩組合，利用反轉(zhuǎn)注意力機制提取模態(tài)間的特異性特征，從而實現(xiàn)多模態(tài)特征的有效融合和情緒識別。

對話中的每一個語句都會提取音頻、文本和圖像這三個模態(tài)的特征 u_a，u_t，u_v 。將這三個模態(tài)的特征拼接起來，作為圖神經(jīng)網(wǎng)絡(luò)的節(jié)點特征，用于建立圖神經(jīng)網(wǎng)絡(luò)，進而提取對話中的時間信息及交互全局信息。同時將 u_a，u_t，u_v 拼接后的特征輸入到特征融合層中的超復(fù)數(shù)特征融合模塊以及成對Transformer模塊中，前者用于模擬超復(fù)數(shù)以提取多模態(tài)間隱藏的同質(zhì)性信息，后者用于建立三個模態(tài)間兩兩模態(tài)的對比關(guān)系，以提取模態(tài)間的特異性信息，最后將得到的兩組特征拼接后作為模態(tài)的局部特征信息。

2.1 圖神經(jīng)網(wǎng)絡(luò)

在情感識別（ERC）任務(wù)中，對話中的每句話的情緒是實時變化的，想要準確地識別對話中的情感，就需要對對話進行句子級別的特征劃分。在對話場景中，個體情緒的表達不僅受到語境信息的影響，還與說話者間的關(guān)系和對話互動中的情緒動態(tài)緊密相關(guān)。因此，對對話參與者的特征進行有效建模和融合，以捕捉其時間序列和關(guān)系屬性，成為了情感識別領(lǐng)域的一項重要挑戰(zhàn)。為了應(yīng)對這一挑戰(zhàn)，對話固有的圖結(jié)構(gòu)特性為此提供了新的視角，圖神經(jīng)網(wǎng)絡(luò)因其在捕捉結(jié)構(gòu)化數(shù)據(jù)中的復(fù)雜依賴關(guān)系方面的能力，為理解和建模對話中的情緒動態(tài)提供了一種創(chuàng)新的方法論。

為了從對話中提取時間特性，本文構(gòu)建了一個基于對話特征的關(guān)系圖網(wǎng)絡(luò)。在這個網(wǎng)絡(luò)中，節(jié)點代表對話中的個體，邊代表個體間的關(guān)系。同時為了更好地捕獲對話依賴的關(guān)系特征，本文對節(jié)點中的三個模態(tài)信息建立相應(yīng)的子圖，子圖的格式定義為 G={V，R，E} ，其中 分別代表圖神經(jīng)網(wǎng)絡(luò)的節(jié)點、邊以及邊所對應(yīng)的節(jié)點聯(lián)系。子圖中不同節(jié)點 v₁?v₂?v₃ 為句子級別的三個模態(tài)特征 x^a，x^t，x^v ，將不同模態(tài)間建立邊，并設(shè)定三種邊的類型如下：

其中：設(shè)定類型1為音頻與文本間的邊關(guān)系；類型2為圖像與文本間的邊關(guān)系；類型3為音頻與圖像間的邊關(guān)系。

將每段對話中提取的子圖特征視為對話圖結(jié)構(gòu)的節(jié)點。在此基礎(chǔ)上，構(gòu)建一個有向圖，通過在節(jié)點之間創(chuàng)建邊來捕捉對話的不同特征。為每輪對話構(gòu)建有向邊的目的在于捕捉對話中的多樣性特征，通過連接節(jié)點來強化時間上的聯(lián)系，同時考慮節(jié)點之間的時間序列和相互作用關(guān)系。這種構(gòu)建方法有助于更深入地理解和分析對話的結(jié)構(gòu)和動態(tài)。

構(gòu)建有向圖時，為了捕捉多個節(jié)點間的時間序列，通過設(shè)定一個確定大小的滑動窗口，用于捕捉對話中的時間序列。通過設(shè)定圖中所有節(jié)點及鄰近節(jié)點信息作為時間步 τ 的更新值g_i^τ 。外層求和確保每個節(jié)點都被考慮到，而內(nèi)層求和則確保每個節(jié)點的鄰居都被考慮到，從而實現(xiàn)節(jié)點狀態(tài)的更新。具體來說，對于任意的說話節(jié)點 V（i） ，需要通過節(jié)點 i 的鄰近節(jié)點特征作為學(xué)習(xí)本節(jié)點輸入特征，則對于節(jié)點 χ_i 的更新值 g_i^τ 可以表示為

其中： R（i） 是節(jié)點 i 的鄰近節(jié)點； V 是指對于圖中的所有節(jié)點集合； W_r 與 W₀ 為圖特征網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)； x_i^τ 是節(jié)點 χ_i 的特征向量；構(gòu)建節(jié)點間有向圖結(jié)構(gòu)如圖3所示。

為了更好地提取所構(gòu)建的圖特征，本文先將構(gòu)建好的圖結(jié)構(gòu)經(jīng)過RGCN進行圖特征捕獲，對提取到的圖特征放進graphTransformer模型中以獲取更豐富的特征表示[24]。graph Trans-former結(jié)合了Transformer模型的自注意力機制和圖神經(jīng)網(wǎng)絡(luò)的特點，首先對其每個節(jié)點計算注意力得分，對于圖中的每一個節(jié)點，為了更好地計算注意力得分，對當(dāng)前節(jié)點與其鄰近節(jié)點間計算注意力得分，并將其表示為

其中： W₁?W₂ 為注意力機制可學(xué)習(xí)的參數(shù)； 為節(jié)點的更新值。然后將注意力得分通過softmax激活函數(shù)計算歸一化：

其中： α_i，j^τ 為節(jié)點注意力得分； N（v） 為節(jié)點集。最后將獲取到的節(jié)點特征經(jīng)過聚合后加入到一個線性層中并進行ReLU激活函數(shù)進行非線性變換，將其表示為

a=ReLU（W₃δ+b）

其中： W₃ 為線性層可學(xué)習(xí)的參數(shù)； δ 為提取到的窗口節(jié)點特征集合： b 為偏置項。

2.2超復(fù)數(shù)特征融合

多模態(tài)特征的優(yōu)勢在于能夠從不同視角提供影響預(yù)測結(jié)果的信息。相較于單一模態(tài)情緒預(yù)測，多模態(tài)特征融合了同質(zhì)性特征，其中不同模態(tài)（例如文本、音頻、視頻）提供了關(guān)于同一現(xiàn)象或事件的不同層次和視角的信息。為了充分利用這些特征，本文不僅提取了不同模態(tài)間的共性特征，還通過模態(tài)間的交互作用識別了它們之間的差異性特征。受此啟發(fā)，本文在MEPAD結(jié)構(gòu)中采用了類似雙流網(wǎng)絡(luò)的提取規(guī)則[25]，設(shè)計了超復(fù)數(shù)特征融合模塊來提取跨模態(tài)間的共性特征，利用超復(fù)數(shù)的乘法與加法規(guī)則可以分別表示特征的疊加和變換，這些變換操作可以更靈活地將不同模態(tài)的特征進行組合和調(diào)整[19]，從而提高了特征融合的靈活性和效果，以增強對多模態(tài)特征同質(zhì)性的捕捉能力。

對于給定的多模態(tài)數(shù)據(jù)，本文將三個模態(tài)的融合特征x_i^（atv） 作為超復(fù)雜神經(jīng)網(wǎng)絡(luò)的輸入，將其輸入進預(yù)定義的超復(fù)雜神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)根據(jù)數(shù)學(xué)中的超復(fù)數(shù)延申而來，一般的超復(fù)數(shù)定義為

其中： h 為實數(shù)： 為虛數(shù)單位。但由于特征的多維性，簡單的超復(fù)數(shù)無法滿足特征的疊加及變換，所以便將特征的融合擴展到超復(fù)數(shù)數(shù)系中執(zhí)行[26]。一般的超復(fù)數(shù)數(shù)系定義在 n∈2^m 的預(yù)定義維度上，鑒于本文使用三模態(tài)特征，復(fù)數(shù)域設(shè)計為 {i，j |k| ，為此設(shè)計本網(wǎng)絡(luò)時采用 n=4 的四元Q域中進行。對于輸入的特征 x_i^（atv） ，為了應(yīng)用于四元數(shù)數(shù)系的運算規(guī)則，本文將輸人的特征劃分為四部分，需要將輸入的特征進行維度的擴展為{1，x₁，x₂，x₃} ，以便于模擬復(fù)數(shù)的實現(xiàn)過程。在四元數(shù)數(shù)系中訓(xùn)練的權(quán)重矩陣也需要重新進行定義，權(quán)重矩陣定義為

W=W₀+W₁x₁+W₂x₂+W₃x₃

其中： W₀、W₁、W₂、W₃ 為可訓(xùn)練參數(shù)，代表實數(shù)域參數(shù) x₁、x₂、x₃ 為 x^（atv） 劃分的三部分特征代替虛數(shù)部分特征。為此，對于四元域的定義，可將特征的映射關(guān)系定義為

此時的訓(xùn)練權(quán)重參數(shù) W 以及輸入特征 W₀、W₁、W₂、W₃ 均被改變?yōu)樗枰乃脑仃嚕渲?W₀、W₁、W₂、W₃ 為超復(fù)數(shù)域可學(xué)習(xí)的參數(shù)， x₁、x₂、x₃ 為輸入特征劃分，1為常實數(shù)擴展維度。通過矩陣的乘法來模擬在四元數(shù)數(shù)系的乘法與加法法則，從而捕獲多模態(tài)數(shù)據(jù)間的“同質(zhì)性”特征。同時由于使用的權(quán)重矩陣在輸人維度中是共享的，使得訓(xùn)練中的參數(shù)量也減少了1/4，在獲取多模態(tài)數(shù)據(jù)特征的同時進行了輕量化處理[27]

2.3成對模態(tài)特征融合

捕捉多模態(tài)數(shù)據(jù)之間的差異性特征有利于提高模型對不同情感的差異敏感度，捕獲異構(gòu)性意味著能夠從每個模態(tài)中提取獨特的、互補的信息，有助于提高模型對數(shù)據(jù)的表達能力，這對于全面理解復(fù)雜現(xiàn)象至關(guān)重要。為了捕捉每個模態(tài)間的特異性，本文使用兩兩模態(tài)融合的特征提取方法來捕獲模態(tài)間的交互作用，因此對于輸入的多模態(tài)特征 x_i^（atv） ，本文對于三個模態(tài)的數(shù)據(jù)進行兩兩自由組合為！ x_i^（vt） x_i^（av） x_i^（at） ，將組合得出的三組特征分別放人預(yù)定義的Transformer中，Transformer代表一個多頭注意力機制，用于關(guān)注不同模態(tài)間不同特征的重要程度，從而增強對于不同模態(tài)信息的捕獲能力[28]

使用多頭注意力機制捕獲特異性特征原理如圖4所示，在一個多頭注意力機制中，本文對輸入兩個模態(tài)的數(shù)據(jù)執(zhí)行多頭注意力機制，為了關(guān)注到模態(tài)的特異性特征，在進行注意力得分時考慮使用反轉(zhuǎn)注意力機制。文獻[29]證明了反轉(zhuǎn)注意力機制的有效性，為此對于輸入的兩模態(tài)特征 ，首先為每個注意力頭初始化一組 權(quán)重矩陣：

其中： Ψ_xi，xj 為兩種不同的模態(tài)特征； W^Q，W^K，W^V 是可學(xué)習(xí)的權(quán)重矩陣，用于將原始特征映射到查詢、鍵和值空間。根據(jù) Zou 等人[30]的研究表明相比于語音和圖像模態(tài)，文本模態(tài)在多模態(tài)任務(wù)中具有較強的特征表示能力。為此通過對一個模態(tài)的信息在另一個模態(tài)中計算注意力得分并歸一化，將三個模態(tài)注意力設(shè)計為

其中： 為兩種不同模態(tài)的查詢值; 為文本及視頻特征獲取的鍵值。最后將得到的注意力得分計算加權(quán)求和得到特異性特征，將其描述為

其中： V_t，V_v 為兩種不同模態(tài)的值。

3實驗

3.1 實驗準備

a）數(shù)據(jù)集準備。（a）IEMOCAP數(shù)據(jù)集是一個包含5男5女對話場景的大型多模態(tài)情感識別數(shù)據(jù)集。該數(shù)據(jù)集涵蓋了圖像、語音、文本和生理信號等多種模態(tài)信息，并針對每句話進行了細致的情緒分類。實驗重點在于對比分析IEMOCAP數(shù)據(jù)集在四分類（快樂、悲傷、憤怒、中性）和六分類（包括興奮和挫?。┣榫诚碌谋憩F(xiàn)。（b）MOSEI數(shù)據(jù)集是當(dāng)前最大的多模態(tài)情感分析和情緒識別數(shù)據(jù)集。其包含了來自1000名不同演講者的22852個帶注釋的視頻剪輯，覆蓋了廣泛的主題和情感表達。數(shù)據(jù)集是性別平衡的，所有句子都是從各種主題和獨白視頻中隨機選取的[31]

b）數(shù)據(jù)處理。本實驗中采用兩個數(shù)據(jù)集的語音，文本以及視頻三個模態(tài)的特征，語音的處理使用OpenSmile進行特征提取，文本特征通過sBERT進行提取，視覺特征通過OpenFace提取。

c）評價標準。在本實驗中，評估標準主要通過兩個指標進行量化：一方面，利用預(yù)測準確性作為評價標準；另一方面，綜合考慮精確度和召回率的加權(quán)調(diào)和平均值— ?F₁ 分數(shù)，作為衡量模型性能的關(guān)鍵指標。

d）基線模型。本文對MEPAD結(jié)構(gòu)在IEMOCAP數(shù)據(jù)集的四分類與六分類任務(wù)中與特定模塊基線進行比較，并對MOSEI數(shù)據(jù)集的七分類任務(wù)進行比較。其中包括不同模塊組的實驗對比，其中包括多模態(tài)融合模塊CHFusion、BPGT[32.33]同時本文將現(xiàn)有的多模態(tài)模型與本文的模型進行比較，包括ICON、DialogueRNN、MMGCN、DialogueCRN、COGMEN以及CORECT[6，14，16，21，23，34] O

3.2 實驗比較

本文在IEMOCAP數(shù)據(jù)集的四分類和六分類任務(wù)，以及MOSEI數(shù)據(jù)集的七分類任務(wù)中，對不同模型進行了廣泛的實驗比較。這些實驗旨在驗證本文提出的特性分流提取結(jié)構(gòu)在多模態(tài)情感識別中的有效性。

在IEMOCAP數(shù)據(jù)集的六分類任務(wù)中，本文模型與對比模型進行了比較。表1展示了實驗結(jié)果，為了公平對比，COGMEN與CORECT結(jié)果為開源代碼重新運行，其中加粗的數(shù)字表示在不同類別上取得的最佳 F₁ 得分。分析實驗數(shù)據(jù)可以發(fā)現(xiàn)，除了happy類別的 F₁ 得分低于CORECT，sad類別的 F₁ 得分略低于COGMEN外，其他所有類別的 F₁ 得分均優(yōu)于現(xiàn)有基線。這一優(yōu)勢可能源于本文在特征融合時不僅提取了多模態(tài)數(shù)據(jù)的共性特征，還通過兩兩模態(tài)融合提取了模態(tài)間的異構(gòu)性特征。這種方法有助于更精確地區(qū)分相似情緒，從而提高了模型對相似情緒的識別精度。在sad類別分類時，由于相似情緒的區(qū)分度不夠，導(dǎo)致COGMEN的sad較高，frustrated類別識別度低。在happy類別分類時，當(dāng)相似情緒感知更清晰時，數(shù)據(jù)集不平衡問題影響會增加導(dǎo)致happy類精度降低。

在IEMOCAP數(shù)據(jù)集的四分類問題上，MEPAD同樣顯示出了其有效性，具體結(jié)果詳見表2。與三個現(xiàn)有模型相比，盡管基線模型已經(jīng)取得了較高的準確率，MEPAD在精確度和 F₁ 分數(shù)上分別提高了0.74和0.72百分點。盡管這一提升幅度不如在六分類問題上的表現(xiàn)突出，但可能的原因是四分類問題本身較為簡單，因此在準確率提升方面面臨更大的挑戰(zhàn)。

此外，本文還在MOSEI數(shù)據(jù)集的七分類問題上開展了對比實驗，相關(guān)實驗結(jié)果列于表3。此結(jié)果進一步驗證了本文模型在不同情感識別任務(wù)中的有效性和適應(yīng)性。

從表2、3可以觀察出，本模型在不同數(shù)據(jù)集上的提升存在部分差異性，造成數(shù)據(jù)提升差異的原因可能有以下兩點：a）IEMOCAP數(shù)據(jù)集的任務(wù)是四分類問題，相對較為簡單，因此在精度提升上遇到了更大的挑戰(zhàn)。在IEMOCAP四分類數(shù)據(jù)集中，情緒的區(qū)分度較高，不同情緒之間的界限較為明確，這導(dǎo)致異構(gòu)性特征提取的作用不如在更復(fù)雜的情緒感知任務(wù)中那么顯著。b）MOSEI數(shù)據(jù)集由于其特定的錄制場景，情緒的區(qū)分度也較高，這可能使得MEPAD結(jié)構(gòu)的優(yōu)勢不如在IEMOCAP數(shù)據(jù)集中那樣明顯。MOSEI數(shù)據(jù)集的特點是其包含了來自1000名不同演講者的22852個帶注釋的視頻剪輯，覆蓋了廣泛的主題和情感表達，這為情緒感知提供了豐富的情境信息，但同時也可能限制了模型在捕捉細微情緒差異方面的潛力。

3.3 消融實驗

3.3.1主要模塊的作用

本文開展了一系列消融實驗，以展示特征模塊的作用。對三個分流特征提取模塊進行了相應(yīng)的消融實驗；首先，對多模態(tài)融合中的GNN模塊進行了簡單的基線實驗。隨后，利用Transformer進行模態(tài)融合，并針對成對Transformer及超復(fù)數(shù)模塊進行了消融實驗。

在IEMOCAP六分類任務(wù)上，本文進行了類似的實驗，結(jié)果有顯著提升，不同模塊對比結(jié)果如表4所示。當(dāng)僅使用簡單GNN模塊進行融合時，模型預(yù)測精度顯著降低。實驗證明，相較于疊加使用兩個模塊，不采用兩兩模塊融合時模型 F₁ 得分下降了1.94百分點；而不使用超復(fù)數(shù)模塊時，模型 F₁ 分數(shù)同樣下降了1.81百分點。同時，本研究注意到直接應(yīng)用Trans-former時模型 F₁ 分數(shù)達到了 68.97% ，其主要原因在于直接利用Transformer能夠通過多頭注意力機制更好地關(guān)注重要數(shù)據(jù)，從而提高預(yù)測效果，相反，當(dāng)使用成對Transformer時，由于是對于三個模態(tài)的兩兩提取，導(dǎo)致三個模態(tài)特征并不能有效融合。

然而，當(dāng)將Transformer與超復(fù)數(shù)模塊結(jié)合時，并未提升模型精度，原因可能是Transformer與超復(fù)數(shù)模塊的特征提取有重復(fù)。反而通過設(shè)計成對Transformer與超復(fù)數(shù)模塊，可以更有效地提取特征。這是因為成對Transformer與超復(fù)數(shù)模塊能夠互補地提取多模態(tài)數(shù)據(jù)中不同性質(zhì)的特征，從而實現(xiàn)更優(yōu)的預(yù)測結(jié)果。

本文對特征分流模塊中提取同質(zhì)性與異構(gòu)性特征的融合策略進行了相應(yīng)的消融實驗。具體而言，本文探討了兩種模塊的使用方式，包括交叉使用、串行使用和并行使用。不同融合策略對比結(jié)果如表5所示，串行使用所獲得的 F₁ 得分最低，僅為 67.45% ;而交叉使用的 F₁ 得分為 68.41% ，并行使用則達到了 70.39% 。實驗結(jié)果表明，采用并行融合方式能夠展現(xiàn)出模塊的最佳性能，其原因可能在于并行方式更有效地提取了多模態(tài)數(shù)據(jù)中的異構(gòu)性與同質(zhì)性信息。

3.3.2超復(fù)數(shù)模塊中參數(shù) n 的作用

本文對多模態(tài)特征輸人超復(fù)數(shù)系中的參數(shù) n 進行了不同大小的實驗，通過改變參數(shù) n 分析其對模型的影響。正常超復(fù)數(shù)數(shù)系定義為 n∈2^m 維度上，但對于 n=3 時本文使用克羅內(nèi)克積來模擬超復(fù)數(shù)乘法[35]，使 n=3 也能進行對比，不同參數(shù) n 對比結(jié)果如表6所示。從實驗結(jié)果可以看出，相較于在 n=4 的四元數(shù)系中進行特征融合，使用 n=3 與2的超復(fù)數(shù)模塊來進行多模態(tài)的數(shù)據(jù)融合均有著不同程度的降低，分別下降了1.36和2.3百分點。原因可能是當(dāng) n=3 時使用克羅內(nèi)克積模仿超復(fù)數(shù)數(shù)系的乘法規(guī)則并不完美，當(dāng)使用 n=2 時，由于只將輸入特征劃分為兩部分，且權(quán)重變換形式較為簡單，導(dǎo)致這兩種參數(shù)的特征融合效果并不理想。

3.4誤差分析

本文為了探討實驗中誤差所在原因，對兩個數(shù)據(jù)集中的三個分類任務(wù)進行實驗，兩個數(shù)據(jù)集的混淆矩陣如圖5和6所示。

圖5展示了IEMOCAP數(shù)據(jù)集的兩組分類任務(wù)的混淆矩陣圖。分析顯示，造成實驗出現(xiàn)誤差的原因之一是數(shù)據(jù)集不平衡，特別是某些類別的樣本數(shù)量遠多于其他類別，這可能導(dǎo)致模型過度擬合于這些類別。同時，相似情緒之間的分類誤差也對實驗結(jié)果有影響，如六分類任務(wù)中happy與excited標簽的結(jié)果所示，相似情緒的誤分類率較高，這可能是因為這些情緒在特征上具有較高的相似性，使得模型難以區(qū)分。

圖6展示了MOSEI數(shù)據(jù)集的分類任務(wù)的混淆矩陣圖。分析表明，造成實驗出現(xiàn)誤差的主要原因也是數(shù)據(jù)集不平衡，盡管這種不平衡對模型性能的影響不如IEMOCAP數(shù)據(jù)集那么劇烈。此外，對于相似情緒的分類影響相對較小，例如在neu-tral類別中，weaknegative的分類數(shù)反而沒有negative的多，這可能表明模型在區(qū)分這些細微情緒差異方面具有一定的能力，但仍然存在挑戰(zhàn)。

3.5智能輪椅對話樣本算例及分析

為了更直觀地展示本文研究在主動健康領(lǐng)域的應(yīng)用，尤其是針對智能輪椅的對話情感感知技術(shù)，本文設(shè)計了一個具體的對話樣本案例，模擬智能輪椅在日常生活中的使用場景，并對該案例進行了深入分析，具體對話樣本案例如表7所示。

在上述案例中，智能輪椅通過多模態(tài)情緒識別技術(shù)實時監(jiān)測用戶的情緒狀態(tài)。用戶輸入包括攝像頭識別到的圖像和麥克風(fēng)捕捉到的語音。當(dāng)用戶表達出開心的情緒時，智能輪椅能夠準確識別并生成相應(yīng)的積極回應(yīng)。具體實現(xiàn)流程如圖7所示，圖中步驟3正是本文模型發(fā)揮關(guān)鍵作用的區(qū)域。該算法精準地識別和處理情緒相關(guān)的信息，確保系統(tǒng)能夠準確地感知使用者的情緒變化，并據(jù)此生成針對性的響應(yīng)。這種主動響應(yīng)不僅增強了用戶的積極情緒，還提升了用戶的生活質(zhì)量，體現(xiàn)了主動健康的理念。

4結(jié)束語

在主動健康領(lǐng)域，情緒感知技術(shù)的重要性日益凸顯，情感人工智能在醫(yī)療健康領(lǐng)域的應(yīng)用也在不斷深化。該技術(shù)通過情緒的識別、解釋與響應(yīng)，優(yōu)化患者體驗，尤其在遠程醫(yī)療需求不斷增長的背景下。因此，本文聚焦于對話場景中的情緒感知問題，并提出了一種創(chuàng)新的特征提取框架，目的是提升對多模態(tài)情緒信息的理解和識別能力。該框架由兩兩模態(tài)融合模塊、超復(fù)雜特征融合模塊和圖卷積模塊三個主要模塊組成。其中，兩兩模態(tài)融合模塊通過模態(tài)間的交互信息捕獲異構(gòu)性信息；超復(fù)雜特征融合模塊利用復(fù)數(shù)運算法則在超復(fù)數(shù)域中提取模態(tài)間的隱性及共性信息；圖卷積模塊則構(gòu)建復(fù)合圖結(jié)構(gòu)以捕獲對話中的時序和關(guān)系信息。通過在IEMOCAP數(shù)據(jù)集上的四和六分類任務(wù)以及MOSEI數(shù)據(jù)集上的對比實驗，以及對不同模塊間的消融實驗，驗證了MEPAD框架的有效性。此外，通過消融實驗和替換實驗，本文分析了框架中各組成部分的作用，并證明了MEPAD設(shè)計的合理性。

然而，本文存在一定的局限性。MEPAD結(jié)構(gòu)中的超復(fù)雜模塊對輸入數(shù)據(jù)模態(tài)的適用性受限于超復(fù)數(shù)數(shù)系的表現(xiàn)，但研究中對于 m=2ⁿ 以外的其他維度參數(shù) m ，僅使用克羅內(nèi)克積來模擬復(fù)數(shù)的乘法，未能完全達到預(yù)期效果。此外，由于使用了圖神經(jīng)網(wǎng)絡(luò)，本文無法實時捕捉對話中人物的情緒，主要原因是建立圖結(jié)構(gòu)時需要為當(dāng)前話語的后續(xù)對話也建立聯(lián)系，為此便需要后文信息，導(dǎo)致無法實現(xiàn)實時預(yù)測。未來通過設(shè)計更為合理的圖結(jié)構(gòu)，僅利用前文對話信息建立圖結(jié)構(gòu)的邊關(guān)系，以實現(xiàn)對當(dāng)前情緒的實時預(yù)測，從而使其能夠?qū)崟r應(yīng)用于各種對話場景。這種實時性的要求將是未來研究的一個重要方向，特別是在主動健康領(lǐng)域，情緒感知技術(shù)的發(fā)展將為個性化健康管理提供更深層次的理解和支持，從而促進全民健康水平的提高。

參考文獻：

[1].Majumder N，Hazarika D，Gelbukh A，et al. Multimodal sentiment analysis using hierarchical fusion with context modeling[J]．Knowledge-Based Systems，2018，161：124-133.

[2]Hasnul MA，Aziz NAA，Alelyani S，et al.Electrocardiogram-based emotion recognition systems and their applications in healthcare：a review[J].Sensors，2021，21（15）：5015.

[3]Poria S，Majumder N，Mihalcea R，et al.Emotion recognition in conversation：research challenges， datasets， and recent advances [J].IEEE Access，2019，7：100943-100953.

[4]Pang Lei，Ngo C-W. Mutlimodal learning with deep Boltzmann machine for emotion prediction in user generated videos[C]// Proc of the 5th ACM on International Conference on Multimedia Retrieval. NewYork：ACM Press，2015：619-622.

[5]Zheng Wenjie，Yu Jianfei，Xia Rui，et al.A facial expression-aware multimodal multi-task learning framework for emotion recognition in multi-party conversations[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. 2023：15445-15459.

[6]Hazarika D，Poria S，Mihalcea R，et al.ICON： interactive conversational memory network for multimodal emotion detection[C]//Proc of Conference on Empirical Methods in Natural Language Processing. 2018：2594-2604.

[7]Ma Hui， Wang Jian，Qian Lingfei，et al. HAN-ReGRU： hierarchical atention network with residual gated recurrentunit for emotion recog nition in conversation [J].Neural Computing and Applications， 2021，33（7） ：2685-2703.

[8]Li Jiang，Wang Xiaoping，Lyu Guoqing，et al. GraphMFT： a graph network based multimodal fusion technique for emotion recognition in conversation[J].Neurocomputing，2023，550：126427.

[9]Li Jiang，Wang Xiaoping，Lyu Guoqing，et al. GraphCFC： a directed graph based cross-modal feature complementation approach for multimodal conversational emotion recognition[J].IEEE Tran on Multimedia，2023，26：77-89.

[10］沈旭東，黃賢英，鄒世豪．基于時序感知DAG的多模態(tài)對話情 緒識別模型［J]．計算機應(yīng)用研究，2024，41（1）：51-58.（Shen Xudong，Huang Xianying，Zou Shihao.Multi-modal temporal-aware DAG for emotion recognition in conversation[J]. Application Research of Computers，2024，41（1）：51-58.）

[11]Grassucci E，Sigillo L，Uncini A，et al. Hyper complex image-toimage translation[C]//Proc of International Joint Conferenceon Neural Networks. Piscataway，NJ： IEEE Press，2022：1-8.

[12] Zhang Dong，Ju Xincheng，Li Junhui，etal.Multi-modal multi-label emotion detection with modality and label dependence [C]//Proc of Conference on Empirical Methods in Natural Language Processing. 2020： 3584-3593.

[13]Zadeh A，Chen Minghai，Poria S，et al.Tensor fusion network for multimodal sentiment analysis[C]//Proc of Conference on Empirical Methods in Natural Language Processing. 2017：1103-114.

[14]MajumderN，Poria S，Hazarika D，et al.DialogueRNN：an attentive RNN for emotion detection in conversations [C]// Proc of AAAI Conference on Artifial Intellgence.Palo Alto，CA：AAA Pres， 2019： 6818-6825.

[15] GhosalD，MajumderNPoria S，etal.DialogueGCN： agraphovo lutional neural network for emotion recognition in conversation [C]// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. 2019：154-164.

[16]Wei Yinwei，Wang Xiang，Nie Liqiang，et al.MMGCN： multi-modal graph convolution network for personalized recommendation of microvideo[C]//Proc of the27th ACM International Conference on Multimedia.NewYork：ACMPress，2019：1437-1445.

[17]Labbaki S，MinaryP.Orthogonal sequential fusionin multimodal learning[C]//Proc of ICLR Conference.2024：submission No. 7815.

[18]Hazarika D，Poria S， Zadeh A，et al. Conversational memory network for emotion recognition in dyadic dialogue videos[C]//Proc of Conference Association for Computational Linguistics North American Chapter Meeting.2018：2122-2132.

[19]Lopez E，Chiarantano E，Grassucci E，et al.Hyper complex multimodal emotion recognition from EEG and peripheral physiological signals[C]//Proc ofIEEE International Conference on Acoustics， Speech，and Signal Processing Workshops. Piscataway，NJ： IEEE Press，2023：1-5.

[20]Yang Jianing，Wang Yongxin，Yi Ruitao，et al.MTAG：modaltemporal attentiongraph forunaligned human multimodal language sequences [C]//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies.2021.

[21]Joshi A，Bhat A，Jain A，et al. COGMEN：contextualized GNN based multimodal emotion recognition[EB/OL].（2022）． https：// arxiv.org/abs/2205.02455.

[22]Chen Feiyu，Shao Jie，Zhu Shuyuan，et al.Multivariate，multifrequency and multimodal：rethinking graph neural networks for emotion recognition in conversation [C]//Proc of IEEE/CVF Conference on ComputerVision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：10761-10770.

[23]Nguyen C VT，Mai A T，Le T S，et al. Conversation understanding using relational temporal graph neural networks with auxiliary crossmodality interaction[EB/OL].（2023）.https：//arxiv.org/abs/ 2311. 04507.

[24]Yun S，Jeong M，Kim R，et al. Graph Transformer networks[EB/ OL].（2019）.https：//arxiv.org/abs/1911.06455.

[25] Concha D T，De Almeida MH，Pedrini H，et al. Multi-stream convolutional neural networks for actionrecognition invideo sequences based on adaptive visual rhythms[C]//Proc of the 17th IEEE International Conference on Machine Learning and Applications.Piscataway，NJ：IEEE Press，2018： 473-480.

[26]Grassucci E， Zhang A，Comminiello D. PHNNs： lightweight neural networks via parameterized hyper complex convolutions [J]. IEEE Trans on Neural Networks and Learning Systems，2024，35 （6）： 8293-8305.

[27]Zhang A，Tay Y， Zhang Shuai，et al.Beyond fuly-connected layers with quaternions：parameterization of hypercomplex multiplications with 1/n parameters[EB/OL].（2021）.https：//arxiv.org/abs/ 2102.08597.

[28]Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need [EB/OL]. （2017）.htps：//arxiv.org/abs/1706.03762.

[29]Li Jian，Wang Jiawei，Lin Fengwu，et al. PRCNet： a paralel reverse convolutional attention network for colorectal polyp segmentation[J]. Biomedical Signal Processing and Control，2024，95：106336.

[30] Zou Shihao，Huang Xianying，Shen Xudong，et al.Improving multimodal fusion with main modal Transformer for emotion recognition in conversation [J].Knowledge-Based Systems，2022，258：109978.

[31]Yang Shuwen，Chang HJ，Huang Zili，et al.A large-scale evaluation of speech foundation models[J]. IEEE/ACM Trans on Audio， Speech，and Language Processing，2024，32：2884-2899.

[32]Huang Gexin，Wu Chenfei，Li Mingjie，et al.Predicting genetic mutation from whole slideimages via biomedical-linguistic knowledge enhanced multi-label classification[EB/OL]. （2024）. https：//arxiv. org/abs/2406.02990.

[33]Jin Biaojian，Nie Rencan，Cao Jinde，et al.CHFusion：a crossmodality high-resolution representation framework for infrared and visible image fusion[J/OL]. IEEE Trans on Multimedia.（2023-07- 12）．https：//doi.org/10.1109/TMM.2023.3294814.

[34]Hu Dou，Wei Lingwei，Huai Xiaoyong.DialogueCRN：contextual reasoning networks for emotion recognition in conversations[C]// Proc of the59th Annual Meeting of Association for Computational Linguistics and the11th International Joint Conference on Natural Language Processing. 2021：7042-7052.

[35]Leskovec J，Chakrabarti D，Kleinberg J，et al.Kronecker graphs：an approach to modeling networks [EB/OL].（2008）. https：//arxiv. org/abs/0812.4905.