章 蓀，尹春勇

（南京信息工程大學(xué)計(jì)算機(jī)與軟件學(xué)院，南京 210044）

（?通信作者電子郵箱yinchunyong@hotmail.com）

0 引言

情感分析主要涉及檢測(cè)、分析和評(píng)估用戶面對(duì)不同事件、問題、服務(wù)時(shí)所產(chǎn)生的心理狀態(tài)，它是實(shí)現(xiàn)智能化人機(jī)交互的必要條件［1］。社交網(wǎng)絡(luò)作為新興的信息媒體，允許用戶上傳和分享日常的生活經(jīng)歷和觀點(diǎn)看法。這些自用戶端發(fā)布的數(shù)據(jù)含有豐富的情感信息，能夠?yàn)榍楦蟹治鎏峁┲匾臄?shù)據(jù)支持［2］。因此情感分析相關(guān)的工作大多以社交網(wǎng)絡(luò)為背景，利用用戶生成數(shù)據(jù)訓(xùn)練情感分析模型。

現(xiàn)有的情感分析研究主要集中于單一的文本模態(tài)，它伴隨著統(tǒng)計(jì)學(xué)習(xí)和人工智能技術(shù)的發(fā)展得到了不斷的完善。文本情感分析的關(guān)鍵在于構(gòu)建有效的文本特征表示。早期方法通?；谠~匯的情感信息，提取詞語統(tǒng)計(jì)特征作為文本表示，利用機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)進(jìn)一步的分類和預(yù)測(cè)。而自深度學(xué)習(xí)興起后，研究者提出利用卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）或循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）端到端提取文本的空間和時(shí)序信息，或是利用預(yù)訓(xùn)練的語言模型將高維的稀疏特征映射到低維的語義空間，學(xué)習(xí)文本的嵌入表示。深度學(xué)習(xí)解決了傳統(tǒng)統(tǒng)計(jì)方法中存在的維度爆炸和特征稀疏問題，但是這些方法通常只關(guān)注于單一的模態(tài)信息，不能適應(yīng)多模態(tài)的社交網(wǎng)絡(luò)環(huán)境。

每一種信息的來源或形式都可以看作是一種模態(tài)，社交網(wǎng)絡(luò)正是由文本、圖像、語音等多種模態(tài)構(gòu)成的復(fù)雜環(huán)境［3］。例如在博客和商品評(píng)論場(chǎng)景中，用戶上傳的信息通常包括文字和圖像兩部分內(nèi)容，兩種模態(tài)之間具有一定的語義和情感相關(guān)性。圖像內(nèi)容的信息能夠輔助增強(qiáng)文本內(nèi)容的情感表達(dá)，有效緩解可能出現(xiàn)的詞語歧義、語義模糊等問題。Truong等［4］關(guān)注于圖文模態(tài)之間的特征融合問題，并指出多模態(tài)情感分析能夠利用不同模態(tài)信息的一致性和互補(bǔ)性實(shí)現(xiàn)精準(zhǔn)的情感預(yù)測(cè)。而Verma 等［5］則進(jìn)一步指出模態(tài)內(nèi)部自身的獨(dú)有特征也不能被忽略。因此，多模態(tài)場(chǎng)景下的情感分析工作需要解決模態(tài)的異質(zhì)性和異構(gòu)性問題，挖掘模態(tài)內(nèi)部自身獨(dú)有的特征信息以及模態(tài)之間的交互信息。

在以油管、抖音為代表的視頻流媒體中，用戶上傳的視頻可以看作是文字、圖像、語音三種模態(tài)信息混合的時(shí)序數(shù)據(jù)。不同于靜態(tài)的圖文混合場(chǎng)景，模態(tài)之間的交互發(fā)生在時(shí)間尺度上，并且模態(tài)內(nèi)部具有時(shí)序特征［6］。因此，時(shí)序多模態(tài)情感分析需要解決兩點(diǎn)問題:單模態(tài)的時(shí)序特征表示問題和跨模態(tài)的時(shí)序特征融合問題。Pham 等［7］基于機(jī)器翻譯的序列到序列（Sequence to Sequence，Seq2Seq）模型，利用循環(huán)神經(jīng)網(wǎng)絡(luò)提取各模態(tài)的時(shí)序特征，再利用編碼-解碼過程學(xué)習(xí)模態(tài)之間的關(guān)聯(lián)性，以編碼訓(xùn)練后的上下文特征作為跨模態(tài)的融合特征表示。Mai 等［8］提出的模態(tài)轉(zhuǎn)換方法同樣基于機(jī)器翻譯模型，借助對(duì)抗訓(xùn)練提供編碼器的推斷能力，學(xué)習(xí)更好的單模態(tài)特征表示，再利用圖融合網(wǎng)絡(luò)分級(jí)融合不同模態(tài)的信息。此類基于機(jī)器翻譯和編碼-解碼結(jié)構(gòu)的方法，能夠解決模態(tài)缺失和噪聲干擾的問題，但是在各模態(tài)信息較為完整時(shí)，情感分類準(zhǔn)確度通常略有較低。

Tsai 等［9］利用多頭注意力機(jī)制計(jì)算兩兩模態(tài)組合之間的關(guān)聯(lián)程度，提出多模態(tài)Transformer（Multimodal Transformer，MulT）模型，能夠直接處理未對(duì)齊的模態(tài)序列，但是該方法未充分挖掘模態(tài)自身的時(shí)序信息，并且在預(yù)測(cè)時(shí)僅使用融合后的特征，忽略了模態(tài)內(nèi)部所獨(dú)有的特征。因此，為了提取單模態(tài)內(nèi)部的時(shí)序信息，本文提出了集成卷積神經(jīng)網(wǎng)絡(luò)、雙向門控循環(huán)（Bidirectional Gated Recurrent Unit，BiGRU）神經(jīng)網(wǎng)絡(luò)和多頭自注意力（Multi-Head Self-Attention，MHSA）的時(shí)序特征表示方法。Kim 等［10］最早提出了基于卷積神經(jīng)網(wǎng)絡(luò)的文本時(shí)序特征提取方法，TextCNN（Text Convolution Neural Network）模型能夠?qū)崿F(xiàn)類似于N-Gram 模型的效果，利用多個(gè)一維卷積核提取短語級(jí)的特征信息。在時(shí)序特征提取過程中，本文還利用卷積網(wǎng)絡(luò)實(shí)現(xiàn)了模態(tài)特征維度的統(tǒng)一，方便后續(xù)特征融合階段的注意力計(jì)算。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)能夠發(fā)現(xiàn)序列數(shù)據(jù)前向和后向的關(guān)聯(lián)性，而多頭自注意力利用注意力機(jī)制提取上下文信息，二者都被廣泛地應(yīng)用于序列建模問題中，用于提取時(shí)序特征。二者的區(qū)別在于前者公平地對(duì)待每一個(gè)序列位置上的數(shù)據(jù)，而后者則為每個(gè)位置上的數(shù)據(jù)分配不同的注意力權(quán)重。循環(huán)神經(jīng)網(wǎng)絡(luò)因?yàn)殡[藏神經(jīng)元的遺忘門機(jī)制和維度的有限，無法儲(chǔ)存長期的記憶信息，不適用于過長的序列數(shù)據(jù)。而注意力機(jī)制與所有的序列輸入建立連接，能夠獲得全局的上下文信息。將注意力機(jī)制引入循環(huán)神經(jīng)網(wǎng)絡(luò)能夠克服其存在的局限性，更好地提取序列數(shù)據(jù)的時(shí)序特征。此外，為了挖掘模態(tài)之間的交互關(guān)系，本文基于多頭注意力機(jī)制提出了跨模態(tài)時(shí)序特征融合方法，發(fā)現(xiàn)模態(tài)組合之間雙向的對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)了跨模態(tài)信息的融合。

在獲得單模態(tài)特征表示及跨模態(tài)的融合特征后，本文基于多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）設(shè)計(jì)下游任務(wù)框架，以情感評(píng)分回歸作為主任務(wù)，額外添加情感極性分類和情感強(qiáng)度回歸作為輔助任務(wù)，幫助上游模型提取更具區(qū)分度和泛化性的特征。Tian等［11］最早將多任務(wù)學(xué)習(xí)機(jī)制應(yīng)用于多模態(tài)情感分析問題，依據(jù)情感評(píng)分回歸主任務(wù)，設(shè)計(jì)情感極性和強(qiáng)度分類作為輔助任務(wù)。Akhtar等［12］同樣基于多任務(wù)學(xué)習(xí)的思想，提出CIM-MTL（Multi-Task Learning for Contextual Inter-Modal）模型，設(shè)計(jì)情感極性二分類任務(wù)輔助實(shí)現(xiàn)細(xì)粒度的情感分類主任務(wù)?？紤]到每種模態(tài)信息在不同任務(wù)中具有不同的貢獻(xiàn)度和重要性，本文為下游模型添加任務(wù)專屬的獨(dú)立評(píng)分模塊，按照任務(wù)需要計(jì)算每個(gè)共享特征的重要性，構(gòu)建任務(wù)專屬的融合特征表示。

本文主要工作如下:1）提出單模態(tài)時(shí)序特征表示方法，通過集成卷積網(wǎng)絡(luò)、雙向門控神經(jīng)網(wǎng)絡(luò)和多頭自注意力機(jī)制，充分挖掘序列數(shù)據(jù)的內(nèi)部時(shí)序信息；2）提出跨模態(tài)特征融合方法，基于多頭注意力機(jī)制，在時(shí)間尺度上挖掘模態(tài)之間的交互關(guān)系，融合雙向注意力加權(quán)結(jié)果；3）提出任務(wù)專屬特征融合方法，為下游多任務(wù)學(xué)習(xí)模型添加獨(dú)立的評(píng)分模塊，根據(jù)具體任務(wù)目標(biāo)，為共享特征表示自適應(yīng)分配權(quán)重系數(shù)，構(gòu)建任務(wù)專屬的融合特征。

1 相關(guān)工作

1.1 情感分析

“情感”一詞不僅指代人類具體的一種情感狀態(tài)，更是泛指一切感官、機(jī)體、心理以及精神的感受，能夠借由語言進(jìn)行傳遞和表達(dá)。分析和理解用戶的情感狀態(tài)是實(shí)現(xiàn)人工智能、情感計(jì)算和人機(jī)交互的必要條件。在不同的情感分析問題中，研究者通常使用“sentiment”或“emotion”這兩個(gè)術(shù)語來表示情感，前者通常與情感極性分類或回歸任務(wù)相關(guān)，將情感粗略地劃分為積極和消極兩種狀態(tài)（部分研究中會(huì)添加中性狀態(tài)），分析用戶主觀感覺的傾向性，或是以實(shí)數(shù)情感評(píng)分度量用戶的情感狀態(tài)。而后者則一般涉及到細(xì)粒度具體的情感類別分類，通?；谛睦韺W(xué)和認(rèn)知學(xué)的情感表示模型，將情感狀態(tài)歸納到不同的類別［13］。常用的情感表示模型如表1所示。

表1 情感表示模型Tab.1 Emotion representation models

在Hovy 等［14］的研究工作中，情感分析被定義為判斷說話者或?qū)懽髡邔?duì)某個(gè)特定主題或文檔全部內(nèi)容的態(tài)度，而這種態(tài)度包含人的主觀判斷、情感狀態(tài)或某種情感交流，他們認(rèn)為情感分析包含了觀點(diǎn)挖掘、情感分類、極性分類等一系列問題，“sentiment”和“emotion”可以統(tǒng)一為主體對(duì)特定主題產(chǎn)生的主觀感覺。而Munezero等［15］則認(rèn)為“sentiment”比“emotion”更加穩(wěn)定且具有更強(qiáng)的傾向性，是針對(duì)特定對(duì)象產(chǎn)生的。實(shí)際上，在具體的應(yīng)用中二者的邊界是很模糊的，本文根據(jù)任務(wù)目標(biāo)的不同對(duì)二者進(jìn)行區(qū)分。本文在情感極性二分類任務(wù)中，使用“sentiment”表示粗粒度的情感傾向，將情感極性粗略的劃分為積極和消極兩種狀態(tài)。在七分類任務(wù)中，則使用“emotion”表示具體的細(xì)粒度情感，采用七級(jí)李克特量表作為情感表示模型。

1.2 多模態(tài)情感分析

早期的情感分析主要面向單一的文本數(shù)據(jù)，利用自然語言處理、統(tǒng)計(jì)分析、計(jì)算語言學(xué)等技術(shù)，對(duì)攜帶情感信息的文本內(nèi)容進(jìn)行處理、分析、歸納和推理。

文本情感分析方法得益于文本分類技術(shù)的發(fā)展得到了不斷的完善和改進(jìn)。在面向單模態(tài)的情感分析研究中，文本內(nèi)容通常被認(rèn)為能夠更好地表達(dá)情感和態(tài)度，因?yàn)樵~語本身包含了大量情感相關(guān)的信息，而圖像和語音在情感表達(dá)上存在著語義混淆的可能。文本分類與文本情感分析都需要提取文本的語義信息，因此二者在技術(shù)上具有一定的相似性，而圖像情感分析與圖像分類有著本質(zhì)的不同，圖像分類模型中提取的紋理視覺特征不能表示圖像的情感信息，它需要更高等級(jí)的抽象來發(fā)現(xiàn)潛在的語義信息。Borth 等［16］首次提出了利用形容詞-名詞對(duì)組合作為中級(jí)特征表達(dá)圖像的語義信息，再利用分類器預(yù)測(cè)情感類別與詞語組合之間的關(guān)聯(lián)性。Guillaumin 等［17］發(fā)現(xiàn)結(jié)合與圖像對(duì)應(yīng)的文本內(nèi)容能夠幫助理解圖像傳達(dá)的語義信息，實(shí)現(xiàn)更精準(zhǔn)的圖像分類效果，這啟發(fā)了更多的研究者嘗試引入更多的模態(tài)信息，也使得多模態(tài)學(xué)習(xí)得到了持續(xù)的關(guān)注。

多模態(tài)學(xué)習(xí)能夠?qū)⒙曈X和視覺內(nèi)容與相應(yīng)的文本信息進(jìn)行關(guān)聯(lián)，使得非文本信息能夠被更好地理解。而非文本信息也能夠從不同的視角賦予文本更多的含義，強(qiáng)化文本的情感表達(dá)。與傳統(tǒng)靜態(tài)的圖文情感分析不同，視頻數(shù)據(jù)可以分解成文本、語音、圖像三種模態(tài)信息，每種模態(tài)都是一個(gè)時(shí)間序列，這種由多個(gè)時(shí)間序列混合而成的數(shù)據(jù)可以稱為時(shí)序多模態(tài)。人類的語言同樣是一個(gè)多模態(tài)的時(shí)序過程，在面對(duì)面交談時(shí)，聲音變化、面部動(dòng)作和談話內(nèi)容都是時(shí)變的，這些信息都能夠傳遞說話者的情感和態(tài)度。時(shí)序多模態(tài)情感分析存在著表示、轉(zhuǎn)換、對(duì)齊和融合問題［18］，但一般而言，后三種問題可以總結(jié)為對(duì)跨模態(tài)交互關(guān)系的挖掘。因此，時(shí)序多模態(tài)情感分析面臨的主要問題有兩點(diǎn)，即單模態(tài)的時(shí)序特征表示和跨模態(tài)的時(shí)序特征融合問題。

首先，時(shí)序模態(tài)的特征表示方法需要發(fā)現(xiàn)模態(tài)內(nèi)部不同時(shí)刻數(shù)據(jù)之間的關(guān)聯(lián)性。常見的方法通常是利用卷積神經(jīng)網(wǎng)絡(luò)［19］或雙向循環(huán)神經(jīng)網(wǎng)絡(luò)［20-21］提取時(shí)序特征。TextCNN 模型中提出了使用高度不同、寬度與序列數(shù)據(jù)維度相同的一組卷積核來提取序列的局部特征，如圖1（a）所示。這些高度不同的卷積核能夠發(fā)現(xiàn)相鄰時(shí)刻數(shù)據(jù)的關(guān)聯(lián)性，用于文本序列時(shí)可以實(shí)現(xiàn)類似于N-Gram 模型的效果，提取到短語級(jí)的特征。循環(huán)神經(jīng)網(wǎng)絡(luò)則通過模擬大腦的記憶、遺忘和更新，按照輸入數(shù)據(jù)的順序提取隱藏特征，作為序列新的特征表示。如圖1（b）所示，雙向循環(huán)神經(jīng)網(wǎng)絡(luò)則可以進(jìn)一步發(fā)現(xiàn)前向和后向的序列特征，被廣泛應(yīng)用于序列建模問題。

圖1 序列特征提取方法Fig.1 Sequential feature extraction methods

跨模態(tài)的特征融合需要整合多種模態(tài)的信息，發(fā)現(xiàn)模態(tài)之間存在的交互關(guān)系，而時(shí)序模態(tài)的交互是發(fā)生在時(shí)間尺度上的，即模態(tài)之間在每個(gè)時(shí)刻上都存在著一定的關(guān)聯(lián)。常用的模態(tài)融合方法按照融合的階段不同可以劃分為兩種:早期表示融合與晚期決策融合。決策融合通常是在獲得每種模態(tài)的特征表示后，利用每種模態(tài)信息進(jìn)行獨(dú)立的預(yù)測(cè)，再經(jīng)由加權(quán)、多數(shù)投票等處理獲得最終的決策結(jié)果［22］。這種方法與集成學(xué)習(xí)相似，能夠充分利用每種模態(tài)所獨(dú)有的特征，具有較好的泛化性，但忽略了模態(tài)之間的關(guān)聯(lián)性。

早期表示融合則是當(dāng)前多模態(tài)學(xué)習(xí)關(guān)注的重點(diǎn)，一種常用的方法［23］則是直接拼接每種模態(tài)的特征，構(gòu)建統(tǒng)一的聯(lián)合表示進(jìn)行預(yù)測(cè)。這種方法簡單有效，但是只能獲得淺層的信息，無法深度挖掘模態(tài)的交互關(guān)系，提取更抽象的特征。Zadeh 等［24］首次提出了張量融合方法，利用向量的笛卡兒內(nèi)積作為融合特征表示，這種方法能夠同時(shí)捕獲模態(tài)內(nèi)部和模態(tài)之間的交互關(guān)系，提取單模態(tài)、雙模態(tài)和三模態(tài)的特征，但是具有較高的計(jì)算復(fù)雜度；隨后，Liu 等［25］基于矩陣的低秩分解提出了高效的張量融合方法，Liang等［26］則將該方法推廣到時(shí)序多模態(tài)融合問題上。在注意力機(jī)制被提出后，基于注意力加權(quán)的表示融合方法得到了快速的發(fā)展。CIM-MTL模型利用點(diǎn)乘注意力計(jì)算兩個(gè)模態(tài)之間的相似性，再利用門控機(jī)制混合原始信息與融合信息。Yu 等［27］提出了基于多頭注意力機(jī)制的單向特征融合方法，利用多個(gè)注意力頭在不同子空間和位置上發(fā)現(xiàn)模態(tài)之間的關(guān)聯(lián)性，而MulT 模型則是多頭注意力在時(shí)序多模態(tài)數(shù)據(jù)上的拓展。門控機(jī)制［28］可以看作是一種特殊的注意力機(jī)制，二者同樣是利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)權(quán)重系數(shù)，再經(jīng)由加權(quán)求和獲得融合的特征表示。

1.3 多任務(wù)學(xué)習(xí)

廣義而言，在學(xué)習(xí)過程中同時(shí)優(yōu)化多個(gè)損失函數(shù)都可以被認(rèn)為是多任務(wù)學(xué)習(xí)，它的形式多樣，聯(lián)合學(xué)習(xí)、自主學(xué)習(xí)、輔助任務(wù)學(xué)習(xí)都可以被納入其中。Caruana 等［29］最先定義了多任務(wù)學(xué)習(xí)的目標(biāo)，即多任務(wù)學(xué)習(xí)利用包含在相關(guān)任務(wù)訓(xùn)練信號(hào)中的特定領(lǐng)域的信息來改進(jìn)泛化能力。多任務(wù)學(xué)習(xí)具有一定的理論和實(shí)際意義，從人類學(xué)習(xí)的角度而言，人類通常會(huì)利用從相關(guān)任務(wù)學(xué)習(xí)到的知識(shí)幫助學(xué)習(xí)新的技能。從教育學(xué)的角度來看，人類通過學(xué)習(xí)相關(guān)任務(wù)來獲得必要的技能，以支持掌握更加復(fù)雜的技術(shù)。

在深度神經(jīng)網(wǎng)絡(luò)中，多任務(wù)學(xué)習(xí)的實(shí)現(xiàn)通常采用兩種參數(shù)共享機(jī)制:硬參數(shù)共享和軟參數(shù)共享，如圖2 所示。硬參數(shù)共享是多任務(wù)學(xué)習(xí)中最常用的方法，它在所有的任務(wù)之間共享全部的隱藏層及其參數(shù)，僅保留最后幾個(gè)任務(wù)專屬的特定層。這種方法能夠有效地降低過擬合的風(fēng)險(xiǎn)，因?yàn)樵谟矃?shù)共享方法中，模型學(xué)習(xí)到適合所有任務(wù)的特征表示是困難的，這也能夠降低在原始任務(wù)上過擬合的風(fēng)險(xiǎn)。后者則為每項(xiàng)任務(wù)都設(shè)置完整的模型和參數(shù)，但是會(huì)對(duì)任務(wù)模型的參數(shù)添加正則化約束，提高參數(shù)之間的相似性。

圖2 多任務(wù)學(xué)習(xí)的參數(shù)共享機(jī)制Fig.2 Parameter sharing mechanisms in MTL

多任務(wù)學(xué)習(xí)在某種程度上實(shí)現(xiàn)了數(shù)據(jù)增強(qiáng)的效果，因?yàn)樗械娜蝿?wù)都含有一定的噪聲，在單個(gè)任務(wù)上訓(xùn)練模型時(shí)，期望的目標(biāo)是能夠?qū)W習(xí)到與該任務(wù)相關(guān)、并去除噪聲干擾的特征表示。由于不同的任務(wù)具有不同的噪聲模式，所以當(dāng)一個(gè)模型同時(shí)學(xué)習(xí)多個(gè)任務(wù)時(shí)，就能夠獲得忽略多種噪聲模式，學(xué)習(xí)到更具泛化性的特征表示。當(dāng)一個(gè)任務(wù)含有大量的噪聲或數(shù)據(jù)量有限并且維度過高，模型將難以提取到有效的信息，學(xué)習(xí)到相關(guān)的特征表示。而多任務(wù)學(xué)習(xí)則可以幫助模型將注意力集中在重要的特征上，因?yàn)槠渌嚓P(guān)的任務(wù)能夠?yàn)檫@些特征的重要性提供額外的證據(jù)。此外，不同的特征在不同的任務(wù)上的學(xué)習(xí)難易程度不同。一些重要的特征可能在特定的任務(wù)上更容易被模型學(xué)習(xí)，而在其他的任務(wù)上可能由于復(fù)雜的交互方式或其他特征的干擾阻礙了模型的學(xué)習(xí)，多任務(wù)學(xué)習(xí)則可以利用多任務(wù)訓(xùn)練的優(yōu)勢(shì)提高模型的學(xué)習(xí)能力。

現(xiàn)有的多模態(tài)情感分析工作中，集成多任務(wù)學(xué)習(xí)的方法大多采用硬參數(shù)共享方法，即在主任務(wù)和輔助任務(wù)之間共享上游的多模態(tài)融合網(wǎng)絡(luò)和特征表示，并為每項(xiàng)任務(wù)設(shè)置專屬的輸出層及激活函數(shù)。本文同樣基于硬參數(shù)共享機(jī)制，利用多任務(wù)學(xué)習(xí)的優(yōu)點(diǎn)，學(xué)習(xí)更具泛化性的共享特征。

2 基于多任務(wù)學(xué)習(xí)的時(shí)序多模態(tài)情感分析

本文的研究目標(biāo)是實(shí)現(xiàn)對(duì)時(shí)序多模態(tài)數(shù)據(jù)的情感分析，所有的工作都是在Zadeh 等［30-31］提出的CMU-MOSI（CMU Multimodal Opinion level Sentiment Intensity）和CMU-MOSEI（CMU Multimodal Opinion Sentiment and Emotion Intensity）數(shù)據(jù)集上開展的。數(shù)據(jù)集中的每個(gè)樣本X=｛x1，x2，…，xL｝都是一個(gè)長度為L的時(shí)間序列，它可以分解為文本（T）、語音（A）、圖像（V）三種序列模態(tài)X=（XT，XA，XV）。每個(gè)樣本對(duì)應(yīng)一個(gè)表示情感狀態(tài)的實(shí)數(shù)評(píng)分y∈[-3，3]，情感分析的目標(biāo)是利用已有的數(shù)據(jù)樣本訓(xùn)練一個(gè)模型，正確預(yù)測(cè)未知樣本對(duì)應(yīng)的評(píng)分。本文提出的多模態(tài)情感分析模型分為上游特征表示和下游多任務(wù)學(xué)習(xí)兩部分，其中上游特征表示模型結(jié)構(gòu)如圖3 所示，包含單模態(tài)時(shí)序特征表示和跨模態(tài)時(shí)序特征融合。

圖3 上游特征表示模型結(jié)構(gòu)Fig.3 Architecture of upstream feature representation model

2.1 時(shí)序單模態(tài)特征表示

首先為了挖掘模態(tài)內(nèi)部所獨(dú)有的特征，并提取序列模態(tài)的時(shí)序信息，本文提出集成卷積神經(jīng)網(wǎng)絡(luò)、雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)、多頭自注意力機(jī)制的單模態(tài)時(shí)序特征表示方法。

CNN 被證明能夠提取序列的局部信息，具有滑動(dòng)窗口和N-Gram 模型相似的功能。在MulT 模型中，CNN 還被用于統(tǒng)一各種模態(tài)的維度。本文使用一組固定高度、寬度與序列維度dk（k∈｛T，A，V｝）相同的卷積核提取局部信息。如圖4所示，經(jīng)過CNN 處理后的數(shù)據(jù)依然是一個(gè)時(shí)間序列，但維度被統(tǒng)一為卷積核的數(shù)量d=#channel。在設(shè)置卷積核步長為1 且不使用填充時(shí)，原始的時(shí)間序列長度會(huì)被縮短，這也有助于加速后續(xù)循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，縮小注意力矩陣的形狀。

圖4 卷積神經(jīng)網(wǎng)絡(luò)提取局部時(shí)序信息Fig.4 Local sequential information extracted by CNN

CNN 處理后的數(shù)據(jù)將繼續(xù)輸入到BiGRU 中，通過不斷地更新隱藏狀態(tài)，提取時(shí)間序列的高階時(shí)間特征。設(shè)置隱藏狀態(tài)的維度為dh，提取每個(gè)時(shí)刻對(duì)應(yīng)的雙向隱藏狀態(tài)作為新的特征，因此BiGRU處理后的數(shù)據(jù)形狀為2dh×(L-H+1)。

多頭自注意力機(jī)制利用多個(gè)注意力頭在不同的子空間內(nèi)計(jì)算查詢和索引向量之間的相似度，提取更加豐富的上下文信息。每個(gè)注意力頭的計(jì)算式如下所示:

其中:M為注意力頭的數(shù)量，WQ、WK和WV分別是對(duì)應(yīng)的查詢（Q）、關(guān)鍵字（K）、取值（V）映射矩陣，將原始數(shù)據(jù)映射到不同的低維空間。拼接所有注意力頭的輸出獲得完整的輸出結(jié)果:

多頭自注意力輸出的數(shù)據(jù)與查詢矩陣逐元素累加，利用層歸一化處理（Layer Normalization，LN），避免數(shù)值過大而引起梯度爆炸問題SAk=LN（Hk+MATT（Hk））。在經(jīng)過全連接網(wǎng)絡(luò)（Fully Connected network，F(xiàn)C）映射和逐元素累加進(jìn)行調(diào)整后，可以得到最終序列單模態(tài)的特征表示為:

2.2 跨模態(tài)時(shí)序特征融合

特征融合是多模態(tài)學(xué)習(xí)的核心，因此在獲得單模態(tài)特征表示后，本文基于多頭注意力機(jī)制，挖掘兩兩模態(tài)組合之間雙向的交互關(guān)系。傳統(tǒng)的圖文情感分析研究中，通常只會(huì)考慮從文本到圖像的交互關(guān)系，將圖像的信息附加到文本特征上，這是因?yàn)槲谋緝?nèi)容可以提供較為完整的信息，而視覺特征僅起到輔助增強(qiáng)情感表達(dá)效果。但對(duì)于本文的研究問題，三種模態(tài)的信息都是完整的，并且它們互為補(bǔ)充，共同傳遞演講者的情感和態(tài)度，因此時(shí)序多模態(tài)的特征融合需要在時(shí)間尺度上發(fā)現(xiàn)雙向的交互關(guān)系。

MulT 模型將基于多頭注意力的特征融合方法推廣到時(shí)序多模態(tài)問題上，利用模態(tài)A每個(gè)時(shí)刻的數(shù)據(jù)作為索引向量，計(jì)算與另一種模態(tài)B所有時(shí)刻數(shù)據(jù)的相似度，從而將模態(tài)B的信息附加到模態(tài)A中，實(shí)現(xiàn)了從模態(tài)A到模態(tài)B（記作A→B）單方向的特征融合。這種特征融合方法能夠處理不同長度的序列，在非對(duì)齊序列上也保留了較好的效果。本文同樣是基于多頭注意力機(jī)制，以文本UT和語音UA的跨模態(tài)融合為例，計(jì)算從文本到語音的融合時(shí)每個(gè)注意力頭為:

拼接所有注意力頭輸出的結(jié)果后，經(jīng)過如式（4）和式（5）的前向映射和層歸一化處理，得到單向融合結(jié)果CAT→A∈。按照同樣的方法可以獲得從語音到文本的融合特征CAA→T∈，拼接雙向的融合結(jié)果獲得完整的跨模態(tài)融合結(jié)果:

跨模態(tài)融合的特征依然保持時(shí)序特征，使用多頭自注意力進(jìn)一步地提取特征，發(fā)現(xiàn)序列自身的上下文信息，最終文本與語音信息融合后的結(jié)果記作此時(shí)三種單模態(tài)特征表示UT、UA、UV和三種跨模態(tài)融合特征FTA、FTV、FAV都是二維矩陣，為了方便下游任務(wù)模型的計(jì)算，本文使用平均池化整合所有時(shí)刻上的數(shù)據(jù)，并使用線性映射將單模態(tài)特征投影到與跨模態(tài)特征相同維度的空間。最終上游模型提取的六種特征表示共同拼接為完整的共享特征表示SF=［SFT，SFA，SFV，SFTA，SFTV，SFAV］∈，輸入到下游多任務(wù)學(xué)習(xí)模型中學(xué)習(xí)任務(wù)專屬的融合特征。

2.3 多任務(wù)學(xué)習(xí)和任務(wù)專屬特征融合

本文在下游模型中，添加情感極性分類和強(qiáng)度回歸作為輔助任務(wù)，利用多任務(wù)學(xué)習(xí)的特點(diǎn)，幫助上游特征表示模型學(xué)習(xí)更具區(qū)分度和泛化性的特征，如圖5所示。在2.2節(jié)中提取的特征表示SF在主任務(wù)和兩項(xiàng)輔助任務(wù)之間共享，上游模型接受來自三項(xiàng)任務(wù)的梯度進(jìn)行參數(shù)更新。三項(xiàng)任務(wù)之間使用硬參數(shù)共享機(jī)制，除輸出層神經(jīng)元數(shù)量和激活函數(shù)不同，其余結(jié)構(gòu)全部統(tǒng)一。

圖5 下游多任務(wù)學(xué)習(xí)框架Fig.5 Framework of downstream MTL

Tian等［11］從心理學(xué)和認(rèn)知學(xué)角度設(shè)計(jì)的輔助任務(wù)具有可解釋性，但是考慮到情感評(píng)分主任務(wù)是回歸問題，而情感的強(qiáng)度通常是一個(gè)連續(xù)的實(shí)數(shù)值，不能簡單地作為多分類問題。因此，根據(jù)情感評(píng)分回歸主任務(wù)的樣本標(biāo)簽y∈[-3，3]，設(shè)置二分類任務(wù)檢測(cè)情感極性yP∈{positive，negative}，同時(shí)設(shè)置回歸任務(wù)預(yù)測(cè)情感強(qiáng)度yI=abs(y)∈[0，3]。

文本、語音、圖像這三種模態(tài)都能夠傳遞一定的情感信息，但是在表現(xiàn)不同的情感時(shí)，它們的貢獻(xiàn)度是變化的。此外，對(duì)于不同的任務(wù)目標(biāo)，每種模態(tài)或特征的重要性也是不同的。將多任務(wù)學(xué)習(xí)集成到多模態(tài)情感分析中，需要根據(jù)任務(wù)的目標(biāo)，衡量每種模態(tài)信息的重要性。

本文提出的任務(wù)專屬特征融合方法如圖6 所示，在每項(xiàng)下游任務(wù)中設(shè)置獨(dú)立的評(píng)分模塊，根據(jù)任務(wù)目標(biāo)學(xué)習(xí)每種特征表示的注意力權(quán)重。上游特征表示模型學(xué)習(xí)的共享特征由6 種融合特征組成SF=［SFT，SFA，SFV，SFTA，SFTV，SFAV］，利用前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)每種特征表示的注意力權(quán)重:

圖6 任務(wù)專屬特征融合Fig.6 Task-specific feature fusion

其中，α、β和γ為超參數(shù)，用于調(diào)節(jié)三項(xiàng)任務(wù)的訓(xùn)練程度。較大的參數(shù)值能夠指導(dǎo)模型優(yōu)先學(xué)習(xí)該項(xiàng)任務(wù)，加快該任務(wù)上的收斂。

3 實(shí)驗(yàn)與結(jié)果分析

本章將通過定性和定量的實(shí)驗(yàn)驗(yàn)證改進(jìn)模型的效果，實(shí)驗(yàn)使用Python 3.6.9 語言編寫，基于深度學(xué)習(xí)框架PyTorch 1.4.0 實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)環(huán)境為Ubuntu18.04系統(tǒng)，硬件設(shè)置為Intel Core i9-9900K@3.6 GHz×16 處理器和GeForce RTX 2080顯卡。

本文使用兩個(gè)公開的多模態(tài)基準(zhǔn)數(shù)據(jù)集CMU-MOSI 和CMU-MOSEI 對(duì)改進(jìn)的模型進(jìn)行評(píng)估。兩個(gè)數(shù)據(jù)集中的樣本都是由油管視頻片段中分解出的文本、語音、圖像三種時(shí)序模態(tài)構(gòu)成，每個(gè)樣本對(duì)應(yīng)的情感標(biāo)簽為y∈[-3.0，3.0]的實(shí)數(shù)值，即為情感評(píng)分。對(duì)于情感評(píng)分回歸主任務(wù)，直接使用樣本對(duì)應(yīng)的情感評(píng)分作為回歸目標(biāo)。對(duì)于情感極性二分類任務(wù)，則將y≥0 的數(shù)據(jù)標(biāo)記為積極狀態(tài)，y＜0 則標(biāo)記為消極狀態(tài)。對(duì)于情感強(qiáng)度回歸任務(wù)，則以情感評(píng)分的絕對(duì)值作為對(duì)應(yīng)的預(yù)測(cè)目標(biāo)。在計(jì)算七分類準(zhǔn)確度時(shí)，則基于七級(jí)李克特量表情感表示模型，通過四舍五入將實(shí)數(shù)的情感評(píng)分映射為七個(gè)類別標(biāo)簽作為七分類的目標(biāo)。

數(shù)據(jù)集中的文本部分使用預(yù)訓(xùn)練的BERT（Bidirectional Encoder Representation from Transformers）模型進(jìn)行編碼，獲得對(duì)應(yīng)的嵌入表示作為文本特征。語音和圖像部分則直接使用多模態(tài)開發(fā)工具包（CMU Multimodal SDK）［32］提供的特征。在對(duì)齊三種模態(tài)序列后，為了方便實(shí)驗(yàn)測(cè)試，本文通過截?cái)嗪吞畛浣y(tǒng)一所有樣本的序列長度，并按照指定編號(hào)劃分?jǐn)?shù)據(jù)集，相關(guān)統(tǒng)計(jì)信息如表2所示。

表2 多模態(tài)基準(zhǔn)數(shù)據(jù)集統(tǒng)計(jì)信息Tab.2 Statistics of multimodal benchmark datasets

3.1 定量實(shí)驗(yàn)

模型訓(xùn)練過程中選用Adam 優(yōu)化器，設(shè)置學(xué)習(xí)率為5E-4，批訓(xùn)練樣本數(shù)量為128。上游特征表示模型中，使用100個(gè)高度為3的卷積核，BiGRU隱藏神經(jīng)元數(shù)量設(shè)置為100。下游多任務(wù)學(xué)習(xí)模型中，設(shè)置CMU-MOSEI數(shù)據(jù)集上的超參數(shù)α、β和γ均為1，設(shè)置CMU-MOSI 數(shù)據(jù)集上的超參數(shù)全為1。為了比較和評(píng)估本文所提出的改進(jìn)模型，選用以下幾種多模態(tài)情感分析方法作為對(duì)比，實(shí)驗(yàn)結(jié)果如表3～表4所示，對(duì)比方法的結(jié)果全部引用自相應(yīng)的原文獻(xiàn)。

表3 CMU-MOSEI數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果Tab.3 Experimental results on CMU-MOSEI dataset

表4 CMU-MOSI數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果Tab.4 Experimental results on CMU-MOSI dataset

RMFN（Recurrent Multistage Fusion Network）［33］:該模型將跨模態(tài)的融合過程分解為多個(gè)階段進(jìn)行，并使用循環(huán)神經(jīng)網(wǎng)絡(luò)捕獲時(shí)序模態(tài)內(nèi)部的信息。

MFM（Multimodal Factorization Model）:Tsai等［34］提出了一種全新的視角來學(xué)習(xí)多模態(tài)特征表示，它能夠?qū)⒚糠N模態(tài)信息分解為共享的判別因子和獨(dú)有的生成因子。

RAVEN（Recurrent Attended Variation Embedding Network）［35］:該方法基于注意力模型，使用非文本模態(tài)信息來調(diào)整詞語的嵌入表示，它指出說話者的意圖與非文本模態(tài)信息具有一定的關(guān)聯(lián)，在理解人類語言時(shí)也需要考慮非文本的模態(tài)信息。

MCTN（Multimodal Cyclic Translation Network）［36］:該方法基于編碼器和解碼器結(jié)構(gòu)，學(xué)習(xí)模態(tài)之間的轉(zhuǎn)換關(guān)系，并利用循環(huán)一致性損失構(gòu)建多模態(tài)特征表示。

MulT:該模型基于多頭注意力機(jī)制和Transformer 結(jié)構(gòu)，學(xué)習(xí)模態(tài)兩兩之間的轉(zhuǎn)換關(guān)系，能夠捕捉跨模態(tài)的交互關(guān)系。

CIM-MTL:該方法是經(jīng)典的基于多任務(wù)學(xué)習(xí)的多模態(tài)情感分析模型，它利用情感細(xì)粒度的多標(biāo)簽分類任務(wù)，輔助提升主任務(wù)的性能。

考慮到主任務(wù)是情感評(píng)分回歸任務(wù)，因此選用MAE 和皮爾森相關(guān)系數(shù)（Pearson Correlation，Corr）為評(píng)價(jià)指標(biāo)。此外，本文使用二分類準(zhǔn)確度（Acc-2），七分類準(zhǔn)確度（Acc-7）和F1值作為分類性能的評(píng)價(jià)指標(biāo)。根據(jù)表3～4 中的結(jié)果顯示，本文的方法在CMU-MOSEI 數(shù)據(jù)集上取得了最好的結(jié)果，而MulT 模型在CMU-MOSI 數(shù)據(jù)集上效果更好。MulT 模型在CMU-MOSI 數(shù)據(jù)集上的結(jié)果優(yōu)于在CMU-MOSEI 數(shù)據(jù)集上的結(jié)果，而結(jié)合表2 所示的統(tǒng)計(jì)信息可以發(fā)現(xiàn)，CMU-MOSEI 數(shù)據(jù)集的訓(xùn)練樣本總量高于CMU-MOSI 數(shù)據(jù)集。因此，可以得出MulT 模型雖然在CMU-MOSI 數(shù)據(jù)集上效果更好，但它在該數(shù)據(jù)集上過擬合，不能推廣到CMU-MOSEI數(shù)據(jù)集上。而本文的方法在提供更多的訓(xùn)練樣本后，其分類和回歸表現(xiàn)均獲得了提升，這也表明多任務(wù)學(xué)習(xí)能夠有效地降低過擬合的風(fēng)險(xiǎn)，提升了模型的泛化性。

為了進(jìn)一步驗(yàn)證模型各部分模塊的必要性和有效性，分別移除每一個(gè)模塊，比較其對(duì)模型整體的影響。在CMUMOSEI 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表5 所示。根據(jù)二分類準(zhǔn)確度和七分類準(zhǔn)確度指標(biāo)，可以衡量各部分模塊對(duì)模型整體的影響?？梢园l(fā)現(xiàn)，當(dāng)移除單模態(tài)特征表示部分的自注意力模塊后，二分類準(zhǔn)確度存在明顯的降低。同樣的，移除單模態(tài)共享特征也會(huì)影響到二分類準(zhǔn)確度。而移除單模態(tài)和跨模態(tài)共享特征，都會(huì)造成七分類準(zhǔn)確度的降低，也表明了多模態(tài)學(xué)習(xí)中，發(fā)現(xiàn)模態(tài)內(nèi)部和模態(tài)之間信息的必要性。此外，在下游任務(wù)模型中，移除情感極性分類任務(wù)和情感強(qiáng)度回歸任務(wù)，分別會(huì)對(duì)二分類和七分類準(zhǔn)確度產(chǎn)生顯著的影響，這個(gè)結(jié)果符合本文對(duì)情感極性和強(qiáng)度任務(wù)的定義，也驗(yàn)證了主任務(wù)能夠通過相關(guān)任務(wù)的輔助而獲得提升。

表5 CMU-MOSEI數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Tab.5 Ablation experimental results on CMU-MOSEI dataset

3.2 定性實(shí)驗(yàn)

本文在下游多任務(wù)學(xué)習(xí)部分中提出了任務(wù)專屬特征融合方法，并在每個(gè)任務(wù)中添加專屬的評(píng)分模塊，按照特定的任務(wù)目標(biāo)，計(jì)算相應(yīng)的共享特征權(quán)重。為了理解不同任務(wù)目標(biāo)與共享特征之間的對(duì)應(yīng)關(guān)系，本文使用箱線圖可視化每種共享特征表示對(duì)應(yīng)的注意力權(quán)重，如圖7所示。

圖7 權(quán)重系數(shù)可視化Fig.7 Visualization of weight coefficients

箱線圖能夠展示一組數(shù)據(jù)的分布情況，從圖7 中的權(quán)重系數(shù)分布可以得出結(jié)論，對(duì)于不同的任務(wù)目標(biāo)，每種共享特征對(duì)應(yīng)的重要性也是不同的，這也驗(yàn)證了任務(wù)專屬評(píng)分模塊的必要性。如圖7（a）所示，情感評(píng)分回歸主任務(wù)的權(quán)重主要集中于文本-圖像和文本-語音融合特征，以及文本單模態(tài)特征，這表明了情感評(píng)分任務(wù)對(duì)文本信息的依賴性。主任務(wù)對(duì)融合特征分配了較高的注意力權(quán)重，這也驗(yàn)證了利用相關(guān)的非文本信息，能夠輔助增強(qiáng)文本的情感表達(dá)。而在圖7（c）所展示的情感強(qiáng)度回歸任務(wù)中，對(duì)文本-語音和文本-圖像融合特征的依賴也證明了挖掘模態(tài)關(guān)聯(lián)性的必要。在圖7（b）中，情感極性分類任務(wù)的注意力權(quán)重則分散在三種融合特征和語音特征上。最后，通過可視化三種情感分析任務(wù)與六種共享特征的注意力權(quán)重，可以總結(jié)出以下三點(diǎn)結(jié)論，也進(jìn)一步驗(yàn)證了1.2節(jié)中相關(guān)研究工作的結(jié)果:

1）相較于語音和圖像模態(tài)，文本模態(tài)通常蘊(yùn)含更加豐富的情感信息，這也解釋了早期情感分析工作大多集中于文本內(nèi)容的原因。

2）利用非文本模態(tài)信息，能夠更好地提取文本中的情感內(nèi)容，增強(qiáng)情感表達(dá)能力，這表明了跨模態(tài)融合對(duì)情感分析工作的必要性和重要性。

3）不同的模態(tài)信息（包括單模態(tài)和跨模態(tài)）具有不同的重要性，并且會(huì)伴隨具體的任務(wù)目標(biāo)而變化，這表明多模態(tài)模型不能只關(guān)注于學(xué)習(xí)單模態(tài)和跨模態(tài)特征，也需要進(jìn)一步考慮所提取的每種信息的重要性。

4 結(jié)語

多模態(tài)情感分析是情感計(jì)算領(lǐng)域新興的研究重點(diǎn)，它不僅要求模型能夠發(fā)現(xiàn)模態(tài)內(nèi)部獨(dú)有的特征，還要求能夠正確捕捉模態(tài)之間的相互作用。而本文的研究對(duì)象是以油管視頻為代表的多模態(tài)序列，這為多模態(tài)情感分析帶來了新的問題。模態(tài)的時(shí)序特性要求模型能夠充分挖掘單模態(tài)潛在的序列和上下文信息，并且序列模態(tài)的相互作用是發(fā)生在時(shí)間尺度上。本文首先提出集成了卷積神經(jīng)網(wǎng)絡(luò)、雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)和多頭自注意力機(jī)制的單模態(tài)特征表示方法。卷積神經(jīng)網(wǎng)絡(luò)能夠提取序列的局部特征，同時(shí)縮短序列長度并統(tǒng)一多模態(tài)序列的維度。雙向門控網(wǎng)絡(luò)能夠挖掘前向和后向的序列信息，而多頭自注意力則能夠有效地提取上下文信息。其次，本文提出了基于多頭注意力的跨模態(tài)表征融合方法，挖掘兩兩模態(tài)之間、雙向的交互關(guān)系，構(gòu)建模態(tài)融合特征表示。最后，本文基于多任務(wù)學(xué)習(xí)思想，在下游模型中添加兩項(xiàng)額外的輔助任務(wù)，利用任務(wù)之間的依賴關(guān)系，指導(dǎo)上游模型學(xué)習(xí)更具判別性和泛化性的特征表示。通過在兩個(gè)經(jīng)典多模態(tài)情感分析數(shù)據(jù)集上的實(shí)驗(yàn)，可以驗(yàn)證本文方法的有效性。

本文的方法依賴于多頭注意力機(jī)制捕獲模態(tài)自身與模態(tài)之間的信息，這種方法具有較高的計(jì)算復(fù)雜度和空間開銷，而MFM 模型給多模態(tài)學(xué)習(xí)指出了新的研究方向。共存的多模態(tài)之間具有共同的成分，也具有每種模態(tài)所獨(dú)有的成分。通過對(duì)模態(tài)進(jìn)行分解，能夠更好地捕獲模態(tài)的獨(dú)有特征和共有信息，這種方法也具有更好的可解釋性。因此，在未來的工作中，將針對(duì)模態(tài)分解方法展開進(jìn)一步的深入研究。