何 俊，張彩慶，張?jiān)骑w，張德海，李小珍

（1.昆明學(xué)院信息工程學(xué)院，昆明 650214；2.云南大學(xué)外國(guó)語(yǔ)學(xué)院，昆明 650206；3.云南大學(xué)軟件學(xué)院，昆明 650206）

（*通信作者電子郵箱369885901@qq.com）

0 引言

人工智能的蓬勃發(fā)展，特別是以深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）為代表的深度學(xué)習(xí)方法獲得突破性的進(jìn)展，極大地促進(jìn)了語(yǔ)音智能化的研究進(jìn)程。然而，由于深度學(xué)習(xí)模型必須用大量準(zhǔn)確的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練才能獲得好的效果，近年來(lái)以人工為主的數(shù)據(jù)標(biāo)注已經(jīng)成為一個(gè)龐大的產(chǎn)業(yè)［1-2］，但人工標(biāo)注費(fèi)時(shí)耗力、錯(cuò)誤率高、質(zhì)量參差不齊，因此自動(dòng)或半自動(dòng)數(shù)據(jù)標(biāo)注的研究已然迫在眉睫。而情感是智能的一部分，是一種特殊的智能［3］。當(dāng)前語(yǔ)音情感識(shí)別已成為人機(jī)交互領(lǐng)域的研究熱點(diǎn)。由于公開(kāi)的小語(yǔ)種情感標(biāo)注數(shù)據(jù)非常少［4］，特別是彝語(yǔ)情感標(biāo)注數(shù)據(jù)屬于稀缺資源，嚴(yán)重阻礙了彝語(yǔ)智能化發(fā)展進(jìn)程。為了獲得彝語(yǔ)語(yǔ)音情感標(biāo)注數(shù)據(jù)，本文以扶貧日志中大量的彝語(yǔ)語(yǔ)音記錄和文本數(shù)據(jù)為基礎(chǔ)，結(jié)合彝語(yǔ)的特點(diǎn)，分別在聲學(xué)層（Acoustics）和語(yǔ)言層（Language）提取識(shí)別特征，融合特征后用分類(lèi)器進(jìn)行訓(xùn)練，以獲得大量自動(dòng)標(biāo)注數(shù)據(jù)，為彝語(yǔ)情感研究提供帶標(biāo)注數(shù)據(jù)資源，推進(jìn)彝語(yǔ)智能化研究進(jìn)程。

本文的主要工作包括：

1）針對(duì)彝語(yǔ)情感詞綴豐富的特點(diǎn)，提出一種雙層情感特征提取、融合和對(duì)齊方法；

2）設(shè)計(jì)彝語(yǔ)情感特征融合、對(duì)齊和自動(dòng)標(biāo)注算法；

3）通過(guò)該方法可獲得大量彝語(yǔ)情感自動(dòng)標(biāo)注數(shù)據(jù)，為其他小語(yǔ)種數(shù)據(jù)標(biāo)注研究提供方法參考。

1 相關(guān)工作

近年來(lái)，研究者們對(duì)數(shù)據(jù)標(biāo)注進(jìn)行了大量研究和探索，眾包模式和許多商業(yè)平臺(tái)應(yīng)運(yùn)而生［5-6］，并催生出一個(gè)勞動(dòng)密集型的數(shù)據(jù)標(biāo)注產(chǎn)業(yè)。文獻(xiàn)［7］中提出一種“興趣+收獲+報(bào)酬”數(shù)據(jù)標(biāo)注模式，系統(tǒng)研究了社會(huì)標(biāo)注模式的內(nèi)在機(jī)理，所提出的標(biāo)注策略在語(yǔ)音數(shù)據(jù)標(biāo)注領(lǐng)域值得借鑒。然而，數(shù)據(jù)自動(dòng)標(biāo)注成為研究熱點(diǎn)后，人們希望通過(guò)自動(dòng)或半自動(dòng)標(biāo)注數(shù)據(jù)來(lái)取代人力，并在圖像自動(dòng)標(biāo)注研究中取得較大成功［8-9］。但計(jì)算機(jī)生成的標(biāo)注和人工標(biāo)注仍存在較大差距，圖像自動(dòng)標(biāo)注還有很多問(wèn)題亟須解決［10］。在小語(yǔ)種數(shù)據(jù)標(biāo)注方面，研究者們利用學(xué)習(xí)和分類(lèi)模型實(shí)現(xiàn)半自動(dòng)標(biāo)注，并取得了一些成果。如：文獻(xiàn)［11］中用隱馬爾可夫模型（Hidden Markov Model，HMM）對(duì)沒(méi)有時(shí)間標(biāo)注的藏語(yǔ)訓(xùn)練語(yǔ)音基元進(jìn)行自動(dòng)標(biāo)注，取得了比較接近人的效果，但沒(méi)有擴(kuò)展到整個(gè)語(yǔ)音數(shù)據(jù)標(biāo)注。文獻(xiàn)［12］中利用強(qiáng)化學(xué)習(xí)方法標(biāo)注壯語(yǔ)的詞性，并與神經(jīng)網(wǎng)絡(luò)結(jié)合來(lái)緩解模型對(duì)訓(xùn)練語(yǔ)料庫(kù)的依賴(lài)。文獻(xiàn)［13］中利用神經(jīng)網(wǎng)絡(luò)模型對(duì)韻律邊界進(jìn)行標(biāo)注，融合了靜音時(shí)長(zhǎng)和文本特征融合，可提高標(biāo)注的效率，該方法對(duì)本文研究有一定的啟發(fā)。目前，語(yǔ)音情感識(shí)別研究工作在情感描述模型的引入、情感語(yǔ)音庫(kù)的構(gòu)建、情感特征分析等方面已取得長(zhǎng)足發(fā)展。文獻(xiàn)［14］中提出的FEELTRACE 情感標(biāo)注系統(tǒng)為語(yǔ)音情感數(shù)據(jù)的標(biāo)注提供了標(biāo)準(zhǔn)化工具；文獻(xiàn)［15］中的面向語(yǔ)音情感特征提取開(kāi)放式工具包openSMILE，實(shí)現(xiàn)了包括能量、基頻、時(shí)長(zhǎng)、Mel 倒譜系數(shù)等在內(nèi)的常用語(yǔ)音情感特征的批量自動(dòng)提??；文獻(xiàn)［16］中提出的大型多媒體情感數(shù)據(jù)庫(kù)SEMAINE為語(yǔ)音情感識(shí)別的研究和發(fā)展提供了公開(kāi)的、豐富的、高質(zhì)量的自然情感語(yǔ)料。這些研究成果為本研究工作提供了基礎(chǔ)。

綜上所述，國(guó)內(nèi)外研究者對(duì)數(shù)據(jù)自動(dòng)及半自動(dòng)標(biāo)注、圖像自動(dòng)標(biāo)注等方面進(jìn)行了大量研究，并取得一些成果。盡管目前在語(yǔ)音情感識(shí)別方面已進(jìn)行多年研究，但在小語(yǔ)種情感數(shù)據(jù)標(biāo)注方面的研究還處于起步階段，而彝語(yǔ)數(shù)據(jù)自動(dòng)標(biāo)注的研究尚不多見(jiàn)。

2 雙層特征提取

2.1 彝語(yǔ)情感標(biāo)注

目前絕大多數(shù)語(yǔ)言情感標(biāo)注研究工作的特征提取都集中在聲學(xué)層，主要從韻律、頻譜和音質(zhì)等方面，以幀為單位進(jìn)行提取。而彝語(yǔ)由東部、南部、西部、北部、東南部和中部六大分支方言組成，各分支方言語(yǔ)音存在較大差異。此外，彝語(yǔ)在發(fā)展過(guò)程中不斷與漢語(yǔ)融合、演化，產(chǎn)生了大量漢語(yǔ)借來(lái)詞，使文字和發(fā)音變得更加復(fù)雜。這些因素給彝語(yǔ)數(shù)據(jù)情感標(biāo)注帶來(lái)極大的障礙。但彝語(yǔ)除了在聲學(xué)層具有豐富的情感外，在語(yǔ)言文字上也有豐富的情感詞綴，這些詞綴對(duì)情感識(shí)別和標(biāo)注有很大的幫助。如表1所示。

因此，本文在傳統(tǒng)語(yǔ)音情感特征單層提取方法的基礎(chǔ)上，加入文字情感特征，提出雙層特征彝語(yǔ)情感自動(dòng)標(biāo)注方法。本文方法的實(shí)現(xiàn)過(guò)程包括：彝語(yǔ)語(yǔ)料的聲學(xué)特征和語(yǔ)言特征提取、特征融合及對(duì)齊、情感分類(lèi)和訓(xùn)練、自動(dòng)標(biāo)注等步驟，彝語(yǔ)情感自動(dòng)標(biāo)注流程和框架如圖1所示。

圖1 彝語(yǔ)情感自動(dòng)標(biāo)注流程Fig.1 Flowchart of automatic emotion annotation of Yi language

表1 彝文情感詞綴示例Tab.1 Examples of emotional affixes in Yi language

2.2 聲學(xué)層特征提取

情感特征提取的效果會(huì)直接影響情感自動(dòng)標(biāo)注的正確率。本文采取通用方法，從彝語(yǔ)語(yǔ)音中提取基頻、共振峰和梅爾倒頻譜系數(shù)三類(lèi)特征。

1）基頻特征。通過(guò)對(duì)語(yǔ)音的基音頻率檢測(cè)將不同語(yǔ)音區(qū)分出來(lái)。采用相關(guān)函數(shù)法［17］進(jìn)行計(jì)算，如式（1）所示。

其中：Ri(k)表示第i幀自相關(guān)函數(shù)；Si(m)表示一幀語(yǔ)音信號(hào)的第m個(gè)采樣值；N表示幀長(zhǎng)；k表示時(shí)間的延遲量。函數(shù)與語(yǔ)音信號(hào)的周期一致，通過(guò)尋找自相關(guān)函數(shù)波峰的延遲即可找到語(yǔ)音信號(hào)的周期，從而進(jìn)行基頻標(biāo)注。

2）共振峰特征。共振峰包含在語(yǔ)音頻譜之中，頻譜包含的最大值即為共振峰。采用線(xiàn)性預(yù)測(cè)法進(jìn)行計(jì)算［18］，如式（2）所示。

其中：G表示增益；p表示階數(shù)；ak表示模型的系數(shù)。該方法能夠在由預(yù)測(cè)系數(shù)構(gòu)成的多項(xiàng)式中精確地估計(jì)共振峰參數(shù)，可以得到一組優(yōu)良的語(yǔ)音信號(hào)模型參數(shù)。

3）梅爾倒頻譜系數(shù)特征［19］。語(yǔ)音信號(hào)經(jīng)過(guò)梅爾濾波器處理后可以得到近似人耳的頻譜信號(hào)，通過(guò)信號(hào)提取得到頻譜特征。計(jì)算方法如式（3）所示。

其中：f為采樣頻率；Q和D為語(yǔ)音的頻率參數(shù)，需要根據(jù)彝語(yǔ)特點(diǎn)訓(xùn)練得到，Q通常在2 000 Hz左右，D在800 Hz左右，參數(shù)可通過(guò)模型訓(xùn)練得到。

2.3 語(yǔ)言層特征提取

按下列方法提取語(yǔ)言層特征：

1）n-gram 分詞。利用n-gram 模型對(duì)彝文句子進(jìn)行分詞，分別提取unigram、bigram、trigram 特征，表示為集合Fu、Fb和Ft。

2）情感詞綴特征提取。在分詞基礎(chǔ)上，按表1 示例的情感詞綴特征進(jìn)行分類(lèi)，即按照含有情感詞綴對(duì)詞匯進(jìn)行分類(lèi)，記為集合Fc。結(jié)合分詞特征結(jié)果集合，可以得到情感詞匯集合，如式（4）所示。

3）詞匯情感分類(lèi)。將彝語(yǔ)情感分為7 種類(lèi)型：中性（nertral）、生氣（anger）、害怕（fear）、高興（joy）、悲傷（sadness）、厭惡（disgust）、無(wú)聊（boredom）。在集合F中分別進(jìn)行7 種情感標(biāo)注，得到彝文情感詞匯標(biāo)注集。

2.4 雙層特征融合和對(duì)齊

因?yàn)槁晫W(xué)層和語(yǔ)言層特征分別在幀層面和詞匯層面提取特征，完全在不同的問(wèn)題空間中，要實(shí)現(xiàn)自動(dòng)標(biāo)注必須通過(guò)特征融合和對(duì)齊處理，之后才能采用分類(lèi)器進(jìn)行訓(xùn)練。下面介紹分層特征融合和對(duì)齊方法。

為了實(shí)現(xiàn)特征融合，可將幀層面的高維特征映射到詞匯層面的低維特征，即從微觀(guān)特征映射為宏觀(guān)特征。設(shè)X=，X∈RD為幀特征的D維空間；，Y∈Rd為詞匯特征的d維空間。其中：d＜＜D，則定義F：X→Y為幀特征空間到詞匯特征空間的映射。由于幀和詞匯都是可識(shí)別的，因此該映射是一個(gè)線(xiàn)性變換。

由于語(yǔ)音是由聲道的連續(xù)運(yùn)動(dòng)而產(chǎn)生的，是一組前后相關(guān)性很強(qiáng)的序列。而語(yǔ)言特征則受到詞法、字典以及語(yǔ)言模型的約束，二者均為強(qiáng)相關(guān)序列?？梢岳酶髯缘南嚓P(guān)性和加入＜Blank＞單元實(shí)現(xiàn)對(duì)齊，如圖2所示。

圖2 雙層特征對(duì)齊示意圖Fig.2 Schematic diagram of double-layer feature alignment

參考生成式序列模型（Generative Sequence Model，GSM）思路，融合生成雙層特征，如式（5）所示。

其中：l1和l2分別是聲學(xué)特征序列和語(yǔ)言特征序列；π是融合后的特征狀態(tài)序列，πt是第t個(gè)狀態(tài)；P(πt|πt-1)是轉(zhuǎn)移概率，P(πt)是先驗(yàn)概率；B是融合特征序列集合。

式（6）說(shuō)明B決定了特征序列融合的集合，通過(guò)在l2的每?jī)蓚€(gè)詞匯之間插入可選的＜Blank＞單元實(shí)現(xiàn)特征對(duì)齊。融合后的特征放入同一個(gè)特征空間，并作為同一個(gè)特征序列交給分類(lèi)器處理。

3 特征融合分類(lèi)器及算法

3.1 分類(lèi)器選擇

分類(lèi)器一定程度上可能會(huì)影響自動(dòng)標(biāo)注的效果。為探索不同分類(lèi)器對(duì)彝語(yǔ)數(shù)據(jù)情感標(biāo)注正確率的影響情況，采用多種分類(lèi)進(jìn)行對(duì)比研究，尋求最佳方法。目前已有不少模型分類(lèi)器被語(yǔ)音情感識(shí)別研究者們所嘗試，使用最廣泛的有隱馬爾可夫模型（Hidden Markov Model，HMM）［11］、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［20］、支持向量機(jī)（Support Vector Machine，SVM）［21］、k最鄰近（k-Nearest Neighbor，k-NN）［22］、長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）［23］等模型和算法。結(jié)合這些分類(lèi)器在語(yǔ)音識(shí)別領(lǐng)域的性能表現(xiàn)情況，本文選擇HMM、CNN 和SVM 三種代表性模型進(jìn)行對(duì)比實(shí)驗(yàn)。

HMM 模型以句子為自動(dòng)標(biāo)注基本單位，每個(gè)HMM 將融合后的詞匯特征序列為模型的觀(guān)察狀態(tài)，7 種情感類(lèi)型為模型的隱含狀態(tài)。利用訓(xùn)練數(shù)據(jù)集完成初始狀態(tài)、轉(zhuǎn)移矩陣等參數(shù)訓(xùn)練后，得出每一個(gè)彝語(yǔ)句子情感狀態(tài)的預(yù)測(cè)結(jié)果，根據(jù)模型預(yù)測(cè)結(jié)果進(jìn)行情感自動(dòng)標(biāo)注。CNN模型同樣以句子為單位進(jìn)行分類(lèi)，第1層使用一維的卷積層，卷積核數(shù)設(shè)為16，第2層采用32 個(gè)卷積核，窗口長(zhǎng)度確定為10，卷積步長(zhǎng)設(shè)定為1，下采樣因子為2。為防止過(guò)擬合，在訓(xùn)練中更新參數(shù)時(shí)按0.3的概率隨機(jī)斷開(kāi)輸入神經(jīng)元。每個(gè)樣本循環(huán)20 輪進(jìn)行訓(xùn)練。不斷調(diào)整優(yōu)化參數(shù)，根據(jù)分類(lèi)結(jié)果進(jìn)行自動(dòng)標(biāo)注。SVM 模型的訓(xùn)練思路與傳統(tǒng)的語(yǔ)音識(shí)別分類(lèi)處理方法類(lèi)似，先設(shè)置參數(shù)C和γ的值為0.2，然后再根據(jù)模型的表現(xiàn)，每次乘以0.1作為一個(gè)步長(zhǎng)，搜索最優(yōu)參數(shù)，直至模型訓(xùn)練完成，按照每一個(gè)句子的情感識(shí)別結(jié)果進(jìn)行標(biāo)注。先完成三種模型的分類(lèi)訓(xùn)練，比較自動(dòng)標(biāo)注的效果，然后選擇效果較優(yōu)的方法完成后續(xù)實(shí)驗(yàn)。

3.2 特征融合算法

算法1 先分別提取聲學(xué)層和語(yǔ)言層的情感特征再生成特征序列，然后根據(jù)需要插入＜Blank＞單元，最后將對(duì)齊后的特征序列進(jìn)行合并。假設(shè)彝語(yǔ)語(yǔ)料按詞匯為單位計(jì)算的長(zhǎng)度為n，每個(gè)詞匯的平均幀數(shù)為m，則最壞情況下的時(shí)間復(fù)雜度為O(n2×m)。若每次都是首次完成對(duì)齊，則時(shí)間復(fù)雜度O(n×m)，因此可以采用適當(dāng)調(diào)大模型的對(duì)齊閾值來(lái)減少時(shí)間開(kāi)銷(xiāo)。

3.3 自動(dòng)標(biāo)注算法

算法2 以句子為單位進(jìn)行標(biāo)注，根據(jù)分類(lèi)器識(shí)別或預(yù)測(cè)結(jié)果逐一進(jìn)行情感標(biāo)注。若一個(gè)句子中出現(xiàn)大于一種的情感特征，如：同時(shí)出現(xiàn)“生氣”“害怕”兩種特征，則分類(lèi)器會(huì)根據(jù)概率選擇可能性最大的一種情感特征進(jìn)行標(biāo)注。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

標(biāo)注自動(dòng)化程度與訓(xùn)練數(shù)據(jù)質(zhì)量、模型性能、質(zhì)量檢測(cè)和糾錯(cuò)方法等都有密切的關(guān)系，其中模型性能與建模是否充分結(jié)合語(yǔ)種特點(diǎn)有較大關(guān)系。云南省少數(shù)民族精準(zhǔn)扶貧日志數(shù)據(jù)庫(kù)中記錄了大量訪(fǎng)談?wù)Z音和記錄數(shù)據(jù)，其中一些彝族聚集區(qū)的語(yǔ)音是彝語(yǔ)數(shù)據(jù)，這些數(shù)據(jù)包含音源基本信息（姓名、性別、年齡、地址、時(shí)間等）。從數(shù)據(jù)中抽取原始語(yǔ)音數(shù)據(jù)并整理對(duì)應(yīng)的彝語(yǔ)文字，篩選部分不含其他語(yǔ)種、噪聲少、停頓少的優(yōu)質(zhì)語(yǔ)料作為實(shí)驗(yàn)數(shù)據(jù)。得到的彝語(yǔ)語(yǔ)音數(shù)據(jù)共840 min，其中男性460 min，女性380 min，對(duì)應(yīng)的彝文有12 545 個(gè)句子，不含13歲以下兒童和70歲以上老人，音頻格式以WAV為主，彝文格式為T(mén)XT 文件。實(shí)驗(yàn)數(shù)據(jù)集如表2 所示。發(fā)音和詞匯區(qū)別都以北部方言為參照對(duì)象［24］，區(qū)分方法參考《中文語(yǔ)音識(shí)別系統(tǒng)通用技術(shù)規(guī)范》（GB/T 21023—2007），且忽略個(gè)體發(fā)音區(qū)別因素。情感詞綴占比是指該方言樣本數(shù)據(jù)中帶情感詞綴的句子數(shù)占句子總數(shù)的百分比；發(fā)音區(qū)別占比是指該方言樣本數(shù)據(jù)中發(fā)音有區(qū)別的句子數(shù)占句子總數(shù)的百分比；詞匯區(qū)別占比定義類(lèi)似［25］。

此外，手工標(biāo)注部分?jǐn)?shù)據(jù)采用Praat 工具完成，但標(biāo)注過(guò)程難免會(huì)引入少量錯(cuò)誤，為了降低實(shí)驗(yàn)難度，本研究忽略該誤差，假設(shè)人工標(biāo)注結(jié)果完全正確，并作為自動(dòng)標(biāo)注正確與否的參照標(biāo)準(zhǔn)。同時(shí)，由于分支方言間詞匯區(qū)別不大，忽略該因素。

表2 彝語(yǔ)實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)Tab.2 Statistical data of Yi language experimental dataset

4.2 實(shí)驗(yàn)結(jié)果

首先，分別采用HMM、CNN 和SVM 三種分類(lèi)器對(duì)樣本數(shù)據(jù)的7種情感進(jìn)行自動(dòng)標(biāo)注，實(shí)驗(yàn)結(jié)果如表3所示。

表3 三種分類(lèi)器自動(dòng)標(biāo)注和人工標(biāo)注正確句子數(shù)量比較Tab.3 Number comparison of correct sentences by automatic and manual annotation with three classifiers

表3 給出人工（Artificial）對(duì)12 545 個(gè)句子的標(biāo)注結(jié)果和HMM、CNN、SVM 三種分類(lèi)器自動(dòng)標(biāo)注的正確句子數(shù)量，標(biāo)注結(jié)果按nertral、anger、fear、joy、sadness、disgust、boredom 等7 種情感類(lèi)型進(jìn)行句子數(shù)量的統(tǒng)計(jì)。為了便于比較，三種分類(lèi)器自動(dòng)標(biāo)注結(jié)果只給出與人工標(biāo)注一致的數(shù)量，即假設(shè)標(biāo)注為正確的句子數(shù)量。

其次，以SVM 為分類(lèi)器，分別對(duì)僅使用聲學(xué)層特征、僅使用語(yǔ)言層特征和雙層特征融合三類(lèi)情況進(jìn)行自動(dòng)標(biāo)注實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。

表4 四種標(biāo)注方法正確句子數(shù)量比較Tab.4 Number comparison of correct sentences of four annotation methods

表4 給出上述四類(lèi)標(biāo)注方法的7 種情感類(lèi)型的句子標(biāo)注結(jié)果，分別是：人工標(biāo)注（Artificial）、僅采用聲學(xué)層特征的自動(dòng)標(biāo)注（Acoustics）、僅采用語(yǔ)言層特征的自動(dòng)標(biāo)注（Language）和雙層特征融合情況下的自動(dòng)標(biāo)注（Fusion）四種結(jié)果。與表3 相同，三種自動(dòng)標(biāo)注方法（后三列）只給出與人工標(biāo)注一致的數(shù)量，即假設(shè)標(biāo)注為正確的句子數(shù)量。

本文將正確的自動(dòng)標(biāo)注句子數(shù)量與人工標(biāo)注句子數(shù)量的比值定義為自動(dòng)標(biāo)注正確率，如式（7）所示。

其中：ALA表示自動(dòng)標(biāo)注正確率；ANCS表示自動(dòng)標(biāo)注正確句子數(shù)量；NMMS表示人工標(biāo)注句子數(shù)量。

表5 是在表4 基礎(chǔ)上對(duì)自動(dòng)標(biāo)注正確率進(jìn)行統(tǒng)計(jì)的結(jié)果。

表5 自動(dòng)標(biāo)注正確率統(tǒng)計(jì) 單位：%Tab.5 Statistics of automatic annotation accuracy unit：%

4.3 實(shí)驗(yàn)分析

1）三種分類(lèi)器自動(dòng)標(biāo)注和人工標(biāo)注對(duì)比分析，結(jié)果如圖3所示。結(jié)合表3統(tǒng)計(jì)結(jié)果可知，三種分類(lèi)器自動(dòng)標(biāo)注的平均正確率為63.5%，其中HMM 為62.6%、CNN 為63.7%、SVM為64.2%，說(shuō)明不同分類(lèi)器對(duì)自動(dòng)標(biāo)注的正確率影響不大，而SVM 略?xún)?yōu)于其他兩種分類(lèi)器。另外，自動(dòng)標(biāo)注對(duì)不同情感類(lèi)型的標(biāo)注正確率有較大差異，下面將進(jìn)一步對(duì)比。

圖3 自動(dòng)標(biāo)注與人工標(biāo)注對(duì)比Fig.3 Comparison of automatic and manual annotation

2）自動(dòng)標(biāo)注數(shù)量和正確率對(duì)比分析如圖4～5 所示。從圖4 可以看出，四種方法標(biāo)注的正確句子數(shù)量存在較大差異，其中：人工標(biāo)注全部樣本12 545個(gè)句子，Acoustics正確標(biāo)注句子6 033 個(gè)，Language 正確標(biāo)注句子4 315 個(gè)，F(xiàn)usion 正確標(biāo)注句子8 051個(gè)，說(shuō)明雙層特征融合方法的正確標(biāo)注句子數(shù)量比僅提取一層特征方法有明顯增加。

圖4 四種標(biāo)注方法的正確標(biāo)注數(shù)量對(duì)比Fig.4 Number comparison of correct annotations of four annotation methods

結(jié)合表4 實(shí)驗(yàn)結(jié)果可以看出，Acoustics 的ALA為48.1%，Language 的ALA為34.4%，正確率并不高。Fusion 的ALA為64.2%，說(shuō)明雙層特征融合方法使自動(dòng)標(biāo)注的正確率明顯提高。此外，從圖5 可以看出7 種情感類(lèi)型的ALA存在較大差異。

圖5 自動(dòng)標(biāo)注與人工標(biāo)注的正確率對(duì)比Fig.5 Accuracy comparison between automatic and artificial annotation

3）7個(gè)情感類(lèi)型的自動(dòng)標(biāo)注結(jié)果對(duì)比如圖6所示。從圖6可以看出，除了nertral 情感類(lèi)型標(biāo)注正確率（67.6%）比較高以外，anger、joy 情感的標(biāo)注正確率（60.2%、55%）明顯高于boredom 和disgust 等情感類(lèi)型，其中boredom 的標(biāo)注正確率僅37.1%，說(shuō)明不同情感類(lèi)型的識(shí)別和自動(dòng)標(biāo)注效果差異較大，對(duì)生氣、高興等相對(duì)“外在”的情感類(lèi)型自動(dòng)標(biāo)注正確率較高，而對(duì)無(wú)聊、厭惡等相對(duì)“含蓄”的情感類(lèi)型更不容易識(shí)別和自動(dòng)標(biāo)注，是后續(xù)人工補(bǔ)充核查的重點(diǎn)。

圖6 雙層融合標(biāo)注與單層標(biāo)注的正確率對(duì)比Fig.6 Accuracy comparison between double-layer fusion and single-layer annotation

綜上所述，通過(guò)對(duì)比實(shí)驗(yàn)和分析可以得出結(jié)論：雙層特征融合方法使自動(dòng)標(biāo)注正確率明顯提高，從僅聲學(xué)層的48.1%和僅語(yǔ)言層的34.4%提高到雙層融合的64.2%。驗(yàn)證了本文所提出方法的有效性。三種分類(lèi)器自動(dòng)標(biāo)注結(jié)果差異較小，而不同情感類(lèi)型的自動(dòng)標(biāo)注效果差異較大，該結(jié)果可為后續(xù)人工核查提供參考依據(jù)。

5 結(jié)語(yǔ)

本文針對(duì)彝語(yǔ)的特點(diǎn)，提出分別從聲學(xué)層和語(yǔ)言層提取情感特征并進(jìn)行特征融合和對(duì)齊，再用分類(lèi)器進(jìn)行情感識(shí)別后完成自動(dòng)標(biāo)注的方法。從扶貧日志數(shù)據(jù)中篩選彝語(yǔ)語(yǔ)音和整理出對(duì)應(yīng)的彝文作為樣本數(shù)據(jù)，完成數(shù)據(jù)自動(dòng)標(biāo)注實(shí)驗(yàn)，并以人工標(biāo)注的結(jié)果為參照進(jìn)行對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，本文提出的雙層特征融合方法使自動(dòng)標(biāo)注正確率明顯提高，驗(yàn)證了該方法的科學(xué)性和有效性。下一步可深入研究不同情感類(lèi)型自動(dòng)標(biāo)注正確率提升方法。