高 羽,熊一瑾,葉建成

(美的集團(tuán)(上海)有限公司 AI創(chuàng)新中心，上海 201702)

0 引言

長(zhǎng)尾問(wèn)題在現(xiàn)實(shí)世界中非常普遍。對(duì)于自然采集的真實(shí)數(shù)據(jù)，尤其是大型數(shù)據(jù)集，不同類別下的數(shù)據(jù)一般不會(huì)呈理想的均勻分布，而往往是不平衡的[1-3]。以人類語(yǔ)言為例，字詞發(fā)音的頻率分布均遵守齊普夫定律(Zipf’s Law)，漢語(yǔ)中特有的多音字的分布也屬于長(zhǎng)尾分布。因此，作為漢語(yǔ)語(yǔ)音合成的重要模塊[4]，多音字消歧也屬于典型的對(duì)不均衡數(shù)據(jù)的分類問(wèn)題[5-6]。

直接使用長(zhǎng)尾數(shù)據(jù)訓(xùn)練模型時(shí)，由于頭部類別的樣本數(shù)遠(yuǎn)多于尾部類別，往往會(huì)導(dǎo)致模型過(guò)擬合于頭部類別，且忽略尾部類的學(xué)習(xí)，在尾部類上泛化效果差[2,7]。在不平衡分布的數(shù)據(jù)下，如何訓(xùn)練出平衡的分類器是學(xué)者們所關(guān)心的問(wèn)題，所以長(zhǎng)尾算法的相關(guān)研究通常使用均勻分布的測(cè)試集來(lái)證明其算法的有效性。在工業(yè)實(shí)用的語(yǔ)音合成的上線測(cè)試中，也會(huì)使用人工設(shè)計(jì)的均衡測(cè)試集來(lái)評(píng)價(jià)系統(tǒng)的性能。因此本文的研究問(wèn)題具有學(xué)術(shù)和工業(yè)應(yīng)用的雙重價(jià)值。

本文注意到，多音字消歧任務(wù)有一項(xiàng)特殊性: 其長(zhǎng)尾分布存在于“字符”和“字音”兩個(gè)維度。從“字符”的維度來(lái)說(shuō)，不同多音字下的樣本數(shù)分布不均，以CPP[8](Chinese Polyphones with Pinyin)的訓(xùn)練集舉例，“哈”字的樣本數(shù)共有161條，而“僂”字僅有8條。從“字音”的維度來(lái)說(shuō)，同一多音字中，不同發(fā)音下的樣本數(shù)分布不均，如上文中的“哈”，其發(fā)音“ha1”含160條樣本，而發(fā)音“ha3”僅含1條。

為處理這兩個(gè)維度上的長(zhǎng)尾問(wèn)題，本文針對(duì)性地提出一種二重加權(quán)消歧算法DW(Double Weighted)，并結(jié)合另外兩種長(zhǎng)尾算法: MARC(MARgin Calibration)[9]與Decouple[10]-cRT(Classifier Retraining)進(jìn)行了實(shí)驗(yàn)。本文對(duì)兩種算法本身的使用也進(jìn)行了改進(jìn)，并做消融實(shí)驗(yàn)。在CPP測(cè)試集和兩份工業(yè)場(chǎng)景測(cè)試數(shù)據(jù)上，本文所提出的二重加權(quán)算法較基線模型和兩種原始算法取得了不同程度的準(zhǔn)確率提升。

1 相關(guān)工作

對(duì)于長(zhǎng)尾學(xué)習(xí)問(wèn)題，目前主要有如下方法:

重采樣對(duì)尾部樣本過(guò)采樣[11]，或?qū)︻^部樣本欠采樣[12]。但此類方法缺陷明顯[13-15]: 過(guò)采樣導(dǎo)致缺乏差異的尾部數(shù)據(jù)被反復(fù)學(xué)習(xí)，模型無(wú)法學(xué)到魯棒易泛化的特征而過(guò)擬合；欠采樣導(dǎo)致?lián)碛凶銐虿町惖念^部數(shù)據(jù)得不到充分學(xué)習(xí)，模型因信息損失而欠擬合。

重加權(quán)為不同類別乃至不同樣本分配不同權(quán)重: 按類別數(shù)的倒數(shù)加權(quán)[16]、按有效樣本數(shù)加權(quán)[17]、優(yōu)化分類間距并按樣本數(shù)加權(quán)[9,15,18]等。MARC[9]屬于此類方法。

解耦特征與分類器將模型的特征學(xué)習(xí)過(guò)程和分類器學(xué)習(xí)過(guò)程進(jìn)行解耦[10,19-20]，以降低數(shù)據(jù)分布對(duì)分類器的決策的影響。Decouple[10]-cRT屬于此類方法。

此外還有數(shù)據(jù)合成[21-22]、度量學(xué)習(xí)[23-24]、遷移學(xué)習(xí)[3,25]、元學(xué)習(xí)[26]/域自適應(yīng)[1]、半監(jiān)督學(xué)習(xí)/自監(jiān)督預(yù)訓(xùn)練[27]等研究。

1.1 優(yōu)化分類間距并重加權(quán)——MARC

文MARC[9]方法認(rèn)為，先前的相關(guān)研究忽略了分類邊界與分類器輸出的預(yù)測(cè)概率間的關(guān)系。該文通過(guò)數(shù)學(xué)推導(dǎo)，提出了一種分類邊界校準(zhǔn)(MARgin Calibration)算法。其具體實(shí)現(xiàn)分為兩個(gè)階段: 用原始長(zhǎng)尾數(shù)據(jù)及Softmax損失函數(shù)訓(xùn)練得到基線模型后，固定其所有參數(shù)；在分類器中添加2K個(gè)參數(shù)(K為分類類別數(shù))，使用MARC提出的損失函數(shù)(詳見3.2節(jié))，僅對(duì)新增的2K個(gè)參數(shù)進(jìn)行訓(xùn)練。這一過(guò)程較基線模型會(huì)更快收斂。

1.2 解耦特征與分類器——Decouple

Decouple[10]方法認(rèn)為，先前相關(guān)研究的一個(gè)共性為，模型的特征提取器(Backbone)與分類器(Classifier)是聯(lián)合訓(xùn)練的。然而，這種聯(lián)合方式不能說(shuō)明方法提高的是特征提取器的特征表達(dá)能力，還是分類器的性能，亦或二者皆有。于是該文提出將二者的訓(xùn)練進(jìn)行解耦，并在不同訓(xùn)練階段使用不同的數(shù)據(jù)采樣策略。

本文選用Decouple中的cRT算法進(jìn)行改進(jìn)。原始cRT算法也包含兩個(gè)階段: ①對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行實(shí)例平衡采樣(instance-balanced sampling)，即不改變數(shù)據(jù)的原始分布，聯(lián)合訓(xùn)練特征提取器與分類器； ②對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行類別平衡采樣(class-balanced sampling)，即使每個(gè)類別下的樣本數(shù)大體相同；將特征抽取器的參數(shù)固定，重新隨機(jī)初始化分類器的參數(shù)，且僅訓(xùn)練分類器。兩個(gè)階段都使用Softmax損失函數(shù)。相較第一階段，第二階段的模型會(huì)在更少的步數(shù)下收斂。

2 基于ELECTRA的多音字消歧模型

2.1 模型結(jié)構(gòu)

如圖1所示，首先，我們使用ELECTRA模型[28]對(duì)樣本句進(jìn)行深度語(yǔ)義編碼；隨后，將得到ELECTRA編碼的整句表征向量，經(jīng)全連接層1(full-connected layer, fc1)調(diào)整隱狀態(tài)維度大小后，輸入到Bi-LSTM[29]層，以增強(qiáng)文本間的距離和方向信息[30]。

受文獻(xiàn)[31-33]等啟發(fā)，不同于ELECTRA本身的嵌入層，我們新增了一個(gè)可學(xué)習(xí)的多音字嵌入層，以對(duì)多音字集合進(jìn)行更有針對(duì)性的表征；將Bi-LSTM建模前后多音字所在位置的表征向量與新增的多音字嵌入向量進(jìn)行拼接，得到融合特征向量；最后，將融合向量輸入到分類器，即全連接層2，3(fc2、fc3)進(jìn)行分類。

為方便表示，在后文中，ELECTRA以外的模型結(jié)構(gòu)統(tǒng)稱為多音字模塊(Phoneme Module)。

2.2 歸一化與激活函數(shù)

對(duì)fc1、Bi-LSTM的輸出進(jìn)行層歸一化[34](Layer Normalization)與ReLU[35]函數(shù)激活；對(duì)fc2的輸出進(jìn)行批歸一化[36](Batch Normalization)與ReLU函數(shù)激活。

圖1 模型結(jié)構(gòu)

3 損失函數(shù)與改進(jìn)策略

本節(jié)將介紹實(shí)驗(yàn)中用到的3種損失函數(shù): 掩碼Softmax，邊界校準(zhǔn)Softmax，以及本文提出的二重加權(quán)(Double Weighted,DW)Softmax。

原始Softmax Loss是常用于分類的損失函數(shù)。當(dāng)定義第i個(gè)樣本的真實(shí)標(biāo)簽為yi時(shí),Softmax Loss計(jì)算方法如式(1)～式(3)所示。其中，fj為最終全連接層(本文中為fc3)輸出的分類向量f的第j個(gè)元素，K為分類類別數(shù)，N為訓(xùn)練樣本的總個(gè)數(shù)。

在多音字分類任務(wù)下，由于字符類別與字音類別存在嵌套關(guān)系，我們對(duì)后文中出現(xiàn)的參數(shù)進(jìn)行進(jìn)一步明確: 記全體多音字含X個(gè)字符，U個(gè)發(fā)音,訓(xùn)練樣本總個(gè)數(shù)為N。其中，第p(p∈[1,X])個(gè)多音字共含mp個(gè)樣本，Kp個(gè)發(fā)音；其第j(j∈[1,Kp])個(gè)發(fā)音包含nj個(gè)樣本。于是有:

重新定義:K為Kp的最大值；數(shù)據(jù)集中第i個(gè)樣本的真實(shí)字符標(biāo)簽為yq，字音標(biāo)簽為yi，如式(7)所示。

K=max (Kp)

(7)

3.1 掩碼Softmax

注意到，單個(gè)多音字的候選發(fā)音集合Kp實(shí)際僅占全體發(fā)音集合U的很小部分。由于Softmax會(huì)給每一個(gè)分類選項(xiàng)預(yù)測(cè)一個(gè)非0概率，如果將集合U作為預(yù)測(cè)空間，會(huì)導(dǎo)致概率分布非常發(fā)散，對(duì)整個(gè)訓(xùn)練產(chǎn)生負(fù)面影響。

因此，我們使用掩碼向量[37]作為權(quán)重，對(duì)式(1)中元素進(jìn)行加權(quán)，防止模型預(yù)測(cè)到其他多音字的拼音，如式(8)所示。mj為布爾值掩碼向量，表示是否掩蔽元素fj。我們首先將預(yù)測(cè)空間維度約束在K以內(nèi)，再通過(guò)mj將空間進(jìn)一步約束在yq的實(shí)際發(fā)音數(shù)Kyq。

(8)

3.2 邊界校準(zhǔn)Softmax

式(9)為MARC的核心改進(jìn):ωj與βj為新增的2K個(gè)可學(xué)習(xí)參數(shù)(j∈ [1,K])，以調(diào)整分類邊界。Wj為最終全連接層中對(duì)應(yīng)到類別j的權(quán)重向量，‖·‖表示L2正則。其具體推導(dǎo)過(guò)程可參考原文[9]Method章節(jié)。

(9)

3.3 二重加權(quán)Softmax

為應(yīng)對(duì)字符與字音兩個(gè)維度上的長(zhǎng)尾分布，本文對(duì)式(3)中的li進(jìn)行二重加權(quán)，如式(10)所示。具體地，式(11)為對(duì)“字符”維度分配的權(quán)重，式(12)為對(duì)“字音”維度分配的權(quán)重。

式(11)、式(12)均由線性項(xiàng)與非線性項(xiàng)構(gòu)成。線性項(xiàng)分別為總發(fā)音數(shù)U、與yq自身的發(fā)音數(shù)Kyq。非線性項(xiàng)為相應(yīng)維度上類別樣本數(shù)myq、nyi的倒數(shù)的占比[38]。因此，所屬類別的樣本數(shù)越少，被分配的權(quán)重會(huì)越高，且兩組權(quán)值分開計(jì)算，不相耦合。

繼續(xù)使用引言中的示例: 相較含161條樣本的“哈”字，僅含8條樣本的“僂”字會(huì)有更高的字權(quán)重weightyq；而同屬于“哈”字，即weightyq相等時(shí)，相較含160條樣本的發(fā)音“ha1”，僅含1條樣本的發(fā)音“ha3”會(huì)有更高的字音權(quán)重weightyi。

如此，模型對(duì)尾部類別的關(guān)注得到了提高，且提高程度與數(shù)據(jù)自身的分布(出現(xiàn)頻率)相關(guān)。

其中，γ1、γ2為尺度超參，可對(duì)兩式的非線性項(xiàng)權(quán)重分別進(jìn)行調(diào)整，提供了更多的自由度來(lái)控制分布的形式，以適應(yīng)不同的不平衡程度。

注意，本文所有實(shí)驗(yàn)均基于掩碼Softmax，在其基礎(chǔ)上進(jìn)行邊界校準(zhǔn)或二重加權(quán)。

3.4 參數(shù)解凍

注意到，MARC與Decouple-cRT在第二階段僅開放少量參數(shù)進(jìn)行訓(xùn)練: MARC僅訓(xùn)練新增的2K個(gè)參數(shù)，Decouple-cRT僅訓(xùn)練分類器參數(shù)(對(duì)應(yīng)本文fc2、fc3)。

而本文提出的模型，除預(yù)訓(xùn)練模型ELECTRA與分類器外，還有Bi-LSTM、多音字嵌入層等結(jié)構(gòu)。因此，MARC與Decouple-cRT對(duì)二階段可訓(xùn)練參數(shù)的原始設(shè)定在本文模型上可能存在局限性。

我們猜想，在第二階段訓(xùn)練中開放更多參數(shù): 將多音字模塊(Phoneme Module)的參數(shù)全部解凍參與訓(xùn)練，能夠進(jìn)一步提升模型性能，并已通過(guò)后續(xù)實(shí)驗(yàn)證明(表3、表4)。

4 實(shí)驗(yàn)設(shè)置與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

首先對(duì)本文使用的兩份開源數(shù)據(jù)，CPP[8]與標(biāo)貝中文標(biāo)準(zhǔn)女聲音庫(kù)[39]進(jìn)行說(shuō)明:

CPP來(lái)源于中文維基百科，其訓(xùn)練集、開發(fā)集、測(cè)試集大小見表1。CPP共含623個(gè)多音字，每個(gè)字含10～250條樣本，每條樣本長(zhǎng)5～50字。更多統(tǒng)計(jì)數(shù)據(jù)可參考原文[8]第4節(jié)，其也反映字符與字音兩個(gè)維度上的長(zhǎng)尾分布現(xiàn)象。

標(biāo)貝中文標(biāo)準(zhǔn)女聲音庫(kù)為語(yǔ)音合成(TTS)任務(wù)的數(shù)據(jù)集，共有10 000條語(yǔ)音，每條語(yǔ)音平均字?jǐn)?shù)為16，總有效時(shí)長(zhǎng)約12小時(shí)。由于數(shù)據(jù)集還包含每條語(yǔ)音對(duì)應(yīng)的文本、拼音等，故也可用于韻律標(biāo)注、多音字消歧等任務(wù)的訓(xùn)練。

本文使用兩套數(shù)據(jù)方案進(jìn)行了實(shí)驗(yàn)，相關(guān)信息見下列說(shuō)明與表1、表2。

表1 數(shù)據(jù)方案(1)

表2 數(shù)據(jù)方案(2)

方案(1): 原始CPP訓(xùn)練集、開發(fā)集、測(cè)試集。此外，我們對(duì)原始測(cè)試集進(jìn)行采樣，構(gòu)造了一個(gè)近似均衡的測(cè)試子集，命名為CPP balance。采樣方式如下: 當(dāng)字音樣本數(shù)小于等于5時(shí)，保留所有樣本；樣本數(shù)大于5時(shí)，從中隨機(jī)抽取5條。

方案(2): 混合CPP所有數(shù)據(jù)與標(biāo)貝數(shù)據(jù)，隨機(jī)劃分出訓(xùn)練集和開發(fā)集。測(cè)試集來(lái)自兩份業(yè)務(wù)場(chǎng)景的數(shù)據(jù)，分別名為scene1、scene2。

在方案(2)下，多音字消歧字典已依照工業(yè)需求事先建好，因此，訓(xùn)練數(shù)據(jù)中，字/字音不在該字典中的樣本不會(huì)參與實(shí)際訓(xùn)練。表2為字典能匹配到的實(shí)際有效的樣本數(shù)量。

4.2 超參設(shè)置

ELECTRA模型使用ELECTRA-small[28]的默認(rèn)設(shè)置；Bi-LSTM的輸入、隱狀態(tài)、輸出維度分別為128、64、128。多音字嵌入向量層的詞典大小為多音字字符數(shù)X，嵌入向量維度為128。優(yōu)化器選用AdamW[40]，批大小為256。

學(xué)習(xí)率: 基線模型中，ELECTRA在前一萬(wàn)步不參與訓(xùn)練，一萬(wàn)步后以1e-5的學(xué)習(xí)率加入訓(xùn)練。其余模塊始終以1e-4的學(xué)習(xí)率進(jìn)行訓(xùn)練。

4.3 實(shí)驗(yàn)結(jié)果

我們首先在數(shù)據(jù)方案(1)下進(jìn)行實(shí)驗(yàn)，各模型及消融實(shí)驗(yàn)結(jié)果見表3。得到數(shù)據(jù)方案(1)的結(jié)果后，我們對(duì)數(shù)據(jù)方案(2)也進(jìn)行了相同模型配置下的實(shí)驗(yàn)，對(duì)各算法性能進(jìn)行更公平的驗(yàn)證(表4)。以下是對(duì)表3、表4中涉及的模型與算法配置的說(shuō)明。

表3 方案(1)下各模型測(cè)試準(zhǔn)確率 (單位: %)

表4 方案(2)下各模型測(cè)試準(zhǔn)確率 (單位: %)

續(xù)表

基線模型: 用原訓(xùn)練集與掩碼Softmax訓(xùn)練至收斂得到的模型。

cRT: 得到基線模型后，重新初始化fc2、fc3的參數(shù)，用類別平衡采樣后的訓(xùn)練集(總大小與原訓(xùn)練集一致)繼續(xù)訓(xùn)練至收斂；其余模型參數(shù)均固定，不參與更新。

MARC: 由于原始MARC的類別定義與本文并不相同，為公平比較起見，設(shè)置如下: 得到基線模型后，使用式(12)對(duì)loss加權(quán)、式(9)進(jìn)行邊界校準(zhǔn)，用原訓(xùn)練集僅對(duì)式(9)中新增的2K個(gè)參數(shù)進(jìn)行訓(xùn)練，其余模型參數(shù)均固定。式(12)中γ2沿用原始MARC設(shè)置，取值為1.2。

+ pm: 代表多音字模塊(Phoneme Module)的參數(shù)全部進(jìn)行后續(xù)訓(xùn)練。

+ DW: 表示對(duì)loss添加權(quán)重，直至滿足二重加權(quán)(式(10))。我們首先在數(shù)據(jù)方案(1)下，測(cè)試γ1的取值對(duì)模型準(zhǔn)確率(%)的影響，結(jié)果見表5、表6。最終確定DW與cRT配合使用時(shí)γ1取1.0，與MARC配合時(shí)γ1取1.2,γ2的取值保持1.2不變。

空白對(duì)照模型: 指不使用任何算法改進(jìn)，在基線模型訓(xùn)練好后，僅用掩碼Softmax對(duì)多音字模塊繼續(xù)訓(xùn)練，以排除繼續(xù)訓(xùn)練可能帶來(lái)的受益。

表5 與cRT配合，γ1對(duì)準(zhǔn)確率的影響 (單位: %)

表6 與MARC配合，γ1對(duì)準(zhǔn)確率的影響 (單位: %)

4.4 結(jié)果分析

從表3、表4可以看出，cRT系列算法更容易在均衡分布的測(cè)試集上性能有所提升，而引入本文改進(jìn)(+pm；+DW)后的MARC系列在長(zhǎng)尾、均衡的測(cè)試集上性能均有較大提升。

由空白對(duì)照組結(jié)果可證明，本文算法效果的提升并非由繼續(xù)訓(xùn)練帶來(lái)的隨機(jī)性產(chǎn)生，而是源于算法的改進(jìn)。

特別地，本文提出的DW算法在兩種長(zhǎng)尾算法上展現(xiàn)出了不同的傾向性: 與DW結(jié)合的cRT在均衡測(cè)試集上表現(xiàn)更加突出，即更加強(qiáng)調(diào)了尾部數(shù)據(jù)的學(xué)習(xí)，但在長(zhǎng)尾測(cè)試集上性能下降；DW在MARC上則正相反，側(cè)重提升長(zhǎng)尾測(cè)試集上的性能?？梢缘贸?

(1) cRT系列算法實(shí)現(xiàn)簡(jiǎn)易，無(wú)須修改模型，無(wú)新增參數(shù)，對(duì)均衡分布的測(cè)試場(chǎng)景有效；DW可進(jìn)一步提升其均衡測(cè)試場(chǎng)景下的表現(xiàn)，但在長(zhǎng)尾測(cè)試場(chǎng)景下會(huì)有精度損失。

(2) MARC系列僅需新增極少量的參數(shù)，且較cRT更為穩(wěn)定。尤其，改進(jìn)并融合本文方法后的MARC+pm+DW模型，性能更為突出，能夠適配更多場(chǎng)景。

此外，γ1，γ2可分別對(duì)字符與字音的權(quán)重進(jìn)行非線性縮放調(diào)整。雖然本實(shí)驗(yàn)中對(duì)γ1的取值有進(jìn)行比較(表5、表6)，但這種方式仍較為粗糙。未來(lái)的工作中，我們希望可以讓模型自適應(yīng)地學(xué)習(xí)γ1、γ2應(yīng)如何取值。

5 結(jié)束語(yǔ)

本文對(duì)多音字消歧任務(wù)中，字符與字音兩個(gè)維度上的長(zhǎng)尾分布問(wèn)題，針對(duì)性地提出了一種簡(jiǎn)易有效的二重加權(quán)算法: DW，在開源與工業(yè)數(shù)據(jù)上都取得了較大的性能提升。

本文將原用于圖像分類任務(wù)上的兩種長(zhǎng)尾算法: Decouple-cRT與MARC應(yīng)用到多音字消歧任務(wù)中。將兩者結(jié)合DW算法，并根據(jù)本文模型架構(gòu)特點(diǎn)增加改進(jìn)策略，在四份語(yǔ)料上測(cè)試并做消融實(shí)驗(yàn)，證實(shí)DW算法與改進(jìn)策略的有效性。

我們發(fā)現(xiàn)，強(qiáng)調(diào)尾部的學(xué)習(xí)總會(huì)引入損失頭部精度的風(fēng)險(xiǎn)。模型在頭部數(shù)據(jù)和尾部數(shù)據(jù)上的性能難以同時(shí)獲得較高提升，達(dá)成平衡則相對(duì)容易。在未來(lái)的研究中，我們將繼續(xù)跟進(jìn)前沿算法，嘗試用更多方法如自監(jiān)督、半監(jiān)督、預(yù)訓(xùn)練，結(jié)合現(xiàn)有思路，多角度地繼續(xù)改進(jìn)算法。同時(shí)也希望本文能為其他存在長(zhǎng)尾問(wèn)題的深度學(xué)習(xí)任務(wù)提供思路，多維度地利用數(shù)據(jù)信息。